はじめに
この記事では、Cohere社の共同創業者であるNick Frosstが、大規模言語モデル(LLM)の未来と人工般知能(AGI)の可能性について共有した洞察を掘り下げて探っていきます。Frosstは、AGIという未知の目標を追うのではなく、実用的なビジネスソリューションを構築するというCohere社の実用的なアプローチについて、独自の視点を提供しています。
Cohere社のアプローチと差別化
Cohere社は、AGIの追求ではなく、自社の言語モデルを使ってビジネスアプリケーションを構築することに重点を置いています。同社のアプローチは、LLMをより実用的で信頼性の高いものにし、企業での実用的な使用例に活かすことです。Cohere社は「デジタルな神」を創造したり、AGIを達成するのに興味はありません。代わりに、この技術の可能性を具現化し、具体的な問題を解決することを目指しています。
Nick Frosstの経歴と経験
Frosstは、Google Brainでリサーチエンジニアとして働きながら、Aidanとともに「Transformers」論文の作成に携わりました。また、AI パイオニアのGeoff Hintonと働く機会に恵まれ、機械学習とリサーチについて多くのことを学びました。Frosstは、インディーポップロックバンド「Good Kid」のメンバーでもあると述べています。
Cohere社の新しいモデル: Command RとCommand R Plus
Cohere社は最近、Command RとCommand R Plusという2つの新しいモデルを発表しました。これらのモデルは、言語モデルの「幻覚」問題に取り組むことに焦点を当てています。これらのモデルは、検索支援型生成(Retrieval-Augmented Generation、RAG)を活用し、外部ソースからの引用を提供し、生成されたテキストを裏付けるものになっています。Cohere社は、これらのモデルの重みを公開し、開発者が実験できるようにしています。
検索支援型生成(RAG)の可能性
Frosstは、RAGがCohere社の新しいモデルの最も興味深い機能だと考えています。RAGにより、言語モデルが外部情報源を活用して、より信頼性の高い、根拠のある出力を提供できるようになるからです。RAGを使えば、電卓、コードインタープリター、検索などさまざまなツールを連鎖させて、より複雑な多段階の問題を解決することができます。ただし、Frosstは、オープンエンドのツール使用の課題や、タスクの複雑性が増すにつれてより多くの監督が必要になることについても述べています。
言語モデルの限界と進化
言語モデルは確実に能力が向上していますが、Frosstは、それらがまだ人間レベルの汎用知能に達していないことを認めています。彼は、これらのモデルを「擬人化」することに警鐘を鳴らし、それらは人間の脳とは根本的に異なる確率的な系列モデルであることを強調しています。Frosstは、言語モデルが今後も進化し、ビジネスでの有用性が高まると考えていますが、訓練データの制限や人間の監督の必要性から、一定の制約を受け続けると考えています。
まとめ
この取材で、Nick Frosstは大規模言語モデルの現状と未来、およびCohere社がまpragmatic agみ実用的なビジネスソリューションを構築するアプローチについて、深慮遠慮のある視点を示しています。AGIという未知の目標を追うのではなく、Cohere社は言語モデルをより信頼性の高い、根拠のあるものにし、実用的なアプリケーションに活用することに重点を置いています。
主なポイント:
- Cohere社は、AGIの追求ではなく、実用的なビジネスソリューションの構築に注力している
- Frosstは、Geoff HintonのようなAIのパイオニアとともに働く経験がある
- Cohere社の新しいモデルCommand RとCommand R Plusは、RAGを活用して「幻覚」問題に取り組んでいる
- RAGは、様々なツールを連鎖させて複雑な問題を解決する上で、非常に興味深い可能性を秘めている
- 言語モデルはまだ人間レベルの汎用知能に達しておらず、訓練データの制限や人間の監督の必要性から一定の制約を受け続けると思われる