AIスケーリング競争の限界と新たな方向性
AI業界では、大規模言語モデル（LLM）の性能向上を目指し、莫大な計算資源を投じる「スケーリング競争」が激化しています。しかし、このアプローチに疑問を投げかける声が強まっており、元CohereのAI研究担当副社長でありGoogle Brainのベテランでもあるサラ・フッカー氏は、新たなスタートアップ「Adaption Labs」を共同設立し、この流れに逆行する動きを見せています。
フッカー氏は、既存のAIトレーニング手法に計算能力を追加するだけでは、真に「思考する機械」を生み出すには非効率的であると指摘。Adaption Labsは、実世界の経験から継続的に学習し、適応するAIシステムの構築を目指しています。
非効率なスケーリングと適応能力の欠如
現在のAIモデルは、その規模にもかかわらず、実世界での適応能力に課題を抱えています。フッカー氏は、「スケーリングに依存したアプローチは魅力的だが、極めて退屈であり、世界をナビゲートしたり、世界と対話したりできる知能を生み出していない」と述べています。
強化学習（RL）はAIが間違いから学ぶための手法ですが、本番環境で稼働中のAIモデルがリアルタイムで経験から学習し、適応することは困難です。また、企業がAIモデルを特定のニーズに合わせて微調整するには、OpenAIが1000万ドル以上の費用を要求するなど、高額なコストがかかるのが現状です。
業界の懐疑論と新たな研究の兆し
LLMのスケーリングに対する業界の信頼は揺らぎ始めています。MITの研究者による最近の論文では、世界最大級のAIモデルが間もなく収穫逓減に直面する可能性が示唆されています。また、強化学習の「父」とされるリチャード・サットン氏や、元OpenAIの従業員であるアンドレイ・カルパシー氏も、スケーリングやRLの長期的な可能性について懐疑的な見解を示しています。
2024年後半には、事前学習によるAIモデルのスケーリングに関する懸念が浮上し、そのデータが現在明らかになっています。AI業界は推論モデルやRLのスケーリングを新たなフロンティアと見ていますが、これらもまた数百万ドル規模の費用がかかる高価なアプローチです。
Adaption Labsが目指す効率的な学習とAIの民主化
Adaption Labsは、経験からの学習をはるかに安価に実現する次世代のブレークスルーを見つけることを目指しています。フッカー氏は以前、Cohere LabsでコンパクトなAIシステムの開発を主導し、より大規模なモデルを凌駕する性能を持つAIの可能性を示してきました。
フッカー氏のビジョンは、AIシステムが環境から効率的に学習できるようになることで、AIの制御と形成を誰が行うかという力学を根本的に変えることです。これにより、AIがより多くの人々に利用可能になり、真に社会に貢献する可能性を秘めています。
もしAdaption Labsの主張が正しければ、より大きくすることだけがAIの汎用知能につながるという現在の仮定は覆され、真に適応的な学習がより強力で、はるかに効率的なAIの未来を切り開くことになるでしょう。