はじめに：Amazonの挑戦的な姿勢
OpenAI、Anthropic、GoogleといったAI大手企業がベンチマークの頂点を競い合う中、Amazonは異なる視点を提示しています。同社は、AIモデルのリーダーボードにおける順位が必ずしもその真の価値を示すものではないという、異例の主張を展開しています。
AmazonのAI責任者の見解
AmazonのAGI担当SVPであるロヒット・プラサド氏は、AWS re:Inventでの発表に先立ち、次のように語っています。「私は実世界での有用性を求めている。これらのベンチマークはどれも現実ではない」。同氏は、真のベンチマークには全員が同じ訓練データに従い、評価が完全に非公開である必要があると強調。現在の評価は「騒がしくなっており、モデルの真の力を見せていない」と指摘しています。この見解は、競合他社がモデルのベンチマーク成績を誇示する中で、Amazonの戦略的な立ち位置を明確に示しています。
Amazonの新たな戦略：Nova Forge
Amazonが今回のre:Inventで発表した中心的なサービスは、「Nova Forge」です。これは、企業がこれまで数十億ドルを費やさなければ不可能だった方法で、カスタムAIモデルをトレーニングできるサービスだとAmazonは主張しています。多くの企業がAIモデルのカスタマイズに際して直面する課題、すなわち、クローズドモデルの微調整、オープンウェイトモデルの利用による能力低下のリスク、または莫大な費用をかけてゼロからモデルを構築するという選択肢に対して、Nova Forgeは新たな解決策を提供します。
Nova Forgeが提供する独自の価値
Nova Forgeの革新性は、AmazonのNovaモデルのチェックポイントに、事前トレーニング、中間トレーニング、およびトレーニング後という各段階でアクセスできる点にあります。これにより、企業はモデルの「学習能力が最も高い」初期段階で独自のデータや専門知識を注入でき、モデルの動作を最終段階で微調整するだけにとどまらず、より根本的なレベルでカスタマイズが可能になります。プラサド氏は、「私たちが実現したのは、AIとフロンティアモデルの開発を、かつてないほど安価に、お客様のユースケースに合わせて民主化することです」と述べています。
実世界での成功事例：Redditとの協業
Nova Forgeは、元々Amazonの内部チームが、ゼロから構築することなくドメイン固有の専門知識をベースモデルに注入するためのツールとして開発されました。そして今、このサービスは外部の顧客にも提供され始めています。その一例がRedditです。Redditは23年分のコミュニティモデレーションデータを使ってカスタムの安全モデルを構築するためにForgeを活用しています。
- RedditのCTOであるクリス・スロウ氏は、「このようなものは今まで見たことがない」とNova Forgeを高く評価しています。
- 目的は、複数の個別安全モデルを、コミュニティモデレーションの機微を理解する単一のReddit特化モデルに置き換えることです。
- スロウ氏は、ベンチマークにおけるNovaモデルの順位は重要ではなく、「この文脈では、モデルのReddit専門性が重要である」と強調しています。
結論：AmazonのAIにおける新たな「実用性」の定義
Nova Forgeを通じて、AmazonはAIモデル開発における新たな賭けに出ています。それは、モデル競争がコモディティ化し、企業が特定のビジネス課題のために専門化されたAIを構築できる場所となることで成功するというものです。これは、インテリジェンスよりもインフラストラクチャ、生体能力よりもカスタマイズを重視するという、AWSらしい世界観を反映しています。
Amazonは、広く理解されているようなモデル競争は重要ではないと主張します。もしそれが真実であるならば、AIモデルが「実世界での有用性」を実際に提供できるかどうかが、これからのAI評価における静かで、そしてゲーム化しにくい新たな「スコアボード」となるでしょう。
元記事: https://www.theverge.com/column/836902/amazons-ai-benchmarks-dont-matter