Cloudflare CEO、GoogleのAIクローラー戦略に異議
CloudflareのCEOであるマシュー・プリンス氏は、英国の競争・市場庁（CMA）に対し、Googleの検索クローラーとAIクローラーの分離を求める働きかけを行っています。プリンス氏は、Googleが既存のウェブクローラーを検索エンジンとAI製品の両方に使用していることが、AI分野における不公平な競争優位性を生み出していると主張しています。
CloudflareはAI企業ではないものの、多くのAI企業とパブリッシャーの間に位置するネットワークプロバイダーであり、AI企業の80%が顧客であることから、この問題に関して中立的な立場から提言を行っています。プリンス氏は、Googleが他のAI企業と同じ土俵で競争すべきだと考えています。
Googleの「神から与えられた権利」とメディア企業の苦境
プリンス氏によると、Googleは「過去27年間に行ってきたことを見れば、たとえ対価を支払わなくても、世界中のすべてのコンテンツに対する絶対的な神から与えられた権利がある」と主張しているとのことです。Googleは、サイト運営者がAIトレーニングへのコンテンツ利用を拒否できる「Google Extended」を提供していますが、これは検索結果への影響はありません。
しかし、プリンス氏は、この現状がメディア企業にとって深刻な問題を引き起こしていると指摘します。Googleのクローラーをブロックすると、検索からの収益の約20%を失うだけでなく、広告プラットフォーム全体での広告表示も停止してしまうため、ほとんどの企業にとって現実的な選択肢ではありません。これにより、Googleは他のAI企業がコンテンツに対して支払う必要がある状況で、無料でコンテンツにアクセスできるという圧倒的な優位性を享受しています。
市場競争促進への提言
プリンス氏は、この問題の解決策として、市場における競争の促進を提案しています。具体的には、数千のAI企業が数千のメディア企業や数百万の中小企業からコンテンツを購入できるような環境を構築すべきだと述べています。
英国CMAは、Googleを検索および広告市場における「実質的かつ強固な」地位を持つ企業として特別指定しており、AI関連を含むより厳格な規制を課す可能性を示唆しています。プリンス氏は、CMAのこの動きを評価し、CloudflareもGoogleのクローラーの仕組みと、他のプレイヤーがGoogleと同じ成功を再現することがいかに困難であるかを示すデータを提供していると述べています。
People, Inc.のCEOであるニール・ヴォーゲル氏も、同様の懸念を表明しており、Googleを「悪質な行為者」と呼び、クローラーの統合によりメディア企業がAIコンテンツのためにサイトをクロールさせる以外の選択肢がないと指摘しています。