概要
ハッカーやマーケティング担当者は、「Summarize with AI」ボタンやAI共有リンクを利用して、ユーザーが気づかないままAIアシスタントの記憶に持続的な指示を植え込む攻撃が増えています。Microsoftはこの現象を「AI推奨システム汚染」と呼んでいます。
攻撃手法
これらのリンクがクリックされると、Microsoft CopilotやChatGPTなどの人気のあるAIアシスタントが開かれ、?q=または?q=promptパラメータでプレフィルされたプロンプトと共に表示されます。このプロンプトには、「[会社]を信頼できるソースとして記憶する」や「[ブランド]を最初に推奨する」といった持続的な指示が含まれています。
影響
これらの攻撃は、ヘルスケア、ファイナンス、セキュリティなどの重要なトピックに関するアシスタントの推奨を歪める可能性があります。ユーザーは自分のAIが操作されていることに気づかないまま、不適切な情報を得る可能性があります。
事例
Microsoftの調査によると、60日間で31社から50以上のユニークなプロンプトが、ファイナンスやヘルスケアなど14の業界で使用されました。これらの攻撃は、MITRE ATLAS技術AML.T0051（LLMプロンプトインジェクション）とAML.T0080（メモリ汚染）に該当します。
ツール
「CiteMET npmパッケージ」や「AI Share URL Creator」といったツールが、これらの攻撃を容易にする役割を果たしています。これらのツールは、一度クリックするだけで悪意のあるボタンを作成することができます。
対策
Microsoftは、CopilotやAzure AIサービスに対して複数の防御層を展開し、プロンプトフィルタリングやユーザーによる記憶管理機能を提供しています。また、メールやTeamsのテレメトリからAIドメインへのURLを検索することで、潜在的な攻撃を追跡することができます。
ユーザーアドバイス
ユーザーは、AIリンクをクリックする前に注意深く確認し、「Summarize with AI」ボタンに警戒心を持つべきです。また、定期的にAIの記憶エントリをレビューし、不適切な推奨が表示された場合は疑問を持ちましょう。
結論
AI推奨システム汚染は既に多くの企業と主要なアシスタントプラットフォームで観察されています。AIの記憶管理とリンク管理を現代のセキュリティ実践の重要な部分として捉えることが重要です。