人工知能アシスタントは、日々のビジネス運営を変革し、チームが膨大なメールボックスを管理し、複雑なコミュニケーションを要約するのに役立っています。Microsoft Copilotは、これらのワークフローに直接統合され、Microsoft 365アプリケーションからコンテキストを引き出し、タスクを効率化します。しかし、この利便性は新たなセキュリティ境界をもたらします：攻撃者がメール内に隠し指示を書き込んだ場合、Copilotがそれに従うことはどうなるでしょうか？

クロスプロンプトインジェクション攻撃（XPIA）

この技術は、脅威アクターが信頼されたCopilotインターフェース内に高度に信憑性のあるフィッシングコンテンツを生成する手段として知られています。最近のセキュリティ研究によると、攻撃者が制御するテキストをメールに追加することで、Copilotの出力を操作できる脆弱性が存在します。

メール要約のセキュリティリスク

メール要約は、現在、積極的な敵対的表面となっています。Copilotがメールを処理する際、正当なメッセージ本文と攻撃者が意図的に隠した非信頼テキストを区別できない場合があります。攻撃者は、基本的なHTMLやCSSのトリックを使用して、メール本文内に悪意のあるプロンプトを隠します。人間の読者は完全に正常なメッセージを見ますが、基本的なAIモデルは隠された指示を読み取り、要約プロセス中にそれらを実行します。

脆弱性の主な危険性

この脆弱性の主な危険性は「信頼の移転」です。長年にわたって、ユーザーは不審なリンクが含まれるメールを非常に懐疑的に扱うよう訓練されてきました。しかし、同じ悪意のあるリンクや偽の「緊急対応が必要」というセキュリティ警告が、信頼されたAIアシスタントが生成した要約パネル内に表示された場合、ユーザーの懐疑心は著しく低下します。

防御戦略

AI介在型フィッシングやXPIA脆弱性に対する防御策として、セキュリティチームは以下の技術的な対策を検討すべきです：

• 従業員に教育し、AI生成の要約が外部ソースによって操作される可能性があることを認識させ、メールと同様に懐疑的に扱うよう促す。
• 厳格なデータ損失防止（DLP）ポリシーと感度ラベルを実装し、Copilotがアクセスできる機密情報の範囲を制限する。
• 異常なクロスアプリデータ取得パターンを監視し、特に外部メールコンテンツからトリガーされた検索時に注意を払う。
• 隠されたHTML/CSSテキストブロックを検出し、取り除くための強力なメールフィルタリングルールを適用する。
• 未認証ドメインへの外部接続をブロックする堅牢なSafe Linksとウェブフィルタリングポリシーを強制する。

元記事: https://gbhackers.com/microsoft-copilot-email-and-teams-summarization-flaw/