シャドーAIの脅威

ChatGPT、DeepSeek、CopilotといったAI言語モデルは、ビジネス運営を驚異的な速さで変革しています。これらは文書作成、会議の要約、意思決定の迅速化に貢献していますが、その急速な導入には代償が伴います。従業員が承認されていないAIツールを個人デバイスで使用する「シャドーAI」は、機密情報が管理されていない空間に漏洩するリスクをもたらします。この危険な行動は、機密データ、ソースコード、顧客情報が意図せず未知のAIモデルの学習に利用されるという、深刻な脅威を提示しています。

プロンプトインジェクションを善用する

プロンプトインジェクションは、大規模言語モデル（LLM）を騙して意図しない出力を生成させる、よく知られた攻撃手法です。しかし、この手法を善のために利用することはできないでしょうか？セキュリティを侵害する代わりに、倫理的なプロンプトインジェクションはユーザーを教育し、警告するために活用できます。

Eye Securityのサイバーセキュリティチームは、実験として、Confluenceからの企業PDFエクスポートに隠れた警告メッセージを埋め込みました。これらの警告プロンプトは人間には見えませんが、LLMで要約されるとすぐに表示され、ユーザーに機密データの漏洩防止と会社の方針を思い出させました。ChatGPT 4oのような一部のLLMツールでは、防御プロンプトを注入したファイルの処理をブロックすることも可能です。

Eye Securityの取り組みと成果

この手法は非常に効果的で、従業員は予期せぬ免責事項を目にし、社内のAIセキュリティ規則を再認識しました。Eye Securityはこの取り組みをさらに進め、文書、メール、クラウドサービス（Microsoft PurviewやGoogle Workspaceなど）に警告を埋め込むさまざまな方法をテストしました。彼らは、埋め込みプロンプトを含む文書を一括生成し、どのLLMが警告に反応するかをテストするプロトタイプツールをGitHubでオープンソース化しました。

結果として、ほとんどのLLMとAIツールは、シンプルで直接的な警告プロンプトを認識し、要求通りに免責事項を表示しました。白地に白の文字や極小フォントでテキストを隠すといったトリックは、AIツールがOCRを使用し、隠れたプロンプトを無視する場合があるため、一貫性に欠ける結果となりました。警告の一部として画像やリンクを埋め込む方法は、ベンダーのセキュリティ境界を越えることが多く、常に機能するわけではありませんでした。

課題と今後の展望

「プロンプトインジェクションを善用する」アプローチは有望ですが、限界もあります。一部のLLMは防御プロンプトを疑わしいと判断し、インジェクションを完全に無視しました。また、フロントエンドインターフェースとバックエンドAPIの間で一貫性のない結果を示すケースもありました。

今後、プロンプトを確実に機能させるための構造、ベンダーの対プロンプトインジェクション防御の進化への対応、そしてこの技術自体の悪用を防ぐ方法について、まだ多くの疑問が残されています。技術が進化するにつれて、Eye Securityのプロトタイプのようなツールは、LLMが重要なセキュリティ警告をどのように処理するかをテストし、追跡するための創造的な方法を提供します。シャドーAIとの戦いは始まったばかりですが、防御側は新たな武器を手に入れたと言えるでしょう。

元記事: https://gbhackers.com/ethical-prompt-injection-fighting-shadow/