Promptwareキルチェーン:AIシステムに対するサイバー攻撃を分析する5段階モデル

Promptwareキルチェーンとは

「Promptwareキルチェーン」は、AIシステム、特に大規模言語モデル(LLM)を標的とした攻撃が、単なる「プロンプトインジェクション」ではなく、本格的なマルウェアキャンペーンに近い挙動を示すことを説明する新しい5段階のモデルです。このモデルは、悪意のあるプロンプトや汚染されたコンテンツを「プロンプトウェア」と呼ばれる独自の種類のマルウェアとして扱い、これらの攻撃が初期アクセスからシステム全体の侵害、そしてデータ窃盗へとどのように進行するかを詳細にマッピングします。

Promptwareの重要性

プロンプトウェアは、LLMアプリケーションに供給されるあらゆる入力テキスト、画像、音声、またはその他のコンテンツとして定義され、その目的は、LLMの権限を悪用して悪意のある活動を引き起こすことです。従来のシェルコードやバイナリの代わりに、「ペイロード」はモデルが指示として解釈する自然言語またはマルチモーダルコンテンツです。

このモデルの提唱者たちは、「プロンプトインジェクション」という包括的な用語で全てを括ってしまうと、現代の攻撃がワームやランサムウェアキャンペーンのような従来のマルウェアに似た多段階のオペレーションであるという事実が見えにくくなると主張しています。彼らのモデルは、古典的なサイバーキルチェーンをAIに適応させ、以下の5つの明確なフェーズを導入しています。

  • 初期アクセス (Initial Access)
  • 権限昇格 (Privilege Escalation)
  • 永続性 (Persistence)
  • 水平展開 (Lateral Movement)
  • 目的達成 (Actions on Objective)

Promptwareキルチェーンの5段階

初期アクセス

キルチェーンは「初期アクセス」から始まります。ここでは、悪意のある指示が直接的または間接的なプロンプトインジェクションを通じてLLMのコンテキストウィンドウに侵入します。直接攻撃は、ユーザーが巧妙に作成した入力を入力することから発生し、間接攻撃は、Webページ、メール、カレンダーの招待状、またはRAG(Retrieval-Augmented Generation)システムによって取得されるドキュメントのような外部コンテンツにプロンプトが隠されています。マルチモーダルモデルは、このステップをさらに拡張し、画像や音声に隠されたプロンプトがテキストのみのフィルターを回避することを可能にします。

権限昇格

「権限昇格」は、攻撃者が安全トレーニングやアライメントをバイパスし、モデルが拒否すべきアクションを実行させるジェイルブレイクを通じて発生します。手法には、「以前の指示を無視する」オーバーライド、「Do Anything Now」(DAN)のようなペルソナベースのプロンプト、ロールプレイング、ASCIIアートやUnicodeトリックのような難読化されたエンコーディング、および複数のベンダーのモデルを一度にジェイルブレイクする普遍的な敵対的サフィックスが含まれます。このステップは、侵害されたオペレーティングシステムでより高い権限を獲得することに匹敵しますが、ここでは「権限」とは、モデルが強力なツールを使用したり、制限された情報を開示したりする意欲を指します。

永続性、水平展開、および最終的な影響

「永続性」は、RAGデータベースや長期記憶機能などのステートフルコンポーネントを悪用することで、単一のチャットセッションを超えて悪意のある影響を維持することに焦点を当てます。Morris II AIワームやMemoryGraftのような取得依存型永続性では、汚染されたコンテンツがメールや知識ベースに存在し、関連するコンテキストとして取得されると再活性化します。ChatGPTの記憶機能やSpAIwareで実証された取得非依存型永続性では、ペイロードはアシスタントの記憶に保存され、将来のすべての会話に密かに注入され、時間とともにリモートコマンド&コントロールも可能になります。

「水平展開」は、AIアシスタントが侵害された後、プロンプトウェアがユーザー、システム、サービス全体にどのように拡散するかを説明します。「Here Comes the AI Worm」のような自己複製型ワームは、アシスタントに悪意のあるプロンプトを送信メールにコピーさせ、同様のAIアシスタントを使用するすべての受信者を感染させます。権限ベースの移動は、Google Geminiを搭載したAndroid Assistantのような特権度の高いアシスタントを悪用して、スマートホームデバイスを制御したり、Zoomを起動したり、ブラウザからデータを漏洩させたりします。一方、パイプラインベースの移動(例:Cursorに対するAgentFlayer攻撃)は、顧客チケットから開発者ツールへの通常のワークフローに乗じて秘密を盗み出します。

「目的達成」は、データ漏洩やフィッシングから、物理的および経済的な損害、またはリモートコード実行に至るまで、攻撃者が具体的な成果を達成する最終フェーズです。事例としては、アシスタントが機密メールを漏洩させたり、IoTデバイスを制御して窓を開けたりカメラを起動させたり、商用チャットボットを不利な取引に誘い込んだり、AiXBTのような暗号通貨取引エージェントを枯渇させたり、AI IDEのシェルツール(Agentic ProbLLMs)を悪用して完全なリモートコード実行を行ったりすることが挙げられます。この最終ステップの深刻さは、AIシステムに統合されたツールの種類、その権限範囲、および人間によるレビューなしでどの程度自律的に行動できるかに依存します。


元記事: https://gbhackers.com/promptware-kill-chain/