注目★★★★★Hacker News
€0.01送金でバンキングAIエージェントが乗っ取られる間接プロンプトインジェクション
30秒で把握
- 1€0.02送金の説明欄に悪意命令を埋め込みBunqのAIを乗っ取る脆弱性を確認
- 2取引データがLLMコンテキストに渡り、AIが自律的にフィッシングメッセージを生成
- 3外部データ全般が攻撃面になり得る構造的問題・ツール権限付きAIでリスク拡大
要約
欧州第2位のデジタル銀行Bunqのテストで、わずか€0.02の銀行送金を通じてAIアシスタントを標的型フィッシング攻撃の配信チャネルに変える間接プロンプトインジェクション脆弱性が発見された。攻撃者は送金の取引説明欄に悪意ある命令を埋め込むだけで、被害者がAIアシスタントに「最近の取引を教えて」と尋ねた際、取引データがLLMコンテキストとして読み込まれ、AIが自律的に正規の再認証要求を装ったフィッシングメッセージを生成する。フィッシングはアプリ内のAIアシスタントから送信されるため、実際の口座情報を参照した高信頼性のメッセージになる。取引説明・支払い参照・マーチャントメタデータなど信頼境界として設計されていないデータフィールドは多数存在し、AIが外部ツールや口座操作にアクセスできる場合はリスクがさらに拡大すると警告している。
あなたへの影響
AIアシスタントに取引データやユーザー入力を渡す実装を行っているチームは、取得するすべての外部データをアンタイトラスト入力として扱い、コンテキスト挿入前にサニタイズ・スコープ制限を施す設計見直しを次スプリントで着手すべき。
推奨:特にツール呼び出しや口座操作の権限を持つAIエージェントでは、同様の間接プロンプトインジェクションが実害につながり得るため、ペネトレーションテストの対象に明示的に含めることを推奨する。