Google Bard、間接プロンプト攻撃で会話流出
概要
研究者がGoogle Bardユーザーの会話情報を不正に外部流出させる手法を実証しました。攻撃者は、悪意のあるプロンプトを含むGoogleドキュメントをターゲットユーザーと共有。ユーザーがBardを介してそのドキュメントとやり取りすると、意図せずプロンプトが実行されました。Bardは、プロンプトによって、ユーザーの会話情報がURLに秘密裏に埋め込まれた画像のマークダウンを生成するよう仕向けられました。Bardがこの画像をレンダリングすると、自動的に攻撃者が制御するスクリプトへのリクエストが送信され、会話情報が流出しました。このリクエストは、スクリプトがGoogle所有ドメインのGoogle Apps Scriptとしてホストされていたため、Googleのコンテンツセキュリティポリシー(CSP)によってブロックされませんでした。これにより、ユーザーのプライバシーが侵害され、さらなる標的型攻撃につながる可能性がありました。Googleはこの脆弱性を修正済みです。この事例は、AIが外部コンテンツと連携する際に、間接プロンプトインジェクションがデータ流出のリスクとなり得ること、また、CSPが内部ドメインからのリクエストに対しても厳密に適用されるべき重要性を示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2023-11-23
教訓
AIが外部コンテンツと連携する際、間接プロンプトインジェクションによるデータ流出リスクを認識し、対策を講じる必要があります。画像レンダリングなど一見無害な機能も悪用される可能性があるため、実装には細心の注意が求められます。コンテンツセキュリティポリシー(CSP)は、信頼できるドメインからのリクエストであっても、全てのデータフローを厳密に考慮し、潜在的な流出経路を塞ぐよう設計されるべきです。AIと外部サービス間の連携におけるセキュリティ強化が、ユーザーのプライバシー保護に不可欠です。
出典(引用元)
データ提供: MITRE ATLAS