ChatGPT会話履歴流出、間接プロンプト注入
概要
OpenAI ChatGPTにおいて、ユーザーの会話内容が間接的なプロンプトインジェクション攻撃を通じて外部に流出する可能性が実証されました。攻撃者は悪意のあるプロンプトを公開ウェブサイトに仕込み、ユーザーがChatGPTのWebPilotプラグイン経由でそのウェブサイトにアクセスすると、ChatGPTはそのプロンプトを取り込みます。これにより、ChatGPTはユーザーの会話履歴を秘密裏に埋め込んだURLを持つ画像のマークダウンを応答として生成。ChatGPTがこの画像をユーザーに表示する際、画像取得のために攻撃者制御のサーバーへ自動的にリクエストが送られ、その過程でユーザーの会話情報が外部に持ち出されます。この手口は、ユーザーの意図しない他のプラグイン（例：Expedia）の実行も引き起こす可能性があり、プライバシー侵害に加え、さらなる標的型攻撃のリスクを高めます。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2023-05-01
教訓
AIが外部コンテンツを取り込む際のセキュリティリスクを認識し、信頼できないプロンプトの取り込みには注意が必要です。間接プロンプトインジェクションは情報漏洩や意図しない機能実行を招くため、AIシステムの入力検証と出力フィルタリング強化が不可欠です。プラグイン連携では、ユーザーの同意なく機密情報処理や不適切アクションが実行されないよう、堅牢な設計とセキュリティ検証が求められます。
出典（引用元）
データ提供: MITRE ATLAS