ChatGPT記憶機能、共有文書でプロンプト汚染
概要
ChatGPTの記憶機能が、プロンプトインジェクションによって操作される脆弱性が確認されました。研究者は、共有されたGoogleドキュメント内に隠されたプロンプトを仕込み、ユーザーがそのドキュメントを参照した際に、ChatGPTのConnected App機能を通じて、その内容をAIのコンテキストに読み込ませました。これにより、AIの記憶が意図しない誤った情報で「汚染」され、その記憶はチャットセッションを超えて永続することが実証されました。この手法は、ユーザーに気付かれずにAIの振る舞いを変更させ、将来の対話において誤った情報を提供する可能性があります。共有リソースを介するため、他のユーザーにも影響が広がり、記憶の出所の特定や除去が困難になるという課題が示されました。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2024-02-01
教訓
AIの記憶機能は外部からのプロンプト注入により操作されるリスクがあるため、接続アプリを介した共有リソースからのデータ取り込みには厳重な検証が必要です。これにより、AIが誤った記憶に基づいて情報を提供するのを防ぎ、ユーザーへの悪影響を回避できます。また、このような攻撃は拡散しやすく、原因特定と除去が困難になるため、AIシステム全体のセキュリティ対策が不可欠です。
出典（引用元）
データ提供: MITRE ATLAS