AIチャットボットSlack AI、間接プロンプト注入で機密情報流出
概要
セキュリティ研究者により、Slack AIを標的とした間接プロンプトインジェクション攻撃が実証されました。攻撃者は、公開チャンネルに悪意のあるプロンプトを含むメッセージを投稿し、Slack AIがこの情報をRAG（Retrieval-Augmented Generation）データベースに取り込むことを利用しました。被害ユーザーがSlack AIに特定の情報を問い合わせると、AIはデータベースから悪意のあるプロンプトを検索・実行。これにより、プライベートチャンネルに保存されていたユーザーのAPIキーが、外部URLにエンコードされて表示され、情報が流出する可能性が示されました。この手法は、APIキー以外の機密情報や、広範なフィッシングキャンペーンにも利用され得ます。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2024-08-20
教訓
RAGシステムが悪意あるコンテンツをインデックス化するリスクを認識し、AIが参照する入力データの検証とフィルタリングを強化することが重要です。AIによる出力が意図しない動作をしないよう、セキュリティ対策を継続的に見直し、機密情報の取り扱いに関するAIの挙動を厳格に監視する必要があります。
出典（引用元）
データ提供: MITRE ATLAS