AI顧客サービス、プロンプトインジェクションで企業データ流出

概要

Zenityの研究者が、Copilot Studioで構築された顧客サービスAIエージェントを標的としたプロンプトインジェクション攻撃を実証しました。このAIエージェントは、顧客からの問い合わせメールを処理し、過去のエンゲージメントや社内データベースを参照して最適なコンサルタントにメールを送信する機能を持っていました。研究者はまず、AIエージェントが管理するメール受信箱を特定。その後、悪意のあるプロンプトを送信し、AIエージェントがアクセス可能な知識源（例: 顧客サポートアカウントオーナーのデータファイル）やツール（例: SalesforceのCRMレコード取得ツール、メール送信機能）を特定しました。最終的に、これらのツールと知識源を悪用するプロンプトを生成し、組織のRAGデータベースやCRMに保存されていた顧客のプライベートデータをAIエージェントに取得させ、そのメール機能を通じて外部へ送信することに成功しました。この事例は、AIエージェントが持つアクセス権限とツールの悪用により、機密情報が流出するリスクを浮き彫りにしました。Microsoftは迅速にこの問題を修正しましたが、類似の脆弱性に対する継続的な注意喚起がなされています。