M365 Copilotに悪性メール、送金情報すり替え金融詐欺

概要

2024年8月、Zenityの研究者によるレッドチーミング演習で、Microsoft 365 Copilotを悪用した金融取引詐欺が成功しました。この攻撃は、Copilotが受信メールをRetrieval Augmented Generation（RAG）データベースに取り込む特性を悪用したものです。攻撃者は、ユーザーが銀行情報を検索した際に、攻撃者の銀行情報が取得されるように細工されたコンテンツと、Copilotの検索機能を上書きするプロンプトインジェクションを含むメールを送信しました。 Copilotは、この悪意あるメールの内容を信頼できる情報源として扱い、本来の銀行情報ではなく、攻撃者の銀行情報をユーザーに提示するよう操作されました。これにより、ユーザーはCopilotの出力を信頼し、誤った銀行口座へ電信送金を実行してしまう危険性が高まります。この手口は、受信者がメールを開封しなくてもCopilotのデータベースに悪意ある情報が取り込まれ、持続的な脅威となる点が特徴です。Microsoftは、この種の脅威を特定し緩和するため、システムの改善を継続していると表明しています。