AIメール保護、モデル窃盗で悪性メールの検知回避

概要

「ProofPoint Evasion」事例では、ML研究者たちがProofPoint社のメール保護システムを回避することに成功しました。彼らはまず、ProofPointシステムがメールヘッダーに残すモデル出力スコアを多数のメール送信を通じて収集しました。この収集したデータセットを用いて、ProofPointの保護モデルの機能を模倣した「オフライン」プロキシMLモデルを構築しました。具体的には、人工ニューラルネットワーク（ANN）とBag of Wordsトークン化が用いられました。この模倣モデルから、メールのセキュリティスコアに影響を与える単語（例：「calculation」は高スコア、「software」は低スコア）に関する洞察を得ました。これらの洞察を活用することで、研究者たちはProofPointの実際のシステムで「好ましい」スコアを受け取り、検知されずに通過する悪意のあるメールを作成し、システムを迂回しました。本事例は、AIシステムの出力が外部に露出することで、その動作がリバースエンジニアリングされ、回避策が開発される可能性を示しています。