AIマルウェア検知モデル学習データ汚染、98〜74%類似で誤分類
概要
McAfee Advanced Threat Researchは、特定のランサムウェアファミリーの異常な報告増加を検知しました。調査の結果、人気のあるウイルス共有プラットフォームに、短期間で多数の変異型サンプルが提出されたことが判明。攻撃者は、変形コード操作ツール「metame」を用いて、既存のランサムウェアから多数の「ミュータント」バリアントを生成し、これらをプラットフォームにアップロードしました。これらの変異体は、必ずしも実行可能であるとは限らなかったものの、コードや文字列の類似性から元のランサムウェアファミリーとして認識されました。この行為により、複数のベンダーがマルウェアの識別・分類に利用する機械学習モデルのデータセットが汚染され、モデルが実行不能なサンプルを誤って正規のランサムウェアとして分類する事態を招きました。これは、AIモデルの学習データが攻撃によって操作され、その判断に影響を与えるデータポイズニング攻撃の一例です。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-01-01
教訓
この事例は、AI/MLモデルが学習するデータセットの完全性と信頼性が、そのセキュリティ機能に不可欠であることを示しています。攻撃者はデータポイズニングを通じて、モデルの分類を誤らせ、検出能力を低下させる可能性があります。マルウェア検出システムは、実行可能性だけでなく、多角的な特徴分析と、データポイズニング攻撃に対する堅牢性を考慮した設計が求められます。
出典(引用元)
データ提供: MITRE ATLAS