Palo Alto AIマルウェアC&C検知、敵対的サンプルで回避
概要
パロアルトネットワークスの研究チームは、マルウェアのコマンド＆コントロール（C&C）トラフィックを検出する深層学習モデルの回避可能性を検証しました。彼らは公開論文を参考に、本番モデルと同等の性能を持つモデル（真陽性率約99%、偽陽性率約0.01%）を構築。その後、HTTPパケットヘッダーからC&C通信に通常使われないフィールドを削除するなどして敵対的サンプルを作成し、モデルを繰り返し照会・調整しました。結果、このモデルは悪意あるトラフィックを80%以上の確信度で「無害」と誤認識しました。この事例は、高度な機械学習ベースの検出技術であっても、巧妙に作成された敵対的サンプルによって回避され得ることを示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-01-01
教訓
機械学習モデルは、高い検出精度を持つものであっても、敵対的サンプルによる回避のリスクがある。攻撃者は、モデルが誤分類するような巧妙なサンプルを作成し、検出をすり抜ける可能性があることを認識すべきである。
出典（引用元）
データ提供: MITRE ATLAS