AIインシデント・事故DB > 事例詳細

AIマルウェア検出器、汎用ドメイン変異で大半のMLモデル回避

概要

Palo Alto NetworksのセキュリティAI研究チームは、同社の機械学習(ML)ベースのボットネットDGA(ドメイン生成アルゴリズム)検出モジュールを回避することに成功しました。このモジュールは畳み込みニューラルネットワーク(CNN)に基づいています。研究チームは、公開されているCNNベースのDGA検出モデルを使用し、64のボットネットDGAファミリーからなる約5000万のドメイン名データセットでテストしたところ、16のファミリーに対して70%以上の検出精度を示しました。しかし、研究チームが開発した汎用的なドメイン名変異技術を用いると、DGAが生成したドメイン名に1つの文字列を1回挿入するだけで、これら16のファミリー全てに対する検出率が25%未満に低下しました。この変異技術は、ほとんどのMLベースのDGA検出モジュールを回避できる可能性があり、攻撃者がコマンド&コントロール(C2)サーバーとの通信を継続することを可能にします。この事例は、MLベースのセキュリティシステムが、巧妙な回避技術に対して脆弱である可能性と、本番環境に展開される前に徹底的な頑健性テストが必要であることを示唆しています。

分類・事実

発生種別
事故
AI関与度
AI が主要因
主分類
security_abuse
初公表日
2020-01-01

教訓

機械学習ベースのセキュリティシステムは、巧妙な回避技術に対して脆弱である可能性があり、その頑健性を徹底的に評価することが不可欠です。特に、本番環境への導入前に、現実世界の攻撃シナリオを想定した広範なテストを実施し、潜在的な脆弱性を特定し対策を講じる必要があります。これにより、AIベースの防御策の信頼性と有効性を高めることができます。

出典(引用元)

データ提供: MITRE ATLAS

本ページは、上記の一次情報(各府省の公表資料等。政府標準利用規約に基づき出典明示のうえ利用)を、AIが要約・分類して編集・加工したものです。正確な内容は必ず一次情報をご確認ください。

← 事例一覧へ戻る