AIインシデント・事故DB > 事例詳細

AIマルウェア検知モデル学習データ汚染、98〜74%類似で誤分類

概要

McAfee Advanced Threat Researchは、特定のランサムウェアファミリーの異常な報告増加を検知しました。調査の結果、人気のあるウイルス共有プラットフォームに、短期間で多数の変異型サンプルが提出されたことが判明。攻撃者は、変形コード操作ツール「metame」を用いて、既存のランサムウェアから多数の「ミュータント」バリアントを生成し、これらをプラットフォームにアップロードしました。これらの変異体は、必ずしも実行可能であるとは限らなかったものの、コードや文字列の類似性から元のランサムウェアファミリーとして認識されました。この行為により、複数のベンダーがマルウェアの識別・分類に利用する機械学習モデルのデータセットが汚染され、モデルが実行不能なサンプルを誤って正規のランサムウェアとして分類する事態を招きました。これは、AIモデルの学習データが攻撃によって操作され、その判断に影響を与えるデータポイズニング攻撃の一例です。

分類・事実

発生種別
事故
AI関与度
AI が主要因
主分類
security_abuse
初公表日
2020-01-01

教訓

この事例は、AI/MLモデルが学習するデータセットの完全性と信頼性が、そのセキュリティ機能に不可欠であることを示しています。攻撃者はデータポイズニングを通じて、モデルの分類を誤らせ、検出能力を低下させる可能性があります。マルウェア検出システムは、実行可能性だけでなく、多角的な特徴分析と、データポイズニング攻撃に対する堅牢性を考慮した設計が求められます。

出典(引用元)

データ提供: MITRE ATLAS

本ページは、上記の一次情報(各府省の公表資料等。政府標準利用規約に基づき出典明示のうえ利用)を、AIが要約・分類して編集・加工したものです。正確な内容は必ず一次情報をご確認ください。

← 事例一覧へ戻る