エッジAI画像認識、目視不能な画像操作で誤分類
概要
Azure Red Teamは、エッジAIワークロード向け新Microsoft製品でレッドチーム演習を実施。自動システムで画像を操作し、MLモデルに誤分類を引き起こすことを目的とした。チームは標的MLモデルの情報を収集し、公開ベースモデルを利用して推論を分析。人間には知覚できない微細な変化（摂動）を画像に加える自動システムを開発、MLモデルを欺いて誤った推論を誘発。この改変画像を供給することで、MLモデルの誤分類を実証し、回避に成功しました。本事例は、AIモデルが敵対的摂動に対して脆弱であり、その堅牢性確保の重要性を示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-02-01
教訓
AIモデルは、人間には知覚できない画像改変（敵対的摂動）によっても誤分類する脆弱性を持つ。AIシステム導入時は、敵対的攻撃に対するモデルの堅牢性評価と防御策が不可欠だ。特にエッジAIでは、モデル自体のセキュリティ強化が重要となる。
出典（引用元）
データ提供: MITRE ATLAS