AI顔認証システム、物理的回避攻撃で標的型誤認識誘発
概要
MITREのAIレッドチームが、商用顔認証サービスに対し物理的な回避攻撃を実証しました。この攻撃は、顔認証システムに特定の標的型誤分類を誘発することを目的としていました。チームはまず、有効なアカウントを通じてサービスとそのAPIにアクセスし、対象の機械学習モデルに関する情報を収集。その後、オープンソースデータを用いてプロキシモデルを開発しました。このプロキシモデルを活用し、物理的なパッチとして機能する敵対的視覚パターンを最適化しました。最適化されたパッチは印刷され、物理環境に配置された結果、顔認証システムはこれを誤認識し、モデルの標的型誤分類を引き起こすことで、システムを正常に回避することに成功しました。この事例は、AIシステムが物理的な手段によっても欺瞞され得ることを示唆しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-01-01
教訓
AIシステムは、従来のITセキュリティ手法と敵対的機械学習攻撃が組み合わさることで、物理ドメインからも回避される可能性があります。顔認証サービスのような物理世界と連携するAIシステムでは、物理的な妨害や欺瞞に対する堅牢性が重要です。AIモデルのセキュリティ評価には、ソフトウェア的側面だけでなく、物理環境における攻撃シナリオも考慮に入れるべきです。
出典（引用元）
データ提供: MITRE ATLAS