モバイルアプリのAI顔認証等54件にバックドア攻撃

概要

Microsoft Researchの研究者たちは、モバイルアプリケーションに組み込まれている深層学習モデルがバックドア攻撃に対して脆弱であることを実証しました。Google Playから収集した実世界のモバイル深層学習アプリを対象とした実証研究では、キャッシュ認識、ペアレンタルコントロール、顔認証、金融サービスといったセキュリティや安全性に重要な用途のアプリを含む54件で、この種の攻撃が成立する可能性が確認されました。 この攻撃は「ニューラルペイロード注入」という手法を用います。研究者らは、コンパイル済みの深層学習モデルから計算グラフを抽出し、特定の視覚的トリガーを検出するネットワークと条件付きロジックからなる「ニューラルペイロード」を直接注入しました。これにより、物理環境に配置された特定のトリガーがデバイスのカメラで捉えられると、モデルが本来の機能をバイパスし、攻撃者が選択した出力を生成するように操作されます。この攻撃が成功するためには、悪意のあるAPKがサプライチェーンの侵害などを通じてユーザーのデバイスにインストールされる必要があります。本事例は、AIモデルが外部からの改ざんによって、物理環境の特定の情報に基づいて悪用されるリスクを示しています。