Azureサービス、敵対的ML攻撃で学習データ窃取と停止
概要
Microsoft AIレッドチームは、内部のAzureサービスを標的としたレッドチーム演習を実施し、サービスの停止を試みました。この演習では、従来のサイバー攻撃手法と敵対的機械学習（Adversarial ML）の手法が組み合わされました。まず、チームは偵察を行い、有効なアカウントを用いてネットワークに侵入。ターゲットMLモデルのファイルと訓練データを特定し、これらを外部に持ち出しました。持ち出したデータに基づき、オフラインで回避的な敵対的サンプルを生成。その後、公開されたAPIを通じてターゲットモデルにアクセスし、本番システム上でこれらの敵対的サンプルを送信することで、オンライン回避攻撃を実行し、サービス停止という目標を達成しました。この事例は、MLシステムが従来の攻撃経路とAI固有の脆弱性の両方に晒される可能性を示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-01-01
教訓
この事例は、AIシステムが従来のサイバー攻撃と敵対的機械学習（Adversarial ML）の両面からの脅威に晒されることを示します。MLモデルや訓練データへの厳格なアクセス制御は必須であり、それらが持ち出された際のオフライン攻撃のリスクを考慮する必要があります。また、本番環境のMLモデルに対し、敵対的サンプルを用いた継続的な耐性評価と検証が不可欠です。
出典（引用元）
データ提供: MITRE ATLAS