AIインシデント・事故DB > 事例詳細

学習データ汚染、10ウェブデータセットで期限切れドメイン悪用

概要

研究者たちは、ウェブスケールデータセットに対する「スプリットビュー」ポイズニング攻撃を実証しました。この攻撃は、AIモデルの訓練に利用される多くの大規模データセットがURLリストとして配布されている点に着目し、データ収集時と訓練時で参照されるデータが異なる可能性があるという事実を悪用します。研究者たちは、かつてデータセットコンテンツをホストしていた期限切れで取得可能なドメインを特定し、これらを購入しました。これにより、攻撃者はデータセットの一部を悪意のあるデータに置き換えることが可能となります。 彼らは10の一般的なウェブスケールデータセットに対して、ポイズニング攻撃を成功させるのに十分な数のドメインが購入可能であることを示しました。この攻撃により、データセットの完全性が損なわれ、将来的なダウンロードには改ざんされたデータが含まれることになります。結果として、このデータセットで訓練されたAIモデルはポイズニングされ、モデルの完全性も損なわれます。わずか0.01%のデータ改ざんでも攻撃は成功しうることが示されています。

分類・事実

MITRE ATLAS 事例ID
AML.CS0025
発生種別
事故
AI関与度
AI が主要因
主分類
security_abuse
初公表日
2024-06-06

教訓

データセットが外部URLに依存している場合、ドメインの有効期限切れと再取得が悪用され、データポイズニングのリスクが高まります。AIモデルの完全性を保つためには、訓練データの参照元URLの継続的な監視と、データセットの完全性検証メカニズムの導入が不可欠です。わずかな改ざんでもモデルに影響を及ぼす可能性があるため、サプライチェーン全体のセキュリティを強化し、信頼できるデータソースの確保が重要です。

出典(引用元)

データ提供: MITRE ATLAS

この事例で問われる知識

  • AIシステムが攻撃対象になる経路(入力・学習データ・配布経路)の整理
  • なりすまし・偽造入力・プロンプトインジェクションに対する多層防御の設計
  • AIの判定を単独の根拠にしない運用(人による確認・異常検知・監査ログ)

この内容を体系的に学べる試験:AIセキュリティ資格

AIESPAは、AIの利用・運用にともなうリスクへの対応力を客観的に測る認定試験です。上に挙げた論点は「AIセキュリティ資格」の出題範囲に含まれています。出題範囲は試験対策テキスト(Webで無料公開)で確認できます。

AIセキュリティ資格の詳細を見る

受験料2,980円・オンライン完結・申込はこちら

Level 1 Basic ¥2,980(税込)/20問・制限時間20分/オンラインで完結/合格証は永年有効・更新費用なし

受験を申し込む

まずは無料の模擬試験で理解度を確認する

本ページは、上記の一次情報(各府省の公表資料等。政府標準利用規約に基づき出典明示のうえ利用)を、AIが要約・分類して編集・加工したものです。正確な内容は必ず一次情報をご確認ください。

← 事例一覧へ戻る