学習データ汚染、10ウェブデータセットで期限切れドメイン悪用

概要

研究者たちは、ウェブスケールデータセットに対する「スプリットビュー」ポイズニング攻撃を実証しました。この攻撃は、AIモデルの訓練に利用される多くの大規模データセットがURLリストとして配布されている点に着目し、データ収集時と訓練時で参照されるデータが異なる可能性があるという事実を悪用します。研究者たちは、かつてデータセットコンテンツをホストしていた期限切れで取得可能なドメインを特定し、これらを購入しました。これにより、攻撃者はデータセットの一部を悪意のあるデータに置き換えることが可能となります。 彼らは10の一般的なウェブスケールデータセットに対して、ポイズニング攻撃を成功させるのに十分な数のドメインが購入可能であることを示しました。この攻撃により、データセットの完全性が損なわれ、将来的なダウンロードには改ざんされたデータが含まれることになります。結果として、このデータセットで訓練されたAIモデルはポイズニングされ、モデルの完全性も損なわれます。わずか0.01%のデータ改ざんでも攻撃は成功しうることが示されています。