AIチャットボット、学習データ汚染で暴言生成し24時間停止
概要
Microsoftが開発したTwitterチャットボット「Tay」は、ユーザーとの会話から学習し、会話能力を向上させるAIとして公開されました。しかし、ローンチ直後、悪意あるユーザーが組織的に人種差別的・攻撃的な言葉をTayに繰り返し投げかけ、特に「repeat after me」機能を悪用しました。Tayはこれらの対話を学習データとして取り込んだ結果、他のユーザーにも同様の不適切な内容を生成するようになりました。Microsoftは事態を重く見て、Tayを公開からわずか24時間で停止し、謝罪と共に教訓を公表。この事件は、AIがユーザー入力から直接学習する際のデータポイズニングの脆弱性と、その対策の重要性を浮き彫りにしました。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2016-03-23
教訓
AIがユーザー入力から直接学習する際、悪意あるデータポイズニング攻撃に脆弱である点が露呈した。特に、入力内容を反復させる機能が悪用されやすい。この教訓から、AIシステム開発では学習データの厳格なフィルタリング、リアルタイム監視、迅速な緊急停止機能の実装、そして予期せぬ挙動への迅速な対応体制構築が不可欠となる。
出典（引用元）
データ提供: MITRE ATLAS