機械翻訳モデル複製、敵対的入力で誤訳や不適切出力
概要
UC Berkeleyの研究グループが、Google翻訳、Bing翻訳、Systran翻訳といった主要な機械翻訳サービスを対象に、その公開インターフェースやAPIを利用しました。彼らは、公開されている論文や同様のデータセット、モデルアーキテクチャを基に、ターゲットサービスの動作を高い精度で再現するレプリカモデルの作成に成功。これにより、ブラックボックスAIシステムから知的財産が機能的に盗用されうることを実証しました。さらに、このレプリカモデルを使って生成した敵対的サンプルを実際の翻訳サービスに適用したところ、特定の単語の入れ替わり、不適切な表現の出力、そして文章の欠落といった問題がGoogle翻訳とSystran翻訳で発生しました。この事例は、AIモデルの知的財産権侵害のリスクと、敵対的攻撃によるサービス品質低下やユーザー信頼喪失の可能性を示唆しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2020-04-30
教訓
AIサービスは、公開された情報やインターフェースを介してその動作が再現され、モデルの知的財産が機能的に盗用されるリスクがあります。また、複製されたモデルから生成される敵対的攻撃は、元のサービスに意図しない誤訳や不適切な出力を引き起こし、企業の評判やユーザーの信頼を著しく損なう可能性があります。AIシステムの堅牢性強化と知的財産保護策の重要性を示唆しています。
出典（引用元）
データ提供: MITRE ATLAS