LLMサプライチェーン、ハギングフェイスでモデル汚染
概要
研究者らが「PoisonGPT」と名付けた実験で、オープンソースの大規模言語モデル（LLM）に偽情報を注入し、そのモデルを最大の公開モデルハブであるHuggingFaceに再アップロードすることに成功しました。この実験は、LLMのサプライチェーンが持つ脆弱性を浮き彫りにしました。具体的には、GPT-J-6Bモデルが「月に初めて着陸した人物はユーリ・ガガーリンである」という誤った事実を返すように改変されました。この改変されたモデルは、元のモデルと性能差が0.1%と極めて小さく、異常検知が困難であることが示されました。HuggingFaceユーザーは、誤ってこの毒物混入モデルをダウンロードし、アプリケーションに組み込むことで、偽情報を広め、アプリケーションやAI全般への信頼を損なう可能性がありました。この事案は、モデルの供給経路におけるセキュリティの重要性を示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2023-07-01
教訓
この事例は、大規模言語モデルのサプライチェーンにおける脆弱性を明確に示しています。公開されているAIモデルをダウンロード・利用する際には、その信頼性と安全性を徹底的に検証することが不可欠です。わずかな改変でも、誤情報の拡散やユーザー、ひいてはAI技術全体への信頼喪失に繋がりうるため、モデル提供者と利用者は供給経路のセキュリティ確保に常に注意を払う必要があります。
出典（引用元）
データ提供: MITRE ATLAS