ChatGPTが偽パッケージ名提案、マルウェア実行を誘発

2026-06-18 公開

概要

大規模言語モデル（LLM）であるChatGPTが、実在しないソフトウェアパッケージ名を生成する「ハルシネーション（幻覚）」を起こすことが研究により判明しました。この現象は、AIがユーザーの質問に対し、誤ったパッケージ名（例: `huggingface-cli`）をインストールするよう指示することで発生します。攻撃者は、LLMが生成したこれらの偽パッケージ名を利用し、悪意のあるソフトウェアを公開パッケージリポジトリに登録する可能性があります。実際に、研究者が追跡目的で空のパッケージをアップロードしたところ、30,000回以上のダウンロードが記録されました。ユーザーがLLMの指示に従い、ハルシネーションされた名前のパッケージをダウンロード・実行した場合、任意のコード実行を許し、エンドユーザーや組織に深刻な被害をもたらす危険性があります。この事例は、AIが提供する情報の信頼性を吟味し、常に検証する重要性を示しています。

分類・事実

発生種別: 事故
AI関与度: AI が主要因
主分類: security_abuse
初公表日: 2024-06-01

教訓

大規模言語モデルが提示するソフトウェアパッケージのインストール指示は、常に公式ドキュメントなどでその正当性を確認することが不可欠です。AIのハルシネーションにより存在しないパッケージ名が生成され、これを悪用した攻撃のリスクがあるため、不明なパッケージの安易なダウンロード・実行は避けるべきです。AIの出力は参考情報として利用し、セキュリティリスクを考慮した慎重な検証を心がけることが重要です。

出典（引用元）

データ提供: MITRE ATLAS

本ページは、上記の一次情報（各府省の公表資料等。政府標準利用規約に基づき出典明示のうえ利用）を、AIが要約・分類して編集・加工したものです。正確な内容は必ず一次情報をご確認ください。