プロンプトインジェクションでLLMフレームワーク20件のRCE脆弱性
概要
研究者らが11種類のLLM統合フレームワークにおいて、合計20件のリモートコード実行（RCE）脆弱性を特定しました。これらのフレームワークを用いて構築され、インターネット上に公開されているアプリケーションを標的とし、プロンプトインジェクション手法を用いることでRCE脆弱性が悪用可能であることを実証。具体的には、LLMフレームワークのAPIを静的解析し、ユーザー入力やLLMの応答からコードを実行する機能を悪用しました。AIエージェントがユーザー入力を受け付ける公開アプリケーションに対し、悪意あるプロンプトを送信し、必要に応じてLLMのガードレールを迂回するジェイルブレイク戦略も使用。サンドボックス環境でのコード実行も、エスケープ技術によって回避され、結果として研究者は標的システムの完全な制御権を獲得しました。この事例は、LLM統合アプリケーションにおける深刻なセキュリティリスクと、その悪用可能性を示しています。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- security_abuse
- 初公表日
- 2025-02-27
教訓
LLM統合アプリケーションは、ユーザー入力やLLM応答からコードを実行する機能に潜在的なRCE脆弱性を抱えています。サンドボックス化された実行環境も、コードエスケープ技術により突破される可能性があるため、過信は禁物です。プロンプトインジェクションを悪用した攻撃経路を考慮し、アプリケーションの設計段階から厳格なセキュリティ検証、入力検証の徹底、および最小権限の原則適用が不可欠です。
出典（引用元）
データ提供: MITRE ATLAS