2024年のAIインシデント・事故事例
AI技術は恩恵と共に誤用や事故のリスクも生み、2024年もAI起因の多様な問題が広範に報告されています。本ページでは、2024年のAI事故・誤用事例を11件にわたりまとめました。これらの事例を通じ、AI普及に伴う課題やリスクの全体像を把握し、責任あるAI利用の考察に役立てることを目指します。特定企業や未確定の法的評価に触れず、事実に基づき中立な視点で解説します。
18件
-
AI活用Eコマース詐欺スキーム、運営者に永久追放と資産没収
米連邦取引委員会（FTC）は、AIを活用してEコマースストアの収益を向上させると謳う詐欺的な金儲けスキームの運営者に対し、資…
-
FTC、FloatMeのアルゴリズム虚偽主張と差別的慣行で和解
米連邦取引委員会（FTC）は、オンライン現金前払いサービスを提供するFloatMeとその共同創業者に対し、欺瞞的な商慣行で消費者…
-
「AIで稼げる」副業スキームを一斉摘発、FTCのAI取締り作戦
FTC（米連邦取引委員会）は2024年9月、AIをうたって消費者を欺いた企業への一斉取締り「Operation AI Comply」を開始し、複数の…
-
匿名メッセージアプリのAI審査は虚偽、FTCがNGLを未成年提供禁止に
10代に人気だった匿名メッセージアプリ「NGL: ask me anything」を提供する米NGL Labsは、「AIによるコンテンツ審査でいじめや…
-
「ロボット弁護士」の誇大広告、FTCがDoNotPayに是正命令
米DoNotPayは、自社のAIサービスを「世界初のロボット弁護士」と称し、「弁護士なしで訴訟ができる」「数分で有効な法的文書を…
-
AI兵器検知スキャナーの誇大宣伝、FTCがEvolvに是正命令
米Evolv Technologiesは、AIを使った警備用ボディスキャナー「Evolv Express」を、全米800以上の学校やスタジアム、病院などに…
-
顔認証AI「バイアスはゼロ」は根拠なし、FTCがインテリビジョンを是正
顔認証ソフトを提供する米インテリビジョン・テクノロジーズは、自社製品を「市場最高水準の精度」「性別や人種によるバイアス…
-
ClaudeのAIエージェントがPDF経由プロンプト注入でファイルシステムを削除
セキュリティ研究者は、AIアシスタント「Claude Computer Use」を標的とした間接プロンプトインジェクションの手法を実証しまし…
-
ChatGPT記憶機能、共有文書でプロンプト汚染
ChatGPTの記憶機能が、プロンプトインジェクションによって操作される脆弱性が確認されました。研究者は、共有されたGoogleドキ…
-
AIツール連携、Google Gemini会話ターン遅延で機密情報漏洩
Google Geminiにおいて、セキュリティ制御を迂回して機密情報にアクセスできる脆弱性が発見されました。研究者は、悪意のあるプ…
-
AIチャットボットSlack AI、間接プロンプト注入で機密情報流出
セキュリティ研究者により、Slack AIを標的とした間接プロンプトインジェクション攻撃が実証されました。攻撃者は、公開チャン…
-
AI顔認証と生体確認、ディープフェイクで金融口座不正開設
Cato CTRLの研究者により、サイバー犯罪者向けディープフェイクツール「ProKYC」が確認されました。このツールは、金融サービス…
-
モバイルAI顔認証、ディープフェイク画像注入で本人確認回避
iProovのレッドチームは、モバイルアプリケーションで広く利用される顔生体認証サービスに対し、ディープフェイクを用いた顔入…
-
クラウドLLM、認証情報窃取で広範囲に不正アクセス
Sysdig脅威研究チームは、攻撃者が盗んだ認証情報を用いてクラウドベースのLLMサービスに不正アクセスする手口「LLMジャッキン…
-
M365 Copilotに悪性メール、送金情報すり替え金融詐欺
2024年8月、Zenityの研究者によるレッドチーミング演習で、Microsoft 365 Copilotを悪用した金融取引詐欺が成功しました。この…
-
学習データ汚染、10ウェブデータセットで期限切れドメイン悪用
研究者たちは、ウェブスケールデータセットに対する「スプリットビュー」ポイズニング攻撃を実証しました。この攻撃は、AIモデ…
-
生成AIワーム、RAGメールアシスタント汚染で伝播
研究者は、生成AIエコシステムを標的としたゼロクリックAIワーム「Morris II」を開発し、RAG（Retrieval Augmented Generation…
-
ChatGPTが偽パッケージ名提案、マルウェア実行を誘発
大規模言語モデル（LLM）であるChatGPTが、実在しないソフトウェアパッケージ名を生成する「ハルシネーション（幻覚）」を起こ…