AIインシデント・事故DB > 事例詳細

匿名メッセージアプリのAI審査は虚偽、FTCがNGLを未成年提供禁止に

概要

10代に人気だった匿名メッセージアプリ「NGL: ask me anything」を提供する米NGL Labsは、「AIによるコンテンツ審査でいじめや有害なメッセージを排除している」と宣伝していました。しかしFTC(米連邦取引委員会)とロサンゼルス郡地方検事局は、このAI審査の主張が虚偽で、実際には有害なメッセージが放置されていたと指摘します。さらに同社は、運営側が作った偽のメッセージを実在の人物から届いたように見せかけ、送信者を知りたいユーザーを有料サブスクリプションへ誘導していました。2024年7月、命令により同社は18歳未満への匿名メッセージアプリ提供を禁じられ、500万ドルの支払いを命じられました。

分類・事実

発生種別
事故
AI関与度
AI が主要因
主分類
misinformation
組織
NGL Labs
国
US
初公表日
2024-07-09

教訓

「AIが安全を守る」という宣伝は、実際の有効性が伴わなければ、利用者(とくに未成年)を危険にさらします。安全機能をAIに任せたと主張するなら、その実効性を検証し、説明できる体制が欠かせません。

出典(引用元)

データ提供: 米連邦取引委員会(FTC)

この事例で問われる知識

  • AIの性能・精度を対外的に表示するときの根拠と裏付けの取り方
  • 生成結果の誤りが利用者に与える影響と、開示・注意喚起の設計
  • 広告・表示規制の観点から見た「AI活用」表現の線引き

この内容を体系的に学べる試験:AIビジネス資格

AIESPAは、AIの利用・運用にともなうリスクへの対応力を客観的に測る認定試験です。上に挙げた論点は「AIビジネス資格」の出題範囲に含まれています。出題範囲は試験対策テキスト(Webで無料公開)で確認できます。

AIビジネス資格の詳細を見る

受験料2,980円・オンライン完結・申込はこちら

Level 1 Basic ¥2,980(税込)/20問・制限時間20分/オンラインで完結/合格証は永年有効・更新費用なし

受験を申し込む

まずは無料の模擬試験で理解度を確認する

この記事は、米連邦取引委員会(FTC)の公表資料(パブリックドメイン)を基に、AIが事実に沿って日本語で要約・編集したものです。正確な内容は必ず原典(英語)をご確認ください。

← 事例一覧へ戻る