匿名メッセージアプリのAI審査は虚偽、FTCがNGLを未成年提供禁止に
概要
10代に人気だった匿名メッセージアプリ「NGL: ask me anything」を提供する米NGL Labsは、「AIによるコンテンツ審査でいじめや有害なメッセージを排除している」と宣伝していました。しかしFTC（米連邦取引委員会）とロサンゼルス郡地方検事局は、このAI審査の主張が虚偽で、実際には有害なメッセージが放置されていたと指摘します。さらに同社は、運営側が作った偽のメッセージを実在の人物から届いたように見せかけ、送信者を知りたいユーザーを有料サブスクリプションへ誘導していました。2024年7月、命令により同社は18歳未満への匿名メッセージアプリ提供を禁じられ、500万ドルの支払いを命じられました。
分類・事実
- 発生種別
- 事故
- AI関与度
- AI が主要因
- 主分類
- misinformation
- 組織
- NGL Labs
- 国
- US
- 初公表日
- 2024-07-09
教訓
「AIが安全を守る」という宣伝は、実際の有効性が伴わなければ、利用者（とくに未成年）を危険にさらします。安全機能をAIに任せたと主張するなら、その実効性を検証し、説明できる体制が欠かせません。
出典（引用元）
データ提供: 米連邦取引委員会（FTC）