AIインシデント・事故DB > 事例詳細

AIフィッシング検知、ロゴ改変147件で視覚モデル回避

概要

商用AI/MLベースのフィッシングウェブサイト検知システムにおいて、攻撃者が検知回避を試みた事例です。攻撃者は、正当なサイトに視覚的に類似したフィッシングサイトを作成し、ユーザーの認証情報を窃取しようとしました。この検知システムは、視覚的類似性や入力フォームの検知など、異なるフィッシング指標を担当する複数の画像分類器のアンサンブルから「フィッシングスコア」を算出し、自動でブロック/許可を決定します。 このインシデントでは、攻撃者がロゴの手動変更を通じて画像分類モデルの回避を試みた敵対的サンプルが確認されました。具体的には、企業名のスタイル変更、ロゴのぼかし、トリミングなど、単純ながら効果的な手法が用いられました。結果として、視覚的類似性によるブランドなりすましを検知するモデルは回避されました。しかし、システムの他のコンポーネントがフィッシングサイトを正常に特定し、最終的な検知に成功しました。これにより、潜在的な認証情報窃取やそれに伴う金銭的・プライバシー上の被害を防ぐことができました。

分類・事実

発生種別
事故
AI関与度
AI が主要因
主分類
security_abuse
初公表日
2022-12-01

教訓

この事例は、AIベースのセキュリティシステムにおける多層防御の重要性を示しています。特定の検知モデルが回避されても、複数のコンポーネントで構成されたシステム全体で脅威を特定できる可能性があります。攻撃者は常に新しい回避戦略を開発するため、AIシステムの継続的な改善と敵対的AI攻撃への適応が不可欠です。

出典(引用元)

データ提供: MITRE ATLAS

本ページは、上記の一次情報(各府省の公表資料等。政府標準利用規約に基づき出典明示のうえ利用)を、AIが要約・分類して編集・加工したものです。正確な内容は必ず一次情報をご確認ください。

← 事例一覧へ戻る