AI Security Analyst 対策テキスト Level 2 Standard

このテキストについて

本テキストは「AI Security Analyst Level 2 Standard」試験の合格を目的とした中級学習教材です。脅威モデリング手法・高度な攻撃手法・セキュリティ設計・ペネトレーションテストを体系的に学びます。試験は20問4択形式、合格ライン80%（16問以上）です。Level 1の知識を前提とします。

推奨学習時間：6〜8時間

学習目標：STRIDEによる脅威分類ができる／ペネトレーションテストの目的と手法を理解する／AIシステムのセキュリティ設計原則を適用できる

第1章：脅威モデリング手法

STRIDE脅威モデリング

STRIDEはMicrosoftが開発した脅威分類フレームワークです。6つの頭文字で構成されます。

• S：Spoofing（なりすまし）：正規ユーザーや正規システムになりすます脅威
• T：Tampering（改ざん）：データやコードを不正に変更する脅威
• R：Repudiation（否認）：行為の実施を否定できてしまう脅威
• I：Information Disclosure（情報開示）：機密情報が漏洩する脅威
• D：Denial of Service（サービス拒否）：サービスを停止させる脅威
• E：Elevation of Privilege（権限昇格）：不正に高い権限を取得する脅威

AIシステム特有の脅威として「AI-STRIDE」ではEvasion（回避）が追加されます。これはモデルによる検知を回避する攻撃（敵対的摂動攻撃など）に対応します。

モデル反転攻撃とSTRIDE

モデル反転攻撃（Model Inversion Attack）はAPIを通じてトレーニングデータを再構築しようとする攻撃です。STRIDEではInformation Disclosure（情報開示）に分類されます。データの機密性を侵害する攻撃だからです。

第2章：高度な攻撃手法の詳細

敵対的摂動攻撃（Adversarial Perturbation Attack）

入力データに人間には知覚しにくい微小な摂動を加えることで、AIモデルの誤分類を誘発する攻撃です。Level 1で学んだAdversarial Attackの具体的な手法名です。「訓練データの破損」や「メンバーシップ推論」とは異なります。

メンバーシップ推論攻撃（Membership Inference Attack）

AIモデルが学習したデータセットに特定の個人データが含まれているか否かを推測する攻撃です。モデルのAPIを通じて入力データに対する確信度（Confidence Score）の違いを利用します。プライバシー侵害の重大なリスクです。

データポイズニング攻撃（再確認）

AIモデルの訓練データに意図的に不正なデータを混入させ、モデルの性能低下や特定のバイアスを導入する攻撃です。「モデル反転攻撃」や「プロンプトインジェクション」と混同しないよう注意。

モデルの公平性とセキュリティ

訓練データに含まれる特定集団へのバイアスがモデルに学習される問題は、信頼性（Trustworthiness）に関連します。モデルが公平に、信頼できる形で機能するかという観点です。単純な「完全性」や「可用性」の問題ではありません。

第3章：セキュリティ設計の原則

入力検証とサニタイズ

不正な入力に対してモデルが誤った出力を生成するリスクを低減するために最も適切な手法は入力検証（バリデーション）とサニタイズ、堅牢化されたモデルの利用の組み合わせです。出力結果の監視のみ、やモデルの複雑度を下げるだけでは不十分です。

確信度スコアの活用

AIシステムが特定の閾値を超えた場合にのみ自動アクションを起こす仕組みでは、誤検知リスクを低減するために出力結果の確信度（Confidence Score）も評価基準に含めることが重要です。閾値を低く設定すると誤検知が増えます。

データ暗号化とハッシュ化

AIシステムのデータパイプライン全体でデータの改ざんを防ぐにはデータ暗号化とハッシュ化を組み合わせます。冗長化やキャッシュは可用性向上の手法であり、完全性保証には使いません。

説明可能性（XAI）と信頼できるAI

「信頼できるAI」の原則の一つとして、モデルの予測がどのように導き出されたかを説明可能にする要件を説明可能性（XAI: Explainable AI）と呼びます。差分プライバシー（DP）とは別の概念です。

第4章：ペネトレーションテスト

ペネトレーションテストの計画

AIシステムへのペネトレーションテスト（ペンテスト）の計画段階で最も重要な考慮事項はテスト範囲・目的・許容されるリスクレベルの明確化です。処理するデータ量の把握やプログラミング言語の選定は優先事項ではありません。

ブラックボックステスト

内部構造の知識なしに外部からシステムをテストする手法です。外部から攻撃者がシステムをどのように悪用できるかを評価することが主な目的です。内部実装の詳細な欠陥検出はホワイトボックステストの目的です。

機密性（秘密情報漏洩）評価

AIモデルのAPIを通じてその内部構造や訓練データを推測しようとするペンテストは、主にモデルの機密性（秘密情報漏洩）評価を目的とします。

第5章：AIセキュリティ監視

異常検知の対象

AIシステムのセキュリティ監視において、異常検知の最も重要な対象はモデルの推論結果の品質低下や異常なパターンです。トレーニングデータサイズの変動やメモリ使用率の段階的増加よりも、推論品質の変化が攻撃の兆候として重要です。

サプライチェーンセキュリティ

オープンソースの事前学習済みモデルを利用する際に最も注意すべき点はモデルに悪意のあるコードやバックドアが組み込まれていないかです。ライセンス形態や商用利用可否も重要ですが、セキュリティ観点では悪意あるコードの存在確認が最優先です。

訓練データの品質と信頼性

AIシステムのリスク評価において、AI特有の脆弱性として最も考慮すべき事項は訓練データの品質と信頼性です。ソフトウェアのバージョン管理や物理的サーバーセキュリティは従来のITセキュリティと共通の課題です。

重要用語集

• STRIDE：Spoofing/Tampering/Repudiation/Information Disclosure/DoS/Elevation of Privilege の脅威分類
• AI-STRIDE：STRIDEにEvasion（回避）を追加したAI特有の脅威モデリング
• Adversarial Perturbation Attack：知覚不能な微小変化でAIを誤分類させる攻撃
• Membership Inference Attack（メンバーシップ推論攻撃）：特定データが学習セットに含まれるか推測する攻撃
• Model Inversion Attack（モデル反転攻撃）：API出力からプライバシー情報を復元する攻撃（STRIDE: Information Disclosure）
• Confidence Score（確信度スコア）：モデルが予測に対して持つ確信の度合い
• Penetration Test（ペネトレーションテスト）：擬似的な攻撃でシステムの脆弱性を発見するテスト
• Black Box Test（ブラックボックステスト）：内部構造知識なしに外部から行うテスト
• White Box Test（ホワイトボックステスト）：内部実装を知った上で行うテスト
• Trustworthiness（信頼性）：AIが公平・信頼できる形で機能する性質
• Robustness（堅牢性）：不正入力や攻撃に対するモデルの耐性
• Data Integrity（データ完全性）：データが改ざんされていないことの保証

練習問題（本番形式）

問1. STRIDEにおいて「Information Disclosure（情報開示）」に対応する脅威のタイプはどれか？

• A. Information Disclosure（情報開示）
• B. Elevation of Privilege（権限昇格）
• C. Spoofing（なりすまし）
• D. Tampering（改ざん）

正解：A｜STRIDEの各文字は固有の脅威カテゴリに対応しており、情報漏洩はIに対応します。

問2. メンバーシップ推論攻撃とは何か？

• A. モデルの内部パラメータを不正に抽出する攻撃
• B. AIモデルが学習したデータセットに特定の個人データが含まれているか否かを推測する攻撃
• C. サービス拒否攻撃
• D. モデル反転攻撃

正解：B｜メンバーシップ推論攻撃はプライバシー侵害の重大なリスクです。

問3. AIシステムへのペネトレーションテストの計画段階で最も重要な考慮事項は何か？

• A. 最大データ量の事前把握
• B. プログラミング言語の選定
• C. テスト範囲・目的・許容されるリスクレベルの明確化
• D. モデルアーキテクチャ詳細の完全な開示

正解：C｜スコープと目的の明確化はテスト計画の最優先事項です。

問4. ブラックボックステストを実施する主な目的はどれか？

• A. レスポンス時間やスループットを測定するため
• B. 開発チームのコーディングスキルを評価するため
• C. 外部から攻撃者がシステムをどのように悪用できるかを評価するため
• D. 内部実装の詳細な欠陥を検出するため

正解：C｜外部攻撃者の視点でシステムを評価するのがブラックボックステストの目的です。

合格チェックリスト

• ☐ STRIDEの6つの頭文字と各脅威を説明できる
• ☐ AI-STRIDEでEvasionが追加される理由を理解している
• ☐ メンバーシップ推論攻撃とモデル反転攻撃の違いを説明できる
• ☐ ペネトレーションテスト計画の最優先事項を理解している
• ☐ ブラックボックステストとホワイトボックステストの違いを説明できる
• ☐ 確信度スコアを閾値判定に活用する理由を説明できる
• ☐ データ暗号化とハッシュ化が完全性保証に使われる理由を理解している
• ☐ AIセキュリティ監視で推論品質異常が重要な理由を説明できる
• ☐ 訓練データ品質がAI固有の脆弱性である理由を理解している