タイトル: 人工知能システムのセキュリティのための運用アーキテクチャ: 脅威モデリング、Defense in Depth、およびクリティカル環境における実証評価

1. 序論

機械学習（Machine Learning – ML）および深層学習（Deep Learning – DL）システムの重要インフラへの大規模な採用は、現代のサイバーリスクの状況を大きく再定義した。AIシステムは、銀行の不正検知機構、マルウェアの自動分類、侵入検知、セキュリティオペレーションセンター（SOC）におけるインシデント選別、ならびに生体認証システムに広く利用されている。しかし、従来の決定論的ソフトウェアとは異なり、AIモデルは確率的エンティティであり、その挙動は学習時に使用されたデータの統計分布から生起する（GOODFELLOW; BENGIO; COURVILLE, 2016）。

この特性は新たな攻撃ベクトルを導入する。データ分布に対する小さな操作でもモデルの挙動を大きく変化させ、敵対的攻撃、データ汚染、あるいはモデル抽出を可能にする。Goodfellow, Shlens e Szegedy (2015) は、入力に対する知覚できない摂動が深層ニューラルネットワークに系統的な分類誤りを誘発し得ることを実証的に示した。その後の研究では、学習中のモデルの挙動を劣化または操作しうるデータ汚染攻撃が示された（BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017）。

さらに、API経由で公開された推論インターフェースは、適応的な問い合わせを通じて専有モデルの再構築を近似するために悪用され得る。この現象はモデル抽出として知られる（TRAMÈR et al., 2016）。企業環境では、こうしたベクトルはしばしばMLOpsパイプラインにおける運用上の不備と組み合わさる。これには、認証情報の不適切な管理、モデル成果物の安全でない保存、データ完全性の監視欠如が含まれる（KUMAR et al., 2022）。

運用上の観点から見ると、これらの攻撃は、公開アプリケーションの悪用（T1190）、データ操作（T1565）、認証情報の侵害（T1552）など、MITRE ATT&CKマトリクスに記載された手法と相関させることができる（MITRE, 2023）。しかし、企業向けセキュリティアーキテクチャの大半は、AIモデルを従来のソフトウェア構成要素として扱っており、その特有の統計的性質を無視している。

この状況を踏まえ、本研究では次の中心研究課題を設定する。すなわち、学習ライフサイクルと本番推論プロセスの双方を保護しつつ、AIモデルを重要資産として扱う運用セキュリティ・アーキテクチャをどのように設計できるか。

これに基づき、3つの主要な研究課題を導出した。

RQ1: 敵対的ベクトルと従来型のインフラ攻撃の双方を包含する、AIシステム向けの特化型脅威モデルをどのように形式化できるか？

RQ2: 運用環境において、データ汚染攻撃およびモデル抽出攻撃を検知・緩和する実践的メカニズムは何か？

RQ3: これらのメカニズムは、計算コストと防御効果の観点でどのような影響をもたらすか？

本研究は3つの貢献を行う。第一に、統計的完全性とパラメトリック機密性の測定可能な性質に基づく、AIパイプライン向けの形式的セキュリティモデルを提案する。第二に、データ汚染の検知および推論APIにおける敵対的問い合わせの緩和のための運用アルゴリズムを開発する。第三に、重要インフラを代表する実験環境において提案アーキテクチャを実証的に評価する。

2. 背景と関連研究

以下のように表される教師ありモデルを考える。

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

これは $\theta \in \mathbb{R}^n$ によりパラメータ化される。学習は、データセット

$D = {(x_i, y_i)}_{i=1}^{m}$

上で、経験損失関数の最小化を通じて行われる。

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

実環境では、データと問い合わせの双方が攻撃者によって操作され得る。敵対的攻撃は、次を満たす摂動 $\delta$ を見つけることを目指す。

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

この種の攻撃は、Fast Gradient Sign Method（FGSM）によって初めて実証された（GOODFELLOW; SHLENS; SZEGEDY, 2015）。

データ汚染攻撃は、操作された部分集合 $D_p$ を訓練データに挿入し、新たなモデルを導く。

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

ここで $D_p$ は、対象サンプルにおける誤りを最大化するように構築される（BIGGIO et al., 2012）。

一方、モデル抽出攻撃は、推論APIへの適応的問い合わせを利用して、元のモデル $f_\theta$ を代替モデル $\hat{f}_{\theta’}$ により近似する（TRAMÈR et al., 2016）。この問題は、Web経由でアクセス可能なMLサービスにおいて特に重要となる。

学術文献はこれらの脅威を広く扱ってきたが、理論的提案と、運用環境に実装可能なセキュリティ機構との間には大きな隔たりが存在する。Papernot et al. (2016) のような研究は敵対的サンプルの転移性を調査しているが、企業の監視システムとの統合には言及していない。同様に、敵対的ロバスト性に関する研究は、本番システムに典型的な遅延要件やスケーラビリティ要件をしばしば無視する（MADRY et al., 2018）。

近年では、MLパイプラインのセキュリティに関する研究が、データサプライチェーン、学習の再現性、モデルのバージョン管理に関連するリスクを強調している（KUMAR et al., 2022; CRENSHAW; VU, 2021）。これらの側面は、統計的手法と従来型のインフラセキュリティ制御を組み合わせたアプローチの必要性を強調する。

3. 脅威モデルと問題の形式化

我々は、企業環境において現実的な能力を持つ攻撃者 $\mathcal{A}$ を仮定する。

1. データサプライチェーンの侵害を通じて、学習データセットへの部分的な書き込みアクセスを有する。
2. 外部公開された推論APIへの問い合わせアクセスを有する。
3. 侵害された企業ネットワーク内で内部トラフィックを傍受または観測する能力を有する。

攻撃者の目的は以下を含む。

• 対象サブセット $T$ における分類誤りを最大化すること
• モデルパラメータ $\theta$ を再構築すること
• バックドア・トリガー $t$ を挿入し、$f_\theta(x+t)=y^$ とすること

我々は、2つの望ましい形式的性質を定義する。

データの統計的完全性：

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

ここで $D_{KL}$ は、観測された学習分布と基準分布との間のKullback–Leiblerダイバージェンスを表す。

パラメトリック機密性：

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

ここで $\theta’$ は、攻撃者が問い合わせを通じて得た近似を表す。

これらの性質により、異常検知のための定量的な閾値設定と、防御制御の有効性評価が可能となる。

4. 提案手法

提案アーキテクチャは、AIシステムのライフサイクル全体に適用される多層防御モデルに従う。

層	目的	メカニズム
データ検証	統計的操作の検知	KLダイバージェンス、外れ値分析
ロバスト学習	敵対的感受性の低減	正則化とフィルタリング
推論監視	異常な問い合わせの検知	エントロピー分析
SOCとの統合	運用対応	SIEMとイベント相関

アルゴリズム1 — データ汚染の検知

入力: Dataset D, distribution of reference P0
出力: Flagged samples F

1: 経験分布 P_D を推定する
2: D_KL(P_D || P0) を計算する
3: もし D_KL > τ なら:
4:     D の各サンプル x_i について:
5:         影響スコア I(x_i) を計算する
6:         もし I(x_i) > λ なら:
7:             x_i を F に追加する
8: F を返す

影響分析は、各サンプルがモデルの損失関数に与える影響を近似することに基づく（KOH; LIANG, 2017）。密度推定をKernel Density Estimationにより実施する場合、アルゴリズムの計算量はおおよそ $O(n \log n)$ である。

アルゴリズム2 — 適応的レート制限

APIへの問い合わせ分布を監視する
エントロピー H(Q) を計算する

もし ΔH(Q) < -δ なら:
    適応的レート制限を適用する
    セキュリティアラートを発報する

問い合わせエントロピーの急激な低下は、通常、モデル抽出を目的としたAPIの体系的な悪用を示す。

5. 実装

本アーキテクチャは、2023年の企業環境を代表する技術スタックを用いて実装した。

コンポーネント	技術
オーケストレーション	Kubernetes 1.28
MLフレームワーク	PyTorch 2.1
実験管理	MLflow
ネットワーク監視	Suricata 7.0
SIEM	Wazuh
シークレット管理	HashiCorp Vault

モデル成果物内の疑わしいパターンを検知するために使用したYARAルールの例を以下に示す。

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

ネットワークセンサーおよびMLパイプラインによって生成されたイベントはSigmaルールへ変換され、その後SIEMの分析エンジン内で相関付けられた。

6. 実験評価

実験評価は、各ノードに Intel Xeon Silver プロセッサ、128 GB RAM、および NVIDIA A100 GPU を搭載した3台の Dell PowerEdge R740 物理ノードからなるインフラ上で実施した。

使用したデータセット：

データセット	種類	用途
CIC‑IDS2017	ネットワークトラフィック	侵入検知
Adversarial MNIST	コンピュータビジョン	敵対的評価
Real SOC logs	セキュリティイベント	運用評価

実験結果：

指標	ベースライン	提案アーキテクチャ
FGSM攻撃成功率	78.4%	35.7%
モデル抽出精度	91%	28%
データ汚染検知（F1）	—	0.94

データ汚染検知機構は、96.3%の精度および91.8%の再現率を達成し、標準偏差は±1.2%であった。

運用への影響：

指標	値
平均CPUオーバーヘッド	8.4%
追加遅延	12 ms

これらの結果は、統計的制御が適度な運用コストでAIパイプラインに組み込めることを示している。

7. ケーススタディ

我々は、教師あり学習ベースの不正検知システムを運用する金融SOCの代表的シナリオにおいて、本アーキテクチャを適用した。

実験中、レッドチームは学習パイプラインに意図的に0.8%の操作済みサンプルを挿入した。

観測されたフロー：

1. ダイバージェンス $D_{KL}$ が閾値 $\tau = 0.15$ を超過した。
2. 影響分析アルゴリズムが疑わしいサンプルのサブセットを特定した。
3. それらのサンプルは自動的に隔離された。
4. SIEMへ調査用アラートが送信された。

攻撃は、更新済みモデルが本番環境に展開される前に検知され、統計的メカニズムと運用制御の統合の有効性が実証された。

8. 議論

実験結果は、統計監視に基づくアプローチがAIシステムの攻撃面を大幅に縮小し得ることを示している。提案アーキテクチャの主たる利点は、ML固有の検知メカニズムと従来の企業向けセキュリティツールとの統合にある。

しかし、いくつかの制約を考慮する必要がある。検知の有効性は、統計比較に用いる信頼できる基準分布の利用可能性に依存する。高度に動的な環境では、データ分布における正当な変化が偽陽性を引き起こし得る。

実験妥当性に対する別の脅威は、合成データセットまたは公開データセットの部分的使用にある。これらは研究で広く用いられているが、実際の企業環境の複雑性を完全には捉えられない可能性がある。

最後に、AIシステムのガバナンスには、技術的制御のみならず、組織構造およびリスク管理方針も必要である。この文脈では、NIST AI Risk Management Frameworkのようなフレームワークは、セキュリティ、ガバナンス、およびAIエンジニアリングを統合するための有用な指針を提供する（NIST, 2023）。

9. 結論

本研究は、多層防御および統計監視の原則に基づく、人工知能システムのセキュリティのための運用アーキテクチャを提示した。機械学習パイプラインに関連するセキュリティ特性を形式化し、データ汚染の検知およびモデル抽出攻撃の緩和のための実践的メカニズムを導入した。

実験評価により、提案手法は計算コストを適度に維持しつつ、敵対的攻撃およびモデル抽出攻撃の有効性を大幅に低減することが示された。金融SOC環境におけるケーススタディは、実世界のシナリオに対する本アーキテクチャの実用性を裏付けた。

これらの結果は、AIシステムの保護には、堅牢な機械学習技術、インフラセキュリティ、および継続的な運用監視の収束が必要であることを示している。

参考文献

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.