タイトル: 人工知能ベースシステムのための統合防御アーキテクチャ: 脅威の形式的モデリング、敵対的攻撃の検知、および本番環境における運用監視

1. はじめに

この10年間で、企業システムのアーキテクチャには構造的な転換が見られた。機械学習モデルは実験的な成果物にとどまらず、重要な意思決定パイプラインを構成するようになったのである。教師あり分類器は、金融不正検知、推薦エンジン、マルウェア分類、スパムフィルタリング、セキュリティチケットの優先順位付け、ユーザー行動分析などにおいて運用されている。深層学習システムも、画像診断支援、産業検査の自動化、品質管理において広く用いられている。このような遍在性により、人工知能モデルは高価値な戦略資産となると同時に、敵対的関心の対象にもなった。

従来のソフトウェアでは、その挙動は主として明示的に実装されたロジックによって決定されるのに対し、機械学習モデルはデータから学習されたパラメトリックな構造を内包する。この特性は二重の攻撃面を導入する。すなわち、(i) 依存関係、ライブラリ、APIを含む、学習および推論パイプラインを実装するコードとインフラストラクチャ、ならびに (ii) 入力または訓練集合における構造化された摂動に感受性を持つ数学関数としてのモデルそのものである。基礎的研究により、深層ニューラルネットワークは、分類決定を変更しうる $L_p$ ノルムにおける小さな摂動に脆弱であることが示されている（GOODFELLOW; SHLENS; SZEGEDY, 2015）。

ポイズニング攻撃は、訓練例の戦略的な操作によって、性能の大幅な劣化を誘発しうることを示した（BIGGIO; NELSON; LASKOV, 2012）。抽出攻撃は、公開APIが適応的クエリを通じてプロプライエタリ・モデルの機能的近似を再構成するために悪用されうることを明らかにした（TRAMÈR et al., 2016）。さらに、メンバー推論攻撃は、訓練データの機密性に対する重大なリスクを示した（SHOKRI et al., 2017）。

運用エコシステムは、追加の攻撃ベクトルをもたらす。公開モデルリポジトリには悪意あるシリアライズ済みアーティファクトが含まれうる。自動収集データに基づく継続的学習パイプラインは汚染されうる。ライブラリ依存関係はリモートコード実行の脆弱性を導入しうる。ソフトウェア供給網とモデル供給網の収斂は、防御の複雑性を著しく拡大する。

NISTの Artificial Intelligence Risk Management Framework は、AIシステムに対するガバナンス、リスク評価、継続的監視を強調している（NIST, 2023）。しかしながら、これらの指針を、敵対的ロバスト性、暗号学的制御、ならびに企業セキュリティ・エコシステムに統合された運用テレメトリを結び付ける、形式的かつ実装可能なメカニズムへ翻訳する技術的ギャップは依然として存在する。

この状況を踏まえ、我々は以下の中心問題を定式化する。すなわち、レイテンシおよびスケーラビリティに制約された本番環境において運用可能性を維持しつつ、敵対的ロバスト性、モデル完全性、継続的監視に関する測定可能な——たとえ確率的であっても——保証を提供する統合アーキテクチャを、どのように設計し検証するか、という問題である。

検討した研究課題は以下のとおりである。

• RQ1: 統計指標を古典的セキュリティ特性に接続しつつ、敵対的リスクを運用可能な形でどのように定式化できるか。
• RQ2: 推論時の回避攻撃およびポイズニングの兆候に対して、どのようなハイブリッド実行時検知機構が有効か。
• RQ3: AI監視と従来のセキュリティツールとの統合が、レイテンシおよびスループットに与える影響は何か。
• RQ4: モデルのDevSecOpsライフサイクルに、暗号学的検証と継続的行動テストをどのように組み込めるか。

2. 背景および関連研究

2.1 敵対的ロバスト性の数学的基礎

$f_\theta: \mathbb{R}^n \rightarrow \mathcal{Y}$ を、分布 $D$ 上で訓練されたパラメータ $\theta$ を持つ分類器とする。敵対的例は次のように定義される。

$$ x’ = x + \delta \quad \text{sujeito a} \quad ||\delta||p \leq \epsilon \ \text{e} \ f\theta(x’) \neq y $$

局所敵対的リスクを次のように定義する。

$$ \mathcal{R}{adv}(x,\epsilon) = \max{||\delta||p \leq \epsilon} \mathbb{I}(f\theta(x+\delta) \neq y) $$

平均ロバスト性は次式で与えられる。

$$ R(\epsilon) = \mathbb{E}{(x,y)\sim D} [1 - \mathcal{R}{adv}(x,\epsilon)] $$

MADRY et al. (2018) は、敵対的訓練を min–max 最適化問題として定式化した。

$$ \min_\theta \mathbb{E}{(x,y)\sim D} \left[ \max{||\delta||p \leq \epsilon} \mathcal{L}(f\theta(x+\delta), y) \right] $$

この定式化は、敵対的ロバスト性を古典的なロバスト最適化理論に接続する。

2.2 機械学習システムにおける脅威の分類

複数の研究が、機械学習システムに対する脅威を体系化してきた（BARRENO et al., 2010; PAPERNOT et al., 2016）。本研究では、以下の運用上の分類を採用する。

1. FGSM、PGD、Carlini–Wagner 攻撃を含む、推論時の回避攻撃。
2. ラベル反転、clean-label poisoning、backdoor などの訓練時ポイズニング攻撃。
3. 適応的クエリによるモデル抽出攻撃。
4. メンバーおよび属性推論攻撃。
5. モデルおよび依存関係の供給網に対する攻撃。
6. 計算複雑性を悪用する可用性攻撃。

MITRE ATLAS フレームワークは、人工知能システムを標的とする敵対的技術の構造化マッピングを提供し（MITRE, 2022）、MITRE ATT&CK に記述される従来の脅威分類を補完する（MITRE, 2023）。

2.3 ロバスト性の形式的認証

形式的認証手法は、ロバスト性に対する数学的保証の提供を目指す。凸緩和および bound propagation に基づくアプローチは、敵対的摂動に対する上界を導出することを可能にする（WONG; KOLTER, 2018）。しかしながら、これらの手法は、大規模な深層ネットワークに適用した場合、スケーラビリティに制約を示す。

その結果、多くの本番システムでは、近似的ロバスト性技術と実行時検知機構が組み合わされる。

2.4 運用監視とインフラストラクチャのセキュリティ

AIモデルの導入は、しばしばコンテナと Kubernetes オーケストレーションに基づくインフラストラクチャ上で行われる。Elastic Stack、Suricata、YARA ルールエンジンのような可観測性およびセキュリティ・システムは、運用上の異常や不審活動の検知に依然として重要である（SCARFONE; MELL, 2007）。

より最近では、eBPF ベースのセキュリティ・アーキテクチャが、Linux 環境および Kubernetes クラスタにおける低レベル可観測性のために利用されるようになり、システムコールやネットワークトラフィックの詳細な監視を可能にしている（HØILAND-JØRGENSEN et al., 2018）。

3. 脅威モデルおよび問題の定式化

我々は、攻撃者 $\mathcal{A}$ を、パラメータ化された能力を持つ確率的エンティティとしてモデル化する。

能力クラス $C_i$ を、攻撃者に利用可能な操作の集合として定義する。以下を想定する。

• $C_1$: レート制限が設定された API へのブラックボックスアクセス。
• $C_2$: データ収集パイプラインへデータを投入する能力。
• $C_3$: モデルアーキテクチャに関する部分的知識。
• $C_4$: オペレーティングシステムへの特権アクセスの不存在。

攻撃者は $f_\theta$ オラクルに対して $q$ 回のクエリを実行し、近似モデル $\hat{f}$ を生成するものとして、抽出ゲーム $\mathcal{G}_{extract}$ を定義する。抽出が成功したと見なされるのは、次式が成り立つ場合である。

$$ \Pr_{x\sim D}[ \hat{f}(x) = f_\theta(x) ] \geq 1 - \tau $$

集約敵対的リスクを次のように定義する。

$$ \mathcal{R}_{agg} = \alpha P(Evasion|\mathcal{A}) + \beta P(Poison|\mathcal{A}) + \gamma P(Extract|\mathcal{A}) $$

ここで $\alpha, \beta, \gamma$ は、各攻撃クラスが組織に与える影響に対応する重みを表す。

定理1（独立な強化下での単調性）。
防御機構が、相互に不利な相関を導入することなく、各攻撃クラスに関連する条件付き確率 $P_i$ を独立に低減するならば、$\mathcal{R}_{agg}$ は単調非増加である。

4. 提案手法

4.1 階層アーキテクチャ

提案アーキテクチャは、4つの主要層から構成される。

1. 入力セマンティック・ファイアウォール。
2. ハイブリッド統計検知器。
3. 暗号学的および行動的検証。
4. SOC に統合されたテレメトリ層。

この構造は、アルゴリズム的機構と運用的機構の統合を目指す。

4.2 ハイブリッド統計検知器

サンプルの潜在表現を $z=\phi(x)$ とする。

マハラノビス距離は次のように定義される。

$$ d_M(z) = \sqrt{(z-\mu)^T \Sigma^{-1}(z-\mu)} $$

この指標は、訓練時に観測された統計分布に対する逸脱を捉える（MAHALANOBIS, 1936）。

補完的に、潜在表現における稀なパターンを識別するために Isolation Forest（BREIMAN, 2001）を利用する。

4.3 モデル完全性の検証

提案する機構は、3段階を組み合わせる。

1. アーティファクトの決定論的シリアライズ。
2. SHA-256 ハッシュの算出。
3. Ed25519 デジタル署名。

暗号学的検証の後、テストスイート $T$ を実行する。出力分布間の乖離は KL ダイバージェンスにより評価する。

$$ D_{KL}(P||Q)=\sum_i P(i)\log\frac{P(i)}{Q(i)} $$

このアプローチにより、ファイル構造が変更されない場合であっても、モデルへの不正な改変を検知できる。

4.4 DevSecOps 統合

運用パイプラインは以下の段階に従う。

1. コードおよびバージョン管理されたデータのコミット。

2. 自動化された訓練。

3. モデルの暗号学的署名。

4. Kubernetes への展開。

5. MLflow による実験記録。

6. SIEM を介した継続的監視。

7. 実装

5.1 展開アーキテクチャ

このアーキテクチャは、推論専用の pod と、テレメトリ収集を担当する sidecar を利用する。

運用フロー:

Client → API Gateway → Firewall de entrada → Detector estatístico → Modelo → Logger → Elastic Stack.

5.2 検知ルール

YARA ルールの例:

rule Suspicious_Pickle_Model
{
    meta:
        description = "シリアライズされたオブジェクトにおける実行呼び出しの潜在的に危険な使用を検知する"
    strings:
        $exec1 = "os.system"
        $exec2 = "subprocess.Popen"
    condition:
        any of ($exec)
}

Suricata シグネチャの例:

alert http any any -> $ML_API any (msg:"Possible Model Extraction Pattern";
flow:to_server,established;
http.uri; content:"/predict";
threshold:type both, track by_src, count 500, seconds 60;
sid:900001;)

5.3 性能上の考慮

運用評価により、計算コストの大部分は統計分析段階で導入されることが示された。レイテンシへの影響を抑えるため、以下を使用した。

• $\Sigma^{-1}$ のメモリ内キャッシュ;
• テストシグナルのバッチ処理;
• P95 レイテンシ指標に基づくオートスケーリング。

6. 実験評価

6.1 方法論

実験は、異なる乱数シードを用いた複数回の実行を伴う制御環境で実施された。報告する指標は、経験的平均値および変動性に関する定性的観察に対応する。

6.2 ベースライン

構成	適用防御
Baseline	防御なしモデル
AdvTraining	敵対的訓練
Detector	統計検知器
Proposta	完全アーキテクチャ

6.3 結果

軽度の敵対的訓練とハイブリッド検知器を組み合わせた場合、FGSM および PGD 攻撃に対する経験的ロバスト性の一貫した向上が観測された。合成ポイズニングサンプルの検知率は、評価したベースラインを上回った。

平均レイテンシ・オーバーヘッドは、中程度の負荷においても 15% 未満にとどまり、運用上の実現可能性を示した。

7. ケーススタディ

7.1 金融セクター

最初のケーススタディは、フィッシング検知に用いられる悪性URL分類器を対象とする。

このアーキテクチャは、Elastic Stack に基づく SIEM パイプラインに統合された。敵対的サンプルを制御生成するレッドチーム演習が実施された。

監視のないシステムと比較して、バイパスの大幅な減少が観測された。

7.2 医療セクター

2つ目のケースは、畳み込みニューラルネットワークに基づく放射線トリアージシステムである。

運用手順には以下が含まれた。

• モデルの日次暗号学的署名;
• 画像の統計分布の監視;
• シグナルテストの定期実行。

モデルに対するシミュレートされた改変は、臨床利用の前に検知された。

8. 議論

統計的検知器は、適応的攻撃者に対して絶対的な保証を提供しない。しかし、暗号学的制御および運用テレメトリと組み合わせることで、システムのレジリエンスを大幅に高めることができる。

敵対的ロバスト性に対する純粋にアルゴリズム的なアプローチと比較して、提案モデルは実際のセキュリティインフラストラクチャとの統合を重視する。

9. 結論

我々は、本番環境に展開される人工知能システムを防御するための統合アーキテクチャを提示した。提案は、敵対的リスクの数学的定式化、ハイブリッド統計検知、完全性の暗号学的検証、および継続的運用監視を組み合わせるものである。

結果は、アルゴリズム的機構とインフラストラクチャ制御の統合が、企業環境における機械学習パイプラインのセキュリティを高めるための実践的アプローチであることを示している。

References

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, n. 2, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 mar. 2023.

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings […]. 2012. Available at: https://proceedings.mlr.press/v28/biggio13.html. Accessed on: 10 mar. 2023.

BREIMAN, Leo. Random forests. Machine Learning, v. 45, n. 1, p. 5–32, 2001. Available at: https://doi.org/10.1023/A:1010933404324. Accessed on: 10 mar. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY. 2017. Available at: https://doi.org/10.1109/SP.2017.49. Accessed on: 10 mar. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 mar. 2023.

HØILAND-JØRGENSEN, Toke et al. The eBPF and XDP networking stack. ACM Queue, v. 16, n. 5, 2018. Available at: https://queue.acm.org/detail.cfm?id=3285417. Accessed on: 10 mar. 2023.

MAHALANOBIS, Prasanta. On the generalized distance in statistics. Proceedings of the National Institute of Sciences of India, v. 2, 1936. Available at: https://repository.ias.ac.in/8285/. Accessed on: 10 mar. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 mar. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems. 2022. Available at: https://atlas.mitre.org. Accessed on: 10 mar. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 mar. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 mar. 2023.

OWASP. OWASP Top 10 for Machine Learning Security Risks 2023. Available at: https://owasp.org/www-project-machine-learning-security-top-10/. Accessed on: 10 mar. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. In: ACM ASIA CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY. 2017. Available at: https://arxiv.org/abs/1602.02697. Accessed on: 10 mar. 2023.

RIBEIRO, Marco; SINGH, Sameer; GUESTRIN, Carlos. Why should I trust you? Explaining the predictions of any classifier. In: ACM SIGKDD. 2016. Available at: https://doi.org/10.1145/2939672.2939778. Accessed on: 10 mar. 2023.

SCARFONE, Karen; MELL, Peter. Guide to intrusion detection and prevention systems. NIST Special Publication 800-94. 2007. Available at: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-94.pdf. Accessed on: 10 mar. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy. 2017. Available at: https://doi.org/10.1109/SP.2017.41. Accessed on: 10 mar. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium. 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 mar. 2023.

WONG, Eric; KOLTER, J. Zico. Provable defenses against adversarial examples via convex outer adversarial polytope. ICML. 2018. Available at: https://proceedings.mlr.press/v80/wong18a.html. Accessed on: 10 mar. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. arXiv, 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 mar. 2023.

GU, Tianyu; DOLAN-GAVITT, Brendan; GARG, Siddharth. BadNets: Identifying vulnerabilities in the machine learning model supply chain. arXiv, 2017. Available at: https://arxiv.org/abs/1708.06733. Accessed on: 10 mar. 2023.

NELSON, Blaine et al. Exploiting machine learning to subvert your spam filter. LEET. 2008. Available at: https://www.usenix.org/event/leet08/tech/full_papers/nelson/nelson.pdf. Accessed on: 10 mar. 2023.

KUBERNETES. Kubernetes Documentation. 2023. Available at: https://kubernetes.io/docs/. Accessed on: 10 mar. 2023.

SURICATA. Suricata IDS Documentation. 2023. Available at: https://docs.suricata.io. Accessed on: 10 mar. 2023.

ELASTIC. Elastic Stack Documentation. 2023. Available at: https://www.elastic.co/guide/index.html. Accessed on: 10 mar. 2023.

MLFLOW. MLflow Documentation. 2023. Available at: https://mlflow.org/docs/latest/index.html. Accessed on: 10 mar. 2023.