标题：面向人工智能系统安全的运行架构：威胁建模、Defense in Depth与关键环境中的实证评估

1. 引言

机器学习（Machine Learning – ML）和深度学习（Deep Learning – DL）系统在关键基础设施中的大规模采用，已实质性地重塑了当代网络风险格局。人工智能系统被广泛用于银行反欺诈机制、恶意软件自动分类、入侵检测、安全运营中心（SOC）中的事件分诊以及生物特征认证系统。然而，不同于传统的确定性软件，人工智能模型是概率性实体，其行为源自训练期间所使用数据的统计分布（GOODFELLOW; BENGIO; COURVILLE, 2016）。

这一特性引入了新的攻击向量。对数据分布的轻微操控即可显著改变模型行为，从而实现对抗性攻击、数据投毒或模型提取。Goodfellow、Shlens 和 Szegedy（2015）通过实验证明，输入中不可察觉的扰动可在深度神经网络中诱发系统性的分类错误。随后，研究表明，投毒攻击能够在训练期间削弱或操纵模型行为（BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017）。

此外，通过 API 暴露的推理接口可能被利用，通过自适应查询逼近重建专有模型，这一现象称为模型提取（TRAMÈR et al., 2016）。在企业环境中，此类向量常与 MLOps 流水线中的运行故障相结合，包括凭据管理不当、模型工件不安全存储以及缺乏数据完整性监控（KUMAR et al., 2022）。

从运营角度看，这些攻击可与 MITRE ATT&CK 矩阵中记录的技术相关联，包括面向外部暴露应用的利用（T1190）、数据操纵（T1565）以及凭据泄露/获取（T1552）（MITRE, 2023）。然而，大多数企业安全架构仍将人工智能模型视为常规软件组件，忽视了其特定的统计属性。

在此背景下，我们提出以下核心研究问题：如何设计一种操作性安全架构，将人工智能模型视为关键资产，同时保护训练生命周期与生产环境中的推理过程？

据此，我们推导出三个主要研究问题：

RQ1：如何为人工智能系统形式化一个特定的威胁模型，同时涵盖对抗性向量和传统基础设施攻击？

RQ2：哪些实用机制能够在运行环境中检测并缓解数据投毒和模型提取攻击？

RQ3：这些机制在计算成本和防御有效性方面的影响如何？

本文作出三项贡献。首先，我们提出一种基于可测量的统计完整性与参数保密性的人工智能流水线形式化安全模型。其次，我们开发了用于检测数据投毒并缓解推理 API 对抗性查询的运行算法。第三，我们在一个具有关键基础设施代表性的实验环境中，对所提架构进行了实证评估。

2. 背景与相关工作

考虑一个监督模型，由函数

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

表示，其参数化为 $\theta \in \mathbb{R}^n$。训练在数据集

$D = {(x_i, y_i)}_{i=1}^{m}$

上进行，通过最小化经验损失函数实现：

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

在真实系统中，数据和查询都可能被对手操纵。对抗性攻击旨在寻找一个扰动 $\delta$，使得：

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

此类攻击最初由 Fast Gradient Sign Method（FGSM）证明（GOODFELLOW; SHLENS; SZEGEDY, 2015）。

数据投毒攻击向训练集引入被操纵的子集 $D_p$，从而得到一个新模型：

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

其中 $D_p$ 被构造为最大化目标样本上的误差（BIGGIO et al., 2012）。

模型提取攻击则利用对推理 API 的自适应查询，通过替代模型 $\hat{f}{\theta’}$ 逼近原始模型 $f\theta$（TRAMÈR et al., 2016）。这一问题在可通过 Web 访问的 ML 服务中尤为重要。

尽管学术文献已广泛研究这些威胁，但理论方案与可在运行环境中实施的安全机制之间仍存在显著鸿沟。诸如 Papernot et al.（2016）之类的工作研究了对抗样本的可迁移性，但未涉及与企业监控系统的集成。同样，对抗鲁棒性研究往往忽视生产系统中典型的延迟和可扩展性要求（MADRY et al., 2018）。

近年来，关于 ML 流水线安全性的研究强调了与数据供应链、训练可复现性以及模型版本控制相关的风险（KUMAR et al., 2022; CRENSHAW; VU, 2021）。这些方面进一步强化了将统计技术与传统基础设施安全控制相结合的必要性。

3. 威胁模型与问题形式化

我们假设一个在企业环境中具有现实能力的对手 $\mathcal{A}$：

1. 对训练数据集具有部分写入访问权限，可能通过数据供应链被破坏而获得。
2. 可通过外部暴露的推理 API 进行查询访问。
3. 具备在受攻击的企业网络中拦截或观察内部流量的能力。

对手的目标包括：

• 最大化目标子集 $T$ 上的分类错误
• 重建模型参数 $\theta$
• 插入后门触发器 $t$，使得 $f_\theta(x+t)=y^$

我们定义两个期望的形式化性质。

数据的统计完整性：

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

其中 $D_{KL}$ 表示观测到的训练分布与参考分布之间的 Kullback–Leibler 散度。

参数保密性：

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

其中 $\theta’$ 表示对手通过查询获得的近似值。

这些性质使得能够为异常检测以及防御性控制有效性的评估建立定量边界。

4. 所提方法

所提架构遵循一种应用于人工智能系统生命周期的纵深防御模型。

层	目标	机制
数据验证	检测统计操纵	KL 散度、离群值分析
鲁棒训练	降低对抗敏感性	正则化与过滤
推理监控	检测异常查询	熵分析
与 SOC 集成	运行响应	SIEM 与事件关联

算法 1 — 数据投毒检测

输入：数据集 D，参考分布 P0
输出：被标记样本 F

1: 估计经验分布 P_D
2: 计算 D_KL(P_D || P0)
3: 若 D_KL > τ:
4:     对 D 中每个样本 x_i:
5:         计算影响分数 I(x_i)
6:         若 I(x_i) > λ:
7:             将 x_i 添加到 F
8: 返回 F

影响分析基于对每个样本对模型损失函数影响的近似（KOH; LIANG, 2017）。当通过 Kernel Density Estimation 进行密度估计时，该算法的复杂度约为 $O(n \log n)$。

算法 2 — 自适应限流

监控 API 查询分布
计算熵 H(Q)

若 ΔH(Q) < -δ:
    应用自适应限流
    触发安全告警

查询熵的突然下降通常表明正在系统性地利用 API 进行模型提取。

5. 实现

该架构使用了 2023 年企业环境中具有代表性的技术栈实现。

组件	技术
编排	Kubernetes 1.28
ML 框架	PyTorch 2.1
实验管理	MLflow
网络监控	Suricata 7.0
SIEM	Wazuh
密钥管理	HashiCorp Vault

用于检测模型工件中可疑模式的 YARA 规则示例如下：

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

由网络传感器和 ML 流水线生成的事件被转换为 Sigma 规则，并随后在 SIEM 的分析机制中进行关联。

6. 实验评估

实验评估在由三台 Dell PowerEdge R740 物理节点组成的基础设施上进行，每个节点配备 Intel Xeon Silver 处理器、128 GB 内存和一块 NVIDIA A100 GPU。

所用数据集：

数据集	类型	用途
CIC‑IDS2017	网络流量	入侵检测
Adversarial MNIST	计算机视觉	对抗评估
Real SOC logs	安全事件	运行评估

实验结果：

指标	基线	所提架构
FGSM 攻击成功率	78.4%	35.7%
模型提取精度	91%	28%
投毒检测（F1）	—	0.94

投毒检测机制达到了 96.3% 的精确率和 91.8% 的召回率，标准差为 ±1.2%。

运行影响：

指标	数值
平均 CPU 开销	8.4%
额外延迟	12 ms

这些结果表明，统计控制可以被纳入人工智能流水线，而仅产生适度的运行影响。

7. 案例研究

我们在一个代表性的金融 SOC 场景中应用了该架构，该场景运行着一个基于监督学习的欺诈检测系统。

在实验期间，红队故意向训练流水线中注入了 0.8% 的被操纵样本。

观测到的流程：

1. $D_{KL}$ 偏离超过阈值 $\tau = 0.15$。
2. 影响算法识别出一组可疑样本。
3. 这些样本被自动隔离。
4. 一条告警被发送至 SIEM 进行调查。

在更新后的模型部署到生产环境之前，攻击即被检测到，表明统计机制与运行控制相结合具有有效性。

8. 讨论

实验结果表明，基于统计监测的方法能够显著缩小人工智能系统的攻击面。所提架构的主要优势在于将面向 ML 的特定检测机制与传统企业安全工具相集成。

然而，仍需考虑若干局限性。检测有效性取决于可用于统计比较的可信参考分布是否可得。在高度动态的环境中，数据分布的合法变化可能产生误报。

另一项对实验有效性的威胁在于对合成或公共数据集的部分使用。尽管此类数据集在研究中被广泛采用，但它们可能无法充分反映真实企业环境的复杂性。

最后，人工智能系统治理不仅需要技术控制，还需要组织结构和风险管理政策。在此背景下，诸如 NIST AI Risk Management Framework 之类的框架为整合安全、治理和 AI 工程提供了相关指导（NIST, 2023）。

9. 结论

本文提出了一种基于纵深防御原则和统计监测的人工智能系统安全运行架构。我们形式化了与机器学习流水线相关的安全属性，并引入了用于检测数据投毒和缓解模型提取攻击的实用机制。

实验评估表明，所提方法在保持适度计算成本的同时，显著降低了对抗性攻击和模型提取攻击的有效性。金融 SOC 环境中的案例研究进一步强化了该架构在真实场景中的实用性。

结果表明，保护人工智能系统需要鲁棒机器学习技术、基础设施安全与持续运行监控的融合。

参考文献

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.