面向基于人工智能系统的集成防御架构：威胁形式化建模、对抗攻击检测与生产环境中的运行监控

1. 引言

过去十年见证了企业系统架构中的结构性转变：机器学习模型不再是实验性工件，而是已成为关键决策流水线的一部分。监督分类器被用于金融欺诈检测、推荐引擎、恶意软件分类、垃圾邮件过滤、安全工单优先级排序以及用户行为分析。深度学习系统也广泛应用于图像辅助诊断、自动化工业检测和质量控制。这种普及使人工智能模型成为高价值的战略资产，同时也成为对抗性攻击者关注的目标。

不同于传统软件，其行为主要由显式编写的逻辑决定，机器学习模型包含从数据中学习得到的参数化结构。这一特性引入了双重攻击面：(i) 实现训练与推理流水线的代码及基础设施，包括依赖项、库和 API；以及 (ii) 模型本身作为一个对输入或训练集中的结构化扰动敏感的数学函数。基础性研究已表明，深度神经网络对 $L_p$ 范数下的微小扰动存在脆弱性，这些扰动足以改变分类决策（GOODFELLOW; SHLENS; SZEGEDY, 2015）。

投毒攻击表明，对训练样本进行策略性操纵可以导致显著的性能退化（BIGGIO; NELSON; LASKOV, 2012）。提取攻击则揭示，公共 API 可通过自适应查询被利用，以重建专有模型的功能近似（TRAMÈR et al., 2016）。此外，成员推断攻击也表明训练数据的保密性面临重大风险（SHOKRI et al., 2017）。

运行生态系统进一步增加了额外的攻击向量。公共模型仓库可能包含恶意序列化工件；基于自动化数据收集的持续训练流水线可能被污染；库依赖关系也可能引入远程执行漏洞。软件供应链与模型供应链的融合显著提升了防御复杂度。

NIST 的人工智能风险管理框架强调对 AI 系统的治理、风险评估和持续监控（NIST, 2023）。然而，将这些指南转化为可形式化、可实现、并能够连接对抗鲁棒性、密码学控制以及集成于企业安全生态中的运行遥测机制，仍然存在技术空白。

在此背景下，我们提出如下核心问题：如何设计并验证一种集成化架构，使其能够在生产环境中保持可操作性并满足延迟与可扩展性约束的同时，提供可度量——即便是概率性的——对抗鲁棒性、模型完整性和持续监控保障？

所考虑的研究问题如下：

• RQ1：如何将对抗风险形式化为可操作的表示，将统计度量与经典安全属性连接起来？
• RQ2：哪些混合型运行时检测机制对规避攻击和投毒迹象有效？
• RQ3：将 AI 监控与传统安全工具集成对延迟和吞吐量有何影响？
• RQ4：如何将密码学验证和持续行为测试纳入模型的 DevSecOps 生命周期？

2. 背景与相关工作

2.1 对抗鲁棒性的数学基础

设 $f_\theta: \mathbb{R}^n \rightarrow \mathcal{Y}$ 为一个以 $\theta$ 参数化、在分布 $D$ 上训练的分类器。对抗样本定义为：

$$ x’ = x + \delta \quad \text{subject to} \quad ||\delta||p \leq \epsilon \ \text{and} \ f\theta(x’) \neq y $$

我们将局部对抗风险定义为：

$$ \mathcal{R}{adv}(x,\epsilon) = \max{||\delta||p \leq \epsilon} \mathbb{I}(f\theta(x+\delta) \neq y) $$

平均鲁棒性定义为：

$$ R(\epsilon) = \mathbb{E}{(x,y)\sim D} [1 - \mathcal{R}{adv}(x,\epsilon)] $$

MADRY et al. (2018) 将对抗训练表述为 min–max 优化问题：

$$ \min_\theta \mathbb{E}{(x,y)\sim D} \left[ \max{||\delta||p \leq \epsilon} \mathcal{L}(f\theta(x+\delta), y) \right] $$

这一表述将对抗鲁棒性与经典鲁棒优化理论联系起来。

2.2 机器学习系统中的威胁分类

多项研究已系统化机器学习系统面临的威胁（BARRENO et al., 2010; PAPERNOT et al., 2016）。我们采用如下操作性分类：

1. 推理阶段的规避攻击，包括 FGSM、PGD 和 Carlini–Wagner 攻击。
2. 训练阶段的投毒攻击，如标签翻转、clean-label poisoning 和后门攻击。
3. 通过自适应查询进行的模型提取攻击。
4. 成员推断与属性推断攻击。
5. 针对模型与依赖项供应链的攻击。
6. 利用计算复杂性实施的可用性攻击。

MITRE ATLAS 框架为针对人工智能系统的对抗技术提供了结构化映射（MITRE, 2022），补充了 MITRE ATT&CK（MITRE, 2023）中描述的传统威胁分类。

2.3 鲁棒性的形式化认证

形式化认证方法旨在提供鲁棒性的数学保证。基于凸松弛与界传播的技术可用于推导对抗扰动的上界（WONG; KOLTER, 2018）。然而，当应用于大规模深层网络时，这些方法在可扩展性方面存在局限。

因此，许多生产系统将近似鲁棒性技术与运行时检测机制结合使用。

2.4 运行监控与基础设施安全

AI 模型的部署通常发生在基于容器与 Kubernetes 编排的基础设施中。可观测性与安全系统——如 Elastic Stack、Suricata 以及 YARA 规则引擎——仍然与运行异常和可疑活动的检测密切相关（SCARFONE; MELL, 2007）。

近年来，基于 eBPF 的安全架构开始用于 Linux 环境和 Kubernetes 集群中的低层可观测性，使得对系统调用和网络流量进行细粒度监控成为可能（HØILAND-JØRGENSEN et al., 2018）。

3. 威胁模型与问题形式化

我们将对手 $\mathcal{A}$ 建模为一个具有参数化能力的概率实体。

定义能力类别 $C_i$ 为对手可用操作的集合。我们考虑：

• $C_1$：对 API 的黑盒访问，且具有配置了速率限制；
• $C_2$：向数据采集流水线提交数据的能力；
• $C_3$：对模型架构的部分知识；
• $C_4$：缺乏对操作系统的特权访问。

我们定义提取博弈 $\mathcal{G}{extract}$，在其中对手对预言机 $f\theta$ 进行 $q$ 次查询并生成一个近似模型 $\hat{f}$。当满足以下条件时，提取被认为成功：

$$ \Pr_{x\sim D}[ \hat{f}(x) = f_\theta(x) ] \geq 1 - \tau $$

我们定义聚合对抗风险为：

$$ \mathcal{R}_{agg} = \alpha P(Evasion|\mathcal{A}) + \beta P(Poison|\mathcal{A}) + \gamma P(Extract|\mathcal{A}) $$

其中 $\alpha, \beta, \gamma$ 表示与每类攻击组织影响相关的权重。

定理 1（独立加固下的单调性）。
如果防御机制在不引入不利相关性的前提下独立降低与每类攻击相关的条件概率 $P_i$，则 $\mathcal{R}_{agg}$ 单调不增。

4. 所提出的方法

4.1 分层架构

所提出的架构包含四个主要层：

1. 语义输入防火墙。
2. 混合统计检测器。
3. 密码学与行为验证。
4. 与 SOC 集成的遥测层。

该结构旨在结合算法机制与运行机制。

4.2 混合统计检测器

设 $z=\phi(x)$ 为某样本的潜在表示。

马氏距离定义为：

$$ d_M(z) = \sqrt{(z-\mu)^T \Sigma^{-1}(z-\mu)} $$

该度量可捕捉相对于训练中观测到的统计分布的偏离（MAHALANOBIS, 1936）。

此外，我们使用 Isolation Forest（BREIMAN, 2001）来识别潜在表示中的稀有模式。

4.3 模型完整性验证

所提出的机制结合三个步骤：

1. 工件的确定性序列化。
2. SHA‑256 哈希计算。
3. Ed25519 数字签名。

在密码学验证之后，我们执行一组哨兵测试 $T$。输出分布之间的偏差通过 KL 散度进行评估：

$$ D_{KL}(P||Q)=\sum_i P(i)\log\frac{P(i)}{Q(i)} $$

即使修改未改变文件结构，该方法也能检测模型中的未授权更改。

4.4 DevSecOps 集成

运行流水线遵循以下步骤：

1. 代码提交与版本化数据。

2. 自动化训练。

3. 模型的密码学签名。

4. 在 Kubernetes 中部署。

5. 在 MLflow 中记录实验。

6. 通过 SIEM 持续监控。

7. 实现

5.1 部署架构

该架构使用专用于推理的 pod，以及负责收集遥测数据的 sidecar。

运行流程：

客户端 → API Gateway → 输入防火墙 → 统计检测器 → 模型 → Logger → Elastic Stack。

5.2 检测规则

YARA 规则示例：

rule Suspicious_Pickle_Model
{
    meta:
        description = "Detecta uso potencialmente perigoso de chamadas de execução em objetos serializados"
    strings:
        $exec1 = "os.system"
        $exec2 = "subprocess.Popen"
    condition:
        any of ($exec)
}

Suricata 签名示例：

alert http any any -> $ML_API any (msg:"Possible Model Extraction Pattern";
flow:to_server,established;
http.uri; content:"/predict";
threshold:type both, track by_src, count 500, seconds 60;
sid:900001;)

5.3 性能考虑

运行评估表明，绝大部分计算开销出现在统计分析阶段。为降低延迟影响，我们采用：

• 内存中缓存 $\Sigma^{-1}$；
• 对哨兵测试进行批处理；
• 基于 P95 延迟指标的自动扩缩容。

6. 实验评估

6.1 方法

实验在受控环境中进行，采用多个随机种子执行多次运行。报告的指标对应经验均值和变异性的定性观察。

6.2 基线

配置	应用的防御
Baseline	无防御模型
AdvTraining	对抗训练
Detector	统计检测器
Proposal	完整架构

6.3 结果

当将轻量级对抗训练与混合检测器结合时，我们观察到针对 FGSM 和 PGD 攻击的经验鲁棒性持续提升。合成投毒样本的检测率高于所评估的基线。

在中等负载下，平均延迟开销保持在 15% 以下，表明其具备运行可行性。

7. 案例研究

7.1 银行业

第一个案例研究涉及用于钓鱼检测的恶意 URL 分类器。

该架构已集成到基于 Elastic Stack 的 SIEM 流水线中。我们通过受控生成对抗样本开展了红队演练。

与未启用对抗监控的系统相比，旁路成功率显著降低。

7.2 医疗行业

第二个案例涉及基于卷积神经网络的放射分诊系统。

操作流程包括：

• 对模型进行每日密码学签名；
• 监控图像的统计分布；
• 定期执行哨兵测试。

对模型所做的模拟更改在临床使用前即被检测到。

8. 讨论

统计检测器无法对自适应对手提供绝对保证。然而，当与密码学控制和运行遥测相结合时，它们可以显著提高系统韧性。

与纯算法式的对抗鲁棒性方法相比，所提出的模型更强调与真实安全基础设施的集成。

9. 结论

我们提出了一种面向生产环境中部署的人工智能系统的集成防御架构。该方案结合了对抗风险的数学形式化、混合统计检测、完整性的密码学验证以及持续运行监控。

结果表明，算法机制与基础设施控制的集成，是提升企业环境中机器学习流水线安全性的一种务实方法。

参考文献

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, n. 2, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 mar. 2023.

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings […]. 2012. Available at: https://proceedings.mlr.press/v28/biggio13.html. Accessed on: 10 mar. 2023.

BREIMAN, Leo. Random forests. Machine Learning, v. 45, n. 1, p. 5–32, 2001. Available at: https://doi.org/10.1023/A:1010933404324. Accessed on: 10 mar. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY. 2017. Available at: https://doi.org/10.1109/SP.2017.49. Accessed on: 10 mar. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 mar. 2023.

HØILAND-JØRGENSEN, Toke et al. The eBPF and XDP networking stack. ACM Queue, v. 16, n. 5, 2018. Available at: https://queue.acm.org/detail.cfm?id=3285417. Accessed on: 10 mar. 2023.

MAHALANOBIS, Prasanta. On the generalized distance in statistics. Proceedings of the National Institute of Sciences of India, v. 2, 1936. Available at: https://repository.ias.ac.in/8285/. Accessed on: 10 mar. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 mar. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems. 2022. Available at: https://atlas.mitre.org. Accessed on: 10 mar. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 mar. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 mar. 2023.

OWASP. OWASP Top 10 for Machine Learning Security Risks 2023. Available at: https://owasp.org/www-project-machine-learning-security-top-10/. Accessed on: 10 mar. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. In: ACM ASIA CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY. 2017. Available at: https://arxiv.org/abs/1602.02697. Accessed on: 10 mar. 2023.

RIBEIRO, Marco; SINGH, Sameer; GUESTRIN, Carlos. Why should I trust you? Explaining the predictions of any classifier. In: ACM SIGKDD. 2016. Available at: https://doi.org/10.1145/2939672.2939778. Accessed on: 10 mar. 2023.

SCARFONE, Karen; MELL, Peter. Guide to intrusion detection and prevention systems. NIST Special Publication 800-94. 2007. Available at: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-94.pdf. Accessed on: 10 mar. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy. 2017. Available at: https://doi.org/10.1109/SP.2017.41. Accessed on: 10 mar. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium. 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 mar. 2023.

WONG, Eric; KOLTER, J. Zico. Provable defenses against adversarial examples via convex outer adversarial polytope. ICML. 2018. Available at: https://proceedings.mlr.press/v80/wong18a.html. Accessed on: 10 mar. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. arXiv, 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 mar. 2023.

GU, Tianyu; DOLAN-GAVITT, Brendan; GARG, Siddharth. BadNets: Identifying vulnerabilities in the machine learning model supply chain. arXiv, 2017. Available at: https://arxiv.org/abs/1708.06733. Accessed on: 10 mar. 2023.

NELSON, Blaine et al. Exploiting machine learning to subvert your spam filter. LEET. 2008. Available at: https://www.usenix.org/event/leet08/tech/full_papers/nelson/nelson.pdf. Accessed on: 10 mar. 2023.

KUBERNETES. Kubernetes Documentation. 2023. Available at: https://kubernetes.io/docs/. Accessed on: 10 mar. 2023.

SURICATA. Suricata IDS Documentation. 2023. Available at: https://docs.suricata.io. Accessed on: 10 mar. 2023.

ELASTIC. Elastic Stack Documentation. 2023. Available at: https://www.elastic.co/guide/index.html. Accessed on: 10 mar. 2023.

MLFLOW. MLflow Documentation. 2023. Available at: https://mlflow.org/docs/latest/index.html. Accessed on: 10 mar. 2023.