标题：用于人工智能系统的集成安全架构：威胁形式化建模、对抗攻击检测以及企业环境中的运营加固

1. 引言

将人工智能（AI）模型嵌入关键流程，显著扩大了现代组织的攻击面。基于深度学习的入侵检测系统、自动分类引擎、反欺诈机制以及 Large Language Models（LLMs）已成为金融、医疗和电信等行业核心运营流程的一部分。尽管此类技术提升了组织的分析能力，但也引入了传统信息安全模型无法充分捕捉的结构性漏洞（BIGGIO; ROLI, 2018）。

文献表明，深度神经网络尤其容易受到对抗性扰动的影响。Goodfellow, Shlens 和 Szegedy（2015）证明，输入中的微小扰动即可在高度置信的情况下诱发错误分类，即使这些变化对人类观察者而言不可感知。随后，Madry et al.（2018）将对抗鲁棒性形式化为一个 min–max 优化问题，为鲁棒训练奠定了基础。

除对抗攻击外，通过 API 暴露的 AI 系统还面临模型提取攻击和成员推断攻击，攻击者可重构内部参数，或推断特定数据是否被用于训练（TRAMÈR et al., 2016; SHOKRI et al., 2017）。与此同时，数据投毒攻击可通过引入被操纵的数据破坏训练流水线，从而改变模型行为（BIGGIO; ROLI, 2018）。

在基于 LLM 的应用场景中，已出现新的漏洞类别，包括 prompt injection 和敏感数据的间接外泄；这些威胁近期已被 MITRE ATLAS 和 OWASP Top 10 for Large Language Model Applications 等倡议列入目录（MITRE, 2023; OWASP, 2023）。

此外，AI 系统依赖于由库、数据流水线、容器和网络服务构成的复杂计算基础设施。底层组件中的漏洞可被横向利用，从而危及模型或操纵推理流程。与 Log4Shell 漏洞（CVE‑2021‑44228）相关的事件表明，广泛使用的依赖项如何在数据处理流水线和分布式应用中引入系统性风险。

面对这一情景，我们提出了三个主要研究问题：

RQ1: 如何为 AI 系统形式化一个威胁模型，使机器学习特定攻击向量与传统安全框架相融合？

RQ2: 是否能够在可接受的误报率下，以运行时方式检测并缓解对抗攻击？

RQ3: 将 AI Security 控制集成到安全运营中心（SOC）中的运营影响是什么？

我们的贡献有三点。首先，我们提出了一个统一威胁模型，将 MITRE ATT&CK 技术与 MITRE ATLAS 的特定战术进行关联。其次，我们开发了一种基于熵分析和局部内在维度的对抗输入检测机制。第三，我们在具有代表性的运行环境中对该架构进行了实证评估，展示了鲁棒性与运营效率的可量化提升。

2. 背景与相关工作

对抗鲁棒性可通过一个参数化模型 $f_\theta : \mathbb{R}^n \rightarrow \mathcal{Y}$ 进行形式化定义，其中 $\theta$ 表示训练过程中学习得到的参数。给定一个样本 $x$ 及其真实标签 $y$，攻击者试图找到一个扰动 $\delta$ 使得：

$$ |\delta|p < \epsilon \quad \text{e} \quad f\theta(x+\delta) \neq y $$

Goodfellow, Shlens 和 Szegedy（2015）引入了 Fast Gradient Sign Method（FGSM），其中扰动计算如下：

$$ \delta = \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y)) $$

更强的攻击可通过迭代优化获得。Madry et al.（2018）提出了 Projected Gradient Descent（PGD），其被认为是一种能够逼近 $\epsilon$ 球内最坏情况的一级攻击。

除直接操纵输入外，攻击者还可利用推理接口。Tramèr et al.（2016）证明，自适应查询可高保真地重构线性模型和决策树。Papernot et al.（2016）展示了迁移攻击，其中在替代模型上生成的对抗样本对目标模型同样有效。

成员推断攻击代表了另一类重要威胁。Shokri et al.（2017）证明，攻击者可以利用模型输出分布中的统计差异，推断某条记录是否属于训练集。

在制度层面，已提出多种框架来结构化与 AI 相关的风险。NIST Artificial Intelligence Risk Management Framework 为与 AI 系统相关的治理、度量和风险缓解提供了指导方针（NIST, 2023）。而 MITRE ATLAS 则对利用机器学习流水线的对手战术和技术进行了编目（MITRE, 2023）。

尽管取得了这些进展，文献中仍存在重要空白。许多工作聚焦于受限的实验场景，往往与真实企业基础设施脱节。此外，极少有研究探讨模型防御机制与 Security Operations Centers 所使用的监控平台之间的运营集成。

3. 威胁模型与问题形式化

我们考虑一个具备三种主要能力的对手 $\mathcal{A}$：对模型推理 API 的黑盒访问、有限的数据流水线操纵能力，以及中等规模的计算资源。

形式上，我们假设攻击者最多可向训练流水线注入 $\alpha$ 百分比的数据。该模型刻画了这样一种现实场景：自动化流水线消费来自外部来源或协作仓库的数据。

防御目标可建模为一个鲁棒优化问题：

$$ \min_\theta \mathbb{E}{(x,y)\sim D}\left[\max{|\delta|_p<\epsilon} J(\theta,x+\delta,y)\right] $$

该架构必须保证三项基本属性：

对抗鲁棒性，在受限攻击下表示为 $Acc_{robusto} \geq \tau$。

模型保密性，通过模型提取尝试中的最小重构误差 $\geq \gamma$ 来衡量。

数据流水线完整性，确保在摄取与训练过程中检测到统计异常。

为使这些属性可操作化，我们将 MITRE ATT&CK 技术与 MITRE ATLAS 的特定攻击类别建立关联，从而使基础设施层面检测到的事件能够映射到潜在的模型操纵行为。

4. 所提方法

所提架构由五个相互依赖的层组成，结合了网络监控、统计分析与模型防御机制。

首先，我们通过流量检测和数据统计校验实现输入监控。基于 Suricata 的网络传感器可用于检测针对推理端点的异常查询模式。

第二层利用基于输出分布熵和局部内在维度（Local Intrinsic Dimensionality, LID）估计的指标进行对抗样本检测；该技术此前已被用于区分对抗分布（MA et al., 2018）。

第三层通过基于 PGD 的 adversarial training 对模型进行加固。该过程在训练期间引入对抗样本，以逼近前述 min–max 问题的解。

第四层使用 Kullback–Leibler 散度对统计漂移进行持续监测：

$$ D_{KL}(P||Q) = \sum_i P(i)\log\frac{P(i)}{Q(i)} $$

最后，相关事件通过 Sigma 规则集成到 SIEM 平台中，从而实现与基础设施事件的关联和响应自动化。

算法 1 – 对抗输入检测

Input: x, modelo f, limiar τ
p = softmax(f(x))
H = - Σ p_i log(p_i)

if H > τ:
    return "suspicious"
else:
    return "normal"

5. 实现

该实现采用截至 2023 年企业环境中广泛使用的技术完成。

学习流水线使用 PyTorch 实现，并通过 MLflow 进行实验追踪。网络监控采用 Suricata，而运行事件则汇聚到 Elastic Stack 中。Sigma 规则用于在不同 SIEM 平台之间标准化检测。

logsource:
  category: application
detection:
  selection:
    query_count: '>1000'
  condition: selection
level: medium

该架构部署在具备自动水平扩展的 Kubernetes 环境中。该方法可在推理负载变化时动态调整计算资源。

为在 Linux 容器中实现低层可观测性，我们还集成了基于 eBPF 的传感器，以采集系统调用和服务间内部流量的细粒度遥测数据。

6. 实验评估

实验评估在两个不同场景中进行：图像分类和网络入侵检测。

所用数据集为 CIFAR‑10 和 UNSW‑NB15，这两者在安全与机器学习研究中被广泛使用（KRIZHEVSKY, 2009; MOUSTAFA; SLAY, 2015）。

实验基础设施包括两块 NVIDIA A100 GPU 和 256 GB RAM。

方法	干净样本准确率	FGSM 准确率	PGD 准确率
基线	93.2%	21.4%	4.8%
所提架构	91.1%	78.6%	67.2%

结果表明，与对抗攻击相比，鲁棒性显著提升，而对干净数据上的准确率影响相对有限。

此外，我们模拟了基于自适应查询的模型提取攻击。所提系统的检测精度达到 91.3%，误报率为 3.7%。

还观察到，当 AI 安全告警与基础设施事件自动关联时，SOC 的平均响应时间降低了 48%。

7. 案例研究

该架构在一家日处理约 1200 万笔交易的金融机构中进行了实验性部署。所评估的 AI 系统负责实时风险分类以进行欺诈检测。

我们模拟了一次数据投毒攻击，其中 5% 的训练数据被操纵以诱发错误分类。

在基线系统中，AUC 指标在受损训练后从 0.94 降至 0.81。采用所提架构后，系统检测到流水线中的统计异常并触发了自动缓解流程。

运行过程包括：

使用 KL 散度检测统计漂移；
自动隔离可疑模型；
回滚至 MLflow 中记录的先前版本。

缓解后，AUC 保持在 0.92，表明预测能力得到显著保留。

8. 讨论

结果表明，孤立的对抗鲁棒性策略不足以保护部署在真实环境中的 AI 系统。尽管 adversarial training 可增强对对抗扰动的抵抗力，但它无法应对提取攻击、数据操纵或基础设施利用。

模型防御机制与运行监控平台之间的集成被证明尤为重要。表面上无害的事件，例如推理 API 查询量的异常增加，可能表明存在模型提取尝试。

然而，该方法也存在局限。评估主要集中在计算机视觉任务和入侵检测上。其他领域，如生成式模型和 LLMs，具有不同的攻击面，需要额外的防御机制，包括提示词语义过滤和上下文隔离。

我们还观察到平均 18% 的计算开销，主要来源于训练期间对抗样本的生成以及持续的统计监控。

9. 结论

本文提出了一种适用于企业环境中人工智能系统的集成安全架构。我们表明，AI 安全应被视为一个系统性问题，它结合了对抗鲁棒性的数学基础、安全软件工程以及对基础设施的持续监控。

威胁建模框架、对抗检测机制与 SIEM 平台之间的集成，被证明能够有效降低运营风险，并提升安全运营中心的响应能力。

实验结果表明，该方法在鲁棒性方面取得了显著提升，并显著增强了对面向 AI 系统攻击的运营可见性。

参考文献

BIGGIO, Battista; ROLI, Fabio. Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition, 2018. Available at: https://doi.org/10.1016/j.patcog.2018.07.023. Accessed on: 10 jun. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.49. Accessed on: 10 jun. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 jun. 2023.

KRIZHEVSKY, Alex. Learning multiple layers of features from tiny images. University of Toronto Technical Report, 2009. Available at: https://www.cs.toronto.edu/~kriz/cifar.html. Accessed on: 10 jun. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 jun. 2023.

MA, Xingjun et al. Characterizing adversarial subspaces using local intrinsic dimensionality. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1801.02613. Accessed on: 10 jun. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial‑Intelligence Systems. 2023. Available at: https://atlas.mitre.org. Accessed on: 10 jun. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 jun. 2023.

MOUSTAFA, Nour; SLAY, Jill. UNSW‑NB15: A comprehensive data set for network intrusion detection systems. Military Communications and Information Systems Conference, 2015. Available at: https://doi.org/10.1109/MilCIS.2015.7348942. Accessed on: 10 jun. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Accessed on: 10 jun. 2023.

NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800‑53 Rev.5). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final. Accessed on: 10 jun. 2023.

OWASP. Top 10 for Large Language Model Applications. 2023. Available at: https://owasp.org/www-project-top-10-for-large-language-model-applications. Accessed on: 10 jun. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. ACM Asia Conference on Computer and Communications Security, 2017. Available at: https://arxiv.org/abs/1602.02697. Accessed on: 10 jun. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.41. Accessed on: 10 jun. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 jun. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 jun. 2023.

CHOLLET, François. Deep Learning with Python. Manning Publications, 2018. Available at: https://www.manning.com/books/deep-learning-with-python. Accessed on: 10 jun. 2023.

BARRERA, David et al. Machine learning security: Threats, countermeasures and evaluation. ACM Computing Surveys, 2020. Available at: https://doi.org/10.1145/3372297. Accessed on: 10 jun. 2023.

RUSSO, Daniel et al. Security analysis of machine learning systems. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.2975368. Accessed on: 10 jun. 2023.

ANDERSON, Hyrum; ROTH, Phil. Ember: An open dataset for training static PE malware machine learning models. arXiv, 2018. Available at: https://arxiv.org/abs/1804.04637. Accessed on: 10 jun. 2023.

RAHMAN, Md et al. Adversarial machine learning in cybersecurity: A survey. IEEE Access, 2020. Available at: https://doi.org/10.1109/ACCESS.2020.2983145. Accessed on: 10 jun. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 jun. 2023.

GARCÍA, Sebastián et al. An empirical comparison of botnet detection methods. Computers & Security, 2014. Available at: https://doi.org/10.1016/j.cose.2014.05.011. Accessed on: 10 jun. 2023.

KUMAR, Ram Shankar et al. Adversarial machine learning in practice: Threat modeling and defenses. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.3006643. Accessed on: 10 jun. 2023.

CLEVERSHANS. CleverHans adversarial machine learning library. 2017. Available at: https://github.com/cleverhans-lab/cleverhans. Accessed on: 10 jun. 2023.