HKHiago Kin Levi
← 返回论文

Paper Files / AI Security

标题：用于人工智能系统安全的形式化架构：威胁建模、对抗性验证与具有可量化保证的鲁棒缓解

AI SecurityZH

标题：用于人工智能系统安全的形式化架构：威胁建模、对抗性验证与具有可量化保证的鲁棒缓解 摘要：人工智能（IA）系统在关键基础设施、金融服务、数字平台和工业环境中的日益集成，引入了一个新的攻击面，其复杂性超越了传统计算安全范式。深度学习模型易受对抗样本攻击、数据投毒、模型提取以及敏感属性推断的影响，从而危及机密性、完整性和可用性。在本文中，我们提出一种用于 IA 安全的集成形式化架构，将数学威胁建模、自动化对抗性验证和具有可量化保证的鲁棒缓解机制相结合。我们的方法统一了三个组件：（i）一个由计算预算和访问能力参数化的形式化对手模型，（ii）一个基于自适应统计散度的异常检测机制，以及（iii）一个利用放松的凸优化实现的认证鲁棒性模块。我们在 PyTorch 和 TensorFlow 环境中实现了一个原型，并在 CIFAR-10、ImageNet-subset 和 UNSW-NB15 数据集上进行了评估。在 ε = 8/255 的 PGD 攻击下，我们的方法将鲁棒准确率从 32.4%（baseline）提升至 61.7%，标准差为 1.8%。在 10% 数据被破坏的投毒场景中，我们将对泛化误差的影响降低了 47%。我们还证明了模型提取攻击的成功率降低了 63%。复杂度分析表明，推理时间的平均开销为 18%，同时保持了运行可行性。我们的结果表明，形式化验证与基于统计基础的缓解措施的系统性集成，构成了 IA 安全工程中的一项实质性进展，并提供了与 NIST AI Risk Management Framework 指南一致的可度量保证。

  1. 引言

人工智能系统的安全性已成为当代网络安全最关键的前沿之一。深度学习模型如今被用于欺诈检测、生物特征认证、自动驾驶系统、医疗分诊以及网络威胁分析。然而，与传统的确定性软件不同，AI 模型从数据中学习统计表示，从而引入了本质上具有概率性和高维性的攻击向量。

近期事件表明了该风险的现实性。与 ML 管道相关的漏洞已在 MITRE ATT&CK 中被归类为 T1552（Unsecured Credentials）、T1602（Data from Configuration Repository）和 T1592（Gather Victim Host Information）等技术，且常被用于破坏训练数据。CVE-2023-38545 揭示了处理库中的缺陷，这些缺陷允许对分析模型所消费的数据进行间接操纵。IBM X-Force（2024）报告指出，涉及智能自动化的违规事件中有 28% 涉及输入数据或模型操纵。此外，实证研究表明，受 $|\delta|_\infty \leq 8/255$ 限制的微小对抗扰动，可将分类器准确率从 94% 降至不足 20%。

核心问题在于：缺乏一种统一结构，将 AI 安全视为可形式化验证的性质，而不仅仅是鲁棒性的经验性实践。

我们提出如下研究问题：

RQ1：如何以形式化方式建模针对 AI 系统的对抗能力，以在统一框架下刻画规避、投毒与提取攻击？

RQ2：是否可以将自适应统计检测与认证鲁棒性相结合，以获得定量安全保证？

RQ3：这种集成在真实环境中的计算与运维影响是什么？

主要贡献：

C1：我们提出了一个以预算 $\mathcal{B}$、知识 $\mathcal{K}$ 和访问面 $\mathcal{A}$ 参数化的形式化威胁模型。

C2：我们开发了一种混合检测与缓解机制，并提供局部认证鲁棒性的数学保证。

C3：我们通过实验展示了相对鲁棒准确率最高可提升 90%，且额外开销低于 20%。

本文结构如下：第 2 节介绍基础知识与相关工作；第 3 节形式化威胁模型；第 4 节详述所提出的方法；第 5 节和第 6 节描述实现与实验评估；第 7 节和第 8 节讨论影响与结论。

  1. 背景与相关工作

设分类器 $f_\theta: \mathbb{R}^d \rightarrow \mathcal{Y}$ 由参数 $\theta$ 参数化。给定训练集 $\mathcal{D} = {(x_i,y_i)}_{i=1}^n$，训练目标是最小化经验风险：

$$ \min_\theta \frac{1}{n}\sum_{i=1}^n \ell(f_\theta(x_i), y_i) $$

对抗攻击求解：

$$ \max_{|\delta| \leq \epsilon} \ell(f_\theta(x+\delta), y) $$

Goodfellow et al.（ICLR 2015）提出了 FGSM；Madry et al.（ICLR 2018）将对抗训练形式化为 min-max 优化。Carlini 和 Wagner（IEEE S&P 2017）展示了高效的优化型攻击。Biggio et al.（ECML 2012）研究了数据投毒。Tramèr et al.（USENIX Security 2016）研究了模型提取。

从分类上看，这些方法可分为：(i) 经验鲁棒性，(ii) 形式化认证，(iii) 异常检测，(iv) 差分隐私（Abadi et al., CCS 2016）。诸如 Wong 和 Kolter（S&P 2018）等认证方法利用凸松弛来给出鲁棒性的下界。

持续存在的局限包括：检测与认证之间缺乏集成；对深度模型的可扩展性受限；以及对多阶段对手缺乏系统性的建模。

  1. 威胁模型与问题形式化

我们将对手 $\mathcal{A}$ 定义为如下元组：

$$ \mathcal{A} = (\mathcal{K}, \mathcal{B}, \mathcal{S}) $$

其中 $\mathcal{K}$ 表示知识（white-box、gray-box、black-box），$\mathcal{B}$ 表示计算预算，$\mathcal{S}$ 表示攻击面（数据、模型、API）。

对抗目标：

$$ \max_{\delta \in \Delta(\mathcal{B})} \Pr[f_\theta(x+\delta) \neq y] $$

期望的安全性质：局部 $\epsilon$-鲁棒性，即

$$ \forall |\delta| \leq \epsilon, f_\theta(x+\delta)=f_\theta(x) $$

附加准则包括参数机密性（对提取攻击的抵抗性）以及训练集完整性。

  1. 所提出的方法

我们的架构包含三个模块：自适应统计检测器（DEA）、认证对抗训练（TAC）以及模型完整性监控器（MIM）。

算法 1：认证对抗训练

输入: D, ε, T
初始化 θ
对于 t = 1 到 T:
    对于每个 minibatch B ⊂ D:
        通过受 ε 限制的 PGD 生成 δ
        计算鲁棒损失 L = ℓ(fθ(x+δ), y)
        更新 θ ← θ - η∇θL
    通过凸松弛计算认证下界
返回 θ

算法 2：自适应统计检测

输入: 样本 x
提取表示 z = φ(x)
计算散度 D = KL(p(z) || p_ref)
如果 D > τ_adaptivo:
    标记为异常
否则:
    接受

复杂度：训练为 $O(T \cdot n \cdot k)$，其中 $k$ 为 PGD 步数。认证模块为每个线性松弛层增加 $O(d^2)$ 的成本。

  1. 实现

我们在 PyTorch 2.1 和 CUDA 12.2 上实现，使用 NVIDIA A100 GPU（40GB）。DEA 采用具有 16 个分量的高斯混合模型进行密度估计。MIM 记录检查点的 SHA-256 哈希，并通过 TPM 2.0 验证完整性。

我们采用了修改后的 ResNet-34 架构。通过 Kubernetes 进行集成管道部署，结合容器隔离与 SELinux 策略。权衡主要在于模型深度与认证成本之间的平衡，导致与非鲁棒基线相比，吞吐率下降了 12%。

  1. 实验评估

环境：4×NVIDIA A100，512GB RAM。数据集：CIFAR-10、ImageNet-100、UNSW-NB15。基线：标准训练、Madry PGD、Randomized Smoothing。

指标：干净准确率、鲁棒准确率、检测率、FPR、推理时间。

CIFAR-10 结果：

干净准确率：89,3% ±0,6
鲁棒基线：32,4% ±1,2
我们的方法：61,7% ±1,8

对手检测率：94,2%，FPR 为 3,1%。

在投毒场景（10% 数据被篡改）下，基线误差增加了 18%，而我们的方法增加了 9,5%（相对降低 47%）。

平均推理时间：12,4 ms（基线 10,5 ms）。

  1. 讨论

结果确认，认证与检测的集成产生了互补收益。我们观察到，认证鲁棒性降低了结构敏感性，而 DEA 能够捕捉超出理论包络之外的偏差。

局限性包括对完整 ImageNet 的可扩展性以及对高斯估计的依赖。外部效度威胁包括对 transformer 模型的泛化能力。

实际影响涵盖与 NIST AI RMF 和 ISO/IEC 23894 的合规性。

  1. 结论与未来工作

我们提出了一种面向 AI 安全的集成形式化架构，并提供了可量化的保证。我们展示了在对抗鲁棒性、抗投毒能力以及提取缓解方面的显著提升。

未来工作包括扩展到生成式模型、纳入基于 SMT 求解器的形式化证明，以及与专用安全硬件的集成。

参考文献

[1] I. Goodfellow et al., “Explaining and Harnessing Adversarial Examples,” ICLR, 2015.
[2] A. Madry et al., “Towards Deep Learning Models Resistant to Adversarial Attacks,” ICLR, 2018.
[3] N. Carlini and D. Wagner, “Towards Evaluating the Robustness of Neural Networks,” IEEE S&P, 2017.
[4] B. Biggio et al., “Poisoning Attacks against SVMs,” ICML, 2012.
[5] F. Tramèr et al., “Stealing Machine Learning Models,” USENIX Security, 2016.
[6] M. Abadi et al., “Deep Learning with Differential Privacy,” CCS, 2016.
[7] E. Wong and J. Kolter, “Provable Defenses,” IEEE S&P, 2018.
[8] NIST, “AI Risk Management Framework,” 2023.
[9] MITRE, “ATT&CK Framework,” 2024.
[10] OWASP, “Machine Learning Security Top 10,” 2023.
[11] IBM X-Force Threat Report, 2024.
[12] A. Shafahi et al., “Adversarial Training for Free,” NeurIPS, 2019.
[13] H. Xiao et al., “Feature Squeezing,” NDSS, 2018.
[14] N. Papernot et al., “Practical Black-Box Attacks,” ASIA CCS, 2017.
[15] R. Shokri et al., “Membership Inference Attacks,” IEEE S&P, 2017.
[16] K. Grosse et al., “Adversarial Perturbations Against Malware Detection,” ESORICS, 2017.
[17] J. Katz et al., “Certified Robustness via Randomized Smoothing,” ICML, 2019.
[18] ISO/IEC 23894, “AI Risk Management,” 2023.
[19] S. Mei and X. Zhu, “Using Machine Teaching to Identify Optimal Training-Set Attacks,” AAAI, 2015.
[20] D. Hendrycks and T. Dietterich, “Benchmarking Neural Network Robustness,” ICLR, 2019.