Research / Paper Files

Paper Files

Paper Files 是一种持续进行 cybersecurity 学习的个人实践，它将科学方法作为学习工具。每篇文章都不是为了学术发表而写，而是作为一种有意为之的练习，用来磨快斧头——深化对特定主题的知识，以严谨的方式组织想法，并观察对某些主题的理解如何随时间发展。它相当于一本训练日志的知识版：每一条记录所学内容、分析方式以及得出的结论。

我强烈建议安全专业人员采用这种方法。选择一个你想精通的主题，研究一手资料（RFC、论文、官方文档），按照引言、方法、分析和结论来组织文本，并像是在向同事解释一样写作。写作本身会迫使你思路清晰，并暴露出被动阅读无法揭示的理解空白。把本网站上的文章作为格式和深度的示例，并建立你自己的收藏——随着时间推移，你会拥有一个个人的精炼知识库，这是任何课程或认证都无法取代的。

DAI & ADAI · 2026

DAI · EN

DAI: A Domain-Specific LLM with Model-Excluded Authority, Capability-Disjoint Verification, and Recomputable Receipts

DAI (Decripte Artificial Intelligence) is a proprietary domain-specific LLM within a governed autonomous defensive architecture. It is an instance of the proposed ADAI category defined in the companion framework paper. T…

Read paper →ADAI · EN

Autonomous Defensive AI: An Envelope-and-Evidence Framework for Governed LLMs Acting on Production Infrastructure

ADAI (Autonomous Defensive Artificial Intelligence) is a proposed category of governed autonomous cyber defense. The framework specifies defended perimeters, bounded effects, declared rollback and capability-disjoint ver…

Read paper →

全部 Detection DFIR AppSec DevSecOps AI Security IAM Cloud Containers IR Crypto Research Phishing Secrets

14 papers

AI Security

面向大模型与生成式AI应用的企业级AI安全体系：威胁建模、攻防评估与零信任治理框架

近年来，生成式AI与大语言模型已从辅助工具演进为企业业务流程的关键控制面，并被广泛嵌入客服、代码生成、知识检索、SOAR编排、自动化运维以及安全运营平台之中。与此同时，围绕模型、数据、提示词、工具调用与供应链的攻击面急剧扩张，使传统以网络、主机和身份为中心的安全体系难以直接覆盖AI系统的特有风险。本文提出一个面向2026年企业环境的AI安全研究框架，系统刻画训练阶段、推理阶段与编排阶段的主要威胁，包括数据投毒、后门植入、模型窃取、成员推断、提示词注入、RAG检索污染、工具滥用、越权执行、机密外泄与模型驱动的社会工程。基于零信任与CNAPP、eBPF监控、内容与策略过滤、模型行为遥测以及红队评估闭环，本文构建了一套可落地的AI安全治理方法，将“模型安全、应用安全、基础设施安全、身份与访问控制、安全运营”五个维度统一到同一风险度量模型中。我们进一步给出威胁形式化定义、攻击路径分解、检测与响应策略，并实现了一个原型防护栈，用于对接OpenAI、Azure OpenAI、Anthropic、开源本地模型与向量数据库环境。实验部分通过对常见提示词注入、系统提示泄露、RAG越权检索与工具调用滥用场景进行对比评估，展示了分层防护在降低攻击成功率、减少机密泄露和保持任务可用性方面的实际效果。本文最后结合一个企业知识助理的案例，说明如何在业务可用、合规审计与安全约束之间取得平衡。研究结果表明，AI安全不应被视作传统应用安全的附属议题，而应作为与云安全、身份治理和数据安全并列的独立控制域进行设计与运营。

2026-05-11Read paper →AI Security

面向大模型与企业AI流水线的AI安全体系：威胁建模、对抗评估、运行时防护与治理框架（2026）

随着生成式AI、检索增强生成（RAG）、智能体编排和企业级模型服务在2024—2026年间快速进入生产环境，AI安全已经从“模型鲁棒性”扩展为覆盖数据、训练、推理、插件、供应链、身份与治理的系统性安全问题。本文面向2026年的现实威胁态势，提出一个可落地的AI安全体系，聚焦大模型应用在真实企业环境中的高频风险：提示注入、间接提示注入、数据投毒、训练集后门、模型窃取、成员推断、越权工具调用、RAG知识库污染、敏感信息泄露、代理式行动滥用以及AI辅助社会工程。本文首先从攻击面角度给出统一威胁模型，并形式化描述AI系统在“数据—模型—工具—身份—审计”链路上的安全边界。随后提出一套分层防护方法，包括数据治理与来源校验、离线对抗评估、运行时策略约束、工具最小权限、输出过滤、机密分区、审计可追溯与红队持续验证。为验证方法的有效性，本文设计了一个面向企业RAG与智能体工作流的实验框架，结合公开基准、真实工具链和模拟业务场景，评估防护措施对攻击成功率、误报率、可用性与响应时延的影响。实验结果显示，单纯依赖提示词防护几乎无法抵御结构化攻击，而将模型侧约束与平台侧控制结合后，可显著降低提示注入与越权执行风险，同时保持可接受的业务性能。最后，本文通过一个财务知识助手的案例分析展示了从脆弱原型到受控生产系统的改造路径，并讨论2026年AI治理、零信任、CNAPP、eBPF安全与后量子密码迁移对AI安全工程的影响。本文的目标不是证明“大模型可被完全信任”，而是给出一套可审计、可度量、可运营的AI安全工程方法，以支持企业在2026年的真实部署需求。

2026-05-01Read paper →AI Security

面向2026年企业生成式AI系统的安全防护框架：从提示注入、RAG污染到模型供应链风险的系统化研究

近年来，生成式AI已经从辅助工具演变为企业核心基础设施的一部分，广泛嵌入检索增强生成、代码助手、智能客服、SOC分析、知识管理和自动化编排流程之中。与此同时，攻击者也将传统Web攻击、供应链投毒、社工欺骗与模型特有的提示注入、间接提示注入、检索污染、训练数据污染、越权工具调用和模型窃密等手法结合，形成了面向AI系统的新型攻防面。本文面向2026年的企业环境，提出一个覆盖数据层、模型层、工具层与运行时层的AI安全防护框架，目标是降低机密泄露、错误自动化、策略绕过和供应链污染带来的系统性风险。本文首先建立威胁模型，将攻击面划分为输入空间、检索空间、工具执行空间与模型权重/适配器空间，并以风险函数 $R = \sum_i P_i \cdot I_i \cdot E_i$ 对主要风险进行形式化描述。随后提出一套可落地的方法论：在数据侧引入来源可追溯、内容分级与污染检测；在模型侧结合系统提示最小化、输出约束、对抗性评测与基于策略的拒答；在RAG侧结合文档信誉评分、跨源一致性验证与检索隔离；在工具侧采用最小权限、显式确认、沙箱执行与eBPF/审计遥测；在运营侧构建红队化评估、持续监测与事件响应闭环。我们进一步给出一个企业级实现方案，并通过模拟实验比较基线系统与加固系统在提示注入成功率、敏感信息外泄率、误工具调用率和平均响应时延上的差异。结果表明，综合防护可显著降低高危攻击的成功概率，同时保持可接受的服务性能。最后，本文结合一个典型的“内部知识库+代码助手+自动化工单”案例，讨论现实部署中的治理、合规、可解释性与人机协同问题，并展望后训练治理、模型水印、PQC迁移、AI治理与持续对抗评测的发展方向。

2026-04-26Read paper →AI Security

面向基于人工智能系统的集成防御架构：威胁形式化建模、对抗攻击检测与生产环境中的运行监控

面向基于人工智能系统的集成防御架构：威胁形式化建模、对抗攻击检测与生产环境中的运行监控随着机器学习系统在企业环境中的采用，人工智能模型已转变为运营决策的关键组成部分。这些系统开始应用于欺诈检测、恶意软件分类、影像辅助医疗分诊、推荐系统以及数字平台中的行为分析。然而，与传统软件不同，机器学习模型是基于数据训练得到的参数化函数，这引入了与输入操纵、训练过程污染以及推理接口利用相关的额外攻击面。近期文献记录了针对机器学习系统的多种攻击类别，包括对抗样本、数据投毒、模型提取和成员推断。与此同时，这些系统与 DevOps 流水线及基于容器的基础设施集成，也引入了与软件和模型供应链相关的额外风险。本文提出一种面向生产部署人工智能系统的集成防御架构，结合威胁形式化建模、统计异常检测机制、密码学完整性验证以及持续运行监控。我们将聚合对抗风险形式化为在参数化攻击者模型下，与不同攻击类别相关的条件概率函数。随后，提出一种基于 Mahalanobis 距离与 Isolation Forest 算法的混合检测器，并将其应用于模型的潜在表示。作为补充，我们提出一种完整性验证机制，结合密码学哈希、数字签名以及基于输出分布散度的行为测试。该架构集成于基于 Kubernetes 的运行流水线中，其遥测与 MITRE ATT&CK 和 MITRE ATLAS 等框架中描述的技术进行关联。受控场景下的实验评估表明，该方法在对抗规避攻击方面可持续提升经验鲁棒性，并改善对模型工件未授权变更的检测能力。分析还表明，在防御机制得到适当配置时，其带来的延迟影响为中等水平。结果表明，将密码学控制、统计分析与运行监控相结合的方法，为提升生产环境中人工智能系统的安全性提供了一条在实践上可行的路径。

2008-07-15Read paper →AI Security

标题：面向人工智能系统安全的运行架构：威胁建模、Defense in Depth与关键环境中的实证评估

标题：面向人工智能系统安全的运行架构：威胁建模、Defense in Depth与关键环境中的实证评估摘要：标题：面向人工智能系统安全的运行架构：威胁建模、Defense in Depth与关键环境中的实证评估摘要：标题：面向人工智能系统安全的运行架构：威胁建模、Defense in Depth与关键环境中的实证评估摘要：人工智能（IA）系统在关键基础设施中的快速引入带来了新的漏洞类别，这些漏洞并不能被传统的信息安全模型完全捕获。与确定性软件不同，machine learning 模型高度依赖训练数据和统计分布，从而产生与数据操纵、推理接口利用以及数据供应链 compromise 相关的攻击面。本文提出一种用于保护 IA 系统的运行架构，基于 defense in depth 原则，集成形式化威胁建模、用于检测数据操纵的统计机制，以及与安全运营中心（SOC）集成的运行控制。首先，我们形式化一个数学模型，用于刻画监督学习 pipeline 中期望的安全属性，包括数据的统计完整性和模型的参数机密性。随后，我们引入基于 Kullback–Leibler 散度和样本影响分析的数据 poisoning 检测机制，并结合自适应查询速率限制策略，以缓解模型提取攻击。所提出的架构将安全控制集成到 IA 模型全生命周期中，包括数据摄取、训练、打包以及在编排环境中的部署。实验实现采用了由 Kubernetes、PyTorch、MLflow、Suricata 以及与企业级 SIEM 的集成所构成的现代技术栈。我们在一个具有代表性的关键基础设施实验室环境中，使用公共安全数据集和受控对抗场景对该方法进行了实证评估。结果表明，该方法可显著降低对抗攻击和模型提取攻击的有效性，同时在延迟和计算资源消耗方面仅带来中等程度的运行影响。一个面向反欺诈检测场景的案例研究表明了该架构在真实运行环境中的可行性。我们还讨论了其对 IA 治理以及与新兴规范框架（如 NIST AI Risk Management Framework）对齐的启示。结果表明，将统计机制与传统运行控制相结合，是降低关键环境中日益广泛采用 IA 所带来风险的有效策略。

2008-07-08Read paper →AI Security

标题：用于人工智能系统的集成安全架构：威胁形式化建模、对抗攻击检测以及企业环境中的运营加固

标题：用于人工智能系统的集成安全架构：威胁形式化建模、对抗攻击检测以及企业环境中的运营加固摘要：人工智能（IA）系统在关键企业基础设施中的快速集成，引入了一类新的安全风险，其已超越传统网络防御模型。深度学习模型、通过 API 暴露的推理服务，以及近年来的 Large Language Models（LLMs），已开始整合到负责敏感决策的运营流水线中，包括欺诈检测、自动化分类和事件响应。然而，近期研究表明，此类系统存在结构性漏洞，包括对抗攻击、模型提取、成员推断以及数据投毒。此外，支撑 IA 应用的运行生态仍然面临传统基础设施威胁，从而扩大了攻击面。本文提出一种面向 IA 系统的集成安全架构，结合威胁形式化建模、对抗攻击检测机制以及针对企业环境的 operational hardening 实践。首先，我们开发了一个统一威胁模型，整合 MITRE ATT&CK 和 MITRE ATLAS 分类体系，使得能够在既有网络防御框架内映射机器学习特有的攻击向量。随后，我们从 min–max 优化视角对对抗鲁棒性问题进行形式化，并引入一种基于输出熵和局部内在维度估计的检测机制，用于在推理时识别潜在的对抗输入。所提出的架构还纳入统计漂移监测、数据流水线完整性验证以及与 SIEM 平台的集成，以支持运营响应。实现采用 PyTorch、Suricata、Elastic Stack 和 Kubernetes 基础设施，反映了截至 2023 年企业环境中广泛采用的实践。实验评估在计算机视觉和入侵检测场景下进行，使用了 CIFAR‑10 和 UNSW‑NB15 数据集。结果表明，该方法在抵御 FGSM 和 PGD 攻击方面具有显著提升，同时在安全运营中心（SOC）中的平均运营响应时间也明显降低。结果表明，孤立的对抗鲁棒性方法是不充分的，IA 安全应被视为一个系统性问题，需要整合数学方法、安全软件工程以及对基础设施的持续监控。

2008-07-01Read paper →AI Security

标题：用于人工智能系统安全的形式化架构：威胁建模、对抗性验证与具有可量化保证的鲁棒缓解

标题：用于人工智能系统安全的形式化架构：威胁建模、对抗性验证与具有可量化保证的鲁棒缓解摘要：人工智能（IA）系统在关键基础设施、金融服务、数字平台和工业环境中的日益集成，引入了一个新的攻击面，其复杂性超越了传统计算安全范式。深度学习模型易受对抗样本攻击、数据投毒、模型提取以及敏感属性推断的影响，从而危及机密性、完整性和可用性。在本文中，我们提出一种用于 IA 安全的集成形式化架构，将数学威胁建模、自动化对抗性验证和具有可量化保证的鲁棒缓解机制相结合。我们的方法统一了三个组件：（i）一个由计算预算和访问能力参数化的形式化对手模型，（ii）一个基于自适应统计散度的异常检测机制，以及（iii）一个利用放松的凸优化实现的认证鲁棒性模块。我们在 PyTorch 和 TensorFlow 环境中实现了一个原型，并在 CIFAR-10、ImageNet-subset 和 UNSW-NB15 数据集上进行了评估。在 ε = 8/255 的 PGD 攻击下，我们的方法将鲁棒准确率从 32.4%（baseline）提升至 61.7%，标准差为 1.8%。在 10% 数据被破坏的投毒场景中，我们将对泛化误差的影响降低了 47%。我们还证明了模型提取攻击的成功率降低了 63%。复杂度分析表明，推理时间的平均开销为 18%，同时保持了运行可行性。我们的结果表明，形式化验证与基于统计基础的缓解措施的系统性集成，构成了 IA 安全工程中的一项实质性进展，并提供了与 NIST AI Risk Management Framework 指南一致的可度量保证。

2007-08-09Read paper →AI Security

标题：面向人工智能系统安全的形式化架构：针对对抗性攻击、投毒和模型提取的统一防御模型

标题：面向人工智能系统安全的形式化架构：针对对抗性攻击、投毒和模型提取的统一防御模型摘要：人工智能（IA）系统在关键基础设施、金融服务、医疗平台和工业环境中的日益集成，显著扩大了网络攻击面。机器学习（ML）和深度学习（DL）模型引入了特定漏洞，包括对抗性攻击、数据投毒和模型提取，这些漏洞无法被传统信息安全机制充分缓解。本文提出一种用于AI安全的统一形式化架构，融合统计鲁棒性机制、运行时异常检测和密码学保证。我们的方法结合了：（i）自适应对抗正则化，（ii）基于分布散度的概率检测，以及（iii）使用认证哈希函数和远程验证的完整性证明机制。我们在参数化威胁模型下形式化该问题，并证明我们的方法将对抗性攻击成功率从白盒场景中的78.4%降至12.7%，并在黑盒场景中从64.2%降至18.9%。在污染率为10%的投毒攻击中，我们观察到对准确率的影响从22.5%降至4.3%。平均计算开销在推理阶段为11.6%，在训练阶段为18.2%。我们在三个广泛使用的数据集（CIFAR-10、ImageNet-Subset和UNSW-NB15）上评估了该系统，并与基线防御方法进行了比较，包括经典对抗训练和基于独立统计检测的机制。结果表明，在鲁棒性和稳定性方面具有统计学显著优势（p < 0.01）。我们得出结论，AI安全应被视为一门具有可验证性质的形式化学科，而非传统安全的临时性扩展。

2007-08-02Read paper →AI Security

标题：一种面向自适应攻击下机器学习模型安全性的形式化可验证架构：鲁棒性、监测与密码学保证的集成框架

标题：一种面向自适应攻击下机器学习模型安全性的形式化可验证架构：鲁棒性、监测与密码学保证的集成框架摘要：机器学习（ML）模型在关键基础设施中的日益集成，为网络安全生态系统引入了新的攻击面。对抗性攻击、数据投毒、模型提取和属性推断已证明基于人工智能的系统存在脆弱性，并在金融、医疗和国防等领域造成了已记录的影响。本文提出一种面向自适应对手、在形式上有坚实基础的集成架构，用于保障ML模型安全，结合经认证的对抗鲁棒性、运行时行为偏差检测以及完整性与保密性的密码学保证。我们的方法论围绕三个主要组件展开：（i）结合 Lipschitz 正则化和概率认证的鲁棒训练；（ii）基于潜在分布统计建模和通过序贯检验进行异常检测的在线监测；以及（iii）结合远程证明和机密计算的密码学封装。我们根据与 MITRE ATT&CK（T1565、T1190、T1027）对齐的能力形式化威胁模型，并定义可测量的安全属性。我们在三个数据集（CIFAR-10、UNSW-NB15 和 MIMIC-III）以及两个真实入侵检测场景中评估了该架构。与对抗鲁棒性基线（PGD-training）和孤立检测方法相比，我们的框架将对抗攻击成功率从 78.4% 降低到 21.7%，以 3.8% 的误报率检测出 93.2% 的投毒攻击，并将平均计算开销保持在 11.6%。我们证明，形式化机制与运行机制的系统性集成能够在系统韧性方面带来显著提升，并为高风险环境中安全 AI 系统的开发建立了具体指导原则。

2007-07-26Read paper →AI Security