Paper Files / DFIR
标题:一种面向时间图的DFIR形式化基础架构,具备密码学完整性保障与攻击链概率重建能力
标题:一种面向时间图的DFIR形式化基础架构,具备密码学完整性保障与攻击链概率重建能力 摘要:现代网络攻击活动日益复杂,给数字取证与事件响应(Digital Forensics and Incident Response, DFIR)实践带来了重大挑战。当前企业环境产生来自多层面的海量遥测数据——端点、网络、应用以及云基础设施——使得手动重建事件在实践中几乎不可行。尽管监测系统和SIEM平台提供了事件关联机制,但此类方法往往缺乏形式化基础,难以保持数字证据之间的因果关系和时间一致性。本文提出一种基于时间图的DFIR形式化架构,并结合概率推理与证据完整性的密码学机制。我们提出一个数学模型,将法证事件表示为具有类型的顶点,构成一个时间一致的有向图,从而能够捕获进程、文件、网络连接和身份之间的因果依赖关系。在该图之上,我们引入攻击概率重建算法(Probabilistic Attack Reconstruction, RPA),该算法利用以MITRE ATT&CK框架中描述的战术与技术模式为条件的贝叶斯推理,估计对手最可能的动作序列。此外,我们实现了一种密码学哈希链机制,以确保调查流程中证据的完整性和可验证性。我们使用三个具有代表性的数据集对所提出架构进行了实验评估:DARPA Transparent Computing数据集、大规模真实企业日志以及针对Log4Shell漏洞利用的合成场景。结果表明,与仅基于启发式关联或孤立统计检测的方法相比,该方法在准确率、召回率和攻击链重建时间等指标上均有显著提升。我们观察到调查重建时间平均减少了37.4%,同时攻击链推断精度显著提高。我们还讨论了其在与现代SIEM平台集成方面的实际意义,以及与日志质量和存储成本相关的局限性。我们得出结论:基于时间图的形式化建模、概率推理与密码学保障的结合,为面向现代企业环境的可扩展且可验证的DFIR系统提供了一个前景可观的基础。
- 引言
数字取证与事件响应(Digital Forensics and Incident Response,DFIR)学科在过去十年中得到了显著发展,以应对数字基础设施日益复杂以及企业环境中攻击面大幅扩张的现实。现代计算生态系统整合了云服务、混合环境、微服务架构以及分布式设备,产生了海量安全遥测数据。在此背景下,数字取证调查已成为一个大规模计算问题,需要能够保持因果关系以及事件之间时间一致性的自动化方法(BISHOP,2018)。
广为记录的事件表明了这种操作复杂性。对 CVE‑2021‑44228 漏洞(即 Log4Shell)的大规模利用表明,广泛使用的库中的漏洞可以导致远程代码执行,并在企业环境中快速传播(NIST,2021)。针对供应链的攻击,例如 SolarWinds Orion 软件被攻破,表明高级对手通过多阶段、持久性的活动开展行动,这些活动涉及初始入侵、横向移动以及数据外泄(MANDIANT,2023)。在由 LockBit 和 ALPHV/BlackCat 等组织实施的当代勒索软件活动中,还可观察到持久化技术、滥用有效凭据以及禁用审计机制的组合。
其中大部分活动可使用 MITRE ATT&CK 框架进行描述,该框架系统化整理了在真实攻击活动中经验观察到的对手战术与技术(MITRE,2024)。T1059(命令与脚本解释器)、T1021(远程服务)、T1078(有效账户)和 T1070(指标移除)等技术在高级攻击过程中经常按顺序出现。然而,尽管 ATT&CK 为威胁分析提供了有用的分类体系,如何从异构日志中形式化重建攻击链仍然是一个重大挑战。
当代 DFIR 的核心问题在于,如何一致且可验证地重建构成安全事件的事件因果序列。大型组织通常每天会生成来自 EDR 系统、防火墙、代理、身份平台和云服务的数十亿事件。对这些数据进行人工分析已变得不可行,而基于规则或启发式关联的自动化方法往往会产生误报,或者遗漏相关的因果关系(ANDERSON,2020)。
经验报告进一步印证了这一操作性缺口。Verizon Data Breach Investigations Report 记录显示,攻击者在被初次检测之前,往往会在受损环境中长期驻留(VERIZON,2023)。类似地,Mandiant 进行的运营分析表明,相当比例的已调查事件在攻击被识别前都经历了显著的横向移动(MANDIANT,2023)。
在此背景下,我们研究以下问题:
RQ1:如何形式化建模取证事件,以保持因果性和时间一致性?
RQ2:是否可以利用面向图的概率推理,以更高精度重建复杂攻击链?
RQ3:将此类模型应用于大规模遥测环境时,对性能和可扩展性有何影响?
我们的主要贡献如下:
C1:定义一种用于表示数字证据的时间图形式化模型,并显式具备完整性和时间一致性属性。
C2:提出一种基于贝叶斯推理、并受 MITRE ATT&CK 框架模式约束的攻击概率重建算法。
C3:实现一个可扩展原型,并在具有代表性的数据集上进行实验评估,证明其在调查精度和重建时间方面具有可衡量的提升。
本文其余部分组织如下。第 2 节介绍理论基础和相关工作。第 3 节对威胁模型和所研究问题进行形式化。第 4 节描述所提出的方法论。第 5 节详细说明实验实现。第 6 节给出实证评估。第 7 节讨论影响与局限。最后,第 8 节对全文进行总结。
- 背景与相关工作
数字取证以数字证据的四个经典阶段为基础:获取、保存、分析和展示(KENT et al.,2006)。形式化地,我们可以将一组已观测到的证据表示为:
$E = {e_1, e_2, …, e_n}$
其中每个事件 $e_i$ 具有如下结构属性:
$(t_i, s_i, m_i)$
其中 $t_i$ 表示时间戳,$s_i$ 表示来源(例如端点、防火墙或应用程序),$m_i$ 对应一组元数据。
传统模型通常将事件视为独立观测,仅按时间戳排序。这种时间线方法忽略了计算动作之间的因果依赖关系,并且使复杂攻击链的重建更加困难(BISHOP,2018)。
作为替代,来源图(provenance graphs)已在系统安全文献中得到广泛研究。在此类模型中,有向图 $G = (V, E)$ 表示计算实体及其交互,包括进程、文件和网络连接(BATES et al.,2015)。
我们可以通过定义如下形式,将该概念扩展为时间图:
$G = (V, E, \tau)$
其中 $\tau : V \rightarrow \mathbb{R}$ 将每个顶点关联到一个时间点。图的时间一致性要求:
$$ \forall (u,v) \in E,\ \tau(u) \leq \tau(v) $$
这一属性可防止图中形成时间上不一致的因果依赖。
过去十年中提出了多种来源捕获系统。PASS 系统在操作系统层面引入了来源追踪机制,而 SPADE 框架则探索了分布式审计事件采集(FREIRE et al.,2008;BATES et al.,2015)。
在多阶段攻击检测的特定背景下,Milajerdi 等人提出了 HOLMES 系统,该系统使用 ATT&CK 框架定义的阶段来关联系统事件(MILAJERDI et al.,2019)。尽管该系统在检测恶意行为方面有效,但它并未提供完备性的形式化保证,也未提供显式的攻击链概率重建机制。
在企业环境中,Splunk Enterprise Security 和 IBM QRadar 等 SIEM 平台使用基于规则、启发式方法和统计模型的关联来识别可疑模式(SPLUNK,2023;IBM,2023)。然而,这些系统往往作为分析黑箱运行,使得对所产生推断的形式化验证变得困难。
近年来,现代可观测性与安全架构也开始整合来自云环境和容器化工作负载的遥测数据,这些数据常在 CNAPP(Cloud‑Native Application Protection Platforms)平台中进行关联分析(SCARFONE; SOUPPAYA,2022)。这种监控面扩展进一步强化了对可扩展形式化模型进行调查分析的需求。
我们的方法通过整合三个互补维度而有所区别:基于时间图的形式化建模、面向 ATT&CK 的概率推理,以及证据完整性的密码学保证。
- 威胁模型与问题形式化
我们考虑一个对手 $\mathcal{A}$,其能够在受标准日志机制监控的企业环境中执行多阶段攻击活动。假设其能力包括:
- 已知漏洞的远程利用;
- 在受入侵主机上任意执行代码;
- 本地权限提升;
- 使用有效凭据进行横向移动;
- 尝试移除或篡改日志。
这些能力与先进持续性威胁(APT)文献中记录的攻击模式一致(TANKARD,2011;MITRE,2024)。
我们还假设被监控基础设施会生成来自多个来源的遥测数据,包括 EDR、身份验证日志、网络流以及应用事件。然而,这些数据可能存在延迟、部分丢失或时间不一致等问题。
我们将所研究问题定义如下。给定一组观测事件 $E_{obs}$,我们希望重建一系列对手动作:
$A = (a_1, a_2, …, a_k)$
使其最大化后验概率:
$$ A^ = \arg\max_A P(A | E_{obs}) $$
其中 $A$ 表示与威胁模型相兼容的技术链。
系统中有三个基本属性是理想的:
完整性:记录下来的证据不应在未被检测的情况下被篡改。
完备性:所有合理的攻击链都应能够在调查图中表示。
正确性:概率高于阈值 $\theta$ 的推断链应与所假设的攻击模型一致。
这些属性为所提出的架构提供了理论基础。
- 所提方法
GT‑DFIR 架构由四个主要模块组成:
- 事件摄取与规范化;
- 时间来源图构建;
- 概率推理引擎;
- 密码学完整性层。
在摄取阶段,来自多个来源的事件被转换为统一的表示模式。每个事件都会被转换为一个类型化顶点,属于以下类别之一:进程、文件、网络或用户。
算法 1:时间图构建
Input: 标准化事件集合 E
Output: 时间图 G
1: 初始化 G ← (V = ∅, E = ∅)
2: 对于每个事件 e ∈ E:
3: 创建顶点 v_e
4: 将 v_e 添加到 V
5: 识别因果依赖 D
6: 对于每个 d ∈ D:
7: 将边 (d, v_e) 添加到 E
8: 返回 G
当使用时间索引来定位依赖关系时,该算法的复杂度近似为 $O(n \log n)$。
算法 2:攻击概率重建(RPA)
Input: 图 G,技术集合 T
Output: 攻击链 A
1: 初始化假设集合 H
2: 对于每个技术 t ∈ T:
3: 识别兼容子图 S_t
4: 估计概率 P(t | S_t)
5: 更新 H
6: 在 H 上应用贝叶斯推理
7: 返回概率最高的链
概率推理基于如下关系:
$$ P(A|E) \propto P(E|A)P(A) $$
其中 $P(A)$ 表示攻击链的先验概率,$P(E|A)$ 对应于所观测证据的似然。
为保证证据完整性,我们采用哈希链式加密:
$$ h_i = SHA256(e_i || h_{i-1}) $$
该机制创建了一条可验证的记录链,防止已存储事件发生未被检测的修改。
- 实现
我们实现了一个实验原型,采用由八个计算节点组成的分布式架构,每个节点配备 Intel Xeon Gold 处理器和 128 GB RAM。
事件摄取使用 Elastic Stack 完成,并基于 Elastic Common Schema(ECS)进行规范化(ELASTIC,2024)。时间图的存储与查询使用 Neo4j 实现,该平台为结构化查询和时间索引提供了高效支持(NEO4J,2023)。
概率推理引擎使用 Python 开发,并采用科学计算库进行条件概率计算与图分析。
观测到的平均摄取速率约为每秒 50,000 个事件,平均处理延迟为 220 ms。为保证水平可扩展性,我们采用基于时间窗口 $\Delta t$ 的分区方式,从而允许在多个节点上并行处理。
- 实验评估
实验评估使用了三个不同的数据集。
| 数据集 | 大小 | 描述 |
|---|---|---|
| DARPA Transparent Computing | 5.1 TB | 用于安全研究的操作系统遥测数据 |
| 企业日志 | 4.2 TB | 13 亿条匿名化真实事件 |
| Log4Shell 场景 | 800 GB | CVE‑2021‑44228 利用模拟 |
我们将所提出的架构与两种基线方法进行了比较。
| 标识符 | 方法 |
|---|---|
| B1 | 基于规则的关联(传统 SIEM) |
| B2 | 独立统计检测 |
评估指标包括 Precision、Recall、F1‑score 和重建时间(TR)。
| 方法 | Precision | Recall | F1 | TR(分钟) |
|---|---|---|---|---|
| B1 | 0,74 | 0,68 | 0,71 | 42,3 |
| B2 | 0,69 | 0,64 | 0,66 | 38,7 |
| GT‑DFIR | 0,91 | 0,87 | 0,89 | 26,5 |
我们观察到调查重建时间平均降低了 37,4%($\sigma = 4,8$)。基于 t 检验的统计测试表明差异具有显著性,$p < 0,01$。
该架构引入的平均计算开销为 12,6%,鉴于其在调查精度方面的提升,这一数值被认为是可接受的。
- 讨论
实验结果表明,基于时间图的建模能够在取证调查过程中显著减少因果歧义。通过显式表示事件之间的依赖关系,系统避免了纯粹按时间顺序的方法中常见的错误推断。
贝叶斯推理的使用还使得系统能够结合关于攻击模式的先验知识,特别是 MITRE ATT&CK 框架中记录的模式(MITRE,2024)。这种专业知识与观测证据的整合提升了调查推断的鲁棒性。
然而,仍存在一些限制。推断质量高度依赖于所收集遥测数据的完整性和真实性。日志不足的环境可能产生不完整的图,从而影响攻击链重建。
此外,大规模来源图可能达到数十亿个顶点,对存储和查询提出挑战。事件压缩与聚合策略是未来研究的有前景方向。
从操作角度来看,这种架构的实际采用需要与现有 SIEM 平台和事件响应工具集成,同时也需要安全分析人员接受专门培训。
- 结论
我们提出了一种用于 Digital Forensics and Incident Response 的形式化架构,该架构基于时间图、概率推理以及证据完整性的密码学机制。我们证明,与仅依赖启发式关联的传统方法相比,该方法能够更精确且更高效地重建复杂攻击链。
我们的贡献包括:调查模型的数学形式化、概率重建算法的定义,以及在代表现代企业环境的数据集上的实证验证。
实验结果表明,在精度指标和调查重建时间方面均有显著提升。这些结果表明,基于时间图的架构是构建可扩展且可验证 DFIR 系统的一条有前景的方向。
参考文献
ANDERSON, Ross. Security engineering: a guide to building dependable distributed systems. 3. ed. Hoboken: Wiley, 2020. Available at: https://www.cl.cam.ac.uk/~rja14/book.html
BATES, Adam et al. Trustworthy whole-system provenance for the Linux kernel. In: USENIX SECURITY SYMPOSIUM. Proceedings… 2015. Available at: https://www.usenix.org/conference/usenixsecurity15
BILGE, Leyla; DUMITRAȘ, Tudor. Before we knew it: an empirical study of zero-day attacks in the real world. In: ACM CCS. Proceedings… 2012. Available at: https://doi.org/10.1145/2382196.2382284
BISHOP, Matt. Computer security: art and science. 2. ed. Boston: Addison‑Wesley, 2018. Available at: https://www.pearson.com/en-us/subject-catalog/p/computer-security-art-and-science/P200000003095
CARRIER, Brian. File system forensic analysis. Boston: Addison‑Wesley, 2005. Available at: https://www.pearson.com/en-us/subject-catalog/p/file-system-forensic-analysis
DARPA. Transparent computing program. Arlington: DARPA, 2018. Available at: https://www.darpa.mil/program/transparent-computing
ELASTIC. Elastic Common Schema (ECS) reference documentation. 2024. Available at: https://www.elastic.co/guide/en/ecs/current/index.html
FREIRE, Juliana et al. Provenance for computational tasks: a survey. Computing in Science & Engineering, 2008. Available at: https://doi.org/10.1109/MCSE.2008.79
IBM. IBM QRadar SIEM documentation. 2023. Available at: https://www.ibm.com/docs/en/qradar
KENT, Karen et al. Guide to integrating forensic techniques into incident response. NIST Special Publication 800‑86. Gaithersburg: NIST, 2006. Available at: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-86.pdf
MANDIANT. M‑Trends 2023: insights into today’s cyber attack trends. 2023. Available at: https://www.mandiant.com/resources/m-trends
MILAJERDI, Sadegh M. et al. HOLMES: real-time APT detection through correlation of suspicious information flows. IEEE Symposium on Security and Privacy, 2019. Available at: https://doi.org/10.1109/SP.2019.00044
MITRE. MITRE ATT&CK framework. 2024. Available at: https://attack.mitre.org
NEO4J. Graph database platform documentation. 2023. Available at: https://neo4j.com/docs
NIST. National vulnerability database entry CVE‑2021‑44228. 2021. Available at: https://nvd.nist.gov/vuln/detail/CVE-2021-44228
NIST. Computer security incident handling guide. NIST SP 800‑61 Revision 2. 2012. Available at: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-61r2.pdf
NOEL, Steven et al. Measuring security risk of networks using attack graphs. IEEE Security & Privacy, 2009. Available at: https://doi.org/10.1109/MSP.2009.64
OWASP. OWASP Top 10: the ten most critical web application security risks. 2021. Available at: https://owasp.org/www-project-top-ten
SCARFONE, Karen; SOUPPAYA, Murugiah. Guidelines on security and privacy in public cloud computing. NIST, 2022. Available at: https://nvlpubs.nist.gov/nistpubs
SPLUNK. Splunk Enterprise Security documentation. 2023. Available at: https://docs.splunk.com/Documentation/ES
TANKARD, Colin. Advanced persistent threats and how to monitor and deter them. Network Security, 2011. Available at: https://doi.org/10.1016/S1353-4858(11)70086-1
VERIZON. 2023 Data breach investigations report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/