← 返回论文

Paper Files / DFIR

标题:一种面向时态图的形式化基础 DFIR 架构,具备密码学完整性保证与攻击链概率重建能力

DFIRZH

标题:一种面向时态图的形式化基础 DFIR 架构,具备密码学完整性保证与攻击链概率重建能力 摘要:现代网络攻击活动日益复杂,这给数字取证与事件响应(Digital Forensics and Incident Response,DFIR)实践带来了重大挑战。当前企业环境会产生来自多层面的海量遥测数据——端点、网络、应用程序以及云基础设施——使得手动重建事件在实践中几乎不可行。尽管监控系统和 SIEM 平台提供了事件关联机制,但此类方法往往缺乏形式化基础,难以在数字证据之间保留因果关系和时间一致性。本文提出一种基于时态图的 DFIR 形式化架构,融合概率推理与密码学证据完整性机制。我们提出一个数学模型,将取证事件表示为带类型的顶点,并组织在时间一致的有向图中,从而能够捕获进程、文件、网络连接和身份之间的因果依赖关系。在该图之上,我们引入攻击概率重建算法(RPA),该算法利用基于贝叶斯的推理,并结合 MITRE ATT&CK 框架中描述的战术与技术模式,来估计对手最可能的行动序列。此外,我们实现了一种密码学哈希链机制,以在整个调查流水线中确保证据的完整性和可验证性。我们使用三个具有代表性的数据集对所提出的架构进行了实验评估:DARPA Transparent Computing 数据集、大规模真实企业日志以及针对 Log4Shell 漏洞利用的合成场景。结果表明,与仅基于启发式关联或孤立统计检测的方法相比,该方案在准确率、召回率以及攻击链重建时间等指标上均有显著提升。我们观察到调查重建时间平均减少 37.4%,同时攻击链推断精度显著提高。本文还讨论了其与现代 SIEM 平台集成的实际影响,以及与日志质量和存储成本相关的局限性。我们得出结论:基于时态图的形式化建模、概率推理与密码学保证的结合,为面向当代企业环境的可扩展、可验证 DFIR 系统奠定了一个很有前景的基础。

  1. 引言

数字取证与事件响应(Digital Forensics and Incident Response, DFIR)学科在过去十年中随着数字基础设施复杂性的持续上升以及企业环境中攻击面的大幅扩大而显著演进。当代计算生态系统整合了云服务、混合环境、微服务架构以及分布式设备,从而产生海量安全遥测数据。在此背景下,数字取证调查已成为一项大规模计算问题,要求采用能够保留因果关系并维护事件之间时间一致性的自动化方法(BISHOP, 2018)。

广泛记录的事件表明了这种操作复杂性。对 CVE‑2021‑44228 漏洞的广泛利用,即 Log4Shell,表明广泛使用的库中的漏洞如何允许远程代码执行并在企业环境中快速传播(NIST, 2021)。针对供应链的攻击,例如 SolarWinds Orion 软件被入侵事件,表明高级对手通过涉及初始入侵、横向移动和数据外泄的多阶段持续活动开展行动(MANDIANT, 2023)。在由 LockBit 和 ALPHV/BlackCat 等组织实施的当代勒索软件活动中,还可观察到持久化技术、滥用有效凭证以及禁用审计机制的组合。

其中很大一部分活动可以使用 MITRE ATT&CK 框架进行描述,该框架对在真实攻击活动中经验观察到的对手战术与技术进行了系统化整理(MITRE, 2024)。诸如 T1059(命令和脚本解释器)、T1021(远程服务)、T1078(有效账户)以及 T1070(指标清除)等技术,常常会在高级攻击过程中按顺序出现。然而,尽管 ATT&CK 为威胁分析提供了有用的分类体系,但从异构日志中正式重建攻击链仍然是一个重大挑战。

当代 DFIR 的核心问题在于一致且可验证地重建构成安全事件的事件因果序列。大型组织每天经常生成来自 EDR 系统、防火墙、代理、身份平台和云服务的数十亿事件。对这些数据进行人工分析已不可行,而基于规则或启发式关联的自动化方法则经常产生误报或丢失相关因果关系(ANDERSON, 2020)。

实证报告进一步印证了这一操作鸿沟。Verizon Data Breach Investigations Report 记录显示,攻击者在被首次发现之前,通常会在受损环境中长期驻留(VERIZON, 2023)。类似地,Mandiant 的运营分析表明,相当一部分被调查事件在攻击被识别之前涉及显著的横向移动(MANDIANT, 2023)。

鉴于此背景,我们研究以下问题:

RQ1:如何对取证事件进行形式化建模,以保留因果性和时间一致性?

RQ2:是否可以使用图导向的概率推断,以更高精度重建复杂攻击链?

RQ3:将此类模型应用于大规模遥测环境时,对性能和可扩展性的影响如何?

我们的主要贡献如下:

C1:定义一种用于数字证据表示的时间图形式化模型,并显式具备完整性与时间一致性属性。

C2:提出一种基于与 MITRE ATT&CK 框架模式相结合的贝叶斯推断的攻击概率重建算法。

C3:实现一个可扩展原型,并在代表性数据集上进行实验评估,证明其在调查精度和重建时间方面具有可测量的提升。

本文其余部分组织如下。第 2 节介绍理论基础和相关工作。第 3 节对威胁模型和所研究问题进行形式化。第 4 节描述所提出的方法。第 5 节详细说明实验实现。第 6 节给出经验评估。第 7 节讨论影响与局限。最后,第 8 节总结全文。

  1. 背景与相关工作

数字取证建立在四个经典阶段之上:数字证据的获取、保存、分析和呈现(KENT et al., 2006)。形式上,我们可以将一组观察到的证据表示为:

$E = {e_1, e_2, …, e_n}$

其中每个事件 $e_i$ 具有如下结构属性:

$(t_i, s_i, m_i)$

其中 $t_i$ 表示时间戳,$s_i$ 表示来源(例如端点、防火墙或应用程序),而 $m_i$ 对应一组元数据。

传统模型通常将事件视为独立观测,仅按时间戳排序。此类时间线方法忽略了计算动作之间的因果依赖,因而使复杂攻击链的重建更加困难(BISHOP, 2018)。

作为替代,系统安全领域的文献中广泛研究了来源图(provenance graphs)。在这类模型中,一个有向图 $G = (V, E)$ 表示计算实体及其交互,包括进程、文件和网络连接(BATES et al., 2015)。

我们可以通过定义以下形式,将这一概念扩展为时间图:

$G = (V, E, \tau)$

其中 $\tau : V \rightarrow \mathbb{R}$ 将每个顶点关联到一个时间点。图的时间一致性要求:

$$ \forall (u,v) \in E,\ \tau(u) \leq \tau(v) $$

该性质可防止图中形成时间上不一致的因果依赖。

过去十年中,已经提出了多种来源捕获系统。PASS 系统在操作系统层面引入了来源跟踪机制,而 SPADE 框架则探索了分布式审计事件采集(FREIRE et al., 2008; BATES et al., 2015)。

在多阶段攻击检测的具体背景下,Milajerdi 等人提出了 HOLMES 系统,该系统使用由 ATT&CK 框架定义的阶段对系统事件进行关联(MILAJERDI et al., 2019)。尽管该系统在检测恶意行为方面有效,但并未提供关于攻击链完整性或显式概率重建的形式化保证。

在企业环境中,Splunk Enterprise Security 和 IBM QRadar 等 SIEM 平台使用基于规则、启发式和统计模型的关联来识别可疑模式(SPLUNK, 2023; IBM, 2023)。然而,这类系统往往作为分析黑盒运行,难以对其生成的推断进行形式化验证。

近年来,现代可观测性与安全架构也开始整合来自云环境和容器化工作负载的遥测数据,这些数据通常在 CNAPP(Cloud‑Native Application Protection Platforms)平台中进行关联(SCARFONE; SOUPPAYA, 2022)。监控面这一扩展进一步强化了对可扩展形式化模型用于调查分析的需求。

我们的方法通过整合三个互补维度而形成差异化:基于时间图的形式化建模、面向 ATT&CK 的概率推断,以及证据完整性的密码学保证。

  1. 威胁模型与问题形式化

我们考虑一个对手 $\mathcal{A}$,其能够在由标准日志机制监控的企业环境中执行多阶段攻击活动。所假设的能力包括:

  1. 远程利用已知漏洞;
  2. 在被攻陷主机上任意执行代码;
  3. 本地权限提升;
  4. 使用有效凭证进行横向移动;
  5. 尝试删除或篡改日志。

这些能力与高级持续性威胁(APT)文献中所记录的攻击模式一致(TANKARD, 2011; MITRE, 2024)。

我们还假设被监控基础设施会产生来自多个来源的遥测数据,包括 EDR、身份认证日志、网络流量和应用事件。然而,这些数据可能存在延迟、部分丢失或时间不一致。

我们将所研究的问题定义如下。给定一组观察事件 $E_{obs}$,我们希望重建一系列对手动作:

$A = (a_1, a_2, …, a_k)$

使其最大化后验概率:

$$ A^ = \arg\max_A P(A | E_{obs}) $$

其中 $A$ 表示与威胁模型一致的一条技术链。

系统中应具备三项基本性质:

完整性:已记录证据不得在不被检测的情况下被更改。

完备性:所有合理的攻击链都应能够在调查图中表示。

正确性:概率高于阈值 $\theta$ 的推断链应与所假定的攻击模型一致。

这些性质为所提出的体系结构提供了理论基础。

  1. 所提方法

GT‑DFIR 架构由四个主要模块组成:

  1. 事件摄取与规范化;
  2. 时间来源图构建;
  3. 概率推断引擎;
  4. 密码学完整性层。

在摄取阶段,来自多个来源的事件被转换为统一的表示模式。每个事件被转换为一个类型化顶点,属于以下类别之一:进程、文件、网络或用户。

算法 1:时间图构建

Input: 规范化事件集合 E
Output: 时间图 G

1: 初始化 G ← (V = ∅, E = ∅)
2: 对每个事件 e ∈ E:
3:     创建顶点 v_e
4:     将 v_e 添加到 V
5:     识别因果依赖 D
6:     对每个 d ∈ D:
7:         将边 (d, v_e) 添加到 E
8: 返回 G

当使用时间索引来定位依赖关系时,该算法的复杂度约为 $O(n \log n)$。

算法 2:攻击概率重建(RPA)

Input: 图 G, 技术集合 T
Output: 攻击链 A

1: 初始化假设集合 H
2: 对每个技术 t ∈ T:
3:     识别兼容子图 S_t
4:     估计概率 P(t | S_t)
5:     更新 H
6:     对 H 应用贝叶斯推断
7:     返回概率最高的链

概率推断基于如下关系:

$$ P(A|E) \propto P(E|A)P(A) $$

其中 $P(A)$ 表示攻击链的先验概率,而 $P(E|A)$ 对应于所观察到证据的似然。

为保证证据完整性,我们使用哈希链式密码学机制:

$$ h_i = SHA256(e_i || h_{i-1}) $$

该机制创建了一条可验证的记录链,防止存储事件发生未被检测的修改。

  1. 实现

我们使用由八个计算节点组成的分布式架构实现了一个实验原型,每个节点均配备 Intel Xeon Gold 处理器和 128 GB RAM。

事件摄取采用 Elastic Stack 实现,并基于 Elastic Common Schema(ECS)标准进行规范化(ELASTIC, 2024)。时间图的存储与查询使用 Neo4j 实现,该平台对结构化查询和时间索引提供了高效支持(NEO4J, 2023)。

概率推断引擎使用 Python 开发,依赖科学计算库进行条件概率计算和图分析。

观测到的平均摄取速率约为每秒 50,000 个事件,平均处理延迟为 220 ms。为保证水平可扩展性,我们采用基于时间窗口 $\Delta t$ 的分区方式,从而允许在多个节点上并行处理。

  1. 实验评估

实验评估使用了三个不同的数据集。

数据集 大小 描述
DARPA Transparent Computing 5.1 TB 用于安全研究的操作系统遥测
企业日志 4.2 TB 13 亿条匿名真实事件
Log4Shell 场景 800 GB CVE‑2021‑44228 利用模拟

我们将所提出的架构与两种基线方法进行了比较。

标识符 方法
B1 基于规则的关联(传统 SIEM)
B2 独立统计检测

评估指标包括精确率、召回率、F1 分数和重建时间(TR)。

方法 精确率 召回率 F1 TR(分钟)
B1 0.74 0.68 0.71 42.3
B2 0.69 0.64 0.66 38.7
GT‑DFIR 0.91 0.87 0.89 26.5

我们观察到调查重建时间平均减少了 37.4%($\sigma = 4.8$)。基于 t 检验的统计测试表明结果具有显著性,$p < 0.01$。

该架构引入的平均计算开销为 12.6%,在考虑调查精度提升的情况下,这一数值被认为是可接受的。

  1. 讨论

实验结果表明,基于时间图的建模能够显著减少取证调查中的因果歧义。通过显式表示事件之间的依赖关系,系统可避免纯时间线方法中常见的不正确推断。

贝叶斯推断的使用还允许纳入关于经验观察到的攻击模式的先验知识,尤其是 MITRE ATT&CK 框架中所记录的模式(MITRE, 2024)。这种将专业知识与观测证据相结合的方式提高了调查推断的鲁棒性。

然而,仍然存在一些局限性。推断质量在很大程度上依赖于所收集遥测数据的完整性和保真度。日志不足的环境可能产生不完整图,从而影响攻击链重建。

此外,大规模来源图可能达到数十亿个顶点,给存储和查询带来挑战。事件压缩与聚合策略是未来研究中具有前景的方向。

从操作角度看,此类架构的实际采用需要与现有 SIEM 平台和事件响应工具集成,并为安全分析员提供专门培训。

  1. 结论

我们提出了一种用于数字取证与事件响应的形式化架构,该架构基于时间图、概率推断以及证据完整性的密码学机制。我们证明,与仅依赖启发式关联的传统方法相比,该方法能够以更高的精度和效率重建复杂攻击链。

我们的贡献包括调查模型的数学形式化、概率重建算法的定义,以及在当代企业环境代表性数据集上的经验验证。

实验结果表明,在精确率指标和调查重建时间方面均有显著改进。这些结果表明,基于时间图的架构是构建可扩展且可验证 DFIR 系统的一条有前景的方向。

参考文献

ANDERSON, Ross. Security engineering: a guide to building dependable distributed systems. 3. ed. Hoboken: Wiley, 2020. Available at: https://www.cl.cam.ac.uk/~rja14/book.html

BATES, Adam et al. Trustworthy whole-system provenance for the Linux kernel. In: USENIX SECURITY SYMPOSIUM. Proceedings… 2015. Available at: https://www.usenix.org/conference/usenixsecurity15

BILGE, Leyla; DUMITRAȘ, Tudor. Before we knew it: an empirical study of zero-day attacks in the real world. In: ACM CCS. Proceedings… 2012. Available at: https://doi.org/10.1145/2382196.2382284

BISHOP, Matt. Computer security: art and science. 2. ed. Boston: Addison‑Wesley, 2018. Available at: https://www.pearson.com/en-us/subject-catalog/p/computer-security-art-and-science/P200000003095

CARRIER, Brian. File system forensic analysis. Boston: Addison‑Wesley, 2005. Available at: https://www.pearson.com/en-us/subject-catalog/p/file-system-forensic-analysis

DARPA. Transparent computing program. Arlington: DARPA, 2018. Available at: https://www.darpa.mil/program/transparent-computing

ELASTIC. Elastic Common Schema (ECS) reference documentation. 2024. Available at: https://www.elastic.co/guide/en/ecs/current/index.html

FREIRE, Juliana et al. Provenance for computational tasks: a survey. Computing in Science & Engineering, 2008. Available at: https://doi.org/10.1109/MCSE.2008.79

IBM. IBM QRadar SIEM documentation. 2023. Available at: https://www.ibm.com/docs/en/qradar

KENT, Karen et al. Guide to integrating forensic techniques into incident response. NIST Special Publication 800‑86. Gaithersburg: NIST, 2006. Available at: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-86.pdf

MANDIANT. M‑Trends 2023: insights into today’s cyber attack trends. 2023. Available at: https://www.mandiant.com/resources/m-trends

MILAJERDI, Sadegh M. et al. HOLMES: real-time APT detection through correlation of suspicious information flows. IEEE Symposium on Security and Privacy, 2019. Available at: https://doi.org/10.1109/SP.2019.00044

MITRE. MITRE ATT&CK framework. 2024. Available at: https://attack.mitre.org

NEO4J. Graph database platform documentation. 2023. Available at: https://neo4j.com/docs

NIST. National vulnerability database entry CVE‑2021‑44228. 2021. Available at: https://nvd.nist.gov/vuln/detail/CVE-2021-44228

NIST. Computer security incident handling guide. NIST SP 800‑61 Revision 2. 2012. Available at: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-61r2.pdf

NOEL, Steven et al. Measuring security risk of networks using attack graphs. IEEE Security & Privacy, 2009. Available at: https://doi.org/10.1109/MSP.2009.64

OWASP. OWASP Top 10: the ten most critical web application security risks. 2021. Available at: https://owasp.org/www-project-top-ten

SCARFONE, Karen; SOUPPAYA, Murugiah. Guidelines on security and privacy in public cloud computing. NIST, 2022. Available at: https://nvlpubs.nist.gov/nistpubs

SPLUNK. Splunk Enterprise Security documentation. 2023. Available at: https://docs.splunk.com/Documentation/ES

TANKARD, Colin. Advanced persistent threats and how to monitor and deter them. Network Security, 2011. Available at: https://doi.org/10.1016/S1353-4858(11)70086-1

VERIZON. 2023 Data breach investigations report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/