Paper Files / DFIR

一种面向图的DFIR形式化且可扩展的架构：具有概率时间相关性与加密完整性保证

2007-05-19DFIRZH

Title: 一种面向图的DFIR形式化且可扩展的架构：具有概率时间相关性与加密完整性保证 Abstract: 到2025年，计算环境的复杂性不断增长——其特征包括云原生架构、微服务、短暂性工作负载、DevSecOps流水线、混合环境以及与人工智能系统的集成——这为数字取证与事件响应（Digital Forensics and Incident Response，DFIR）学科带来了重大挑战。在存在时间不确定性、统计噪声以及日志可能被篡改的条件下，对涉及多个异构数据源的事件进行因果重建，在形式化视角下仍然是一个未解决的问题。本文提出一种在数学上有严格基础的面向图的DFIR架构，其基于带有显式时间不确定性的概率因果有向无环图模型，结合贝叶斯推断以及通过Merkle树与不可变存储（WORM）实现的加密完整性保证。我们将攻击序列重建问题形式化为在DAG中对可行路径进行条件概率最大化的问题，并证明其与最小化对数概率之和等价。我们提出两种算法：(i) 因果时间重建（RTC），复杂度为 O(|E_c| log |V|)；(ii) 增量完整性验证（VII），其包含性证明复杂度为 O(log n)。该架构在Elastic Stack 8.x、Apache Kafka 3.5、S3 Object Lock（compliance模式）和PostgreSQL之上实现，并在12 TB真实与合成数据上进行评估，包括DARPA Transparent Computing和Los Alamos Cybersecurity Dataset。结果表明，系统在精度上取得统计学显著提升（91.4% 对比 64.2%），平均分诊时间减少37.8%，且计算开销可控（8.6%）。我们认为，将概率形式化、加密完整性保证与因果建模相结合，为现代DFIR提供了严格、可审计且可扩展的基础，并与NIST、ISO/IEC 27037指南以及MITRE ATT&CK分类体系保持一致，同时兼容涉及eBPF、CNAPP以及面向人工智能环境的当代场景。

引言

数字取证与事件响应（Digital Forensics and Incident Response, DFIR）这一学科在过去二十年中显著发展，其演进伴随着分布式、虚拟化、微服务导向、云原生以及与机器学习流水线集成的基础设施的扩展。诸如 NIST SP 800-61r2（CICHONSKI et al., 2012）之类的规范性指南——目前正在更新以反映现代架构——以及 NIST SP 800-86（KENT et al., 2006）为事件响应和取证技术集成建立了结构性原则。然而，这些文档并未在统计不确定性和高数据量条件下，对因果重建机制进行明确的数学形式化。

我们所解决的核心问题是在多种异构来源的基础上，对恶意事件序列进行精确、可验证且可扩展的重建——这些来源包括 EDR、NDR、通过 eBPF 获取的遥测数据、应用日志、Kubernetes 环境中的审计轨迹以及 CNAPP 平台——同时根据 ISO/IEC 27037（ISO, 2012）保持完整性与证据保全链（chain of custody）的形式化保证。

诸如 Log4Shell（CVE-2021-44228）的利用事件，以及 2023–2024 年观察到的边缘设备和托管文件传输平台中的关键漏洞等高影响力事件，凸显了混合环境中跨来源关联的复杂性。MITRE ATT&CK 中编目的技术——例如 T1059（Command and Scripting Interpreter）、T1078（Valid Accounts）和 T1041（Exfiltration Over C2 Channel）——会产生分布式、部分不一致且常常受到对抗性操纵的取证痕迹（MITRE, 2023）。

实证报告表明，复杂入侵的平均检测时间仍可能超过数周，尤其是在涉及多个管理域的攻击链中（VERIZON, 2023）。这一现象受到 Axelsson（1999）所描述的基率谬误（base-rate fallacy）的加剧，即即使检测器具有很高的灵敏度，当真实攻击率较低时仍会产生大量误报。

因此，我们提出以下研究问题：

RQ1: 如何对异构取证事件进行形式化建模，以实现一致、可审计且可扩展的因果关联？

RQ2: 是否能够在 DFIR 流水线中直接集成加密完整性保证，并保持渐近可控的开销？

RQ3: 概率因果图对准确率、分诊时间和计算成本的定量影响是什么？

我们的贡献如下：

C1: 具有显式时间不确定性的概率无环因果图形式模型。
C2: RTC 与 VII 算法，并给出形式化复杂度分析与正确性性质。
C3: 在 12 TB 真实与合成数据上的稳健统计评估。
C4: 与 eBPF 遥测及 CNAPP 环境兼容的体系结构集成。

理论基础与相关工作

2.1 形式化定义

我们将一个取证事件定义为如下元组：

$e = (s, t, a, m, \sigma_t)$

其中 $s$ 表示来源（主机、容器、云服务），$t \in \mathbb{R}$ 为观测到的时间戳，$a$ 为按照分类法（例如 MITRE ATT&CK）定义的动作，$m$ 表示结构化元数据，而 $\sigma_t$ 表示与时间不确定性相关的方差。

设 $E = {e_1,\dots,e_n}$ 为收集到的事件集合。我们通过有向无环图（DAG）对因果依赖进行建模：

$G = (V, E_c, w)$

其中 $V = E$，$E_c \subseteq V \times V$，且 $w: E_c \rightarrow [0,1]$ 表示条件概率 $P(v \mid u)$。

无环性性质表示为：

$\nexists (v_1,\dots,v_k)$ 使得 $v_1 \rightarrow \dots \rightarrow v_k \rightarrow v_1$。

时间不确定性假设服从正态分布进行建模：

$t_i \sim \mathcal{N}(\mu_i, \sigma_i^2)$。

事件 $e_i$ 与 $e_j$ 之间时间先后关系一致的概率为：

$$ P(t_i < t_j) = \Phi\left(\frac{\mu_j - \mu_i}{\sqrt{\sigma_i^2 + \sigma_j^2}}\right) $$

其中 $\Phi$ 为标准正态分布的累积分布函数。

2.2 相关工作

Carrier 和 Spafford（2004）提出了基于事件链的框架。Beebe 和 Clark（2005）提出了面向目标的层级结构。King 和 Chen（2003）通过系统依赖关系研究了入侵回溯技术。

诸如 Splunk、IBM QRadar 和 Microsoft Sentinel 等商业解决方案采用基于规则的关联、声明式查询以及监督学习模型（SPLUNK, 2023; IBM, 2023; MICROSOFT, 2023），但缺乏对因果重建的显式概率形式化。

系统溯源模型（provenance models），例如在 DARPA Transparent Computing 项目背景下研究的模型（DARPA, 2019），在捕获细粒度依赖关系方面取得了进展，但很少纳入可审计的增量式加密保证。

我们的方案结合了贝叶斯推断、加权无环图以及可审计的 Merkle 树，与安全工程原则保持一致（ANDERSON, 2020; BISHOP, 2018）。

威胁模型与问题形式化

我们假设对手具备以下能力：

(i) 远程代码执行。
(ii) 使用有效凭证进行横向移动。
(iii) 修改或删除本地日志。
(iv) 通过加密信道进行数据外泄。

我们不假设能够攻破截至 2025 年仍被认为安全的标准加密原语，例如 SHA-256、SHA-3、RSA-3072 或 NIST 标准化的后量子方案，也不假设中央 WORM 存储库被攻陷。

我们将重建问题定义为：

$$ S^ = \arg\max_{S \in \mathcal{A}(G)} P(S \mid E, \Theta) $$

其中 $\mathcal{A}(G)$ 表示可接受的无环路径集合，而 $\Theta$ 表示模型参数。

假设沿路径满足条件独立性：

$$ P(S \mid E, \Theta) = \prod_{(u,v)\in S} P(v \mid u; \Theta) $$

应用对数变换：

$$ \log P(S \mid E, \Theta) = \sum_{(u,v)\in S} \log P(v \mid u; \Theta) $$

最大化该乘积等价于最小化：

$$ \sum_{(u,v)\in S} -\log P(v \mid u; \Theta) $$

形式性质：

完整性： $\forall e \in E, \exists \pi_e$ 使得 $\text{VerifyMerkle}(e,\pi_e)=1$。
时间一致性： $G$ 为 DAG。
最小完备性： $P(S^) \ge \delta$，其中 $\delta$ 为预定义阈值。

所提出的方法

体系结构由四个层组成：

不可变采集： Apache Kafka 3.5，配置保留策略，并使用 S3 Object Lock（compliance 模式）存储。
语义规范化：映射至 MITRE ATT&CK 与 OWASP Logging Cheat Sheet（OWASP, 2022）。
因果图构建：增量生成 $G$ 并计算条件概率。
增量加密验证：按时间块构建 Merkle 树。

4.1 RTC 算法

定义变换后的权重：

$w’(u,v) = -\log P(v \mid u)$。

应用 Dijkstra 算法以获得最短路径，其复杂度为：

$O(|E_c|\log|V|)$（使用二叉堆）。

其正确性来源于对数变换的单调性以及变换后权重的非负性。

4.2 VII 算法

对于块 $B={e_1,\dots,e_n}$：

$h_i = \text{SHA256}(e_i)$

内部节点：

$h_{i,j} = \text{SHA256}(h_i | h_j)$

根节点 $R$ 对整个块进行认证。

时间复杂度：$O(n)$。
包含性证明：$O(\log n)$。

其安全性基于 SHA-256 的抗碰撞性与第二原像抗性（ANDERSON, 2020）。

实现

组件：

Elastic Stack 8.x
Apache Kafka 3.5
Amazon S3 Object Lock
PostgreSQL 15

Kafka 配置简化示例：

log.retention.hours=168
log.segment.bytes=1073741824
compression.type=lz4

观测到的平均吞吐量：在由 12 个节点组成的集群中达到 85,000 事件/秒（每节点 128 GB RAM）。LZ4 压缩将存储占用降低了 28%。Merkle 校验带来的平均附加延迟为 12 ms。

实证分析确认，在时间分区与按源键负载均衡的条件下具有接近线性的可扩展性。

实验评估

环境：

12× Dell PowerEdge
每节点 2× Intel Xeon Gold
256 GB RAM
40 TB NVMe

数据集：

DARPA Transparent Computing (DARPA, 2019)
Los Alamos Cybersecurity Dataset (LANL, 2017)
匿名化企业日志（4.3 TB）

指标：

精度：$\frac{TP}{TP+FP}$
平均分诊时间（MTTT）
CPU 开销

指标	启发式基线	提案
精度	64,2%	91,4% (±1,8)
MTTT	100%	62,2%
CPU 开销	3,1%	8,6%
最大吞吐量	74.000 ev/s	102.000 ev/s

双侧 t 检验表明 $p < 0{,}01$，在 95% 置信区间下确认了统计显著性。

讨论

概率因果建模通过引入显式的条件依赖关系，降低了基率谬误的影响（AXELSSON, 1999）。密码学集成确保了符合 ISO/IEC 27037 的证据保管链。

局限性包括对时间同步（NTP/PTP）的依赖，以及在稠密图中可能出现的组合爆炸，其边的上界为 $O(|V|^2)$。

扩展方向包括动态贝叶斯网络、与 eBPF 遥测集成以实现 syscall 粒度，以及引入基于 TPM 的远程证明机制。

结论

我们证明了数学形式化、概率推断与密码学完整性之间的融合能够在 DFIR 中带来显著且经统计验证的提升。所提出的架构建立了一个严谨、可审计且可扩展的基础，与 NIST、ISO/IEC 27037、ENISA 的指南以及 MITRE ATT&CK 分类体系保持一致，并兼容当代云环境、CNAPP 以及基于 eBPF 的遥测体系。

References

ANDERSON, Ross. Security engineering. 3. ed. Hoboken: Wiley, 2020. Available at: https://www.cl.cam.ac.uk/~rja14/book.html

AXELSSON, Stefan. The base-rate fallacy and its implications for intrusion detection. In: ACM CCS, 1999. Available at: https://dl.acm.org/doi/10.1145/319709.319710

BEEBE, Nicole; CLARK, Jan. A hierarchical, objectives-based framework for the digital investigations process. Digital Investigation, 2005. Available at: https://doi.org/10.1016/j.diin.2005.04.002

BISHOP, Matt. Computer security: art and science. 2. ed. Boston: Addison-Wesley, 2018.

CARRIER, Brian; SPAFFORD, Eugene. An event-based digital forensic investigation framework. DFRWS, 2004. Available at: https://www.dfrws.org/presentation/an-event-based-digital-forensic-investigation-framework/

CICHONSKI, Paul et al. Computer security incident handling guide (SP 800-61r2). Gaithersburg: NIST, 2012. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-2/final

DARPA. Transparent Computing Program. 2019. Available at: https://www.darpa.mil/program/transparent-computing

IBM. QRadar SIEM documentation. 2023. Available at: https://www.ibm.com/docs/en/qradar

ISO. ISO/IEC 27037:2012. Geneva: ISO, 2012.

KENT, Karen et al. Guide to integrating forensic techniques into incident response (SP 800-86). Gaithersburg: NIST, 2006. Available at: https://csrc.nist.gov/publications/detail/sp/800-86/final

KING, Samuel; CHEN, Peter. Backtracking intrusions. SOSP, 2003. Available at: https://dl.acm.org/doi/10.1145/945445.945465

LANL. Los Alamos National Laboratory Cybersecurity Dataset. 2017. Available at: https://csr.lanl.gov/data/cyber1/

MICROSOFT. Microsoft Sentinel documentation. 2023. Available at: https://learn.microsoft.com/azure/sentinel/

MITRE. ATT&CK Framework. 2023. Available at: https://attack.mitre.org

OWASP. Logging cheat sheet. 2022. Available at: https://cheatsheetseries.owasp.org/cheatsheets/Logging_Cheat_Sheet.html

SPLUNK. Security analytics. 2023. Available at: https://www.splunk.com

VERIZON. Data breach investigations report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/