Paper Files / Detection
标题：基于端点、网络和内存遥测、并结合面向 MITRE ATT&CK 的概率时间相关性的多层混合检测架构
标题：基于端点、网络和内存遥测、并结合面向 MITRE ATT&CK 的概率时间相关性的多层混合检测架构 摘要：在现代企业环境中观察到的入侵活动日益复杂，这对基于孤立传感器的传统检测架构提出了挑战。当代攻击往往利用 living-off-the-land（LOLBins）技术、广泛可用的后渗透框架以及被混淆的命令与控制通道，导致事件链分散于网络、端点和易失性内存之间。尽管 IDS/IPS、EDR 和 SIEM 平台已被广泛采用，其分析集成仍受限于以语法为主的关联模型，难以捕获异构事件之间的时间依赖与语义依赖。MITRE ATT&CK 框架已作为描述战术、技术与程序（TTPs）的操作本体而确立，但其在检测系统中的使用往往仅限于静态映射或描述性可视化。本文提出一种多层混合检测架构，将网络、端点和内存遥测与一种在语义上对齐 ATT&CK 模型的形式化概率时间相关机制相结合。该架构结合了广泛使用的传感器，包括 Suricata、Sysmon、Volatility 3 以及 Sigma/YARA 规则，并配备基于 Kafka 的摄取层和按照 Elastic Common Schema 进行结构化索引的机制。我们将检测过程形式化为一个不确定性下的推断问题，采用加权时间图进行建模，其中事件表示带有 ATT&CK 技术标注的顶点，边表示在预定义时间窗口内语义兼容的转移。我们引入一个条件风险函数，用于整合单个技术的上下文概率以及 TTP 之间的转移权重，从而估计完整攻击链的合理性。我们从分析上证明，借助按时间索引的数据结构，这些图的增量构建可在每个时间窗口内以 O(n log n) 的复杂度完成。实验评估使用了文献中广泛引用的数据集（CIC‑IDS2017 和 UNSW‑NB15）以及在隔离实验室中执行恶意软件的受控场景。结果表明，与孤立传感器相比，在 F1-score 相对指标上有稳定提升，并且在操作噪声方面有定性降低。额外的案例研究在模拟企业环境和医院基础设施中表明，涉及 credential dumping 和 lateral movement 的攻击链检测时间有所缩短。本研究贡献了一个面向 ATT&CK 的时间相关性数学形式化、一个基于广泛采用工具的可复现架构，以及对低攻击发生率环境中入侵检测所面临统计限制的批判性分析。
- 引言
当代企业环境中的威胁检测，其特征是攻击能力与防御机制之间长期存在结构性不对称。现代对手将异构技术组合起来，在分布式攻击链中开展行动，利用应用程序中的漏洞、对合法管理工具的滥用以及复杂的规避机制。相比之下，许多防御架构仍然以孤立传感器为基础，来自不同遥测源的语义集成程度较低，且对事件之间的时间关联能力有限（MANDIANT, 2023）。
这种不对称在使用 living‑off‑the‑land 技术的攻击活动中尤为明显，在此类活动中，操作系统原生工具——如 PowerShell、Windows Management Instrumentation (WMI) 和 PsExec——被用于执行恶意操作，而无需引入易于检测的外部二进制文件。由 LOLBAS 项目维护的、在该语境下被利用的公共工具目录，展示了这一操作规避向量的广度（LOLBAS PROJECT, 2024）。
近期事件响应报告表明，尽管监控技术已被广泛采用，在某些关键行业中，对手在受侵网络中的平均驻留时间仍可达到数周或数月（MANDIANT, 2023）。这一现象部分源于遥测碎片化：妥协信号往往分散出现在网络日志、终端事件以及易失性内存工件中。
广泛记录的事件同样证实了这种碎片化。以漏洞 CVE‑2021‑44228（Log4Shell）的利用为例，攻击载荷可以通过看似无害的请求注入，且这些请求常常封装在 TLS 连接中，从而使主动利用的即时识别变得困难（NIST, 2021）。
在此背景下，MITRE ATT&CK 框架已发展为一种广泛采用的本体，用于描述对手的战术、技术与程序（TTPs）（MITRE, 2023）。然而，将该模型纳入 SIEM 和 EDR 平台时，往往仍局限于描述性仪表板或静态事件分类。缺乏概率建模和显式时间表示，削弱了 ATT&CK 作为攻击链推断工具的分析潜力。
基于上述背景，我们研究以下问题：如何将来自网络、终端和内存的异构遥测在时间上保持一致并在语义上与 MITRE ATT&CK 对齐，从而减少误报并提升检测时间。
我们提出了三个研究问题：
- RQ1：多层事件之间的概率时间关联，相比孤立传感器是否能提高检测率？
- RQ2：显式纳入 ATT&CK 模型是否能在关联过程中降低语义歧义？
- RQ3：这种方法对 MTTD（Mean Time to Detect）和 MTTR（Mean Time to Respond）等运营指标有何定性影响？
我们的贡献包括：基于时间图的关联模型的数学形式化；使用业界广泛采用的工具实现可复现架构；以及对低攻击基率环境中入侵检测所固有统计局限性的批判性分析。
- 背景与相关工作
2.1 检测系统范式
入侵检测系统可按不同的方法论范式进行分类。历史上，基于签名的方法主导了恶意流量检测，并被实现于 Snort 和 Suricata 等系统中（ROESCH, 1999; OISF, 2023）。这些系统通过在网络数据包中匹配已知模式进行工作。
相比之下，基于异常的方法试图对系统的正常行为进行建模，并检测统计偏离。基于监督学习的方法——包括 Support Vector Machines、Random Forest 和深度神经网络——在这一语境中得到了广泛研究。
然而，Sommer 和 Paxson（2010）指出，将机器学习应用于安全环境存在特定挑战，包括分布漂移、标注数据稀缺以及对手的自适应行为。Axelsson（2000）从形式上证明，真实环境中攻击的低基率会使即便灵敏度很高的系统也变得不切实际，这一现象被称为基率谬误。
2.2 多传感器集成
多种证据来源之间的关联被认为是数字取证分析和入侵检测的关键组成部分（GARFINKEL, 2010）。诸如 Bro——后更名为 Zeek——的系统，引入了协议语义分析作为提取更丰富网络流量上下文的机制（PAXSON, 1999）。
尽管取得了这些进展，文献与实际运营中仍存在空白。特别是，在统一推理机制中，关于易失性内存遥测、终端事件和网络日志之间的系统性整合仍然有限。
表 1 总结了现代检测架构中广泛使用的传感器的比较特征。
| 传感器 | 层 | 遥测类型 | 工具示例 |
|---|---|---|---|
| 网络 | 流量与协议 | 数据包、流、元数据 | Suricata, Zeek |
| 终端 | 系统事件 | 进程、registry、模块 | Sysmon |
| 内存 | 易失性工件 | 内核与进程结构 | Volatility 3 |
| 语义规则 | 指标与模式 | 行为签名 | Sigma, YARA |
我们观察到，每个传感器都只能捕获系统活动的一个部分投影。整合这些视角构成了安全工程中的核心问题。
2.3 安全可观测性与现代遥测
安全可观测性架构的近期演进包括在 Linux 系统中使用 eBPF 对内核事件进行仪器化，以及诸如 Falco 之类的实时检测平台（CNCF, 2023）。在云环境中，CNAPP（Cloud‑Native Application Protection Platforms）架构将基础设施、容器和工作负载的遥测整合为统一的安全模型（GARTNER, 2023）。
这些趋势进一步强化了构建能够整合分布式多源遥测的关联机制之必要性。
- 威胁模型与形式化
3.1 对手能力类别
我们将对手建模为概率实体 $\mathcal{A}$，其能力被结构化为以下类别：
- $\mathcal{C}_1$：远程漏洞利用（RCE）
- $\mathcal{C}_2$：后利用执行与持久化
- $\mathcal{C}_3$：通过进程注入或混淆实现规避
- $\mathcal{C}_4$：经认证的横向移动
- $\mathcal{C}_5$：隐蔽数据外传
我们假设 $\mathcal{A}$ 试图在将检测概率维持在阈值 $\epsilon$ 以下的同时最大化影响。
3.2 形式化定义
我们将一个可观测事件定义为：
$e = (t, s, a, \tau)$
其中 $t$ 表示时间戳，$s$ 标识来源传感器，$a$ 对应事件属性向量，$\tau$ 表示关联的 ATT&CK 技术。
令 $E = {e_1, e_2, …, e_n}$ 为在某个时间窗口内观测到的事件集合。
我们定义一个加权时间图 $G = (V,E’)$，其中 $V = E$，并且当满足以下条件时，边 $(e_i,e_j)$ 存在：
$$ 0 < t_j - t_i \le \Delta t \land \phi(\tau_i,\tau_j)=1 $$
函数 $\phi$ 根据 ATT&CK 模型中可行的状态转移，定义技术之间的语义兼容性。
3.3 条件风险函数
图所关联的风险评分定义为：
$$ R(G)=\sum_{v\in V} w(v) \cdot P(\tau_v|contexto) + \sum_{(u,v)\in E’} \gamma_{uv} $$
其中 $w(v)$ 表示事件权重，$\gamma_{uv}$ 表示与技术之间转移相关的权重。
3.4 作为检测博弈的形式化
我们将检测决策建模为防御系统与自然之间的统计博弈。
自然选择状态 $H_0$（良性行为）或 $H_1$（受侵）。检测器基于 $R(G)$ 的值应用策略 $\pi$。
损失函数定义为：
$$ L = \alpha \cdot FP + \beta \cdot FN $$
其中 $FP$ 表示误报，$FN$ 表示漏报。
在部分条件独立假设以及 $P(\tau|contexto)$ 的一致估计量下，当 $n \rightarrow \infty$ 时，风险估计量以概率收敛于 Bayes 最优风险。
- 所提方法
4.1 总体架构
所提架构组织为一个分布式流水线，包含以下阶段：
- 分布式遥测采集
- 按 Elastic Common Schema 标准化
- 通过 Apache Kafka 进行弹性摄取
- 时间索引
- 增量式图构建
- 风险函数评估
- 生成上下文化告警
4.2 计算复杂度
我们使用按时间戳索引的平衡数据结构，以维持事件的时间顺序。
该过程的计算复杂度为：
- 事件插入：$O(\log n)$
- 时间窗口 $\Delta t$ 查询：$O(\log n + k)$
- 图构建：$O(n \log n)$
这一特性使该方法适用于高事件量环境。
- 实现
5.1 所用组件
参考实现使用业界广泛采用的工具：
- Suricata 7.x 用于流量检测
- Sysmon 15 用于终端遥测
- Volatility 3 用于内存分析
- Sigma 用于可移植检测规则
- YARA 用于恶意工件识别
- Elastic Stack 用于索引与搜索
- Apache Kafka 用于弹性摄取
YARA 规则示例
rule Mimikatz_Strings
{
strings:
$s1 = "sekurlsa::logonpasswords"
condition:
$s1
}
Suricata 规则示例
alert tcp any any -> any 445 (msg:"Possible SMB lateral movement"; flow:established; sid:100001;)
5.2 运行考虑
为确保时间一致性与遥测完整性，我们建议：
- 传感器之间进行 NTP 同步
- 使用加密传输日志
- 对关键传感器进行网络分段
- 为调查保留足够的日志
- 实验评估
6.1 数据集
我们使用了文献中广泛引用的两个数据集：
- CIC‑IDS2017 (SHARAFALDIN; HABIBI LASHKARI; GHORBANI, 2018)
- UNSW‑NB15 (MOUSTAFA; SLAY, 2015)
我们以受隔离实验室中的恶意软件执行受控场景对这些数据进行了补充。
6.2 指标
评估采用入侵检测中的标准指标：
- Precision
- Recall
- F1‑score
- 相对检测时间
6.3 比较结果
| 方法 | Precision | Recall | F1 |
|---|---|---|---|
| 孤立传感器（网络） | 中 | 中 | 中 |
| 孤立传感器（终端） | 中 | 中 | 中 |
| 所提关联方法 | 高 | 高 | 高 |
结果表明，与孤立传感器相比，该方法在 F1‑score 上持续改进，并减少了冗余告警数量。
我们应用了分层交叉验证和 Wilcoxon 检验进行统计比较，观察到显著差异，$p < 0.05$。
- 案例研究
7.1 企业环境
我们模拟了一条攻击链，涉及初始利用、安装 webshell、命令与控制信标，以及从 LSASS 内存中提取凭据。
时间关联使我们能够从分散于网络日志、终端和内存工件中的事件中重建完整的入侵进程。
7.2 医疗环境
在一个模拟的医疗基础设施场景中，我们建模了一系列流程：钓鱼攻击、随后执行混淆的 PowerShell，以及通过 HTTPS 的外传尝试。
代理、Sysmon 和 Suricata 遥测的整合使我们能够识别对应于 ATT&CK 技术 T1041（通过 C2 通道外传）的 TTP 链。
响应流程包括网络隔离、内存获取以及按照数字采集指南对证据进行保全（FARMER; VENEMA, 2004）。
- 讨论
所提架构的主要贡献在于，在关联过程中引入了语义约束。通过根据 ATT&CK 模型限制事件之间可行的转移，我们显著减少了伪事件组合的出现。
然而，仍存在一些局限性。该模型依赖于可观测事件与 ATT&CK 技术之间映射的质量，而这一过程可能引入语义不确定性。此外，事件量极高的环境可能需要额外的采样或聚合策略。
尽管存在这些局限，该方法在可解释性以及与事件响应操作实践的一致性方面具有重要优势。
- 结论
我们提出了一种基于面向 MITRE ATT&CK 框架的概率时间关联的多层混合检测架构。我们证明了来自网络、终端和内存的遥测在语义与时间上的集成可以提升检测质量并减少运营噪声。
实验结果和案例研究表明，基于时间图的方法是复杂企业环境中检测系统的一条有前景的发展方向。
未来研究方向包括：与 Graph Neural Networks 集成以在动态图中进行结构推理；应用形式化验证技术以验证检测策略；以及在大规模生产环境中进行长期评估。
References
AXELSSON, Stefan. The base-rate fallacy and the difficulty of intrusion detection. ACM Transactions on Information and System Security, v. 3, n. 3, p. 186–205, 2000. Available at: https://doi.org/10.1145/357830.357849
CNCF. Falco: Cloud Native Runtime Security. 2023. Available at: https://falco.org
FARMER, Dan; VENEMA, Wietse. Forensic Discovery. Boston: Addison‑Wesley, 2004. Available at: https://www.oreilly.com/library/view/forensic-discovery/020163497X/
GARFINKEL, Simson. Digital forensics research: The next 10 years. Digital Investigation, v. 7, p. S64–S73, 2010. Available at: https://doi.org/10.1016/j.diin.2010.05.009
GARTNER. Innovation Insight for Cloud-Native Application Protection Platforms (CNAPP). 2023. Available at: https://www.gartner.com
LOLBAS PROJECT. Living Off The Land Binaries and Scripts. 2024. Available at: https://lolbas-project.github.io
MANDIANT. M‑Trends 2023: Special Report. 2023. Available at: https://www.mandiant.com/resources/m-trends
MITRE. ATT&CK Framework. 2023. Available at: https://attack.mitre.org
MOUSTAFA, Nour; SLAY, Jill. UNSW‑NB15: a comprehensive data set for network intrusion detection systems. Military Communications and Information Systems Conference, 2015. Available at: https://doi.org/10.1109/MilCIS.2015.7348942
NIST. National Vulnerability Database: CVE‑2021‑44228. 2021. Available at: https://nvd.nist.gov/vuln/detail/CVE-2021-44228
NIST. Guide to Intrusion Detection and Prevention Systems (SP 800‑94). 2012. Available at: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-94.pdf
NIST. Computer Security Incident Handling Guide (SP 800‑61r2). 2012. Available at: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-61r2.pdf
OISF. Suricata 7 Documentation. 2023. Available at: https://docs.suricata.io
PAXSON, Vern. Bro: A system for detecting network intruders in real-time. Computer Networks, v. 31, n. 23–24, p. 2435–2463, 1999. Available at: https://doi.org/10.1016/S1389-1286(99)00112-7
ROESCH, Martin. Snort: Lightweight intrusion detection for networks. Proceedings of LISA, 1999. Available at: https://www.usenix.org/conference/lisa99/snort-lightweight-intrusion-detection-networks
SHARAFALDIN, Iman; HABIBI LASHKARI, Arash; GHORBANI, Ali. Toward generating a new intrusion detection dataset. ICISSP, 2018. Available at: https://doi.org/10.5220/0006639801080116
SIGMA HQ. Sigma: Generic Signature Format for SIEM Systems. 2024. Available at: https://sigmahq.io
SOMMER, Robin; PAXSON, Vern. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25
VOLATILITY FOUNDATION. Volatility 3 Framework Documentation. 2023. Available at: https://volatility3.readthedocs.io
MICROSOFT. Sysmon Documentation. 2024. Available at: https://learn.microsoft.com/sysinternals/downloads/sysmon
ELASTIC. Elastic Common Schema (ECS) Reference. 2024. Available at: https://www.elastic.co/guide/en/ecs/current
APACHE SOFTWARE FOUNDATION. Apache Kafka Documentation. 2024. Available at: https://kafka.apache.org/documentation
HOILAND-JORGENSEN, Toke et al. The eBPF ecosystem: High-performance kernel networking. Communications of the ACM, 2021. Available at: https://doi.org/10.1145/3472680
MITRE ENGNUITY. ATT&CK Evaluations Methodology. 2023. Available at: https://attackevals.mitre-engenuity.org
CISA. Secure by Design: Shifting the Balance of Cybersecurity Risk. 2023. Available at: https://www.cisa.gov/securebydesign