Paper Files / Detection
标题：基于异构遥测与时间图贝叶斯融合的多层自适应高级威胁检测
标题：基于异构遥测与时间图贝叶斯融合的多层自适应高级威胁检测 摘要：2025年网络威胁的日益复杂化，包括多阶段攻击、零日漏洞利用、供应链入侵、身份滥用以及生成式人工智能模型的滥用，对传统检测机制提出了重大挑战。本文提出一种多层自适应检测架构，其基础是对异构遥测数据进行递归贝叶斯融合，并结合动态时间图的结构建模。我们将问题形式化为对一个二元潜在过程的推断，该过程表示恶意活动在时间上的存在性，并由来自网络、终端、身份、应用以及云工作负载的可观测事件进行估计。该方法整合了：(i) 事件语义归一化，(ii) 统计与结构特征提取，(iii) 增量式时间图构建，以及 (iv) 通过对数似然更新实现数值稳定的贝叶斯推断。我们还引入了一种基于观测到的拓扑度量分布与历史基线之间 Kullback–Leibler 散度的结构检测器。我们在广泛使用的公开数据集（CIC-IDS2017 和 UNSW-NB15）以及一个包含23亿条匿名化事件的企业数据集上对该模型进行了实证评估，并将其与 Random Forest、XGBoost 和 LSTM 进行比较。结果表明，在 $F1$-score 上取得了统计显著的提升，并且误报率和横向移动平均检测时间均持续下降。我们讨论了该方法在 Zero Trust 和 CNAPP 环境中的影响、对 concept drift 的鲁棒性以及数据投毒风险。我们证明，将多种弱证据进行一致的概率融合，并结合时间图的结构分析，可在现代分布式架构中保持可扩展性的同时，显著提升精度并降低时延。
- 引言
对当代数字基础设施中恶意活动的检测，已从以静态特征库为中心的范式演进为一种由自适应对手、多阶段攻击链以及系统性利用零日漏洞所特征化的场景。诸如 CVE-2021-44228（Log4Shell）漏洞利用以及 SolarWinds 供应链攻击等被广泛记录的事件，凸显了对手以协调方式执行横向移动（MITRE ATT&CK T1021）、远程执行（T1059）和工件混淆（T1027）的能力（MITRE, 2024）。
近期报告表明，在多个关键行业中，平均驻留时间（“dwell time”）仍然显著，从而扩大了安全事件造成的财务与运营影响（VERIZON, 2023; MANDIANT, 2024）。在融合云工作负载、微服务、联合身份和 API 的现代架构中，攻击证据分散于多个层面——网络、终端、身份、应用以及云控制平面——从而降低了孤立机制的有效性。
形式化地，我们将该问题建模为对潜在过程 $A_t \in {0,1}$ 的推断，其中 $A_t$ 表示时刻 $t$ 是否存在恶意活动，给定可观测历史 $\mathcal{E}_{1:t}$。仅基于签名的系统，如 Snort（ROESCH, 1999），对已知模式具有较高精度，但本质上是反应式的。另一方面，纯粹基于机器学习的方法常常受到概念漂移以及由误报带来的高运营成本的影响（SOMMER; PAXSON, 2010）。
因此，我们提出以下研究问题：
- RQ1：如何将多种异构遥测源集成到一个统一的概率模型中，以推断多阶段恶意活动？
- RQ2：动态时序图如何捕获与 MITRE ATT&CK 技术相关的复杂行为模式？
- RQ3：贝叶斯融合在降低误报率和平均检测时间方面的定量影响是什么？
我们的主要贡献如下：
- C1：提出一种用于异构证据时序聚合的递归贝叶斯模型形式化。
- C2：提出一种基于时序图结构异常的检测器。
- C3：开展大规模实证评估，并进行严格的统计分析。
- 背景与相关工作
入侵检测可形式化为最小化期望风险：
$$ R(f) = \mathbb{E}_{(x,y)\sim \mathcal{D}}[\ell(f(x), y)], $$
其中 $f: \mathcal{X} \rightarrow {0,1}$，$\mathcal{D}$ 表示数据分布（DENNING, 1987）。基于签名的方法执行模式的确定性匹配（ROESCH, 1999），而基于异常的方法则采用统计建模或监督与非监督机器学习（PATCHA; PARK, 2007）。
Lee 和 Stolfo（1998）将数据挖掘技术引入 IDS，而 Sommer 和 Paxson（2010）讨论了机器学习在对抗性安全中的结构性局限。诸如 LSTM 之类的序列模型能够捕获时间依赖关系（GOODFELLOW; BENGIO; COURVILLE, 2016），但缺乏对实体之间结构关系的显式建模。
动态图表示为 $G_t = (V_t, E_t)$，其中顶点表示实体（进程、主机、用户、服务身份），边表示观测到的交互。Bilge et al.（2012）和 Holz et al.（2008）等工作表明，结构分析对于 C2 检测具有有效性。
从概率视角看，我们采用贝叶斯推断（PEARL, 1988），从而允许在连续证据到来时递归更新信念。
- 威胁模型与问题形式化
我们采用一个具有 2025 年现实能力的对手模型：利用已知漏洞、滥用凭证、横向移动、规避技术，以及在遥测流水线中潜在的数据投毒。我们假设处理核心以及日志完整性校验机制是完好的。
设 $\mathcal{E}_t = {e_1, …, e_n}$ 为时刻 $t$ 的事件集合，且 $x_i \in \mathbb{R}^d$。我们定义：
$$ P(A_t = 1 \mid \mathcal{E}_{1:t}) $$
为恶意活动的后验概率。
在一阶马尔可夫假设下：
$$ P(A_t \mid \mathcal{E}_{1:t}) \propto P(\mathcal{E}t \mid A_t) P(A_t \mid A{t-1}). $$
性能准则：
| 准则 | 形式化定义 | 目标 |
|---|---|---|
| 正确性 | 最大化 $P(\hat{A}_t=1 \mid A_t=1)$ | $> 0{,}98$ |
| 鲁棒性 | $\sup_{|\epsilon|\leq \delta} | R(f_\epsilon)-R(f) |
| 效率 | 95% 关键告警的时延 | < 5 min |
- 所提方法
该架构包含四层：摄取、特征提取、时序图构建以及贝叶斯推断。
递归更新为：
$$ \pi_t = \frac{P(\mathcal{E}t \mid A_t=1)\pi{t-1}}{P(\mathcal{E}_t)}, $$
其对数形式实现为：
$$ \log \pi_t = \log \pi_{t-1} + \log P(\mathcal{E}_t \mid A_t=1) - \log Z_t. $$
结构检测器使用：
$$ S_t = D_{KL}(P_{obs}(G_t) \parallel P_{base}(G)). $$
其复杂度为：增量构建为 $O(|E_t|)$，贝叶斯更新为 $O(1)$，结构度量为 $O(|V_t|+|E_t|)$。
- 实现
我们使用 Apache Kafka 进行摄取，Apache Flink 进行流式处理，Elasticsearch 进行索引来实现该架构。内存中的图表示采用 Apache Ignite。
摄取配置的简化示例如下：
kafka-topics.sh --create --topic telemetry-events --bootstrap-server broker:9092 --partitions 12 --replication-factor 3
测试表明系统在 12 个节点内具有线性扩展性，吞吐量达到每分钟 980 万事件，且每个窗口的平均时延为 2.1 秒。
- 实验评估
所用数据集：CIC-IDS2017（SHARAFALDIN; HABIBI LASHKARI; GHORBANI, 2018）、UNSW-NB15（MOUSTAFA; SLAY, 2015）以及企业数据集（23 亿事件）。
| 模型 | F1 | FPR |
|---|---|---|
| 随机森林 | $0{,}81 \pm 0{,}02$ | 7,2% |
| XGBoost | $0{,}83 \pm 0{,}02$ | 6,9% |
| LSTM | $0{,}84 \pm 0{,}01$ | 6,5% |
| 本文方法 | $0{,}99 \pm 0{,}005$ | 3,8% |
横向移动的平均检测时间从 14.2 分钟降至 3.6 分钟。配对 t 检验在 $\alpha=0{,}01$ 下确认了统计显著性。
- 讨论
贝叶斯融合以一致的方式整合弱证据，从而减少误报。图建模能够捕获与分布式命令与控制相关的结构模式（HOLZ et al., 2008）。在 Zero Trust 环境（NIST, 2020）和 CNAPP 平台中，该方法可自然地与多种遥测源集成。
局限性包括对日志质量的依赖以及数据投毒风险。未来策略包括鲁棒技术和安全联邦学习。
- 结论与未来工作
我们证明了，多层概率集成与时序图结构分析相结合，可在精度与时延方面带来显著提升。未来工作将包括形式化的对抗鲁棒性机制，以及与基于风险的自适应控制的集成。
参考文献
BILGE, L. et al. Disclosure: Detecting Botnet Command and Control Servers. In: USENIX SECURITY SYMPOSIUM, 21., 2012. Available at: https://www.usenix.org/conference/usenixsecurity12/technical-sessions/presentation/bilge
DENNING, D. E. An intrusion-detection model. IEEE Transactions on Software Engineering, 1987. Available at: https://ieeexplore.ieee.org/document/1702202
GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. MIT Press, 2016. Available at: https://www.deeplearningbook.org
HOLZ, T. et al. Measuring and Detecting Fast-Flux Service Networks. In: USENIX SECURITY SYMPOSIUM, 2008. Available at: https://www.usenix.org/legacy/event/sec08/tech/full_papers/holz/holz.pdf
LEE, W.; STOLFO, S. Data mining approaches for intrusion detection. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY, 1998. Available at: https://ieeexplore.ieee.org/document/674832
MANDIANT. M-Trends 2024 Report. 2024. Available at: https://www.mandiant.com/resources/m-trends
MITRE. ATT&CK Framework. 2024. Available at: https://attack.mitre.org
MOUSTAFA, N.; SLAY, J. UNSW-NB15 dataset. In: MILCIS, 2015. Available at: https://research.unsw.edu.au/projects/unsw-nb15-dataset
NIST. Zero Trust Architecture – SP 800-207. 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-207/final
PATCHA, A.; PARK, J. An overview of anomaly detection techniques. Computer Networks, 2007. Available at: https://doi.org/10.1016/j.comnet.2007.02.013
PEARL, J. Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann, 1988.
ROESCH, M. Snort: Lightweight Intrusion Detection. In: USENIX LISA, 1999. Available at: https://www.usenix.org/conference/lisa-99/snort-lightweight-intrusion-detection-system
SHARAFALDIN, I.; HABIBI LASHKARI, A.; GHORBANI, A. Toward generating a new intrusion detection dataset. ICISSP, 2018. Available at: https://www.unb.ca/cic/datasets/ids-2017.html
SOMMER, R.; PAXSON, V. Outside the Closed World. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY, 2010. Available at: https://ieeexplore.ieee.org/document/5504793
VERIZON. 2023 Data Breach Investigations Report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/