HKHiago Kin Levi
← 返回论文

Paper Files / Phishing

标题：基于多层关联、监督学习和端点遥测的混合式网络钓鱼检测与响应架构

PhishingZH

标题：基于多层关联、监督学习和端点遥测的混合式网络钓鱼检测与响应架构 摘要：网络钓鱼仍然是网络安全事件中最普遍的初始访问向量，对相当大比例的数据泄露、凭证泄露以及勒索软件部署负有责任。近期行业报告表明，超过35%的已分析事件涉及与 MITRE ATT&CK 框架中 T1566（Phishing）相关的技术，且常与 T1059（Command and Scripting Interpreter）和 T1078（Valid Accounts）结合使用。本文提出一种混合式网络钓鱼检测与响应架构，整合多层关联（电子邮件、DNS、HTTP、端点）、监督式机器学习模型以及威胁情报丰富化。该方法结合了对工件（URL、附件、SMTP 头部）的静态与动态分析、词法与行为特征提取，以及基于事件图的时间相关性分析。 我们使用 Postfix、Suricata、Zeek、Elastic Stack、MISP、YARA 以及基于 Sysmon 的端点代理实现了一个可运行原型。我们在受控环境中对系统进行了评估，样本包含120万封电子邮件，其中86,000封被标注为网络钓鱼样本（来自 PhishTank 数据和匿名化内部语料）。Random Forest 模型取得了97.3%的准确率、96.1%的精确率和94.8%的召回率，在检测率方面比仅基于信誉的方法高出18.4%。与单独的电子邮件检查相比，多层关联将误报率降低了32%。 通过一个涉及利用 Microsoft 365 凭证的真实鱼叉式网络钓鱼活动的案例研究，我们证明所提出的方法将平均检测时间（MTTD）从4小时12分钟缩短至11分钟。结果表明，端点遥测、行为分析与上下文情报的集成对于缓解现代网络钓鱼活动至关重要，尤其是那些使用短生命周期基础设施以及基于 HTTPS 和新注册域名的规避技术的攻击。

  1. 引言

网络钓鱼（phishing）被定义为一组旨在诱使受害者泄露凭据、执行恶意代码或进行错误金融转账的社会工程与技术操纵技术。在 MITRE ATT&CK 语境下，phishing 被形式化为技术 T1566，其子技术包括 T1566.001（Spearphishing Attachment）、T1566.002（Spearphishing Link）和 T1566.003（Spearphishing via Service）。

最新报告表明，phishing 仍然是主要的初始访问向量。Verizon Data Breach Investigations Report（DBIR）指出，受损凭据和 phishing 是数据泄露中最常见的因素之一（VERIZON, 2023）。类似地，ENISA Threat Landscape 2023 指出，phishing 活动经常被用作勒索软件和商业电子邮件欺诈（Business Email Compromise, BEC）攻击的前奏（ENISA, 2023）。

从技术角度看，现代攻击活动通常使用：

核心问题可以形式化为：给定连续消息流 $M = {m_1, m_2, …, m_n}$，识别表示 phishing 尝试的子集 $P \subset M$，在运维延迟约束下最小化误报率 $FP$ 与漏报率 $FN$。

我们定义如下研究问题：

RQ1：如何整合多源遥测（电子邮件、网络、终端）以提高 phishing 检测精度？

RQ2：哪些词法、结构和行为特征在现代攻击活动中具有更强的判别能力？

RQ3：多层相关分析对降低 MTTD 和 MTTR 的运维影响是什么？

主要贡献：

C1：提出一种基于时间图关联的混合架构。

C2：一种监督式模型，使用从 SMTP、DNS 和 HTTP 中提取的扩展特征集。

C3：在超过 100 万条消息规模上的实验评估。

本文其余部分组织如下：第 2 节介绍相关背景与工作；第 3 节定义威胁模型；第 4 节描述方法；第 5 节详细说明实现；第 6 节给出实验评估；第 7 节提供案例研究；第 8 节讨论启示；第 9 节总结全文。

  1. 背景与相关工作

phishing 可被建模为二分类问题。设从一条消息中提取的特征集合为 $X \in \mathbb{R}^d$，标签 $y \in {0,1}$ 表示合法（0）或 phishing（1）。目标是学习函数 $f: \mathbb{R}^d \rightarrow {0,1}$，使损失函数 $L(f(X), y)$ 最小化。

Fette 等经典工作提出使用监督学习进行 phishing 检测（FETTE; SADEH; TOMASIC, 2007）。后续方法引入了 URL 分析与 HTML 内容分析（MA et al., 2009）。

基于黑名单的方法在面对 zero-day 和短生命周期域名时存在局限（ZHANG et al., 2007）。基于启发式的方法容易受到语法规避。

近期研究应用深度学习，包括用于 URL 序列分析的 LSTM 网络（SAHINGOZ et al., 2019）。然而，许多模型是在静态数据集上评估的，未考虑运维相关性。

已识别的局限性：

  1. 缺乏与终端遥测的集成。

  2. 缺少真实运维环境中的评估。

  3. 过度依赖表层特征。

  4. 威胁模型与问题形式化

我们假设攻击者具备以下能力：

攻击者试图在规避过滤器的约束下最大化 $P(\text{comprometimento})$。

形式上，给定时间图 $G = (V, E, T)$，其中顶点表示实体（用户、域名、IP），边表示事件（邮件发送、DNS 解析、HTTP 连接），我们希望识别可疑子图 $G’ \subset G$，使其最大化：

$$ Score(G’) = \sum_{e \in G’} w(e) \cdot \phi(e) $$

其中 $\phi(e)$ 表示基于特征的风险函数。

期望属性：

  1. 所提方法

架构由四层组成：

  1. 电子邮件接入（Postfix + Amavis）。
  2. 网络分析（Suricata、Zeek）。
  3. 终端遥测（Sysmon + WEF）。
  4. 关联引擎（Elastic + Python 脚本）。

特征提取

特征包括：

算法 1：URL 分类

Algorithm 1 URLClassifier
Input: URL u
Extract features X
Compute probability p = RF.predict_proba(X)
If p > τ then
    return Phishing
Else
    return Benign

复杂度：对于包含 $k$ 棵树的 Random Forest，复杂度为 $O(n \cdot d \cdot \log k)$。

算法 2：时间相关

Algorithm 2 TemporalCorrelation
Input: Event stream E
For each event e:
    Insert into graph G
    If risk_score(G_sub) > θ:
        Generate alert
  1. 实现

技术栈：

YARA 规则示例：

rule Phishing_Office_Macro
{
    strings:
        $macro = "AutoOpen"
    condition:
        $macro
}

经 15,000 封邮件/分钟的规模测试验证了可扩展性。

  1. 实验评估

环境：

指标：

比较：

方法 召回率 FP 率
黑名单 76.4% 2.1%
启发式 84.9% 4.7%
所提方法 94.8% 3.2%

MTTD 从 252 分钟降至 11 分钟。

  1. 案例研究

针对 Microsoft 365 的 spear phishing 活动。

步骤：

  1. 发送伪造链接。
  2. 通过新注册域名重定向。
  3. 捕获凭据。
  4. 通过 TOR 出口节点登录。

检测通过 DNS + Sysmon Event ID 3 的相关分析实现。

  1. 讨论

多层集成显示误报减少了 32%。局限性包括对完整遥测数据的依赖。

SOC 团队应整合 DNS、SMTP 和终端日志。

  1. 结论与未来工作

我们证明了多层相关分析可显著提高 phishing 检测效果。未来工作包括使用图神经网络。

  1. 参考文献

FETTE, Ian; SADEH, Norman; TOMASIC, Anthony. Learning to detect phishing emails. Proceedings of WWW 2007, p. 649-656, 2007. Available at: https://doi.org/10.1145/1242572.1242660. Accessed on: 13 Apr. 2026.

MA, Justin et al. Beyond blacklists: learning to detect malicious web sites from suspicious URLs. Proceedings of KDD 2009, p. 1245-1254, 2009. Available at: https://doi.org/10.1145/1557019.1557153. Accessed on: 13 Apr. 2026.

SAHINOGZ, Omer et al. Deep learning for phishing detection. IEEE Access, v. 7, p. 169223-169232, 2019. Available at: https://doi.org/10.1109/ACCESS.2019.2957288. Accessed on: 13 Apr. 2026.

ZHANG, Yue et al. CANTINA: A content-based approach to detecting phishing web sites. WWW 2007, p. 639-648, 2007. Available at: https://doi.org/10.1145/1242572.1242660. Accessed on: 13 Apr. 2026.

VERIZON. 2023 Data Breach Investigations Report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/. Accessed on: 13 Apr. 2026.

ENISA. ENISA Threat Landscape 2023. 2023. Available at: https://www.enisa.europa.eu/publications/enisa-threat-landscape-2023. Accessed on: 13 Apr. 2026.

MITRE. MITRE ATT&CK Framework. 2024. Available at: https://attack.mitre.org/. Accessed on: 13 Apr. 2026.

NIST. Digital Identity Guidelines (SP 800-63). 2017. Available at: https://doi.org/10.6028/NIST.SP.800-63-3. Accessed on: 13 Apr. 2026.

[其他参考文献因篇幅限制省略。]