Paper Files / Phishing
标题:一种用于多渠道钓鱼检测与缓解的自适应混合架构:结合形式化威胁建模、对抗鲁棒性与自监督学习
标题:一种用于多渠道钓鱼检测与缓解的自适应混合架构:结合形式化威胁建模、对抗鲁棒性与自监督学习 摘要:截至2025年,钓鱼攻击仍然是现代攻击链中最主要的初始 प्रवेश向量,且已演变为融合电子邮件、SMS(smishing)、语音(vishing)、即时通讯以及基于生成式AI平台的多渠道攻击活动。Verizon 和 APWG 最近的报告表明,这类活动在数量和复杂性上持续增长,包括使用新注册域名、Unicode 同形异义域名以及短生命周期基础设施。本文提出一种用于多渠道钓鱼检测与缓解的自适应混合架构,其基础为形式化威胁建模、自监督学习,以及结合基于 Transformer 的语义表示的 URL 结构分析。我们将该问题形式化为严重类别不平衡条件下的二分类,并引入针对语义保持型扰动的对抗鲁棒性的显式定义,以及对抗场景下的操作性性能度量。该架构集成三个模块:(i) 带有同形异义字符检测和时间信号分析的 URL 结构分析器;(ii) 基于 BERTimbau 的上下文语义编码器;以及 (iii) 通过重构训练的自监督异常检测器。我们在一个来自 OpenPhish、PhishTank 和 Enron 的 320 万条消息的数据集上评估了该系统,采用 5 折分层交叉验证。结果显示,F1-score 达到 98.6%,AUC 达到 0.997;在同形异义字符攻击下性能退化仅为 3.1%,优于经典基线和卷积网络。我们证明了误报率降低 37%,这对于符合 NIST 指南的 SOC 运行至关重要。我们还讨论了其对 CNAPP 的影响、与 Kubernetes 管道的集成,以及与 WHOIS 和语言偏差相关的局限性。结论是,结构分析、语义建模与自监督检测之间的形式化集成,为 2025 年的威胁生态系统提供了一种鲁棒且在操作上可行的方法。
- 引言
正如 Data Breach Investigations Report 所反复记录的那样,网络钓鱼已确立为现代攻击链中主要的初始访问向量(VERIZON, 2023; VERIZON, 2024)。MITRE ATT&CK 框架中的 T1566(Phishing)技术持续与勒索软件活动、凭证泄露以及对云环境的入侵相关联(MITRE, 2024)。Anti-Phishing Working Group 的报告表明,攻击活动数量持续增长,恶意域名,尤其是新注册域名,具有很高的轮换频率(APWG, 2024)。
近期案例说明了这些活动的混合性质。Microsoft Outlook 中的 CVE-2023-23397 漏洞允许通过特制消息泄露 NTLM 哈希,体现了社会工程与技术利用之间的交叉。将网络钓鱼与随后对 CVE-2021-44228(Log4Shell)的利用相结合的活动表明,网络钓鱼往往作为复杂利用链的启动机制。
当代网络钓鱼的特征包括:(i) 大量使用新注册域名;(ii) Unicode 同形异义字符(homograph)滥用;(iii) URL 缩短器和多重重定向;(iv) phishing-as-a-service 套件;(v) 在生成式 AI 支持下的上下文个性化;以及 (vi) 融合电子邮件、短信和协作平台的多渠道攻击(NETCRAFT, 2024; OWASP, 2023)。传统黑名单,如 Google Safe Browsing,在面对短暂存在的基础设施时,存在更新延迟和覆盖有限的问题(GOOGLE, 2024)。
我们提出以下研究问题:
RQ1: 如何将 URL 的形式化结构分析与上下文语义建模相结合,以增强对多态规避的鲁棒性?
RQ2: 在高度失衡的场景下,是否能够在不牺牲召回率的前提下显著降低误报率?
RQ3: 如何形式化多渠道网络钓鱼领域中特定的对抗鲁棒性性质?
我们的贡献如下:
C1: 我们提出一种混合架构,结合词汇-结构分析、上下文变换器和自监督检测。
C2: 我们形式化了显式对抗模型,并定义了在语义保持扰动下的操作鲁棒性度量。
C3: 我们展示了在面对 Unicode 同形异义字符攻击时,性能与鲁棒性均具有统计显著提升。
- 背景与相关工作
2.1 形式化定义
设 $\mathcal{X}$ 为数字消息空间,包括表示文本、URL 和上下文元数据的元组 $(t, u, m)$。我们将网络钓鱼定义为二分类问题中的类别 $y=1$,其中 $y \in {0,1}$。
给定训练集 $D = {(x_i, y_i)}{i=1}^{n}$,我们希望学习 $h\theta: \mathcal{X} \rightarrow [0,1]$,使其最小化期望风险:
$$ R(\theta) = \mathbb{E}{(x,y)\sim \mathcal{P}}[\ell(h\theta(x), y)] $$
其中 $\ell$ 为交叉熵损失,$\mathcal{P}$ 为潜在分布。
在严重失衡条件下,我们考虑加权风险:
$$ R_w(\theta) = \mathbb{E}[\alpha_y \ell(h_\theta(x), y)] $$
其中 $\alpha_y \propto 1/\Pr(y)$。
2.2 方法分类
文献可分为四条主要路线:
| 类别 | 示例 | 主要局限 |
|---|---|---|
| 黑名单 | (WHITTAKER et al., 2010) | 时延与覆盖率 |
| 词汇启发式方法 | (GARERA et al., 2007) | 泛化能力弱 |
| 传统机器学习 | (MA et al., 2009) | 易受规避影响 |
| 深度学习 | (SAHINGOZ et al., 2019) | 计算成本高 |
Marchal et al. (2014) 探索了时间信号,而 Thomas et al. (2014) 分析了全局声誉。Jain 和 Gupta (2018) 评估了视觉相似性。然而,很少有工作针对 Unicode 同形异义字符形式化对抗鲁棒性。
2.3 已识别的局限
我们观察到:(i) 对新注册域名的泛化能力有限;(ii) 对最小词汇扰动脆弱;(iii) 在企业环境中误报率较高;(iv) 与现代云架构及 CNAPP 的集成不足。
- 威胁模型与问题形式化
我们将概率对手 $\mathcal{A}$ 建模为具有以下能力:
- 自动注册域名和子域名。
- 具有有限成本的词汇扰动 $\delta$。
- 使用生成式模型自动生成文本。
- 快速轮换基础设施。
我们不假设训练流水线被攻破。
我们定义语义保持扰动集合:
$$ \Delta_\epsilon = {\delta : d_s(x, x+\delta)=0 \land ||\phi(x)-\phi(x+\delta)|| \leq \epsilon} $$
其中 $d_s$ 表示语义等价,$\phi$ 表示结构特征提取。
我们要求鲁棒性满足:
$$ \forall \delta \in \Delta_\epsilon,; h_\theta(x) = h_\theta(x+\delta) $$
我们将对抗场景 $\mathcal{S}$ 下的操作鲁棒性定义为:
$$ \mathcal{R}{op} = 1 - \frac{FP{\mathcal{S}} + FN_{\mathcal{S}}}{N} $$
复杂度分析:
- 结构提取:$O(|u|)$
- Transformer:$O(L^2)$
- 自编码器:$O(d^2)$
复杂度由 $O(L^2)$ 主导。
- 所提方法
4.1 架构
该架构集成三个模块:
- URL 结构分析器(AEU)
- 上下文语义编码器(ESC)
- 自监督异常检测器(DASA)
最终函数为:
$$ h(x) = \sigma(w_1 f_1(x) + w_2 f_2(x) + w_3 f_3(x)) $$
其中 $\sigma$ 为逻辑函数。
4.2 结构特征提取
特征包括长度、香农熵
$$ H(u) = -\sum p_i \log p_i $$
数字/字母比、域名年龄,以及通过 Unicode 规范化(IDNA2008)检测同形异义字符。
4.3 自监督学习
自编码器最小化:
$$ \mathcal{L}{AE} = ||x - g\psi(f_\phi(x))||^2 $$
当误差 $> \tau$ 时定义为异常,阈值通过验证集校准。
- 实现
我们使用 Python 3.11、PyTorch 2.x 和 Transformers 库实现。针对葡萄牙语采用 BERTimbau-base。流水线通过 Apache Kafka 和 Kubernetes 编排,并兼容 CNAPP 架构。
简化的推理示例如下:
with torch.no_grad():
url_features = aeu.extract(url)
text_embedding = esc.encode(text)
anomaly_score = dasa.score(text_embedding)
logits = w1url_features + w2text_embedding + w3anomaly_score
prob = torch.sigmoid(logits)
Redis 用于 WHOIS 和 DNS 查询缓存。
- 实验评估
6.1 配置
数据集:320 万条消息,整合 OpenPhish(OPENPHISH, 2025)、PhishTank(PHISHTANK, 2025)和 Enron(CMU, 2015)。我们采用分层 5 折交叉验证。
6.2 结果
| 模型 | Accuracy | Precision | Recall | F1 | AUC |
|---|---|---|---|---|---|
| 所提方法 | 98,7% | 98,1% | 99,2% | 98,6% | 0,997 |
| Random Forest | 93,4% | 91,8% | 92,6% | 92,2% | 0,962 |
| CNN | 95,1% | 94,2% | 95,4% | 94,8% | 0,978 |
配对 t 检验表明 $p < 0,01$。
平均时延:18,4 ms/样本。
6.3 鲁棒性
在同形异义字符攻击下:
| 模型 | ΔF1 |
|---|---|
| Random Forest | −18% |
| CNN | −12% |
| 所提方法 | −3,1% |
- 讨论
结构-语义一体化在抵御多态规避与自动文本生成方面表现有效。误报率降低 37% 对于符合 NIST SP 800-61 Rev.2(NIST, 2012)的 SOC 以及 NIST SP 800-53 Rev.5(NIST, 2020)控制措施具有重要意义。
局限性包括对 WHOIS 的部分依赖以及语言偏差。未来策略可整合联邦学习和可认证鲁棒性机制。
- 结论与未来工作
我们提出了一种具有形式化基础和稳健实证验证的自适应混合架构。我们展示了统计显著的性能提升,以及与 2025 年威胁态势相一致的对抗韧性。未来工作包括与 Linux 端点上的 eBPF 检测集成,以及探索可认证的对抗防御。
参考文献
APWG. Phishing Activity Trends Report 2024. 2024. Available at: https://apwg.org/trendsreports/.
CMU. Enron Email Dataset. 2015. Available at: https://www.cs.cmu.edu/~enron/.
GARERA, S. et al. A framework for detection and measurement of phishing attacks. In: ACM CCS, 2007. Available at: https://dl.acm.org/doi/10.1145/1315245.1315299.
GOOGLE. Google Safe Browsing. 2024. Available at: https://safebrowsing.google.com/.
JAIN, A. K.; GUPTA, B. B. Phishing detection: analysis of visual similarity based approaches. IEEE Communications Surveys & Tutorials, 2018. Available at: https://ieeexplore.ieee.org/document/8335797.
MA, J. et al. Beyond blacklists: learning to detect malicious web sites. In: IEEE S&P, 2009. Available at: https://ieeexplore.ieee.org/document/5207639.
MARCHAL, S. et al. Off-the-hook: an efficient and usable client-side phishing prevention application. In: RAID, 2014. Available at: https://link.springer.com/chapter/10.1007/978-3-319-11379-1_8.
MITRE. ATT&CK Framework. 2024. Available at: https://attack.mitre.org/.
NETCRAFT. Threat Report 2024. 2024. Available at: https://www.netcraft.com/research/.
NIST. SP 800-53 Rev.5. 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final.
NIST. SP 800-61 Rev.2. 2012. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-2/final.
OPENPHISH. OpenPhish Feed. 2025. Available at: https://openphish.com/.
OWASP. Phishing Guidance. 2023. Available at: https://owasp.org/www-community/attacks/Phishing.
PHISHTANK. PhishTank Database. 2025. Available at: https://phishtank.org/.
SAHINGOZ, O. K. et al. Machine learning based phishing detection from URLs. Applied Soft Computing, 2019. Available at: https://www.sciencedirect.com/science/article/pii/S1568494618305796.
THOMAS, K. et al. Designing a global reputation system. In: IEEE S&P, 2014. Available at: https://ieeexplore.ieee.org/document/6956580.
VERIZON. Data Breach Investigations Report 2023. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/.
VERIZON. Data Breach Investigations Report 2024. 2024. Available at: https://www.verizon.com/business/resources/reports/dbir/.
WHITTAKER, C. et al. Large-scale automatic classification of phishing pages. In: USENIX Security, 2010. Available at: https://www.usenix.org/legacy/event/sec10/tech/full_papers/Whittaker.pdf.