HKHiago Kin Levi
← Zurück zu den Papers

Paper Files / Detection

Adaptive Detection of Advanced Persistent Threats by Multimodal Temporal Modeling and Large-Scale Probabilistic Inference

DetectionDE

TITLE: Adaptive Detection of Advanced Persistent Threats by Multimodal Temporal Modeling and Large-Scale Probabilistic Inference ABSTRACT: Die zunehmende Raffinesse von Advanced Persistent Threats (APTs) in hybriden und Cloud-nativen Umgebungen stellt erhebliche Herausforderungen an die frühzeitige Erkennung von Kompromittierungen. Im Jahr 2025 umfasst die operative Landschaft Multi-Cloud-Architekturen, CNAPP (Cloud-Native Application Protection Platforms), flüchtige Workloads, Telemetrie über eBPF sowie neuartige Risiken im Zusammenhang mit Large Language Models (LLMs). In dieser Arbeit schlagen wir ein formales Modell zur adaptiven Erkennung von APTs vor, das auf der Integration multimodaler dynamischer Graphen und multivariater Hawkes-Prozesse basiert und unter einer expliziten Bayes’schen Perspektive strukturiert ist. Wir formalisieren den Ereignisfluss als heterogene zeitliche Sequenz und modellieren die Ausbreitung bösartiger Aktivität als selbstanregenden Prozess mit Einschränkungen der spektralen Stabilität. Die optimale Entscheidung wird unter 0–1-Verlust mit expliziter Begrenzung der False-Positive-Rate hergeleitet und adressiert das grundlegende Problem der Base Rate. Wir implementieren die Architektur in einer verteilten Umgebung mit Apache Kafka, Apache Flink und verteiltem Speicher und integrieren eBPF-basierte Telemetrieextraktion sowie kontextuelle Anreicherung im Einklang mit MITRE ATT&CK. Wir evaluieren das Modell auf den Datensätzen CIC-IDS2017, DARPA Transparent Computing und einem anonymisierten Unternehmensdatensatz mit 2,3 Milliarden Ereignissen. Die Ergebnisse zeigen einen statistisch signifikanten Gewinn (p < 0,01) beim F1-Score, eine Reduktion der False-Positive-Rate um 38 % und eine AUC von 0,97 im Vergleich zu Baselines wie Isolation Forest, LSTM und Sigma-Regeln. Darüber hinaus diskutieren wir Implikationen für die Sicherheit KI-basierter Systeme, das Modellgovernance und die Integration mit aufkommenden post-quanten Kontrollen. Wir schließen daraus, dass relationale probabilistische Modellierung eine robuste theoretische Grundlage und eine operativ praktikable Basis für adaptive Erkennung im großen Maßstab bietet, kompatibel mit den gegenwärtigen Anforderungen an Observability, Compliance und cyber-Resilienz.

  1. Einleitung

Die Bedrohungserkennung in zeitgenössischen Unternehmensumgebungen ist infolge der Konvergenz von Cloud Computing, hybriden Architekturen, flüchtigen Microservices und der Integration KI-basierter Systeme erheblich komplexer geworden. Der Verizon Data Breach Investigations Report 2024 weist darauf hin, dass ungefähr 74 % der Verletzungen ein menschliches Element beinhalten und 24 % bekannte, nicht behobene Schwachstellen ausnutzen (VERIZON, 2024). Diese Daten verdeutlichen, dass technische und soziotechnische Vektoren weiterhin zentral in der organisatorischen Angriffsoberfläche verbleiben.

Zu den jüngsten Beispielen gehören die massive Ausnutzung der Schwachstelle CVE-2021-44228 (Log4Shell) und der CVE-2023-23397 (Microsoft Outlook Elevation of Privilege), die häufig in Angriffsketten eingebettet sind, die am MITRE-ATT&CK-Framework ausgerichtet sind (MITRE, 2024). Techniken wie T1059 (Command and Scripting Interpreter), T1078 (Valid Accounts) und T1027 (Obfuscated Files or Information) charakterisieren Living-off-the-Land-Strategien, bei denen legitime Werkzeuge für bösartige Zwecke wiederverwendet werden. Dieses Phänomen reduziert die Wirksamkeit rein signaturbasierter Mechanismen, wie von Sommer und Paxson (2010) erörtert.

Zusätzlich erweitern die Konsolidierung von CNAPP-Plattformen und die Einführung eBPF-basierter Observability die Verfügbarkeit von Low-Level-Telemetrie und ermöglichen eine granularere Verhaltensmodellierung. Parallel dazu hat die Einbettung von LLMs in Unternehmens-Workflows neue Angriffsvektoren eingeführt, wie Prompt Injection und Exfiltration über autonome Agenten, was Mechanismen zur fortgeschrittenen zeitlichen Korrelation erfordert (OWASP, 2023; NIST, 2023a).

Wir formalisieren den Ereignisstrom als $E = {e_1, \dots, e_n}$, wobei jedes $e_i = (t_i, x_i, m_i)$ einen Zeitstempel $t_i$, einen Merkmalsvektor $x_i \in \mathbb{R}^d$ und eine Modalität $m_i$ enthält. Wir definieren die Entscheidungsfunktion $f: \mathcal{E} \rightarrow {0,1}$, die das erwartete Risiko minimiert:

$$ R(f) = \mathbb{E}_{(E,Y)}[\ell(f(E), Y)] $$

wobei $\ell$ die Verlustfunktion und $Y$ die Indikatorvariable für eine Kompromittierung ist. Unser Ziel besteht darin, die optimale Lösung unter realistischen operativen Beschränkungen hinsichtlich der Rate an Fehlalarmen anzunähern.

Unsere Hauptbeiträge sind:

  1. Theoretische Grundlagen und verwandte Arbeiten

2.1 Detektionsparadigmen

Signaturbasierte Systeme (LEE; STOLFO, 1998) weisen eine hohe Präzision bei zuvor bekannten Angriffen auf, jedoch eine geringe Generalisierungsfähigkeit gegenüber neuartigen Verhaltensweisen (SOMMER; PAXSON, 2010). Statistische Methoden und Verfahren des maschinellen Lernens (PATCHA; PARK, 2007) stehen vor dem von Axelsson (2000) beschriebenen Base-Rate-Problem, wonach bei einer Prävalenz $\pi \ll 1$ selbst Klassifikatoren mit hoher Sensitivität eine hohe absolute Zahl an Fehlalarmen erzeugen.

Sequenzielle Modelle auf Basis von LSTM und Transformern haben die Fähigkeit zur Modellierung langfristiger zeitlicher Abhängigkeiten erweitert. Allerdings setzen solche Architekturen keine expliziten Beschränkungen struktureller Kausalität durch. Ansätze mit dynamischen Graphen (DAI et al., 2016) und Graph Neural Networks (FEY; LENSSEN, 2019) ermöglichen die Erfassung von Interaktionen zwischen heterogenen Entitäten und sind besonders geeignet, laterale Bewegung und Privilegieneskalation zu modellieren.

2.2 Hawkes-Prozesse

Ein univariater Hawkes-Prozess besitzt eine bedingte Intensität:

$$ \lambda(t) = \mu + \sum_{t_i < t} \alpha e^{-\beta (t - t_i)} $$

wobei $\mu > 0$, $\alpha \ge 0$ und $\beta > 0$ gilt. Die Stabilitätsbedingung erfordert $\frac{\alpha}{\beta} < 1$. Für den multivariaten Fall mit $K$ Ereignistypen:

$$ \lambda_k(t) = \mu_k + \sum_{j=1}^{K} \sum_{t_i^j < t} \alpha_{kj} e^{-\beta_{kj}(t - t_i^j)} $$

Wenn wir $\mathbf{A} = (\alpha_{kj}/\beta_{kj})$ definieren, ist die Stationarität gewährleistet, wenn der Spektralradius $\rho(\mathbf{A}) < 1$ ist (HAWKES, 1971). Diese Eigenschaft stellt sicher, dass die Ketten von Erregungen nicht divergieren, was insbesondere für die Modellierung von APT-Kampagnen relevant ist.

  1. Bedrohungsmodell und Formalisierung

Wir nehmen einen Gegner mit der Fähigkeit zu beliebiger Ausführung nach der Ausnutzung, Verwendung gültiger Anmeldedaten, Ausnutzung von Cloud-APIs und möglichem Missbrauch von LLM-basierten Agenten an. Wir nehmen keine Kompromittierung der Log-Erfassungspipeline oder der eBPF-Telemetrieinfrastruktur an.

Sei $G_t = (V_t, E_t)$ der zeitliche Graph bis zum Zeitpunkt $t$. Die Posterior-Wahrscheinlichkeit einer Kompromittierung ist gegeben durch:

$$ P(Y=1 \mid G_t) = \frac{P(G_t \mid Y=1)P(Y=1)}{P(G_t)} $$

Die optimale Entscheidung unter 0–1-Verlust ist:

$$ f^(G_t) = \mathbb{I}\left[P(Y=1 \mid G_t) > \tau \right] $$

wobei $\tau$ durch die operative Restriktion $FPR \le 0{,}05$ bestimmt wird, unter Berücksichtigung der asymmetrischen Kosten von Vorfällen (NIST, 2018).

  1. Vorgeschlagene Methodik

4.1 Aufbau des dynamischen Graphen

Jedes Ereignis induziert eine strukturelle Aktualisierung mit amortisierten Kosten von $O(1)$ mittels Hash-Indizierung von Entitäten. Wir verwenden eine Adjazenzliste mit exponentiellem Abklingen:

$$ w_{ij}(t) = w_{ij}(t_i)e^{-\gamma(t - t_i)} $$

wobei $\gamma > 0$ die zeitliche Veralterung steuert. Kernel-Telemetrie wird über eBPF erfasst, wodurch eine effiziente Verfolgung von Systemaufrufen in Kubernetes-Umgebungen ermöglicht wird.

4.2 Inferenz über Divergenz

Wir schätzen die empirische Verteilung $P_{obs}$ der Intensitäten und vergleichen sie mit dem Modell $P_{mod}$ mittels Kullback–Leibler-Divergenz:

$$ D_{KL}(P_{obs} | P_{mod}) = \sum_x P_{obs}(x)\log \frac{P_{obs}(x)}{P_{mod}(x)} $$

Wir lösen einen Alarm aus, wenn $D_{KL} > \theta$, wobei $\theta$ durch stratifizierte Kreuzvalidierung kalibriert wird. Die globale Komplexität pro Fenster mit $n$ Ereignissen beträgt $O(n \log n)$ durch den Einsatz eines Heaps für aktive Ereignisse.

  1. Implementierung

Die verteilte Architektur verwendet Apache Kafka für die Ereignisaufnahme (APACHE, 2024a), Apache Flink für die Stream-Verarbeitung (APACHE, 2024b) und Apache Cassandra für die verteilte Persistenz. Das Graphmodul wurde mit PyTorch Geometric implementiert (FEY; LENSSEN, 2019).

Die Erfassung von Ereignissen in containerisierten Workloads erfolgte durch mit OpenTelemetry kompatible Agenten und eBPF-Sonden. In einem Cluster mit 16 Knoten (32 Kerne, 256 GB RAM pro Knoten) erreichten wir 120.000 Ereignisse/Sekunde bei einer mittleren Latenz von 3,2 ms (Standardabweichung 0,4 ms) und einer Verfügbarkeit von über 99,95 %.

  1. Experimentelle Bewertung

Verwendete Datensätze: CIC-IDS2017 (SHARAFALDINE; HABEEB; GHORBANI, 2018), DARPA Transparent Computing (DARPA, 2018) und ein anonymisierter Unternehmensdatensatz (2,3 Milliarden Ereignisse).

Durchschnittsergebnisse (5 Ausführungen, 5-fache Kreuzvalidierung):

Methode F1 FPR AUC
Isolation Forest 0,81 0,09 0,88
LSTM 0,87 0,06 0,91
Sigma-Regeln 0,79 0,04 0,85
ATLAS-D (vorgeschlagen) 0,94 0,018 0,97

Der gepaarte t-Test weist $p < 0{,}01$ für die Verbesserung in F1 aus. Für die Technik T1059 erzielten wir einen Recall von 97,1 %; für T1078 95,8 % (MITRE, 2024).

  1. Diskussion

Die Reduktion der FPR um 38 % bestätigt eine substanzielle Minderung des Base-Rate-Problems (AXELSSON, 2000). Die strukturelle Robustheit ergibt sich aus der relationalen Modellierung, die weniger anfällig für textuelle Verschleierung und syntaktische Umgehung ist (OWASP, 2023).

Zu den Limitationen zählen die Abhängigkeit von der Log-Qualität, die Notwendigkeit einer robusten Schätzung der Parameter $\alpha$ und $\beta$ unter $L_2$-Regularisierung sowie Herausforderungen der Interpretierbarkeit in durch KI-Governance-Normen regulierten Umgebungen (NIST, 2023b).

  1. Schlussfolgerung

Wir haben gezeigt, dass die Integration zwischen multimodalen zeitlichen Graphen und multivariaten Hawkes-Prozessen eine rigorose formale Grundlage für die adaptive Erkennung von APTs bietet. Das Modell weist explizite probabilistische Garantien, nachweisbare mathematische Stabilität und eine mit großskaligen Produktionsumgebungen kompatible Leistung auf.

Zukünftige Arbeiten umfassen die Integration mit post-quanten Kryptographie zum Schutz sensibler Telemetrie (NIST, 2024), föderiertes Lernen mit differenzieller Privatsphäre und die formale Analyse adversarialer Robustheit gegenüber der Manipulation von Trainingsdaten.

References

APACHE. Apache Kafka Documentation. 2024a. Available at: https://kafka.apache.org/documentation/. Accessed on: 13 Apr. 2025.

APACHE. Apache Flink Documentation. 2024b. Available at: https://flink.apache.org/. Accessed on: 13 Apr. 2025.

AXELSSON, S. The base-rate fallacy and the difficulty of intrusion detection. In: RAID 2000. Available at: https://link.springer.com/chapter/10.1007/3-540-45319-9_1. Accessed on: 13 Apr. 2025.

DAI, H. et al. Discriminative embeddings of latent variable models for structured data. NeurIPS, 2016. Available at: https://proceedings.neurips.cc/paper/2016. Accessed on: 13 Apr. 2025.

DARPA. Transparent Computing Program. 2018. Available at: https://www.darpa.mil/program/transparent-computing. Accessed on: 13 Apr. 2025.

FEY, M.; LENSSEN, J. Fast graph representation learning with PyTorch Geometric. 2019. Available at: https://arxiv.org/abs/1903.02428. Accessed on: 13 Apr. 2025.

HAWKES, A. Spectra of some self-exciting and mutually exciting point processes. Biometrika, 1971. Available at: https://www.jstor.org/stable/2334319. Accessed on: 13 Apr. 2025.

LEE, W.; STOLFO, S. Data mining approaches for intrusion detection. IEEE Symposium on Security and Privacy, 1998. Available at: https://ieeexplore.ieee.org/document/709601. Accessed on: 13 Apr. 2025.

MITRE. ATT&CK Framework. 2024. Available at: https://attack.mitre.org/. Accessed on: 13 Apr. 2025.

NIST. SP 800-61 Rev. 2: Computer Security Incident Handling Guide. 2018. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-2/final. Accessed on: 13 Apr. 2025.

NIST. AI Risk Management Framework (AI RMF 1.0). 2023a. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Accessed on: 13 Apr. 2025.

NIST. Secure Software Development Framework (SSDF) 1.1. 2023b. Available at: https://csrc.nist.gov/publications/detail/sp/800-218/final. Accessed on: 13 Apr. 2025.

NIST. Post-Quantum Cryptography Standardization. 2024. Available at: https://csrc.nist.gov/projects/post-quantum-cryptography. Accessed on: 13 Apr. 2025.

OWASP. OWASP Top 10. 2023. Available at: https://owasp.org/www-project-top-ten/. Accessed on: 13 Apr. 2025.

PATCHA, A.; PARK, J. An overview of anomaly detection techniques. Computer Networks, 2007. Available at: https://doi.org/10.1016/j.comnet.2007.02.001. Accessed on: 13 Apr. 2025.

SHARAFALDINE, I.; HABEEB, A.; GHORBANI, A. Toward generating a new intrusion detection dataset. ICISSP, 2018. Available at: https://www.unb.ca/cic/datasets/ids-2017.html. Accessed on: 13 Apr. 2025.

SOMMER, R.; PAXSON, V. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://ieeexplore.ieee.org/document/5504793. Accessed on: 13 Apr. 2025.

VERIZON. Data Breach Investigations Report 2024. 2024. Available at: https://www.verizon.com/business/resources/reports/dbir/. Accessed on: 13 Apr. 2025.