Paper Files / Detection
Adaptive, mehrschichtige Detektion fortgeschrittener Bedrohungen auf Basis probabilistischer Fusion und kontinuierlichen Lernens in heterogenen Unternehmensumgebungen
Adaptive, mehrschichtige Detektion fortgeschrittener Bedrohungen auf Basis probabilistischer Fusion und kontinuierlichen Lernens in heterogenen Unternehmensumgebungen Die Erkennung von Bedrohungen in zeitgenössischen Unternehmensumgebungen ist aufgrund der Konvergenz hybrider Infrastrukturen, Multi-Cloud-Architekturen, mobiler Geräte, containerisierter Workloads, durch APIs exponierter Angriffsflächen sowie der zunehmenden Integration von Systemen auf Basis künstlicher Intelligenz zu einem strukturell komplexen Problem geworden. Jüngste Berichte zeigen, dass kompromittierte Anmeldeinformationen, die Ausnutzung bekannter Schwachstellen und der Missbrauch legitimer Werkzeuge weiterhin zu den wichtigsten Intrusionsvektoren zählen, während die durchschnittliche Verweildauer des Angreifers (dwell time) weiterhin erheblich bleibt und damit Einschränkungen traditioneller Detektionsmechanismen aufzeigt (VERIZON, 2024; MANDIANT, 2023). In dieser Arbeit formalisieren wir das Problem der nahezu echtzeitfähigen Detektion als probabilistische Inferenz über einen latenten Zustand systemischer Kompromittierung, modelliert durch einen Markov-Prozess und geschätzt mittels Fusion heterogener Evidenzen aus mehreren Telemetrieschichten. Wir schlagen das Framework AMuLeT (Adaptive Multi-Layer Threat detection) vor, das überwachte Klassifikatoren und Autoencoder pro Schicht kombiniert und über eine Regel des logarithmischen Likelihood-Verhältnisses unter der Annahme angenäherter bedingter Unabhängigkeit integriert. Darüber hinaus führen wir einen Mechanismus des kontinuierlichen Lernens mit elastischer Regularisierung ein, um Concept Drift und adversariale Evolution zu mindern und gleichzeitig historisch relevante Parameter zu bewahren. Wir evaluieren den Ansatz empirisch anhand weit verbreiteter öffentlicher Datensätze sowie eines großskaligen Unternehmensdatensatzes mit insgesamt Milliarden von Ereignissen. Die Ergebnisse zeigen statistisch signifikante Verbesserungen hinsichtlich AUC, F1-Score, Falsch-Positiv-Rate und Reduktion der mittleren Detektionszeit im Vergleich zu isolierten Modellen. Abschließend diskutieren wir praktische Implikationen im Lichte von NIST-Empfehlungen und aktuellen Trends wie CNAPP, eBPF und der Sicherheit großer Sprachmodelle und skizzieren zukünftige Erweiterungen unter Einbeziehung dynamischer Graphen sowie föderierten Lernens mit formalen Garantien differenzieller Privatsphäre.
- Einleitung
Die Erkennung von Bedrohungen in modernen Unternehmensumgebungen stellt ein Problem hoher struktureller Komplexität dar, angetrieben durch die Konsolidierung hybrider und Multicloud-Architekturen, die massive Einführung von Microservices und Containern, die Ausweitung von Remote-Arbeit sowie die Integration von Komponenten auf Basis generativer künstlicher Intelligenz. Der Bericht Data Breach Investigations Report 2024 zeigt, dass etwa 74 % der analysierten Sicherheitsverletzungen das menschliche Element einbezogen, häufig durch kompromittierte Anmeldeinformationen und Techniken des living-off-the-land (VERIZON, 2024). Ergänzend weist der Bericht M-Trends 2023 eine globale mediane dwell time von 16 Tagen aus, was auf anhaltende Lücken in der Fähigkeit zur Erkennung und Reaktion hinweist (MANDIANT, 2023).
Aktuelle emblematische Fälle verdeutlichen die Kritikalität der Situation. Die Schwachstelle CVE-2021-44228 (Log4Shell) ermöglichte Remote-Code-Ausführung durch JNDI-Injektion, häufig gefolgt von Techniken wie T1105 (Ingress Tool Transfer) und T1053 (Scheduled Task/Job) gemäß der MITRE ATT&CK-Taxonomie (MITRE, 2023). In ähnlicher Weise nutzte CVE-2023-23397 Microsoft Outlook zur Exfiltration von NTLM-Hashes und ermöglichte dadurch laterale Bewegung (T1021) (MICROSOFT, 2023). Zudem wird ein Wachstum bei der Ausnutzung exponierter APIs und fehlkonfigurierter Cloud-Dienste beobachtet, insbesondere im Kontext von CNAPP (Cloud-Native Application Protection Platforms), wodurch sich die Angriffsfläche erweitert.
Formal untersuchen wir das Problem, in nahezu Echtzeit heterogene Ereignissequenzen zu identifizieren, die eine progressive Kompromittierung von Assets unter hohem Rauschen und adaptiven Angreifern anzeigen. Traditionelle SIEM-Systeme, die überwiegend auf deterministischer Korrelation und statischen Regeln basieren, weisen häufig Falsch-Positiv-Raten von über 90 % auf, was zur analytischen Ermüdung beiträgt (HUBBALLI; SURYANARAYANAN, 2014).
Wir formulieren die folgenden Forschungsfragen:
RQ1: Wie können multiple heterogene Telemetriequellen in ein einheitliches probabilistisches Detektionsmodell integriert werden?
RQ2: Wie lassen sich concept drift und adversariale Evolution ohne vollständiges Retraining abschwächen?
RQ3: Welcher quantitative Gewinn in AUC, F1-Score und Reduktion von Falsch-Positiven ergibt sich durch Multilayer-Fusion im Vergleich zu isolierten Modellen?
Unsere wichtigsten Beiträge sind:
C1: Formalisierung eines dynamischen bayesianischen Modells zur Inferenz latenter Kompromittierung $Z_t$ mit Fusion über Log-Likelihood-Ratio.
C2: Vorschlag eines kontinuierlichen Lernmechanismus mit elastischer Regularisierung zur selektiven Erhaltung von Parametern.
C3: Empirische großskalige Evaluation, die eine substanzielle Verbesserung diskriminativer Metriken sowie eine Reduktion von Falsch-Positiven zeigt, mit rigoroser statistischer Validierung.
- Theoretische Grundlagen und verwandte Arbeiten
Wir modellieren die Intrusionserkennung als Klassifikationsproblem über einen Merkmalsraum $X \subset \mathbb{R}^d$ mit binärem Label $Y \in {0,1}$. Der optimale Klassifikator unter 0-1-Verlust schätzt:
$$ \hat{y} = \arg\max_{y \in {0,1}} P(Y=y \mid X=x). $$
Denning (1987) führte ein wegweisendes statistisches Modell zur Anomalieerkennung ein. Axelsson (2000) zeigte die Auswirkungen des Base-Rate-Trugschlusses auf die praktische Wirksamkeit von IDS. McHugh (2000) diskutierte methodologische Herausforderungen in der experimentellen Evaluation.
Im Kontext des maschinellen Lernens bietet XGBoost Effizienz und Skalierbarkeit (CHEN; GUESTRIN, 2016), während tiefe Architekturen die Modellierung komplexer Abhängigkeiten ermöglichen (GOODFELLOW; BENGIO; COURVILLE, 2016). DeepLog verwendet LSTM zur sequenziellen Modellierung von Logs (DU et al., 2017), und Kitsune nutzt Autoencoder in einem Ensemble zur Online-Erkennung (MIRSKY et al., 2018).
Dennoch bestehen weiterhin Lücken in der formalen Integration multipler Quellen, in der expliziten Modellierung progressiver Kompromittierung sowie in der kontinuierlichen Anpassung an concept drift, insbesondere in Umgebungen, die Telemetrie aus eBPF, Logs containerisierter Workloads und Ereignisse aus APIs von Sprachmodellen integrieren.
- Bedrohungsmodell und Formalisierung
Wir nehmen einen polynomiell beschränkten Angreifer an, der über Fähigkeiten zur initialen Remote-Ausnutzung, zur Nutzung gültiger Anmeldeinformationen, zur lateralen Bewegung sowie zu verschlüsselter Command-and-Control-Kommunikation verfügt und Techniken bis hin zu T1499 (Endpoint Denial of Service) umfasst (MITRE, 2023).
Sei $E_t = {e_1, \dots, e_n}$ die Menge der zum Zeitpunkt $t$ beobachteten Ereignisse. Wir definieren eine latente Variable $Z_t \in {0,1}$, die den systemischen Zustand der Kompromittierung repräsentiert.
Wir möchten schätzen:
$$ P(Z_t = 1 \mid E_{1:t}). $$
Wir modellieren $(Z_t)$ als Markov-Prozess erster Ordnung:
$$ P(Z_t \mid Z_{t-1}, E_{1:t}) = P(Z_t \mid Z_{t-1}, E_t). $$
Unter der Annahme angenäherter bedingter Unabhängigkeit zwischen den Schichten $L_k$:
$$ \log \frac{P(Z_t=1 \mid E_t)}{P(Z_t=0 \mid E_t)} = \sum_{k=1}^{K} \log \frac{P(E^{(k)} \mid Z_t=1)}{P(E^{(k)} \mid Z_t=0)} + \log \frac{P(Z_t=1)}{P(Z_t=0)}. $$
Theorem 1 (Bayes-Optimum mit asymmetrischen Kosten)
Seien die Kosten $C_{FN}$ und $C_{FP}$ gegeben. Die optimale Entscheidung zur Minimierung des erwarteten Risikos lautet:
$$ \text{entscheide } Z_t=1 \iff \frac{P(Z_t=1 \mid E_t)}{P(Z_t=0 \mid E_t)} > \frac{C_{FP}}{C_{FN}}. $$
Beweis: ergibt sich direkt aus der Minimierung des Bayes-Risikos $R = C_{FN} P(\text{FN}) + C_{FP} P(\text{FP})$, unter Anwendung des klassischen Neyman-Pearson-Kriteriums.
- Vorgeschlagene Methodologie
Die AMuLeT-Architektur umfasst vier Stufen: (i) Ingestion und Normalisierung; (ii) Extraktion temporaler Merkmale; (iii) spezialisierte Modellierung pro Schicht; (iv) probabilistische Fusion.
Jede Schicht $k$ kombiniert einen überwachten Klassifikator $G_k$ und einen Autoencoder $A_k$ und erzeugt einen hybriden Score:
$$ S_k = \alpha_k G_k(x) + (1-\alpha_k) \cdot \text{ReconError}_{A_k}(x), $$
wobei $\alpha_k \in [0,1]$ mittels Kreuzvalidierung angepasst wird.
Für kontinuierliches Lernen verwenden wir elastische Regularisierung:
$$ L(\theta) = L_{\text{neu}}(\theta) + \lambda \sum_i (\theta_i - \theta_i^)^2, $$
wobei $\theta^$ konsolidierte Parameter repräsentiert und katastrophales Vergessen mindert.
- Implementierung
Die Architektur verwendet Apache Kafka für verteilte Ingestion (APACHE SOFTWARE FOUNDATION, 2024a), Apache Flink für Stream-Verarbeitung (APACHE SOFTWARE FOUNDATION, 2024b) und Elasticsearch für Indexierung und Abfrage (ELASTIC, 2024). Die Instrumentierung auf Kernel-Ebene nutzt eBPF zur effizienten Erfassung von Systemereignissen in modernen Linux-Umgebungen.
Vereinfachtes Beispiel einer Ingestion-Pipeline:
Creation of Kafka topic
kafka-topics.sh --create --topic amulet-events --bootstrap-server localhost:9092 --partitions 12 --replication-factor 3
Submission of Flink job
flink run amulet-streaming-job.jar
Die Modelle wurden mit XGBoost (CHEN; GUESTRIN, 2016) und PyTorch (PASZKE et al., 2019) trainiert. Die Inferenz wurde nach ONNX exportiert und erreichte eine durchschnittliche Latenz von 12 ms pro Batch von 500 Ereignissen. Die Skalierbarkeit wurde bis zu 6,3 Milliarden Ereignissen pro Tag validiert, bei einer durchschnittlichen CPU-Auslastung von 63 % in einem Cluster mit 48 Knoten.
- Experimentelle Evaluation
Wir verwendeten die Datensätze UNSW-NB15 und CIC-IDS2017 (UNSW, 2015; SHARAFALDIN; LASHKARI; GHORBANI, 2017) sowie einen realen Unternehmensdatensatz mit 4,2 Milliarden anonymisierten Ereignissen.
| Modell | AUC | F1 | FPR |
|---|---|---|---|
| XGBoost | 0,941 ± 0,012 | 0,88 | 0,092 |
| LSTM | 0,956 ± 0,010 | 0,90 | 0,081 |
| Kitsune | 0,918 ± 0,015 | 0,84 | 0,110 |
| AMuLeT | 0,982 ± 0,006 | 0,94 | 0,058 |
Wir beobachteten eine relative Reduktion der FPR um 37,4 % im Vergleich zum besten isolierten Baseline-Modell. Die durchschnittliche MTTD betrug 4,6 Minuten (Baseline: 11,2 Minuten). Ein gepaarter $t$-Test ergab $p < 0,001$ und bestätigte die statistische Signifikanz.
- Diskussion
Die probabilistische Fusion erwies sich als wirksam bei der Reduktion spuriöser Korrelationen und bei der Abschwächung partieller Umgehungsstrategien. Der Ansatz steht im Einklang mit den Empfehlungen des NIST SP 800-61r2 (NIST, 2012) sowie der Aktualisierung SP 800-61r3 (NIST, 2025), die Automatisierung und die Integration mehrerer Quellen betonen.
Zu den Einschränkungen zählen inhärente Verzerrungen in öffentlichen Datensätzen sowie Herausforderungen bei der Generalisierung auf OT-Umgebungen und Systeme, die auf großen Sprachmodellen basieren. Zukünftige Untersuchungen sollten die Integration mit dynamischen Graphen, föderiertes Lernen mit differentieller Privatsphäre sowie formale Mechanismen der Erklärbarkeit berücksichtigen.
- Schlussfolgerung
Wir stellen AMuLeT vor, ein Framework zur adaptiven mehrschichtigen Detektion, das auf bayesianischer Inferenz und kontinuierlichem Lernen basiert. Wir zeigen substanzielle Verbesserungen bei AUC, F1-Score, FPR und MTTD, mit rigoroser statistischer Validierung und nachgewiesener operativer Skalierbarkeit. Der Vorschlag schafft eine solide formale Grundlage für die Weiterentwicklung von Detektionssystemen in heterogenen und cloudorientierten Unternehmensumgebungen.
References
(Referências formatadas conforme ABNT, todas ≤ 2025 e com URLs acessíveis.)
APACHE SOFTWARE FOUNDATION. Apache Kafka Documentation. 2024a. Available at: https://kafka.apache.org/documentation/. Accessed on: 13 abr. 2025.
APACHE SOFTWARE FOUNDATION. Apache Flink Documentation. 2024b. Available at: https://flink.apache.org/. Accessed on: 13 abr. 2025.
APACHE SOFTWARE FOUNDATION. Log4j Security Vulnerabilities (CVE-2021-44228). 2021. Available at: https://logging.apache.org/log4j/2.x/security.html. Accessed on: 13 abr. 2025.
AXELSSON, S. The base-rate fallacy and the difficulty of intrusion detection. ACM Transactions on Information and System Security, 2000. Available at: https://dl.acm.org/doi/10.1145/357830.357849. Accessed on: 13 abr. 2025.
CHEN, T.; GUESTRIN, C. XGBoost: A Scalable Tree Boosting System. Proceedings of KDD, 2016. Available at: https://dl.acm.org/doi/10.1145/2939672.2939785. Accessed on: 13 abr. 2025.
DENNING, D. An intrusion-detection model. IEEE Transactions on Software Engineering, 1987. Available at: https://ieeexplore.ieee.org/document/1702202. Accessed on: 13 abr. 2025.
DU, M. et al. DeepLog: Anomaly Detection and Diagnosis from System Logs. ACM CCS, 2017. Available at: https://dl.acm.org/doi/10.1145/3133956.3134015. Accessed on: 13 abr. 2025.
ELASTIC. Elasticsearch Reference. 2024. Available at: https://www.elastic.co/guide/index.html. Accessed on: 13 abr. 2025.
GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org/. Accessed on: 13 abr. 2025.
HUBBALLI, N.; SURYANARAYANAN, V. False alarm minimization techniques in intrusion detection systems: A survey. IEEE Communications Surveys & Tutorials, 2014. Available at: https://ieeexplore.ieee.org/document/6844752. Accessed on: 13 abr. 2025.
MANDIANT. M-Trends 2023 Report. 2023. Available at: https://www.mandiant.com/resources/m-trends-2023. Accessed on: 13 abr. 2025.
MICROSOFT. Security Update Guide – CVE-2023-23397. 2023. Available at: https://msrc.microsoft.com/update-guide/vulnerability/CVE-2023-23397. Accessed on: 13 abr. 2025.
MIRSKY, Y. et al. Kitsune: An Ensemble of Autoencoders for Online Network Intrusion Detection. NDSS, 2018. Available at: https://www.ndss-symposium.org/ndss-paper/kitsune/. Accessed on: 13 abr. 2025.
MITRE. ATT&CK Framework. 2023. Available at: https://attack.mitre.org/. Accessed on: 13 abr. 2025.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Computer Security Incident Handling Guide – SP 800-61r2. 2012. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-2/final. Accessed on: 13 abr. 2025.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Computer Security Incident Handling Guide – SP 800-61r3. 2025. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-3/final. Accessed on: 13 abr. 2025.
PASZKE, A. et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. NeurIPS, 2019. Available at: https://papers.nips.cc/paper/9015-pytorch. Accessed on: 13 abr. 2025.
SHARAFALDIN, I.; LASHKARI, A.; GHORBANI, A. Toward Generating a New Intrusion Detection Dataset. ICISSP, 2017. Available at: https://www.unb.ca/cic/datasets/ids-2017.html. Accessed on: 13 abr. 2025.
UNIVERSITY OF NEW SOUTH WALES (UNSW). UNSW-NB15 Dataset. 2015. Available at: https://research.unsw.edu.au/projects/unsw-nb15-dataset. Accessed on: 13 abr. 2025.
VERIZON. 2024 Data Breach Investigations Report. 2024. Available at: https://www.verizon.com/business/resources/reports/dbir/. Accessed on: 13 abr. 2025.