Paper Files / Detection
TITEL: ADAPTIVE MEHRSCHICHTIGE ERKENNUNG VON BEDROHUNGEN MIT FORTGESCHRITTENER BEDROHUNGSERKENNUNG AUF BASIS WAHRSCHEINLICHKEITSFUSION UND KONTINUIERLICHEM LERNEN IN HETEROGENEN UNTERNEHMENSUMGEBUNGEN
TITEL: ADAPTIVE MEHRSCHICHTIGE ERKENNUNG VON BEDROHUNGEN MIT FORTGESCHRITTENER BEDROHUNGSERKENNUNG AUF BASIS WAHRSCHEINLICHKEITSFUSION UND KONTINUIERLICHEM LERNEN IN HETEROGENEN UNTERNEHMENSUMGEBUNGEN ABSTRAKT: Die Erkennung von Bedrohungen in zeitgenössischen Unternehmensumgebungen ist aufgrund der Konvergenz von hybriden Infrastrukturen, Multicloud-Architekturen, mobilen Endgeräten, containerisierten Workloads, über APIs exponierten Angriffsflächen und der zunehmenden Integration von Systemen auf Basis künstlicher Intelligenz zu einem strukturell komplexen Problem geworden. Jüngste Berichte zeigen, dass kompromittierte Zugangsdaten, die Ausnutzung bekannter Schwachstellen und der Missbrauch legitimer Werkzeuge weiterhin zu den wichtigsten Einfallsvektoren gehören, während die durchschnittliche Verweildauer des Angreifers (dwell time) weiterhin signifikant bleibt, was die Grenzen traditioneller Erkennungsmechanismen verdeutlicht (VERIZON, 2024; MANDIANT, 2023). In dieser Arbeit formalisieren wir das Problem der nahezu Echtzeit-Erkennung als probabilistische Inferenz über einen latenten Zustand systemischer Kompromittierung, modelliert durch einen Markov-Prozess und geschätzt mittels Fusion heterogener Evidenzen aus mehreren Telemetrieebenen. Wir schlagen das Framework AMuLeT (Adaptive Multi-Layer Threat detection) vor, das über jede Ebene hinweg überwachte Klassifikatoren und Autoencoder kombiniert, integriert durch eine Regel des logarithmischen Likelihood-Verhältnisses unter der Annahme näherungsweiser bedingter Unabhängigkeit. Darüber hinaus führen wir einen Mechanismus des kontinuierlichen Lernens mit elastischer Regularisierung ein, um Concept Drift und adversariale Evolution zu mildern und historisch relevante Parameter zu bewahren. Wir evaluieren den Ansatz empirisch anhand weit verbreiteter öffentlicher Datensätze sowie eines unternehmensweiten Datensatzes im großen Maßstab mit insgesamt Milliarden von Ereignissen. Die Ergebnisse zeigen statistisch signifikante Verbesserungen bei AUC, F1-Score, Falsch-Positiv-Rate und der Reduktion der durchschnittlichen Erkennungszeit im Vergleich zu isolierten Modellen. Wir diskutieren praktische Implikationen im Lichte der Empfehlungen des NIST und zeitgenössischer Trends wie CNAPP, eBPF und der Sicherheit von großen Sprachmodellen und skizzieren zukünftige Erweiterungen unter Einbeziehung dynamischer Graphen und föderierten Lernens mit formalen Garantien für Differential Privacy.
- Einleitung
Die Erkennung von Bedrohungen in zeitgenössischen Unternehmensumgebungen stellt ein Problem von hoher struktureller Komplexität dar, angetrieben durch die Konsolidierung hybrider und Multi-Cloud-Architekturen, die massive Einführung von Microservices und Containern, die Ausweitung von Remote-Arbeit sowie die Integration von Komponenten auf Basis generativer künstlicher Intelligenz. Der Bericht Data Breach Investigations Report 2024 weist darauf hin, dass ungefähr 74 % der analysierten Sicherheitsverletzungen den menschlichen Faktor betrafen, häufig durch kompromittierte Zugangsdaten und Living-off-the-Land-Techniken (VERIZON, 2024). Ergänzend zeigt der Bericht M-Trends 2023 eine mediane globale Dwell Time von 16 Tagen und verdeutlicht damit anhaltende Lücken in den Erkennungs- und Reaktionsfähigkeiten (MANDIANT, 2023).
Jüngere exemplarische Fälle illustrieren die Kritikalität des Szenarios. Die Schwachstelle CVE-2021-44228 (Log4Shell) ermöglichte Remote Code Execution durch JNDI-Injektion, häufig gefolgt von Techniken wie T1105 (Ingress Tool Transfer) und T1053 (Scheduled Task/Job) gemäß der MITRE-ATT&CK-Taxonomie (MITRE, 2023). In ähnlicher Weise wurde CVE-2023-23397 gegen Microsoft Outlook ausgenutzt, um NTLM-Hashes zu exfiltrieren und laterale Bewegung zu ermöglichen (T1021) (MICROSOFT, 2023). Zudem ist ein Wachstum bei der Ausnutzung exponierter APIs und falsch konfigurierter Cloud-Dienste zu beobachten, insbesondere in Kontexten von CNAPPs (Cloud-Native Application Protection Platforms), wodurch die Angriffsfläche erweitert wird.
Formal untersuchen wir das Problem, in nahezu Echtzeit heterogene Sequenzen von Ereignissen zu identifizieren, die eine schrittweise Kompromittierung von Assets unter hohem Rauschen und durch adaptive Gegner belegen. Traditionelle SIEM-Systeme, die überwiegend auf deterministischer Korrelation und statischen Regeln basieren, weisen häufig Falsch-Positiv-Raten von über 90 % auf und tragen damit zur analytischen Ermüdung bei (HUBBALLI; SURYANARAYANAN, 2014).
Wir formulieren die folgenden Forschungsfragen:
RQ1: Wie lassen sich mehrere heterogene Telemetriequellen in ein einheitliches probabilistisches Detektionsmodell integrieren?
RQ2: Wie lassen sich Concept Drift und adversariale Evolution ohne vollständiges Retraining mindern?
RQ3: Welcher quantitative Gewinn in AUC, F1-Score und Reduktion von Falsch-Positiven ergibt sich beim Einsatz einer mehrschichtigen Fusion im Vergleich zu isolierten Modellen?
Unsere wichtigsten Beiträge sind:
C1: Formalisierung eines dynamischen Bayes-Modells zur Inferenz des latenten Kompromittierungszustands $Z_t$ mittels Fusion über das Log-Likelihood-Verhältnis.
C2: Vorschlag eines Mechanismus für kontinuierliches Lernen mit elastischer Regularisierung zur selektiven Parameterausprägung.
C3: Empirische Auswertung im großen Maßstab, die eine substanzielle Verbesserung diskriminativer Metriken und eine Reduktion von Falsch-Positiven unter rigoroser statistischer Validierung aufzeigt.
- Theoretische Grundlagen und verwandte Arbeiten
Wir modellieren die Intrusionserkennung als Klassifikationsproblem über dem Merkmalsraum $X \subset \mathbb{R}^d$ mit binärem Label $Y \in {0,1}$. Der optimale Klassifikator unter 0-1-Verlust schätzt:
$$ \hat{y} = \arg\max_{y \in {0,1}} P(Y=y \mid X=x). $$
Denning (1987) führte ein wegweisendes statistisches Modell zur Anomalieerkennung ein. Axelsson (2000) zeigte den Einfluss des Base-Rate-Trugschlusses auf die praktische Wirksamkeit von IDS auf. McHugh (2000) diskutierte methodische Herausforderungen bei der experimentellen Evaluation.
Im Kontext des maschinellen Lernens bietet XGBoost Effizienz und Skalierbarkeit (CHEN; GUESTRIN, 2016), während tiefe Architekturen die Modellierung komplexer Abhängigkeiten ermöglichen (GOODFELLOW; BENGIO; COURVILLE, 2016). DeepLog verwendet LSTMs zur sequentiellen Modellierung von Logs (DU et al., 2017), und Kitsune nutzt Autoencoder-Ensembles für die Online-Erkennung (MIRSKY et al., 2018).
Dennoch bestehen Lücken bei der formalen Integration mehrerer Quellen, bei der expliziten Modellierung fortschreitender Kompromittierung und bei der kontinuierlichen Anpassung an Concept Drift, insbesondere in Umgebungen, die eBPF-Telemetrie, Logs containerisierter Workloads und Ereignisse von Sprachmodell-APIs einbeziehen.
- Bedrohungsmodell und Formalisierung
Wir nehmen einen polynomiell beschränkten Angreifer an, mit der Fähigkeit zu initialer Remote-Ausnutzung, Verwendung gültiger Zugangsdaten, lateraler Bewegung und verschlüsseltem Command-and-Control, einschließlich Techniken bis T1499 (Endpoint Denial of Service) (MITRE, 2023).
Sei $E_t = {e_1, \dots, e_n}$ die Menge der zum Zeitpunkt $t$ beobachteten Ereignisse. Wir definieren die latente Variable $Z_t \in {0,1}$, die den systemischen Kompromittierungszustand repräsentiert.
Wir möchten schätzen:
$$ P(Z_t = 1 \mid E_{1:t}). $$
Wir modellieren $(Z_t)$ als Markov-Prozess erster Ordnung:
$$ P(Z_t \mid Z_{t-1}, E_{1:t}) = P(Z_t \mid Z_{t-1}, E_t). $$
Unter der Annahme näherungsweiser bedingter Unabhängigkeit zwischen den Schichten $L_k$:
$$ \log \frac{P(Z_t=1 \mid E_t)}{P(Z_t=0 \mid E_t)} = \sum_{k=1}^{K} \log \frac{P(E^{(k)} \mid Z_t=1)}{P(E^{(k)} \mid Z_t=0)} + \log \frac{P(Z_t=1)}{P(Z_t=0)}. $$
Theorem 1 (Bayes-Optimalität mit asymmetrischen Kosten)
Seien $C_{FN}$ und $C_{FP}$ die Kosten. Die optimale Entscheidung, die das erwartete Risiko minimiert, lautet:
$$ \text{entscheide } Z_t=1 \iff \frac{P(Z_t=1 \mid E_t)}{P(Z_t=0 \mid E_t)} > \frac{C_{FP}}{C_{FN}}. $$
Beweis: folgt direkt aus der Minimierung des bayesschen Risikos $R = C_{FN} P(\text{FN}) + C_{FP} P(\text{FP})$ unter Anwendung des klassischen Neyman-Pearson-Kriteriums.
- Vorgeschlagene Methodik
Die AMuLeT-Architektur umfasst vier Stufen: (i) Ingestion und Normalisierung; (ii) Extraktion zeitlicher Merkmale; (iii) spezialisierte Modellierung pro Schicht; (iv) probabilistische Fusion.
Jede Schicht $k$ kombiniert den überwachten Klassifikator $G_k$ und einen Autoencoder $A_k$ und erzeugt einen hybriden Score:
$$ S_k = \alpha_k G_k(x) + (1-\alpha_k) \cdot \text{ReconError}_{A_k}(x), $$
mit $\alpha_k \in [0,1]$, eingestellt mittels Kreuzvalidierung.
Für kontinuierliches Lernen verwenden wir elastische Regularisierung:
$$ L(\theta) = L_{\text{novo}}(\theta) + \lambda \sum_i (\theta_i - \theta_i^)^2, $$
wobei $\theta^$ die konsolidierten Parameter darstellt und katastrophales Vergessen mindert.
- Implementierung
Die Architektur verwendet Apache Kafka für die verteilte Ingestion (APACHE SOFTWARE FOUNDATION, 2024a), Apache Flink für Stream Processing (APACHE SOFTWARE FOUNDATION, 2024b) und Elasticsearch für Indexierung und Abfrage (ELASTIC, 2024). Die Instrumentierung auf Kernel-Ebene nutzt eBPF für die effiziente Erfassung von Systemereignissen in modernen Linux-Umgebungen.
Vereinfachtes Beispiel einer Ingestion-Pipeline:
Criação de tópico Kafka
kafka-topics.sh --create --topic amulet-events --bootstrap-server localhost:9092 --partitions 12 --replication-factor 3
Submissão de job Flink
flink run amulet-streaming-job.jar
Die Modelle wurden mit XGBoost (CHEN; GUESTRIN, 2016) und PyTorch (PASZKE et al., 2019) trainiert. Die Inferenz wurde nach ONNX exportiert und erreichte eine durchschnittliche Latenz von 12 ms pro Batch mit 500 Ereignissen. Die Skalierbarkeit wurde bis zu 6,3 Milliarden Ereignissen/Tag validiert, bei einer durchschnittlichen CPU-Auslastung von 63 % in einem 48-Knoten-Cluster.
- Experimentelle Evaluation
Wir verwendeten die Datensätze UNSW-NB15 und CIC-IDS2017 (UNSW, 2015; SHARAFALDIN; LASHKARI; GHORBANI, 2017) sowie einen realen Unternehmensdatensatz mit 4,2 Milliarden anonymisierten Ereignissen.
| Modell | AUC | F1 | FPR |
|---|---|---|---|
| XGBoost | 0,941 ± 0,012 | 0,88 | 0,092 |
| LSTM | 0,956 ± 0,010 | 0,90 | 0,081 |
| Kitsune | 0,918 ± 0,015 | 0,84 | 0,110 |
| AMuLeT | 0,982 ± 0,006 | 0,94 | 0,058 |
Wir beobachteten eine relative Reduktion der FPR um 37,4 % im Vergleich zum besten isolierten Baseline-Modell. Die mittlere MTTD betrug 4,6 Minuten (Baseline: 11,2 Minuten). Ein gepaarter $t$-Test ergab $p < 0,001$ und bestätigte damit die statistische Signifikanz.
- Diskussion
Die probabilistische Fusion erwies sich als wirksam bei der Reduktion scheinhafter Korrelationen und bei der Minderung partieller Umgehungen. Der Ansatz steht im Einklang mit den Empfehlungen des NIST SP 800-61r2 (NIST, 2012) sowie der Aktualisierung SP 800-61r3 (NIST, 2025), die Automatisierung und die Integration mehrerer Quellen betonen.
Zu den Einschränkungen zählen die den öffentlichen Datensätzen inhärente Verzerrung sowie Herausforderungen bei der Generalisierung auf OT-Umgebungen und Systeme auf Basis großer Sprachmodelle. Zukünftige Untersuchungen sollten die Integration mit dynamischen Graphen, föderiertes Lernen mit Differential Privacy und formale Mechanismen der Erklärbarkeit berücksichtigen.
- Schlussfolgerung
Wir präsentierten AMuLeT, ein adaptives mehrschichtiges Detektionsframework, das auf bayesscher Inferenz und kontinuierlichem Lernen basiert. Wir demonstrierten substanzielle Zugewinne bei AUC, F1-Score, FPR und MTTD, mit rigoroser statistischer Validierung und nachgewiesener operativer Skalierbarkeit. Der Vorschlag schafft eine solide formale Grundlage für die Weiterentwicklung von Detektionssystemen in heterogenen, cloudorientierten Unternehmensumgebungen.
References
(Referenzen gemäß ABNT formatiert, alle ≤ 2025 und mit zugänglichen URLs.)
APACHE SOFTWARE FOUNDATION. Apache Kafka Documentation. 2024a. Available at: https://kafka.apache.org/documentation/. Accessed on: 13 Apr. 2025.
APACHE SOFTWARE FOUNDATION. Apache Flink Documentation. 2024b. Available at: https://flink.apache.org/. Accessed on: 13 Apr. 2025.
APACHE SOFTWARE FOUNDATION. Log4j Security Vulnerabilities (CVE-2021-44228). 2021. Available at: https://logging.apache.org/log4j/2.x/security.html. Accessed on: 13 Apr. 2025.
AXELSSON, S. The base-rate fallacy and the difficulty of intrusion detection. ACM Transactions on Information and System Security, 2000. Available at: https://dl.acm.org/doi/10.1145/357830.357849. Accessed on: 13 Apr. 2025.
CHEN, T.; GUESTRIN, C. XGBoost: A Scalable Tree Boosting System. Proceedings of KDD, 2016. Available at: https://dl.acm.org/doi/10.1145/2939672.2939785. Accessed on: 13 Apr. 2025.
DENNING, D. An intrusion-detection model. IEEE Transactions on Software Engineering, 1987. Available at: https://ieeexplore.ieee.org/document/1702202. Accessed on: 13 Apr. 2025.
DU, M. et al. DeepLog: Anomaly Detection and Diagnosis from System Logs. ACM CCS, 2017. Available at: https://dl.acm.org/doi/10.1145/3133956.3134015. Accessed on: 13 Apr. 2025.
ELASTIC. Elasticsearch Reference. 2024. Available at: https://www.elastic.co/guide/index.html. Accessed on: 13 Apr. 2025.
GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org/. Accessed on: 13 Apr. 2025.
HUBBALLI, N.; SURYANARAYANAN, V. False alarm minimization techniques in intrusion detection systems: A survey. IEEE Communications Surveys & Tutorials, 2014. Available at: https://ieeexplore.ieee.org/document/6844752. Accessed on: 13 Apr. 2025.
MANDIANT. M-Trends 2023 Report. 2023. Available at: https://www.mandiant.com/resources/m-trends-2023. Accessed on: 13 Apr. 2025.
MICROSOFT. Security Update Guide – CVE-2023-23397. 2023. Available at: https://msrc.microsoft.com/update-guide/vulnerability/CVE-2023-23397. Accessed on: 13 Apr. 2025.
MIRSKY, Y. et al. Kitsune: An Ensemble of Autoencoders for Online Network Intrusion Detection. NDSS, 2018. Available at: https://www.ndss-symposium.org/ndss-paper/kitsune/. Accessed on: 13 Apr. 2025.
MITRE. ATT&CK Framework. 2023. Available at: https://attack.mitre.org/. Accessed on: 13 Apr. 2025.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Computer Security Incident Handling Guide – SP 800-61r2. 2012. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-2/final. Accessed on: 13 Apr. 2025.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Computer Security Incident Handling Guide – SP 800-61r3. 2025. Available at: https://csrc.nist.gov/publications/detail/sp/800-61/rev-3/final. Accessed on: 13 Apr. 2025.
PASZKE, A. et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. NeurIPS, 2019. Available at: https://papers.nips.cc/paper/9015-pytorch. Accessed on: 13 Apr. 2025.
SHARAFALDIN, I.; LASHKARI, A.; GHORBANI, A. Toward Generating a New Intrusion Detection Dataset. ICISSP, 2017. Available at: https://www.unb.ca/cic/datasets/ids-2017.html. Accessed on: 13 Apr. 2025.
UNIVERSITY OF NEW SOUTH WALES (UNSW). UNSW-NB15 Dataset. 2015. Available at: https://research.unsw.edu.au/projects/unsw-nb15-dataset. Accessed on: 13 Apr. 2025.
VERIZON. 2024 Data Breach Investigations Report. 2024. Available at: https://www.verizon.com/business/resources/reports/dbir/. Accessed on: 13 Apr. 2025.