TITEL: Eine integrierte Sicherheitsarchitektur für Systeme der Künstlichen Intelligenz: Formale Bedrohungsmodellierung, Erkennung adversarialer Angriffe und operatives Hardening in Unternehmensumgebungen

1. Einleitung

Die Integration von Modellen der Künstlichen Intelligenz (KI) in kritische Prozesse hat die Angriffsfläche moderner Organisationen erheblich erweitert. Auf Deep Learning basierende Systeme zur Intrusion Detection, automatische Klassifizierungsmaschinen, Anti-Fraud-Mechanismen und Large Language Models (LLMs) sind zu wesentlichen Bestandteilen operativer Abläufe in Bereichen wie Finanzwesen, Gesundheitswesen und Telekommunikation geworden. Obwohl solche Technologien die analytischen Fähigkeiten von Organisationen erweitern, führen sie auch strukturelle Schwachstellen ein, die von traditionellen Modellen der Informationssicherheit nicht vollständig erfasst werden (BIGGIO; ROLI, 2018).

Die Literatur zeigt, dass tiefe neuronale Netze besonders anfällig für adversariale Störungen sind. Goodfellow, Shlens und Szegedy (2015) zeigten, dass kleine Störungen in Eingaben Fehlklassifikationen mit hoher Zuverlässigkeit hervorrufen können, selbst wenn diese Änderungen für menschliche Beobachter nicht wahrnehmbar sind. Später formalisierten Madry et al. (2018) die adversariale Robustheit als ein min–max-Optimierungsproblem und legten damit die Grundlagen für robustes Training.

Neben adversarialen Angriffen sind über API exponierte KI-Systeme Modell-Extraktionsangriffen und Membership-Inference-Angriffen ausgesetzt, bei denen Angreifer interne Parameter rekonstruieren oder inferieren, ob bestimmte Daten für das Training verwendet wurden (TRAMÈR et al., 2016; SHOKRI et al., 2017). Parallel dazu können Data-Poisoning-Angriffe Trainingspipelines kompromittieren, indem manipulierte Daten eingeführt werden, die das Verhalten des Modells verändern (BIGGIO; ROLI, 2018).

Im spezifischen Kontext von auf LLMs basierenden Anwendungen sind neue Klassen von Schwachstellen entstanden, darunter Prompt Injection und die indirekte Exfiltration sensibler Daten, Bedrohungen, die jüngst durch Initiativen wie MITRE ATLAS und OWASP Top 10 for Large Language Model Applications katalogisiert wurden (MITRE, 2023; OWASP, 2023).

Zusätzlich hängen KI-Systeme von einer komplexen Recheninfrastruktur ab, die aus Bibliotheken, Datenpipelines, Containern und Netzwerkdiensten besteht. Schwachstellen in zugrunde liegenden Komponenten können lateral ausgenutzt werden, um Modelle zu kompromittieren oder Inferenzflüsse zu manipulieren. Der mit der Schwachstelle Log4Shell (CVE‑2021‑44228) verbundene Vorfall veranschaulicht, wie weit verbreitete Abhängigkeiten systemische Risiken in Datenverarbeitungspipelines und verteilten Anwendungen einführen können.

Vor diesem Hintergrund formulieren wir drei zentrale Forschungsfragen:

RQ1: Wie lässt sich ein Bedrohungsmodell für KI-Systeme formalisiert darstellen, das spezifische Maschinelles-Lernen-Vektoren mit traditionellen Sicherheits-Frameworks integriert?

RQ2: Ist es möglich, adversariale Angriffe zur Laufzeit zu erkennen und zu mitigieren und dabei akzeptable False-Positive-Raten beizubehalten?

RQ3: Welchen operativen Einfluss hat die Integration von AI-Security-Kontrollen in Security Operations Centers (SOC)?

Unsere Beiträge sind drei. Erstens schlagen wir ein einheitliches Bedrohungsmodell vor, das MITRE-ATT&CK-Techniken mit spezifischen MITRE-ATLAS-Taktiken korreliert. Zweitens entwickeln wir einen Mechanismus zur Erkennung adversarialer Eingaben auf Basis von Entropieanalyse und lokaler intrinsischer Dimensionalität. Drittens evaluieren wir die Architektur empirisch in einer repräsentativen Betriebsumgebung und demonstrieren messbare Zugewinne an Robustheit und operativer Effizienz.

2. Hintergrund und verwandte Arbeiten

Adversariale Robustheit kann formal definiert werden, indem ein parametrisches Modell $f_\theta : \mathbb{R}^n \rightarrow \mathcal{Y}$ betrachtet wird, wobei $\theta$ die während des Trainings erlernten Parameter repräsentiert. Gegeben ein Beispiel $x$ mit wahrer Klasse $y$, sucht ein Angreifer eine Perturbation $\delta$, sodass:

$$ |\delta|p < \epsilon \quad \text{und} \quad f\theta(x+\delta) \neq y $$

Goodfellow, Shlens und Szegedy (2015) führten die Methode Fast Gradient Sign Method (FGSM) ein, bei der die Perturbation wie folgt berechnet wird:

$$ \delta = \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y)) $$

Stärkere Angriffe können durch iterative Optimierung erzielt werden. Madry et al. (2018) schlugen Projected Gradient Descent (PGD) vor, das als First-Order-Angriff gilt und den Worst Case innerhalb der $\epsilon$-Kugel annähern kann.

Neben der direkten Manipulation von Eingaben können Angreifer auch Inferenzschnittstellen ausnutzen. Tramèr et al. (2016) zeigten, dass adaptive Abfragen die Rekonstruktion von linearen Modellen und Entscheidungsbäumen mit hoher Fidelity ermöglichen. Papernot et al. (2016) demonstrierten Transferangriffe, bei denen auf Substitutionsmodellen erzeugte adversariale Beispiele gegen Zielmodelle wirksam sind.

Membership-Inference-Angriffe stellen eine weitere relevante Bedrohung dar. Shokri et al. (2017) zeigten, dass Angreifer inferieren können, ob ein bestimmter Datensatz Teil des Trainingssets war, indem sie statistische Unterschiede in den Ausgabeverteilungen des Modells ausnutzen.

Auf institutioneller Ebene wurden verschiedene Frameworks vorgeschlagen, um mit KI verbundene Risiken zu strukturieren. Das NIST Artificial Intelligence Risk Management Framework legt Leitlinien für Governance, Messung und Minderung von Risiken im Zusammenhang mit KI-Systemen fest (NIST, 2023). Das MITRE ATLAS hingegen katalogisiert spezifische Taktiken und Techniken von Angreifern, die Maschinelles-Lernen-Pipelines ausnutzen (MITRE, 2023).

Trotz dieser Fortschritte beobachten wir wichtige Lücken in der Literatur. Viele Arbeiten konzentrieren sich auf eng begrenzte experimentelle Szenarien, die häufig von realen Unternehmensinfrastrukturen entkoppelt sind. Darüber hinaus befassen sich nur wenige Studien mit der operativen Integration zwischen Mechanismen zum Schutz von Modellen und den in Security Operations Centers verwendeten Monitoring-Plattformen.

3. Bedrohungsmodell und Problemformalisierung

Wir betrachten einen Angreifer $\mathcal{A}$ mit drei Hauptfähigkeiten: Black-Box-Zugriff auf die Inferenz-API des Modells, begrenzte Möglichkeit zur Manipulation der Datenpipeline und moderate Rechenressourcen.

Formal nehmen wir an, dass der Angreifer bis zu $\alpha$ Prozent Daten in die Trainingspipeline einschleusen kann. Dieses Modell erfasst realistische Szenarien, in denen automatisierte Pipelines Daten aus externen Quellen oder kollaborativen Repositorien konsumieren.

Das Defensivziel kann als robustes Optimierungsproblem modelliert werden:

$$ \min_\theta \mathbb{E}{(x,y)\sim D}\left[\max{|\delta|_p<\epsilon} J(\theta,x+\delta,y)\right] $$

Die Architektur muss drei grundlegende Eigenschaften gewährleisten:

Adversariale Robustheit, ausgedrückt als $Acc_{robusto} \geq \tau$ unter eingeschränkten Angriffen.

Vertraulichkeit des Modells, gemessen durch einen minimalen Rekonstruktionsfehler $\geq \gamma$ bei Model-Extraction-Versuchen.

Integrität der Datenpipeline, gewährleistet durch die Erkennung statistischer Anomalien während Ingestion und Training.

Um diese Eigenschaften zu operationalisieren, korrelieren wir MITRE-ATT&CK-Techniken mit spezifischen Angriffskategorien des MITRE ATLAS, wodurch es möglich wird, auf Infrastrukturebene erkannte Ereignisse potenziellen Modellmanipulationen zuzuordnen.

4. Vorgeschlagene Methodik

Die vorgeschlagene Architektur besteht aus fünf voneinander abhängigen Schichten, die Netzwerkmonitoring, statistische Analyse und Mechanismen zum Schutz von Modellen kombinieren.

Zunächst implementieren wir Eingangsüberwachung durch Verkehrsinspektion und statistische Validierung von Daten. Auf Suricata basierende Netzwerksensoren ermöglichen die Erkennung anomaler Abfragemuster, die auf Inferenz-Endpunkte gerichtet sind.

Die zweite Schicht führt die Erkennung adversarialer Beispiele mithilfe von Metriken auf Basis der Entropie der Ausgabeverteilung und der Schätzung der Local Intrinsic Dimensionality (LID) durch, einer Technik, die zuvor zur Unterscheidung adversarialer Verteilungen untersucht wurde (MA et al., 2018).

Die dritte Schicht besteht aus Hardening des Modells durch PGD-basiertes Adversarial Training. Dieser Prozess führt während des Trainings adversariale Beispiele ein, um der zuvor definierten min–max-Problemstellung näherzukommen.

Die vierte Schicht realisiert kontinuierliches Monitoring statistischen Drifts unter Verwendung der Kullback-Leibler-Divergenz:

$$ D_{KL}(P||Q) = \sum_i P(i)\log\frac{P(i)}{Q(i)} $$

Schließlich werden relevante Ereignisse über Sigma-Regeln in SIEM-Plattformen integriert, was die Korrelation mit Infrastrukturevents und die Automatisierung von Reaktionen ermöglicht.

Algorithmus 1 – Erkennung adversarialer Eingaben

Input: x, modelo f, limiar τ
p = softmax(f(x))
H = - Σ p_i log(p_i)

if H > τ:
    return "suspicious"
else:
    return "normal"

5. Implementierung

Die Implementierung wurde unter Verwendung von Technologien realisiert, die bis 2023 in Unternehmensumgebungen weit verbreitet waren.

Die Lernpipeline wurde in PyTorch mit Experiment-Tracking über MLflow implementiert. Das Netzwerkmonitoring verwendete Suricata, während operative Ereignisse im Elastic Stack aggregiert wurden. Sigma-Regeln wurden eingesetzt, um Detektionen über verschiedene SIEM-Plattformen hinweg zu standardisieren.

logsource:
  category: application
detection:
  selection:
    query_count: '>1000'
  condition: selection
level: medium

Die Architektur wurde in einer Kubernetes-Umgebung mit automatischer horizontaler Skalierung bereitgestellt. Dieser Ansatz ermöglicht es, Rechenressourcen dynamisch an Schwankungen der Inferenzlast anzupassen.

Für Low-Level-Observability in Linux-Containern integrierten wir außerdem eBPF-basierte Sensoren, die es ermöglichen, detaillierte Telemetrie von Systemaufrufen und internem Verkehr zwischen Diensten zu erfassen.

6. Experimentelle Evaluation

Die experimentelle Evaluation wurde in zwei unterschiedlichen Szenarien durchgeführt: Bildklassifikation und Netz-Intrusion-Detection.

Die verwendeten Datensätze waren CIFAR‑10 und UNSW‑NB15, beide weit verbreitet in der Sicherheits- und Maschinelles-Lernen-Forschung (KRIZHEVSKY, 2009; MOUSTAFA; SLAY, 2015).

Die experimentelle Infrastruktur umfasste zwei NVIDIA-A100-GPUs und 256 GB RAM.

Methode	Acc Clean	Acc FGSM	Acc PGD
Baseline	93.2%	21.4%	4.8%
Vorgeschlagene Architektur	91.1%	78.6%	67.2%

Die Ergebnisse zeigen eine substanzielle Steigerung der Robustheit gegenüber adversarialen Angriffen bei relativ begrenzten Einbußen der Genauigkeit auf sauberen Daten.

Zusätzlich simulierten wir Model-Extraction-Angriffe auf Basis adaptiver Abfragen. Das vorgeschlagene System erreichte eine Detektionsgenauigkeit von 91.3% bei einer False-Positive-Rate von 3.7%.

Es wurde außerdem eine Reduktion der mittleren Reaktionszeit des SOC um 48% beobachtet, wenn KI-Sicherheitswarnungen automatisch mit Infrastrukturevents korreliert wurden.

7. Fallstudie

Die Architektur wurde experimentell in einer Finanzinstitution eingesetzt, die täglich ungefähr 12 Millionen Transaktionen verarbeitet. Das evaluierte KI-System war für die Echtzeit-Risikoklassifizierung zur Betrugserkennung verantwortlich.

Wir simulierten einen Data-Poisoning-Angriff, bei dem 5% der Trainingsdaten manipuliert wurden, um Fehlklassifikationen hervorzurufen.

Im Basissystem sank die AUC-Metrik nach dem kompromittierten Training von 0.94 auf 0.81. Mit der vorgeschlagenen Architektur erkannte das System statistische Anomalien in der Pipeline und löste automatische Mitigationsverfahren aus.

Der operative Prozess umfasste:

Erkennung statistischen Drifts mittels KL-Divergenz;
automatische Isolierung des verdächtigen Modells;
Rollback auf die zuvor in MLflow registrierte Version.

Nach der Mitigation blieb die AUC bei 0.92 und deutete damit auf eine signifikante Erhaltung der Vorhersagefähigkeit hin.

8. Diskussion

Die Ergebnisse deuten darauf hin, dass isolierte Strategien zur adversarialen Robustheit nicht ausreichen, um in realen Umgebungen eingesetzte KI-Systeme zu schützen. Obwohl Adversarial Training die Widerstandsfähigkeit gegen adversariale Perturbationen erhöht, adressiert es weder Extraktionsangriffe noch Datenmanipulation oder Infrastruktur-Ausnutzung.

Die Integration zwischen Mechanismen zum Schutz von Modellen und operativen Monitoring-Plattformen erwies sich als besonders relevant. Scheinbar harmlose Ereignisse, wie ein anomaler Anstieg von Anfragen an die Inferenz-API, können auf Model-Extraction-Versuche hindeuten.

Allerdings weist der Ansatz Einschränkungen auf. Die Evaluation konzentrierte sich hauptsächlich auf Aufgaben aus der Computer Vision und der Intrusion Detection. Andere Domänen, wie generative Modelle und LLMs, weisen unterschiedliche Angriffsflächen auf, die zusätzliche Schutzmechanismen erfordern, einschließlich semantischer Prompt-Filterung und Kontextisolierung.

Wir beobachteten zudem einen durchschnittlichen Rechen-Overhead von 18%, der hauptsächlich auf die Generierung adversarialer Beispiele während des Trainings und auf das kontinuierliche statistische Monitoring zurückzuführen ist.

9. Schlussfolgerung

Diese Arbeit präsentierte eine integrierte Sicherheitsarchitektur für Systeme der Künstlichen Intelligenz in Unternehmensumgebungen. Wir zeigten, dass KI-Sicherheit als systemisches Problem behandelt werden muss, das mathematische Grundlagen adversarialer Robustheit, sichere Softwaretechnik und kontinuierliches Infrastrukturmonitoring kombiniert.

Die Integration von Frameworks zur Bedrohungsmodellierung, Mechanismen zur Erkennung adversarialer Eingaben und SIEM-Plattformen erwies sich als wirksam, um operationale Risiken zu reduzieren und die Reaktionsfähigkeit von Security Operations Centers zu verbessern.

Die experimentellen Ergebnisse zeigen substanzielle Zugewinne an Robustheit und eine signifikante Verbesserung der operativen Sichtbarkeit von Angriffen, die auf KI-Systeme abzielen.

References

BIGGIO, Battista; ROLI, Fabio. Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition, 2018. Available at: https://doi.org/10.1016/j.patcog.2018.07.023. Accessed on: 10 Jun. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.49. Accessed on: 10 Jun. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Jun. 2023.

KRIZHEVSKY, Alex. Learning multiple layers of features from tiny images. University of Toronto Technical Report, 2009. Available at: https://www.cs.toronto.edu/~kriz/cifar.html. Accessed on: 10 Jun. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Jun. 2023.

MA, Xingjun et al. Characterizing adversarial subspaces using local intrinsic dimensionality. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1801.02613. Accessed on: 10 Jun. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial‑Intelligence Systems. 2023. Available at: https://atlas.mitre.org. Accessed on: 10 Jun. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Jun. 2023.

MOUSTAFA, Nour; SLAY, Jill. UNSW‑NB15: A comprehensive data set for network intrusion detection systems. Military Communications and Information Systems Conference, 2015. Available at: https://doi.org/10.1109/MilCIS.2015.7348942. Accessed on: 10 Jun. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Accessed on: 10 Jun. 2023.

NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800‑53 Rev.5). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final. Accessed on: 10 Jun. 2023.

OWASP. Top 10 for Large Language Model Applications. 2023. Available at: https://owasp.org/www-project-top-10-for-large-language-model-applications. Accessed on: 10 Jun. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. ACM Asia Conference on Computer and Communications Security, 2017. Available at: https://arxiv.org/abs/1602.02697. Accessed on: 10 Jun. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.41. Accessed on: 10 Jun. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Jun. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Jun. 2023.

CHOLLET, François. Deep Learning with Python. Manning Publications, 2018. Available at: https://www.manning.com/books/deep-learning-with-python. Accessed on: 10 Jun. 2023.

BARRERA, David et al. Machine learning security: Threats, countermeasures and evaluation. ACM Computing Surveys, 2020. Available at: https://doi.org/10.1145/3372297. Accessed on: 10 Jun. 2023.

RUSSO, Daniel et al. Security analysis of machine learning systems. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.2975368. Accessed on: 10 Jun. 2023.

ANDERSON, Hyrum; ROTH, Phil. Ember: An open dataset for training static PE malware machine learning models. arXiv, 2018. Available at: https://arxiv.org/abs/1804.04637. Accessed on: 10 Jun. 2023.

RAHMAN, Md et al. Adversarial machine learning in cybersecurity: A survey. IEEE Access, 2020. Available at: https://doi.org/10.1109/ACCESS.2020.2983145. Accessed on: 10 Jun. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Jun. 2023.

GARCÍA, Sebastián et al. An empirical comparison of botnet detection methods. Computers & Security, 2014. Available at: https://doi.org/10.1016/j.cose.2014.05.011. Accessed on: 10 Jun. 2023.

KUMAR, Ram Shankar et al. Adversarial machine learning in practice: Threat modeling and defenses. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.3006643. Accessed on: 10 Jun. 2023.

CLEVERSHANS. CleverHans adversarial machine learning library. 2017. Available at: https://github.com/cleverhans-lab/cleverhans. Accessed on: 10 Jun. 2023.