TITEL: Betriebsarchitektur für die Sicherheit von Systemen der Künstlichen Intelligenz: Bedrohungsmodellierung, Defense in Depth und empirische Bewertung in kritischen Umgebungen

1. Einführung

Die massive Einführung von Systemen des maschinellen Lernens (Machine Learning – ML) und des tiefen Lernens (Deep Learning – DL) in kritischen Infrastrukturen hat die gegenwärtige Cyberrisikolandschaft substantiell neu definiert. KI-Systeme werden weit verbreitet in antifraudulen Bankensystemen, automatischer Malware-Klassifikation, Intrusion Detection, Triage von Vorfällen in Security Operations Centers (SOC) sowie biometrischen Authentifizierungssystemen eingesetzt. Im Gegensatz zu traditioneller deterministischer Software stellen KI-Modelle jedoch probabilistische Entitäten dar, deren Verhalten aus der statistischen Verteilung der während des Trainings verwendeten Daten hervorgeht (GOODFELLOW; BENGIO; COURVILLE, 2016).

Diese Eigenschaft führt zu neuartigen Angriffsvektoren. Geringfügige Manipulationen in der Datenverteilung können das Verhalten von Modellen erheblich verändern und adversariale Angriffe, Datenvergiftung oder Modellauslese ermöglichen. Goodfellow, Shlens und Szegedy (2015) zeigten empirisch, dass unmerkliche Störungen in Eingaben systematische Klassifikationsfehler in tiefen neuronalen Netzen hervorrufen können. Spätere Forschungen demonstrierten Poisoning-Angriffe, die in der Lage sind, das Verhalten von Modellen während des Trainings zu degradieren oder zu manipulieren (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

Darüber hinaus können über APIs exponierte Inferenzschnittstellen zur approximativen Rekonstruktion proprietärer Modelle mittels adaptiver Anfragen ausgenutzt werden, ein Phänomen, das als Model Extraction bekannt ist (TRAMÈR et al., 2016). In Unternehmensumgebungen kombinieren sich solche Vektoren häufig mit betrieblichen Schwachstellen in MLOps-Pipelines, einschließlich unzureichender Verwaltung von Anmeldeinformationen, unsicherer Speicherung von Modellartefakten und fehlender Integritätsüberwachung von Daten (KUMAR et al., 2022).

Aus operativer Sicht können diese Angriffe mit in der MITRE-ATT&CK-Matrix dokumentierten Techniken korreliert werden, darunter die Ausnutzung exponierter Anwendungen (T1190), Datenmanipulation (T1565) und Kompromittierung von Anmeldeinformationen (T1552) (MITRE, 2023). Gleichwohl behandeln die meisten Unternehmenssicherheitsarchitekturen KI-Modelle weiterhin als konventionelle Softwarekomponenten und ignorieren deren spezifische statistische Eigenschaften.

Vor diesem Hintergrund formulieren wir die folgende zentrale Forschungsfrage: Wie lässt sich eine operative Sicherheitsarchitektur entwerfen, die KI-Modelle als kritische Assets behandelt und sowohl den Trainingslebenszyklus als auch den Inferenzprozess in Produktion schützt?

Daraus leiten wir drei Hauptforschungsfragen ab:

RQ1: Wie lässt sich ein spezifisches Bedrohungsmodell für KI-Systeme formal definieren, das sowohl adversariale Vektoren als auch traditionelle Infrastrukturangriffe erfasst?

RQ2: Welche praktischen Mechanismen ermöglichen die Erkennung und Eindämmung von Datenvergiftung und Modellauslese in operativen Umgebungen?

RQ3: Welchen Einfluss haben diese Mechanismen hinsichtlich Rechenaufwand und defensiver Wirksamkeit?

Die Beiträge dieser Arbeit sind drei. Erstens schlagen wir ein formales Sicherheitsmodell für KI-Pipelines vor, das auf messbaren Eigenschaften statistischer Integrität und parametrischer Vertraulichkeit basiert. Zweitens entwickeln wir operative Algorithmen zur Erkennung von Datenvergiftung und zur Minderung adversarialer Anfragen an Inferenz-APIs. Drittens evaluieren wir die vorgeschlagene Architektur empirisch in einer experimentellen Umgebung, die repräsentativ für kritische Infrastrukturen ist.

2. Hintergrund und verwandte Arbeiten

Betrachten wir ein überwachtes Modell, das durch eine Funktion

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

mit Parametrisierung durch $\theta \in \mathbb{R}^n$ dargestellt wird. Das Training erfolgt auf einem Datensatz

$D = {(x_i, y_i)}_{i=1}^{m}$

unter Minimierung einer empirischen Verlustfunktion:

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

In realen Systemen können sowohl Daten als auch Anfragen von Angreifern manipuliert werden. Adversariale Angriffe versuchen, eine Störung $\delta$ zu finden, so dass:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{unter der Nebenbedingung } ||\delta||_p < \epsilon $$

Diese Art von Angriff wurde ursprünglich mittels der Fast Gradient Sign Method (FGSM) demonstriert (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Datenvergiftungsangriffe fügen manipulierte Teilmengen $D_p$ in den Trainingssatz ein und führen so zu einem neuen Modell:

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

wobei $D_p$ so konstruiert ist, dass der Fehler auf Zielproben maximiert wird (BIGGIO et al., 2012).

Modellausleseangriffe wiederum nutzen adaptive Anfragen an die Inferenz-API aus, um das ursprüngliche Modell $f_\theta$ durch ein Ersatzmodell $\hat{f}_{\theta’}$ anzunähern (TRAMÈR et al., 2016). Dieses Problem wird besonders relevant bei über das Web zugänglichen ML-Diensten.

Obwohl die wissenschaftliche Literatur diese Bedrohungen umfassend untersucht hat, besteht eine erhebliche Lücke zwischen theoretischen Vorschlägen und in operativen Umgebungen implementierbaren Sicherheitsmechanismen. Arbeiten wie Papernot et al. (2016) untersuchen die Transferierbarkeit adversarialer Beispiele, behandeln jedoch nicht die Integration mit unternehmensweiten Überwachungssystemen. In ähnlicher Weise ignorieren Forschungen zur adversarialen Robustheit häufig die für produktive Systeme typischen Anforderungen an Latenz und Skalierbarkeit (MADRY et al., 2018).

In jüngerer Zeit haben Studien zur Sicherheit von ML-Pipelines Risiken im Zusammenhang mit der Datenlieferkette, der Reproduzierbarkeit des Trainings und der Versionskontrolle von Modellen hervorgehoben (KUMAR et al., 2022; CRENSHAW; VU, 2021). Diese Aspekte unterstreichen die Notwendigkeit von Ansätzen, die statistische Techniken mit traditionellen Kontrollen der Infrastruktursicherheit kombinieren.

3. Bedrohungsmodell und Problemformalisierung

Wir nehmen einen Angreifer $\mathcal{A}$ mit realistischen Fähigkeiten in Unternehmensumgebungen an:

1. Partieller Schreibzugriff auf den Trainingsdatensatz, möglicherweise über eine Kompromittierung der Datenlieferkette.
2. Zugriff per Anfrage auf die extern exponierte Inferenz-API.
3. Fähigkeit, internen Datenverkehr in kompromittierten Unternehmensnetzwerken abzufangen oder zu beobachten.

Die Ziele des Angreifers umfassen:

• den Klassifikationsfehler in einer Zielteilmenge $T$ zu maximieren
• die Modellparameter $\theta$ zu rekonstruieren
• einen Backdoor-Trigger $t$ einzuschleusen, so dass $f_\theta(x+t)=y^$

Wir definieren zwei wünschenswerte formale Eigenschaften.

Statistische Integrität der Daten:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

wobei $D_{KL}$ die Kullback–Leibler-Divergenz zwischen der beobachteten Trainingsverteilung und einer Referenzverteilung darstellt.

Parametrische Vertraulichkeit:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

wobei $\theta’$ eine von einem Angreifer mittels Anfragen erhaltene Annäherung darstellt.

Diese Eigenschaften ermöglichen es, quantitative Grenzen für die Anomalieerkennung und für die Bewertung der Wirksamkeit defensiver Kontrollen festzulegen.

4. Vorgeschlagene Methodik

Die vorgeschlagene Architektur folgt einem Defense-in-Depth-Modell, das auf den Lebenszyklus von KI-Systemen angewendet wird.

Schicht	Ziel	Mechanismen
Datenvalidierung	Statistische Manipulation erkennen	KL-Divergenz, Ausreißeranalyse
Robustes Training	Empfindlichkeit gegenüber Angriffen reduzieren	Regularisierung und Filterung
Inferenzüberwachung	Anomale Anfragen erkennen	Entropieanalyse
SOC-Integration	Operative Reaktion	SIEM und Ereigniskorrelation

Algorithmus 1 — Erkennung von Datenvergiftung

Input: Dataset D, baseline distribution P0
Output: Flagged samples F

1: Estimate empirical distribution P_D
2: Compute D_KL(P_D || P0)
3: If D_KL > τ:
4:     For each sample x_i in D:
5:         Compute influence score I(x_i)
6:         If I(x_i) > λ:
7:             Add x_i to F
8: Return F

Die Einflussanalyse basiert auf der Approximation des Beitrags jeder Probe zur Verlustfunktion des Modells (KOH; LIANG, 2017). Die Komplexität des Algorithmus beträgt ungefähr $O(n \log n)$, wenn die Dichteschätzung mittels Kernel Density Estimation durchgeführt wird.

Algorithmus 2 — Adaptives Rate Limiting

Monitor distribution of API queries
Compute entropy H(Q)

If ΔH(Q) < -δ:
    apply adaptive throttling
    trigger security alert

Ein abrupter Entropierückgang bei Anfragen weist häufig auf eine systematische Ausnutzung der API zur Modellauslese hin.

5. Implementierung

Die Architektur wurde unter Verwendung eines technologischen Stacks implementiert, der für Unternehmensumgebungen im Jahr 2023 repräsentativ ist.

Komponente	Technologie
Orchestrierung	Kubernetes 1.28
ML-Framework	PyTorch 2.1
Experimentmanagement	MLflow
Netzwerkmonitoring	Suricata 7.0
SIEM	Wazuh
Geheimnisverwaltung	HashiCorp Vault

Beispiel einer YARA-Regel zur Erkennung verdächtiger Muster in Modellartefakten:

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Von Netzwerksensoren und der ML-Pipeline erzeugte Ereignisse wurden in Sigma-Regeln umgewandelt und anschließend in der Analyse-Engine des SIEM korreliert.

6. Experimentelle Evaluation

Die experimentelle Evaluation wurde in einer Infrastruktur durchgeführt, die aus drei physischen Dell-PowerEdge-R740-Knoten bestand, jeweils ausgestattet mit Intel-Xeon-Silver-Prozessoren, 128 GB RAM und einer NVIDIA-A100-GPU.

Verwendete Datensätze:

Datensatz	Typ	Verwendung
CIC‑IDS2017	Netzwerkverkehr	Intrusion Detection
Adversarial MNIST	Computer Vision	adversariale Evaluation
Echte SOC-Logs	Sicherheitsereignisse	operative Evaluation

Experimentelle Ergebnisse:

Metrik	Baseline	Vorgeschlagene Architektur
FGSM-Angriffserfolg	78,4%	35,7%
Genauigkeit der Modellauslese	91%	28%
Erkennung von Poisoning (F1)	—	0,94

Der Mechanismus zur Erkennung von Datenvergiftung erreichte eine Präzision von 96,3% und einen Recall von 91,8%, bei einer Standardabweichung von ±1,2%.

Operative Auswirkungen:

Metrik	Wert
Durchschnittlicher CPU-Overhead	8,4%
Zusätzliche Latenz	12 ms

Diese Ergebnisse deuten darauf hin, dass statistische Kontrollen mit moderatem operativem Aufwand in KI-Pipelines integriert werden können.

7. Fallstudie

Wir wendeten die Architektur in einem repräsentativen Szenario eines Finanz-SOC an, das ein auf überwachtem Lernen basierendes antifraud-Betreuungssystem betrieb.

Während des Experiments schleuste ein Red-Team absichtlich 0,8% manipulierte Proben in die Trainingspipeline ein.

Beobachteter Ablauf:

1. Die Divergenz $D_{KL}$ überschritt den Schwellenwert $\tau = 0,15$.
2. Der Einflussalgorithmus identifizierte eine Teilmenge verdächtiger Proben.
3. Die Proben wurden automatisch isoliert.
4. Eine Warnung wurde zur Untersuchung an das SIEM gesendet.

Der Angriff wurde vor der Bereitstellung des aktualisierten Modells in Produktion erkannt, was die Wirksamkeit der Integration statistischer Mechanismen mit operativen Kontrollen demonstriert.

8. Diskussion

Die experimentellen Ergebnisse zeigen, dass auf statistischem Monitoring basierende Ansätze die Angriffsfläche von KI-Systemen erheblich reduzieren können. Der Hauptvorteil der vorgeschlagenen Architektur liegt in der Integration spezifischer ML-Erkennungsmechanismen mit traditionellen Tools der Unternehmenssicherheit.

Dennoch sind einige Limitationen zu berücksichtigen. Die Wirksamkeit der Erkennung hängt von der Verfügbarkeit vertrauenswürdiger Referenzverteilungen für den statistischen Vergleich ab. In hochdynamischen Umgebungen können legitime Verschiebungen in der Datenverteilung falsche Positive erzeugen.

Eine weitere Bedrohung der experimentellen Validität liegt in der teilweisen Verwendung synthetischer oder öffentlicher Datensätze. Obwohl sie in der Forschung weit verbreitet sind, können solche Datensätze die Komplexität realer Unternehmensumgebungen nicht vollständig abbilden.

Schließlich erfordert die Governance von KI-Systemen nicht nur technische Kontrollen, sondern auch organisatorische Strukturen und Richtlinien des Risikomanagements. In diesem Zusammenhang bieten Frameworks wie das NIST AI Risk Management Framework relevante Leitlinien für die Integration von Sicherheit, Governance und KI-Engineering (NIST, 2023).

9. Schlussfolgerung

Diese Arbeit präsentierte eine operative Architektur für die Sicherheit von Systemen der künstlichen Intelligenz auf Grundlage von Prinzipien des Defense-in-Depth und statistischem Monitoring. Wir formalisierten relevante Sicherheitsmerkmale für Machine-Learning-Pipelines und führten praktische Mechanismen zur Erkennung von Datenvergiftung und zur Minderung von Modellausleseangriffen ein.

Die experimentelle Evaluation zeigte, dass der vorgeschlagene Ansatz die Wirksamkeit adversarialer Angriffe und von Modellausleseangriffen erheblich reduziert, bei moderaten Rechenkosten. Die Fallstudie in einer Finanz-SOC-Umgebung unterstreicht die praktische Anwendbarkeit der Architektur in realen Szenarien.

Die Ergebnisse zeigen, dass der Schutz von KI-Systemen die Konvergenz von robusten Machine-Learning-Techniken, Infrastruktursicherheit und kontinuierlichem operativem Monitoring erfordert.

References

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 dez. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 dez. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 dez. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 dez. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 dez. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 dez. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 dez. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 dez. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 dez. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 dez. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 dez. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 dez. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 dez. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 dez. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 dez. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 dez. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 dez. 2023.

NASR, Milad; SHOKRI, Reza; HOUMANSADR, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 dez. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 dez. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 dez. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 dez. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 dez. 2023.