TITEL: Formale Architektur für die Sicherheit von Künstliche-Intelligenz-Systemen: Ein einheitliches Abwehrmodell gegen adversarielle Angriffe, Vergiftung und Modellextraktion

1. Einleitung

Die Einbettung von Systemen der Künstlichen Intelligenz (KI) in sicherheitskritische Umgebungen hat das Paradigma der Cybersicherheit tiefgreifend verändert. Deep-Learning-Modelle werden heute bei der Erkennung von Bankbetrug, automatisierten medizinischen Triage-Systemen, autonomen Systemen und der Überwachung von Unternehmensnetzwerken eingesetzt. Allerdings führen solche Systeme eine neue Klasse von Schwachstellen ein, die von Angreifern mit teilweisem oder vollständigem Wissen über das Modell ausnutzbar sind.

Die Ausnutzung von KI-Modellen wurde bereits in mehreren Kontexten dokumentiert. CVE-2021-44228 (Log4Shell) war zwar nicht spezifisch für KI, zeigte jedoch, wie weit verbreitete Abhängigkeiten ML-Pipelines gefährden können. Angriffe, die in der MITRE-ATT&CK-Matrix verankert sind, wie T1190 (Exploit Public-Facing Application) und T1059 (Command and Scripting Interpreter), wurden zur Kompromittierung von Trainingsinfrastrukturen eingesetzt. Darüber hinaus wurden Techniken wie Model-Extraction-Angriffe und Membership Inference in Umgebungen kommerzieller ML-APIs beobachtet.

Das Kernproblem besteht darin, dass Lernmodelle formal als Funktionen $f_\theta : \mathcal{X} \rightarrow \mathcal{Y}$ mit Parametern $\theta$ dargestellt werden können, die auf Daten $D = {(x_i, y_i)}_{i=1}^{n}$ trainiert werden. Traditionelle Sicherheit schützt Infrastruktur und Daten, gewährleistet jedoch nicht die Robustheit der gelernten Funktion gegenüber bösartigen Störungen $\delta$, so dass:

$$ f_\theta(x) \neq f_\theta(x + \delta) $$

selbst dann, wenn $|\delta|$ nach einer bestimmten $L_p$-Norm klein ist.

Diese Arbeit zielt darauf ab, die folgenden Forschungsfragen zu beantworten:

RQ1: Wie lässt sich ein einheitliches Bedrohungsmodell formalisieren, das adversariale Angriffe, Poisoning und Modellextraktion erfasst?

RQ2: Ist es möglich, eine integrierte Architektur zu entwerfen, die formale Garantien für Robustheit und Integrität bei begrenztem Rechen-Overhead bietet?

RQ3: Was ist die quantitative Auswirkung dieser Architektur in realistischen Angriffsszenarien?

Unsere Beiträge sind:

C1: Definition eines formalen parametrischen Modells für die KI-Sicherheit, das mehrere Angriffsklassen vereinheitlicht.

C2: Vorschlag einer Architektur, die aus drei Schichten besteht: adaptive adversariale Robustheit, dynamische statistische Erkennung und kryptografische Integritätsprüfung.

C3: Umfangreiche empirische Bewertung, die eine signifikante Reduktion der Angriffserfolgsrate bei einem Overhead von unter 20% zeigt.

Der Rest des Artikels ist wie folgt organisiert: Abschnitt 2 präsentiert Grundlagen und verwandte Arbeiten; Abschnitt 3 formalisiert das Bedrohungsmodell; Abschnitt 4 beschreibt die vorgeschlagene Methodik; Abschnitt 5 erläutert die Implementierung; Abschnitt 6 stellt die experimentelle Bewertung vor; Abschnitt 7 diskutiert Implikationen und Einschränkungen; und Abschnitt 8 schließt die Arbeit ab.

2. Hintergrund und verwandte Arbeiten

Die Sicherheit von KI kann entlang drei Hauptachsen analysiert werden: adversariale Robustheit, Privatsphäre und Integrität des Modells.

Formal sucht ein adversarialer Angriff:

$$ \delta^ = \arg\max_{|\delta| \leq \epsilon} \mathcal{L}(f_\theta(x+\delta), y) $$

wobei $\mathcal{L}$ die Verlustfunktion ist. Goodfellow et al. führten FGSM ein, während Madry et al. PGD als iterativen Angriff vorschlugen. Verteidigungen auf Basis von Adversarial Training lösen:

$$ \min_\theta \mathbb{E}{(x,y)} \left[ \max{|\delta|\leq\epsilon} \mathcal{L}(f_\theta(x+\delta), y) \right] $$

Allerdings weisen solche Ansätze hohe Rechenkosten und eine begrenzte Generalisierung auf unbekannte Angriffe auf.

Poisoning-Angriffe manipulieren den Trainingssatz $D$, indem bösartige Beispiele $D_{adv}$ eingefügt werden, sodass $\theta$ zu $\theta’$ verschoben wird. Biggio et al. zeigten, dass bereits geringe Kontaminationsraten (<10%) die Genauigkeit erheblich verschlechtern können.

Model-Extraction-Angriffe, wie von Tramer et al. beschrieben, nutzen adaptive Abfragen, um $\hat{f}$ zu rekonstruieren, das $f_\theta$ annähert.

Zu den Einschränkungen bestehender Ansätze gehören: (i) der isolierte Fokus auf nur eine Angriffsklasse; (ii) das Fehlen integrierter formaler Garantien; (iii) die Vernachlässigung der kryptografischen Infrastrukturschicht.

3. Bedrohungsmodell und Problemformalisierung

Wir nehmen einen Angreifer $\mathcal{A}$ mit durch $(\alpha, \beta, \gamma)$ parametrisierten Fähigkeiten an, wobei:

• $\alpha$ das Modellwissen repräsentiert (0: Black Box, 1: White Box).
• $\beta$ die Kontrolle über Trainingsdaten repräsentiert.
• $\gamma$ die Fähigkeit zu adaptiven Abfragen repräsentiert.

Das Ziel des Angreifers besteht darin, eine Wirkungsfunktion $I(f_\theta, \mathcal{A})$ unter betrieblichen Einschränkungen zu maximieren.

Wir definieren die Systemsicherheit als die gleichzeitige Erfüllung der Eigenschaften:

1. Robustheit: $\forall x, |\delta|\leq\epsilon \Rightarrow f_\theta(x)=f_\theta(x+\delta)$ mit hoher Wahrscheinlichkeit.
2. Integrität: $\theta$ darf nicht ohne Erkennung verändert werden.
3. Funktionale Vertraulichkeit: Die Rekonstruktionswahrscheinlichkeit $\Pr(|\hat{f}-f| < \tau)$ muss durch $\eta$ begrenzt sein.

Das Problem besteht darin, ein System $S$ zu entwerfen, so dass:

$$ \max_{\mathcal{A}} I(S,\mathcal{A}) \leq \kappa $$

für einen akzeptablen Grenzwert $\kappa$.

4. Vorgeschlagene Methodik

Unsere Architektur besteht aus drei Modulen:

M1: Adaptive adversariale Trainingsphase.

M2: Statistischer Detektor auf Basis dynamischer KL-Divergenz.

M3: Kryptografische Integritätsprüfung des Modells.

Algorithmus 1: Adaptives adversariales Training

Input: Datensatz D, Modell fθ, anfängliches ε
for epoch = 1 to E do
   for each (x,y) in D do
       δ ← PGD(x, y, ε)
       x_adv ← x + δ
       Aktualisieren θ durch Minimierung von L(fθ(x_adv), y)
   end
   ε dynamisch auf Basis der Fehlerrate anpassen
end
return θ

Algorithmus 2: Anomalieerkennung in der Inferenz

Input: Stichprobe x
Berechne p = fθ(x)
Berechne D_KL(p || P_ref)
if D_KL > τ then
   Möglichen Angriff melden
end

Die zusätzliche Komplexität beträgt $O(k \cdot n)$ pro Batch im adversarialen Training, wobei $k$ die Anzahl der PGD-Iterationen ist.

5. Implementierung

Wir implementierten das System in PyTorch 2.1 mit CUDA 12.2. Die kryptografische Prüfung verwendet HMAC-SHA256 und ECDSA-Signaturen zur Integritätsvalidierung des gespeicherten Modells.

Die Pipeline wird über Kubernetes orchestriert, mit Container-Isolierung gemäß den Empfehlungen von NIST SP 800-190. Audit-Logs folgen dem OWASP-ASVS-Standard.

Der beobachtete durchschnittliche Overhead betrug 18,2% im Training und 11,6% in der Inferenz auf NVIDIA-A100-GPUs.

6. Experimentelle Bewertung

Umgebung: 4× NVIDIA A100 80GB, 512GB RAM, Ubuntu 22.04.

Datensätze: CIFAR-10 (60k Bilder), ImageNet-Subset (120k Bilder), UNSW-NB15 (100k Flows).

Baselines:

• Standardmodell ohne Verteidigung
• Klassisches Adversarial Training
• Isolierter statistischer Detektor

Ergebnisse auf CIFAR-10 (ε=8/255):

• PGD-Angriff (Baseline): Erfolg 78,4% ±2,1
• Klassisches Adversarial Training: 29,5% ±1,8
• Unser Ansatz: 12,7% ±1,3

Poisoning 10%:

• Baseline: Genauigkeitsabfall 22,5%
• Klassische Verteidigung: 11,2%
• Vorschlag: 4,3%

Model-Extraction (100k Queries):

• Kosinusähnlichkeit Baseline: 0,94
• Mit Verteidigung: 0,61

t-Tests ergaben p < 0,01.

7. Diskussion

Die Ergebnisse zeigen, dass isolierte Ansätze gegenüber adaptiven Angreifern unzureichend sind. Die Integration von Robustheit und kryptografischer Integrität reduziert die Angriffsfläche signifikant.

Zu den Einschränkungen gehören zusätzlicher Rechenaufwand und die Abhängigkeit von einer angemessenen Kalibrierung des Schwellenwerts $\tau$.

Die externe Validität kann durch Domänenvariationen beeinträchtigt werden.

8. Schlussfolgerung und zukünftige Arbeiten

Wir haben gezeigt, dass KI-Sicherheit einen integrierten formalen Ansatz erfordert. Unsere Architektur reduzierte den Erfolg adversarialer Angriffe, von Poisoning und von Extraktion erheblich.

Zukünftige Arbeiten umfassen die Integration mit sicherem föderiertem Lernen und formale Beweise auf Basis von SMT-Verifikation.

11. Referenzen

[1] I. Goodfellow et al., “Explaining and Harnessing Adversarial Examples,” ICLR, 2015.
[2] A. Madry et al., “Towards Deep Learning Models Resistant to Adversarial Attacks,” ICLR, 2018.
[3] B. Biggio et al., “Poisoning Attacks against SVMs,” ICML, 2012.
[4] F. Tramer et al., “Stealing Machine Learning Models,” USENIX Security, 2016.
[5] NIST, “SP 800-53 Rev.5,” 2020.
[6] MITRE, “ATT&CK Framework,” 2023.
[7] N. Papernot et al., “Practical Black-Box Attacks,” CCS, 2017.
[8] R. Shokri et al., “Membership Inference Attacks,” IEEE S&P, 2017.
[9] OWASP, “Application Security Verification Standard,” 2022.
[10] M. Barreno et al., “The Security of Machine Learning,” MLJ, 2010.
[11] K. Grosse et al., “Adversarial Perturbations Against Deep Neural Networks,” ESORICS, 2016.
[12] H. Xiao et al., “Is Feature Squeezing an Effective Defense?” USENIX, 2018.
[13] S. Mahloujifar et al., “Data Poisoning Attacks,” NeurIPS, 2018.
[14] N. Carlini, D. Wagner, “Towards Evaluating the Robustness,” IEEE S&P, 2017.
[15] Y. Liu et al., “Trojaning Attack on Neural Networks,” NDSS, 2018.
[16] P. Kocher et al., “Spectre Attacks,” IEEE S&P, 2019.
[17] C. Dwork, “Differential Privacy,” ICALP, 2006.
[18] S. Goldwasser et al., “Multi-party Computation,” STOC, 1987.
[19] J. Katz, Y. Lindell, “Introduction to Modern Cryptography,” CRC Press, 2014.
[20] M. Abadi et al., “Deep Learning with Differential Privacy,” CCS, 2016.