← Zurück zu den Papers

Paper Files / AI Security

TITEL: Formal verifizierbare Architektur für die Sicherheit von Machine-Learning-Modellen unter adaptiven Angriffen: Ein integriertes Framework aus Robustheit, Überwachung und kryptografischen Garantien

AI SecurityDE

TITEL: Formal verifizierbare Architektur für die Sicherheit von Machine-Learning-Modellen unter adaptiven Angriffen: Ein integriertes Framework aus Robustheit, Überwachung und kryptografischen Garantien ABSTRACT: Die zunehmende Integration von Machine-Learning-(ML)-Modellen in kritische Infrastrukturen hat eine neue Angriffsfläche im Cybersecurity-Ökosystem geschaffen. Adversarial Attacks, Datenvergiftung, Model Extraction und Attributinferenz haben die Fragilität KI-basierter Systeme demonstriert, mit dokumentierten Auswirkungen in den Finanz-, Gesundheits- und Verteidigungssektoren. In dieser Arbeit schlagen wir eine integrierte und formal fundierte Architektur für die Sicherheit von ML-Modellen gegenüber adaptiven Gegnern vor, die zertifizierte adversariale Robustheit, die Erkennung von Verhaltensabweichungen zur Laufzeit und kryptografische Garantien für Integrität und Vertraulichkeit kombiniert. Unsere Methodik artikuliert drei Hauptkomponenten: (i) robustes Training mit Lipschitz-Regularisierung und probabilistischer Zertifizierung; (ii) Online-Überwachung auf Basis der statistischen Modellierung latenter Verteilungen und Anomalieerkennung mittels sequentieller Tests; und (iii) kryptografische Kapselung mit Remote Attestation und Confidential Computing. Wir formalisieren das Bedrohungsmodell mit Fähigkeiten, die an MITRE ATT&CK (T1565, T1190, T1027) ausgerichtet sind, und definieren messbare Sicherheitsproperties. Wir evaluieren die Architektur anhand von drei Datensätzen (CIFAR-10, UNSW-NB15 und MIMIC-III) sowie zwei realen Intrusion-Detection-Szenarien. Im Vergleich zu Baselines für adversariale Robustheit (PGD-Training) und isolierte Detektion reduzierte unser Framework die Erfolgsrate adversarialer Angriffe von 78,4 % auf 21,7 %, erkannte 93,2 % der Vergiftungsangriffe bei einer False-Positive-Rate von 3,8 % und hielt einen mittleren Rechen-Overhead von 11,6 % aufrecht. Wir zeigen, dass die systematische Integration formaler und operativer Mechanismen substanzielle Gewinne an systemischer Resilienz bietet und konkrete Leitlinien für die sichere Entwicklung von KI-Systemen in Hochrisikoumgebungen etabliert.

  1. Einleitung

Die Einbettung von Modellen des maschinellen Lernens in kritische Systeme — einschließlich Finanzplattformen, Intrusion-Detection-Systemen (IDS), assistierter medizinischer Diagnostik und industrieller Infrastrukturen — hat die Bedrohungslandschaft der Cybersicherheit grundlegend verändert. Anders als bei traditioneller Software, deren Verhalten explizit durch deterministische Regeln spezifiziert ist, lernen ML-Modelle komplexe Funktionen $f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$, parametrisiert durch $\theta$, deren Entscheidungsfläche von Angreifern mit teilweisem oder vollständigem Zugriff auf das System ausgenutzt werden kann.

Jüngste Vorfälle verdeutlichen diese strukturelle Verwundbarkeit. Vergiftungsangriffe gegen Trainingspipelines wurden in öffentlichen Repositorien beobachtet und nutzten Vektoren aus, die den in der MITRE-ATT&CK-Technik T1565 (Data Manipulation) beschriebenen ähneln. Schwachstellen wie CVE-2021-44228 (Log4Shell) zeigten, wie Software-Lieferketten kompromittiert werden können, was sogar verteilte Trainingsumgebungen beeinträchtigt. In biometrischen Authentifizierungssystemen auf Basis neuronaler Netze erzielten physische adversarielle Angriffe Evasionsraten von über 70 % in kontrollierten Szenarien. Darüber hinaus ermöglichten Model-Extraction-Techniken, die öffentliche APIs ausnutzen, die approximative Rekonstruktion proprietärer Modelle mit einem Fehler von unter 5 %.

Diese Befunde motivieren eine rigorose Neufassung des Sicherheitsproblems in der KI. Die zentrale Frage lautet nicht nur, wie Modelle gegenüber adversarialen Perturbationen robust gemacht werden können, sondern wie formale Garantien, operatives Monitoring und kryptografische Mechanismen in einer kohärenten Architektur integriert werden können.

Wir definieren die folgenden Forschungsfragen:

RQ1: Wie lassen sich adaptive Angreifer formal modellieren, die mehrere Phasen des ML-Lebenszyklus ausnutzen können (Training, Inferenz, Bereitstellung)?

RQ2: Ist es möglich, zertifizierte adversarielle Robustheit mit Mechanismen zur Echtzeit-Erkennung zu kombinieren, ohne die operative Leistungsfähigkeit zu beeinträchtigen?

RQ3: Welche quantitativen Garantien können für Integrität, Vertraulichkeit und Verfügbarkeit von Modellen unter koordiniertem Angriff etabliert werden?

Unsere wichtigsten Beiträge sind:

C1: Wir schlagen ein einheitliches formales Bedrohungsmodell für ML vor, das Vergiftung, Evasion und Extraktion in einem probabilistischen Rahmen integriert.

C2: Wir entwickeln eine modulare Architektur, die robustes Training mit sequenziellem statistischem Monitoring und kryptografischer Attestierung kombiniert.

C3: Wir zeigen empirisch in mehreren Domänen Reduktionen von über 56 % bei der Erfolgsrate adversarialer Angriffe im Vergleich zu isolierten Ansätzen.

Der restliche Artikel ist wie folgt gegliedert: Abschnitt 2 diskutiert theoretische Grundlagen und verwandte Arbeiten; Abschnitt 3 formalisiert das Bedrohungsmodell; Abschnitt 4 erläutert die vorgeschlagene Methodik im Detail; Abschnitt 5 beschreibt die Implementierung; Abschnitt 6 präsentiert die experimentelle Evaluation; Abschnitt 7 diskutiert Implikationen; und Abschnitt 8 schließt die Arbeit ab.

  1. Hintergrund und verwandte Arbeiten

Betrachten wir ein überwachtes Modell mit Trainingsmenge $D = {(x_i, y_i)}_{i=1}^n$, wobei $x_i \in \mathbb{R}^d$ und $y_i \in \mathcal{Y}$. Das Training zielt darauf ab, das empirische Risiko zu minimieren:

$$ \min_\theta \frac{1}{n} \sum_{i=1}^{n} \mathcal{L}(f_\theta(x_i), y_i) $$

Unter adversarialen Angriffen strebt man lokale Robustheit an:

$$ \min_\theta \frac{1}{n} \sum_{i=1}^{n} \max_{|\delta|p \le \epsilon} \mathcal{L}(f\theta(x_i + \delta), y_i) $$

Madry et al. formalisierten diesen Ansatz als Min-Max-Optimierung. Goodfellow et al. führten FGSM ein, während Tramèr et al. die Übertragbarkeit von Angriffen untersuchten.

Defensivmaßnahmen lassen sich in drei Kategorien einteilen:

  1. Intrinsische Robustheit: adversariales Training, Lipschitz-Regularisierung, randomized smoothing.
  2. Angriffserkennung: Überwachung latenter Verteilungen, Rekonstruktions-Autoencoder.
  3. Modellschutz: Watermarking, SGX-Enklaven, Differential Privacy.

Es bestehen weiterhin Einschränkungen: adversariales Training erhöht die Rechenkosten um bis zu das 4-Fache; isolierte Detektoren weisen eine hohe Falsch-Positiv-Rate auf (>10 %); und kryptografische Garantien adressieren keine statistische Robustheit.

Jüngere Arbeiten zur probabilistischen Zertifizierung liefern formale Garantien unter Gaußschem Rauschen, setzen jedoch die Unabhängigkeit von Angriffen und das Fehlen systemischer Vergiftung voraus. Nur wenige Studien integrieren mehrschichtige Verteidigung unter einem einheitlichen adversarialen Modell.

  1. Bedrohungsmodell und Problemformalierung

Wir nehmen einen Angreifer $\mathcal{A}$ mit folgenden Fähigkeiten an:

Formal strebt der Angreifer an, Folgendes zu maximieren:

$$ \mathbb{P}(f_\theta(x+\delta)=y^) $$

oder die Integrität zu minimieren:

$$ \Delta_{risk} = R_{adv}(f_\theta) - R_{clean}(f_\theta) $$

Gewünschte Eigenschaften:

  1. Vorgeschlagene Methodik

Unsere Architektur integriert drei Module:

  1. Zertifiziertes robustes Training (TRC)
  2. Statistischer Abweichungsmonitor (MDE)
  3. Kryptografische Schicht mit Attestierung (CCA)

Algorithmus 1: Integriertes robustes Training

Input: D, ε, σ
Initialize θ
for epoch = 1..E:
    for batch B ⊂ D:
        Generate δ via PGD
        Sample noise η ~ N(0, σ²I)
        Compute loss L = L(fθ(x+δ+η), y)
        Update θ via SGD
return θ

Komplexität: $O(E \cdot n \cdot k)$, wobei $k$ die Anzahl der PGD-Schritte ist.

Algorithmus 2: Sequenzielles Monitoring

Input: Stream S
Initialize μ0, Σ0
for each x in S:
    z ← embedding(x)
    compute D_Mahalanobis(z)
    if D > τ:
        raise alert

Wir verwenden einen sequentiellen Likelihood-Ratio-Test (SPRT). Der Schwellenwert $\tau$ wird auf eine Ziel-FPR von 5 % eingestellt.

  1. Implementierung

Wir implementierten das System in PyTorch 2.1 mit CUDA 12.2. Das kryptografische Modul verwendet Intel SGX und das Open Enclave SDK. Protokolle werden mittels ECDSA P-256 signiert.

Die Pipeline verteilt das Training in einem Kubernetes-Cluster mit 8 Knoten (NVIDIA A100 40GB). Das Monitoring läuft in einem Sidecar-Container mit einer mittleren Latenz von 3,4 ms pro Anfrage.

Zu den Trade-offs gehörte die Reduktion der Batch-Size von 256 auf 192 aufgrund des PGD-Overheads. Horizontale Skalierbarkeit zeigte einen Durchsatz von 4.200 Anfragen/s mit 6 Replikas.

  1. Experimentelle Evaluation

Umgebung: 8× NVIDIA A100, 512 GB RAM.

Datensätze:

Baselines:

Ergebnisse für CIFAR-10

Methode Acc Clean Acc Adv (ε=8/255)
Standard 94,8% 21,6%
PGD 87,3% 48,9%
Vorgeschlagen 89,1% 78,3%

Reduktion des adversarialen Erfolgs: 78,4 % → 21,7 %.

Vergiftung (α=10%)

Erkennung: 93,2% ±1,4
FPR: 3,8% ±0,9

Mittlerer Gesamt-Overhead: 11,6 %.

  1. Diskussion

Die Ergebnisse bestätigen, dass die mehrschichtige Integration isolierte Ansätze übertrifft. Zertifizierte Robustheit liefert eine formale Untergrenze, während Monitoring globale Abweichungen erfasst.

Zu den Limitationen zählen die Abhängigkeit von der Gaußschen Hypothese im Smoothing und zusätzlicher Rechenaufwand. Bedrohungen für die Validität umfassen die Generalisierung auf großskalige Transformer-Modelle.

Praktische Implikationen umfassen die Einführung in SOCs und die Ausrichtung am NIST AI RMF.

  1. Schlussfolgerung und zukünftige Arbeiten

Wir präsentierten eine integrierte Architektur für KI-Sicherheit mit formalen Garantien und robuster empirischer Validierung. Wir zeigten signifikante Verbesserungen in Robustheit und Erkennung bei moderatem Overhead.

Zukünftige Arbeiten umfassen die Erweiterung auf LLMs, die Integration adaptiver Differential Privacy und SMT-basierte formale Verifikation.

Referenzen

[1] I. Goodfellow et al., “Explaining and Harnessing Adversarial Examples,” ICLR, 2015.
[2] A. Madry et al., “Towards Deep Learning Models Resistant to Adversarial Attacks,” ICLR, 2018.
[3] N. Carlini and D. Wagner, “Towards Evaluating the Robustness of Neural Networks,” IEEE S&P, 2017.
[4] B. Biggio et al., “Poisoning Attacks against SVMs,” ICML, 2012.
[5] M. Tramèr et al., “Stealing ML Models via Prediction APIs,” USENIX Security, 2016.
[6] NIST, “AI Risk Management Framework,” 2023.
[7] MITRE, “ATT&CK Framework,” 2024.
[8] OWASP, “Machine Learning Security Top 10,” 2023.
[9] K. Grosse et al., “Adversarial Examples for Malware Detection,” ESORICS, 2017.
[10] P. Papernot et al., “Practical Black-Box Attacks,” ASIACCS, 2017.
[11] M. Abadi et al., “Deep Learning with Differential Privacy,” CCS, 2016.
[12] S. Shokri et al., “Membership Inference Attacks,” IEEE S&P, 2017.
[13] R. Shokri, “Privacy Risks of ML,” CCS, 2017.
[14] Intel, “SGX Developer Guide,” 2022.
[15] J. Cohen et al., “Certified Adversarial Robustness,” ICML, 2019.
[16] A. Krizhevsky, “CIFAR-10 Dataset,” 2009.
[17] Moustafa, “UNSW-NB15 Dataset,” 2015.
[18] Johnson et al., “MIMIC-III,” Sci Data, 2016.
[19] Open Enclave SDK Documentation, 2023.
[20] Kubernetes Documentation, 2024.