TITRE : Architecture opérationnelle pour la sécurité des systèmes d’intelligence artificielle : modélisation des menaces, Defense in Depth et évaluation empirique dans des environnements critiques

1. Introduction

L’adoption massive de systèmes d’apprentissage automatique (Machine Learning – ML) et d’apprentissage profond (Deep Learning – DL) dans les infrastructures critiques a substantiellement redéfini le paysage contemporain du risque cyber. Les systèmes d’IA sont largement utilisés dans les mécanismes antifraude bancaires, la classification automatique de malwares, la détection d’intrusion, le tri des incidents dans les centres d’opérations de sécurité (SOC) et les systèmes d’authentification biométrique. Cependant, contrairement aux logiciels déterministes traditionnels, les modèles d’IA sont des entités probabilistes dont le comportement émerge de la distribution statistique des données utilisées pendant l’entraînement (GOODFELLOW; BENGIO; COURVILLE, 2016).

Cette caractéristique introduit de nouveaux vecteurs d’attaque. De petites manipulations de la distribution des données peuvent modifier de manière significative le comportement du modèle, rendant possibles des attaques adversariales, l’empoisonnement des données ou l’extraction de modèle. Goodfellow, Shlens et Szegedy (2015) ont démontré empiriquement que des perturbations imperceptibles aux entrées peuvent induire des erreurs systématiques de classification dans les réseaux neuronaux profonds. Par la suite, des recherches ont montré des attaques d’empoisonnement capables de dégrader ou de manipuler le comportement du modèle pendant l’entraînement (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

En outre, des interfaces d’inférence exposées via des API peuvent être exploitées pour approximer la reconstruction de modèles propriétaires au moyen de requêtes adaptatives, phénomène connu sous le nom d’extraction de modèle (TRAMÈR et al., 2016). Dans les environnements d’entreprise, de tels vecteurs se combinent fréquemment avec des défaillances opérationnelles dans les pipelines de MLOps, notamment une gestion inadéquate des identifiants, un stockage non sécurisé des artefacts de modèle et l’absence de surveillance de l’intégrité des données (KUMAR et al., 2022).

Du point de vue opérationnel, ces attaques peuvent être corrélées avec des techniques documentées dans la matrice MITRE ATT&CK, notamment l’exploitation d’applications exposées (T1190), la manipulation de données (T1565) et la compromission d’identifiants (T1552) (MITRE, 2023). Toutefois, la plupart des architectures de sécurité d’entreprise traitent encore les modèles d’IA comme des composants logiciels conventionnels, en ignorant leurs propriétés statistiques spécifiques.

À la lumière de ce scénario, nous formulons la question centrale de recherche suivante : comment une architecture de sécurité opérationnelle peut-elle être conçue pour traiter les modèles d’IA comme des actifs critiques, en protégeant à la fois le cycle de vie de l’entraînement et le processus d’inférence en production ?

Nous en déduisons trois questions de recherche principales :

RQ1 : Comment formaliser un modèle de menace spécifique aux systèmes d’IA qui prenne en compte à la fois les vecteurs adversariaux et les attaques traditionnelles à l’infrastructure ?

RQ2 : Quels mécanismes pratiques permettent la détection et l’atténuation des attaques d’empoisonnement des données et d’extraction de modèle dans des environnements opérationnels ?

RQ3 : Quel est l’impact de ces mécanismes en termes de coût computationnel et d’efficacité défensive ?

Ce travail apporte trois contributions. Premièrement, nous proposons un modèle formel de sécurité pour les pipelines d’IA fondé sur des propriétés mesurables d’intégrité statistique et de confidentialité paramétrique. Deuxièmement, nous développons des algorithmes opérationnels pour détecter l’empoisonnement des données et atténuer les requêtes adversariales sur les API d’inférence. Troisièmement, nous évaluons empiriquement l’architecture proposée dans un environnement expérimental représentatif d’une infrastructure critique.

2. Contexte et travaux connexes

Considérons un modèle supervisé représenté par une fonction

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

paramétrée par $\theta \in \mathbb{R}^n$. L’entraînement s’effectue sur un ensemble de données

$D = {(x_i, y_i)}_{i=1}^{m}$

par la minimisation d’une fonction de perte empirique :

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

Dans des systèmes réels, tant les données que les requêtes peuvent être manipulées par des adversaires. Les attaques adversariales cherchent à trouver une perturbation $\delta$ telle que :

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

Ce type d’attaque a d’abord été démontré au moyen de la Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Les attaques d’empoisonnement des données introduisent des sous-ensembles manipulés $D_p$ dans l’ensemble d’entraînement, conduisant à un nouveau modèle :

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

où $D_p$ est construit pour maximiser l’erreur sur des échantillons cibles (BIGGIO et al., 2012).

Les attaques d’extraction de modèle, quant à elles, exploitent des requêtes adaptatives à l’API d’inférence pour approximer le modèle original $f_\theta$ au moyen d’un modèle de substitution $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). Ce problème devient particulièrement pertinent dans les services de ML accessibles via le web.

Bien que la littérature académique ait largement exploré ces menaces, il existe un écart important entre les propositions théoriques et les mécanismes de sécurité pouvant être mis en œuvre dans des environnements opérationnels. Des travaux tels que Papernot et al. (2016) étudient la transférabilité des exemples adversariaux, mais n’abordent pas l’intégration avec des systèmes de supervision d’entreprise. De même, les recherches sur la robustesse adversariale ignorent souvent les exigences de latence et de scalabilité typiques des systèmes en production (MADRY et al., 2018).

Plus récemment, des études sur la sécurité des pipelines de ML ont mis en évidence des risques associés à la chaîne d’approvisionnement des données, à la reproductibilité de l’entraînement et au contrôle de version des modèles (KUMAR et al., 2022; CRENSHAW; VU, 2021). Ces aspects renforcent la nécessité d’approches combinant des techniques statistiques avec des contrôles traditionnels de sécurité de l’infrastructure.

3. Modèle de menace et formalisation du problème

Nous supposons un adversaire $\mathcal{A}$ doté de capacités réalistes dans des environnements d’entreprise :

1. Accès partiel en écriture à l’ensemble de données d’entraînement, éventuellement via la compromission de la chaîne d’approvisionnement des données.
2. Accès par requête à l’API d’inférence exposée à l’extérieur.
3. Capacité d’intercepter ou d’observer le trafic interne dans des réseaux d’entreprise compromis.

Les objectifs de l’adversaire incluent :

• maximiser l’erreur de classification sur un sous-ensemble cible $T$
• reconstruire les paramètres du modèle $\theta$
• insérer un déclencheur de porte dérobée $t$ tel que $f_\theta(x+t)=y^$

Nous définissons deux propriétés formelles souhaitables.

Intégrité statistique des données :

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

où $D_{KL}$ représente la divergence de Kullback–Leibler entre la distribution d’entraînement observée et une distribution de référence.

Confidentialité paramétrique :

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

où $\theta’$ représente une approximation obtenue par un adversaire au moyen de requêtes.

Ces propriétés permettent d’établir des bornes quantitatives pour la détection d’anomalies et pour l’évaluation de l’efficacité des contrôles défensifs.

4. Méthodologie proposée

L’architecture proposée suit un modèle de défense en profondeur appliqué au cycle de vie des systèmes d’IA.

Couche	Objectif	Mécanismes
Validation des données	Détecter la manipulation statistique	divergence KL, analyse des valeurs aberrantes
Entraînement robuste	Réduire la sensibilité adversariale	régularisation et filtrage
Surveillance de l’inférence	Détecter les requêtes anormales	analyse de l’entropie
Intégration avec le SOC	Réponse opérationnelle	SIEM et corrélation d’événements

Algorithme 1 — Détection de l’empoisonnement des données

Entrée : Dataset D, distribution de référence P0
Sortie : Échantillons signalés F

1: Estimer la distribution empirique P_D
2: Calculer D_KL(P_D || P0)
3: Si D_KL > τ:
4:     Pour chaque échantillon x_i dans D:
5:         Calculer le score d’influence I(x_i)
6:         Si I(x_i) > λ:
7:             Ajouter x_i à F
8: Retourner F

L’analyse d’influence repose sur l’approximation de l’impact de chaque échantillon sur la fonction de perte du modèle (KOH; LIANG, 2017). La complexité de l’algorithme est approximativement $O(n \log n)$ lorsque l’estimation de densité est réalisée au moyen de Kernel Density Estimation.

Algorithme 2 — Limitation adaptative du débit

Surveiller la distribution des requêtes vers l’API
Calculer l’entropie H(Q)

Si ΔH(Q) < -δ:
    appliquer une limitation adaptative
    déclencher une alerte de sécurité

Une réduction soudaine de l’entropie des requêtes indique généralement une exploitation systématique de l’API pour l’extraction de modèle.

5. Mise en œuvre

L’architecture a été implémentée au moyen d’une pile technologique représentative des environnements d’entreprise en 2023.

Composant	Technologie
Orchestration	Kubernetes 1.28
Framework de ML	PyTorch 2.1
Gestion des expériences	MLflow
Surveillance réseau	Suricata 7.0
SIEM	Wazuh
Gestion des secrets	HashiCorp Vault

Exemple d’une règle YARA utilisée pour détecter des motifs suspects dans des artefacts de modèle :

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Les événements générés par les capteurs réseau et par le pipeline de ML ont été convertis en règles Sigma, puis corrélés dans le moteur d’analyse du SIEM.

6. Évaluation expérimentale

L’évaluation expérimentale a été menée sur une infrastructure composée de trois nœuds physiques Dell PowerEdge R740, chacun équipé de processeurs Intel Xeon Silver, de 128 Go de RAM et d’un GPU NVIDIA A100.

Ensembles de données utilisés :

Ensemble de données	Type	Usage
CIC‑IDS2017	trafic réseau	détection d’intrusion
Adversarial MNIST	vision par ordinateur	évaluation adversariale
Real SOC logs	événements de sécurité	évaluation opérationnelle

Résultats expérimentaux :

Métrique	Baseline	Architecture proposée
Taux de succès de l’attaque FGSM	78.4%	35.7%
Précision de l’extraction du modèle	91%	28%
Détection de l’empoisonnement (F1)	—	0.94

Le mécanisme de détection de l’empoisonnement a atteint une précision de 96.3% et un rappel de 91.8%, avec un écart-type de ±1.2%.

Impact opérationnel :

Métrique	Valeur
Surcoût moyen CPU	8.4%
Latence supplémentaire	12 ms

Ces résultats indiquent que des contrôles statistiques peuvent être intégrés dans des pipelines d’IA avec un impact opérationnel modéré.

7. Étude de cas

Nous avons appliqué l’architecture à un scénario représentatif de SOC financier exploitant un système de détection de fraude fondé sur l’apprentissage supervisé.

Pendant l’expérience, une red team a introduit délibérément 0.8% d’échantillons manipulés dans le pipeline d’entraînement.

Flux observé :

1. La divergence $D_{KL}$ a dépassé le seuil $\tau = 0.15$.
2. L’algorithme d’influence a identifié un sous-ensemble d’échantillons suspects.
3. Les échantillons ont été automatiquement isolés.
4. Une alerte a été envoyée au SIEM pour investigation.

L’attaque a été détectée avant que le modèle mis à jour ne soit déployé en production, démontrant l’efficacité de l’intégration de mécanismes statistiques avec des contrôles opérationnels.

8. Discussion

Les résultats expérimentaux indiquent que des approches fondées sur la surveillance statistique peuvent réduire de manière significative la surface d’attaque des systèmes d’IA. Le principal avantage de l’architecture proposée réside dans l’intégration entre des mécanismes de détection spécifiques au ML et des outils traditionnels de sécurité d’entreprise.

Cependant, certaines limites doivent être prises en considération. L’efficacité de la détection dépend de la disponibilité de distributions de référence fiables pour la comparaison statistique. Dans des environnements hautement dynamiques, des changements légitimes dans la distribution des données peuvent générer des faux positifs.

Une autre menace pour la validité expérimentale réside dans l’utilisation partielle d’ensembles de données synthétiques ou publics. Bien que largement utilisés en recherche, ces ensembles de données peuvent ne pas capturer pleinement la complexité des environnements d’entreprise réels.

Enfin, la gouvernance des systèmes d’IA requiert non seulement des contrôles techniques, mais aussi des structures organisationnelles et des politiques de gestion des risques. Dans ce contexte, des frameworks tels que le NIST AI Risk Management Framework fournissent des orientations pertinentes pour intégrer la sécurité, la gouvernance et l’ingénierie de l’IA (NIST, 2023).

9. Conclusion

Ce travail a présenté une architecture opérationnelle pour la sécurité des systèmes d’intelligence artificielle fondée sur des principes de défense en profondeur et de surveillance statistique. Nous avons formalisé des propriétés de sécurité pertinentes pour les pipelines d’apprentissage automatique et introduit des mécanismes pratiques pour détecter l’empoisonnement des données et atténuer les attaques d’extraction de modèle.

L’évaluation expérimentale a montré que l’approche proposée réduit substantiellement l’efficacité des attaques adversariales et d’extraction de modèle, tout en maintenant des coûts computationnels modérés. L’étude de cas dans un environnement de SOC financier renforce l’applicabilité pratique de l’architecture dans des scénarios réels.

Les résultats indiquent que la protection des systèmes d’IA exige la convergence de techniques robustes d’apprentissage automatique, de sécurité de l’infrastructure et de surveillance opérationnelle continue.

Références

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.