TÍTULO: Arquitectura Operacional para la Seguridad de Sistemas de Inteligencia Artificial: Modelado de Amenazas, Defensa en Profundidad y Evaluación Empírica en Entornos Críticos

1. Introducción

La adopción masiva de sistemas de aprendizaje automático (Machine Learning – ML) y aprendizaje profundo (Deep Learning – DL) en infraestructuras críticas ha redefinido sustancialmente el panorama contemporáneo del riesgo cibernético. Los sistemas de IA se utilizan ampliamente en motores antifraude bancarios, clasificación automática de malware, detección de intrusiones, triaje de incidentes en centros de operaciones de seguridad (SOC) y sistemas biométricos de autenticación. Sin embargo, a diferencia del software determinista tradicional, los modelos de IA constituyen entidades probabilísticas cuyo comportamiento emerge de la distribución estadística de los datos utilizados durante el entrenamiento (GOODFELLOW; BENGIO; COURVILLE, 2016).

Esta característica introduce vectores de ataque inéditos. Pequeñas manipulaciones en la distribución de los datos pueden alterar significativamente el comportamiento de los modelos, permitiendo ataques adversariales, envenenamiento de datos o extracción de modelos. Goodfellow, Shlens y Szegedy (2015) demostraron empíricamente que perturbaciones imperceptibles en las entradas pueden inducir errores sistemáticos de clasificación en redes neuronales profundas. Posteriormente, investigaciones demostraron ataques de envenenamiento capaces de degradar o manipular el comportamiento de los modelos durante el entrenamiento (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

Además, las interfaces de inferencia expuestas mediante APIs pueden ser explotadas para la reconstrucción aproximada de modelos propietarios por medio de consultas adaptativas, fenómeno conocido como model extraction (TRAMÈR et al., 2016). En entornos corporativos, tales vectores frecuentemente se combinan con fallas operativas en pipelines de MLOps, incluida la gestión inadecuada de credenciales, el almacenamiento inseguro de artefactos de modelo y la ausencia de monitoreo de integridad de datos (KUMAR et al., 2022).

Desde el punto de vista operativo, estos ataques pueden correlacionarse con técnicas documentadas en la matriz MITRE ATT&CK, incluida la explotación de aplicaciones expuestas (T1190), la manipulación de datos (T1565) y el compromiso de credenciales (T1552) (MITRE, 2023). Sin embargo, la mayoría de las arquitecturas de seguridad corporativas aún trata a los modelos de IA como componentes de software convencionales, ignorando sus propiedades estadísticas específicas.

Ante este escenario, formulamos la siguiente cuestión central de investigación: ¿cómo diseñar una arquitectura de seguridad operativa que trate a los modelos de IA como activos críticos, protegiendo tanto el ciclo de vida de entrenamiento como el proceso de inferencia en producción?

Derivamos tres cuestiones de investigación principales:

RQ1: ¿Cómo formalizar un modelo de amenazas específico para sistemas de IA que capture tanto vectores adversariales como ataques tradicionales de infraestructura?

RQ2: ¿Qué mecanismos prácticos permiten detectar y mitigar ataques de envenenamiento de datos y extracción de modelos en entornos operacionales?

RQ3: ¿Cuál es el impacto de estos mecanismos en términos de costo computacional y eficacia defensiva?

Las contribuciones de este trabajo son tres. Primero, proponemos un modelo formal de seguridad para pipelines de IA basado en propiedades medibles de integridad estadística y confidencialidad paramétrica. Segundo, desarrollamos algoritmos operativos para la detección de envenenamiento de datos y la mitigación de consultas adversariales en APIs de inferencia. Tercero, evaluamos empíricamente la arquitectura propuesta en un entorno experimental representativo de infraestructura crítica.

2. Background and Related Work

Consideremos un modelo supervisado representado por una función

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

parametrizada por $\theta \in \mathbb{R}^n$. El entrenamiento ocurre sobre un conjunto de datos

$D = {(x_i, y_i)}_{i=1}^{m}$

minimizando una función de pérdida empírica:

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

En sistemas reales, tanto los datos como las consultas pueden ser manipulados por adversarios. Los ataques adversariales buscan encontrar una perturbación $\delta$ tal que:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{sujeto a } ||\delta||_p < \epsilon $$

Este tipo de ataque fue inicialmente demostrado mediante el método Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Los ataques de envenenamiento de datos introducen subconjuntos manipulados $D_p$ en el conjunto de entrenamiento, dando lugar a un nuevo modelo:

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

donde $D_p$ se construye para maximizar el error en muestras objetivo (BIGGIO et al., 2012).

A su vez, los ataques de extracción de modelo explotan consultas adaptativas a la API de inferencia para aproximar el modelo original $f_\theta$ mediante un modelo sustituto $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). Este problema se vuelve particularmente relevante en servicios de ML accesibles vía web.

Aunque la literatura académica ha explorado ampliamente estas amenazas, se observa una brecha significativa entre las propuestas teóricas y los mecanismos de seguridad implementables en entornos operacionales. Trabajos como Papernot et al. (2016) investigan la transferibilidad de ejemplos adversariales, pero no abordan la integración con sistemas de monitoreo corporativo. De forma similar, las investigaciones sobre robustez adversarial a menudo ignoran requisitos de latencia y escalabilidad típicos de los sistemas productivos (MADRY et al., 2018).

Más recientemente, estudios sobre seguridad de pipelines de ML destacaron riesgos asociados a la cadena de suministro de datos, la reproducibilidad del entrenamiento y el control de versiones de modelos (KUMAR et al., 2022; CRENSHAW; VU, 2021). Estos aspectos refuerzan la necesidad de enfoques que combinen técnicas estadísticas con controles tradicionales de seguridad de infraestructura.

3. Threat Model and Problem Formalization

Asumimos un adversario $\mathcal{A}$ con capacidades realistas en entornos corporativos:

1. Acceso parcial de escritura al conjunto de datos de entrenamiento, posiblemente mediante el compromiso de la cadena de suministro de datos.
2. Acceso de consulta a la API de inferencia expuesta externamente.
3. Capacidad de interceptar u observar tráfico interno en redes corporativas comprometidas.

Los objetivos del adversario incluyen:

• maximizar el error de clasificación en el subconjunto objetivo $T$
• reconstruir los parámetros del modelo $\theta$
• insertar un gatillo de backdoor $t$ de modo que $f_\theta(x+t)=y^$

Definimos dos propiedades formales deseables.

Integridad estadística de los datos:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

donde $D_{KL}$ representa la divergencia de Kullback–Leibler entre la distribución de entrenamiento observada y una distribución de referencia.

Confidencialidad paramétrica:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

donde $\theta’$ representa una aproximación obtenida por un adversario mediante consultas.

Estas propiedades permiten establecer límites cuantitativos para la detección de anomalías y para la evaluación de la eficacia de los controles defensivos.

4. Proposed Methodology

La arquitectura propuesta sigue un modelo de defensa en profundidad aplicado al ciclo de vida de los sistemas de IA.

Capa	Objetivo	Mecanismos
Validación de datos	Detectar manipulación estadística	Divergencia KL, análisis de outliers
Entrenamiento robusto	Reducir la sensibilidad adversarial	regularización y filtrado
Monitoreo de inferencia	Detectar consultas anómalas	análisis de entropía
Integración con SOC	Respuesta operativa	SIEM y correlación de eventos

Algoritmo 1 — Detección de envenenamiento de datos

Input: Dataset D, baseline distribution P0
Output: Flagged samples F

1: Estimate empirical distribution P_D
2: Compute D_KL(P_D || P0)
3: If D_KL > τ:
4:     For each sample x_i in D:
5:         Compute influence score I(x_i)
6:         If I(x_i) > λ:
7:             Add x_i to F
8: Return F

El análisis de influencia se basa en la aproximación del impacto de cada muestra en la función de pérdida del modelo (KOH; LIANG, 2017). La complejidad del algoritmo es aproximadamente $O(n \log n)$ cuando la estimación de densidad se realiza mediante Kernel Density Estimation.

Algoritmo 2 — Rate limiting adaptativo

Monitor distribution of API queries
Compute entropy H(Q)

If ΔH(Q) < -δ:
    apply adaptive throttling
    trigger security alert

La reducción abrupta de la entropía en las consultas frecuentemente indica explotación sistemática de la API para extracción de modelo.

5. Implementation

La arquitectura fue implementada utilizando una pila tecnológica representativa de entornos corporativos en 2023.

Componente	Tecnología
Orquestación	Kubernetes 1.28
Framework ML	PyTorch 2.1
Gestión de experimentos	MLflow
Monitoreo de red	Suricata 7.0
SIEM	Wazuh
Gestión de secretos	HashiCorp Vault

Ejemplo de regla YARA utilizada para la detección de patrones sospechosos en artefactos de modelo:

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Los eventos generados por sensores de red y por el pipeline de ML fueron convertidos a reglas Sigma y posteriormente correlacionados en el mecanismo de análisis del SIEM.

6. Experimental Evaluation

La evaluación experimental fue conducida en una infraestructura compuesta por tres nodos físicos Dell PowerEdge R740, cada uno equipado con procesadores Intel Xeon Silver, 128 GB de memoria RAM y GPU NVIDIA A100.

Datasets utilizados:

Dataset	Tipo	Uso
CIC‑IDS2017	Tráfico de red	detección de intrusión
MNIST adversarial	visión computacional	evaluación adversarial
Logs SOC reales	eventos de seguridad	evaluación operacional

Resultados experimentales:

Métrica	Baseline	Arquitectura propuesta
Éxito del ataque FGSM	78,4%	35,7%
Precisión de extracción de modelo	91%	28%
Detección de poisoning (F1)	—	0,94

El mecanismo de detección de envenenamiento presentó una precisión de 96,3% y un recall de 91,8%, con desviación estándar de ±1,2%.

Impacto operacional:

Métrica	Valor
Overhead medio de CPU	8,4%
Latencia adicional	12 ms

Estos resultados indican que los controles estadísticos pueden incorporarse a pipelines de IA con un impacto operacional moderado.

7. Case Study

Aplicamos la arquitectura en un escenario representativo de un SOC financiero operando un sistema de detección antifraude basado en aprendizaje supervisado.

Durante el experimento, un equipo de red team introdujo deliberadamente 0,8% de muestras manipuladas en el pipeline de entrenamiento.

Flujo observado:

1. La divergencia $D_{KL}$ superó el umbral $\tau = 0,15$.
2. El algoritmo de influencia identificó un subconjunto de muestras sospechosas.
3. Las muestras fueron automáticamente aisladas.
4. Se envió una alerta al SIEM para investigación.

El ataque fue detectado antes de la implantación del modelo actualizado en producción, demostrando la eficacia de la integración entre mecanismos estadísticos y controles operativos.

8. Discussion

Los resultados experimentales indican que los enfoques basados en monitoreo estadístico pueden reducir significativamente la superficie de ataque de los sistemas de IA. La principal ventaja de la arquitectura propuesta reside en la integración entre mecanismos de detección específicos de ML y herramientas tradicionales de seguridad corporativa.

Sin embargo, deben considerarse algunas limitaciones. La eficacia de la detección depende de la disponibilidad de distribuciones de referencia confiables para la comparación estadística. En entornos altamente dinámicos, cambios legítimos en la distribución de los datos pueden generar falsos positivos.

Otra amenaza a la validez experimental reside en el uso parcial de datasets sintéticos o públicos. Aunque ampliamente utilizados en investigación, tales conjuntos pueden no capturar completamente la complejidad de entornos corporativos reales.

Finalmente, la gobernanza de los sistemas de IA exige no solo controles técnicos, sino también estructuras organizacionales y políticas de gestión de riesgos. En este contexto, marcos como el NIST AI Risk Management Framework ofrecen directrices relevantes para la integración entre seguridad, gobernanza e ingeniería de IA (NIST, 2023).

9. Conclusion

Este trabajo presentó una arquitectura operativa para la seguridad de sistemas de inteligencia artificial basada en principios de defensa en profundidad y monitoreo estadístico. Formalizamos propiedades de seguridad relevantes para pipelines de aprendizaje automático e introdujimos mecanismos prácticos para la detección de envenenamiento de datos y la mitigación de ataques de extracción de modelos.

La evaluación experimental demostró que el enfoque propuesto reduce sustancialmente la eficacia de ataques adversariales y de extracción de modelos, manteniendo costos computacionales moderados. El estudio de caso en un entorno de SOC financiero refuerza la aplicabilidad práctica de la arquitectura en escenarios reales.

Los resultados indican que la protección de sistemas de IA requiere la convergencia entre técnicas de aprendizaje automático robusto, seguridad de infraestructura y monitoreo operacional continuo.

References

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 dez. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 dez. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 dez. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 dez. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 dez. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 dez. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 dez. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 dez. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 dez. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 dez. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 dez. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 dez. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 dez. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 dez. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 dez. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 dez. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 dez. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 dez. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 dez. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 dez. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 dez. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 dez. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 dez. 2023.