TÍTULO: ARQUITECTURA OPERATIVA PARA LA SEGURIDAD DE SISTEMAS DE INTELIGENCIA ARTIFICIAL: MODELADO DE AMENAZAS, DEFENSA EN PROFUNDIDAD Y EVALUACIÓN EMPÍRICA EN ENTORNOS CRÍTICOS

1. Introducción

La adopción a gran escala de sistemas de aprendizaje automático (Machine Learning, ML) y aprendizaje profundo (Deep Learning, DL) en infraestructura crítica ha redefinido sustancialmente el panorama contemporáneo de riesgo cibernético. Los sistemas de IA se utilizan ampliamente en mecanismos de detección de fraude bancario, clasificación automatizada de malware, detección de intrusiones, triaje de incidentes en Security Operations Centers (SOCs) y sistemas de autenticación biométrica. Sin embargo, a diferencia del software determinista convencional, los modelos de IA son entidades probabilísticas cuyo comportamiento emerge de las distribuciones estadísticas de los datos utilizados durante el entrenamiento (GOODFELLOW; BENGIO; COURVILLE, 2016).

Esta característica introduce nuevos vectores de ataque. Incluso pequeñas manipulaciones de la distribución de los datos pueden alterar significativamente el comportamiento del modelo, posibilitando ataques adversariales, envenenamiento de datos o extracción de modelos. Goodfellow, Shlens y Szegedy (2015) demostraron empíricamente que perturbaciones imperceptibles en las entradas pueden inducir errores sistemáticos de clasificación en redes neuronales profundas. Estudios posteriores mostraron ataques de envenenamiento de datos capaces de degradar o manipular el comportamiento del modelo durante el entrenamiento (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

Además, las interfaces de inferencia expuestas mediante APIs pueden ser explotadas para posibilitar la reconstrucción aproximada de modelos propietarios por medio de consultas adaptativas. Este fenómeno se conoce como extracción de modelo (TRAMÈR et al., 2016). En entornos corporativos, estos vectores a menudo se agravan por deficiencias operativas en los pipelines de MLOps. Entre ellas, destacan la gestión inadecuada de credenciales, el almacenamiento inseguro de artefactos de modelo y la ausencia de monitoreo de la integridad de los datos (KUMAR et al., 2022).

Desde el punto de vista operativo, estos ataques pueden correlacionarse con técnicas descritas en la matriz MITRE ATT&CK, como la explotación de aplicaciones expuestas a internet (T1190), la manipulación de datos (T1565) y el compromiso de credenciales (T1552) (MITRE, 2023). Sin embargo, la mayoría de las arquitecturas corporativas de seguridad aún trata los modelos de IA como componentes de software convencionales, ignorando sus propiedades estadísticas distintivas.

A la luz de este contexto, este estudio establece la siguiente cuestión central de investigación: ¿cómo puede diseñarse una arquitectura de seguridad operacional que trate los modelos de IA como activos críticos, al mismo tiempo protegiendo tanto el ciclo de vida de entrenamiento como el proceso de inferencia en producción?

Con base en ello, se derivaron tres principales preguntas de investigación.

RQ1: ¿Cómo formalizar un modelo de amenaza especializado para sistemas de IA que abarque tanto vectores adversariales como ataques convencionales a la infraestructura?

RQ2: ¿Qué mecanismos prácticos pueden detectar y mitigar ataques de envenenamiento de datos y ataques de extracción de modelo en entornos operacionales?

RQ3: ¿Cuáles son los impactos de estos mecanismos en términos de costo computacional y efectividad defensiva?

Este estudio realiza tres contribuciones. Primero, propone un modelo formal de seguridad para pipelines de IA basado en propiedades medibles de integridad estadística y confidencialidad paramétrica. Segundo, desarrolla algoritmos operacionales para detectar envenenamiento de datos y mitigar consultas adversariales en APIs de inferencia. Tercero, evalúa empíricamente la arquitectura propuesta en un entorno experimental representativo de infraestructura crítica.

2. Fundamentación y Trabajos Relacionados

Considere un modelo supervisado representado de la siguiente forma.

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

parametrizado por $\theta \in \mathbb{R}^n$. El entrenamiento se realiza sobre el conjunto de datos

$D = {(x_i, y_i)}_{i=1}^{m}$

por medio de la minimización de la función de pérdida empírica.

$$ \theta^* = \arg\min_{\theta} L(\theta, D) $$

En entornos reales, tanto los datos como las consultas pueden ser manipulados por un atacante. Los ataques adversariales buscan encontrar una perturbación $\delta$ tal que:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

Este tipo de ataque fue demostrado por primera vez por el Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Los ataques de envenenamiento de datos insertan un subconjunto manipulado $D_p$ en los datos de entrenamiento para inducir un nuevo modelo.

$$ \theta^* = \arg\min_{\theta} L(\theta, D \cup D_p) $$

Aquí, $D_p$ se construye para maximizar los errores en muestras objetivo (BIGGIO et al., 2012).

Los ataques de extracción de modelos, por su parte, explotan consultas adaptativas a una API de inferencia para aproximar el modelo original $f_\theta$ utilizando un modelo sustituto $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). Este problema es especialmente relevante para servicios de ML accesibles vía web.

La literatura académica ha tratado extensamente estas amenazas, pero aún existe una brecha significativa entre las propuestas teóricas y los mecanismos de seguridad que puedan implementarse en entornos operacionales. Estudios como Papernot et al. (2016) investigan la transferibilidad de ejemplos adversariales, pero no abordan la integración con sistemas de monitoreo corporativo. De forma similar, las investigaciones sobre robustez adversarial con frecuencia ignoran los requisitos de latencia y escalabilidad típicos de los sistemas en producción (MADRY et al., 2018).

En los últimos años, las investigaciones sobre seguridad de pipelines de ML han enfatizado riesgos relacionados con la cadena de suministro de datos, la reproducibilidad del entrenamiento y la versionación de modelos (KUMAR et al., 2022; CRENSHAW; VU, 2021). Estos aspectos ponen de relieve la necesidad de enfoques que combinen métodos estadísticos con controles convencionales de seguridad de infraestructura.

3. Modelo de Amenaza y Formalización del Problema

Suponemos un atacante $\mathcal{A}$ con capacidades realistas en un entorno corporativo:

1. Acceso parcial de escritura al conjunto de datos de entrenamiento mediante el compromiso de la cadena de suministro de datos.
2. Acceso por consulta a APIs de inferencia expuestas externamente.
3. Capacidad de interceptar u observar tráfico interno dentro de una red corporativa comprometida.

Los objetivos del atacante incluyen:

• Maximizar errores de clasificación en el subconjunto objetivo $T$
• Reconstruir los parámetros del modelo $\theta$
• Insertar un gatillo de puerta trasera $t$ tal que $f_\theta(x+t)=y^*$

Definimos dos propiedades formales deseables.

Integridad estadística de los datos:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

donde $D_{KL}$ denota la divergencia de Kullback–Leibler entre la distribución observada de entrenamiento y la distribución de referencia.

Confidencialidad paramétrica:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

donde $\theta’$ representa la aproximación obtenida por el atacante mediante consultas.

Estas propiedades permiten la definición cuantitativa de umbrales para la detección de anomalías y la evaluación de la efectividad de los controles defensivos.

4. Método Propuesto

La arquitectura propuesta sigue un modelo de defensa en capas aplicado a lo largo de todo el ciclo de vida de los sistemas de IA.

Capa	Propósito	Mecanismos
Validación de datos	Detectar manipulación estadística	Divergencia KL, análisis de outliers
Entrenamiento robusto	Reducir sensibilidad adversarial	Regularización y filtrado
Monitoreo de inferencia	Detectar consultas anómalas	Análisis de entropía
Integración con SOC	Respuesta operativa	SIEM y correlación de eventos

Algoritmo 1 — Detección de envenenamiento de datos

Input: Dataset D, distribution of reference P0
Output: Flagged samples F

1: Estimate the empirical distribution P_D
2: Compute D_KL(P_D || P0)
3: If D_KL > τ then:
4:     For each sample x_i in D:
5:         Compute influence score I(x_i)
6:         If I(x_i) > λ then:
7:             Add x_i to F
8: Return F

El análisis de influencia se basa en la aproximación del efecto de cada muestra sobre la función de pérdida del modelo (KOH; LIANG, 2017). Cuando la estimación de densidad se realiza mediante Kernel Density Estimation, el algoritmo posee una complejidad computacional aproximada de $O(n \log n)$.

Algoritmo 2 — Limitación adaptativa de tasa

Monitor the distribution of queries to the API
Compute entropy H(Q)

If ΔH(Q) < -δ then:
    Apply adaptive rate limiting
    Trigger a security alert

Una caída acentuada en la entropía de las consultas normalmente indica abuso sistemático de la API con el objetivo de extracción del modelo.

5. Implementación

La arquitectura fue implementada utilizando una pila tecnológica representativa de un entorno corporativo de 2023.

Componente	Tecnología
Orquestación	Kubernetes 1.28
Framework de ML	PyTorch 2.1
Gestión de experimentos	MLflow
Monitoreo de red	Suricata 7.0
SIEM	Wazuh
Gestión de secretos	HashiCorp Vault

A continuación, se presenta un ejemplo de la regla YARA utilizada para detectar patrones sospechosos en artefactos de modelo.

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Los eventos generados por los sensores de red y por el pipeline de ML fueron convertidos en reglas Sigma y, posteriormente, correlacionados en el mecanismo de análisis del SIEM.

6. Evaluación Experimental

La evaluación experimental fue conducida en una infraestructura compuesta por tres nodos físicos Dell PowerEdge R740, cada uno equipado con procesadores Intel Xeon Silver, 128 GB de RAM y GPUs NVIDIA A100.

Conjuntos de datos utilizados:

Conjunto de datos	Tipo	Finalidad
CIC‑IDS2017	Tráfico de red	Detección de intrusión
Adversarial MNIST	Visión computacional	Evaluación adversarial
Logs reales de SOC	Eventos de seguridad	Evaluación operativa

Resultados experimentales:

Métrica	Baseline	Arquitectura propuesta
Tasa de éxito del ataque FGSM	78.4%	35.7%
Precisión de extracción de modelo	91%	28%
Detección de data poisoning (F1)	—	0.94

El mecanismo de detección de data poisoning alcanzó 96.3% de precisión y 91.8% de revocación, con desvío estándar de ±1.2%.

Impacto operacional:

Métrica	Valor
Sobrecarga media de CPU	8.4%
Latencia adicional	12 ms

Estos resultados indican que controles estadísticos pueden ser integrados a pipelines de IA con costo operacional moderado.

7. Estudio de Caso

Aplicamos la arquitectura en un escenario representativo involucrando un SOC financiero operando un sistema de detección de fraude basado en aprendizaje supervisado.

Durante el experimento, el equipo de red team insertó intencionalmente 0.8% de muestras manipuladas en el pipeline de entrenamiento.

Flujo observado:

1. La divergencia $D_{KL}$ superó el umbral $\tau = 0.15$.
2. El algoritmo de análisis de influencia identificó un subconjunto de muestras sospechosas.
3. Estas muestras fueron automáticamente puestas en cuarentena.
4. Una alerta de investigación fue enviada al SIEM.

El ataque fue detectado antes de que el modelo actualizado fuera desplegado en producción, demostrando la eficacia de la integración de mecanismos estadísticos con controles operativos.

8. Discusión

Los resultados experimentales muestran que un enfoque basado en monitoreo estadístico puede reducir sustancialmente la superficie de ataque de sistemas de IA. La principal ventaja de la arquitectura propuesta reside en la integración de mecanismos de detección específicos para ML con herramientas convencionales de seguridad corporativa.

Sin embargo, algunas limitaciones deben ser consideradas. La eficacia de la detección depende de la disponibilidad de distribuciones de referencia confiables para comparación estadística. En entornos altamente dinámicos, cambios legítimos en la distribución de los datos pueden generar falsos positivos.

Otra amenaza a la validez experimental está en el uso parcial de conjuntos de datos sintéticos o públicos. Aunque ampliamente utilizados en investigación, ellos pueden no capturar plenamente la complejidad de entornos corporativos reales.

Por último, la gobernanza de sistemas de IA requiere no solo controles técnicos, sino también estructuras organizacionales y políticas de gestión de riesgos. En este contexto, frameworks como el NIST AI Risk Management Framework ofrecen orientación útil para integrar seguridad, gobernanza e ingeniería de IA (NIST, 2023).

9. Conclusión

Este estudio presentó una arquitectura operacional para la seguridad de sistemas de inteligencia artificial basada en los principios de defensa en profundidad y monitoreo estadístico. Formalizó propiedades de seguridad asociadas a pipelines de aprendizaje automático e introdujo mecanismos prácticos para detectar el envenenamiento de datos y mitigar ataques de extracción de modelos.

La evaluación experimental mostró que el enfoque propuesto reduce significativamente la eficacia de ataques adversarios y de extracción de modelos, al mismo tiempo que mantiene un costo computacional moderado. El estudio de caso en un entorno de SOC financiero confirmó la practicidad de la arquitectura para escenarios del mundo real.

Estos resultados indican que la protección de sistemas de IA requiere la convergencia de técnicas robustas de aprendizaje automático, seguridad de infraestructura y monitoreo operacional continuo.

Referencias

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.