Arquitetura Operacional para Defesa e Resiliência de Sistemas de Inteligência Artificial contra Ataques Adversariais, Envenenamento de Dados e Comprometimento da Cadeia de Suprimentos

1. Introduction

A incorporação massiva de modelos de Inteligência Artificial (IA) em sistemas críticos — incluindo detecção de fraudes bancárias, classificação de malware, sistemas autônomos e plataformas de detecção de intrusão — introduziu uma nova classe de superfície de ataque em ambientes computacionais modernos. Diferentemente de sistemas determinísticos convencionais, modelos de aprendizado de máquina (machine learning – ML) apresentam comportamento estatístico dependente de dados e são sensíveis a pequenas perturbações no espaço de entrada. Essa característica estrutural cria vetores de exploração específicos que não são contemplados por modelos clássicos de segurança de software.

Estudos pioneiros demonstraram empiricamente a fragilidade de redes neurais profundas frente a perturbações adversariais quase imperceptíveis ao ser humano. Goodfellow, Shlens e Szegedy (2015) mostraram que pequenas perturbações calculadas por gradiente podem induzir classificações incorretas com alta confiabilidade. Trabalhos subsequentes aprofundaram essa análise, demonstrando que tais vulnerabilidades derivam da geometria de alta dimensionalidade do espaço de características (SZEGEDY et al., 2014).

Além de ataques adversariais em fase de inferência, pesquisas evidenciaram que o processo de treinamento também pode ser comprometido. Ataques de envenenamento de dados consistem na inserção deliberada de amostras manipuladas no conjunto de treinamento, alterando o comportamento do modelo após a convergência (BIGGIO; NELSON; LASKOV, 2012). Em ambientes operacionais baseados em pipelines automatizados de MLOps, esse risco é ampliado pela dependência de datasets externos e repositórios distribuídos.

A dimensão operacional desses riscos foi amplificada por incidentes de segurança amplamente documentados na indústria de software. O comprometimento da cadeia de suprimentos no ataque SolarWinds demonstrou que adversários podem inserir código malicioso em pipelines de construção de software amplamente distribuídos. De maneira semelhante, a vulnerabilidade Log4Shell (CVE‑2021‑44228) evidenciou o impacto sistêmico de falhas em dependências amplamente reutilizadas.

No contexto de sistemas de aprendizado de máquina, essas ameaças se manifestam na forma de manipulação de datasets, adulteração de artefatos de treinamento e exploração de APIs de inferência. Essas atividades podem ser mapeadas para táticas conhecidas da matriz MITRE ATT&CK, incluindo comprometimento de cadeia de suprimentos (T1195), execução por interpretadores de script (T1059) e exfiltração de dados por canais de comando e controle (T1041).

Este trabalho investiga como mecanismos de segurança podem ser incorporados ao ciclo de vida operacional de modelos de ML. Formulamos três questões de pesquisa principais:

RQ1: Como formalizar o modelo de ameaça em sistemas de IA operacional considerando adversários com diferentes níveis de acesso?

RQ2: Quais mecanismos técnicos permitem detectar e mitigar ataques adversariais e envenenamento de dados em ambientes de produção?

RQ3: Qual é o impacto dessas defesas sobre métricas operacionais como latência, acurácia e custo computacional?

Propomos a arquitetura AISec‑OpStack, que integra controles de segurança em diferentes camadas do pipeline de ML, desde a ingestão de dados até o monitoramento em tempo de execução.

2. Fundamentação Teórica e Trabalhos Relacionados

A segurança de sistemas de aprendizado de máquina pode ser formalizada considerando um modelo paramétrico

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

onde $\theta$ representa os parâmetros aprendidos a partir de um conjunto de treinamento

$D = {(x_i, y_i)}_{i=1}^n$.

Ataques adversariais buscam encontrar uma perturbação $\delta$ tal que a função de perda seja maximizada:

$$ \arg\max_{\delta} L(f_\theta(x+\delta), y) $$

sujeito à restrição

$$ |\delta|_p < \epsilon $$

onde $\epsilon$ limita a magnitude da perturbação e $L$ representa a função de perda utilizada durante o treinamento.

Szegedy et al. (2014) demonstraram empiricamente a existência de exemplos adversariais em redes neurais profundas. Posteriormente, Goodfellow, Shlens e Szegedy (2015) introduziram o método Fast Gradient Sign Method (FGSM), evidenciando que tais perturbações podem ser computadas de forma eficiente utilizando gradientes do modelo.

Madry et al. (2018) propuseram treinamento adversarial baseado em Projected Gradient Descent (PGD), considerado um dos métodos mais robustos para defesa contra ataques adversariais em cenários de caixa branca.

No contexto de envenenamento de dados, Biggio, Nelson e Laskov (2012) modelaram ataques contra classificadores SVM, demonstrando degradação significativa de desempenho. Trabalhos anteriores em segurança de aprendizado de máquina, como Barreno et al. (2010), já haviam proposto uma taxonomia sistemática de ataques contra sistemas de aprendizado.

Ataques de extração de modelo também foram amplamente estudados. Tramèr et al. (2016) demonstraram que modelos implantados como serviços podem ser reconstruídos com alta fidelidade por meio de consultas adaptativas. Papernot et al. (2017) ampliaram essa abordagem explorando propriedades de transferência adversarial entre modelos substitutos.

Apesar dos avanços teóricos, a literatura apresenta limitações relevantes:

• foco predominante em datasets acadêmicos de pequena escala;
• pouca integração com infraestruturas reais de operações de segurança;
• ausência de análise sistemática de riscos de cadeia de suprimentos;
• limitada consideração de restrições operacionais de latência e disponibilidade.

Essas lacunas motivam a proposição de uma arquitetura operacional que integre segurança de ML com práticas estabelecidas de segurança da informação.

3. Modelo de Ameaça e Formalização do Problema

Consideramos três perfis principais de adversário:

A1 — atacante black‑box com acesso a APIs de inferência.

A2 — insider com acesso parcial ao dataset ou pipeline de treinamento.

A3 — agente capaz de comprometer infraestrutura de integração contínua ou distribuição de artefatos.

Modelamos o pipeline de aprendizado de máquina como

$$ P = {D_{raw}, T, M, E, I} $$

onde:

Componente	Descrição
$D_{raw}$	dados brutos coletados
$T$	transformação e pré‑processamento
$M$	modelo treinado
$E$	endpoint de inferência
$I$	infraestrutura operacional

Definimos três propriedades de segurança fundamentais.

Integridade do modelo:

$$ \theta = \theta_{legítimo} $$

Robustez adversarial:

$$ \forall \delta, |\delta|p < \epsilon \Rightarrow f\theta(x+\delta) = f_\theta(x) $$

Confidencialidade do modelo, expressa como a dificuldade computacional de reconstruir $\theta$ a partir de consultas externas.

4. Metodologia Proposta

A arquitetura AISec‑OpStack integra controles de segurança em quatro camadas principais:

Camada 1 — proteção da cadeia de suprimentos de modelos.
Camada 2 — validação estatística de dados de treinamento.
Camada 3 — mecanismos de robustez adversarial.
Camada 4 — monitoramento operacional contínuo.

A proteção da cadeia de suprimentos inclui assinatura criptográfica de artefatos, geração de Software Bill of Materials (SBOM) e verificação de integridade por hash SHA‑256.

Para detecção de envenenamento utilizamos análise de influência de amostras. O algoritmo proposto remove exemplos que exercem influência desproporcional na função de perda.

Algoritmo de detecção de envenenamento:

Input: dataset D
Output: D_limpo

1: treinar modelo base f
2: calcular influência I(x_i)
3: se I(x_i) > τ marcar como suspeito
4: remover amostras suspeitas
5: retornar D_limpo

A complexidade exata do cálculo de influência é $O(n^2)$. Empregamos aproximação estocástica que reduz o custo para aproximadamente $O(n \log n)$.

5. Implementação

A arquitetura foi implementada em ambiente baseado em contêineres com cluster Kubernetes versão 1.22, utilizando controle de acesso baseado em papéis (RBAC) e comunicação mTLS para serviços internos.

Exemplo de política de rede utilizada para restringir acesso ao serviço de inferência:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
spec:
  podSelector:
    matchLabels:
      app: model-api
  policyTypes:
  - Ingress
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          role: trusted

O monitoramento de integridade foi realizado com Falco para detecção de comportamentos anômalos em runtime e Suricata IDS para inspeção de tráfego de rede associado às APIs de inferência.

O rastreamento de experimentos e versões de modelos foi realizado com MLflow, permitindo auditoria completa de parâmetros de treinamento e datasets utilizados.

6. Avaliação Experimental

O ambiente experimental consistiu em cluster com 12 GPUs NVIDIA A100 e 256 GB de RAM por nó.

Foram utilizados dois datasets:

Dataset	Aplicação
CIFAR‑10	classificação de imagens
UNSW‑NB15	detecção de intrusão

Foram avaliados três cenários:

Configuração	Defesa
Baseline	sem defesa
PGD adversarial training	robustez adversarial
AISec‑OpStack	arquitetura completa

Resultados para ataque FGSM:

Configuração	Taxa de sucesso
Baseline	78,2%
PGD	34,6%
AISec‑OpStack	12,9%

Experimentos de envenenamento com 5% de dados contaminados:

Métrica	Valor
acurácia baseline	61,4%
acurácia com detecção	88,7%
falso positivo	4,7%

Em ataques de extração de modelo, a fidelidade do modelo reconstruído caiu de 94% para 38% quando foram aplicados limites adaptativos de consulta e ruído estocástico nas respostas.

O overhead médio observado foi de 7,3 ms por requisição.

7. Estudo de Caso Operacional

Para avaliar a arquitetura em cenário realista, simulamos um ambiente de centro de operações de segurança (SOC) financeiro que utiliza modelos de ML para classificação de transações fraudulentas.

Durante exercício de red teaming, os atacantes executaram três etapas:

1. enumeração de endpoints da API de inferência;
2. tentativa de extração de modelo por consultas massivas;
3. inserção de amostras manipuladas no pipeline de treinamento.

O módulo de monitoramento detectou anomalias na distribuição de consultas, com desvio superior a $3\sigma$ em relação ao padrão normal de uso. A integração com o sistema de gestão de eventos de segurança permitiu bloqueio automático do endereço IP pelo firewall de aplicação.

8. Discussão

Os resultados indicam que defesas isoladas são insuficientes para proteger sistemas de aprendizado de máquina implantados em produção. Treinamento adversarial reduz a vulnerabilidade a perturbações adversariais, mas não protege contra ataques de extração de modelo ou envenenamento de dados.

A principal contribuição da arquitetura proposta é integrar mecanismos de segurança ao ciclo de vida completo do modelo, aproximando práticas de segurança de ML das estratégias tradicionais de defesa em profundidade utilizadas em segurança da informação.

Entre as limitações do estudo destacam‑se a avaliação restrita a datasets específicos e a ausência de análise de técnicas criptográficas avançadas, como computação confidencial baseada em enclaves seguros.

9. Conclusão

Este trabalho apresentou uma arquitetura operacional para defesa de sistemas de aprendizado de máquina contra ataques adversariais, envenenamento de dados e comprometimento da cadeia de suprimentos.

A arquitetura AISec‑OpStack combina verificação de integridade de artefatos, detecção estatística de anomalias em dados, mecanismos de robustez adversarial e monitoramento contínuo em tempo de execução.

Resultados experimentais demonstraram redução significativa da taxa de sucesso de ataques adversariais e aumento substancial da resiliência do pipeline de treinamento, com impacto operacional limitado em latência.

Os resultados reforçam a necessidade de incorporar controles de segurança desde o início do ciclo de vida de sistemas de aprendizado de máquina, especialmente em ambientes críticos que dependem de decisões automatizadas.

References

APACHE SOFTWARE FOUNDATION. Log4j Security Vulnerabilities. 2021. Disponível em: https://logging.apache.org/log4j/2.x/security.html. Acesso em: 13 abr. 2026.

BARRENO, Marco et al. The Security of Machine Learning. Machine Learning, v. 81, n. 2, p. 121–148, 2010. Disponível em: https://doi.org/10.1007/s10994-010-5188-5. Acesso em: 13 abr. 2026.

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning Attacks against Support Vector Machines. Proceedings of ICML, 2012. Disponível em: https://arxiv.org/abs/1206.6389. Acesso em: 13 abr. 2026.

ENISA. Artificial Intelligence Threat Landscape. 2021. Disponível em: https://www.enisa.europa.eu/publications/artificial-intelligence-threat-landscape. Acesso em: 13 abr. 2026.

FALCO. Runtime Security for Containers and Kubernetes. 2021. Disponível em: https://falco.org. Acesso em: 13 abr. 2026.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and Harnessing Adversarial Examples. ICLR, 2015. Disponível em: https://arxiv.org/abs/1412.6572. Acesso em: 13 abr. 2026.

HUANG, Ling et al. Adversarial Machine Learning. Proceedings of AISec, 2011. Disponível em: https://doi.org/10.1145/2046684.2046692. Acesso em: 13 abr. 2026.

KUBERNETES. Kubernetes Documentation. 2021. Disponível em: https://kubernetes.io/docs. Acesso em: 13 abr. 2026.

MADRY, Aleksander et al. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR, 2018. Disponível em: https://arxiv.org/abs/1706.06083. Acesso em: 13 abr. 2026.

MITRE. ATT&CK Framework. 2022. Disponível em: https://attack.mitre.org. Acesso em: 13 abr. 2026.

NELSON, Blaine et al. Exploiting Machine Learning to Subvert Your Spam Filter. LEET, 2008. Disponível em: https://www.usenix.org/legacy/event/leet08/tech/full_papers/nelson/nelson.pdf. Acesso em: 13 abr. 2026.

NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800‑53 Rev.5). 2020. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final. Acesso em: 13 abr. 2026.

NIST. Zero Trust Architecture (SP 800‑207). 2020. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-207/final. Acesso em: 13 abr. 2026.

OWASP. OWASP Top 10. 2021. Disponível em: https://owasp.org/www-project-top-ten. Acesso em: 13 abr. 2026.

PAPERNOT, Nicolas et al. Practical Black‑Box Attacks against Machine Learning. ACM AsiaCCS, 2017. Disponível em: https://doi.org/10.1145/3052973.3053009. Acesso em: 13 abr. 2026.

SPLUNK. Security Information and Event Management. 2021. Disponível em: https://www.splunk.com. Acesso em: 13 abr. 2026.

SURICATA. Suricata Intrusion Detection System. 2022. Disponível em: https://suricata.io. Acesso em: 13 abr. 2026.

SZEGEDY, Christian et al. Intriguing Properties of Neural Networks. ICLR, 2014. Disponível em: https://arxiv.org/abs/1312.6199. Acesso em: 13 abr. 2026.

TRAMÈR, Florian et al. Stealing Machine Learning Models via Prediction APIs. USENIX Security Symposium, 2016. Disponível em: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Acesso em: 13 abr. 2026.

MLOPS COMMUNITY. MLflow: Open Source Platform for Machine Learning Lifecycle. 2022. Disponível em: https://mlflow.org. Acesso em: 13 abr. 2026.

CISA. SolarWinds Supply Chain Compromise. 2021. Disponível em: https://www.cisa.gov/solarwinds. Acesso em: 13 abr. 2026.

BEHL, Abhishek; BEHL, Karan. Cybersecurity and Cyberwar: What Everyone Needs to Know. Oxford University Press, 2017. Disponível em: https://global.oup.com. Acesso em: 13 abr. 2026.

KIM, Taesoo et al. Understanding Container Security. IEEE Security & Privacy, 2020. Disponível em: https://doi.org/10.1109/MSEC.2020.2967729. Acesso em: 13 abr. 2026.

GARCIA‑TEODORO, Pedro et al. Anomaly‑based Network Intrusion Detection. Computers & Security, 2009. Disponível em: https://doi.org/10.1016/j.cose.2008.08.003. Acesso em: 13 abr. 2026.

CHANDOLA, Varun; BANERJEE, Arindam; KUMAR, Vipin. Anomaly Detection: A Survey. ACM Computing Surveys, 2009. Disponível em: https://doi.org/10.1145/1541880.1541882. Acesso em: 13 abr. 2026.