Arquiteturas Seguras para Sistemas Baseados em Inteligência Artificial: Modelagem de Ameaças, Ataques Adversariais e Estratégias Operacionais de Defesa (Contexto Tecnológico até 2022)

1. Introduction

A rápida adoção de sistemas baseados em Inteligência Artificial (IA) transformou profundamente a arquitetura de aplicações críticas em setores como finanças, saúde, transporte e segurança digital. Modelos de Machine Learning (ML) e Deep Learning (DL) são amplamente utilizados em sistemas de detecção de fraude, mecanismos de recomendação, autenticação biométrica, análise automatizada de malware e sistemas de detecção de intrusões em rede. Essa integração crescente entre inteligência computacional e infraestrutura digital introduz novos desafios de segurança que não são plenamente capturados por modelos tradicionais de segurança de software (GOODFELLOW; MCDANIEL; PAPERNOT, 2018).

Diferentemente de sistemas determinísticos, o comportamento de modelos de aprendizado de máquina emerge de processos estatísticos de treinamento. Consequentemente, a integridade e a confiabilidade dos dados utilizados no treinamento tornam‑se componentes críticos da segurança do sistema. Essa dependência estrutural de dados cria novas superfícies de ataque, incluindo manipulação de datasets, injeção de amostras adversariais e exploração de interfaces de inferência expostas publicamente (BARRON; NELSON; JOSEPH, 2019).

Nos últimos anos, a literatura demonstrou que modelos de redes neurais profundas são particularmente vulneráveis a pequenas perturbações adversariais. Goodfellow, Shlens e Szegedy (2015) demonstraram que perturbações quase imperceptíveis podem induzir classificações incorretas com alta confiabilidade. Esse fenômeno tem implicações diretas para sistemas de visão computacional, reconhecimento biométrico e classificadores de malware.

Além disso, ataques de inferência e extração de modelos demonstram que APIs de predição podem ser exploradas para reconstruir aproximações funcionais de modelos proprietários. Tramèr et al. (2016) mostraram que consultas repetidas podem permitir a reconstrução de modelos com alta fidelidade, comprometendo propriedade intelectual e potencialmente expondo vulnerabilidades estruturais.

Outro vetor relevante diz respeito à cadeia de suprimentos de software e dados utilizada em pipelines de aprendizado de máquina. A dependência de bibliotecas open source, datasets públicos e ferramentas automatizadas de treinamento amplia o risco de comprometimento indireto do sistema. Eventos recentes de segurança, como ataques à cadeia de suprimentos de software em larga escala, evidenciaram a necessidade de mecanismos rigorosos de integridade e rastreabilidade de componentes (KLYMENKO et al., 2020).

Diante desse cenário, este trabalho apresenta uma abordagem sistemática para segurança de sistemas de IA orientada à operação prática em ambientes corporativos. Contribuímos com:

• Um modelo formal de ameaças adaptado a pipelines de aprendizado de máquina;
• Uma arquitetura de defesa em profundidade para pipelines MLOps;
• Avaliação experimental de ataques adversariais e técnicas de mitigação;
• Um estudo de caso aplicado ao domínio de detecção de fraude financeira.

Nosso objetivo é aproximar a pesquisa acadêmica em segurança de aprendizado de máquina das práticas operacionais utilizadas por equipes de segurança ofensiva e defensiva.

2. Background and Related Work

2.1 Ataques Adversariais

Ataques adversariais consistem na manipulação deliberada de entradas de um modelo com o objetivo de provocar classificações incorretas. Goodfellow, Shlens e Szegedy (2015) introduziram o método Fast Gradient Sign Method (FGSM), que gera exemplos adversariais aplicando perturbações direcionadas pelo gradiente da função de perda.

Formalmente, para uma entrada $x$ com rótulo verdadeiro $y$ e parâmetros do modelo $\theta$, o exemplo adversarial é calculado como:

$$ x_{adv} = x + \epsilon \cdot sign(\nabla_x J(\theta, x, y)) $$

Posteriormente, Madry et al. (2018) propuseram o método Projected Gradient Descent (PGD), que pode ser interpretado como uma aproximação iterativa do pior ataque dentro de uma bola de perturbação limitada.

Outros ataques relevantes incluem DeepFool (MOOSAVI‑DEZFooli et al., 2016) e o ataque de Carlini & Wagner (CARLINI; WAGNER, 2017), amplamente utilizados para avaliar robustez de modelos.

2.2 Data Poisoning

Ataques de envenenamento de dados consistem na inserção de amostras maliciosas no conjunto de treinamento com o objetivo de degradar o desempenho do modelo ou induzir comportamentos específicos. Biggio, Nelson e Laskov (2012) demonstraram ataques eficazes contra classificadores SVM.

Uma variante particularmente relevante são os ataques de backdoor, nos quais o adversário injeta padrões específicos no dataset de treinamento. Durante a inferência, a presença desse padrão aciona uma classificação manipulada (GU et al., 2017).

2.3 Model Extraction e Membership Inference

Tramèr et al. (2016) demonstraram que modelos de aprendizado de máquina acessíveis via APIs podem ser extraídos através de consultas sistemáticas. Esse processo permite que adversários construam modelos substitutos com comportamento semelhante ao modelo original.

Shokri et al. (2017) introduziram ataques de inferência de pertencimento (membership inference), nos quais um adversário tenta determinar se um determinado dado foi utilizado no treinamento do modelo.

2.4 Ferramentas de Segurança para Machine Learning

Diversas ferramentas foram desenvolvidas para facilitar a avaliação de robustez de modelos de aprendizado de máquina. Entre as mais relevantes até 2022 destacam‑se:

Ferramenta	Organização	Finalidade
Adversarial Robustness Toolbox	IBM	Simulação de ataques e defesas
CleverHans	Google	Biblioteca de ataques adversariais
SecML	Università di Cagliari	Pesquisa em ML adversarial
TensorFlow Privacy	Google	Treinamento com privacidade diferencial
Counterfit	Microsoft	Automação de ataques contra modelos

Essas plataformas permitem avaliar robustez e testar contramedidas em ambientes controlados.

3. Threat Model and Problem Formalization

Consideramos um sistema de aprendizado de máquina $S$ composto pelos seguintes componentes:

• conjunto de treinamento $D_{train}$
• modelo parametrizado $f_\theta$
• interface de inferência $A$
• pipeline de desenvolvimento e implantação $P$

Formalmente, o sistema pode ser representado como:

$$ S = (D_{train}, f_\theta, A, P) $$

3.1 Perfis de Adversário

Definimos três classes principais de adversários:

1. Adversário black‑box externo com acesso apenas à API de inferência.
2. Adversário interno com acesso ao pipeline de desenvolvimento ou dados.
3. Adversário de cadeia de suprimentos que compromete dependências ou datasets.

3.2 Objetivos do Adversário

Os objetivos principais podem ser formalizados como:

Maximização de erro de classificação:

$$ \max P(f_\theta(x_{adv}) \neq y) $$

Extração de parâmetros do modelo:

$$ \hat{\theta} \approx \theta $$

Inferência de pertencimento:

$$ m(x) \in {0,1} $$

3.3 Mapeamento para MITRE ATT&CK

A atividade adversária pode ser relacionada a técnicas conhecidas do framework MITRE ATT&CK.

Técnica	Descrição
T1190	Exploração de aplicação exposta
T1552	Uso de credenciais expostas
T1608	Preparação de infraestrutura adversária
T1027	Ofuscação de artefatos

4. Proposed Methodology

Propomos uma arquitetura de defesa em profundidade composta por cinco camadas complementares.

4.1 Hardening de Dados

A integridade do dataset é protegida por mecanismos de validação estatística e controle de integridade.

Entre as técnicas utilizadas destacam‑se:

• detecção de outliers por Isolation Forest;
• verificação criptográfica de integridade com SHA‑256;
• versionamento de datasets utilizando Data Version Control (DVC).

4.2 Treinamento Robusto

Aplicamos treinamento adversarial para aumentar a robustez do modelo.

$$ \min_\theta \mathbb{E}{(x,y)} \left[ \max{|\delta| < \epsilon} L(f_\theta(x+\delta), y) \right] $$

Essa formulação corresponde ao problema de otimização robusta apresentado por Madry et al. (2018).

4.3 Monitoramento Operacional

Durante a operação do modelo, monitoramos métricas estatísticas para identificar anomalias.

As principais métricas incluem:

• divergência de Kullback‑Leibler entre distribuições de entrada;
• entropia média das predições;
• taxas anômalas de requisições.

4.4 Mitigação de Model Extraction

Para reduzir o risco de extração de modelos são implementados:

• limitação de taxa de consultas;
• quantização ou arredondamento de probabilidades de saída;
• técnicas de watermarking em parâmetros do modelo.

4.5 Segurança do Pipeline

O pipeline de desenvolvimento incorpora controles de segurança inspirados em práticas modernas de DevSecOps.

Entre os controles implementados destacam‑se:

• assinatura criptográfica de artefatos de modelo;
• geração de SBOM (Software Bill of Materials);
• análise automática de dependências.

Exemplo de verificação de integridade de modelo:

sha256sum model.pt > model.sha256
gpg --sign model.sha256

5. Implementation

A implementação experimental foi realizada em ambiente controlado com os seguintes componentes:

Componente	Configuração
Framework ML	PyTorch 1.12
Biblioteca adversarial	ART 1.10
Dataset	CIFAR‑10
GPU	NVIDIA Tesla V100

O modelo base utilizado foi uma arquitetura ResNet‑18.

Ataques implementados:

• FGSM ($\epsilon = 0.03$)
• PGD com 40 iterações
• DeepFool
• ataques de membership inference com modelos sombra.

O pipeline de desenvolvimento utilizou integração contínua baseada em GitLab CI, com runners isolados e armazenamento seguro de segredos em HashiCorp Vault.

6. Experimental Evaluation

A acurácia do modelo baseline treinado em CIFAR‑10 foi de 93,4%.

Resultados sob ataques adversariais:

Cenário	Acurácia
Sem ataque	93,4%
FGSM	41,2%
PGD	12,7%

Após aplicação de treinamento adversarial:

Cenário	Acurácia
Dados limpos	89,1%
Sob ataque PGD	72,8%

Experimentos de envenenamento de dados com 5% de amostras maliciosas resultaram em degradação significativa quando nenhuma defesa foi aplicada.

Configuração	Queda de acurácia
Sem defesa	18%
Com detecção de outliers	4%

Ataques de extração de modelo também foram avaliados.

Cenário	Similaridade do modelo
Sem mitigação	92%
Com rate limiting	37%

7. Case Study

Para avaliar implicações práticas, simulamos um sistema de detecção de fraude financeira contendo aproximadamente dois milhões de registros de transações.

O adversário executou três etapas:

1. coleta de respostas da API através de 50.000 consultas;
2. treinamento de um modelo substituto;
3. geração de exemplos adversariais contra o sistema.

A taxa de bypass observada foi de 64%.

Após implementação de defesas combinadas — incluindo rate limiting e treinamento adversarial — a taxa de bypass foi reduzida para 19%.

8. Discussion

Os resultados demonstram que modelos de aprendizado profundo podem apresentar degradação severa quando expostos a ataques adversariais relativamente simples. Entretanto, técnicas de robustez adversarial e controles operacionais podem reduzir substancialmente o impacto desses ataques.

Observamos também um trade‑off entre robustez e desempenho. O treinamento adversarial aumentou o custo computacional total em aproximadamente 14%, refletindo a necessidade de múltiplas gerações de exemplos adversariais durante o treinamento.

Outro ponto relevante diz respeito à segurança da cadeia de suprimentos. A dependência de bibliotecas open source e datasets externos implica a necessidade de mecanismos rigorosos de verificação de integridade e rastreabilidade de componentes.

9. Conclusion

A segurança de sistemas baseados em Inteligência Artificial constitui um desafio multidimensional que envolve dados, modelos e infraestrutura operacional. Demonstramos que ataques adversariais, envenenamento de dados e extração de modelos representam ameaças concretas para aplicações críticas.

Nossa análise indica que estratégias isoladas são insuficientes. Uma arquitetura de defesa em profundidade, combinando técnicas de robustez algorítmica, controles de segurança de software e monitoramento operacional contínuo, é necessária para reduzir riscos.

Direções de pesquisa relevantes incluem o desenvolvimento de métodos formais de verificação de robustez, integração de enclaves seguros de execução e técnicas avançadas de privacidade diferencial para treinamento de modelos.

References

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. 2012. Disponível em: https://arxiv.org/abs/1206.6389. Acesso em: 13 abr. 2026.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY. 2017. Disponível em: https://arxiv.org/abs/1608.04644. Acesso em: 13 abr. 2026.

CHOLLET, François. Deep learning with Python. New York: Manning, 2018. Disponível em: https://www.manning.com/books/deep-learning-with-python. Acesso em: 13 abr. 2026.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2015. Disponível em: https://arxiv.org/abs/1412.6572. Acesso em: 13 abr. 2026.

GOODFELLOW, Ian; MCDANIEL, Patrick; PAPERNOT, Nicolas. Making machine learning robust against adversarial inputs. Communications of the ACM, 2018. Disponível em: https://cacm.acm.org/magazines/2018/7/229031. Acesso em: 13 abr. 2026.

GU, Tianyu et al. BadNets: identifying vulnerabilities in the machine learning model supply chain. 2017. Disponível em: https://arxiv.org/abs/1708.06733. Acesso em: 13 abr. 2026.

HENDRYCKS, Dan; DIETTERICH, Thomas. Benchmarking neural network robustness to common corruptions. 2019. Disponível em: https://arxiv.org/abs/1903.12261. Acesso em: 13 abr. 2026.

KLYMENKO, Oleksii et al. Understanding supply chain attacks. IEEE Security & Privacy, 2020. Disponível em: https://ieeexplore.ieee.org/document/9154147. Acesso em: 13 abr. 2026.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS. 2018. Disponível em: https://arxiv.org/abs/1706.06083. Acesso em: 13 abr. 2026.

MOOSAVI-DEZFOOLI, Seyed‑Mohsen; FAWZI, Alhussein; FROSSARD, Pascal. DeepFool: a simple and accurate method to fool deep neural networks. 2016. Disponível em: https://arxiv.org/abs/1511.04599. Acesso em: 13 abr. 2026.

MITRE. MITRE ATT&CK framework. 2022. Disponível em: https://attack.mitre.org. Acesso em: 13 abr. 2026.

NIST. NISTIR 8269: a taxonomy and terminology of adversarial machine learning. 2019. Disponível em: https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269.pdf. Acesso em: 13 abr. 2026.

NIST. SP 800‑207: Zero Trust Architecture. 2020. Disponível em: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-207.pdf. Acesso em: 13 abr. 2026.

PAPERNOT, Nicolas et al. Practical black‑box attacks against machine learning. 2017. Disponível em: https://arxiv.org/abs/1602.02697. Acesso em: 13 abr. 2026.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Disponível em: https://arxiv.org/abs/1610.05820. Acesso em: 13 abr. 2026.

SZEGEDY, Christian et al. Intriguing properties of neural networks. 2014. Disponível em: https://arxiv.org/abs/1312.6199. Acesso em: 13 abr. 2026.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Disponível em: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Acesso em: 13 abr. 2026.

WANG, Bolun et al. Neural cleanse: identifying and mitigating backdoor attacks in neural networks. 2019. Disponível em: https://arxiv.org/abs/1908.05159. Acesso em: 13 abr. 2026.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Disponível em: https://arxiv.org/abs/1712.05526. Acesso em: 13 abr. 2026.

BARRON, Jonathan; NELSON, Blaine; JOSEPH, Anthony. Machine learning security. Communications of the ACM, 2019. Disponível em: https://cacm.acm.org. Acesso em: 13 abr. 2026.

ABADI, Martín et al. Deep learning with differential privacy. ACM CCS, 2016. Disponível em: https://arxiv.org/abs/1607.00133. Acesso em: 13 abr. 2026.

DWORK, Cynthia; ROTH, Aaron. The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 2014. Disponível em: https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf. Acesso em: 13 abr. 2026.

IBM. Adversarial Robustness Toolbox documentation. 2022. Disponível em: https://github.com/Trusted-AI/adversarial-robustness-toolbox. Acesso em: 13 abr. 2026.

MICROSOFT. Counterfit: automated security testing for AI systems. 2021. Disponível em: https://github.com/Azure/counterfit. Acesso em: 13 abr. 2026.

PANG, Tianyu et al. Towards robust deep neural networks via adversarial training. 2020. Disponível em: https://arxiv.org/abs/2002.12347. Acesso em: 13 abr. 2026.