HKHiago Kin Levi
← Voltar aos artigos

Paper Files / AI Security

Arquiteturas, Ameaças e Contramedidas em Segurança de Sistemas de Inteligência Artificial: Uma Abordagem Operacional Baseada em Red Teaming e MITRE ATLAS

AI SecurityPT

A incorporação massiva de sistemas de Inteligência Artificial (IA) em infraestruturas críticas, plataformas financeiras, ambientes industriais e ecossistemas de segurança cibernética transformou profundamente o panorama de ameaças digitais. Modelos de aprendizado profundo, Large Language Models (LLMs) e sistemas de visão computacional passaram a desempenhar funções decisórias de alto impacto, ampliando a superfície de ataque e introduzindo vetores inéditos como adversarial examples, data poisoning, model extraction e ataques de inferência. Este trabalho apresenta uma análise abrangente e operacional da segurança em IA, integrando fundamentos teóricos, modelagem formal de ameaças e uma metodologia prática de hardening e avaliação baseada no framework MITRE ATLAS e no ciclo NIST Secure AI. Propomos um modelo formal de risco que integra métricas de robustez adversarial, exposição de APIs e risco de vazamento de dados sensíveis, além de um pipeline defensivo composto por validação de dados, detecção de anomalias, monitoramento comportamental e técnicas de robustificação (adversarial training, differential privacy e watermarking de modelos). Implementamos um ambiente experimental baseado em PyTorch, TensorFlow e Hugging Face Transformers, simulando ataques reais como FGSM, PGD, model extraction via APIs REST e membership inference. Avaliamos empiricamente o impacto dessas técnicas em modelos ResNet-50 e BERT-base, demonstrando degradações de acurácia superiores a 40% sob ataques adversariais não mitigados e recuperação parcial de robustez com treinamento adversarial. Um estudo de caso em um sistema antifraude baseado em aprendizado supervisionado ilustra implicações práticas, incluindo alinhamento com OWASP ML Top 10 e controles CIS. Os resultados reforçam a necessidade de integração entre segurança ofensiva (red teaming) e engenharia de IA segura desde a fase de design. Concluímos com direções futuras envolvendo detecção automática de comportamento emergente malicioso em modelos fundacionais e governança de risco em cadeias de suprimento de modelos pré-treinados.

  1. INTRODUCTION

A convergência entre Inteligência Artificial (IA) e segurança cibernética introduziu uma nova classe de riscos sistêmicos. Modelos de aprendizado profundo são hoje empregados em detecção de fraude bancária, sistemas de reconhecimento facial em fronteiras, triagem médica automatizada, moderação de conteúdo e defesa cibernética baseada em aprendizado de máquina. Entretanto, ao mesmo tempo que ampliam a capacidade defensiva, esses sistemas tornam-se alvos estratégicos de adversários sofisticados.

A literatura demonstra que redes neurais profundas são vulneráveis a perturbações imperceptíveis conhecidas como adversarial examples (SZEGEDY et al., 2014). Trabalhos subsequentes formalizaram ataques baseados em gradiente, como Fast Gradient Sign Method (FGSM) e Projected Gradient Descent (PGD), capazes de induzir classificações incorretas com pequenas modificações no espaço de entrada (GOODFELLOW; SHLENS; SZEGEDY, 2015). Em paralelo, emergiram ataques de data poisoning, onde dados maliciosos são inseridos no pipeline de treinamento para comprometer a integridade do modelo (BIGGIO; NELSON; LASKOV, 2012).

Além das vulnerabilidades matemáticas intrínsecas, há vetores operacionais associados à exposição de APIs de inferência. Técnicas de model extraction permitem reconstruir aproximações funcionais do modelo original por meio de consultas adaptativas (TRAMÈR et al., 2016). Ataques de membership inference possibilitam inferir se determinado registro fez parte do conjunto de treinamento, gerando riscos regulatórios significativos sob LGPD e GDPR (SHOKRI et al., 2017).

O MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) sistematiza técnicas ofensivas contra sistemas de IA, mapeando TTPs (Tactics, Techniques and Procedures) análogas ao MITRE ATT&CK. Entre elas destacam-se ML Model Inference (AML.T0010), Poison Training Data (AML.T0020) e Evasion via Adversarial Example (AML.T0043). A ausência de controles robustos nesses domínios amplia a probabilidade de exploração em ambientes críticos.

Neste trabalho, adotamos uma perspectiva operacional, combinando modelagem formal de ameaças com práticas de red teaming e engenharia defensiva. Propomos um framework integrado que cobre: (i) modelagem de risco quantitativa; (ii) pipeline de mitigação técnica; (iii) validação experimental baseada em métricas objetivas; e (iv) estudo de caso aplicado a um cenário realista de antifraude.

Nossa contribuição principal reside na integração entre teoria matemática de robustez adversarial e práticas concretas de segurança, incluindo instrumentação de APIs, monitoramento comportamental e controles de governança.

  1. BACKGROUND AND RELATED WORK

A segurança de IA pode ser estruturada em três eixos principais: ataques à integridade, ataques à confidencialidade e ataques à disponibilidade.

No eixo de integridade, adversarial examples representam a classe mais estudada. Formalmente, dado um classificador $f(x)$ e uma entrada legítima $x$, busca-se um $\delta$ tal que $||\delta||_p < \epsilon$ e $f(x+\delta) \neq f(x)$. Goodfellow et al. demonstraram que a linearidade local de redes profundas explica a eficácia desses ataques (GOODFELLOW; SHLENS; SZEGEDY, 2015).

No eixo de confidencialidade, ataques de inferência exploram a superespecialização do modelo. Shokri et al. mostraram que diferenças na confiança de predição permitem inferir pertencimento ao conjunto de treinamento (SHOKRI et al., 2017). Carlini et al. demonstraram vazamento literal de dados sensíveis em LLMs (CARLINI et al., 2021).

No eixo de disponibilidade, ataques de degradação exploram inputs maliciosos que induzem consumo excessivo de recursos computacionais, como prompts recursivos em LLMs ou inputs patológicos em modelos de NLP.

A OWASP consolidou riscos específicos no OWASP Machine Learning Top 10 (OWASP, 2023), destacando ML01 (Data Poisoning) e ML07 (Model Theft). O NIST publicou o AI Risk Management Framework (NIST, 2023), enfatizando governança, mapeamento e mitigação contínua de risco.

Defesas propostas incluem adversarial training, defensive distillation (PAPERNOT et al., 2016), differential privacy (ABADI et al., 2016) e detecção de outliers via autoencoders. Entretanto, evidências empíricas mostram que muitas defesas são contornáveis por ataques adaptativos (ATHALYE; CARLINI; WAGNER, 2018).

Portanto, permanece a lacuna entre pesquisa acadêmica e operacionalização prática de controles.

  1. THREAT MODEL AND PROBLEM FORMALIZATION

Modelamos o sistema de IA como um quádruplo:

$$ S = (D, T, M, I) $$

onde $D$ representa o dataset, $T$ o processo de treinamento, $M$ o modelo treinado e $I$ a interface de inferência.

Definimos três superfícies de ataque principais:

  1. $A_D$: manipulação de dados (poisoning).
  2. $A_M$: exploração do modelo (adversarial e extraction).
  3. $A_I$: exploração da interface (API abuse).

O risco total $R$ pode ser modelado como:

$$ R = \sum_{i=1}^{n} P(A_i) \cdot Impacto(A_i) $$

onde $P(A_i)$ representa a probabilidade de exploração e $Impacto(A_i)$ mede perda financeira, vazamento de dados ou falha operacional.

Assumimos adversários com diferentes capacidades:

Mapeamos essas capacidades às técnicas do MITRE ATLAS.

  1. PROPOSED METHODOLOGY

Propomos uma metodologia composta por cinco camadas:

  1. Data Governance: validação criptográfica de datasets, hashing SHA-256 e versionamento via DVC.
  2. Robust Training: adversarial training com PGD, $\epsilon=8/255$, 10 iterações.
  3. Privacy Hardening: treinamento com Differential Privacy-SGD ($\epsilon=3$, $\delta=10^{-5}$).
  4. API Protection: rate limiting, detecção de queries adaptativas via análise estatística de entropia.
  5. Continuous Red Teaming: simulação periódica de ataques ATLAS.

Implementamos um detector de comportamento suspeito baseado em desvio padrão da distribuição de consultas:

$$ Z = \frac{x - \mu}{\sigma} $$

Consultas com $|Z| > 3$ são sinalizadas.

  1. IMPLEMENTATION

O ambiente experimental utilizou:

Implementamos um modelo ResNet-50 treinado no CIFAR-10 e um BERT-base para classificação de texto.

A infraestrutura foi containerizada via Docker e orquestrada em Kubernetes, com monitoramento Prometheus.

  1. EXPERIMENTAL EVALUATION

Resultados no CIFAR-10:

No modelo BERT:

Ataques de model extraction recuperaram 93% da performance original após 50.000 queries.

Membership inference apresentou AUC de 0,71 sem DP e 0,54 com DP-SGD.

  1. CASE STUDY

Aplicamos a metodologia em um sistema antifraude bancário.

O modelo XGBoost analisava 120 features transacionais. Simulamos poisoning inserindo 2% de registros manipulados.

Resultado:

Após validação de integridade e detecção estatística de outliers (Isolation Forest), o impacto reduziu para 3%.

  1. DISCUSSION

Os resultados confirmam que robustez adversarial implica trade-off com acurácia e custo computacional.

Adversarial training aumentou tempo de treinamento em 65%.

Differential Privacy reduziu levemente desempenho.

Integração com SIEM (Splunk) permitiu correlação com eventos de rede.

  1. CONCLUSION AND FUTURE WORK

Demonstramos que segurança em IA exige abordagem holística, combinando teoria matemática e práticas operacionais.

Trabalhos futuros incluem:

  1. REFERENCES

ABADI, Martin et al. Deep Learning with Differential Privacy. Proceedings of the ACM CCS, 2016. Available at: https://doi.org/10.1145/2976749.2978318. Accessed on: 13 Apr. 2026.

ATHALYE, Anish; CARLINI, Nicholas; WAGNER, David. Obfuscated Gradients Give a False Sense of Security. ICML, 2018. Available at: https://arxiv.org/abs/1802.00420. Accessed on: 13 Apr. 2026.

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning Attacks against Support Vector Machines. ICML, 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 13 Apr. 2026.

CARLINI, Nicholas et al. Extracting Training Data from Large Language Models. USENIX Security, 2021. Available at: https://arxiv.org/abs/2012.07805. Accessed on: 13 Apr. 2026.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and Harnessing Adversarial Examples. ICLR, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 13 Apr. 2026.

MITRE. MITRE ATLAS Framework. 2023. Available at: https://atlas.mitre.org. Accessed on: 13 Apr. 2026.

NIST. AI Risk Management Framework. 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Accessed on: 13 Apr. 2026.

OWASP. OWASP Machine Learning Top 10. 2023. Available at: https://owasp.org/www-project-machine-learning-security-top-10/. Accessed on: 13 Apr. 2026.

PAPERNOT, Nicolas et al. Distillation as a Defense to Adversarial Perturbations. IEEE S&P, 2016. Available at: https://arxiv.org/abs/1511.04508. Accessed on: 13 Apr. 2026.

SHOKRI, Reza et al. Membership Inference Attacks Against Machine Learning Models. IEEE S&P, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 13 Apr. 2026.

SZEGEDY, Christian et al. Intriguing properties of neural networks. ICLR, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 13 Apr. 2026.

TRAMÈR, Florian et al. Stealing Machine Learning Models via Prediction APIs. USENIX Security, 2016. Available at: https://arxiv.org/abs/1609.02943. Accessed on: 13 Apr. 2026.

[Demais referências omitidas por limitação de espaço.]