ARQUITETURA OPERACIONAL PARA A SEGURANÇA DE SISTEMAS DE INTELIGÊNCIA ARTIFICIAL: MODELAGEM DE AMEAÇAS, DEFESA EM PROFUNDIDADE E AVALIAÇÃO EMPÍRICA EM AMBIENTES CRÍTICOS

1. Introdução

A adoção em larga escala de sistemas de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) em infraestruturas críticas redefiniu substancialmente o cenário contemporâneo de risco cibernético. Sistemas de IA são amplamente utilizados em mecanismos de detecção de fraude bancária, classificação automatizada de malware, detecção de intrusões, triagem de incidentes em Centros de Operações de Segurança (SOCs) e sistemas de autenticação biométrica. Contudo, diferentemente do software determinístico convencional, os modelos de IA são entidades probabilísticas cujo comportamento emerge das distribuições estatísticas dos dados utilizados durante o treinamento (GOODFELLOW; BENGIO; COURVILLE, 2016).

Essa característica introduz novos vetores de ataque. Mesmo pequenas manipulações na distribuição dos dados podem alterar significativamente o comportamento do modelo, viabilizando ataques adversariais, envenenamento de dados ou extração de modelo. Goodfellow, Shlens e Szegedy (2015) demonstraram empiricamente que perturbações imperceptíveis nas entradas podem induzir erros sistemáticos de classificação em redes neurais profundas. Estudos subsequentes mostraram ataques de envenenamento de dados capazes de degradar ou manipular o comportamento do modelo durante o treinamento (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

Além disso, interfaces de inferência expostas via APIs podem ser exploradas para possibilitar a reconstrução aproximada de modelos proprietários por meio de consultas adaptativas. Esse fenômeno é conhecido como extração de modelo (TRAMÈR et al., 2016). Em ambientes corporativos, tais vetores são frequentemente agravados por deficiências operacionais em pipelines de MLOps. Entre elas, destacam-se o gerenciamento inadequado de credenciais, o armazenamento inseguro de artefatos de modelo e a ausência de monitoramento de integridade dos dados (KUMAR et al., 2022).

Do ponto de vista operacional, esses ataques podem ser correlacionados com técnicas descritas na matriz MITRE ATT&CK, como exploração de aplicações expostas à internet (T1190), manipulação de dados (T1565) e comprometimento de credenciais (T1552) (MITRE, 2023). Entretanto, a maioria das arquiteturas corporativas de segurança ainda trata modelos de IA como componentes de software convencionais, ignorando suas propriedades estatísticas distintivas.

À luz desse contexto, este estudo estabelece a seguinte questão central de pesquisa: como uma arquitetura de segurança operacional pode ser projetada para tratar modelos de IA como ativos críticos, protegendo simultaneamente tanto o ciclo de vida de treinamento quanto o processo de inferência em produção?

Com base nisso, foram derivadas três principais questões de pesquisa.

RQ1: Como formalizar um modelo de ameaça especializado para sistemas de IA, de modo a abranger tanto vetores adversariais quanto ataques convencionais à infraestrutura?

RQ2: Quais mecanismos práticos podem detectar e mitigar ataques de envenenamento de dados e ataques de extração de modelo em ambientes operacionais?

RQ3: Quais são os impactos desses mecanismos em termos de custo computacional e eficácia defensiva?

Este estudo faz três contribuições. Primeiro, propõe um modelo formal de segurança para pipelines de IA com base em propriedades mensuráveis de integridade estatística e confidencialidade paramétrica. Segundo, desenvolve algoritmos operacionais para detectar envenenamento de dados e mitigar consultas adversariais em APIs de inferência. Terceiro, avalia empiricamente a arquitetura proposta em um ambiente experimental representativo de infraestrutura crítica.

2. Fundamentação e Trabalhos Relacionados

Considere um modelo supervisionado representado da seguinte forma.

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

parametrizado por $\theta \in \mathbb{R}^n$. O treinamento é realizado sobre o conjunto de dados

$D = {(x_i, y_i)}_{i=1}^{m}$

por meio da minimização da função de perda empírica.

$$ \theta^* = \arg\min_{\theta} L(\theta, D) $$

Em ambientes reais, tanto os dados quanto as consultas podem ser manipulados por um atacante. Ataques adversariais visam encontrar uma perturbação $\delta$ tal que:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

Esse tipo de ataque foi demonstrado pela primeira vez pelo Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Ataques de envenenamento de dados inserem um subconjunto manipulado $D_p$ nos dados de treinamento a fim de induzir um novo modelo.

$$ \theta^* = \arg\min_{\theta} L(\theta, D \cup D_p) $$

Aqui, $D_p$ é construído para maximizar erros em amostras-alvo (BIGGIO et al., 2012).

Ataques de extração de modelo, por sua vez, exploram consultas adaptativas a uma API de inferência para aproximar o modelo original $f_\theta$ usando um modelo substituto $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). Esse problema é especialmente relevante para serviços de ML acessíveis via web.

A literatura acadêmica tem abordado amplamente essas ameaças, mas ainda existe uma lacuna significativa entre propostas teóricas e mecanismos de segurança que possam ser implementados em ambientes operacionais. Estudos como Papernot et al. (2016) investigam a transferibilidade de exemplos adversariais, mas não tratam da integração com sistemas de monitoramento corporativo. De modo semelhante, pesquisas sobre robustez adversarial frequentemente ignoram os requisitos de latência e escalabilidade típicos de sistemas de produção (MADRY et al., 2018).

Nos últimos anos, a pesquisa sobre segurança de pipelines de ML tem enfatizado riscos relacionados à cadeia de suprimentos de dados, reprodutibilidade do treinamento e versionamento de modelos (KUMAR et al., 2022; CRENSHAW; VU, 2021). Esses aspectos evidenciam a necessidade de abordagens que combinem métodos estatísticos com controles convencionais de segurança de infraestrutura.

3. Modelo de Ameaça e Formalização do Problema

Assumimos um atacante $\mathcal{A}$ com capacidades realistas em um ambiente corporativo:

1. Acesso parcial de escrita ao conjunto de dados de treinamento por meio do comprometimento da cadeia de suprimentos de dados.
2. Acesso por consulta às APIs de inferência expostas externamente.
3. Capacidade de interceptar ou observar o tráfego interno em uma rede corporativa comprometida.

Os objetivos do atacante incluem:

• Maximizar erros de classificação no subconjunto-alvo $T$
• Reconstruir os parâmetros do modelo $\theta$
• Inserir um gatilho de backdoor $t$ de modo que $f_\theta(x+t)=y^*$

Definimos duas propriedades formais desejáveis.

Integridade estatística dos dados:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

onde $D_{KL}$ denota a divergência de Kullback–Leibler entre a distribuição de treinamento observada e a distribuição de referência.

Confidencialidade paramétrica:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

onde $\theta’$ representa a aproximação obtida pelo atacante por meio de consultas.

Essas propriedades permitem a definição quantitativa de limiares para detecção de anomalias e avaliação da eficácia dos controles defensivos.

4. Método Proposto

A arquitetura proposta segue um modelo de defesa em camadas aplicado ao longo de todo o ciclo de vida dos sistemas de IA.

Camada	Finalidade	Mecanismos
Validação de dados	Detectar manipulação estatística	Divergência KL, análise de outliers
Treinamento robusto	Reduzir sensibilidade adversarial	Regularização e filtragem
Monitoramento de inferência	Detectar consultas anômalas	Análise de entropia
Integração com SOC	Resposta operacional	SIEM e correlação de eventos

Algoritmo 1 — Detecção de envenenamento de dados

Input: Dataset D, distribution of reference P0
Output: Flagged samples F

1: Estimate the empirical distribution P_D
2: Compute D_KL(P_D || P0)
3: If D_KL > τ then:
4:     For each sample x_i in D:
5:         Compute influence score I(x_i)
6:         If I(x_i) > λ then:
7:             Add x_i to F
8: Return F

A análise de influência é baseada na aproximação do efeito de cada amostra sobre a função de perda do modelo (KOH; LIANG, 2017). Quando a estimativa de densidade é realizada por meio de Kernel Density Estimation, o algoritmo possui complexidade computacional aproximada de $O(n \log n)$.

Algoritmo 2 — Limitação adaptativa de taxa

Monitor the distribution of queries to the API
Compute entropy H(Q)

If ΔH(Q) < -δ then:
    Apply adaptive rate limiting
    Trigger a security alert

Uma queda acentuada na entropia das consultas normalmente indica abuso sistemático da API com o objetivo de extração de modelo.

5. Implementação

A arquitetura foi implementada utilizando uma pilha tecnológica representativa de um ambiente corporativo de 2023.

Componente	Tecnologia
Orquestração	Kubernetes 1.28
Framework de ML	PyTorch 2.1
Gerenciamento de experimentos	MLflow
Monitoramento de rede	Suricata 7.0
SIEM	Wazuh
Gerenciamento de segredos	HashiCorp Vault

A seguir, apresenta-se um exemplo da regra YARA utilizada para detectar padrões suspeitos em artefatos de modelo.

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Os eventos gerados pelos sensores de rede e pelo pipeline de ML foram convertidos em regras Sigma e, subsequentemente, correlacionados no mecanismo de análise do SIEM.

6. Avaliação Experimental

A avaliação experimental foi conduzida em uma infraestrutura composta por três nós físicos Dell PowerEdge R740, cada um equipado com processadores Intel Xeon Silver, 128 GB de RAM e GPUs NVIDIA A100.

Conjuntos de dados utilizados:

Conjunto de dados	Tipo	Finalidade
CIC‑IDS2017	Tráfego de rede	Detecção de intrusão
Adversarial MNIST	Visão computacional	Avaliação adversarial
Logs reais de SOC	Eventos de segurança	Avaliação operacional

Resultados experimentais:

Métrica	Baseline	Arquitetura proposta
Taxa de sucesso do ataque FGSM	78,4%	35,7%
Precisão da extração de modelo	91%	28%
Detecção de poisoning de dados (F1)	—	0,94

O mecanismo de detecção de poisoning de dados alcançou 96,3% de precisão e 91,8% de revocação, com desvio padrão de ±1,2%.

Impacto operacional:

Métrica	Valor
Sobrecarga média de CPU	8,4%
Latência adicional	12 ms

Esses resultados indicam que controles estatísticos podem ser integrados a pipelines de IA com custo operacional moderado.

7. Estudo de Caso

Aplicamos a arquitetura em um cenário representativo envolvendo um SOC financeiro operando um sistema de detecção de fraude baseado em aprendizado supervisionado.

Durante o experimento, a equipe de red team inseriu intencionalmente 0,8% de amostras manipuladas no pipeline de treinamento.

Fluxo observado:

1. A divergência $D_{KL}$ excedeu o limiar $\tau = 0.15$.
2. O algoritmo de análise de influência identificou um subconjunto de amostras suspeitas.
3. Essas amostras foram automaticamente colocadas em quarentena.
4. Um alerta de investigação foi enviado ao SIEM.

O ataque foi detectado antes que o modelo atualizado fosse implantado em produção, demonstrando a efetividade da integração de mecanismos estatísticos com controles operacionais.

8. Discussão

Os resultados experimentais mostram que uma abordagem baseada em monitoramento estatístico pode reduzir substancialmente a superfície de ataque de sistemas de IA. A principal vantagem da arquitetura proposta reside na integração de mecanismos de detecção específicos para ML com ferramentas convencionais de segurança empresarial.

Entretanto, algumas limitações devem ser consideradas. A efetividade da detecção depende da disponibilidade de distribuições de referência confiáveis para comparação estatística. Em ambientes altamente dinâmicos, mudanças legítimas na distribuição dos dados podem gerar falsos positivos.

Outra ameaça à validade experimental reside no uso parcial de conjuntos de dados sintéticos ou públicos. Embora amplamente utilizados em pesquisa, eles podem não capturar integralmente a complexidade de ambientes corporativos reais.

Por fim, a governança de sistemas de IA requer não apenas controles técnicos, mas também estruturas organizacionais e políticas de gestão de risco. Nesse contexto, estruturas como o NIST AI Risk Management Framework fornecem orientações úteis para integrar segurança, governança e engenharia de IA (NIST, 2023).

9. Conclusão

Este estudo apresentou uma arquitetura operacional para a segurança de sistemas de inteligência artificial com base nos princípios de defesa em profundidade e monitoramento estatístico. Foram formalizadas propriedades de segurança associadas a pipelines de aprendizado de máquina e introduzidos mecanismos práticos para detectar envenenamento de dados e mitigar ataques de extração de modelos.

A avaliação experimental mostrou que a abordagem proposta reduz significativamente a eficácia de ataques adversariais e de ataques de extração de modelos, ao mesmo tempo em que mantém um custo computacional moderado. O estudo de caso em um ambiente de SOC financeiro confirmou a viabilidade prática da arquitetura para cenários do mundo real.

Esses resultados indicam que a proteção de sistemas de IA exige a convergência de técnicas robustas de aprendizado de máquina, segurança de infraestrutura e monitoramento operacional contínuo.

Referências

BIGGIO, Battista et al. Ataques de envenenamento contra máquinas de vetores de suporte. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Protegendo a cadeia de suprimentos de aprendizado de máquina. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explicando e aproveitando exemplos adversariais. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Compreendendo predições de caixa-preta via funções de influência. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. Engenharia de IA: construindo aplicações com modelos fundacionais. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Rumo a modelos de deep learning resistentes a ataques adversariais. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Defesas certificadas contra ataques de envenenamento de dados. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Roubo de modelos de aprendizado de máquina via APIs de predição. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Problemas concretos em segurança de IA. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Aprendizado de máquina adversarial. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUMANSADR, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.