Título: Arquitetura Operacional para a Segurança de Sistemas de Inteligência Artificial: Modelagem de Ameaças, Defense in Depth e Avaliação Empírica em Ambientes Críticos

1. Introdução

A adoção em larga escala de sistemas de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) em infraestrutura crítica redefiniu substancialmente o panorama contemporâneo de risco cibernético. Sistemas de IA são amplamente utilizados em mecanismos de detecção de fraude bancária, classificação automatizada de malware, detecção de intrusão, triagem de incidentes em Centros de Operações de Segurança (SOCs) e sistemas de autenticação biométrica. No entanto, diferentemente do software determinístico convencional, modelos de IA são entidades probabilísticas cujo comportamento emerge das distribuições estatísticas dos dados utilizados durante o treinamento (GOODFELLOW; BENGIO; COURVILLE, 2016).

Essa característica introduz novos vetores de ataque. Mesmo pequenas manipulações na distribuição dos dados podem alterar significativamente o comportamento do modelo, viabilizando ataques adversariais, envenenamento de dados ou extração de modelo. Goodfellow, Shlens e Szegedy (2015) demonstraram empiricamente que perturbações imperceptíveis nas entradas podem induzir erros sistemáticos de classificação em redes neurais profundas. Estudos subsequentes mostraram ataques de envenenamento de dados capazes de degradar ou manipular o comportamento do modelo durante o treinamento (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

Além disso, interfaces de inferência expostas via APIs podem ser exploradas para possibilitar a reconstrução aproximada de modelos proprietários por meio de consultas adaptativas. Esse fenômeno é conhecido como extração de modelo (TRAMÈR et al., 2016). Em ambientes corporativos, tais vetores frequentemente são agravados por deficiências operacionais em pipelines de MLOps. Entre elas, destacam-se o gerenciamento inadequado de credenciais, o armazenamento inseguro de artefatos de modelos e a ausência de monitoramento da integridade dos dados (KUMAR et al., 2022).

Do ponto de vista operacional, esses ataques podem ser correlacionados a técnicas descritas na matriz MITRE ATT&CK, como exploração de aplicações expostas à internet (T1190), manipulação de dados (T1565) e comprometimento de credenciais (T1552) (MITRE, 2023). Entretanto, a maioria das arquiteturas corporativas de segurança ainda trata modelos de IA como componentes de software convencionais, ignorando suas propriedades estatísticas distintivas.

À luz desse contexto, este estudo estabelece a seguinte questão central de pesquisa: como uma arquitetura operacional de segurança pode ser projetada para tratar modelos de IA como ativos críticos, protegendo simultaneamente o ciclo de vida de treinamento e o processo de inferência em produção?

Com base nisso, foram derivadas três questões principais de pesquisa.

RQ1: Como um modelo de ameaça especializado para sistemas de IA pode ser formalizado para abranger tanto vetores adversariais quanto ataques convencionais à infraestrutura?

RQ2: Quais mecanismos práticos podem detectar e mitigar ataques de envenenamento de dados e ataques de extração de modelo em ambientes operacionais?

RQ3: Quais são os impactos desses mecanismos em termos de custo computacional e efetividade defensiva?

Este estudo faz três contribuições. Primeiro, propõe um modelo formal de segurança para pipelines de IA baseado em propriedades mensuráveis de integridade estatística e confidencialidade paramétrica. Segundo, desenvolve algoritmos operacionais para detectar envenenamento de dados e mitigar consultas adversariais em APIs de inferência. Terceiro, avalia empiricamente a arquitetura proposta em um ambiente experimental representativo de infraestrutura crítica.

2. Fundamentos e Trabalhos Relacionados

Considere um modelo supervisionado representado da seguinte forma.

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

parametrizado por $\theta \in \mathbb{R}^n$. O treinamento é realizado sobre o conjunto de dados

$D = {(x_i, y_i)}_{i=1}^{m}$

minimizando a função de perda empírica.

$$ \theta^* = \arg\min_{\theta} L(\theta, D) $$

Em ambientes reais, tanto os dados quanto as consultas podem ser manipulados por um atacante. Ataques adversariais visam encontrar uma perturbação $\delta$ tal que:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

Esse tipo de ataque foi demonstrado pela primeira vez pelo Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

Ataques de envenenamento de dados inserem um subconjunto manipulado $D_p$ nos dados de treinamento com o objetivo de induzir um novo modelo.

$$ \theta^* = \arg\min_{\theta} L(\theta, D \cup D_p) $$

Aqui, $D_p$ é construído para maximizar erros em amostras-alvo (BIGGIO et al., 2012).

Ataques de extração de modelo, por sua vez, exploram consultas adaptativas a uma API de inferência para aproximar o modelo original $f_\theta$ usando um modelo substituto $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). Esse problema é especialmente relevante para serviços de ML acessíveis via web.

A literatura acadêmica tem abordado extensivamente essas ameaças, mas ainda existe uma lacuna significativa entre propostas teóricas e mecanismos de segurança que possam ser implementados em ambientes operacionais. Estudos como o de Papernot et al. (2016) investigam a transferibilidade de exemplos adversariais, mas não tratam da integração com sistemas corporativos de monitoramento. Da mesma forma, pesquisas sobre robustez adversarial frequentemente ignoram os requisitos de latência e escalabilidade típicos de sistemas em produção (MADRY et al., 2018).

Nos últimos anos, as pesquisas sobre segurança de pipelines de ML têm enfatizado riscos relacionados à cadeia de suprimentos de dados, reprodutibilidade do treinamento e versionamento de modelos (KUMAR et al., 2022; CRENSHAW; VU, 2021). Esses aspectos evidenciam a necessidade de abordagens que combinem métodos estatísticos com controles convencionais de segurança de infraestrutura.

3. Modelo de Ameaça e Formalização do Problema

Assumimos um atacante $\mathcal{A}$ com capacidades realistas em um ambiente corporativo:

1. Acesso parcial de escrita ao conjunto de dados de treinamento por meio do comprometimento da cadeia de suprimentos de dados.
2. Acesso de consulta a APIs de inferência expostas externamente.
3. Capacidade de interceptar ou observar tráfego interno em uma rede corporativa comprometida.

Os objetivos do atacante incluem:

• Maximizar erros de classificação no subconjunto-alvo $T$
• Reconstruir os parâmetros do modelo $\theta$
• Inserir um gatilho de backdoor $t$ tal que $f_\theta(x+t)=y^*$

Definimos duas propriedades formais desejáveis.

Integridade estatística dos dados:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

onde $D_{KL}$ denota a divergência de Kullback–Leibler entre a distribuição de treinamento observada e a distribuição de referência.

Confidencialidade paramétrica:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

onde $\theta’$ representa a aproximação obtida pelo atacante por meio de consultas.

Essas propriedades permitem a definição quantitativa de limiares para detecção de anomalias e avaliação da efetividade dos controles defensivos.

4. Método Proposto

A arquitetura proposta segue um modelo de defesa em camadas aplicado ao longo de todo o ciclo de vida dos sistemas de IA.

Camada	Finalidade	Mecanismos
Validação de dados	Detectar manipulação estatística	Divergência KL, análise de outliers
Treinamento robusto	Reduzir sensibilidade adversarial	Regularização e filtragem
Monitoramento de inferência	Detectar consultas anômalas	Análise de entropia
Integração com o SOC	Resposta operacional	SIEM e correlação de eventos

Algoritmo 1 — Detecção de envenenamento de dados

Input: Dataset D, distribuição de referência P0
Output: Amostras sinalizadas F

1: Estimar a distribuição empírica P_D
2: Computar D_KL(P_D || P0)
3: Se D_KL > τ então:
4:     Para cada amostra x_i em D:
5:         Computar score de influência I(x_i)
6:         Se I(x_i) > λ então:
7:             Adicionar x_i a F
8: Retornar F

A análise de influência baseia-se na aproximação do efeito de cada amostra sobre a função de perda do modelo (KOH; LIANG, 2017). Quando a estimativa de densidade é realizada usando Kernel Density Estimation, o algoritmo tem complexidade computacional aproximada de $O(n \log n)$.

Algoritmo 2 — Limitação adaptativa de taxa

Monitorar a distribuição de consultas à API
Computar entropia H(Q)

Se ΔH(Q) < -δ então:
    Aplicar limitação adaptativa de taxa
    Acionar um alerta de segurança

Uma queda acentuada na entropia das consultas normalmente indica uso sistemático da API com a finalidade de extração de modelo.

5. Implementação

A arquitetura foi implementada utilizando uma pilha tecnológica representativa de um ambiente corporativo de 2023.

Componente	Tecnologia
Orquestração	Kubernetes 1.28
Framework de ML	PyTorch 2.1
Gestão de experimentos	MLflow
Monitoramento de rede	Suricata 7.0
SIEM	Wazuh
Gestão de segredos	HashiCorp Vault

A seguir, apresenta-se um exemplo da regra YARA utilizada para detectar padrões suspeitos em artefatos de modelo.

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

Os eventos gerados pelos sensores de rede e pelo pipeline de ML foram convertidos em regras Sigma e, posteriormente, correlacionados no mecanismo de análise do SIEM.

6. Avaliação Experimental

A avaliação experimental foi conduzida em uma infraestrutura composta por três nós físicos Dell PowerEdge R740, cada um equipado com processadores Intel Xeon Silver, 128 GB de RAM e GPUs NVIDIA A100.

Conjuntos de dados utilizados:

Conjunto de dados	Tipo	Finalidade
CIC‑IDS2017	Tráfego de rede	Detecção de intrusão
Adversarial MNIST	Visão computacional	Avaliação adversarial
Logs reais de SOC	Eventos de segurança	Avaliação operacional

Resultados experimentais:

Métrica	Linha de base	Arquitetura proposta
Taxa de sucesso do ataque FGSM	78.4%	35.7%
Precisão da extração de modelo	91%	28%
Detecção de poisoning de dados (F1)	—	0.94

O mecanismo de detecção de poisoning de dados alcançou 96.3% de precisão e 91.8% de recall, com desvio-padrão de ±1.2%.

Impacto operacional:

Métrica	Valor
Sobrecarga média de CPU	8.4%
Latência adicional	12 ms

Esses resultados indicam que controles estatísticos podem ser integrados a pipelines de IA com custo operacional moderado.

7. Estudo de Caso

Aplicamos a arquitetura em um cenário representativo envolvendo um SOC financeiro operando um sistema de detecção de fraude baseado em aprendizado supervisionado.

Durante o experimento, a equipe vermelha inseriu intencionalmente 0.8% de amostras manipuladas no pipeline de treinamento.

Fluxo observado:

1. A divergência $D_{KL}$ excedeu o limiar $\tau = 0.15$.
2. O algoritmo de análise de influência identificou um subconjunto de amostras suspeitas.
3. Essas amostras foram automaticamente colocadas em quarentena.
4. Um alerta de investigação foi enviado ao SIEM.

O ataque foi detectado antes que o modelo atualizado fosse implantado em produção, demonstrando a eficácia da integração de mecanismos estatísticos com controles operacionais.

8. Discussão

Os resultados experimentais mostram que uma abordagem baseada em monitoramento estatístico pode reduzir substancialmente a superfície de ataque de sistemas de IA. A principal vantagem da arquitetura proposta reside na integração de mecanismos de detecção específicos para ML com ferramentas convencionais de segurança empresarial.

No entanto, algumas limitações devem ser consideradas. A eficácia da detecção depende da disponibilidade de distribuições de referência confiáveis para comparação estatística. Em ambientes altamente dinâmicos, mudanças legítimas na distribuição dos dados podem gerar falsos positivos.

Outra ameaça à validade experimental está no uso parcial de conjuntos de dados sintéticos ou públicos. Embora amplamente utilizados em pesquisa, eles podem não capturar plenamente a complexidade de ambientes corporativos reais.

Por fim, a governança de sistemas de IA exige não apenas controles técnicos, mas também estruturas organizacionais e políticas de gerenciamento de risco. Nesse contexto, frameworks como o NIST AI Risk Management Framework oferecem orientações úteis para integrar segurança, governança e engenharia de IA (NIST, 2023).

9. Conclusão

Este estudo apresentou uma arquitetura operacional para a segurança de sistemas de inteligência artificial baseada nos princípios de defesa em profundidade e monitoramento estatístico. Foram formalizadas propriedades de segurança associadas a pipelines de aprendizado de máquina e introduzidos mecanismos práticos para detectar envenenamento de dados e mitigar ataques de extração de modelos.

A avaliação experimental mostrou que a abordagem proposta reduz significativamente a efetividade de ataques adversariais e de extração de modelos, mantendo, ao mesmo tempo, um custo computacional moderado. O estudo de caso em um ambiente de SOC financeiro confirmou a aplicabilidade da arquitetura em cenários do mundo real.

Esses resultados indicam que a proteção de sistemas de IA requer a convergência de técnicas robustas de aprendizado de máquina, segurança de infraestrutura e monitoramento operacional contínuo.

Referências

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUMANSADR, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.