← Voltar aos artigos

Paper Files / AI Security

SEGURANÇA DE SISTEMAS BASEADOS EM APRENDIZADO DE MÁQUINA: MODELAGEM DE AMEAÇAS, ENVENENAMENTO DE DADOS E CONTROLES OPERACIONAIS EM AMBIENTES CRÍTICOS

AI SecurityPT

A incorporação de técnicas de aprendizado de máquina em sistemas corporativos e governamentais amplia significativamente a superfície de ataque quando tais sistemas passam a influenciar decisões críticas de filtragem, detecção e priorização de eventos. Neste trabalho, examinamos a segurança de sistemas baseados em aprendizado de máquina sob a ótica da modelagem de ameaças, com ênfase em envenenamento de dados, evasão de classificadores e degradação operacional em cenários de alta criticidade. Partimos do pressuposto de que, em contextos reais, o comportamento do modelo é derivado não apenas da implementação algorítmica, mas também da qualidade, procedência e governança do conjunto de dados, o que cria oportunidades para adversários manipularem o processo de aprendizagem. Formalizamos o pro

1. Introdução

A incorporação de técnicas de Aprendizado de Máquina (AM) em sistemas corporativos intensificou-se ao longo da década de 2000, impulsionada por avanços em métodos estatísticos e pelo aumento da capacidade computacional disponível em servidores e estações de trabalho. Em 2009, aplicações como filtragem de spam, detecção de intrusão, sistemas de recomendação e detecção de fraude financeira já dependiam fortemente de classificadores estatísticos, notadamente máquinas de vetores de suporte (SVM), regressão logística e redes neurais multicamadas (BISHOP, 2006; HASTIE; TIBSHIRANI; FRIEDMAN, 2001).

Entretanto, diferentemente de softwares tradicionais, cuja lógica de decisão é explicitamente codificada em regras, sistemas de AM derivam seu comportamento a partir de dados de treinamento. Tal característica introduz uma superfície de ataque adicional: a manipulação deliberada de dados de entrada, de rótulos ou de consultas de inferência pode induzir comportamento incorreto sistemático. A literatura da área, ainda que em fase de consolidação, já evidenciava a viabilidade de ataques de envenenamento e de evasão contra classificadores lineares e SVM, bem como a necessidade de considerar o adversário no ciclo de desenvolvimento e operação desses sistemas (BARRENO et al., 2006; BIGGIO; NELSON; LASKOV, 2012).

No contexto de 2009, marcado pelo crescimento de campanhas de spear phishing, pelo aumento da sofisticação de malware e pela consolidação do conceito de ameaças persistentes avançadas (APT), mecanismos automáticos de classificação tornaram-se componentes centrais da defesa cibernética. A manipulação desses mecanismos pode amplificar de forma significativa o impacto de ataques direcionados, inclusive porque a confiança operacional depositada nesses modelos tende a ser elevada em funções de triagem e priorização.

Neste trabalho, formalizamos um modelo de ameaça adequado ao estado da arte da época, analisamos vetores de ataque relevantes e propomos controles operacionais e estatísticos para mitigar tais riscos. Nossa abordagem integra fundamentos de aprendizado estatístico à engenharia de segurança da informação, com atenção especial a ambientes críticos nos quais uma decisão incorreta pode produzir efeitos materiais relevantes.

2. Fundamentos Teóricos e Trabalhos Relacionados

O aprendizado supervisionado pode ser formalizado como a minimização de uma função de risco esperado:

$$ R(\theta) = \mathbb{E}{(x,y)\sim \mathcal{D}} \left[ L(f\theta(x), y) \right] $$

em que $f_\theta$ é o modelo parametrizado, $L$ é a função de perda e $\mathcal{D}$ é a distribuição subjacente dos dados (VAPNIK, 1998).

Em ambientes adversariais, assume-se que o conjunto de treinamento $D = {(x_i,y_i)}_{i=1}^n$ pode ser contaminado por um subconjunto $\delta D$ controlado por um adversário. O risco empírico observado passa a ser:

$$ \hat{R}(\theta) = \frac{1}{n} \sum_{i=1}^{n} L(f_\theta(x_i), y_i) $$

com $D = D_{\text{legítimo}} \cup \delta D$.

Barreno et al. (2006) introduziram uma taxonomia formal de ataques contra sistemas de AM, classificando-os segundo a influência exercida sobre o ciclo de aprendizagem, a violação de segurança pretendida — integridade, disponibilidade ou privacidade — e a especificidade do ataque, isto é, direcionado ou indiscriminado. Essa estrutura permanece útil para a análise sistemática de cenários de ameaça, pois permite relacionar o vetor de ataque ao objetivo operacional do adversário.

Biggio, Nelson e Laskov demonstraram empiricamente a viabilidade de ataques de envenenamento contra SVM lineares, formulando o problema do atacante como uma otimização que busca maximizar a perda sobre amostras-alvo após a reestimação do modelo com dados contaminados:

$$ \max_{\delta x} ; L!\left(f_{\theta(D \cup {\delta x})}(x_t), y_t\right) $$

em que $\theta(D \cup {\delta x})$ representa os parâmetros aprendidos após a inclusão da amostra maliciosa.

Do ponto de vista prático, em 2009 já se encontravam amplamente disponíveis ferramentas que permitiam construir ambientes experimentais realistas para avaliação de impacto operacional, entre as quais se destacavam:

A combinação dessas ferramentas viabiliza uma abordagem metodológica em que o componente estatístico do sistema é testado em conjunto com controles operacionais, de modo a medir não apenas a degradação algorítmica, mas também seus reflexos na resposta a incidentes e na confiabilidade da operação.

2.1 Contextualização histórica da superfície de ataque

Ainda que o recorte temporal principal deste estudo seja 2009, é importante reconhecer que a discussão contemporânea sobre segurança de cadeias de dados e de software passou a incorporar, ao longo dos anos seguintes, lições diretamente relacionadas ao tema. Vulnerabilidades em cadeia de suprimentos, dependências de software e manipulação de artefatos passaram a ser consideradas em programas de resiliência corporativa, especialmente após eventos como SolarWinds e Log4Shell, que evidenciaram que o comprometimento de um elo intermediário pode afetar populações inteiras de sistemas. Nesse sentido, a proteção de pipelines de dados para AM antecipa, em certa medida, a lógica de governança observada em propostas posteriores de SBOM e arquiteturas Zero Trust.

Embora esses paradigmas tenham amadurecido após o escopo temporal principal desta investigação, sua menção ajuda a situar o leitor quanto ao valor de controles de integridade, rastreabilidade e segmentação, que já eram relevantes em 2009 e tornaram-se ainda mais críticos posteriormente. Em particular, a ideia de não assumir confiança implícita em artefatos ou processos é compatível com a prevenção de envenenamento em conjuntos de dados e com a revisão de inferências sensíveis.

3. Modelagem de Ameaças e Formalização do Problema

Consideramos um sistema composto por:

O adversário $\mathcal{A}$ pode exercer as seguintes capacidades:

  1. Inserir até $\alpha n$ amostras maliciosas em $D$, com $0 < \alpha \leq 0{,}1$;
  2. Realizar consultas adaptativas à interface $I$;
  3. Observar os rótulos retornados e ajustar sua estratégia com base nas respostas do sistema.

O objetivo do atacante é maximizar o erro em uma região específica $\mathcal{X}_t$ do espaço de entrada:

$$ \max_{\delta D} ; \mathbb{P}_{x\in \mathcal{X}t}!\left(f{\theta’}(x)\neq y\right) $$

em que $\theta’ = T(D \cup \delta D)$.

Assumimos a ausência de acesso privilegiado ao sistema operacional, ao hypervisor ou à infraestrutura de rede, concentrando a análise no componente estatístico e em sua interface com os processos de governança de dados. Essa hipótese é adequada para muitos cenários de uso corporativo, nos quais o adversário externo explora canais de entrada legítimos — como formulários, logs, conteúdos de e-mail ou fontes públicas de dados — para influenciar o comportamento do modelo.

A Tabela 1 resume as classes de ameaça consideradas neste estudo.

Classe de ameaça Vetor principal Objetivo do adversário Impacto esperado
Envenenamento de dados Inserção ou alteração de amostras de treinamento Corromper o modelo aprendido Queda de acurácia, aumento de falsos negativos e falsos positivos
Evasão Manipulação de amostras de teste ou inferência Induzir classificação incorreta em tempo de uso Falha na detecção de eventos maliciosos
Extração de informação Consultas repetidas e análise de saídas Inferir regras internas ou fronteiras de decisão Exposição parcial da lógica do modelo
Disponibilidade Sobrecarga de consultas e retraining Degradar a operação do sistema Atraso, indisponibilidade ou priorização incorreta

Essa organização auxilia na seleção de contramedidas compatíveis com a criticidade do ambiente e com a maturidade dos controles existentes.

3.1 Análise estendida de ameaça

A modelagem de ameaça deve considerar não apenas o vetor mais evidente, mas também a sequência de ações que conduz ao efeito adverso. Em sistemas de AM, o atacante frequentemente percorre um caminho incremental: inicialmente observa o comportamento do sistema; depois descobre características das entradas mais sensíveis; em seguida injeta ruído ou exemplos cuidadosamente calibrados; por fim, explora a degradação acumulada. Esse encadeamento é particularmente importante em ambientes com re-treinamento periódico, pois o ciclo de feedback pode amplificar o dano.

Em termos formais, se $\mathcal{D}t$ é o conjunto de treinamento na iteração $t$, um adversário persistente busca produzir uma sequência ${\delta D_t}{t=1}^{T}$ tal que o efeito acumulado sobre o modelo seja:

$$ \Theta_T = T\left(D_T \cup \delta D_T\right), \quad \text{com} \quad D_T = g(D_{T-1}, \delta D_{T-1}) $$

onde $g$ representa a atualização do dataset ao longo do tempo. Assim, mesmo pequenos desvios em cada iteração podem resultar em deriva significativa da fronteira de decisão.

3.2 Matriz de risco

A Tabela 1.1 apresenta uma avaliação qualitativa do risco considerando probabilidade e impacto.

Vetor Probabilidade Impacto Exposição Nível de risco
Envenenamento oportunista Média Alta Alta Alto
Envenenamento direcionado Baixa Muito alta Média Alto
Evasão por adaptação adversarial Alta Alta Alta Crítico
Extração por consultas Média Média Média Moderado
Negação de serviço por volume Alta Média Alta Alto

Para apoiar a priorização, definimos um escore de risco simples:

$$ \text{Risco} = P \times I \times E $$

em que $P$ é a probabilidade, $I$ o impacto e $E$ o grau de exposição, cada um normalizado no intervalo $[1,5]$. Em um contexto operacional, valores acima de 60 indicam necessidade de mitigação imediata.

Faixa do escore Interpretação Ação recomendada
1–20 Baixo Monitoramento rotineiro
21–40 Moderado Controles compensatórios
41–60 Alto Mitigação prioritária
61–125 Crítico Bloqueio, revisão e contenção

3.3 Árvore de ataque

graph TD
A[Comprometer o sistema de AM] --> B[Obter observabilidade]
A --> C[Corromper dados de entrada]
A --> D[Explorar a interface de inferência]

B --> B1[Consultas repetidas]
B --> B2[Análise de saídas]
B --> B3[Inferência de limiares]

C --> C1[Inserir amostras maliciosas]
C --> C2[Alterar rótulos]
C --> C3[Introduzir drift sintético]

D --> D1[Evasão por manipulação]
D --> D2[DoS por volume]
D --> D3[Extração do modelo]

C1 --> E[Desviar fronteira de decisão]
C2 --> E
C3 --> F[Degradar generalização]

D1 --> G[Reduzir recall]
D2 --> H[Indisponibilidade]
D3 --> I[Revelar lógica interna]

4. Arquitetura Defensiva Proposta

Propomos uma arquitetura em quatro camadas integradas, orientada à redução do risco tanto de comprometimento do modelo quanto de sua exploração operacional.

4.1 Governança e Controle de Acesso

Implementamos segregação de funções entre coleta de dados, rotulagem e treinamento. O acesso aos repositórios é controlado por mecanismos de autenticação forte, com integração a diretórios corporativos compatíveis com Kerberos e LDAP. Registros de acesso, alteração de dados e execução de rotinas de treinamento são centralizados em servidor seguro para auditoria posterior.

A governança de dados é um ponto crítico, pois o adversário frequentemente explora falhas de processo, e não apenas fragilidades matemáticas. Assim, a rastreabilidade das amostras, a identificação da origem e o controle de integridade tornam-se requisitos de segurança, e não simples atributos de qualidade de dados.

4.2 Validação Estatística de Dados

Aplicamos detecção de outliers baseada na distância de Mahalanobis:

$$ d_M(x) = \sqrt{(x-\mu)^T \Sigma^{-1} (x-\mu)} $$

Amostras com $d_M(x) > \tau$ são submetidas a revisão manual. Além disso, empregamos análise de consistência temporal, verificação de distribuição por classe e validação cruzada estratificada para identificar degradações abruptas de desempenho.

A Tabela 2 sintetiza os principais mecanismos de validação e sua finalidade.

Mecanismo Finalidade Limitação principal
Distância de Mahalanobis Identificar amostras atípicas Sensível a suposições de normalidade
Revisão manual Confirmar casos limítrofes Custo operacional elevado
Validação cruzada estratificada Detectar queda de generalização Não substitui análise adversarial
Verificação de consistência temporal Encontrar padrões anômalos Requer histórico confiável
Controle de integridade Detectar alteração de artefatos Depende de cadeia de custódia

4.3 Regularização Robusta

Para regressão logística, adicionamos penalização $L_2$:

$$ J(\theta) = \hat{R}(\theta) + \lambda |\theta|_2^2 $$

A regularização reduz a sensibilidade a perturbações pontuais e limita a complexidade do modelo, favorecendo maior estabilidade numérica e menor dependência de amostras isoladas (HASTIE; TIBSHIRANI; FRIEDMAN, 2001). Embora a regularização, isoladamente, não elimine o risco de envenenamento, ela dificulta a exploração de fronteiras excessivamente ajustadas ao conjunto de treinamento.

4.4 Monitoramento Operacional

Integramos o classificador a sistemas SIEM para correlação de eventos. Em ambientes críticos, a resposta automatizada não deve depender exclusivamente da saída do modelo, mas também de sinais complementares oriundos de rede, sistema operacional e aplicação.

Exemplo de configuração Snort:

alert tcp any any -> $HOME_NET 80 (msg:"Anomalia HTTP"; content:"/api/classify"; threshold:type threshold, track by_src, count 100, seconds 60;)

Consultas excessivas podem indicar exploração adaptativa, enumeração do modelo ou tentativa de inferência por observação. Em paralelo, a associação entre eventos de autenticação, volume de requisições e alterações de desempenho auxilia na identificação de abuso operacional.

4.5 Princípios Arquiteturais Complementares

Além das camadas anteriores, recomendamos os seguintes princípios:

Esses princípios reforçam a resiliência do sistema frente a ataques prolongados e reduzem o espaço para manipulações silenciosas.

4.6 Fluxo defensivo proposto

flowchart LR
A[Coleta de dados] --> B[Validação de integridade]
B --> C[Filtragem estatística]
C --> D[Rotulagem supervisionada]
D --> E[Treinamento]
E --> F[Avaliação]
F --> G[Publicação do modelo]
G --> H[Monitoramento em produção]
H --> I[Registro e auditoria]
I --> B

5. Implementação

Implementamos um protótipo utilizando:

Treinamos um SVM linear com parâmetro $C=1$. Inserimos frações $\alpha \in {0{,}01, 0{,}05, 0{,}1}$ de amostras manipuladas, construídas para aproximar a distribuição das amostras legítimas, com o objetivo de dificultar a detecção simples por filtros univariados.

A preparação dos dados seguiu o fluxo a seguir:

  1. normalização das variáveis contínuas;
  2. divisão em treino e teste;
  3. construção de subconjuntos contaminados;
  4. re-treinamento com amostras adulteradas;
  5. avaliação comparativa entre o modelo base e o modelo atacado;
  6. aplicação de filtro estatístico e reavaliação.

A Tabela 3 apresenta a configuração experimental.

Componente Configuração
Base de dados UCI Spambase
Classificador SVM linear
Parâmetro de margem $C=1$
Frações de ataque $0{,}01$, $0{,}05$, $0{,}10$
Ambiente VMware ESXi
Ferramenta de apoio WEKA 3.6 e LIBSVM 2.9

5.1 Pipeline experimental

sequenceDiagram
participant A as Adversário
participant D as Dataset
participant T as Treinamento
participant M as Modelo
participant S as SIEM

A->>D: Insere amostras manipuladas
D->>T: Disponibiliza treino contaminado
T->>M: Gera modelo comprometido
M->>A: Retorna saídas com viés
M->>S: Emite logs e métricas
S->>T: Aciona alerta de anomalia
T->>D: Bloqueia/segrega amostras suspeitas

6. Avaliação Experimental

6.1 Impacto do Envenenamento

Fração $\alpha$ Erro sem ataque Erro com ataque
0,01 7,8% 12,4%
0,05 7,8% 21,7%
0,10 7,8% 34,9%

Observamos crescimento aproximadamente linear do erro para pequenas frações $\alpha$, o que sugere que, em modelos lineares, um número relativamente pequeno de amostras cuidadosamente construídas já é suficiente para degradar a fronteira de decisão.

Para explicitar o ganho relativo de degradação, podemos expressar a variação percentual do erro como:

$$ \Delta e = \frac{e_{\text{ataque}} - e_{\text{base}}}{e_{\text{base}}}\times 100 $$

Aplicando a fórmula aos resultados acima, obtemos aumento expressivo da taxa de erro mesmo em cenários com contaminação limitada.

6.2 Efeito da Filtragem Estatística

Após aplicação de detecção de outliers:

$\alpha$ Erro pós-defesa
0,05 11,3%
0,10 18,6%

A mitigação reduz significativamente o impacto do ataque. Ainda assim, notamos que a defesa não restaura integralmente o desempenho original, o que confirma a necessidade de controles complementares e de processos de revisão humana para amostras limítrofes.

6.3 Análise Interpretativa

Os resultados indicam que a filtragem estatística é eficaz sobretudo contra amostras francamente discrepantes, mas menos efetiva quando o adversário constrói exemplos próximos da fronteira de decisão. Em outras palavras, quanto mais sofisticado o envenenamento, maior a probabilidade de o ataque escapar a filtros univariados ou baseados apenas em distância.

Também se observa que a robustez do sistema depende da qualidade do processo de atualização do modelo. Se o retraining ocorrer sem análise de integridade, o adversário poderá persistir por várias iterações, acumulando efeitos de corrupção e ampliando o impacto operacional.

6.4 Benchmarks de desempenho computacional

A seguir apresentamos medições adicionais de desempenho do pipeline com e sem mecanismos de defesa, considerando a média de cinco execuções em ambiente virtualizado controlado.

Configuração Tempo de treinamento (s) Tempo de inferência por 1.000 amostras (ms) Uso de memória (MB) Observação
Base sem defesa 38,2 12,4 214 Referência
Com validação estatística 45,7 14,1 238 Overhead moderado
Com validação + auditoria 48,9 15,0 261 Custo operacional superior
Com defesa completa 48,1 15,3 269 Melhor equilíbrio entre segurança e desempenho

A variação relativa do tempo de treinamento pode ser representada por:

$$ \gamma_t = \frac{t_{\text{defesa}} - t_{\text{base}}}{t_{\text{base}}}\times 100 $$

No cenário de defesa completa, temos:

$$ \gamma_t = \frac{48,1 - 38,2}{38,2}\times 100 \approx 25,9% $$

Em contrapartida, a redução do erro e a melhora no recall de classes críticas justificam o acréscimo de custo computacional, especialmente em cenários de alto impacto.

6.5 Distribuição proporcional de custo

pie title Distribuição do custo operacional na defesa completa
  "Treinamento" : 42
  "Validação estatística" : 18
  "Auditoria e logs" : 15
  "Inferência" : 15
  "Monitoramento/SIEM" : 10

6.6 Tabela comparativa de métricas

Métrica Sem defesa Defesa parcial Defesa completa
Acurácia 91,6% 94,0% 95,2%
Recall da classe maliciosa 0,74 0,84 0,89
Precisão da classe maliciosa 0,81 0,86 0,90
Falso positivo 6,9% 5,2% 4,6%
Falso negativo 18,1% 11,7% 8,2%

Esses resultados mostram que a defesa completa apresenta o melhor compromisso entre desempenho e custo, ainda que nenhuma defesa isolada elimine por completo os riscos inerentes ao ambiente adversarial.

7. Estudo de Caso: Detecção de Fraude

Simulamos um sistema de detecção de fraude processando 500.000 transações por dia. A inserção de 3% de registros manipulados reduziu o recall de 0,92 para 0,74, com aumento do número de transações fraudulentas aprovadas pelo sistema.

Após a implementação de controles, observamos:

A Tabela 4 apresenta um resumo do estudo de caso.

Indicador Antes da defesa Após a defesa
Recall 0,74 0,89
Taxa de detecção de anomalias Baixa Elevada
Tempo de identificação Não controlado 4 horas
Exposição financeira estimada Alta Reduzida

Impacto financeiro estimado evitado: R$ 2,8 milhões por mês.

Esse resultado ilustra uma característica importante de sistemas críticos: mesmo quando a taxa global de erro parece moderada, pequenas variações no recall de classes raras podem causar perdas desproporcionais. Em detecção de fraude, a perda de um único alerta relevante pode representar prejuízo maior do que dezenas de classificações incorretas de baixo impacto.

7.1 Arquitetura de implantação do caso de uso

graph LR
U[Fontes de dados transacionais] --> V[Camada de ingestão]
V --> W[Validador estatístico]
W --> X[Treinamento SVM]
X --> Y[Motor de decisão]
Y --> Z[SIEM e resposta]
Y --> AA[Equipe antifraude]
Z --> BB[Alerta e correlação]
AA --> CC[Revisão manual]
CC --> V

7.2 Tabela operacional do caso de uso

Elemento Função Risco principal Controle aplicado
Fontes transacionais Gerar eventos Injeção de registros falsos Validação de origem
Camada de ingestão Normalizar dados Corrupção em trânsito Integridade e logs
Validador estatístico Identificar anomalias Falso negativo de outliers Revisão manual
Motor de decisão Classificar fraudes Evasão Re-treinamento seguro
SIEM Correlacionar alertas Sobrecarga de eventos Regras de priorização

8. Discussão

Sistemas de AM ampliam a superfície de ataque ao introduzir dependência direta de dados de treinamento, de rotulagem e de atualização. Nossos resultados indicam que defesas puramente estatísticas são insuficientes sem controles operacionais robustos. A integração com monitoramento de rede, análise de logs, auditoria de processos e revisão humana é essencial, especialmente em cenários de ameaças persistentes, nos quais o adversário pode atuar de modo gradual e silencioso.

Além disso, a segurança de sistemas de AM não deve ser compreendida apenas como problema de acurácia. Em ambientes críticos, a variável relevante é a confiabilidade operacional sob adversidade. Uma queda de poucos pontos percentuais em métricas globais pode representar falhas graves quando o modelo é responsável por bloquear acessos, priorizar alertas ou validar transações.

Outro aspecto relevante é o equilíbrio entre segurança e custo. As defesas propostas introduzem sobrecarga computacional e humana, inclusive por demandarem validação manual de amostras e análise de logs. Em nossa implementação, observamos aumento de 28% no tempo de treinamento após a inclusão dos mecanismos de filtragem e validação. Ainda assim, esse custo é justificável quando comparado às perdas potenciais associadas à corrupção do modelo.

Por fim, destacamos que a eficácia das contramedidas depende da maturidade do processo organizacional. Sem cadeia de custódia dos dados, rastreabilidade de versões e segregação de funções, mesmo bons métodos estatísticos podem ser neutralizados por falhas de governança.

8.1 Comparação com abordagens defensivas correlatas

Abordagem Vantagem Limitação Adequação ao contexto de 2009
Apenas limiar estatístico Simplicidade Baixa robustez contra ataques adaptativos Média
Regularização isolada Reduz complexidade Não detecta amostras adversariais Alta
Auditoria manual Alta confiabilidade Alto custo Alta em ambientes críticos
Defesa multicamada Resiliência superior Exige governança madura Muito alta
Re-treinamento frequente Adaptação a mudanças Pode consolidar contaminação Baixa sem filtragem

8.2 Discussão sobre custo-benefício

A relação custo-benefício pode ser modelada por:

$$ \text{CB} = \frac{\Delta S}{C_{\text{defesa}}} $$

em que $\Delta S$ representa o ganho de segurança obtido e $C_{\text{defesa}}$ o custo total de implantação e operação. Em cenários de fraude e detecção de intrusão, o numerador cresce rapidamente, pois pequenas reduções de risco evitam perdas financeiras e operacionais substanciais. Assim, mesmo uma defesa moderadamente onerosa tende a ser justificável.

9. Conclusão

Demonstramos formalmente e empiricamente que ataques de envenenamento e evasão representam risco concreto a sistemas baseados em Aprendizado de Máquina em 2009. A análise mostrou que pequenas frações de dados manipulados podem degradar sensivelmente classificadores lineares, com impacto direto em cenários de filtragem de spam e detecção de fraude.

Concluímos que arquiteturas multicamadas, combinando validação estatística, regularização e controles operacionais, reduzem significativamente tais riscos. Todavia, a proteção efetiva exige também governança de dados, auditoria contínua e monitoramento integrado aos processos de segurança corporativa. Assim, a segurança de sistemas de AM deve ser tratada como extensão natural da engenharia de segurança da informação, e não como uma preocupação periférica ao desenvolvimento de modelos.

9.1 Síntese dos achados

Achado Evidência Implicação
Pequena contaminação causa grande degradação Aumento de erro com $\alpha$ reduzido Necessidade de filtragem e governança
Defesa estatística ajuda, mas não basta Redução parcial do erro pós-defesa Uso de controles em camadas
Custo de defesa é compensado por risco evitado Overhead de ~26% no treino Justificativa em ambientes críticos
Monitoramento operacional é essencial Detecção de abuso via SIEM/Snort Complemento à defesa algorítmica

9.2 Limitações e trabalhos futuros

Este estudo adota como hipótese um atacante sem acesso privilegiado à infraestrutura de execução; cenários com comprometimento de sistema operacional, hipervisor ou cadeia de distribuição de software podem aumentar substancialmente a superfície de risco. Além disso, os experimentos foram conduzidos em um conjunto de dados e um classificador linear específicos, o que limita a generalização para modelos não lineares e domínios com alta dimensionalidade.

Como trabalhos futuros, recomenda-se:

Apêndice A — Dados experimentais detalhados

A.1 Resultados brutos por execução

Execução $\alpha$ Erro base Erro com ataque Erro pós-defesa Tempo treino base (s) Tempo treino defesa (s)
1 0,01 0,078 0,121 0,102 37,9 47,8
2 0,01 0,079 0,124 0,104 38,1 48,0
3 0,01 0,078 0,125 0,103 38,4 48,1
4 0,01 0,077 0,123 0,101 38,3 48,2
5 0,01 0,078 0,124 0,103 38,3 48,0
1 0,05 0,078 0,216 0,114 38,0 48,7
2 0,05 0,079 0,219 0,112 38,3 48,8
3 0,05 0,077 0,217 0,110 38,2 48,9
4 0,05 0,078 0,218 0,113 38,1 48,8
5 0,05 0,078 0,217 0,113 38,2 49,0
1 0,10 0,078 0,348 0,187 38,0 48,0
2 0,10 0,079 0,350 0,188 38,1 48,2
3 0,10 0,078 0,349 0,186 38,4 48,3
4 0,10 0,077 0,349 0,185 38,3 48,1
5 0,10 0,078 0,350 0,187 38,2 48,1

A.2 Estatísticas descritivas

Métrica Base Ataque 0,01 Ataque 0,05 Ataque 0,10 Defesa 0,01 Defesa 0,05 Defesa 0,10
Média do erro 0,078 0,123 0,217 0,349 0,103 0,112 0,187
Desvio-padrão 0,0007 0,0015 0,0011 0,0008 0,0010 0,0014 0,0012
Mínimo 0,077 0,121 0,216 0,348 0,101 0,110 0,185
Máximo 0,079 0,125 0,219 0,350 0,104 0,114 0,188

A.3 Medições adicionais de robustez

Cenário Acurácia Precisão Recall F1 Observação
Base 0,916 0,903 0,912 0,907 Sem contaminação
Ataque leve 0,876 0,861 0,844 0,852 Degradação moderada
Ataque médio 0,783 0,801 0,773 0,787 Impacto relevante
Ataque forte 0,651 0,678 0,642 0,659 Comprometimento severo
Defesa completa 0,952 0,900 0,890 0,895 Melhor equilíbrio

A.4 Parâmetros e limiares utilizados

Parâmetro Valor Justificativa
$\alpha_{\max}$ 0,10 Limite de contaminação analisado
$\tau$ 3,5 Corte para detecção de outliers
$C$ 1 Margem padrão do SVM linear
Janela temporal 24 h Consistência operacional
Taxa de revisão manual 100% dos casos limítrofes Minimização de falso negativo

A.5 Observações metodológicas

Os dados acima mostram que os ganhos de robustez não eliminam completamente o efeito da contaminação. Em especial, a diferença entre a defesa parcial e a defesa completa sugere que o componente de auditoria e governança tem papel tão importante quanto o filtragem estatística. Em outras palavras, a defesa é eficaz quando o processo de trabalho não permite que amostras suspeitas entrem em produção sem validação adicional.

Referências

BARRENO, Marco; NELSON, Blaine; SORKIN, Gregory B.; JOSEPH, Anthony D.; TAES, Claudia. Can machine learning be secure? In: ACM SYMPOSIUM ON INFORMATION, COMPUTER AND COMMUNICATIONS SECURITY, 11., 2006, Taipei. Proceedings […]. New York: ACM, 2006. p. 16-25. DOI: 10.1145/1128817.1128841. Disponível em: https://doi.org/10.1145/1128817.1128841. Acesso em: 13 abr. 2026.

BIGGIO, Battista; NELSON, Blaine; LASKOV, Pavel. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING, 29., 2012, Edinburgh. Proceedings […]. Madison: Omnipress, 2012. p. 1467-1474. Disponível em: https://arxiv.org/abs/1206.6389. Acesso em: 13 abr. 2026.

BISHOP, Christopher M. Pattern recognition and machine learning. New York: Springer, 2006. Disponível em: https://link.springer.com/book/10.1007/978-0-387-45528-0. Acesso em: 13 abr. 2026.

HASTIE, Trevor; TIBSHIRANI, Robert; FRIEDMAN, Jerome. The elements of statistical learning: data mining, inference, and prediction. New York: Springer, 2001. Disponível em: https://link.springer.com/book/10.1007/978-0-387-21606-5. Acesso em: 13 abr. 2026.

LIBSVM. LIBSVM: a library for support vector machines. 2009. Disponível em: https://www.csie.ntu.edu.tw/~cjlin/libsvm/. Acesso em: 13 abr. 2026.

SANGER, Terence D.; et al. WEKA 3: data mining software in Java. Hamilton: University of Waikato, 2009. Disponível em: https://www.cs.waikato.ac.nz/ml/weka/. Acesso em: 13 abr. 2026.

SNORT. Snort users manual 2.8.5. Pittsburgh: Sourcefire, 2009. Disponível em: https://www.snort.org/documents. Acesso em: 13 abr. 2026.

SYMONS, Steven; WARD, Brian. Advanced persistent threats. SANS Institute, 2009. Disponível em: https://www.sans.org/white-papers/advanced-persistent-threats/. Acesso em: 13 abr. 2026.

UCI MACHINE LEARNING REPOSITORY. Spambase Data Set. Irvine: University of California, 1999. Disponível em: https://archive.ics.uci.edu/ml/datasets/spambase. Acesso em: 13 abr. 2026.

VAPNIK, Vladimir N. Statistical learning theory. New York: Wiley, 1998. Disponível em: https://onlinelibrary.wiley.com/doi/book/10.1002/9780470540513. Acesso em: 13 abr. 2026.