Paper Files / AI Security
Segurança de Sistemas de Inteligência Artificial em Ambientes Computacionais Conectados: Modelagem de Ameaças e Mecanismos de Defesa para Sistemas Especialistas e Redes Neurais (1990)
O rápido avanço de técnicas de Inteligência Artificial (IA) ao longo das últimas três décadas resultou na adoção crescente de sistemas especialistas, redes neurais artificiais e mecanismos de inferência automatizada em ambientes críticos, incluindo diagnóstico médico, planejamento militar, análise financeira e controle industrial. Apesar da atenção significativa dada à precisão inferencial e ao desempenho computacional desses sistemas, a segurança operacional da IA permanece amplamente negligenciada. Em redes acadêmicas e corporativas conectadas por protocolos TCP/IP emergentes, sistemas baseados em conhecimento podem tornar-se vetores privilegiados de comprometimento quando manipulados por adversários com acesso ao sistema ou à rede. Este trabalho examina o problema da segurança de sistemas de IA sob a perspectiva da segurança computacional clássica. Argumenta-se que motores de inferência, bases de conhecimento e mecanismos de aprendizagem introduzem novas superfícies de ataque que não são adequadamente tratadas pelos modelos tradicionais de controle de acesso e proteção de memória. Propomos um modelo de ameaça específico para sistemas especialistas e redes neurais artificiais operando em estações UNIX conectadas à ARPANET e redes locais Ethernet. O modelo considera três classes principais de ataque: manipulação da base de conhecimento, contaminação de dados de treinamento e exploração de interfaces de consulta. A partir desse modelo, desenvolvemos uma metodologia de defesa baseada em três pilares: integridade criptográfica da base de conhecimento, auditoria comportamental do mecanismo de inferência e detecção estatística de entradas anômalas. A abordagem integra princípios clássicos de segurança — como o modelo Bell‑LaPadula e os princípios de proteção de Saltzer e Schroeder — com técnicas probabilísticas derivadas de redes Bayesianas e aprendizado adaptativo. Implementamos um protótipo experimental em ambiente UNIX utilizando um sistema especialista baseado em regras e uma rede neural do tipo perceptron multicamada. Avaliações experimentais demonstram que mecanismos simples de verificação de integridade e análise estatística de consultas reduzem significativamente a probabilidade de comprometimento sem impor sobrecarga computacional proibitiva. Os resultados sugerem que a segurança de IA deve ser tratada como um problema distinto dentro da segurança de sistemas, exigindo controles específicos para proteção de conhecimento, dados de treinamento e mecanismos de inferência. O trabalho conclui com recomendações práticas para operadores de sistemas e pesquisadores, destacando a necessidade de auditoria contínua, isolamento de dados de treinamento e verificação criptográfica da base de conhecimento.
- Introduction
Desde os primeiros trabalhos de McCarthy e Minsky nas décadas de 1950 e 1960, a Inteligência Artificial evoluiu de um campo predominantemente teórico para um conjunto de tecnologias aplicadas em sistemas computacionais operacionais (MCCARTHY, 1956; MINSKY, 1986). Sistemas especialistas como MYCIN demonstraram que bases de conhecimento estruturadas podem produzir diagnósticos médicos comparáveis aos de especialistas humanos (SHORTLIFFE, 1976). Paralelamente, avanços em redes neurais artificiais — particularmente com a redescoberta do algoritmo de retropropagação — reacenderam o interesse em sistemas capazes de aprendizado adaptativo (RUMELHART; HINTON; WILLIAMS, 1986).
Entretanto, enquanto o foco da pesquisa em IA tem sido tradicionalmente a precisão inferencial e a eficiência computacional, pouca atenção foi dedicada às implicações de segurança desses sistemas quando implantados em ambientes conectados. O crescimento de redes TCP/IP, a expansão da ARPANET e o surgimento de redes acadêmicas interconectadas criaram um ambiente onde aplicações complexas estão cada vez mais expostas a adversários remotos (COMER, 1988).
Incidentes recentes demonstraram que sistemas computacionais conectados podem ser explorados por worms e outras formas de software malicioso. O episódio do Internet Worm de 1988 evidenciou a fragilidade de sistemas UNIX conectados em rede, explorando vulnerabilidades em serviços e mecanismos de autenticação (SPAFFORD, 1989). Embora o incidente não tenha envolvido diretamente sistemas de IA, ele demonstrou que aplicações complexas executadas em ambientes conectados podem ser manipuladas por atacantes externos.
Sistemas de IA introduzem características arquiteturais particulares que ampliam a superfície de ataque. Diferentemente de programas convencionais, um sistema especialista depende de três componentes principais:
• Base de conhecimento
• Motor de inferência
• Interface de consulta
A integridade do sistema depende da consistência desses elementos. Uma modificação sutil na base de regras pode alterar completamente o comportamento inferencial do sistema sem produzir erros aparentes de execução. Da mesma forma, dados de treinamento manipulados podem induzir redes neurais a produzir classificações sistematicamente incorretas.
Essa propriedade torna sistemas de IA particularmente suscetíveis a ataques de manipulação lógica. Diferentemente de ataques tradicionais que visam obter acesso privilegiado ao sistema operacional, ataques contra IA podem ocorrer inteiramente no nível semântico da aplicação.
Este trabalho investiga como princípios clássicos de segurança computacional podem ser aplicados para proteger sistemas de IA. Especificamente, analisamos:
• Como adversários podem manipular bases de conhecimento
• Como dados de treinamento podem ser contaminados
• Como entradas maliciosas podem explorar mecanismos de inferência
Com base nessa análise, propomos uma arquitetura de defesa que combina mecanismos de integridade criptográfica, auditoria comportamental e detecção estatística.
- Background and Related Work
A segurança de sistemas computacionais foi amplamente estudada desde os anos 1960, particularmente em ambientes militares e governamentais. Relatórios como o RAND Report on Computer Security (WARE, 1970) e o modelo de segurança Bell‑LaPadula estabeleceram fundamentos formais para controle de acesso e confidencialidade (BELL; LAPADULA, 1973).
Saltzer e Schroeder (1975) formularam princípios fundamentais de projeto seguro, incluindo separação de privilégios, economia de mecanismo e verificação completa. Esses princípios continuam relevantes para qualquer sistema computacional complexo.
Paralelamente, Denning (1987) introduziu o conceito de sistemas de detecção de intrusão baseados em análise estatística de comportamento. Esse modelo é particularmente relevante para sistemas de IA, pois ambos dependem de modelagem probabilística de comportamento esperado.
No domínio da IA, sistemas especialistas emergiram como uma das aplicações mais bem-sucedidas da área. MYCIN, desenvolvido na Universidade de Stanford, utilizava cerca de 450 regras para diagnóstico de infecções bacterianas (SHORTLIFFE, 1976). Sistemas posteriores ampliaram esse paradigma para domínios como geologia e engenharia.
Uma regra típica em um sistema especialista pode ser expressa como:
IF condição THEN conclusão [fator de certeza]
A inferência ocorre através de encadeamento para frente ou para trás, combinando regras até atingir uma conclusão.
Redes neurais artificiais, por outro lado, seguem um paradigma completamente diferente. O perceptron original de Rosenblatt (1958) define uma função de decisão linear:
$$ y = \text{sign}(w \cdot x + b) $$
onde $w$ representa o vetor de pesos e $x$ o vetor de entrada.
O algoritmo de aprendizagem ajusta os pesos de acordo com:
$$ w_{t+1} = w_t + \eta (d - y)x $$
onde $\eta$ é a taxa de aprendizado e $d$ o valor desejado (WIDROW; HOFF, 1960).
A redescoberta do algoritmo de retropropagação permitiu treinar redes com múltiplas camadas ocultas (RUMELHART; HINTON; WILLIAMS, 1986).
Apesar desses avanços, a literatura sobre segurança desses sistemas permanece escassa. A maioria dos mecanismos de segurança existentes foi projetada para proteger sistemas operacionais e bancos de dados, não sistemas de inferência baseados em conhecimento.
A tabela abaixo resume diferenças estruturais relevantes para segurança.
| Característica | Sistemas Especialistas | Redes Neurais |
|---|---|---|
| Representação de conhecimento | Regras explícitas | Pesos distribuídos |
| Interpretabilidade | Alta | Baixa |
| Ataque típico | Modificação de regras | Contaminação de treinamento |
| Detecção de manipulação | Moderada | Difícil |
Essas diferenças exigem estratégias de defesa distintas.
- Threat Model and Problem Formalization
Para analisar a segurança de sistemas de IA, consideramos um ambiente típico de final dos anos 1980: uma estação de trabalho UNIX conectada a uma rede Ethernet e acessível por usuários remotos através de protocolos TCP/IP.
Assumimos três classes de adversários:
| Tipo de adversário | Capacidade | Exemplo |
|---|---|---|
| Usuário interno | Acesso ao sistema | Pesquisador ou operador |
| Usuário remoto | Acesso via rede | Conexão ARPANET |
| Software malicioso | Execução indireta | Worm ou script |
Os principais vetores de ataque incluem:
- Manipulação da base de conhecimento
- Contaminação de dados de treinamento
- Exploração da interface de consulta
Podemos formalizar o problema como a preservação da integridade da função inferencial $F$ de um sistema de IA.
Seja:
$$ F(K, D, x) = y $$
onde:
• $K$ = base de conhecimento
• $D$ = conjunto de dados de treinamento
• $x$ = entrada do usuário
O objetivo do adversário é alterar $y$ sem modificar explicitamente o código do sistema.
Isso pode ocorrer através de:
$$ K’ = K + \Delta K $$
ou
$$ D’ = D + \Delta D $$
Mesmo pequenas perturbações podem produzir mudanças significativas na saída do sistema.
- Proposed Methodology
Propomos uma arquitetura de defesa composta por três camadas:
- Proteção criptográfica da base de conhecimento
- Auditoria comportamental do sistema
- Detecção estatística de entradas anômalas
Integridade da Base de Conhecimento
A base de conhecimento pode ser protegida usando funções hash criptográficas e assinaturas digitais baseadas em RSA (RIVEST; SHAMIR; ADLEMAN, 1978).
Seja $H(K)$ o hash da base de conhecimento. Qualquer modificação não autorizada resultará em:
$$ H(K’) \neq H(K) $$
Isso permite detectar manipulação de regras.
Auditoria de Inferência
Inspirado no modelo de detecção de intrusão de Denning (1987), monitoramos padrões de inferência.
Se $P(r_i)$ representa a probabilidade de ativação da regra $r_i$, podemos detectar anomalias quando:
$$ |P_{observado}(r_i) - P_{esperado}(r_i)| > \theta $$
onde $\theta$ é um limiar estatístico.
Filtragem de Entrada
Entradas de usuários são analisadas utilizando modelos probabilísticos para detectar valores inconsistentes com o domínio esperado.
- Implementation
O protótipo foi implementado em uma estação SUN‑3 executando UNIX BSD. O sistema especialista foi desenvolvido em Lisp, enquanto a rede neural foi implementada em C.
Monitoramento de rede foi realizado utilizando tcpdump.
tcpdump -i le0 -n port 23
Esse comando captura conexões Telnet que podem indicar tentativas de acesso não autorizado ao sistema de IA.
Auditorias periódicas de segurança foram realizadas utilizando o pacote COPS (Computer Oracle and Password System), amplamente utilizado para verificação de segurança em sistemas UNIX.
./cops -v
O COPS identifica permissões incorretas de arquivos, senhas fracas e outros problemas de configuração que podem permitir acesso não autorizado à base de conhecimento.
- Experimental Evaluation
Conduzimos experimentos simulando ataques contra dois sistemas:
• Sistema especialista médico
• Classificador neural simples
A tabela seguinte apresenta o impacto de manipulação de regras.
| Percentual de regras alteradas | Taxa de erro original | Taxa após ataque |
|---|---|---|
| 0% | 7% | 7% |
| 5% | 7% | 21% |
| 10% | 7% | 38% |
| 20% | 7% | 61% |
Observa‑se que pequenas alterações na base de conhecimento podem degradar drasticamente o desempenho.
Para redes neurais, simulamos contaminação do conjunto de treinamento.
| Dados contaminados | Precisão original | Precisão após ataque |
|---|---|---|
| 0% | 91% | 91% |
| 5% | 91% | 84% |
| 10% | 91% | 72% |
| 20% | 91% | 55% |
Finalmente avaliamos o sistema de detecção proposto.
| Tipo de ataque | Taxa de detecção |
|---|---|
| Manipulação de regras | 92% |
| Contaminação de treinamento | 81% |
| Entrada maliciosa | 76% |
- Case Study
Um experimento prático foi conduzido utilizando um sistema especialista para diagnóstico de falhas em rede Ethernet.
Um atacante interno modificou discretamente três regras responsáveis por inferir falhas de hardware. O sistema continuou operando normalmente, mas passou a recomendar substituição de cabos em vez de placas de interface defeituosas.
Durante vários dias, operadores seguiram essas recomendações incorretas sem suspeitar da manipulação.
A auditoria de integridade baseada em hash detectou posteriormente a modificação da base de conhecimento. A análise mostrou que a alteração consistia em apenas 14 caracteres dentro de um arquivo contendo centenas de regras.
Esse caso demonstra como sistemas baseados em conhecimento podem ser manipulados com mudanças mínimas.
- Discussion
Os resultados demonstram que sistemas de IA introduzem desafios de segurança distintos daqueles observados em software convencional. Em particular, a separação entre código e conhecimento cria uma superfície de ataque adicional.
Um programa tradicional geralmente falha de forma evidente quando modificado. Já sistemas especialistas podem continuar operando aparentemente de forma normal enquanto produzem inferências sistematicamente incorretas.
Redes neurais apresentam um problema ainda mais complexo. Como o conhecimento está distribuído nos pesos da rede, detectar manipulação torna‑se significativamente mais difícil.
Além disso, ambientes de pesquisa frequentemente compartilham conjuntos de dados de treinamento entre usuários, criando oportunidades para contaminação deliberada.
Esses fatores sugerem que a segurança de IA deve combinar técnicas de segurança tradicional com métodos estatísticos e probabilísticos.
- Conclusion and Future Work
Este trabalho investigou a segurança de sistemas de Inteligência Artificial em ambientes computacionais conectados. Demonstramos que sistemas especialistas e redes neurais introduzem novas superfícies de ataque relacionadas à manipulação de conhecimento e dados de treinamento.
Propusemos uma arquitetura de defesa baseada em integridade criptográfica, auditoria de inferência e detecção estatística de anomalias. Experimentos demonstraram que essas técnicas podem reduzir significativamente o impacto de ataques.
Trabalhos futuros devem explorar:
• mecanismos automáticos de verificação de consistência de bases de conhecimento
• métodos estatísticos mais robustos para detecção de manipulação de treinamento
• integração de mecanismos de segurança diretamente no motor de inferência
À medida que sistemas de IA se tornam mais amplamente implantados em ambientes operacionais, a segurança desses sistemas deve ser considerada um requisito fundamental de projeto.
REFERENCES
ANDERSON, J. Computer Security Threat Monitoring and Surveillance. 1980.
https://csrc.nist.gov/publications
BELL, D.; LAPADULA, L. Secure Computer Systems. MITRE, 1973.
https://apps.dtic.mil
BUCHANAN, B.; SHORTLIFFE, E. Rule-Based Expert Systems. Addison-Wesley, 1984.
https://dl.acm.org
COMER, D. Internetworking with TCP/IP. Prentice Hall, 1988.
https://www.cs.purdue.edu
DENNING, D. Cryptography and Data Security. Addison-Wesley, 1982.
https://dl.acm.org
DENNING, D. An Intrusion Detection Model. IEEE, 1987.
https://ieeexplore.ieee.org
DIFFIE, W.; HELLMAN, M. New Directions in Cryptography. IEEE, 1976.
https://ieeexplore.ieee.org
HOPFIELD, J. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. 1982.
https://www.pnas.org
KOHONEN, T. Self-Organized Formation of Topologically Correct Feature Maps. 1982.
https://ieeexplore.ieee.org
LAMPSon, B. Protection. 1971.
https://dl.acm.org
MCCARTHY, J. Programs with Common Sense. 1956.
https://jmc.stanford.edu
MINSKY, M. The Society of Mind. 1986.
https://mitpress.mit.edu
MORRIS, R.; THOMPSON, K. Password Security: A Case History. 1979.
https://dl.acm.org
PFL EEGER, C. Security in Computing. 1989.
https://www.pearson.com
RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A Method for Obtaining Digital Signatures and Public-Key Cryptosystems. 1978.
https://people.csail.mit.edu
ROSENBLATT, F. The Perceptron. 1958.
https://psych.princeton.edu
RUMELHART, D.; HINTON, G.; WILLIAMS, R. Learning Representations by Back‑Propagating Errors. 1986.
https://www.nature.com
SALTZER, J.; SCHROEDER, M. The Protection of Information in Computer Systems. 1975.
https://dl.acm.org
SHORTLIFFE, E. Computer-Based Medical Consultations: MYCIN. 1976.
https://web.stanford.edu
SPAFFORD, E. The Internet Worm Incident. 1989.
https://docs.lib.purdue.edu
WARE, W. Security Controls for Computer Systems. RAND, 1970.
https://www.rand.org
WIDROW, B.; HOFF, M. Adaptive Switching Circuits. 1960.
https://ieeexplore.ieee.org
WINSTON, P. Artificial Intelligence. Addison‑Wesley, 1984.
https://mit.edu
NILSSON, N. Principles of Artificial Intelligence. 1980.
https://ti.arc.nasa.gov
FEIGENBAUM, E. The Art of Artificial Intelligence. 1983.
https://dl.acm.org