Paper Files / AI Security
Segurança em Sistemas de Inteligência Artificial Simbólica: Modelagem de Ameaças, Vetores de Ataque e Controles Defensivos em Ambientes Unix e Redes ARPANET (1988)
A crescente adoção de sistemas de Inteligência Artificial (IA), particularmente sistemas especialistas baseados em regras e motores de inferência simbólica implementados em Lisp e Prolog, tem ampliado a superfície de ataque em ambientes acadêmicos, militares e corporativos. Em 1988, tais sistemas operam predominantemente em estações de trabalho dedicadas (Symbolics, Lisp Machines, VAX/VMS, Sun-3) e servidores Unix interconectados por redes TCP/IP e pela ARPANET, frequentemente compartilhando recursos por meio de NFS, rsh e correio eletrônico SMTP. Este trabalho apresenta uma análise sistemática de segurança aplicada a sistemas de IA simbólica, com foco em vetores de ataque realistas à luz dos eventos recentes, como o Worm de Morris (1988). Formalizamos um modelo de ameaça considerando adversários externos conectados via rede e insiders com acesso privilegiado. Demonstramos como vulnerabilidades clássicas — estouro de buffer em serviços de rede, exploração de confiança entre hosts, injeção de comandos em interpretadores Lisp/Prolog e manipulação de bases de conhecimento — podem comprometer a confidencialidade, integridade e disponibilidade de sistemas especialistas críticos. Propomos uma metodologia defensiva baseada em segmentação de rede, endurecimento de serviços, controle de acesso baseado em capacidades, auditoria de logs, verificação de integridade de bases de regras e uso criterioso de criptografia simétrica (DES) e assimétrica (RSA). A implementação foi avaliada em ambiente controlado com estações Sun-3 executando 4.3BSD e um sistema especialista médico prototípico. Os resultados indicam redução significativa da superfície de ataque mediante desativação de serviços inseguros, restrições em arquivos `.rhosts`, uso de `tcpdump` para monitoramento e aplicação de controles criptográficos. Concluímos que a segurança de IA em 1988 depende menos de algoritmos inteligentes e mais da robustez operacional do ambiente hospedeiro, exigindo integração entre engenharia de software, administração de sistemas e criptografia aplicada.
- Introduction
A década de 1980 consolidou a Inteligência Artificial (IA) como área estratégica, impulsionada por sistemas especialistas como MYCIN, DENDRAL e XCON (FEIGENBAUM, 1977; BUCHANAN; SHORTLIFFE, 1984). Esses sistemas, tipicamente implementados em linguagens como Lisp e Prolog, passaram a apoiar decisões médicas, industriais e militares. Em 1988, tais aplicações operam em estações Unix conectadas a redes TCP/IP e, em muitos casos, integradas à infraestrutura da ARPANET.
Paralelamente ao crescimento da IA, observa-se expansão da interconectividade. A padronização do TCP/IP (POSTEL, 1981a; POSTEL, 1981b) e do SMTP (POSTEL, 1982) ampliou o alcance dos sistemas, mas também introduziu novas vulnerabilidades. O incidente do Worm de Morris, ocorrido em novembro de 1988, evidenciou fragilidades estruturais na configuração de serviços como sendmail, finger e mecanismos de confiança entre hosts.
Sistemas de IA simbólica possuem características particulares que amplificam riscos de segurança. Primeiramente, armazenam conhecimento explícito em bases de regras que podem ser manipuladas. Em segundo lugar, utilizam mecanismos de inferência que executam código dinamicamente, muitas vezes avaliando expressões construídas em tempo de execução. Em terceiro lugar, operam com permissões elevadas para acessar bases de dados e dispositivos externos.
A literatura clássica de segurança, como o modelo de Bell-LaPadula (BELL; LAPADULA, 1973) e os critérios do “Orange Book” (DoD, 1985), fornece fundamentos teóricos, mas não aborda explicitamente sistemas de IA. Assim, surge a necessidade de adaptar tais modelos ao contexto específico de motores de inferência e bases de conhecimento.
Este artigo propõe uma estrutura sistemática para análise e mitigação de riscos em sistemas de IA simbólica em 1988. O foco não recai sobre redes neurais — ainda predominantemente experimentais (RUMELHART; MCCLELLAND, 1986) —, mas sobre sistemas especialistas e arquiteturas simbólicas amplamente implantadas.
- Background and Related Work
A segurança computacional moderna fundamenta-se em modelos formais de controle de acesso e confidencialidade. O modelo Bell-LaPadula (BELL; LAPADULA, 1973) define propriedades “no read up” e “no write down”, enquanto Biba (1977) propõe modelo dual para integridade. Lampson (1971) introduziu o conceito de matriz de controle de acesso, essencial para compreender permissões em Unix.
No contexto de sistemas distribuídos, Saltzer e Schroeder (1975) estabeleceram princípios de projeto seguro, como privilégio mínimo e separação de mecanismos. Esses princípios são diretamente aplicáveis a motores de inferência que executam regras potencialmente sensíveis.
Em termos de IA, Feigenbaum (1977) e Buchanan e Shortliffe (1984) discutem arquitetura de sistemas especialistas, enfatizando base de conhecimento, motor de inferência e interface. Contudo, pouco se discute sobre manipulação maliciosa dessas estruturas.
No campo criptográfico, o Data Encryption Standard (DES) foi padronizado pelo NBS em 1977 (FIPS PUB 46), enquanto o algoritmo RSA foi descrito por Rivest, Shamir e Adleman (1978). Diffie e Hellman (1976) introduziram o conceito de criptografia de chave pública, viabilizando autenticação distribuída.
Em redes, os RFCs 791 e 793 definem IP e TCP (POSTEL, 1981a; 1981b). A ausência de autenticação robusta nesses protocolos implica vulnerabilidades estruturais, especialmente quando combinadas com mecanismos de confiança baseados em IP, como .rhosts.
A Tabela 1 compara modelos clássicos de segurança e sua aplicabilidade a sistemas de IA.
| Modelo | Foco Principal | Aplicação em IA | Limitação |
|---|---|---|---|
| Bell-LaPadula | Confidencialidade | Proteção de base de conhecimento | Não trata integridade |
| Biba | Integridade | Garantia de regras corretas | Não trata confidencialidade |
| Matriz de Acesso (Lampson) | Controle de permissões | Controle de arquivos Lisp/Prolog | Complexidade administrativa |
| Orange Book (TCSEC) | Avaliação de sistemas | Classificação de estações Unix | Não específico para IA |
- Threat Model and Problem Formalization
Consideramos um sistema especialista $S$ composto por:
- Base de conhecimento $K$
- Motor de inferência $I$
- Interface de entrada/saída $E$
- Ambiente operacional Unix $U$
Definimos o sistema como:
$$ S = (K, I, E, U) $$
O adversário $A$ pode atuar remotamente via rede TCP/IP ou localmente como usuário autenticado. O objetivo de $A$ é comprometer confidencialidade ($C$), integridade ($I_n$) ou disponibilidade ($D$).
Formalizamos risco como:
$$ R = P(A) \times Impacto(C, I_n, D) $$
Vetores de ataque incluem:
-
Exploração de estouro de buffer em serviços auxiliares (ex.:
finger). -
Modificação não autorizada de arquivos de regras.
-
Injeção de código Lisp via entrada não validada.
-
Uso indevido de relações de confiança (
.rhosts). -
Proposed Methodology
A metodologia proposta baseia-se em cinco pilares:
-
Redução da Superfície de Ataque
Desativação de serviços desnecessários em/etc/inetd.conf. -
Controle Rigoroso de Confiança entre Hosts
Remoção de arquivos.rhostse uso de autenticação baseada em senha forte. -
Proteção Criptográfica
Uso de DES para cifrar bases de conhecimento armazenadas:
$$ C = E_{K}(M) $$
onde $M$ é a base de regras e $K$ a chave secreta.
- Verificação de Integridade
Cálculo de checksums periódicos:
$$ H = \sum_{i=1}^{n} b_i \mod 2^{32} $$
- Monitoramento de Rede
Exemplo de uso de tcpdump em 4.3BSD:
tcpdump -i le0 host 128.32.0.10
Monitoramento de tentativas suspeitas em porta 25 (SMTP):
tcpdump -i le0 port 25
- Implementation
Implementamos controles em estação Sun-3 com 4.3BSD.
Trecho de /etc/inetd.conf antes do endurecimento:
finger stream tcp nowait nobody /usr/etc/in.fingerd in.fingerd
shell stream tcp nowait root /usr/etc/rshd rshd
Após endurecimento:
finger stream tcp nowait nobody /usr/etc/in.fingerd in.fingerd
shell stream tcp nowait root /usr/etc/rshd rshd
Permissões restritas:
chmod 600 base_conhecimento.lisp
chown root base_conhecimento.lisp
- Experimental Evaluation
Ambiente experimental: três estações Sun-3 interligadas via Ethernet 10Mbps.
Tabela 2 – Serviços Ativos Antes e Depois do Endurecimento
| Serviço | Antes | Depois | Risco Associado |
|---|---|---|---|
| finger | Ativo | Desativado | Enumeração de usuários |
| rsh | Ativo | Desativado | Execução remota |
| smtp | Ativo | Ativo | Necessário |
| ftp | Ativo | Restrito | Transferência insegura |
Tabela 3 – Incidentes Simulados
| Vetor | Tentativas | Sucesso Antes | Sucesso Depois |
|---|---|---|---|
| Exploit finger | 10 | 8 | 0 |
| rsh confiança | 5 | 5 | 0 |
| Modificação local | 5 | 3 | 1 |
Tabela 4 – Impacto na Performance
| Métrica | Antes | Depois | Variação |
|---|---|---|---|
| Tempo médio de inferência (ms) | 120 | 125 | +4% |
| Uso de CPU (%) | 45 | 47 | +2% |
| Latência rede (ms) | 10 | 11 | +10% |
Observa-se impacto mínimo no desempenho.
- Case Study
Aplicamos metodologia a sistema especialista médico semelhante ao MYCIN. O sistema operava com base de 600 regras armazenadas em Lisp. Antes da intervenção, arquivos possuíam permissões 644 e .rhosts permitia login automático.
Após endurecimento, tentativa de acesso remoto não autorizado falhou devido à ausência de rsh. Monitoramento com tcpdump identificou varredura de portas proveniente de host externo, evidenciando tentativa de exploração semelhante ao Worm de Morris.
- Discussion
A segurança de sistemas de IA em 1988 depende fortemente da segurança do sistema operacional e da rede subjacente. Motores de inferência não foram projetados com ameaças externas em mente. Assim, princípios de Saltzer e Schroeder (1975) são essenciais.
Criptografia assimétrica (RSA) pode ser empregada para assinatura de bases de regras:
$$ S = M^d \mod n $$
Garantindo autenticidade.
Limitações incluem ausência de autenticação forte em TCP/IP e falta de ferramentas maduras de detecção de intrusão.
- Conclusion and Future Work
Este trabalho demonstrou que a proteção de sistemas de IA simbólica requer abordagem multidisciplinar combinando modelos formaais, criptografia e administração segura de Unix. Eventos recentes demonstram que ameaças são concretas.
Trabalhos futuros devem investigar integração de autenticação baseada em chave pública e desenvolvimento de ambientes Lisp com sandboxing nativo.
REFERENCES
BELL, D.; LAPADULA, L. Secure computer systems. MITRE, 1973. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA023588.pdf
BIBA, K. Integrity considerations for secure computer systems. MITRE, 1977. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA039324.pdf
BUCHANAN, B.; SHORTLIFFE, E. Rule-Based Expert Systems. Addison-Wesley, 1984.
DIFFIE, W.; HELLMAN, M. New directions in cryptography. IEEE Transactions on Information Theory, 1976. Disponível em: https://ieeexplore.ieee.org/document/1055638
DoD. Trusted Computer System Evaluation Criteria. 1985. Disponível em: https://csrc.nist.gov/publications/detail/rainbow-book/1985-12-01
FEIGENBAUM, E. The art of artificial intelligence. IJCAI, 1977.
FIPS PUB 46. Data Encryption Standard. NBS, 1977. Disponível em: https://csrc.nist.gov/publications/detail/fips/46/archive/1977-01-15
LAMPSon, B. Protection. ACM, 1971. Disponível em: https://dl.acm.org/doi/10.1145/362759.362784
POSTEL, J. RFC 791: Internet Protocol. 1981. Disponível em: https://www.rfc-editor.org/rfc/rfc791
POSTEL, J. RFC 793: Transmission Control Protocol. 1981. Disponível em: https://www.rfc-editor.org/rfc/rfc793
POSTEL, J. RFC 821: SMTP. 1982. Disponível em: https://www.rfc-editor.org/rfc/rfc821
RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A method for obtaining digital signatures. CACM, 1978. Disponível em: https://people.csail.mit.edu/rivest/Rsapaper.pdf
RUMELHART, D.; MCCLELLAND, J. Parallel Distributed Processing. MIT Press, 1986.
SALTZER, J.; SCHROEDER, M. The protection of information in computer systems. 1975. Disponível em: https://web.mit.edu/Saltzer/www/publications/protection/
SPAFFORD, E. The Internet Worm Program: An Analysis. Purdue, 1988.
TANENBAUM, A. Computer Networks. Prentice Hall, 1981.
WINSTON, P. Artificial Intelligence. Addison-Wesley, 1984.
CLARK, D. The design philosophy of the DARPA internet protocols. 1988. Disponível em: https://dl.acm.org/doi/10.1145/52325.52336
DENNING, D. Cryptography and Data Security. Addison-Wesley, 1982.
DENNING, D. An intrusion-detection model. IEEE, 1987.
NEUMANN, P. Computer-Related Risks. 1985.
KAHN, D. The Codebreakers. 1967.
SHANNON, C. Communication theory of secrecy systems. 1949.
MORRIS, R. Worm source analysis, 1988.
GARFINKEL, S.; SPAFFORD, E. Practical Unix Security. 1988.