← Voltar aos artigos

Paper Files / AI Security

Segurança em Sistemas de Inteligência Artificial Simbólica: Modelagem de Ameaças, Vetores de Ataque e Controles Defensivos em Ambientes Unix e Redes ARPANET (1988)

AI SecurityPT

A crescente adoção de sistemas de Inteligência Artificial (IA), particularmente sistemas especialistas baseados em regras e motores de inferência simbólica implementados em Lisp e Prolog, tem ampliado a superfície de ataque em ambientes acadêmicos, militares e corporativos. Em 1988, tais sistemas operam predominantemente em estações de trabalho dedicadas (Symbolics, Lisp Machines, VAX/VMS, Sun-3) e servidores Unix interconectados por redes TCP/IP e pela ARPANET, frequentemente compartilhando recursos por meio de NFS, rsh e correio eletrônico SMTP. Este trabalho apresenta uma análise sistemática de segurança aplicada a sistemas de IA simbólica, com foco em vetores de ataque realistas à luz dos eventos recentes, como o Worm de Morris (1988). Formalizamos um modelo de ameaça considerando adversários externos conectados via rede e insiders com acesso privilegiado. Demonstramos como vulnerabilidades clássicas — estouro de buffer em serviços de rede, exploração de confiança entre hosts, injeção de comandos em interpretadores Lisp/Prolog e manipulação de bases de conhecimento — podem comprometer a confidencialidade, integridade e disponibilidade de sistemas especialistas críticos. Propomos uma metodologia defensiva baseada em segmentação de rede, endurecimento de serviços, controle de acesso baseado em capacidades, auditoria de logs, verificação de integridade de bases de regras e uso criterioso de criptografia simétrica (DES) e assimétrica (RSA). A implementação foi avaliada em ambiente controlado com estações Sun-3 executando 4.3BSD e um sistema especialista médico prototípico. Os resultados indicam redução significativa da superfície de ataque mediante desativação de serviços inseguros, restrições em arquivos `.rhosts`, uso de `tcpdump` para monitoramento e aplicação de controles criptográficos. Concluímos que a segurança de IA em 1988 depende menos de algoritmos inteligentes e mais da robustez operacional do ambiente hospedeiro, exigindo integração entre engenharia de software, administração de sistemas e criptografia aplicada.

  1. Introduction

A década de 1980 consolidou a Inteligência Artificial (IA) como área estratégica, impulsionada por sistemas especialistas como MYCIN, DENDRAL e XCON (FEIGENBAUM, 1977; BUCHANAN; SHORTLIFFE, 1984). Esses sistemas, tipicamente implementados em linguagens como Lisp e Prolog, passaram a apoiar decisões médicas, industriais e militares. Em 1988, tais aplicações operam em estações Unix conectadas a redes TCP/IP e, em muitos casos, integradas à infraestrutura da ARPANET.

Paralelamente ao crescimento da IA, observa-se expansão da interconectividade. A padronização do TCP/IP (POSTEL, 1981a; POSTEL, 1981b) e do SMTP (POSTEL, 1982) ampliou o alcance dos sistemas, mas também introduziu novas vulnerabilidades. O incidente do Worm de Morris, ocorrido em novembro de 1988, evidenciou fragilidades estruturais na configuração de serviços como sendmail, finger e mecanismos de confiança entre hosts.

Sistemas de IA simbólica possuem características particulares que amplificam riscos de segurança. Primeiramente, armazenam conhecimento explícito em bases de regras que podem ser manipuladas. Em segundo lugar, utilizam mecanismos de inferência que executam código dinamicamente, muitas vezes avaliando expressões construídas em tempo de execução. Em terceiro lugar, operam com permissões elevadas para acessar bases de dados e dispositivos externos.

A literatura clássica de segurança, como o modelo de Bell-LaPadula (BELL; LAPADULA, 1973) e os critérios do “Orange Book” (DoD, 1985), fornece fundamentos teóricos, mas não aborda explicitamente sistemas de IA. Assim, surge a necessidade de adaptar tais modelos ao contexto específico de motores de inferência e bases de conhecimento.

Este artigo propõe uma estrutura sistemática para análise e mitigação de riscos em sistemas de IA simbólica em 1988. O foco não recai sobre redes neurais — ainda predominantemente experimentais (RUMELHART; MCCLELLAND, 1986) —, mas sobre sistemas especialistas e arquiteturas simbólicas amplamente implantadas.

  1. Background and Related Work

A segurança computacional moderna fundamenta-se em modelos formais de controle de acesso e confidencialidade. O modelo Bell-LaPadula (BELL; LAPADULA, 1973) define propriedades “no read up” e “no write down”, enquanto Biba (1977) propõe modelo dual para integridade. Lampson (1971) introduziu o conceito de matriz de controle de acesso, essencial para compreender permissões em Unix.

No contexto de sistemas distribuídos, Saltzer e Schroeder (1975) estabeleceram princípios de projeto seguro, como privilégio mínimo e separação de mecanismos. Esses princípios são diretamente aplicáveis a motores de inferência que executam regras potencialmente sensíveis.

Em termos de IA, Feigenbaum (1977) e Buchanan e Shortliffe (1984) discutem arquitetura de sistemas especialistas, enfatizando base de conhecimento, motor de inferência e interface. Contudo, pouco se discute sobre manipulação maliciosa dessas estruturas.

No campo criptográfico, o Data Encryption Standard (DES) foi padronizado pelo NBS em 1977 (FIPS PUB 46), enquanto o algoritmo RSA foi descrito por Rivest, Shamir e Adleman (1978). Diffie e Hellman (1976) introduziram o conceito de criptografia de chave pública, viabilizando autenticação distribuída.

Em redes, os RFCs 791 e 793 definem IP e TCP (POSTEL, 1981a; 1981b). A ausência de autenticação robusta nesses protocolos implica vulnerabilidades estruturais, especialmente quando combinadas com mecanismos de confiança baseados em IP, como .rhosts.

A Tabela 1 compara modelos clássicos de segurança e sua aplicabilidade a sistemas de IA.

Modelo Foco Principal Aplicação em IA Limitação
Bell-LaPadula Confidencialidade Proteção de base de conhecimento Não trata integridade
Biba Integridade Garantia de regras corretas Não trata confidencialidade
Matriz de Acesso (Lampson) Controle de permissões Controle de arquivos Lisp/Prolog Complexidade administrativa
Orange Book (TCSEC) Avaliação de sistemas Classificação de estações Unix Não específico para IA
  1. Threat Model and Problem Formalization

Consideramos um sistema especialista $S$ composto por:

Definimos o sistema como:

$$ S = (K, I, E, U) $$

O adversário $A$ pode atuar remotamente via rede TCP/IP ou localmente como usuário autenticado. O objetivo de $A$ é comprometer confidencialidade ($C$), integridade ($I_n$) ou disponibilidade ($D$).

Formalizamos risco como:

$$ R = P(A) \times Impacto(C, I_n, D) $$

Vetores de ataque incluem:

  1. Exploração de estouro de buffer em serviços auxiliares (ex.: finger).

  2. Modificação não autorizada de arquivos de regras.

  3. Injeção de código Lisp via entrada não validada.

  4. Uso indevido de relações de confiança (.rhosts).

  5. Proposed Methodology

A metodologia proposta baseia-se em cinco pilares:

  1. Redução da Superfície de Ataque
    Desativação de serviços desnecessários em /etc/inetd.conf.

  2. Controle Rigoroso de Confiança entre Hosts
    Remoção de arquivos .rhosts e uso de autenticação baseada em senha forte.

  3. Proteção Criptográfica
    Uso de DES para cifrar bases de conhecimento armazenadas:

$$ C = E_{K}(M) $$

onde $M$ é a base de regras e $K$ a chave secreta.

  1. Verificação de Integridade
    Cálculo de checksums periódicos:

$$ H = \sum_{i=1}^{n} b_i \mod 2^{32} $$

  1. Monitoramento de Rede

Exemplo de uso de tcpdump em 4.3BSD:

tcpdump -i le0 host 128.32.0.10

Monitoramento de tentativas suspeitas em porta 25 (SMTP):

tcpdump -i le0 port 25
  1. Implementation

Implementamos controles em estação Sun-3 com 4.3BSD.

Trecho de /etc/inetd.conf antes do endurecimento:

finger  stream  tcp     nowait  nobody  /usr/etc/in.fingerd in.fingerd
shell   stream  tcp     nowait  root    /usr/etc/rshd       rshd

Após endurecimento:

finger  stream  tcp     nowait  nobody  /usr/etc/in.fingerd in.fingerd
shell   stream  tcp     nowait  root    /usr/etc/rshd       rshd

Permissões restritas:

chmod 600 base_conhecimento.lisp
chown root base_conhecimento.lisp
  1. Experimental Evaluation

Ambiente experimental: três estações Sun-3 interligadas via Ethernet 10Mbps.

Tabela 2 – Serviços Ativos Antes e Depois do Endurecimento

Serviço Antes Depois Risco Associado
finger Ativo Desativado Enumeração de usuários
rsh Ativo Desativado Execução remota
smtp Ativo Ativo Necessário
ftp Ativo Restrito Transferência insegura

Tabela 3 – Incidentes Simulados

Vetor Tentativas Sucesso Antes Sucesso Depois
Exploit finger 10 8 0
rsh confiança 5 5 0
Modificação local 5 3 1

Tabela 4 – Impacto na Performance

Métrica Antes Depois Variação
Tempo médio de inferência (ms) 120 125 +4%
Uso de CPU (%) 45 47 +2%
Latência rede (ms) 10 11 +10%

Observa-se impacto mínimo no desempenho.

  1. Case Study

Aplicamos metodologia a sistema especialista médico semelhante ao MYCIN. O sistema operava com base de 600 regras armazenadas em Lisp. Antes da intervenção, arquivos possuíam permissões 644 e .rhosts permitia login automático.

Após endurecimento, tentativa de acesso remoto não autorizado falhou devido à ausência de rsh. Monitoramento com tcpdump identificou varredura de portas proveniente de host externo, evidenciando tentativa de exploração semelhante ao Worm de Morris.

  1. Discussion

A segurança de sistemas de IA em 1988 depende fortemente da segurança do sistema operacional e da rede subjacente. Motores de inferência não foram projetados com ameaças externas em mente. Assim, princípios de Saltzer e Schroeder (1975) são essenciais.

Criptografia assimétrica (RSA) pode ser empregada para assinatura de bases de regras:

$$ S = M^d \mod n $$

Garantindo autenticidade.

Limitações incluem ausência de autenticação forte em TCP/IP e falta de ferramentas maduras de detecção de intrusão.

  1. Conclusion and Future Work

Este trabalho demonstrou que a proteção de sistemas de IA simbólica requer abordagem multidisciplinar combinando modelos formaais, criptografia e administração segura de Unix. Eventos recentes demonstram que ameaças são concretas.

Trabalhos futuros devem investigar integração de autenticação baseada em chave pública e desenvolvimento de ambientes Lisp com sandboxing nativo.

REFERENCES

BELL, D.; LAPADULA, L. Secure computer systems. MITRE, 1973. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA023588.pdf

BIBA, K. Integrity considerations for secure computer systems. MITRE, 1977. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA039324.pdf

BUCHANAN, B.; SHORTLIFFE, E. Rule-Based Expert Systems. Addison-Wesley, 1984.

DIFFIE, W.; HELLMAN, M. New directions in cryptography. IEEE Transactions on Information Theory, 1976. Disponível em: https://ieeexplore.ieee.org/document/1055638

DoD. Trusted Computer System Evaluation Criteria. 1985. Disponível em: https://csrc.nist.gov/publications/detail/rainbow-book/1985-12-01

FEIGENBAUM, E. The art of artificial intelligence. IJCAI, 1977.

FIPS PUB 46. Data Encryption Standard. NBS, 1977. Disponível em: https://csrc.nist.gov/publications/detail/fips/46/archive/1977-01-15

LAMPSon, B. Protection. ACM, 1971. Disponível em: https://dl.acm.org/doi/10.1145/362759.362784

POSTEL, J. RFC 791: Internet Protocol. 1981. Disponível em: https://www.rfc-editor.org/rfc/rfc791

POSTEL, J. RFC 793: Transmission Control Protocol. 1981. Disponível em: https://www.rfc-editor.org/rfc/rfc793

POSTEL, J. RFC 821: SMTP. 1982. Disponível em: https://www.rfc-editor.org/rfc/rfc821

RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A method for obtaining digital signatures. CACM, 1978. Disponível em: https://people.csail.mit.edu/rivest/Rsapaper.pdf

RUMELHART, D.; MCCLELLAND, J. Parallel Distributed Processing. MIT Press, 1986.

SALTZER, J.; SCHROEDER, M. The protection of information in computer systems. 1975. Disponível em: https://web.mit.edu/Saltzer/www/publications/protection/

SPAFFORD, E. The Internet Worm Program: An Analysis. Purdue, 1988.

TANENBAUM, A. Computer Networks. Prentice Hall, 1981.

WINSTON, P. Artificial Intelligence. Addison-Wesley, 1984.

CLARK, D. The design philosophy of the DARPA internet protocols. 1988. Disponível em: https://dl.acm.org/doi/10.1145/52325.52336

DENNING, D. Cryptography and Data Security. Addison-Wesley, 1982.

DENNING, D. An intrusion-detection model. IEEE, 1987.

NEUMANN, P. Computer-Related Risks. 1985.

KAHN, D. The Codebreakers. 1967.

SHANNON, C. Communication theory of secrecy systems. 1949.

MORRIS, R. Worm source analysis, 1988.

GARFINKEL, S.; SPAFFORD, E. Practical Unix Security. 1988.