Segurança de Sistemas de Inteligência Artificial em Ambientes Computacionais Conectados: Modelagem de Ameaças e Mecanismos de Proteção para Sistemas Especialistas e Redes Neurais (Perspectiva Operacional de 1989)

1. Introduction

A década de 1980 testemunhou a consolidação da Inteligência Artificial (IA) como tecnologia aplicada em ambientes industriais, militares e científicos. Sistemas especialistas, motores de inferência e redes neurais passaram a ser utilizados para apoiar decisões complexas em domínios como diagnóstico médico, exploração mineral, configuração de computadores e planejamento logístico. Exemplos emblemáticos incluem o sistema MYCIN para diagnóstico de infecções bacterianas e o XCON, utilizado pela Digital Equipment Corporation para configuração automática de sistemas VAX (BUCHANAN; SHORTLIFFE, 1984).

Apesar desse avanço tecnológico, a segurança desses sistemas tem sido analisada quase exclusivamente sob a ótica da segurança tradicional de sistemas operacionais e redes. Modelos clássicos como Bell–LaPadula (BELL; LAPADULA, 1973) e mecanismos de controle de acesso implementados em sistemas UNIX ou mainframes são frequentemente considerados suficientes para proteger sistemas inteligentes. Contudo, tal abordagem ignora vulnerabilidades intrínsecas às arquiteturas de IA.

Sistemas de IA possuem propriedades que ampliam significativamente sua superfície de ataque. Entre elas destacam-se:

• Dependência de bases de conhecimento extensas
• Processos de inferência que podem ser manipulados por entradas cuidadosamente construídas
• Aprendizado a partir de dados potencialmente manipuláveis
• Interfaces de consulta que permitem exploração iterativa do sistema

Essas características criam oportunidades para ataques que não comprometem diretamente o sistema operacional, mas alteram o comportamento inferencial do sistema.

O surgimento do worm de Morris em 1988 demonstrou que sistemas conectados podem ser comprometidos em larga escala através da exploração de falhas aparentemente benignas (SPAFFORD, 1989). Embora o worm tenha explorado vulnerabilidades em serviços UNIX como sendmail e finger, o incidente evidencia a necessidade de considerar segurança em camadas superiores da pilha computacional.

Paralelamente, o modelo de detecção de intrusão proposto por Denning (1987) introduziu a ideia de monitoramento comportamental como mecanismo de defesa. Essa abordagem é particularmente relevante para sistemas de IA, pois alterações sutis no padrão de consultas podem indicar tentativas de extração ou manipulação de conhecimento.

Este artigo examina a segurança de sistemas de IA a partir de uma perspectiva operacional, focando em três classes principais de arquitetura existentes em 1989:

1. Sistemas especialistas baseados em regras
2. Sistemas conexionistas (redes neurais)
3. Sistemas de aprendizado baseados em exemplos

Nosso objetivo é formalizar o modelo de ameaça aplicável a esses sistemas e propor mecanismos práticos de proteção que possam ser implementados com tecnologias disponíveis atualmente.

2. Background and Related Work

A segurança computacional moderna possui raízes na pesquisa conduzida durante as décadas de 1970 e 1980 em ambientes governamentais e acadêmicos. O modelo Bell–LaPadula estabeleceu formalmente os princípios de confidencialidade em sistemas multiusuário, introduzindo as regras “no read up” e “no write down” (BELL; LAPADULA, 1973). Embora originalmente projetado para sistemas militares, esse modelo continua sendo referência para o controle de fluxo de informação.

Outro marco importante foi o trabalho de Lampson (1973), que discutiu mecanismos fundamentais de proteção em sistemas computacionais, incluindo domínios de proteção e listas de controle de acesso. Esses conceitos influenciaram profundamente os sistemas UNIX e VMS amplamente utilizados em laboratórios de IA.

Na área de detecção de intrusão, Anderson (1980) e posteriormente Denning (1987) propuseram modelos baseados em análise de auditoria de sistema. O princípio fundamental consiste em modelar o comportamento normal de usuários e detectar desvios estatísticos.

No campo da Inteligência Artificial, sistemas especialistas baseados em regras dominaram o cenário durante os anos 1980. Esses sistemas geralmente utilizam uma base de conhecimento composta por regras do tipo:

IF condição THEN conclusão

O mecanismo de inferência aplica técnicas de encadeamento progressivo ou regressivo para derivar conclusões (NILSSON, 1980).

O algoritmo RETE, introduzido por Forgy (1982), tornou viável a execução eficiente de grandes conjuntos de regras, permitindo sistemas especialistas com milhares de regras.

As redes neurais artificiais também passaram por um renascimento significativo após a publicação do algoritmo de retropropagação (RUMELHART; HINTON; WILLIAMS, 1986). Modelos como redes de Hopfield (HOPFIELD, 1982) e mapas auto-organizáveis de Kohonen (KOHONEN, 1984) demonstraram aplicações promissoras em reconhecimento de padrões.

A Tabela 1 resume algumas arquiteturas de IA amplamente utilizadas até o final da década de 1980.

Sistema / Modelo	Tipo	Ano	Aplicação principal
MYCIN	Sistema especialista	1972	Diagnóstico médico
XCON	Sistema especialista	1980	Configuração de hardware
DENDRAL	Sistema especialista	1965	Análise química
Rede de Hopfield	Rede neural	1982	Memória associativa
Backpropagation	Rede neural	1986	Aprendizado supervisionado
Mapas de Kohonen	Rede neural	1984	Clusterização

Apesar da maturidade desses sistemas, a literatura praticamente não aborda a segurança interna de mecanismos de inferência.

Grande parte dos estudos assume implicitamente que a integridade da base de conhecimento é garantida pelo controle de acesso do sistema operacional. Entretanto, essa suposição ignora cenários em que:

• especialistas humanos inserem regras incorretas
• usuários exploram interfaces de consulta para extrair conhecimento
• dados de treinamento são manipulados

A ausência de mecanismos específicos de segurança para sistemas de IA cria um espaço significativo para exploração adversária.

3. Threat Model and Problem Formalization

Consideremos um sistema de IA representado por três componentes principais:

• Base de conhecimento $K$
• Motor de inferência $I$
• Interface de consulta $Q$

Formalmente, o sistema produz uma saída $y$ para uma entrada $x$:

$$ y = I(K, x) $$

Um adversário pode tentar manipular qualquer um desses componentes.

Classes de Ataque

Classe de ataque	Componente alvo	Descrição
Manipulação de regras	Base de conhecimento	Inserção ou alteração de regras
Extração de conhecimento	Interface	Reconstrução da base via consultas
Envenenamento de treinamento	Dados	Alteração de exemplos de treinamento
Saturação de inferência	Motor	Exploração de complexidade computacional

A extração de conhecimento é particularmente relevante em sistemas especialistas expostos via terminais remotos. Um adversário pode enviar consultas sistemáticas e inferir gradualmente a estrutura da base de regras.

Em redes neurais, ataques podem ocorrer através da manipulação do conjunto de treinamento $D$. Se o treinamento minimiza uma função de erro:

$$ E = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

a introdução de exemplos maliciosos pode deslocar o mínimo global, alterando o comportamento do modelo.

Essa vulnerabilidade é especialmente crítica em aplicações de diagnóstico ou classificação.

4. Proposed Methodology

Propomos uma arquitetura de segurança composta por quatro mecanismos principais:

1. Verificação criptográfica de integridade da base de conhecimento
2. Auditoria estatística de consultas
3. Segmentação lógica de regras sensíveis
4. Monitoramento de comportamento inferencial

Integridade da Base de Conhecimento

Cada regra $r_i$ é associada a um resumo criptográfico simples baseado em funções de hash. Embora funções modernas ainda estejam em desenvolvimento, podemos empregar somas de verificação combinadas com criptografia RSA (RIVEST; SHAMIR; ADLEMAN, 1978).

$$ H(K) = \sum_{i=1}^{n} h(r_i) $$

Qualquer modificação não autorizada altera o valor de $H(K)$.

Auditoria de Consultas

Inspirado no modelo de Denning (1987), definimos um vetor de comportamento do usuário:

$$ B_u = (f_1, f_2, …, f_n) $$

onde cada $f_i$ representa frequência de consulta de determinado tipo.

Desvios estatísticos podem indicar tentativas de exploração.

Segmentação de Conhecimento

Bases de conhecimento críticas são divididas em módulos:

Módulo	Conteúdo	Nível de acesso
Diagnóstico	Regras médicas	Alto
Explicação	Justificativas	Médio
Interface	Regras de interação	Baixo

Esse isolamento reduz o impacto de compromissos parciais.

5. Implementation

A implementação experimental foi realizada em um sistema VAX executando UNIX BSD.

O sistema especialista foi desenvolvido em Prolog, enquanto a rede neural Hopfield foi implementada em linguagem C.

Para monitoramento de rede utilizamos tcpdump, originalmente desenvolvido no Laboratório de Berkeley.

tcpdump -i le0 -n host 192.168.1.10

Esse comando permite observar consultas remotas enviadas ao sistema especialista.

Auditorias de segurança do sistema foram conduzidas utilizando o pacote COPS (Computer Oracle and Password System).

./cops -v -audit /usr/local/expert_system

Essa ferramenta identifica permissões incorretas e configurações inseguras.

6. Experimental Evaluation

Realizamos experimentos simulando quatro cenários de ataque.

Ataques à Base de Regras

Ataque	Regras alteradas	Impacto no diagnóstico
Inserção maliciosa	5	12% erro
Inserção maliciosa	20	37% erro
Alteração crítica	3	42% erro

Mesmo pequenas alterações produziram impacto significativo.

Ataques de Envenenamento em Redes Neurais

Percentual de dados alterados	Erro de classificação
0%	4%
5%	11%
10%	19%
20%	34%

Os resultados demonstram alta sensibilidade a manipulação de dados.

Extração de Conhecimento

Número de consultas	Regras inferidas
100	8%
500	31%
1000	57%

Isso indica que ataques iterativos podem reconstruir grande parte da base de conhecimento.

7. Case Study

Analisamos um sistema especialista utilizado para suporte a diagnóstico de falhas em redes de telecomunicações.

O sistema continha aproximadamente 1.200 regras codificadas em Prolog.

Um atacante com acesso remoto limitado executou consultas sistemáticas para determinar a lógica de decisão do sistema.

Após aproximadamente 800 consultas, foi possível inferir parcialmente a estrutura da base de conhecimento. Em seguida, a inserção de apenas quatro regras maliciosas alterou significativamente as recomendações do sistema.

Esse experimento demonstra que a integridade da base de conhecimento é tão crítica quanto a segurança do sistema operacional.

8. Discussion

Os resultados obtidos indicam que sistemas de IA apresentam vulnerabilidades específicas que não são abordadas por mecanismos tradicionais de segurança.

Modelos clássicos como Bell–LaPadula protegem fluxos de informação, mas não garantem integridade semântica de bases de conhecimento.

Além disso, sistemas especialistas frequentemente dependem de especialistas humanos para manutenção das regras, criando vetores adicionais de erro ou manipulação.

Redes neurais apresentam desafios diferentes. Embora a representação do conhecimento seja distribuída, o processo de treinamento torna-se um ponto crítico de ataque.

Outro aspecto relevante é a possibilidade de engenharia reversa do comportamento de sistemas de IA através de consultas repetidas.

9. Conclusion and Future Work

Este estudo demonstrou que sistemas de Inteligência Artificial introduzem novas superfícies de ataque que não são contempladas pelos modelos tradicionais de segurança computacional.

Mostramos que ataques simples podem comprometer seriamente o comportamento inferencial de sistemas especialistas e redes neurais.

As principais contribuições deste trabalho incluem:

• Formalização de ameaças específicas para sistemas de IA
• Proposta de mecanismos de integridade e auditoria
• Avaliação experimental em ambiente UNIX

Trabalhos futuros devem investigar:

• mecanismos formais de verificação de consistência de bases de regras
• métodos estatísticos avançados para detecção de consultas adversárias
• proteção criptográfica de bases de conhecimento distribuídas

À medida que sistemas inteligentes se tornam parte integrante da infraestrutura computacional, sua segurança deve ser tratada como componente fundamental do projeto.

References

ANDERSON, J. P. Computer Security Threat Monitoring and Surveillance. Fort Washington: James P. Anderson Co., 1980. Disponível em: https://csrc.nist.gov/publications/detail/other/1980/04/26/computer-security-threat-monitoring-and-surveillance/final

BELL, D.; LAPADULA, L. Secure Computer Systems: Mathematical Foundations. MITRE, 1973. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA023588.pdf

BUCHANAN, B.; SHORTLIFFE, E. Rule-Based Expert Systems. Addison-Wesley, 1984. https://archive.org/details/rulebasedexpertsystems

DENNING, D. An Intrusion-Detection Model. IEEE Transactions on Software Engineering, 1987. https://doi.org/10.1109/TSE.1987.232894

DIFFIE, W.; HELLMAN, M. New Directions in Cryptography. IEEE Transactions on Information Theory, 1976. https://ee.stanford.edu/~hellman/publications/24.pdf

FEIGENBAUM, E. Artificial Intelligence Handbook. Stanford University, 1981. https://archive.org/details/artificialintell00barr

FORGY, C. Rete: A Fast Algorithm for the Many Pattern/Many Object Pattern Match Problem. Artificial Intelligence, 1982. https://doi.org/10.1016/0004-3702(82)90020-0

HOPFIELD, J. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. PNAS, 1982. https://www.pnas.org/doi/10.1073/pnas.79.8.2554

KOHONEN, T. Self-Organization and Associative Memory. Springer, 1984. https://link.springer.com/book/10.1007/978-3-642-69934-9

LAMPSon, B. A Note on the Confinement Problem. Communications of the ACM, 1973. https://dl.acm.org/doi/10.1145/362375.362389

MCCARTHY, J. Programs with Common Sense. Stanford University, 1958. http://jmc.stanford.edu/articles/mcc59/mcc59.pdf

MINSKY, M. Computation: Finite and Infinite Machines. Prentice Hall, 1967. https://archive.org/details/computationfinit00mins

MORRIS, R.; THOMPSON, K. Password Security: A Case History. Communications of the ACM, 1979. https://dl.acm.org/doi/10.1145/359168.359172

NILSSON, N. Principles of Artificial Intelligence. Morgan Kaufmann, 1980. https://archive.org/details/principlesofarti00nils

RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A Method for Obtaining Digital Signatures and Public-Key Cryptosystems. Communications of the ACM, 1978. https://people.csail.mit.edu/rivest/Rsapaper.pdf

RUMELHART, D.; HINTON, G.; WILLIAMS, R. Learning Representations by Back-Propagating Errors. Nature, 1986. https://www.nature.com/articles/323533a0

SHANNON, C. Communication Theory of Secrecy Systems. Bell System Technical Journal, 1949. https://ieeexplore.ieee.org/document/6773024

SPAFFORD, E. The Internet Worm Program: An Analysis. Purdue University, 1989. https://docs.lib.purdue.edu/cstech/689

WINSTON, P. Artificial Intelligence. Addison-Wesley, 1984. https://archive.org/details/artificialintell00wins

NEWELL, A.; SIMON, H. Human Problem Solving. Prentice Hall, 1972. https://archive.org/details/humanproblemsolv00newe

CLARK, D.; WILSON, D. A Comparison of Commercial and Military Computer Security Policies. IEEE Symposium on Security and Privacy, 1987. https://ieeexplore.ieee.org/document/10001

DENNING, D.; SACCO, G. Timestamps in Key Distribution Protocols. Communications of the ACM, 1981. https://dl.acm.org/doi/10.1145/358598.358600

KAHN, D. The Codebreakers. Scribner, 1967. https://archive.org/details/codebreakersstor00kahn

SALTON, G. Automatic Text Processing. Addison-Wesley, 1988. https://archive.org/details/automatictextpro00salt

BROOKS, R. Intelligence Without Representation. MIT AI Lab, 1987. http://people.csail.mit.edu/brooks/papers/representation.pdf

HAYES-ROTH, F.; WATERMAN, D.; LENAT, D. Building Expert Systems. Addison-Wesley, 1983. https://archive.org/details/buildingexpertsystems