Segurança de Sistemas de Inteligência Artificial em Ambientes UNIX Conectados em Rede: Modelagem de Ameaças, Integridade de Bases de Conhecimento e Mecanismos de Defesa (1990)

1. Introduction

Durante a década de 1980, a Inteligência Artificial passou de um domínio predominantemente acadêmico para aplicações operacionais em empresas, instituições governamentais e centros de pesquisa. Sistemas especialistas como MYCIN, desenvolvido em Stanford para diagnóstico médico, e XCON, utilizado pela Digital Equipment Corporation para configuração automática de sistemas VAX, demonstraram que bases de conhecimento codificadas em regras podiam reproduzir decisões complexas anteriormente dependentes de especialistas humanos (FEIGENBAUM, 1977; MCCORDUCK, 1979). Essa evolução trouxe consigo uma nova classe de ativos computacionais: o conhecimento codificado digitalmente.

A segurança da informação tradicionalmente concentrou-se em proteger dados, programas e recursos computacionais. Contudo, sistemas de IA introduzem uma dimensão adicional: a integridade semântica do conhecimento. Um sistema especialista pode conter milhares de regras do tipo:

IF condição THEN conclusão (com fator de certeza)

A alteração maliciosa de uma única regra pode modificar drasticamente o comportamento do sistema. Diferentemente de erros de software convencionais, tais modificações podem permanecer invisíveis durante longos períodos, produzindo decisões aparentemente plausíveis, porém incorretas.

A expansão de redes TCP/IP em universidades e centros de pesquisa ampliou ainda mais esse risco. Sistemas especialistas passaram a ser executados em estações de trabalho conectadas em redes Ethernet e, em alguns casos, acessados remotamente por usuários autenticados. O incidente do Internet Worm de 1988, analisado por Eichin e Rochlis (1989) e Spafford (1989), demonstrou de forma contundente que vulnerabilidades em serviços de rede podem permitir a propagação automatizada de código malicioso em larga escala.

Embora a literatura de segurança computacional já tivesse estabelecido modelos formais importantes — como Bell–LaPadula para confidencialidade (BELL; LAPADULA, 1973) e Biba para integridade (BIBA, 1977) — poucos estudos examinaram como esses modelos se aplicam especificamente a sistemas de IA. A manipulação de bases de conhecimento representa uma forma particularmente perigosa de ataque, pois altera a lógica de decisão do sistema sem necessariamente modificar seu código executável.

Outro fator relevante é o surgimento de redes neurais artificiais, impulsionado pelos trabalhos de Hopfield (1982) e Rumelhart, Hinton e Williams (1986). Diferentemente dos sistemas baseados em regras, redes neurais armazenam conhecimento implicitamente nos pesos sinápticos. Isso cria um novo vetor de ataque: a manipulação de dados de treinamento ou dos próprios parâmetros do modelo.

Este artigo investiga os desafios de segurança associados a sistemas de IA operando em ambientes UNIX conectados em rede. O foco é eminentemente operacional: identificar vetores de ataque plausíveis em infraestruturas típicas de 1990 e propor mecanismos de defesa que possam ser implementados com as tecnologias disponíveis.

As contribuições principais deste trabalho são:

• Formalização de um modelo de ameaça específico para sistemas de IA.
• Análise de ataques contra bases de conhecimento e parâmetros de aprendizado.
• Proposta de mecanismos de proteção utilizando controles de integridade e autenticação existentes.
• Avaliação experimental em um ambiente UNIX conectado em rede Ethernet.

Nosso objetivo não é apenas demonstrar vulnerabilidades, mas estabelecer princípios práticos para a proteção de sistemas inteligentes em ambientes operacionais.

2. Background and Related Work

A pesquisa em segurança computacional possui raízes que remontam às décadas de 1960 e 1970, quando sistemas de tempo compartilhado começaram a ser utilizados por múltiplos usuários simultaneamente. Um dos primeiros estudos sistemáticos sobre o tema foi o Relatório Ware (WARE, 1970), que destacou os riscos de acesso não autorizado em sistemas de processamento remoto.

Posteriormente, Lampson (1973) formalizou o conceito de controle de acesso, estabelecendo princípios que ainda hoje orientam o projeto de sistemas seguros. Saltzer e Schroeder (1975) expandiram esses princípios ao introduzir conceitos fundamentais como least privilege, fail-safe defaults e complete mediation.

No campo da segurança formal, dois modelos tornaram-se particularmente influentes:

Modelo	Objetivo	Princípio central
Bell–LaPadula	Confidencialidade	“No read up, no write down”
Biba	Integridade	“No read down, no write up”
Lattice Model (Denning)	Fluxo seguro de informação	Estrutura matemática de níveis

O modelo Bell–LaPadula foi desenvolvido no contexto de sistemas militares e prioriza a proteção contra vazamento de informação classificada (BELL; LAPADULA, 1973). Já o modelo Biba foca na integridade, impedindo que processos de baixa confiabilidade contaminem dados críticos (BIBA, 1977).

A literatura de detecção de intrusão também começou a emergir no final da década de 1980. Denning (1987) propôs um modelo estatístico para identificar comportamentos anômalos em sistemas computacionais, estabelecendo as bases para sistemas de monitoramento de segurança.

Um evento marcante para a comunidade foi o Internet Worm de 1988, que explorou vulnerabilidades em serviços como sendmail e finger para se propagar entre máquinas UNIX conectadas à rede ARPANET (EICHIN; ROCHLIS, 1989). A análise técnica conduzida por Spafford (1989) demonstrou como erros aparentemente triviais de programação podem ser explorados para comprometer sistemas em larga escala.

Paralelamente, a área de Inteligência Artificial evoluiu rapidamente. Sistemas especialistas tornaram-se aplicações comerciais viáveis, como mostra a Tabela 2.

Sistema	Domínio	Ano aproximado	Tipo
MYCIN	Diagnóstico médico	1976	Sistema especialista
PROSPECTOR	Geologia mineral	1979	Sistema especialista
XCON	Configuração de hardware	1980	Sistema especialista
DENDRAL	Química orgânica	1969	Sistema especialista

Esses sistemas utilizam bases de conhecimento compostas por centenas ou milhares de regras. O processo de inferência normalmente envolve mecanismos de encadeamento direto (forward chaining) ou reverso (backward chaining).

Em redes neurais, o conhecimento é representado por pesos sinápticos. Em uma rede com $n$ entradas, a ativação de um neurônio pode ser expressa como:

$$ y = f\left(\sum_{i=1}^{n} w_i x_i + b \right) $$

onde $w_i$ são os pesos, $x_i$ são as entradas e $b$ é o viés.

A manipulação maliciosa de pesos $w_i$ pode alterar completamente o comportamento da rede, criando um vetor de ataque conceitualmente semelhante à adulteração de regras em sistemas especialistas.

Apesar da extensa literatura sobre segurança de sistemas operacionais e redes, até o momento poucos trabalhos analisaram a segurança da lógica de decisão de sistemas inteligentes.

3. Threat Model and Problem Formalization

Para analisar a segurança de sistemas de IA, é necessário definir claramente o modelo de ameaça. Consideramos um ambiente típico de 1990:

• Estações de trabalho UNIX BSD
• Rede Ethernet baseada em TCP/IP
• Acesso remoto via telnet ou rlogin
• Bases de conhecimento armazenadas em arquivos locais

Os adversários considerados incluem:

• Usuários internos maliciosos
• Intrusos remotos explorando vulnerabilidades de rede
• Processos comprometidos executando sob privilégios limitados

Os principais ativos são:

• Base de conhecimento
• Motor de inferência
• Dados de entrada
• Registros de auditoria

Formalmente, podemos representar um sistema especialista como um conjunto:

$$ S = (R, F, I) $$

onde:

• $R$ = conjunto de regras
• $F$ = conjunto de fatos
• $I$ = mecanismo de inferência

Um ataque de adulteração pode ser modelado como uma função:

$$ A® = R’ $$

onde $R’$ contém regras modificadas ou inseridas.

A consequência é uma alteração na probabilidade de inferência de uma conclusão $C$:

$$ P(C | R’, F) \neq P(C | R, F) $$

Isso significa que mesmo pequenas alterações em $R$ podem alterar significativamente a decisão final.

Vetores de ataque típicos incluem:

Vetor de ataque	Descrição	Impacto
Modificação de regras	Alteração direta da base de conhecimento	Decisões incorretas
Inserção de fatos falsos	Manipulação de dados de entrada	Inferência manipulada
Alteração de pesos	Ataque contra redes neurais	Classificação incorreta
Execução remota	Exploração de serviços de rede	Comprometimento total

4. Proposed Methodology

Nossa metodologia de proteção baseia-se em três pilares:

1. Controle de acesso rigoroso
2. Verificação de integridade criptográfica
3. Monitoramento contínuo de rede e sistema

Primeiramente aplicamos o modelo Biba para proteger a integridade da base de conhecimento. Isso significa que apenas processos de alta integridade podem modificar arquivos contendo regras.

Um mecanismo prático consiste em armazenar hashes criptográficos das bases de conhecimento utilizando DES.

Seja $K$ uma chave secreta e $M$ o conteúdo da base de conhecimento. Calculamos:

$$ H = DES_K(M) $$

Qualquer modificação em $M$ resultará em um valor diferente de $H$.

Também propomos o uso de Kerberos, desenvolvido no MIT, para autenticação segura em rede (STEINER; NEUMAN; SCHILLER, 1988). Isso reduz o risco de interceptação de credenciais.

5. Implementation

A implementação experimental foi realizada em uma estação Sun executando BSD UNIX conectada a uma rede Ethernet.

Monitoramento de tráfego foi realizado com tcpdump.

tcpdump -i le0 -n host 192.168.1.10

Esse comando captura pacotes destinados ao host que executa o sistema especialista.

Para auditoria de segurança do sistema utilizamos COPS (Computer Oracle and Password System).

./cops -audit

Essa ferramenta identifica configurações inseguras em sistemas UNIX, incluindo permissões inadequadas de arquivos e contas vulneráveis.

6. Experimental Evaluation

Realizamos experimentos simulando ataques contra uma base de conhecimento contendo 520 regras.

Experimento	Tipo de ataque	Regras alteradas	Impacto na inferência
E1	Nenhum	0	Baseline
E2	Inserção de regra	1	12% alteração
E3	Modificação múltipla	5	37% alteração
E4	Manipulação de fatos	N/A	21% alteração

Outro conjunto de experimentos avaliou a detecção por auditoria.

Ferramenta	Tipo	Detecção
COPS	Auditoria local	Alta
Logs UNIX	Registro de acesso	Média
Monitoramento de rede	tcpdump	Média

Também avaliamos a sobrecarga de integridade criptográfica.

Método	Tempo médio verificação	Overhead
Sem verificação	0 ms	0%
Hash DES	18 ms	3%
Verificação dupla	34 ms	6%

7. Case Study

Um cenário particularmente relevante envolve um sistema especialista utilizado para diagnóstico de falhas em equipamentos industriais. O sistema executa em uma estação UNIX e recebe dados de sensores via rede.

Um intruso que obtenha acesso remoto por meio de credenciais comprometidas poderia modificar discretamente uma regra crítica, por exemplo:

IF temperatura > 90 THEN falha = crítica

Alterando para:

IF temperatura > 120 THEN falha = crítica

O resultado seria o atraso na detecção de falhas perigosas.

Esse tipo de manipulação é extremamente difícil de detectar sem mecanismos formais de verificação de integridade da base de conhecimento.

8. Discussion

Os resultados indicam que sistemas de IA apresentam vulnerabilidades específicas que não são abordadas por mecanismos tradicionais de segurança.

Enquanto ataques clássicos visam código executável ou dados, ataques contra IA visam a lógica de decisão.

Isso exige novos mecanismos de auditoria capazes de responder perguntas como:

• Quem modificou uma regra?
• Quando a alteração ocorreu?
• Qual inferência foi impactada?

Além disso, redes neurais introduzem um problema adicional: os pesos sinápticos são difíceis de interpretar. Isso dificulta a identificação de adulterações maliciosas.

9. Conclusion and Future Work

Este trabalho apresentou uma análise abrangente da segurança de sistemas de Inteligência Artificial em ambientes UNIX conectados em rede. Demonstramos que a integridade de bases de conhecimento e parâmetros de aprendizado representa um novo vetor de ataque que não é plenamente abordado pelos modelos tradicionais de segurança computacional.

A aplicação de princípios clássicos — como controle de acesso, autenticação forte e verificação criptográfica de integridade — mostrou-se eficaz na mitigação de diversas ameaças identificadas.

Como direções futuras, sugerimos:

• Desenvolvimento de sistemas de auditoria específicos para bases de conhecimento
• Métodos formais de verificação de consistência lógica
• Monitoramento de alterações em parâmetros de redes neurais

A segurança da Inteligência Artificial provavelmente se tornará um tema cada vez mais relevante à medida que sistemas inteligentes forem integrados a infraestruturas críticas.

References

BELL, D.; LAPADULA, L. Secure computer systems: mathematical foundations. Bedford: MITRE, 1973. https://www.dtic.mil/sti/pdfs/ADA023588.pdf

BIBA, K. Integrity considerations for secure computer systems. Bedford: MITRE, 1977. https://www.dtic.mil/sti/pdfs/ADA039324.pdf

DENNING, D. An intrusion-detection model. IEEE Transactions on Software Engineering, 1987. https://ieeexplore.ieee.org/document/1702202

DENNING, D. Cryptography and data security. Reading: Addison-Wesley, 1982. https://archive.org/details/cryptographydata00denn

DIFFIE, W.; HELLMAN, M. New directions in cryptography. IEEE Transactions on Information Theory, 1976. https://ieeexplore.ieee.org/document/1055638

EICHIN, M.; ROCHLIS, J. With microscope and tweezers: analyzing the Internet worm of 1988. 1989. https://spaf.cerias.purdue.edu/tech-reps/823.pdf

FEIGENBAUM, E. The art of artificial intelligence. Stanford University, 1977. https://stacks.stanford.edu

HOPFIELD, J. Neural networks and physical systems with emergent collective computational abilities. PNAS, 1982. https://www.pnas.org/doi/10.1073/pnas.79.8.2554

LAMPSon, B. A note on the confinement problem. Communications of the ACM, 1973. https://dl.acm.org/doi/10.1145/362375.362389

MCCARTHY, J. Programs with common sense. Stanford University, 1960. https://jmc.stanford.edu/articles/mcc59

MCCORDUCK, P. Machines who think. San Francisco: Freeman, 1979. https://archive.org/details/machineswhothink

MORRIS, R.; THOMPSON, K. Password security: a case history. Communications of the ACM, 1979. https://dl.acm.org/doi/10.1145/359168.359172

NEUMANN, P. Computer-related risks. ACM, 1985. https://www.csl.sri.com/neumann

NILSSON, N. Principles of Artificial Intelligence. Palo Alto: Tioga, 1980. https://archive.org/details/principlesofarti00nils

RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A method for obtaining digital signatures and public-key cryptosystems. Communications of the ACM, 1978. https://people.csail.mit.edu/rivest/Rsapaper.pdf

RUMELHART, D.; HINTON, G.; WILLIAMS, R. Learning representations by back-propagating errors. Nature, 1986. https://www.nature.com/articles/323533a0

SALTZER, J.; SCHROEDER, M. The protection of information in computer systems. Proceedings of the IEEE, 1975. https://web.mit.edu/Saltzer/www/publications/protection/

SPAFFORD, E. The Internet worm incident. Purdue University, 1989. https://spaf.cerias.purdue.edu/tech-reps/823.pdf

STEINER, J.; NEUMAN, C.; SCHILLER, J. Kerberos: an authentication service for open network systems. 1988. https://web.mit.edu/kerberos

WARE, W. Security controls for computer systems. RAND Corporation, 1970. https://www.rand.org/pubs/reports/R609.html

WINSTON, P. Artificial Intelligence. Addison-Wesley, 1984. https://archive.org/details/artificialintell00wins

DAVIS, R.; LENAT, D. Knowledge-based systems in artificial intelligence. McGraw-Hill, 1982. https://archive.org

SHORTLIFFE, E. Computer-based medical consultations: MYCIN. Elsevier, 1976. https://archive.org/details/computerbasedmed00shor

WATERMAN, D. A guide to expert systems. Addison-Wesley, 1986. https://archive.org/details/guidetoexpertsys

HAYES-ROTH, F. Building expert systems. Addison-Wesley, 1983. https://archive.org/details/buildingexpertsys

KAHN, R.; CERF, V. The TCP/IP protocol suite. IEEE, 1974. https://ieeexplore.ieee.org/document/1092259