Segurança de Sistemas de Inteligência Artificial em Ambientes Computacionais Distribuídos: Modelagem de Ameaças, Controle de Integridade e Detecção de Anomalias (1988)

1. Introduction

A década de 1980 testemunhou a consolidação da Inteligência Artificial como disciplina aplicada, particularmente por meio de sistemas especialistas implementados em linguagens como Lisp, Prolog e C. Projetos como MYCIN e XCON demonstraram que a codificação explícita de conhecimento especializado poderia produzir sistemas de apoio à decisão com desempenho comparável ao de especialistas humanos (FEIGENBAUM, 1977). Paralelamente, o ressurgimento das redes neurais artificiais, impulsionado pelo algoritmo de retropropagação (RUMELHART; HINTON; WILLIAMS, 1986), trouxe novos paradigmas conexionistas para classificação e reconhecimento de padrões.

Todavia, a incorporação desses sistemas em ambientes críticos — defesa, energia, finanças e saúde — expôs vulnerabilidades até então pouco discutidas. Diferentemente de aplicações convencionais de processamento de dados, sistemas de IA dependem de bases de conhecimento, conjuntos de treinamento e mecanismos de inferência que podem ser manipulados de forma sutil, alterando decisões sem necessariamente comprometer o sistema operacional subjacente.

A literatura clássica de segurança da informação concentra-se em controle de acesso (SALTZER; SCHROEDER, 1975), modelos de confidencialidade multinível (BELL; LAPADULA, 1973) e integridade (BIBA, 1977). Entretanto, a integridade semântica de regras heurísticas e pesos sinápticos não é adequadamente tratada por esses modelos. Um atacante com acesso legítimo pode modificar regras críticas sem violar explicitamente políticas de confidencialidade.

Além disso, o modelo de detecção de intrusão baseado em perfis estatísticos proposto por Anderson (1980) e formalizado por Denning (1987) oferece arcabouço promissor para monitorar comportamento anômalo de sistemas inteligentes, tanto em termos de uso computacional quanto de saídas decisórias.

Este trabalho propõe uma abordagem integrada para segurança de sistemas de IA em 1988, combinando: (i) modelagem formal de ameaças específicas; (ii) mecanismos criptográficos para proteção de bases de conhecimento; (iii) detecção estatística de alterações comportamentais; e (iv) procedimentos operacionais de controle de configuração.

2. Background and Related Work

Os fundamentos de segurança computacional foram estabelecidos em ambientes de tempo compartilhado na década de 1970. O modelo Bell-LaPadula define propriedades formais de confidencialidade baseadas na política “no read up, no write down” (BELL; LAPADULA, 1973). Já o modelo Biba introduz o conceito de integridade com regras inversas (“no read down, no write up”) (BIBA, 1977).

Saltzer e Schroeder (1975) estabeleceram princípios de projeto seguro, como privilégio mínimo e separação de privilégios. Esses princípios são diretamente aplicáveis a sistemas especialistas, nos quais o mecanismo de inferência deve operar com permissões restritas em relação à base de regras.

No campo de detecção de intrusão, Anderson (1980) propôs monitoramento contínuo de eventos de segurança, e Denning (1987) formalizou um modelo matemático baseado em perfis estatísticos. Seja $X_t$ uma variável aleatória representando o número de acessos a uma base de conhecimento no tempo $t$. Um desvio significativo pode ser modelado como:

$$ Z = \frac{X_t - \mu}{\sigma} $$

onde $\mu$ é a média histórica e $\sigma$ o desvio padrão. Valores $|Z| > k$ indicam anomalia.

Na área de IA, sistemas especialistas como MYCIN utilizam regras do tipo:

IF condição1 AND condição2 THEN hipótese (certeza = 0.8)

A manipulação de fatores de certeza pode alterar drasticamente conclusões diagnósticas. Redes neurais de Hopfield (1982) e modelos multicamadas treinados por retropropagação (1986) introduzem parâmetros numéricos (pesos $w_{ij}$) cuja integridade é crítica.

A Tabela 1 compara propriedades de segurança entre sistemas convencionais e sistemas de IA.

Propriedade	Sistemas Convencionais	Sistemas Especialistas	Redes Neurais
Integridade estrutural	Arquivos binários	Base de regras simbólicas	Matriz de pesos
Superfície de ataque	Executáveis	Regras e fatos	Dados de treinamento
Verificação formal	Checksums	Auditoria semântica	Verificação estatística
Impacto de alteração sutil	Moderado	Elevado	Elevado

Observa-se que alterações pequenas podem gerar impacto decisório significativo.

3. Threat Model and Problem Formalization

Consideremos um sistema especialista $S = (K, I, U)$, onde $K$ é a base de conhecimento, $I$ o mecanismo de inferência e $U$ o conjunto de usuários autorizados. Definimos:

• $K = {r_1, r_2, …, r_n}$, conjunto de regras.
• $F_t$, conjunto de fatos em tempo $t$.
• $D_t = I(K, F_t)$, decisão produzida.

Um atacante interno $A$ pode modificar $K$ para $K’$, tal que:

$$ \exists F_t : I(K, F_t) \neq I(K’, F_t) $$

sem alterar controles de acesso formais.

Para redes neurais, seja a função de saída:

$$ y = f\left(\sum_{i=1}^{n} w_i x_i\right) $$

A integridade requer que $w_i = w_i^{orig}$. Uma modificação $\Delta w_i$ pequena pode causar erro sistemático.

A Tabela 2 sumariza vetores de ataque.

Vetor	Descrição	Impacto
Inserção de regra maliciosa	Regra com alta prioridade	Decisões enviesadas
Alteração de fator de certeza	Ajuste de pesos heurísticos	Diagnóstico incorreto
Envenenamento de treinamento	Dados manipulados	Generalização incorreta
Supressão de logs	Ocultação de atividade	Persistência do atacante

4. Proposed Methodology

A metodologia proposta integra quatro camadas:

1. Controle criptográfico de integridade
   Cada base de conhecimento $K$ é protegida por função hash e cifrada com DES (FIPS PUB 46, 1977). Um resumo $H(K)$ é armazenado em mídia somente leitura.

2. Controle de acesso multinível
   Aplicação de Bell-LaPadula para confidencialidade e Biba para integridade da base de regras.

3. Auditoria estatística
   Aplicação do modelo de Denning para monitorar:

   • Número de modificações em $K$
   • Frequência de regras disparadas
   • Distribuição de decisões

4. Validação semântica cruzada
   Conjunto independente de casos teste $T$ tal que: $$ \forall t \in T, ; I(K, t) = D_{esperado} $$

Exemplo de verificação de integridade (UNIX BSD)

Geração de checksum da base de conhecimento
sum base_regras.lisp > base_regras.chk

Verificação periódica via cron
0     sum -c base_regras.chk >> /var/log/ai_audit.log

Exemplo simplificado em C para registro de acessos

include <stdio.h>
include <time.h>

void log_access(char user) {
    FILE f = fopen("/var/log/ai_access.log","a");
    time_t t = time(NULL);
    fprintf(f, "%s %s", user, ctime(&t));
    fclose(f);
}

5. Implementation

A implementação foi realizada em estação VAX 11/780 com UNIX BSD 4.3. O sistema especialista foi desenvolvido em Common Lisp, com base de regras armazenada em arquivo separado.

A verificação criptográfica utilizou biblioteca DES conforme especificação FIPS 46. O processo operacional inclui:

1. Inicialização segura em modo monousuário.
2. Verificação de checksums.
3. Carregamento do mecanismo de inferência.
4. Ativação de monitoramento estatístico.

A Tabela 3 apresenta overhead computacional medido.

Mecanismo	Overhead CPU (%)	Overhead I/O (%)
Checksum horário	2.1	1.3
Auditoria contínua	3.5	2.8
Validação semântica diária	5.7	4.2

O impacto total manteve-se abaixo de 12% da capacidade do sistema.

6. Experimental Evaluation

Foram conduzidos experimentos com 500 casos clínicos simulados. Inserimos três tipos de manipulação:

1. Alteração de fator de certeza.
2. Inserção de regra conflitante.
3. Modificação de pesos em rede neural de 20 neurônios.

A detecção estatística utilizou limiar $k=3$ no escore $Z$.

Resultados:

Ataque	Taxa de Detecção (%)	Falsos Positivos (%)
Fator de certeza	92	4
Regra maliciosa	96	3
Peso neural	88	6

A análise demonstrou que alterações estruturais são mais facilmente detectáveis do que variações graduais em pesos.

7. Case Study

Aplicamos a metodologia a um sistema especialista de apoio diagnóstico hospitalar. Durante teste controlado, introduziu-se regra:

IF febre AND tosse THEN diagnostico = alergia (certeza 0.9)

A regra conflitava com padrão infeccioso comum. A validação semântica identificou discrepância em 14 de 20 casos teste. O monitor estatístico registrou aumento abrupto na frequência de diagnóstico de alergia ($Z=4.2$).

O incidente demonstrou que manipulações aparentemente plausíveis podem ter impacto clínico severo.

8. Discussion

A segurança de IA exige ampliação dos modelos clássicos. Bell-LaPadula e Biba são necessários, porém insuficientes para capturar integridade semântica. A detecção estatística complementa controle estrutural, mas depende de perfis estáveis.

Sistemas conexionistas apresentam desafio adicional: pequenas alterações numéricas são difíceis de rastrear por inspeção humana. Métodos estatísticos e redundância de modelos são estratégias promissoras.

Limitações incluem dependência de casos teste representativos e custo operacional adicional.

9. Conclusion and Future Work

Demonstramos que sistemas de IA, já amplamente empregados em 1988, requerem abordagem específica de segurança. Propusemos modelo formal, mecanismos criptográficos, auditoria estatística e validação semântica. Resultados experimentais indicam viabilidade prática.

Trabalhos futuros incluem formalização matemática de integridade semântica e investigação de técnicas automáticas de verificação de coerência lógica em grandes bases de conhecimento.

12. References

ANDERSON, J. P. Computer Security Threat Monitoring and Surveillance. 1980. Disponível em: https://csrc.nist.gov/publications/detail/other/1980/01/01/computer-security-threat-monitoring-and-surveillance/final.

BELL, D.; LAPADULA, L. Secure Computer Systems. MITRE, 1973. Disponível em: https://csrc.nist.gov/publications/detail/conference-paper/1973/secure-computer-systems.

BIBA, K. Integrity Considerations for Secure Computer Systems. 1977. Disponível em: https://apps.dtic.mil/sti/citations/ADA039324.

DENNING, D. An Intrusion-Detection Model. IEEE TSE, 1987. Disponível em: https://ieeexplore.ieee.org/document/1702202.

FEIGENBAUM, E. The Art of Artificial Intelligence. IJCAI, 1977. Disponível em: https://www.aaai.org/Papers/IJCAI/1977/IJCAI77-001.pdf.

FIPS PUB 46. Data Encryption Standard. NBS, 1977. Disponível em: https://csrc.nist.gov/publications/detail/fips/46/final.

HOPFIELD, J. Neural Networks and Physical Systems. PNAS, 1982. Disponível em: https://www.pnas.org/doi/10.1073/pnas.79.8.2554.

HOLLAND, J. Adaptation in Natural and Artificial Systems. 1975.

KNUTH, D. The Art of Computer Programming. 1968.

LAMPSON, B. Protection. 1971.

MCCARTHY, J. Programs with Common Sense. 1959.

MINSKY, M. Computation: Finite and Infinite Machines. 1967.

NEUMANN, P. Computer-Related Risks. 1987.

RUMELHART, D.; HINTON, G.; WILLIAMS, R. Learning Representations by Back-Propagating Errors. Nature, 1986.

SALTZER, J.; SCHROEDER, M. The Protection of Information in Computer Systems. 1975.

SHANNON, C. Communication Theory of Secrecy Systems. 1949.

DIFFIE, W.; HELLMAN, M. New Directions in Cryptography. 1976.

RIVEST, R.; SHAMIR, A.; ADLEMAN, L. A Method for Obtaining Digital Signatures. 1978.

DENNING, D. Cryptography and Data Security. 1982.

GRAHAM, R. UNIX Security. 1985.

MORRIS, R.; THOMPSON, K. Password Security. 1979.

WARE, W. Security Controls for Computer Systems. 1970.

DOYLE, J. A Truth Maintenance System. 1979.

SHORTLIFFE, E. Computer-Based Medical Consultations: MYCIN. 1976.

NILSSON, N. Principles of Artificial Intelligence. 1980.