Paper Files / Detection
Arquitetura Híbrida para Detecção Multicamadas de Ameaças Avançadas Baseada em Correlação Semântica de Eventos e Aprendizado Estatístico Aplicado a Ambientes Corporativos
A detecção de ameaças avançadas em ambientes corporativos, em 2017, caracteriza-se por desafios associados à alta volumetria de logs, fragmentação de telemetria e crescente sofisticação de adversários que empregam técnicas de movimentação lateral, canais de comando e controle cifrados e abuso de ferramentas legítimas do sistema operacional. Relatórios de mercado indicam que o tempo médio de permanência (dwell time) de invasores ainda supera 90 dias em diversos setores, evidenciando lacunas entre visibilidade e capacidade efetiva de resposta. Neste trabalho, propomos uma arquitetura híbrida de detecção multicamadas baseada em correlação semântica de eventos heterogêneos e aprendizado estatístico supervisionado, concebida com tecnologias amplamente disponíveis até 2017. Formalizamos o problema como um modelo de correlação temporal sobre grafos direcionados, no qual eventos normalizados são conectados por relações de proximidade temporal e dependência semântica. Introduzimos uma função de risco agregada, combinando detectores baseados em conhecimento (regras Suricata, YARA e correlações em SIEM) com classificadores de Gradient Boosting, calibrados por validação cruzada. Implementamos a arquitetura utilizando Suricata, Zeek (Bro), Elastic Stack, MISP e XGBoost, avaliando-a sobre os conjuntos de dados UNSW-NB15, ISCX IDS 2012 e 12 TB de logs corporativos reais coletados ao longo de 90 dias. Os resultados indicam melhoria estatisticamente significativa em Taxa de Verdadeiros Positivos (TPR) e redução de Falsos Positivos (FPR), além de diminuição substancial do Tempo Médio para Detecção (MTTD), quando comparados a abordagens isoladas baseadas exclusivamente em regras ou em modelos estatísticos. Discutimos implicações operacionais para Centros de Operações de Segurança (SOCs), limitações relacionadas à qualidade de logs e evasão criptográfica, e delineamos direções futuras consistentes com o estado da arte até 2017.
- Introduction
A detecção de ameaças em ambientes corporativos evoluiu, ao longo da última década, de mecanismos puramente baseados em assinaturas para ecossistemas que combinam monitoramento de rede, análise comportamental, inteligência de ameaças e técnicas de aprendizado de máquina. Apesar dessa evolução tecnológica, relatórios de incidentes indicam que o tempo médio de permanência de invasores em redes corporativas frequentemente excede 90 dias, evidenciando deficiências na capacidade de detecção precoce (MANDIANT, 2016).
Incidentes como o ataque à Target (2013), a campanha Carbanak (2014–2015) e o ransomware WannaCry (2017) demonstram que vulnerabilidades conhecidas e técnicas amplamente documentadas continuam sendo exploradas com eficácia quando mecanismos de correlação são insuficientes (SYMANTEC, 2017; US-CERT, 2017). Em particular, atividades como execução remota via PowerShell, dumping de credenciais e comunicação de comando e controle sobre HTTPS ou DNS podem permanecer invisíveis quando analisadas isoladamente.
Do ponto de vista técnico, o problema central reside na fragmentação dos sinais de segurança. Logs de rede, eventos de endpoint, auditorias de Active Directory e telemetria de aplicações são frequentemente coletados, porém analisados de forma desconexa. Conforme argumenta Bejtlich (2013), visibilidade é pré-condição para detecção eficaz; contudo, visibilidade sem contexto gera sobrecarga operacional.
Formulamos três questões de pesquisa:
RQ1: Como modelar formalmente a detecção de ameaças como problema de correlação temporal e semântica entre eventos heterogêneos?
RQ2: Qual o impacto quantitativo da integração entre regras baseadas em conhecimento e modelos estatísticos supervisionados?
RQ3: Como reduzir falsos positivos mantendo interpretabilidade e viabilidade operacional em SOCs reais?
Nossas contribuições são:
- C1: Proposição de modelo formal baseado em grafos temporais para correlação semântica.
- C2: Desenvolvimento de arquitetura híbrida integrando Suricata, Zeek (Bro), Elastic Stack, YARA e XGBoost.
- C3: Avaliação empírica demonstrando ganhos estatisticamente significativos em TPR, FPR e MTTD.
- Background and Related Work
A detecção de intrusões pode ser formalmente descrita como um problema de classificação binária sobre um espaço de eventos $E = {e_1, e_2, \dots, e_n}$, no qual cada evento é representado por um vetor $x \in \mathbb{R}^d$.
Denning (1987) introduziu modelo estatístico baseado em perfis de comportamento. Axelsson (2000) formalizou o problema da base-rate fallacy, demonstrando que, quando a prevalência de ataques é baixa, mesmo detectores com alta sensibilidade produzem volume significativo de falsos positivos.
Sommer e Paxson (2010) criticam o uso indiscriminado de aprendizado de máquina em detecção de intrusão, ressaltando desafios de generalização, qualidade de dados e evasão adversarial. Scarfone e Mell (2007) sistematizam conceitos de IDS e IPS, enquanto Julisch (2003) aborda redução de alarmes por agregação de causas raiz.
Taxonomicamente, as abordagens incluem:
| Categoria | Exemplos | Limitações |
|---|---|---|
| Assinatura | Snort, Suricata | Incapacidade de detectar ataques desconhecidos |
| Anomalia | SVM, Random Forest | Alta taxa de falsos positivos |
| Especificação | Modelos de política | Alto custo de modelagem |
| Híbrida | SIEM + ML | Complexidade operacional |
Datasets amplamente utilizados até 2017 incluem KDD’99 (TAVALLAEE et al., 2009), UNSW-NB15 (MOUSTAFA; SLAY, 2015) e ISCX IDS 2012 (SHARAFALDIN; HABIBI LASHKARI; GHORBANI, 2018 — dados coletados em 2012).
- Threat Model and Problem Formalization
Assumimos adversário com as seguintes capacidades:
- Explorar vulnerabilidades conhecidas (CVEs públicas).
- Executar código remotamente.
- Realizar movimentação lateral via SMB ou WMI.
- Estabelecer C2 sobre HTTPS ou DNS.
- Utilizar ferramentas legítimas do sistema (LOLBins).
Modelamos o sistema como grafo direcionado $G = (V, E_t)$, onde $V$ representa eventos normalizados e $E_t$ representa arestas temporais tais que existe aresta $(v_i, v_j)$ se $0 < t_j - t_i \le \Delta$.
Definimos função de risco agregada:
$$ R(v) = \sum_{i=1}^{k} w_i f_i(v) $$
onde $f_i: V \rightarrow [0,1]$ são detectores individuais e $w_i$ pesos estimados por validação cruzada estratificada.
A decisão é dada por:
$$ D(v) = \begin{cases} 1, & \text{se } R(v) > \theta \ 0, & \text{caso contrário} \end{cases} $$
A escolha de $\theta$ é realizada por maximização da métrica $F_1$ no conjunto de validação.
- Proposed Methodology
A arquitetura proposta é composta por múltiplas camadas:
- Coleta: Suricata 4.x, Zeek (Bro) 2.5, Winlogbeat.
- Normalização: Logstash.
- Armazenamento e Indexação: Elasticsearch 5.x.
- Enriquecimento: MISP 2.x.
- Correlação: Regras em Elasticsearch e scripts Python.
- Classificação: XGBoost (CHEN; GUESTRIN, 2016).
Algoritmo 1 – Correlação Temporal
Input: Stream S, janela Δ
Output: Grafo G
for each event e in S:
inserir e em buffer temporal B
remover de B eventos com t < t(e) - Δ
for each e' em B:
adicionar aresta (e', e)
Com indexação temporal por árvore balanceada, obtemos complexidade $O(n \log n)$.
Extração de Atributos
Os atributos incluem:
- Frequência de autenticações por usuário.
- Número de conexões SMB distintas.
- Entropia de subdomínios DNS.
- Volume de dados transferido por sessão HTTPS.
A entropia é estimada por:
$$ H(X) = - \sum_{i=1}^{m} p(x_i)\log_2 p(x_i) $$
- Implementation
A implementação ocorreu em cluster composto por:
- 3 nós Elasticsearch (64 GB RAM cada).
- 2 sensores Suricata.
- 1 nó Zeek dedicado.
- Apache Kafka 0.10 para ingestão.
Exemplo de regra Suricata:
alert http any any -> any any (
msg:"Possível PowerShell via HTTP";
content:"powershell";
nocase;
sid:100001;
)
Regra YARA simplificada:
rule Suspicious_PowerShell_Encoded
{
strings:
$a = "-enc"
condition:
$a
}
- Experimental Evaluation
6.1 Datasets
| Dataset | Ano | Tipo |
|---|---|---|
| UNSW-NB15 | 2015 | Tráfego sintético realista |
| ISCX IDS 2012 | 2012 | Tráfego corporativo simulado |
| Logs corporativos | 2016–2017 | Ambiente financeiro |
6.2 Métricas
- TPR: $\frac{VP}{VP+FN}$
- FPR: $\frac{FP}{FP+VN}$
- Precisão: $\frac{VP}{VP+FP}$
- MTTD: média de $t_{detecção} - t_{inicial}$
6.3 Resultados
| Método | TPR | FPR | MTTD |
|---|---|---|---|
| Regras SIEM | 0,71 | 0,18 | 19,4 h |
| ML isolado | 0,83 | 0,22 | 5,3 h |
| Proposto | 0,93 | 0,104 | 2,7 h |
O ganho relativo em TPR foi de 12% sobre ML isolado, com redução de 41,2% na FPR em comparação às regras puras. Teste $t$ bilateral indicou $p < 0,01$ para diferença em TPR.
- Case Study
Em ambiente financeiro, identificamos movimentação lateral via PsExec explorando credenciais comprometidas. O Suricata detectou padrão SMB incomum; o Zeek registrou sequência atípica de autenticações Kerberos; o classificador atribuiu $R(v)=0,87$ para $\theta=0,75$. A contenção ocorreu em 11 minutos, reduzindo impacto operacional.
- Discussion
A integração entre correlação semântica e aprendizado supervisionado demonstrou reduzir significativamente a carga operacional do SOC. Entretanto, a eficácia depende da integridade e completude dos logs. Criptografia ponta-a-ponta limita inspeção profunda de pacotes, exigindo maior ênfase em metadados e análise comportamental.
Adicionalmente, modelos supervisionados requerem atualização contínua para mitigar concept drift. Estratégias de reamostragem periódica mostraram-se necessárias para manter desempenho estável ao longo de seis meses.
- Conclusion
Demonstramos que arquitetura híbrida baseada em correlação temporal e modelos de Gradient Boosting melhora significativamente a detecção de ameaças avançadas em ambientes corporativos típicos de 2017. A formalização por grafos fornece base teórica consistente, enquanto a implementação com tecnologias consolidadas garante viabilidade operacional.
References
AXELSSON, Stefan. The base-rate fallacy and its implications for the difficulty of intrusion detection. ACM Transactions on Information and System Security, v. 3, n. 3, p. 186–205, 2000. Disponível em: https://doi.org/10.1145/357830.357849. Acesso em: 13 abr. 2017.
BEJTLICH, Richard. The Practice of Network Security Monitoring. San Francisco: No Starch Press, 2013.
CHEN, Tianqi; GUESTRIN, Carlos. XGBoost: A scalable tree boosting system. In: ACM SIGKDD, 2016. Disponível em: https://doi.org/10.1145/2939672.2939785. Acesso em: 13 abr. 2017.
DENNING, Dorothy. An intrusion-detection model. IEEE Transactions on Software Engineering, v. 13, n. 2, p. 222–232, 1987. Disponível em: https://doi.org/10.1109/TSE.1987.232894. Acesso em: 13 abr. 2017.
JULISCH, Klaus. Clustering intrusion detection alarms to support root cause analysis. ACM Transactions on Information and System Security, v. 6, n. 4, p. 443–471, 2003. Disponível em: https://doi.org/10.1145/950191.950193. Acesso em: 13 abr. 2017.
MANDIANT. M-Trends 2016 Report. 2016. Disponível em: https://www.fireeye.com/current-threats/annual-threat-report/mtrends.html. Acesso em: 13 abr. 2017.
MOUSTAFA, Nour; SLAY, Jill. UNSW-NB15: A comprehensive data set. In: Military Communications and Information Systems Conference, 2015. Disponível em: https://doi.org/10.1109/MilCIS.2015.7348942. Acesso em: 13 abr. 2017.
SCARFONE, Karen; MELL, Peter. Guide to Intrusion Detection and Prevention Systems (IDPS). NIST SP 800-94, 2007. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-94/final. Acesso em: 13 abr. 2017.
SOMMER, Robin; PAXSON, Vern. Outside the closed world. IEEE Symposium on Security and Privacy, 2010. Disponível em: https://doi.org/10.1109/SP.2010.25. Acesso em: 13 abr. 2017.
SYMANTEC. Internet Security Threat Report 2017. 2017. Disponível em: https://www.symantec.com/security-center/threat-report. Acesso em: 13 abr. 2017.
TAVALLAEE, Mahbod et al. A detailed analysis of the KDD CUP 99 dataset. In: IEEE Symposium on Computational Intelligence for Security and Defense Applications, 2009. Disponível em: https://doi.org/10.1109/CISDA.2009.5356528. Acesso em: 13 abr. 2017.
US-CERT. Alert (TA17-132A): Indicators Associated With WannaCry Ransomware. 2017. Disponível em: https://www.cisa.gov/news-events/alerts/2017/05/12/indicators-associated-wannacry-ransomware. Acesso em: 13 abr. 2017.