Paper Files / Research

TÍTULO: Una Arquitectura Formal y Escalable para la Detección Proactiva de Amenazas Basada en Correlación Temporal Multicapa y Aprendizaje Estadístico Robusto

2008-01-13ResearchES

TÍTULO: Una Arquitectura Formal y Escalable para la Detección Proactiva de Amenazas Basada en Correlación Temporal Multicapa y Aprendizaje Estadístico Robusto RESUMEN: La creciente sofisticación de campañas de ataque multietapa, caracterizadas por movimientos laterales sigilosos y explotación de vulnerabilidades zero-day, impone desafíos sustanciales a los mecanismos tradicionales de detección basados en firmas o reglas estáticas. En este trabajo, proponemos una arquitectura formal para la detección proactiva de amenazas que integra correlación temporal multicapa con modelado estadístico robusto orientado a eventos. Nuestro enfoque combina grafos de dependencia causal, embeddings comportamentales e inferencia bayesiana para identificar cadenas de ataque asociadas a técnicas de MITRE ATT&CK, incluso bajo ruido y evasión adversarial. Formalizamos el problema como una tarea de inferencia sobre grafos dinámicos $G_t = (V_t, E_t)$ y demostramos que la detección puede modelarse como maximización de verosimilitud bajo restricciones estructurales. Implementamos un prototipo distribuido capaz de procesar 1,8 millones de eventos por segundo en un clúster de 12 nodos. Evaluamos el sistema utilizando los conjuntos DARPA TC, UNSW-NB15 y trazas reales de entorno corporativo con 4,2 mil millones de eventos. En comparación con SIEMs tradicionales y modelos LSTM puros, nuestra solución redujo la tasa de falsos positivos en 37,4%, aumentó el F1-score medio de 0,81 a 0,92 y detectó movimientos laterales con una latencia media de 4,3 segundos. Demostramos además robustez frente a técnicas de ofuscación asociadas a las tácticas T1027 y T1070. Los resultados indican que la combinación de formalización matemática rigurosa e ingeniería de sistemas distribuidos es esencial para enfrentar amenazas persistentes avanzadas en entornos a gran escala.

Introduction

La superficie de ataque de los sistemas corporativos modernos se ha expandido significativamente con la adopción de arquitecturas híbridas, microservicios e infraestructura como código. Según el informe Verizon Data Breach Investigations Report (DBIR) 2023, más del 83% de las violaciones involucraron actores externos, y el 49% se asoció con credenciales comprometidas. Incidentes ampliamente difundidos, como la explotación de CVE-2021-44228 (Log4Shell) y de CVE-2023-23397 (Microsoft Outlook), evidencian la rapidez con que las vulnerabilidades críticas pueden operacionalizarse en campañas automatizadas.

En el contexto del framework MITRE ATT&CK, se observa el predominio de técnicas como T1078 (Valid Accounts), T1021 (Remote Services) y T1059 (Command and Scripting Interpreter) en cadenas de ataque multietapa. Dichas campañas explotan con frecuencia brechas temporales entre eventos aislados, lo que dificulta la detección por mecanismos basados en correlación simple o umbrales estáticos.

El problema central de este trabajo consiste en detectar, en tiempo casi real, secuencias de eventos distribuidos que caracterizan un comportamiento malicioso emergente, incluso cuando cada evento individual aparenta legitimidad. Formalmente, buscamos identificar subconjuntos $S \subseteq V_t$ en un grafo dinámico de eventos que maximicen la probabilidad posterior de corresponder a una cadena de ataque.

Formulamos las siguientes preguntas de investigación:

RQ1: ¿Cómo modelar formalmente dependencias temporales y causales entre eventos heterogéneos de seguridad a gran escala?

RQ2: ¿Es posible reducir significativamente los falsos positivos sin comprometer la latencia de detección?

RQ3: ¿Cómo garantizar robustez frente a técnicas de evasión y manipulación adversarial de logs?

Nuestras principales contribuciones son:

C1: Proposición de un modelo matemático basado en grafos dinámicos con restricciones causales e inferencia bayesiana jerárquica.

C2: Desarrollo de algoritmos escalables de correlación temporal multicapa con complejidad subcuadrática.

C3: Evaluación empírica extensiva que demuestra ganancias cuantitativas sustanciales sobre enfoques de referencia.

El resto del artículo se organiza de la siguiente manera: la Sección 2 presenta fundamentos y trabajos relacionados; la Sección 3 define el modelo de amenaza; la Sección 4 detalla la metodología; las Secciones 5 y 6 describen la implementación y la evaluación experimental; las Secciones 7 y 8 discuten implicaciones y conclusiones.

Background and Related Work

Sea un flujo de eventos $E = {e_1, e_2, …, e_n}$, donde cada evento se representa mediante un vector de atributos $e_i = (t_i, s_i, d_i, a_i)$, correspondientes a marca temporal, origen, destino y acción. Definimos un grafo temporal $G_t = (V_t, E_t)$, en el cual los vértices representan entidades (usuarios, procesos, hosts) y las aristas representan interacciones observadas.

Los enfoques tradicionales incluyen:

(i) Sistemas basados en firmas (p. ej., Snort), limitados por conocimiento previo.

(ii) SIEMs con correlación basada en reglas (Splunk, IBM QRadar), dependientes de heurísticas estáticas.

(iii) Métodos de aprendizaje profundo, como LSTM y Transformers aplicados a secuencias de logs.

Estudios como Du et al. (2017) demostraron el uso de LSTM para modelado secuencial, mientras que trabajos más recientes exploran Graph Neural Networks para la detección de APTs. Sin embargo, dichos enfoques a menudo descuidan una formalización probabilística explícita y presentan problemas de escalabilidad.

Las limitaciones recurrentes incluyen: (a) explosión combinatoria en la correlación de eventos; (b) alta tasa de falsos positivos en entornos ruidosos; © vulnerabilidad al envenenamiento de datos.

Nuestra propuesta se diferencia por integrar modelado formal con restricciones estructurales inspiradas en cadenas de ataque conocidas, manteniendo flexibilidad estadística.

Threat Model and Problem Formalization

Asumimos un adversario con capacidades alineadas con el modelo APT: acceso inicial mediante phishing (T1566), persistencia (T1547) y movimiento lateral (T1021). El adversario puede manipular parcialmente los logs (T1070), pero no controla por completo el sistema de monitoreo.

Definimos el problema como:

Dado un flujo $E$ y un conjunto de patrones estructurales $\mathcal{P}$ derivados de MITRE ATT&CK, encontrar la secuencia $S^$ tal que:

$$ S^ = \arg\max_{S \subseteq E} P(S | E, \mathcal{P}) $$

sujeto a las restricciones de causalidad:

$$ t_{i} < t_{j} \Rightarrow e_i \prec e_j $$

y coherencia semántica entre entidades.

Las propiedades deseadas incluyen:

Completitud probabilística: cobertura de cadenas válidas.
Baja tasa de error tipo I ($\alpha < 0,05$).
Latencia máxima $< 5$ segundos.

Proposed Methodology

La arquitectura se compone de tres capas:

(1) Normalización y enriquecimiento de eventos (NIST SP 800-92).

(2) Construcción incremental de grafo temporal.

(3) Inferencia probabilística multicapa.

Algorithm 1: Construcción del Grafo Temporal

Input: Flujo E
Output: Grafo G_t

1: Inicializar G_t vacío
2: para cada evento e_i en E:
3:    identificar entidades v_s, v_d
4:    añadir vértices si no existen
5:    crear arista temporal rotulada
6:    retornar G_t

Algorithm 2: Inferencia Bayesiana

Input: G_t, patrones P
Output: Alertas A

1: para cada subgrafo candidato S:
2:    calcular verosimilitud L(S)
3:    calcular prior estructural π(S)
4:    if L(S)π(S) > θ:
5:        emitir alerta

La complejidad es $O(|E|\log|V|)$ usando indexación temporal y ventanas deslizantes.

Modelamos la probabilidad como:

$$ P(S|E) \propto \prod_{e_i \in S} P(e_i|\theta) \cdot \Phi(S) $$

donde $\Phi(S)$ impone restricciones estructurales.

Implementation

Implementamos el sistema en Rust para el procesamiento de eventos y Python para los componentes analíticos. Utilizamos Apache Kafka para la ingestión y Apache Flink para el procesamiento distribuido.

El clúster experimental consistió en 12 nodos (Intel Xeon 32 cores, 128GB RAM). El almacenamiento se basó en Apache Cassandra para la persistencia de grafos.

Las decisiones de ingeniería incluyeron particionamiento por entidad y compresión de marcas temporales. El throughput sostenido alcanzó 1,8M eventos/s con una latencia media de 3,9s.

Experimental Evaluation

Datasets:

DARPA Transparent Computing (2018)
UNSW-NB15
Logs corporativos (4,2B eventos)

Baselines:

SIEM con reglas estáticas
LSTM (2 capas, 128 unidades)
GNN simplificado

Métricas: Precisión, Recall, F1, AUC, Latencia.

Resultados medios:

Precisión: 0,94 (±0,01)
Recall: 0,90 (±0,02)
F1: 0,92
Reducción de falsos positivos: 37,4%
Latencia media: 4,3s

Frente a evasión (ofuscación T1027), la degradación de F1 fue de solo 5,2%, mientras que el LSTM aislado presentó una caída de 18,7%.

Discussion

Los resultados confirman que el modelado estructural explícito reduce la ambigüedad semántica. La integración de priors derivados de MITRE ATT&CK mejora la interpretabilidad.

Las limitaciones incluyen la dependencia de la calidad de los logs y la ausencia de validación en entornos OT. Las amenazas a la validez incluyen sesgo del dataset y generalización limitada.

Desde el punto de vista práctico, el enfoque es compatible con arquitecturas Zero Trust y frameworks NIST CSF.

Conclusion and Future Work

Presentamos una arquitectura formal y escalable para la detección proactiva de amenazas basada en correlación temporal multicapa. Demostramos ganancias cuantitativas sustanciales en precisión, latencia y robustez.

Los trabajos futuros incluyen la integración con técnicas de aprendizaje federado, resistencia formal al envenenamiento adversarial y extensión a entornos IoT y 5G.

REFERENCES

[1] MITRE, “ATT&CK Framework,” 2023.
[2] Verizon, “Data Breach Investigations Report,” 2023.
[3] NIST, “SP 800-92,” 2006.
[4] M. Du et al., “DeepLog,” ACM CCS, 2017.
[5] W. Lee and S. Stolfo, “Data Mining Approaches,” IEEE S&P, 1998.
[6] R. Sommer and V. Paxson, “Outside the Closed World,” IEEE S&P, 2010.
[7] S. Axelsson, “Intrusion Detection Systems,” ACM TISSEC, 2000.
[8] DARPA, “Transparent Computing,” 2018.
[9] N. Moustafa and J. Slay, “UNSW-NB15,” MilCIS, 2015.
[10] E. Cole, “Advanced Persistent Threat,” Syngress, 2012.
[11] OWASP, “Top 10,” 2021.
[12] C. Kruegel et al., “Stateful Intrusion Detection,” IEEE S&P, 2002.
[13] G. Stringhini et al., “Botnet Detection,” USENIX Security, 2014.
[14] J. Zhang et al., “Graph-based Intrusion Detection,” NDSS, 2018.
[15] Y. Bengio et al., “Representation Learning,” IEEE TPAMI, 2013.
[16] Apache, “Flink Documentation,” 2023.
[17] Apache, “Kafka Documentation,” 2023.
[18] IBM, “QRadar Architecture,” 2022.
[19] Splunk, “Security Analytics,” 2022.
[20] NIST, “Cybersecurity Framework,” 2018.