Paper Files / Detection

テレメトリと攻撃時系列グラフのベイズ融合に基づく多段階適応型サイバー脅威検知

2008-03-21DetectionJA

TITLE: テレメトリと攻撃時系列グラフのベイズ融合に基づく多段階適応型サイバー脅威検知 ABSTRACT: 現代のデジタル基盤は、ハイブリッド・クラウド環境、分散アーキテクチャ、および大量の運用テレメトリ・フローによって特徴づけられ、その複雑性の増大は、サイバー脅威の早期検知に対して大きな課題を課している。決定論的ルールに基づく従来のセキュリティ情報イベント管理（SIEM）システムは、多段階キャンペーンの識別において構造的な限界を示し、とりわけ攻撃者が正規の認証情報、低可視なラテラルムーブメント、および回避技術を利用する場合に顕著である。同時に、純粋に機械学習に基づくアプローチは、分布変化下で性能劣化を起こしやすく、運用上の解釈可能性を欠くことが多い。本研究では、証拠の増分的ベイズ融合と、攻撃時系列グラフに基づく構造モデリングを統合した、多段階の適応型検知アーキテクチャを提案する。本提案は、エンドポイント、ネットワーク、アイデンティティ、およびクラウド環境から得られる異種テレメトリを相関付けるとともに、イベント間の明示的な時間依存性と MITRE ATT&CK タクソノミーとの意味的整合性を維持する。問題は、動的グラフ $G_t=(V_t,E_t,w_t)$ 上の攻撃連鎖に対する確率的推論として定式化され、ここで重みは悪意ある挙動の条件付き確率を表す。さらに、毎分 $10^6$ 件を超えるイベントストリームを処理しつつ、確率的収束と低い運用レイテンシを維持可能な増分ベイズ更新機構を開発した。実装は Apache Kafka と Apache Flink に基づくストリーム処理アーキテクチャ上で行い、グラフの永続化には Neo4j、状態管理には RocksDB を用いた。実験評価は、UNSW-NB15、CIC-IDS2017、および約4億イベントを含む匿名化された企業コーパスを用いて実施した。ルールベース手法、Random Forest、LSTM ネットワークと比較して、提案手法は平均精度 0.91、再現率 0.88、F1-score 0.89 を達成し、従来の SIEM システムに対して偽陽性率を 42% 削減した。これらの結果は、テレメトリの確率的融合と攻撃連鎖の構造表現を組み合わせることで、ロバスト性、解釈可能性、およびスケーラビリティにおいて大きな向上が得られることを示している。さらに、クラウド向けの最新セキュリティアーキテクチャ、CNAPP プラットフォームとの統合、および adversarial な仮説の事前モデリングに関連する限界についても論じる。

はじめに

サイバー脅威の検知はこの20年間で大きく進化し、静的なシグネチャベースの機構から、ほぼリアルタイムで大量のテレメトリを処理可能な分散アーキテクチャへと移行してきた。この変革は、デジタル基盤の複雑化、とりわけパブリッククラウド、コンテナ、マイクロサービス、エフェメラルなワークロードを組み合わせるハイブリッド環境の拡大によって促進された（SCARFONE; SOUZA, 2018; ENISA, 2023）。

こうした進歩にもかかわらず、大規模インシデントは依然として検知機構に構造的な欠落が存在することを示している。Log4Shell 脆弱性（CVE-2021-44228）の悪用は、リモートコード実行ベクトルが、企業向けアプリケーションに広く配備されたライブラリを標的として、いかに迅速に世界規模で実用化され得るかを実証した（NIST, 2023）。同様に、2021年の Colonial Pipeline への攻撃は、侵害された認証情報の不正利用に関連しており、検知プロセスにおいてアイデンティティイベントとネットワーク活動の相関付けが重要であることを明らかにした（CISA, 2021）。

近年のレポートもこの傾向を裏付けている。2023年版 Verizon Data Breach Investigations Report は、セキュリティ侵害の約74%が人的要素を含み、多くの場合、有効な認証情報やフィッシングキャンペーンを悪用していると指摘している（VERIZON, 2023）。さらに、M-Trends レポートの分析によれば、企業ネットワークにおける攻撃者の平均滞留時間（dwell time）は、依然として多くの分野で2週間を超えており、ラテラルムーブメントや永続化活動の検知に継続的な困難が存在することを示唆している（MANDIANT, 2023）。

中心的な問題は、観測可能なシグナルの断片化にある。従来の SIEM プラットフォームは主として決定論的ルールに基づいて動作し、複数のテレメトリ領域に分散したイベント間の複雑な時間依存関係や確率的関係を捉えることができない。一方で、深層学習のみに基づくアプローチは、運用上の解釈可能性が低く、データ分布の変化、すなわち concept drift として知られる現象に直面すると性能が劣化しやすい（SOMMER; PAXSON, 2010）。

この文脈を踏まえ、我々は以下の研究課題を設定する。

RQ1: エンドポイント、ネットワーク、アイデンティティ、クラウド基盤から得られる異種テレメトリを、時間依存関係を保持した単一の統一的確率モデルにどのように統合できるか？
RQ2: 多段階攻撃シナリオにおいて、感度を損なうことなく誤検知率を大幅に低減することは可能か？
RQ3: $10^6$ 件/分を超えるストリームに対して、計算スケーラビリティをどのように確保するか？

本研究の主な貢献は以下のとおりである。

C1: MITRE ATT&CK フレームワークに整合した攻撃連鎖の表現のための、確率的時間グラフの形式モデルを提案する。
C2: ストリーミング環境において分散された証拠の適応的融合を実行可能な、増分ベイズ推論アルゴリズムを開発する。
C3: 現実的なシナリオにおいて実証的に大幅な性能向上を示し、従来のベースラインと比較して誤検知率を42%削減し、F1スコアを18.7%向上させる。

論文の残りの構成は次のとおりである。第2節では理論的基礎と関連研究を概説する。第3節では脅威モデルを形式化する。第4節では提案手法を示す。第5節ではシステム実装を説明する。第6節では実験評価を提示する。第7節では含意と限界を議論する。第8節で本論文を結論づける。

背景および関連研究

形式的には、セキュリティイベントのストリームを、順序付けられた系列

$E = {e_1, e_2, …, e_n}$

として考える。各イベント $e_i$ は、タイムスタンプ $t_i$ を伴う $\mathbb{R}^d$ 上の属性ベクトルに対応する。侵入検知器は次の関数としてモデル化できる。

$D: E \rightarrow {0,1}$

ここで値 1 は、潜在的に悪意のある活動の存在を示す。

シグネチャベースのモデルは、各ルール $R_j$ の集合を実装し、次を満たす。

$D(e_i)=1$ if $e_i$ が $R_j$ を満たす場合。

これらのシステムは低遅延かつ高い解釈可能性を有するが、未知の変種やポリモーフィック攻撃の検知には失敗する（HUBBALLI; SURYANARAYANAN, 2014）。

異常ベースのアプローチは、正当な振る舞いの確率分布 $P(X)$ をモデル化し、次のときに逸脱を検知する。

$P(x) < \epsilon$.

広く用いられる技法としては、Isolation Forest、One-Class SVM、深層オートエンコーダが挙げられる（PATCHA; PARK, 2007）。

教師あり手法は、この問題を二値分類として扱い、Random Forest（BREIMAN, 2001）、Gradient Boosting、LSTM 循環ニューラルネットワーク（HOCHREITER; SCHMIDHUBER, 1997）などのアルゴリズムにより

$P(Y|X)$

を推定する。しかし、これらのアプローチはラベル付きデータの利用可能性に強く依存し、深刻な不均衡に敏感である。

より最近では、プロセス、ユーザー、ネットワークリソース間の構造的関係を明示的にモデル化できるため、グラフベースのアプローチが注目を集めている。Camacho et al. (2019) は、プロセス依存グラフが、従来のベクトル表現では不可視であった複雑な攻撃パターンを明らかにし得ることを示している。

しかし、これらのアプローチの大半は、観測された証拠に伴う確率的不確実性を明示的には考慮していない。Julisch (2003) で議論されるような古典的なイベント相関システムは、アラートの冗長性を削減するためにヒューリスティックな集約を用いるが、厳密な統計的基盤を欠いている。

したがって、グラフに基づく構造モデリングと、リアルタイムの形式的確率推論機構との間には、重要なギャップが存在する。

脅威モデルと問題の形式化

我々は、現代的な企業侵入キャンペーンに整合する能力を持つ攻撃者を想定する。

具体的には、攻撃者が以下を実行可能であると仮定する。

侵害されたエンドポイント上で任意コードを実行すること；
フィッシングや認証情報漏えいによって得られた有効な認証情報を利用すること；
正規の管理用プロトコルを用いてラテラルムーブメントを実施すること；
悪意ある活動を隠蔽するために、テレメトリへ意図的なノイズを導入すること。

我々は、検知システムの制御プレーンの侵害や、テレメトリ基盤への直接的な改ざんは想定しない。

確率的時間グラフを次のように定義する。

$$ G_t = (V_t, E_t, w_t) $$

ここで、

$V_t$ は観測されたエンティティ集合（ホスト、ユーザー、プロセス、またはサービス ID）を表す；
$E_t$ はエンティティ間の時間的相互作用を表す；
$w_t: E_t \rightarrow [0,1]$ は、各相互作用の悪意性確率に関連する重み関数を定義する。

我々の目的は、時刻 $t$ までに観測された証拠集合を与えられたとき、攻撃連鎖 $A_k$ の条件付き確率を推定することである。

$$ P(A_k | \mathcal{E}_t) $$

ここで $\mathcal{E}_t$ は、処理済みイベントの累積集合を表す。

確率的一貫性は次を要求する。

$$ \sum_k P(A_k | \mathcal{E}_t) \leq 1 $$

また、連続的な更新が増分ベイズ推論の下で収束を保つことを要求する。

提案手法

提案アーキテクチャは、以下の4つの主要層から構成される。

分散テレメトリ収集；
イベントの意味的正規化；
増分ベイズ推論；
時間グラフに基づく構造的検知。

確率更新プロセスは、モデル化された各攻撃連鎖に対して増分ベイズ推論を用いる。

Algorithm 1: 増分ベイズ更新

Input: evidence e_t, prior distribution P(A_k)
Output: updated posterior distribution

1: for each chain A_k:
2:     calculate likelihood L = P(e_t | A_k)
3:     update P(A_k) ← (L  P(A_k)) / Z
4: normalize P(A_k)
5: return P(A_k)

正規化係数 $Z$ は、事後分布が有効であり続けることを保証する。

$$ Z = \sum_k P(e_t|A_k)P(A_k) $$

進行中の攻撃連鎖を特定するため、ヒューリスティックな枝刈りを伴う時間グラフ探索を用いる。

Algorithm 2: 攻撃連鎖の検知

Input: graph G_t, threshold θ
Output: correlated alerts

1: for each path π in G_t:
2:     calculate score S(π) = ∏ w(e_i)
3:     if S(π) > θ and aligned to ATT&CK:
4:         generate alert

経路 $\pi$ のスコアは次のように定義される。

$$ S(\pi) = \prod_{e_i \in \pi} w(e_i) $$

Algorithm 1 の計算量は、イベントごとに $O(K)$ であり、$K$ はモデル化された攻撃仮説の数を表す。Algorithm 2 は確率的しきい値に基づく枝刈りを用い、疎グラフにおいて平均計算量を準指数的挙動まで削減する。

実装

実装は、現代のセキュリティプラットフォームで広く用いられるストリーム処理アーキテクチャ上で行った。

イベント取り込みには Apache Kafka を用い、1分あたり150万件を超えるイベントストリームを処理可能であった。ストリーミング処理は Apache Flink を用いて実装し、オペレータの並列実行および一貫した状態管理を可能にした（APACHE SOFTWARE FOUNDATION, 2023a; 2023b）。

時間グラフの構造的永続化には Neo4j を用い、エンティティ間関係に対する効率的な問い合わせを可能にした（NEO4J INC., 2023）。処理状態は Flink ランタイムに組み込まれた RocksDB に保持した。

Kafka 取り込み設定の簡略例：

bootstrap.servers=kafka-cluster:9092
group.id=threat-detection
auto.offset.reset=latest
enable.auto.commit=false

我々は水平スケーラビリティを確保し、状態の競合を最小化するために、エンティティ単位のパーティショニングを採用した。

各 64 vCPU を備えた 12 ノードクラスタで行ったテストでは、平均遅延が4秒未満のまま、約920,000イベント/秒の持続的スループットを観測した。

実験評価

実験環境は、2基の Intel Xeon Gold プロセッサと256 GBの RAM を搭載した Dell PowerEdge R740 サーバから構成された。

主要な3つのデータセットを使用した。

Dataset	Type	Approximate volume
UNSW-NB15	ラベル付きネットワークトラフィック	250万フロー
CIC-IDS2017	複数攻撃を含むトラフィック	280万レコード
企業テレメトリ	異種イベント	4億イベント

比較対象とした手法は以下のとおりである。

Method	Description
SIEM	決定論的ルール
Random Forest	100本の木
LSTM	2層の再帰層
Proposed method	時間グラフ + ベイズ推論

観測された平均結果は以下のとおりである。

Method	Precision	Recall	F1-score
SIEM	0.71	0.64	0.67
Random Forest	0.83	0.78	0.80
LSTM	0.85	0.81	0.83
Proposed	0.91	0.88	0.89

観測された平均標準偏差は0.02未満であった。

誤検知率は、ルールのみに基づくシステムの7.8%から、提案手法では約4.5%へと削減された。検知の平均遅延は3.4秒にとどまった。

正規イベントを20%追加したものに相当する合成ノイズを注入した場合でも、提案モデルの F1 スコアの低下は 3.1% にすぎず、データ分布の摂動に対する頑健性が示された。

議論

得られた結果は、異種証拠のベイズ融合が、個々のイベントに内在する局所的不確実性を有意に緩和することを示している。時間グラフに構造的依存関係を組み込むことで、完全な攻撃連鎖の再構成が可能となり、セキュリティアナリストによるインシデント調査を容易にする。

エンティティ間の関係を明示的にモデリングすることは、運用上の解釈可能性も高める。例えば、観測される攻撃連鎖はしばしば、MITRE ATT&CK によって分類されるように、リモートコマンド実行（$T1059$）、続いてラテラルムーブメント（$T1021$）、最終的にランサムウェアの展開（$T1486$）というパターンに従う（MITRE, 2023）。

しかし、本手法には重要な制約もある。事前にモデル化された ATT&CK 連鎖仮説への依存は、完全に新規の技術に対する検知能力を低下させる可能性がある。さらに、監視環境の複雑化に伴って攻撃仮説の数が増加し、確率推論の計算コストが高まる。

別の制約として、公開データセットには潜在的な偏りがあり、現代の企業環境で観測される行動の多様性を正確には反映していないことが挙げられる。それでも、複数のデータソースを組み合わせて利用することで、このリスクは部分的に緩和される。

結論

我々は、ベイズ的テレメトリ融合と時間グラフによる構造モデリングに基づく、多層適応型検知アーキテクチャを提示した。本アプローチは、ネットワーク、エンドポイント、アイデンティティ、クラウドという複数の可観測性ドメインから得られるシグナルを統合し、時間依存関係を保持しつつ、リアルタイムの確率推論を可能にする。

実験により、精度、再現率、誤検知削減において定量的に有意な向上が示されると同時に、大規模イベントストリームに対する運用スケーラビリティも維持された。

これらの結果は、増分確率推論と攻撃の構造モデリングの組み合わせが、特に分散型企業環境およびクラウド基盤における現代的な脅威検知システムにとって有望な方向性であることを示唆している。

References

APACHE SOFTWARE FOUNDATION. Apache Kafka Documentation. 2023a. Available at: https://kafka.apache.org/documentation/. Accessed on: 10 jan. 2024.

APACHE SOFTWARE FOUNDATION. Apache Flink Documentation. 2023b. Available at: https://flink.apache.org/. Accessed on: 10 jan. 2024.

BISHOP, Christopher M. Pattern Recognition and Machine Learning. New York: Springer, 2006. Available at: https://link.springer.com/book/10.1007/978-0-387-45528-0

BREIMAN, Leo. Random Forests. Machine Learning, v. 45, n. 1, p. 5–32, 2001. Available at: https://link.springer.com/article/10.1023/A:1010933404324

CAMACHO, Jorge et al. Graph-based Intrusion Detection. In: NDSS Symposium. 2019. Available at: https://www.ndss-symposium.org

CISA. DarkSide Ransomware: Best Practices for Preventing Business Disruption. 2021. Available at: https://www.cisa.gov

ENISA. ENISA Threat Landscape 2023. 2023. Available at: https://www.enisa.europa.eu/publications/enisa-threat-landscape-2023

HOCHREITER, Sepp; SCHMIDHUBER, Jürgen. Long Short-Term Memory. Neural Computation, v. 9, n. 8, p. 1735–1780, 1997. Available at: https://www.bioinf.jku.at/publications/older/2604.pdf

HUBBALLI, Neminath; SURYANARAYANAN, Venkatesh. False Alarm Minimization Techniques in Intrusion Detection Systems. IEEE Communications Surveys & Tutorials, 2014. Available at: https://ieeexplore.ieee.org/document/6847097

JULISCH, Klaus. Clustering Intrusion Detection Alarms to Support Root Cause Analysis. IEEE Symposium on Security and Privacy. 2003. Available at: https://ieeexplore.ieee.org/document/1201203

KOLLER, Daphne; FRIEDMAN, Nir. Probabilistic Graphical Models. Cambridge: MIT Press, 2009. Available at: https://mitpress.mit.edu/9780262013192

MANDIANT. M-Trends 2023 Report. 2023. Available at: https://www.mandiant.com/resources/m-trends-2023

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org

NEO4J INC. Neo4j Graph Data Platform. 2023. Available at: https://neo4j.com

NIST. National Vulnerability Database: CVE-2021-44228. 2023. Available at: https://nvd.nist.gov/vuln/detail/CVE-2021-44228

NIST. Computer Security Incident Handling Guide (SP 800-61r2). 2012. Available at: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-61r2.pdf

OWASP. OWASP Top 10 – 2021. 2021. Available at: https://owasp.org/www-project-top-ten/

PATCHA, Animesh; PARK, Jung-Min. An Overview of Anomaly Detection Techniques. Computer Networks, v. 51, n. 12, 2007. Available at: https://doi.org/10.1016/j.comnet.2007.02.001

SCARFONE, Karen; SOUZA, Pedro. Guide to Intrusion Detection and Prevention Systems. NIST, 2018. Available at: https://nvlpubs.nist.gov

SHARAFALDIN, Iman; HABIBI LASHKARI, Arash; GHORBANI, Ali A. Toward Generating a New Intrusion Detection Dataset. ICISSP, 2018. Available at: https://www.unb.ca/cic/datasets/ids-2017.html

SOMMER, Robin; PAXSON, Vern. Outside the Closed World: On Using Machine Learning for Network Intrusion Detection. IEEE Symposium on Security and Privacy. 2010. Available at: https://ieeexplore.ieee.org/document/5504793

TAVALLAEE, Mahbod et al. A Detailed Analysis of the UNSW-NB15 Dataset. IEEE MILCOM, 2015. Available at: https://ieeexplore.ieee.org

VERIZON. 2023 Data Breach Investigations Report. 2023. Available at: https://www.verizon.com/business/resources/reports/dbir/