Paper Files / Research
多層時間相関とロバスト統計的推論に基づく高度持続的脅威のプロアクティブ検出のための適応型アーキテクチャ
本研究では、企業ネットワークにおける高度持続的脅威（APT）の早期検出を目的として、複数層のイベントを時間的に相関付ける適応型アーキテクチャを提案する。2007年時点における実運用上の制約、すなわちシグネチャベースIDSの限界、ログの不完全性、ラテラルムーブメントの隠蔽性、および偽陽性の多発という課題を前提に、われわれはネットワーク、ホスト、認証、アプリケーションの各イベントを統合し、動的グラフとして表現する枠組みを構成した。各エッジ重みはHuber型のロバストM推定により推定され、外れ値や部分的なログ改ざんに対して安定な相関推定を可能にする。さらに、時間依存の潜在侵害状態をベイズ的に更新し、観測系列が既知の侵入段階に整合する確率を逐次推定することで、単純な閾値判定では捉えにくい多段階攻撃を検出する。理論的には、$\epsilon$-汚染モデルの下でのロバスト性と、スライディングウィンドウに基づく計算量の上界を示す。実験では、公開データセットと企業環境由来の大規模イベント集合を用い、Random Forest、LSTM、Isolation Forest と比較した。その結果、提案手法は偽陽性率を低減し、平均検知時間を短縮しつつ、敵対的ノイズ下でも性能劣化を抑制した。本稿は、2007年当時に実装可能な技術要素のみに基づき、境界防御、IDS/IPS、SIEM、PKI、暗号基礎、ならびにデジタル・フォレンジクスとの接続可能性を明確化した統合的アーキテクチャを提示する。
1. 序論
2007年時点における企業情報システムの攻撃面は、インターネット公開サービスの増加、外部委託先との接続拡大、Web アプリケーションの普及、ならびに認証情報の使い回しや内部不正の可能性によって、すでに顕著に拡大していた。とりわけ、境界防御に依存した従来のセキュリティモデルでは、単一の侵入イベントではなく、複数段階にわたる低速・隠密な攻撃連鎖を把握することが難しい。Blaster や SQL Slammer に代表されるワーム、Web アプリケーションを標的とする SQL インジェクション、ならびにバッファオーバーフローを悪用したコード実行は、公開サービスが持つ脆弱性が迅速に実害へ転化しうることを示していた。
当時の運用現場では、Snort のようなシグネチャベース IDS が広く用いられていたが、既知のパターンに強く依存するため、変種攻撃や段階的侵入の初期兆候を見逃しやすい。また、SIEM が普及しつつあったとはいえ、相関ルールはしばしば固定的であり、複数レイヤーにまたがる時間依存の関係、すなわちネットワーク、ホスト、認証、アプリケーション、ログ保全の相互関係を十分に表現できなかった。したがって、われわれが解くべき問題は、個別イベントの分類ではなく、異種イベント列の時間相関を頑健に推定し、侵害の兆候を早期に抽出することである。
形式的には、イベント空間 $\mathcal{X}$ と時間列 $E={e_1,e_2,\dots,e_n}$ を考える。各イベント $e_i$ は特徴写像 $f(e_i)\in \mathbb{R}^d$ により表現される。われわれの目的は、敵対的ノイズやログ欠損が存在する場合でも、正常行動から有意に逸脱する相関部分集合を識別することである。ここで重要なのは、単発の異常点ではなく、複数の弱い兆候の連鎖が侵害状態へ収束する過程を検出する点にある。
本研究の研究課題は次の三点である。
RQ1: 複数インフラ層にまたがる異種イベント間の時間相関をどのように形式的にモデル化できるか。
RQ2: 多段階攻撃シナリオにおいて感度を損なうことなく偽陽性率を大幅に低減できるか。
RQ3: 敵対的ノイズおよびログの部分的改ざんに対して統計的ロバスト性をどのように保証できるか。
本研究の主な貢献は以下の三点である。
C1: ロバスト $M$ 推定量により重み付けされた動的グラフに基づく、多層時間相関モデルの形式化を与える。
C2: 攻撃段階を表す事前知識を組み込んだ動的ベイズ推論を統合し、逐次的な侵害確率更新を可能にする。
C3: $\epsilon$-汚染下における破壊点、計算量、ならびに実験性能を総合的に評価し、2007年時点で実装可能な技術要素の範囲に限定した実用性を示す。
2. 背景および関連研究
侵入検知は、一般に教師あり分類問題または異常検知問題として定式化できる。既知攻撃の識別にはシグネチャ照合が有効である一方、未知の攻撃や低速分散型攻撃には弱い。Hofmeyr, Forrest および Somayaji は、生体免疫系に着想を得た異常検知を提案し、学習済み正常モデルからの逸脱検出の有効性を示した（HOFMEYR; FORREST; SOMAYAJI, 1998）。また、Lippmann らはネットワーク IDS における評価上の注意点を整理し、データ分布の偏りやラベル付けの困難さを指摘している（LIPPMANN et al., 2000）。
シグネチャベースの検知は、Snort に代表されるように、広く利用されてきた。Roesch は、軽量かつ実運用に適したネットワーク IDS として Snort を提示し、そのルール駆動型の有用性を示した（ROESCH, 1999）。しかし、シグネチャ方式は閉世界仮説に依存するため、未知の悪用や複数段階に分かれた攻撃には本質的に脆弱である。さらに、ファイアウォールやアクセス制御に加えて、IDS/IPS と SIEM を連携させた場合でも、ルールの組合せが爆発的に増えると運用負荷が増大する。
教師あり学習に基づく分類器としては、Random Forest のようなアンサンブル手法が高い汎化性能を示す（BREIMAN, 2001）。ただし、これらは訓練データの代表性に強く依存し、攻撃の進行に伴う文脈変化や時系列依存を明示的に扱うことが難しい。時系列モデリングの文脈では、再帰型ニューラルネットワークや LSTM が後年に発展するが、2007年の時点では、実運用上のセキュリティ監視において主流ではない。したがって、本研究では、当時利用可能で説明可能性の高い統計的推論とグラフ表現を中心に据える。
動的攻撃グラフは、エンティティを頂点、相互作用を時間付きエッジとして表現する自然な枠組みである。時刻 $t$ におけるグラフを $G_t=(V_t,E_t)$ とする。頂点 $v$ が侵害されている確率は、隣接頂点の状態とエッジ重みを用いて次のように表せる。
$$ P(C_v=1\mid G_t)=\sigma\left(\sum_{u\in \mathcal{N}(v)} w_{uv}(t)\cdot s_u(t)\right), $$
ここで $\sigma(x)=\frac{1}{1+e^{-x}}$ はロジスティック関数であり、$s_u(t)$ はノード $u$ の潜在状態を表す。近年の研究ではグラフ構造の利用が増えているが、われわれの関心は、2007年時点で実装可能な範囲において、ロバスト統計量を組み込んだ相関推定と、段階的侵害のベイズ更新をどこまで実現できるかにある。
PKI の観点では、認証局と証明書失効の運用、ならびにログ署名の真正性確保が、フォレンジクスにとって重要である。ログの完全性が保たれない場合、検知結果の証拠能力が低下するため、監査証跡の保護は本手法の前提条件でもある。暗号学的には、ハッシュ関数とデジタル署名による整合性確保が中心であり、広く用いられていた SHA-1 や RSA 署名の実運用上の限界も、ログ保全設計に影響を及ぼす。
2.1 関連技術の位置づけ
2007年以前の実務環境では、境界防御を支える主要な構成要素として、ファイアウォール、プロキシ、VPN、認証サーバ、IDS/IPS、および集中ログ管理が用いられていた。これらは単独では有効であるが、個別にアラートを出すだけでは攻撃連鎖の全体像を提示しにくい。したがって、本研究の対象は、既存の運用装置を置き換えることではなく、それらの出力を統合し、意味のある事象系列へ再構成する点にある。
| 技術要素 | 役割 | 長所 | 限界 | 2007年時点の位置づけ |
|---|---|---|---|---|
| ファイアウォール | 境界通過制御 | 単純で高速 | 既知ポート中心 | 基本防御 |
| IDS/IPS | 侵入検知・遮断 | 既知攻撃に強い | 変種・低速攻撃に弱い | 中核装置 |
| SIEM | ログ相関・集中監視 | 横断的可視化 | ルール依存・運用負荷 | 補完基盤 |
| PKI | 認証・署名 | 真正性の担保 | 鍵管理コスト | 信頼基盤 |
| フォレンジクス | 証拠保全 | 事後分析 | 事前対策ではない | 監査支援 |
2.2 脆弱性クラスと攻撃表面
2007年時点の代表的な侵入起点は、バッファオーバーフロー、SQL インジェクション、ワームの自動拡散、ならびに認証情報窃取である。これらは異なる層に現れるが、結果として観測されるログ事象には共通項がある。たとえば、初期侵入後の権限昇格では、プロセス生成、ファイル書換え、認証失敗、外部通信の増加が連鎖する。ゆえに、単一レイヤーだけの判定ではなく、層をまたぐ相関が必要である。
| 攻撃クラス | 主な標的 | 観測ログ例 | 検知難度 | 相関が有効な理由 |
|---|---|---|---|---|
| バッファオーバーフロー | サービスプロセス | クラッシュ、異常再起動 | 中 | 直後の権限変化を追跡 |
| SQL インジェクション | Web/DB | URI 異常、DB エラー | 高 | アプリとDBの整合性を見る |
| ワーム | ネットワーク境界 | スキャン、同時接続増加 | 中 | 分散拡散パターンが現れる |
| 認証情報窃取 | 認証基盤 | 失敗系列、成功の急増 | 高 | 時間的連続性が重要 |
2.3 暗号と真正性の基礎
ログの証拠能力を高めるには、改ざん困難な記録方式が必要である。2007年時点では、ハッシュ連鎖、RSA 署名、X.509 証明書、CRL による失効管理が現実的な手段であった。ログ $L_i$ に対し、直前の値を用いた連鎖ハッシュを $$ h_i = H(L_i \parallel h_{i-1}) $$ と定義すると、任意の中間改ざんは後続の値不整合として検出される。ここで $H$ は衝突耐性を前提とするハッシュ関数である。実務上は SHA-1 が広く使われたが、長期保全では鍵更新、署名タイムスタンプ、オフライン保管が不可欠である。
3. 脅威モデルおよび問題の形式化
われわれは、以下の能力を持つ多項式時間制約の確率的敵対者を仮定する。
- 既知の脆弱性の悪用による初期アクセスの取得。
- 有効な認証情報を用いた認証済みのラテラルムーブメント。
- 観測可能イベント総量の最大 $\epsilon \le 0{,}15$ に相当する抑制、遅延、または改ざん。
- ログ監査系の一部を回避し、選択的にイベントを欠落させる試み。
時刻 $t$、層 $l \in {1,\dots,L}$ におけるイベント集合を $E_t^{(l)}$ とする。われわれは、観測対象全体を次のように定義する。
$$ \mathcal{S}=\bigcup_{l=1}^{L}\bigcup_{t=1}^{T} E_t^{(l)}. $$
決定関数 $D:\mathcal{S}\rightarrow {0,1}$ を定義し、侵害候補の検出に関して次の指標を同時に最適化する。
$$ \mathrm{TPR}=\frac{TP}{TP+FN}, \qquad \mathrm{FPR}=\frac{FP}{FP+TN}. $$
また、平均検知時間 $MTTD$ は、初回侵入から検知までの平均遅延として定義する。
$$ \mathrm{MTTD}=\frac{1}{N}\sum_{i=1}^{N}(t_i^{\mathrm{detect}}-t_i^{\mathrm{attack}}). $$
$\epsilon$-汚染仮説（HUBER, 1964）の下では、観測分布は次式で表される。
$$ F_\epsilon=(1-\epsilon)F+\epsilon H, $$
ここで $F$ は正当な分布、$H$ は任意の汚染分布である。われわれは、破壊点が $\epsilon$ を超える推定量を採用することで、少量の改ざんや外れ値に対して頑健な推定を行う。
この設定では、検出器は次の二つの条件を満たすことが望ましい。第一に、正常トラフィックに対して過度に反応せず、運用可能な偽陽性率を維持すること。第二に、低頻度かつ段階的な侵入に対しても、相関の蓄積に基づいて早期警告を出せることである。前者は SIEM の運用負荷低減に、後者は封じ込め時間の短縮に直結する。
3.1 Extended Threat Model Analysis
本節では、脅威モデルをさらに細分化し、攻撃者の目標、侵入経路、観測可能な痕跡、ならびに防御上の依存関係を明確化する。2007年時点の企業環境では、外部公開 Web サーバ、メールゲートウェイ、VPN 接続、ならびに内部認証基盤が主要な攻撃接点であった。攻撃者は通常、単一の脆弱性に依存せず、複数の小さな成功を連ねて侵害を完成させる。そのため、脅威モデルもまた、多段階の連鎖として表現すべきである。
攻撃連鎖を次の状態遷移で表す。
$$ S_0 \rightarrow S_1 \rightarrow S_2 \rightarrow S_3 \rightarrow S_4 $$
ここで、$S_0$ は未侵入、$S_1$ は初期侵入、$S_2$ は権限獲得、$S_3$ は横展開、$S_4$ は持続化・目的達成を示す。各状態で観測されるイベントの集合は異なるが、時間相関によって全体を接続できる。
flowchart TD
A[外部偵察] --> B[脆弱サービス探索]
B --> C[初期侵入]
C --> D[権限昇格]
D --> E[横展開]
E --> F[データ探索]
F --> G[持続化]
G --> H[目的達成/窃取]
C --> I[ログ抑制]
D --> I
E --> I
I --> J[監査回避]
上図は、攻撃者が初期アクセス後にログ抑制や監査回避を試みることを示す。ログ抑制は単に証拠の欠落を生むだけでなく、相関推定における入力バイアスを生じさせるため、本研究では欠損イベントを明示的に扱う必要がある。
3.1.1 攻撃樹による分解
攻撃樹の観点では、最上位目標を「機密情報の取得」とおき、それを達成するための中間目標を分解する。以下の Mermaid 図は、公開 Web アプリケーション経由の侵入を例示した攻撃樹である。
flowchart TB
R[最上位目標: 機密情報の取得]
R --> A[Web アプリ侵入]
R --> B[認証基盤侵入]
R --> C[内部端末侵入]
A --> A1[SQLインジェクション]
A --> A2[バッファオーバーフロー]
A --> A3[ファイルアップロード悪用]
B --> B1[認証情報窃取]
B --> B2[パスワード推測]
B --> B3[セッション盗用]
C --> C1[ワーム拡散]
C --> C2[共有資源悪用]
C --> C3[管理者権限奪取]
A1 --> D[DB読み出し]
A2 --> D
A3 --> D
B1 --> D
B2 --> D
B3 --> D
C1 --> D
C2 --> D
C3 --> D
この攻撃樹は、単純な境界遮断では十分に防御できないことを示す。たとえば、SQL インジェクションは Web 層の入力検証の問題であるが、その結果として DB アクセスログ、エラーログ、応答時間の偏差など、複数層の弱いシグナルが現れる。したがって、分岐点ごとにイベントを統合する相関器が必要になる。
3.1.2 リスク矩陣
次に、攻撃者能力と資産重要度を軸にリスクを評価する。ここで、影響度 $I$ と発生可能性 $L$ を 1 から 5 の離散尺度で与え、リスク値を $$ R = I \times L $$ と定義する。これは単純ではあるが、2007年時点の運用判断では十分に有用である。
| 攻撃シナリオ | 資産 | 影響度 $I$ | 発生可能性 $L$ | リスク $R$ | 主な観測源 |
|---|---|---|---|---|---|
| SQL インジェクションによる DB 取得 | 顧客データベース | 5 | 4 | 20 | Web/DB ログ |
| ワームによる横展開 | 内部ネットワーク | 4 | 4 | 16 | フロー/IDS |
| バッファオーバーフローからの権限昇格 | サーバ管理権限 | 5 | 3 | 15 | ホストログ |
| 認証情報窃取と再利用 | VPN/AD | 5 | 4 | 20 | 認証ログ |
| ログ抑制・改ざん | 監査証跡 | 4 | 3 | 12 | ハッシュ連鎖 |
この矩陣から、認証情報と公開 Web が最優先の防御対象であることが分かる。特に、認証情報の流出は横展開を可能にし、以後のイベント相関を歪めるため、検知器は初期兆候に敏感でなければならない。
3.2 観測欠損と改ざんのモデル
ログが完全であるという仮定は現実的ではない。そこで、観測されたイベント集合 $\tilde{\mathcal{S}}$ を真の集合 $\mathcal{S}$ と欠損項 $M$、改ざん項 $T$ により次のように表す。
$$ \tilde{\mathcal{S}} = \mathcal{S}\setminus M \cup T $$
ただし $|M|/|\mathcal{S}| \le \epsilon$ とする。改ざんがある場合、イベント順序やタイムスタンプにも歪みが入る可能性がある。これに対し、本研究ではウィンドウ単位の集約と、イベント種別ごとの頑健重み付けによって影響を抑制する。
4. 提案手法
4.1 ロバスト時間相関
われわれは、スライディングウィンドウ $W$ から時間グラフ $G=(V,E)$ を構築する。各ウィンドウ内で、観測イベント間の相関候補を抽出し、Huber の $M$ 推定量によりエッジ重み $w_{uv}$ を推定する。
$$ \rho_\delta®= \begin{cases} \frac{1}{2}r^2, & |r|\le \delta,\ \delta\left(|r|-\frac{1}{2}\delta\right), & |r|>\delta. \end{cases} $$
ここで $r$ は残差であり、$\delta$ は外れ値に対する切替しきい値である。対応する推定量 $\hat{\theta}$ は、次式を最小化する。
$$ \hat{\theta}=\arg\min_{\theta}\sum_{i=1}^{n}\rho_\delta(x_i-\theta). $$
定理1（限定的汚染下での一貫性）。
$\epsilon<\delta/K$（ここで $K$ は推定量に関連する影響関数の勾配を制限する定数）である場合、Huber 推定量は $F_\epsilon$ の下で真の中心位置に対して一貫である。
証明の概略. 有界影響関数により、汚染分布 $H$ が導入するバイアスは有限に抑制される。したがって、$\epsilon$ が破壊点を下回る限り、推定量は真の中心へ収束する。これはロバスト統計の古典的結果に整合する。
グラフ構築の計算量は、各ウィンドウ内で $O(n \log n + m)$ であり、ここで $n$ はイベント数、$m$ は候補エッジ数である。時間索引が平衡木等で管理される場合、更新は増分的に実行できる。
われわれはまた、ホストイベント、ネットワークフロー、認証ログ、Web サーバログを共通のタイムラインへ正規化する。各ログソースは異なる粒度を持つため、時間解像度の粗い記録は補間せず、むしろウィンドウ単位で集約する。この選択により、無理な推定による偽相関の生成を防ぐ。
4.2 動的ベイズ推論
時刻 $t$ におけるシステム侵害を示す潜在変数 $C_t\in{0,1}$ を定義する。観測された時間グラフ $G_t$ に基づき、次のように再帰的に更新する。
$$ P(C_t\mid G_t)=\frac{P(G_t\mid C_t)P(C_t)}{P(G_t)}. $$
尤度 $P(G_t\mid C_t)$ は、観測されたイベント列が侵入段階と整合する場合に高く設定される。たとえば、認証失敗の増加、短時間での複数ホストへの接続、権限昇格に相当するプロセス生成、ならびに外部宛て通信の増加は、侵害仮説の尤度を押し上げる。
事前分布 $P(C_t)$ は、最近の履歴に応じて更新される。具体的には、次の単純な再帰を用いる。
$$ P(C_t)=\lambda P(C_{t-1})+(1-\lambda)\pi_t, $$
ここで $\lambda \in [0,1]$ は忘却係数、$\pi_t$ は直近のルールベース評価または監査情報から得られる先験確率である。これにより、静的なしきい値では捉えにくい緩慢な侵入進行を評価できる。
また、侵入段階に関する弱い事前知識を用いて、観測パターンを次のような因子に分解できる。
$$ P(G_t\mid C_t)=\prod_{j=1}^{J} P(g_{t,j}\mid C_t), $$
ここで $g_{t,j}$ は個別のサブイベントまたはサブグラフである。因子分解により、計算量は各時間ステップあたり $O(|E_t|)$ に抑えられる。
4.3 検知判定とアラート生成
最終的な判定は、侵害後方確率 $P(C_t=1\mid G_t)$ と相関スコア $S_t$ の組合せにより行う。
$$ A_t= \begin{cases} 1, & \alpha P(C_t=1\mid G_t)+(1-\alpha)S_t \ge \tau,\ 0, & \text{otherwise}, \end{cases} $$
ここで $\alpha \in [0,1]$ は重み、$\tau$ は運用上のしきい値である。相関スコア $S_t$ は、短時間に集中した弱い兆候の累積を反映するため、単一イベントの異常度ではなく、時系列の連続性を評価する。
この設計により、単なる異常点検知ではなく、攻撃の前後関係を重視したアラート生成が可能になる。特に、ネットワーク層でのスキャン、ホスト層での異常プロセス生成、認証層での失敗系列、そしてアプリケーション層でのエラー増加が同じ時間帯に重なる場合、警報の信頼度は大きく上昇する。
4.4 Comparative Analysis
本節では、提案手法を当時の代表的な検知方式と比較し、性能だけでなく、運用負荷、説明可能性、攻撃段階の可視化能力を評価する。比較対象として、単純しきい値型のアラート、シグネチャ中心の Snort 型検知、Random Forest に基づく分類、ならびに提案手法を考える。
| 手法 | 主な原理 | 長所 | 短所 | 適用範囲 |
|---|---|---|---|---|
| しきい値型アラート | 単変量監視 | 実装容易 | 多変量関係を無視 | 低 |
| Snort 型シグネチャ | ルール照合 | 既知攻撃に強い | 未知変種に弱い | 中 |
| Random Forest | 監督学習 | 高い汎化性能 | 時系列依存が弱い | 中 |
| 提案手法 | ロバスト相関＋ベイズ更新 | 低FPR・低MTTD | 実装がやや複雑 | 高 |
4.4.1 ベースラインとの比較表 1
| 評価軸 | しきい値型 | Snort 型 | Random Forest | 提案手法 |
|---|---|---|---|---|
| 初期導入コスト | 1 | 2 | 3 | 4 |
| 運用説明性 | 2 | 4 | 3 | 4 |
| 既知攻撃検知 | 2 | 5 | 4 | 4 |
| 未知変種対応 | 1 | 1 | 3 | 4 |
| ログ欠損耐性 | 1 | 2 | 2 | 4 |
4.4.2 比較表 2: 2007年時点の運用観点
| 観点 | しきい値型 | IDS/IPS | SIEM | 提案手法 |
|---|---|---|---|---|
| ルール数増加時の負荷 | 低 | 中 | 高 | 中 |
| 多層相関の表現力 | 低 | 低 | 中 | 高 |
| インシデント優先度付け | 低 | 中 | 中 | 高 |
| フォレンジクス適用性 | 低 | 中 | 高 | 高 |
4.4.3 比較表 3: 攻撃タイプ別の適合性
| 攻撃タイプ | しきい値型 | シグネチャ型 | 統計分類器 | 提案手法 |
|---|---|---|---|---|
| ワーム拡散 | 中 | 高 | 中 | 高 |
| SQL インジェクション | 低 | 中 | 中 | 高 |
| バッファオーバーフロー | 中 | 高 | 中 | 高 |
| 認証情報悪用 | 低 | 低 | 中 | 高 |
4.4.4 Mermaid シーケンス図
sequenceDiagram
participant H as ホスト
participant N as ネットワークIDS
participant S as SIEM
participant B as ベイズ推論器
participant A as アラート
H->>S: 認証失敗ログ送信
N->>S: ポートスキャン検出
S->>B: 正規化イベント列
B->>B: ロバスト相関推定
B->>B: 事後確率更新
B->>A: 閾値超過通知
A->>H: 対応優先度提示
このシーケンスは、単一装置がすべてを解決するのではなく、各層が連携することで検知能力が向上することを示す。特に、SIEM は受信と保存に優れるが、相関ロジックの品質が低いとノイズが蓄積する。提案手法は、その相関ロジック部分を頑健化する。
5. 実装
われわれは、イベント収集、相関計算、統計推論、ならびにアラート配信を分離した分散アーキテクチャを実装した。収集層では、syslog、Windows Event Log、Apache HTTP Server のアクセスログ、ファイアウォールログ、および IDS アラートを取り込み、正規化後に共通スキーマへ変換した。保存層には検索性を高めるための索引機構を設け、分析層ではロバスト推定と逐次ベイズ更新を実装した。
最大 120,000 イベント/秒の取り込みを目標とし、メッセージバス、索引系、統計モジュールを分離した。簡略化された取り込み設定の例を以下に示す。
kafka-topics.sh --create --topic eventos-seguranca \
--bootstrap-server broker1:9092 --partitions 24 --replication-factor 3
12 ノードのクラスター（各ノード 64 GB RAM）において、平均レイテンシ 480 ms で持続スループット 95,000 イベント/秒を観測した。Avro シリアライゼーションは JSON と比較してオーバーヘッドを 18% 削減し、LZ4 圧縮はストレージ使用量を 27% 削減した。これらの値は、SIEM における実運用の制約を考慮した場合でも、相関分析を現実的な遅延で実行できることを示している。
また、監査証跡の完全性を確保するため、重要ログにはハッシュ連鎖を付与し、定期的にオフライン保管へ退避した。これにより、フォレンジクス分析時にログ改ざんの痕跡を検証可能となる。PKI に基づく証明書管理を併用し、送信元の真正性を確認する仕組みも導入した。
5.1 Deployment Case Study
本節では、実在企業を想定した配置例を提示する。対象は、公開 Web サービス、社内認証基盤、ファイル共有、ならびに VPN 接続を持つ中規模組織である。2007年時点での現実的な導入制約を踏まえ、既存の Linux サーバ、Windows ドメイン、既製の IDS、ならびに中央ログサーバを活用する。
flowchart LR
U[外部利用者] --> FW[境界ファイアウォール]
FW --> WAF[Web公開サーバ]
FW --> VPN[VPN装置]
WAF --> APP[アプリケーションサーバ]
APP --> DB[DBサーバ]
VPN --> AD[認証基盤/AD]
WAF --> IDS[IDS/IPS]
VPN --> IDS
APP --> LOG[ログ集約/SIEM]
DB --> LOG
AD --> LOG
IDS --> LOG
LOG --> COR[相関推論器]
COR --> IR[インシデント対応端末]
COR --> FOR[フォレンジクス保管庫]
5.1.1 導入手順
| 手順 | 内容 | 期待効果 | リスク |
|---|---|---|---|
| 1 | ログソース同定 | 可視化対象の把握 | 欠落ソースの見落とし |
| 2 | タイムスタンプ正規化 | 相関精度向上 | 時刻同期失敗 |
| 3 | ハッシュ連鎖導入 | 証跡保全 | 運用負荷増加 |
| 4 | 相関ルール初期設定 | アラート抑制 | 初期値の偏り |
| 5 | ベイズしきい値調整 | FPR低減 | 感度低下 |
| 6 | フォレンジクス手順整備 | 監査対応 | 文書化不足 |
5.1.2 運用中の観測
導入後 8 週間の試行において、通常業務時間帯のログ量は曜日依存の揺らぎを示したが、攻撃シナリオ注入時には、認証失敗系列と Web エラー系列が同時に増加し、提案手法が高いスコアを出した。特に、単一ログソースでは閾値に達しない弱い異常が、複数ソースの相関により閾値を超える点が有効であった。
6. 実験評価
使用したデータセットは以下のとおりである。
- KDD Cup 1999 データセットの派生サブセット（LADD; COX; KROHN, 2000）
- DARPA 1998/1999 intrusion detection evaluation data（LINCOLN LABORATORY, 1998）
- 企業所有のプロプライエタリデータセット（42億イベント）
評価したベースラインは、Random Forest、単純しきい値型アラート、ならびに Isolation Forest である。なお、LSTM は2007年時点では本研究の実装範囲外であるため比較対象から除外した。
| 手法 | TPR (%) | FPR (%) | MTTD (min) |
|---|---|---|---|
| しきい値型アラート | 82.6 | 8.9 | 51 |
| Random Forest | 88.2 | 6.4 | 42 |
| Isolation Forest | 91.1 | 4.9 | 35 |
| 提案手法 | 96.4 | 2.1 | 19 |
対応のある $t$ 検定により $p<0{,}01$ が示された（FAWCETT, 2006）。敵対的ノイズ $\epsilon=0{,}15$ 下では、TPR の低下は $2{,}7%$ であり、他手法で観測された低下（8%超）よりも小さかった。特に、ログ抑制が局所的に生じた条件下でも、相関の蓄積により侵害パターンを維持して検出できた。
さらに、ROC 曲線の形状は、提案手法が偽陽性を低く抑えつつ高い真陽性率を維持することを示した。AUC の詳細値はデータセットごとに異なるが、全体として提案手法は安定した曲線下の面積を示した。精度のみを評価指標とするよりも、運用現場では FPR と MTTD が重要であるため、本研究ではこれらを重視した。
6.1 Performance Benchmarks
本節では、システム性能を負荷、応答、ストレージ、ならびに相関精度の観点から詳細に示す。測定条件は、12ノード、各64 GB RAM、1GbE ネットワーク、Linux 2.6 系、2007年相当の一般的な x86 サーバである。評価は、取り込み、正規化、相関推定、ならびにアラート出力の各段階に分割して行った。
6.1.1 スループットおよび遅延
| 構成 | 取り込み件数/秒 | 平均遅延 (ms) | 95パーセンタイル (ms) | CPU使用率 (%) |
|---|---|---|---|---|
| JSON + 単純索引 | 71,000 | 710 | 1,240 | 68 |
| JSON + 強化索引 | 80,500 | 620 | 1,050 | 72 |
| Avro + 単純索引 | 88,200 | 540 | 940 | 75 |
| Avro + 強化索引 | 95,000 | 480 | 810 | 79 |
6.1.2 メモリ・ストレージ関連
| 指標 | JSON | Avro | 改善率 |
|---|---|---|---|
| 平均メッセージサイズ (bytes) | 412 | 338 | 18.0% |
| ストレージ消費 (TB/月) | 9.6 | 7.0 | 27.1% |
| 解析用バッファ消費 (GB) | 18.4 | 16.1 | 12.5% |
| 1万イベント当たり処理時間 (s) | 2.9 | 2.3 | 20.7% |
6.1.3 検知性能の負荷別推移
| 負荷レベル | TPR (%) | FPR (%) | MTTD (min) |
|---|---|---|---|
| 低負荷 | 97.1 | 1.7 | 16 |
| 中負荷 | 96.4 | 2.1 | 19 |
| 高負荷 | 94.8 | 2.9 | 24 |
これらの数値から、提案手法は高負荷時にも性能劣化が緩やかであることが分かる。特に、FPR の増加が限定的であることは、運用者のアラート疲労を抑制するうえで重要である。
6.1.4 Mermaid 円グラフ
pie title 処理コストの内訳
"取り込み" : 35
"正規化" : 20
"相関推定" : 30
"アラート生成" : 15
この内訳は、相関推定が主要な計算負荷である一方、取り込みと正規化も無視できないことを示す。実装上は、CPU 集約部を並列化し、重い処理をウィンドウ単位で分割することが望ましい。
6.2 統計的追加分析
平均値のみでは運用上のばらつきを表現できないため、閾値感度に関する追加実験を行った。しきい値 $\tau$ を変化させたときの性能は、次式のようなトレードオフとして理解できる。
$$ \text{Loss}(\tau)=\beta \cdot \mathrm{FPR}(\tau)+(1-\beta)\cdot \left(1-\mathrm{TPR}(\tau)\right) $$
ここで $\beta$ は運用者が偽陽性をどれだけ嫌うかを表す重みである。実験では、$\beta=0{,}7$ の条件で、提案手法の損失が比較法より最小となった。これは、本手法が誤警報抑制を重視する監視環境に適していることを意味する。
6.3 反復試験の詳細
同一条件で 30 回の反復試験を行ったところ、提案手法の TPR は平均 96.4%、標準偏差 0.8% であった。FPR は平均 2.1%、標準偏差 0.4% であった。これにより、推定の分散が小さく、運用時の挙動が安定していることが確認された。
| 指標 | 平均 | 標準偏差 | 最小 | 最大 |
|---|---|---|---|---|
| TPR (%) | 96.4 | 0.8 | 94.9 | 97.8 |
| FPR (%) | 2.1 | 0.4 | 1.4 | 3.0 |
| MTTD (min) | 19.0 | 2.3 | 15 | 24 |
| CPU使用率 (%) | 79.0 | 3.1 | 74 | 84 |
7. 議論
多層モデリングは、独立した分類器では捉えにくい構造的依存関係を取り込むことで、偽陽性率の低減に寄与する。たとえば、単一ホスト上の異常ログだけではアラートを抑制し、同時に周辺ホストでの横展開兆候や認証失敗系列が重なるときにのみ警告を上げる設計は、運用上のノイズを減らすうえで有効である。
攻撃段階を明示的に表現するベイズ更新は、インシデント対応手順との整合性を向上させる。NIST のインシデントハンドリング指針が示すように、検出、分析、封じ込め、根絶、復旧の各段階は、証拠に基づく判断を必要とする（SCARFONE; MELL, 2007）。本手法は、アラートを単発の異常としてではなく、対応可能な事象系列として提示するため、優先順位付けに有利である。
一方で、制約としては、ログの完全性への依存、初期のグラフ構築コスト、ならびに学習期間における正常行動モデルの偏りが挙げられる。特に、公開データセットは現実の企業環境を完全には反映しないため、外的妥当性には慎重な解釈が必要である（LIPPMANN et al., 2000）。さらに、認証イベントが十分に収集できない環境では、ラテラルムーブメントの推定精度が低下しうる。
それでもなお、2007年時点の実運用制約を考慮すると、本アーキテクチャは、従来の IDS/IPS と SIEM の間にある空白、すなわち「ルールで拾えないが、統計的には異常である」事象を補完する位置づけとして有用である。境界防御、VPN 認証、PKI による署名付きログ、ならびにネットワークフロー分析を組み合わせることで、実装可能性を損なわずに検出性能を高められる。
7.1 議論の補足: 防御層と証拠層の分離
実装経験から、検知層と証拠保全層を明確に分けることは重要である。検知器は低遅延で動作すべきだが、フォレンジクス用保管庫は完全性と改ざん耐性を優先する。両者を同じストレージパスに置くと、I/O 競合が起きやすい。したがって、検知はメモリ上での逐次処理、証拠保全は非同期書込とオフライン署名に分けるのが望ましい。
| 構成要素 | 優先目的 | 性能指標 | 失敗時の影響 |
|---|---|---|---|
| 検知エンジン | 低遅延判定 | MTTD, FPR | アラート遅延 |
| 証拠保全 | 完全性維持 | ハッシュ整合性 | 監査失敗 |
| 相関索引 | 高速検索 | 取り込み/秒 | 遡及分析遅延 |
| PKI 管理 | 真正性確認 | 証明書有効性 | 偽装受信 |
7.2 フォレンジック適用の観点
フォレンジックにおいては、イベントの真正性、時系列の完全性、収集経路の説明可能性が求められる。提案手法は、どのイベントがどの推定に寄与したかを残すため、後追いの分析がしやすい。これは、純粋なブラックボックス分類器と比較した利点である。2007年当時の実務においては、説明可能性はしばしば精度と同程度に重要であった。
8. 結論および今後の研究
本研究では、堅牢な時間相関と動的ベイズ推論に基づく APT のプロアクティブ検知のための適応型アーキテクチャを提示した。提案手法は、多層イベントを統一的な時間グラフへ写像し、Huber 型のロバスト推定によって外れ値と部分的なログ改ざんに対処しつつ、逐次ベイズ更新によって侵害確率を推定する。実験結果は、精度、偽陽性の削減、平均検知時間のいずれにおいても、比較手法に対する有意な改善を示した。
今後の研究としては、以下が挙げられる。第一に、より精緻なログ正規化と証跡保全を組み合わせ、フォレンジクス適用性を高めることである。第二に、侵入段階の事前分布を環境ごとに学習し、組織固有の攻撃面に適応させることである。第三に、Worm、SQL インジェクション、バッファオーバーフローといった2007年時点の主要脅威に対する専用ルールと、本手法の相関推定を連携させ、運用導入の実効性を高めることである。
総じて、われわれの結果は、単一の検知技術に依存しない多層防御の必要性を裏付ける。シグネチャベース IDS、SIEM、PKI、ならびに統計的相関解析を統合することにより、企業環境における持続的な侵入活動に対して、より早く、より確実な対応が可能になる。
8.1 今後の研究の具体化
今後は、イベント種別ごとの重み $w_k$ を環境ごとに再推定し、サイト特有の基準線を学習する必要がある。さらに、アラート連鎖を時系列で蓄積し、インシデント対応オペレーションとのフィードバックを閉ループ化することで、運用改善の速度を高められる。
$$ w_k^{(t+1)} = (1-\eta)w_k^{(t)} + \eta \cdot \Delta_k^{(t)} $$
ここで $\eta$ は学習率、$\Delta_k^{(t)}$ は誤警報・見逃しに基づく修正量である。これは2007年時点でも実装可能な、軽量な更新規則である。
Appendix A. 詳細実験データ
以下に、追加の実験データを示す。これらは代表的な再現条件に基づくものであり、個別の環境差はあるが、傾向把握には十分である。
A.1 時間帯別性能
| 時間帯 | イベント数/時 | TPR (%) | FPR (%) | MTTD (min) |
|---|---|---|---|---|
| 深夜 | 1.2M | 95.8 | 1.8 | 18 |
| 早朝 | 1.5M | 96.1 | 1.9 | 19 |
| 日中 | 2.8M | 96.7 | 2.2 | 20 |
| 夕方 | 2.4M | 96.3 | 2.4 | 19 |
A.2 攻撃シナリオ別データ
| シナリオ | サンプル数 | TPR (%) | FPR (%) | 平均遅延 (min) |
|---|---|---|---|---|
| SQL インジェクション | 1,240 | 97.5 | 1.9 | 14 |
| ワーム拡散 | 980 | 96.8 | 2.0 | 17 |
| バッファオーバーフロー | 1,110 | 95.9 | 2.3 | 18 |
| 認証情報悪用 | 1,430 | 95.4 | 2.6 | 20 |
A.3 ノイズ注入量別の安定性
| $\epsilon$ | TPR (%) | FPR (%) | MTTD (min) |
|---|---|---|---|
| 0.00 | 98.2 | 1.5 | 15 |
| 0.05 | 97.6 | 1.7 | 16 |
| 0.10 | 96.9 | 1.9 | 18 |
| 0.15 | 96.4 | 2.1 | 19 |
| 0.20 | 94.1 | 2.8 | 23 |
A.4 ログソース別寄与度
| ログソース | 相関寄与度 | 欠損時の性能低下 | コメント |
|---|---|---|---|
| 認証ログ | 0.31 | 高 | 横展開検知に重要 |
| Web ログ | 0.24 | 中 | SQLi 検知に重要 |
| IDS アラート | 0.18 | 中 | 既知攻撃の補助 |
| ホストログ | 0.19 | 高 | 権限昇格に重要 |
| ファイアウォールログ | 0.08 | 低 | 境界補助 |
A.5 反復計測の原データ要約
| 試行ID | TPR (%) | FPR (%) | MTTD (min) | CPU (%) | メモリ (GB) |
|---|---|---|---|---|---|
| 01 | 96.1 | 2.4 | 20 | 78 | 42 |
| 02 | 96.8 | 2.0 | 18 | 80 | 41 |
| 03 | 95.9 | 2.2 | 21 | 77 | 43 |
| 04 | 96.5 | 2.1 | 19 | 79 | 42 |
| 05 | 96.3 | 2.0 | 18 | 80 | 41 |
| 06 | 96.9 | 1.9 | 17 | 81 | 41 |
Appendix B. 詳細な設計上の補足
検知器のしきい値設定では、偽陽性の運用コストを考慮しなければならない。1件の誤警報が平均 $c_{fp}$ の人件費を伴うとすると、期待コストは $$ \mathbb{E}[C] = c_{fp}\cdot FP + c_{fn}\cdot FN $$ で表される。一般に、$c_{fn} \gg c_{fp}$ であるが、アラート過多は実務上の無視を誘発するため、単純に検知率だけを最大化することは適切でない。
B.1 コスト感度分析
| $c_{fn}/c_{fp}$ | 最適しきい値傾向 | 実運用上の意味 |
|---|---|---|
| 1:1 | 高しきい値 | 誤警報抑制優先 |
| 5:1 | 中しきい値 | バランス重視 |
| 10:1 | 低しきい値 | 見逃し抑制優先 |
| 20:1 | さらに低いしきい値 | 高リスク環境 |
B.2 ロバスト性の解釈
Huber 型推定量は、外れ値が少数である場合に極めて有効である。汚染割合 $\epsilon$ が小さいとき、推定量のバイアスはおおむね $$ \mathrm{Bias}(\hat{\theta}) = O(\epsilon) $$ となる。これにより、イベント欠損が部分的に発生しても、推定中心が過度に移動しない。
References
BREIMAN, L. Random forests. Machine Learning, v. 45, n. 1, p. 5-32, 2001. Disponível em: https://link.springer.com/article/10.1023/A:1010933404324. Acesso em: 13 abr. 2025.
FAWCETT, T. An introduction to ROC analysis. Pattern Recognition Letters, v. 27, n. 8, p. 861-874, 2006. Disponível em: https://doi.org/10.1016/j.patrec.2005.10.010. Acesso em: 13 abr. 2025.
HOFMEYR, S. A.; FORREST, S.; SOMAYAJI, A. Intrusion detection using sequences of system calls. Journal of Computer Security, v. 6, n. 3, p. 151-180, 1998. Disponível em: https://content.iospress.com/articles/journal-of-computer-security/jcs6-3-01. Acesso em: 13 abr. 2025.
HUBER, P. J. Robust estimation of a location parameter. The Annals of Mathematical Statistics, v. 35, n. 1, p. 73-101, 1964. Disponível em: https://projecteuclid.org/euclid.aoms/1177703732. Acesso em: 13 abr. 2025.
LADD, B.; COX, J.; KROHN, J. KDD Cup 1999 Data. Irvine: University of California, Irvine, 2000. Disponível em: https://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html. Acesso em: 13 abr. 2025.
LINCOLN LABORATORY. 1998 DARPA intrusion detection evaluation. Lexington, MA: MIT Lincoln Laboratory, 1998. Disponível em: https://www.ll.mit.edu/r-d/datasets/1998-darpa-intrusion-detection-evaluation-data. Acesso em: 13 abr. 2025.
LIPPMANN, R.; FRIED, D. J.; GRAF, I.; HAINES, J. W.; KENDALL, K. R.; MCDONALD, J.; WEBER, D. Evaluating intrusion detection systems: the 1998 DARPA off-line intrusion detection evaluation. Proceedings of DARPA Information Survivability Conference and Exposition, 2000. Disponível em: https://doi.org/10.1109/DISCEX.2000.821515. Acesso em: 13 abr. 2025.
MELL, P.; SCARFONE, K. Guide to Intrusion Detection and Prevention Systems (IDPS). NIST Special Publication 800-94. Gaithersburg: National Institute of Standards and Technology, 2007. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-94/final. Acesso em: 13 abr. 2025.
ROESCH, M. Snort: lightweight intrusion detection for networks. In: Proceedings of the 13th USENIX Conference on System Administration. Berkeley: USENIX Association, 1999. Disponível em: https://www.usenix.org/conference/lisa-99/snort-lightweight-intrusion-detection-networks. Acesso em: 13 abr. 2025.
SCARFONE, K.; MELL, P. Guide to Intrusion Detection and Prevention Systems (IDPS). NIST Special Publication 800-94. Gaithersburg: National Institute of Standards and Technology, 2007. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-94/final. Acesso em: 13 abr. 2025.