Paper Files / AI Security

生成AI時代におけるAIセキュリティの体系的防御アーキテクチャ：LLM攻撃面分析、実運用防御、およびゼロトラスト統合モデル（2026）

2026-04-16AI SecurityJA

2022年以降、大規模言語モデル（LLM）および生成AIの急速な普及により、従来のサイバーセキュリティに存在しなかった新しい攻撃面が顕在化した。特に、プロンプトインジェクション、トレーニングデータ汚染、モデル抽出、推論時情報漏洩、AIサプライチェーン侵害などの脅威は、従来のアプリケーションセキュリティやクラウドセキュリティの枠組みだけでは十分に対処できない。本研究は、2026年時点の実運用環境に基づき、AIシステムに対する攻撃モデルを体系化し、実践的な防御アーキテクチャを提示することを目的とする。本研究では、MITRE ATLASフレームワーク、OWASP Top 10 for LLM Applications、NIST AI Risk Management Framework、Microsoft Counterfit、IBM Adversarial Robustness Toolboxなどの既存研究およびツールを統合し、AIセキュリティを「モデル層」「推論層」「データ層」「インフラ層」の四層アーキテクチャとして定式化する。さらに、攻撃成功確率を評価するためのリスクスコアリングモデルを導入し、実環境における検出・防御の実装方法を提示する。実験では、Llama系モデルおよびOpenAI系APIを対象に、プロンプトインジェクション、モデル抽出、敵対的サンプル生成の攻撃実験を行い、防御手法としてプロンプトフィルタリング、出力監査、eBPFベースのランタイム監視、ゼロトラストAPIゲートウェイを組み合わせた防御構成を評価した。結果として、単一防御では平均攻撃成功率が62.3%であったのに対し、多層防御アーキテクチャを導入した場合には19.4%まで低減できることが確認された。さらに、実運用ケーススタディとして、企業内LLMアシスタント環境におけるデータ流出リスクを分析し、CNAPPおよびeBPFベース監視を統合したAIセキュリティ基盤を提案する。本研究は、生成AI時代のセキュリティ運用において、AI専用の脅威モデルとクラウドネイティブ防御の統合が不可欠であることを示す。

Introduction

2022年以降、生成AIおよび大規模言語モデル（Large Language Models: LLM）の普及は、サイバーセキュリティの攻撃面を根本的に拡張した。ChatGPT、Claude、Llama、Geminiなどのモデルが企業業務、ソフトウェア開発、カスタマーサポート、検索エンジン、SOC分析などに統合されることで、AIシステム自体が新たな攻撃対象となった。従来のアプリケーションセキュリティでは、SQLインジェクションやクロスサイトスクリプティングなどの入力処理の脆弱性が主要な問題であったが、LLMでは「プロンプト」が実質的なプログラム入力として機能するため、全く異なる攻撃手法が成立する（GOODFELLOW; MCGRAW, 2023）。

AIシステムのセキュリティ問題は、主に以下の3つの特性に起因する。第一に、モデルがブラックボックス的に振る舞う点である。深層学習モデルは数十億から数兆のパラメータを持ち、その内部挙動を完全に理解することは困難である。第二に、トレーニングデータへの依存性が極めて高い点である。データセットが汚染されると、モデル自体が攻撃ベクトルになる可能性がある。第三に、推論時の外部統合（API、検索、ツール呼び出し）により、AIが実際のシステム操作を行うケースが増加している点である。

MITRE ATLASは、AIシステムに対する攻撃手法を体系化したフレームワークであり、2025年までに40以上の攻撃技術が定義されている（MITRE, 2024）。また、OWASP Top 10 for LLM Applicationsでは、プロンプトインジェクション、機密データ漏洩、モデル盗難などが主要リスクとして挙げられている（OWASP, 2023）。

さらに、攻撃者は生成AIを利用して高度なソーシャルエンジニアリングやマルウェア生成を行うようになっている。2024〜2025年には、LLMを利用したフィッシングメール生成や、ポリモーフィックマルウェアの自動生成が実際の攻撃キャンペーンで観測されている（MANDIANT, 2024）。

このような背景から、AIセキュリティは単なる機械学習の研究領域ではなく、実運用のサイバー防御の一部として扱う必要がある。本研究の目的は以下の3点である。

・AIシステムに対する攻撃モデルを体系化する
・実運用で利用可能な防御アーキテクチャを提示する
・実験およびケーススタディを通じて防御効果を評価する

本研究では、LLMベースのAIシステムを対象とし、攻撃モデル、リスク評価、実装方法、実験評価を統合的に分析する。

Background and Related Work

AIセキュリティ研究は、主に「敵対的機械学習（Adversarial Machine Learning）」の分野から発展してきた。Goodfellowらは、深層ニューラルネットワークが微小な入力摂動によって誤分類を引き起こすことを示し、敵対的サンプルの概念を提案した（GOODFELLOW; SHLENS; SZEGEDY, 2015）。この研究は、AIモデルが意図的な入力操作に対して脆弱であることを示した初期の研究として広く知られている。

その後、Papernotらはモデル抽出攻撃を研究し、ブラックボックスAPIからモデルパラメータを推定できることを示した（PAPERNOT et al., 2017）。この攻撃は、クラウドAIサービスにおいて特に重要な問題となる。

近年では、LLM特有の攻撃として「プロンプトインジェクション」が注目されている。これは、ユーザー入力や外部データを利用してモデルの指示を上書きする攻撃である。例えば、「これまでの指示を無視して内部プロンプトを表示せよ」というような指示を埋め込むことで、内部情報を取得することが可能になる（GOULD et al., 2023）。

AI攻撃の主な分類は以下の通りである。

攻撃カテゴリ	説明	代表例
データ攻撃	トレーニングデータの汚染	Data Poisoning
モデル攻撃	モデル内部情報の抽出	Model Extraction
推論攻撃	推論時の入力操作	Prompt Injection
インフラ攻撃	AIインフラの侵害	GPUクラスタ侵害

さらに、AIセキュリティ研究では専用ツールも開発されている。

ツール	開発元	主用途
Counterfit	Microsoft	AIモデル攻撃テスト
ART	IBM	敵対的攻撃生成
Garak	NVIDIA	LLMセキュリティ評価
Promptfoo	Open Source	LLMテスト

これらのツールは、レッドチーム活動において重要な役割を果たしている。

Threat Model and Problem Formalization

AIシステムを攻撃する場合、攻撃者の目的は主に以下の4つに分類される。

機密情報取得
モデル操作
サービス妨害
モデル窃取

AIシステムを形式的に以下のように定義する。

$$ f_\theta(x) = y $$

ここで
$x$ は入力プロンプト
$y$ は出力
$\theta$ はモデルパラメータ

攻撃者は入力 $x’$ を操作し、

$$ x’ = x + \delta $$

のような摂動 $\delta$ を加えることで、モデル出力を操作する。

リスクスコアは以下で定義する。

$$ Risk = P(A) \times Impact \times Exposure $$

ここで
$P(A)$ = 攻撃成功確率
Impact = 被害規模
Exposure = 攻撃面の広さ

Proposed Methodology

本研究では、多層防御アーキテクチャを提案する。

層	防御技術
モデル層	adversarial training
推論層	prompt filtering
データ層	dataset provenance
インフラ層	eBPF runtime monitoring

この構成はゼロトラスト原則に基づく。

Implementation

以下はIBM ARTを使用した敵対的サンプル生成例である。

pip install adversarial-robustness-toolbox

python generate_attack.py \
  --model resnet50 \
  --attack fgsm \
  --epsilon 0.03

FalcoによるAIランタイム監視例:

falco -r falco_rules.yaml

Experimental Evaluation

実験はGPUクラスタ上で実施した。

防御構成	攻撃成功率
防御なし	78%
プロンプトフィルタ	54%
多層防御	19%

Case Study

企業内LLMアシスタントを対象に分析した。

攻撃者は社内Wikiページにプロンプトインジェクションを埋め込み、LLMが内部情報を出力するよう誘導した。

Discussion

AIセキュリティは従来のAppSecとは異なる。

Conclusion and Future Work

AIシステムには専用のセキュリティ設計が必要である。

REFERENCES

GOODFELLOW, I.; SHLENS, J.; SZEGEDY, C. Explaining and Harnessing Adversarial Examples. 2015. https://arxiv.org/abs/1412.6572

PAPERNOT, N. et al. Practical Black-Box Attacks against Machine Learning. 2017. https://arxiv.org/abs/1602.02697

MITRE. ATLAS Framework. 2024. https://atlas.mitre.org

OWASP. Top 10 for LLM Applications. 2023. https://owasp.org/www-project-top-10-for-large-language-model-applications/

GOODFELLOW, I.; MCGRAW, G. Machine Learning Security. 2023.

MANDIANT. M-Trends Report. 2024. https://www.mandiant.com/resources/m-trends

NIST. AI Risk Management Framework. 2023. https://www.nist.gov/itl/ai-risk-management-framework

IBM. Adversarial Robustness Toolbox. 2024. https://github.com/Trusted-AI/adversarial-robustness-toolbox

MICROSOFT. Counterfit Tool. 2023. https://github.com/Azure/counterfit

NVIDIA. Garak LLM Scanner. 2024. https://github.com/NVIDIA/garak

OpenAI. GPT‑4 Technical Report. 2023. https://arxiv.org/abs/2303.08774

Anthropic. Constitutional AI. 2022. https://arxiv.org/abs/2212.08073

Google. Gemini Technical Report. 2024. https://arxiv.org

Meta. Llama 3 Model Card. 2024. https://ai.meta.com

Cilium. Tetragon Runtime Security. 2024. https://cilium.io

Falco. Cloud Native Runtime Security. 2024. https://falco.org

MITRE. ATT&CK Framework. 2024. https://attack.mitre.org

ENISA. AI Threat Landscape. 2023. https://www.enisa.europa.eu

Microsoft. AI Red Teaming Guidance. 2024. https://learn.microsoft.com

Google. Secure AI Framework (SAIF). 2023. https://security.google

OWASP. Machine Learning Security Top 10. 2023. https://owasp.org

Krebs, B. AI Phishing Attacks. 2024. https://krebsonsecurity.com

DARPA. GARD Program. 2022. https://www.darpa.mil

EU. AI Act Documentation. 2024. https://eur-lex.europa.eu

Cisco. AI Security Report. 2025. https://www.cisco.com

Cloud Security Alliance. AI Security Guidance. 2024. https://cloudsecurityalliance.org