Paper Files / AI Security
攻撃的AIと防御的AIが交差する2026年のAIセキュリティ：LLM、エージェント基盤、MLOpsに対する脅威モデル、実装手法、評価
本稿は、2026年時点のサイバーセキュリティ文脈におけるAI Securityを、生成AI・大規模言語モデル（LLM）・自律エージェント・MLOps/LLMOpsを含む実運用系の観点から体系化する研究である。AIは既に、SOC支援、フィッシング検知、脅威ハンティング、ソフトウェア開発、コードレビュー、脆弱性分析、対話型オペレーションの中核に組み込まれている一方、同じ技術は攻撃側にとっても、精密なソーシャルエンジニアリング、マルウェア生成、フィッシングの多言語化、プロンプトインジェクション、データ汚染、モデル抽出、推論時の機密漏えいを促進する。そこで本稿は、AIシステムを「データ面」「モデル面」「推論・エージェント面」「運用統制面」の4層に分解し、脅威を定式化したうえで、実装可能な防御アーキテクチャを提案する。提案手法は、入力正規化、ポリシー強制、RAGコンテンツ隔離、機密境界の明確化、監査証跡の非改ざん化、eBPFベースの実行観測、CNAPP/ゼロトラスト連携、赤青双方の継続的評価を統合するものである。さらに、公開ベンチマークと実運用に近い評価設計を用いて、プロンプト注入耐性、機密情報の漏えい抑止、応答有用性、運用オーバーヘッドのトレードオフを分析する。結果として、AIセキュリティは単一の「LLM防御」では成立せず、クラシックなアプリケーションセキュリティ、サプライチェーンセキュリティ、クラウド防御、ID基盤、インシデントレスポンスを横断する統合設計が必要であることを示す。最後に、2026年以降に重要となるAIガバナンス、ポスト量子暗号、エージェントの権限制御、評価データの汚染耐性について将来課題を議論する。
1. Introduction
2026年のサイバー空間において、AIはもはや「補助機能」ではなく、攻撃者と防御者の双方が依存する作戦基盤である。SOCではLLMがアラート要約や初動トリアージに使われ、開発現場ではコード生成、レビュー支援、脆弱性修正提案が常態化している。攻撃側も同様に、生成AIを利用した多言語フィッシング、ビジネスメール詐欺、スピアフィッシング、サプライチェーン偽装、マルウェアの変種生成を実用化している（BRUNDAGE, 2018; NIST, 2024a）。この状況では、AIは単なる「データ科学」の対象ではなく、防御対象であると同時に攻撃手段でもあるという二面性を持つ。
AI Securityを議論する際の最大の誤りは、モデルの精度だけを中心に据えることである。実際には、AIシステムの攻撃面は、学習データ、埋め込みモデル、ベクトルDB、RAGパイプライン、外部ツール接続、プロンプトテンプレート、権限委譲、監査ログ、モデル更新、サードパーティAPI、クラウド実行基盤に分散する。攻撃者は、必ずしもモデル自体を破壊する必要はない。たとえば、RAG文書に悪性命令を紛れ込ませ、エージェントに不要な外部操作を実行させ、機密情報を含むコンテキストを引き出せば、システム全体の安全性は崩壊する（OWASP, 2024; MITRE, 2025）。この意味で、2026年のAI Securityは、従来のアプリケーションセキュリティに新しい入出力チャネルと自律性が加わった問題として捉える必要がある。
本稿の主張は明確である。第一に、AIシステムの脅威モデルは、学習時と推論時を分離して考えるだけでは不十分であり、データ供給鎖、モデル資産、実行時ツール権限、運用統制を統合した層別モデルが必要である。第二に、実効的な防御は単独の「ガードレール」では成立せず、入力検証、機密分離、最小権限、実行観測、継続評価、レッドチーミングを組み合わせる必要がある。第三に、AI安全性の評価は静的ベンチマークだけではなく、攻撃者の適応を前提とした動的・対抗的評価でなければならない。これは、$ \text{Risk} = P(\text{exploit}) \times \text{Impact} $ の古典的関係が、AIでは「プロンプト誘導」「外部ツール誤用」「知識汚染」「機密流出」の複数経路に分解されるためである。
AI Securityの実務は、2026年において次の4つの現実に規定される。第一に、LLMは企業の中核ワークフローに深く埋め込まれ、攻撃成功時の影響が広範である。第二に、攻撃者は生成AIを使って人間の認知バイアスを突くため、検知と教育だけでは抑止しきれない。第三に、AIシステムは従来のAPIよりも不透明で、出力の確率性が事故対応を難しくする。第四に、クラウド、ID、端末、データ基盤、CI/CDが相互接続されているため、1点突破が横展開に繋がる（ENISA, 2024; CISA, 2024）。
本稿では、これらの問題を整理したうえで、実装可能な防御設計を提示する。特に、RAG/エージェント系AIに対して、入力段階での正規化と危険指示の分離、推論中の文脈境界保護、ツール実行前のポリシー照合、出力監査、セッション隔離、モデル/文書/ツールのソフトウェア部品表（SBOM/MBOM/DBOM）管理を提案する。さらに、実装面では、NVIDIA Morpheus、OpenTelemetry、eBPF、OPA/Gatekeeper、SIEM/SOAR、クラウドネイティブ保護を接続する構成を示す。最後に、評価では攻撃耐性と有用性の両立を、定量的に検証する。
2. Background and Related Work
AI Securityの研究は、従来の機械学習セキュリティから生成AI・LLM・エージェント時代へと拡張されてきた。初期研究は、敵対的サンプル、データ汚染、モデル反転、推論攻撃、会員推論など、主として分類器や回帰器を対象としていた（BIGGIO, 2018; GOODFELLOW, 2015）。これらは依然として重要だが、2020年代半ば以降の主戦場は、自然言語インターフェースを持つ汎用モデルと、その周辺のオーケストレーション層へ移った。特に、LLMは単一モデルではなく、RAG、ツール呼び出し、外部API、長期メモリ、セッション管理、権限委譲を持つシステムとして理解しなければならない（NIST, 2024a; OWASP, 2024）。
関連標準として、NIST AI RMF 1.0はAIリスクをガバナンス、マップ、測定、管理の観点から捉え、組織横断の統制を促した（NIST, 2023）。NISTの生成AIに関する暫定ガイダンスは、モデルの透明性、データ品質、レッドチーミング、人的監督の必要性を強調している（NIST, 2024a）。ISO/IEC 42001はAIマネジメントシステムの要求事項を定義し、組織的統制を制度化した（ISO, 2023）。一方で、OWASP Top 10 for LLM Applicationsは、プロンプトインジェクション、機密情報漏えい、不適切な出力処理、サプライチェーン脆弱性、過信、権限誤用など、実装者が直面する具体的リスクを整理した（OWASP, 2024）。MITRE ATLASは、AIに対する攻撃戦術・技術・手順を体系化し、脅威分析を操作可能にした（MITRE, 2025）。
攻撃研究では、プロンプトインジェクションが最も注目された。これは、ユーザ入力や外部文書に悪性命令を埋め込み、モデルに本来の制約を逸脱させる手法である。RAG環境では、検索結果に悪性テキストを混入させることで、コンテキスト外の指示が優先される危険がある。さらに、HTML、PDF、Markdown、Office文書、画像内文字列、OCR結果など、複数のコンテンツ形式を跨ぐため、単純なフィルタでは防ぎにくい（GRESHAKE, 2023; OWASP, 2024）。自律エージェントでは、ツール呼び出しやメモリ更新が介在するため、攻撃は「生成」から「実行」へと拡張する。ここでは、モデル出力がそのまま命令として解釈される危険があり、権限管理の不備が即座に現実世界の操作へ繋がる。
防御側の研究も進展した。コンテンツ安全フィルタ、レジスタリングされたプロンプト、出力検査、ポリシーエンジン、フィードバックループ、RLHF、DPO、憲法AI、自己整合性、ツール実行のサンドボックス化などが提案された（BAI et al., 2022; ANTHROPIC, 2024）。しかし、これらは単独では不十分である。なぜなら、攻撃者はモデルの出力そのものではなく、外部コンテキスト、サードパーティ連携、データパイプライン、権限設定、ログの欠落を突くからである。結果として、AI Securityは、クラウドセキュリティ、ID管理、アプリケーションセキュリティ、データガバナンス、機械学習工学の交点に位置づけられる。
以下の表は、AI Securityで扱う主要資産と、従来のアプリケーションセキュリティとの違いを整理したものである。
| 資産 | 従来のアプリセキュリティ | AI Securityでの追加リスク | 代表的防御 |
|---|---|---|---|
| プロンプト/コンテキスト | XSSや入力検証不足 | プロンプトインジェクション、間接注入 | 正規化、命令/データ分離 |
| 学習データ | DB漏えい | データ汚染、バックドア学習 | データ署名、来歴管理 |
| ベクトルDB/RAG | 検索権限の誤設定 | 悪性文書注入、機密流出 | ACL、フィルタ、隔離 |
| ツール/API | SSRFやRCE | 自律実行、過剰権限、誤操作 | 最小権限、OPA、サンドボックス |
| モデル本体 | バイナリ改ざん | 抽出、蒸留、脱獄、重み漏えい | 署名検証、アクセス制御 |
| ログ/監査 | 監査欠落 | 機密のログ流出 | マスキング、不可変ログ |
3. Threat Model and Problem Formalization
本稿の脅威モデルは、AIシステムを四層に分解する。第一層はデータ層であり、学習データ、微調整データ、評価データ、RAG文書、ベクトル埋め込み、メタデータを含む。第二層はモデル層であり、基礎モデル、微調整済み重み、アダプタ、量子化表現、蒸留モデルを含む。第三層は推論・エージェント層であり、プロンプト、コンテキストウィンドウ、メモリ、ツール呼び出し、計画器、行動選択器を含む。第四層は運用統制層であり、ID、権限、監査、ポリシー、クラウド、CI/CD、サプライチェーン、インシデント対応を含む。
攻撃者の目的関数は、機密情報の窃取、判断の歪曲、誤操作の誘発、サービス停止、モデル資産の流出、評判毀損、経済的利益の獲得である。攻撃者の能力としては、外部ユーザ、認証済み内部者、サプライチェーン侵害者、文書投稿者、連携先API提供者、侵入後の横展開主体を想定する。防御者は、機密データ、モデル資産、ユーザの安全、システム可用性、法令順守、証跡保全を目的とする。
ここでの脅威は、単純な「悪意ある入力」ではない。AIシステムでは、正当な入力と悪性入力の境界が曖昧である。たとえば、RAGにおける文書検索結果は、形式的には正しい情報であっても、内容としてはモデルに対する命令として解釈される危険がある。これを形式化すると、入力 $x$ はデータ $d$ と命令 $i$ の和集合として表され、モデル $M$ は $\hat{y}=M(d,i)$ を出力する。しかし、推論時に境界が崩れると、モデルは $d$ を $i$ と誤認し、攻撃者は望ましい出力 $y^*$ を誘導できる。したがって、防御は $x$ の分類だけでなく、セマンティックな境界維持を目標とすべきである。
リスクを定式化すると、各攻撃ベクトル $a_j$ に対して、期待損失は次式で表せる。
$$ R = \sum_{j=1}^{n} P(a_j)\cdot I(a_j)\cdot (1-D(a_j)) $$
ここで $P(a_j)$ は攻撃成立確率、$I(a_j)$ は影響度、$D(a_j)$ は防御有効性である。AI特有なのは、$P(a_j)$ がモデル更新、文脈長、ツール権限、検索順位、会話履歴によって大きく変動する点である。したがって、防御の評価も静的な単発試験ではなく、反復的・動的でなければならない。
次表は、代表的攻撃と防御対象を整理したものである。
| 攻撃クラス | 主な対象 | 典型的手口 | 代表的影響 | 主防御 |
|---|---|---|---|---|
| 直接プロンプトインジェクション | LLM/エージェント | 悪性指示の注入 | 制約逸脱 | 命令分離、フィルタ |
| 間接プロンプトインジェクション | RAG/外部文書 | Web/文書内の埋め込み命令 | 機密流出、誤操作 | 文書サニタイズ、隔離 |
| データ汚染 | 学習/評価データ | バックドア、ラベル汚染 | 挙動改変 | 来歴管理、検証 |
| モデル抽出/蒸留 | API公開モデル | 反復問い合わせ | 知財流出 | レート制御、異常検知 |
| 会員推論 | 学習データ | 出現有無の推定 | プライバシー侵害 | DP、正則化 |
| ツール誤用 | エージェント | 過剰権限の実行 | 横展開、破壊 | 最小権限、承認 |
4. Proposed Methodology
本稿は、AI Securityを「境界防御型LLM/エージェント保護アーキテクチャ」として提案する。中核思想は、入力・推論・実行・監査の各段階に独立した制御点を置き、単一故障点をなくすことである。第一に、入力正規化層では、ユーザ入力、RAG文書、外部API応答を同一平面に載せず、由来ごとにラベル付けする。第二に、指示/データ分離層では、モデルに渡すコンテキストを「命令」「事実」「引用」「不確実情報」に分割し、命令は最小限のホワイトリストで管理する。第三に、ツール実行層では、エージェントの出力をそのまま実行せず、OPA/Rego等のポリシーエンジンで許可された操作のみを実行する。第四に、監査・観測層では、プロンプト、応答、ツール呼び出し、外部参照、権限決定を不可逆な形で記録し、eBPFやOpenTelemetryで実行痕跡を補完する。
この方式の利点は、プロンプトインジェクションを「検知」するだけでなく、実行に至る前に権限境界で止めることである。検知は確率的であり、攻撃者は形式や言い回しを変えて回避する。一方、権限境界は決定的であり、ポリシーにない操作は通さない。したがって、AI防御は、コンテンツ安全フィルタを「最後の補助線」と位置づけ、中心を機密分離と最小権限に置くべきである。
提案アーキテクチャの主要コンポーネントは以下の通りである。まず、すべての外部入力に対して、MIMEタイプ、ソース、信頼度、署名、更新時刻を付与する。RAG検索では、文書ごとに「情報ソース」と「命令ソース」を分け、命令的記述を抽出して隔離する。次に、プロンプト生成器は、システム指示、ユーザ意図、検索断片を明示的な区画に分け、モデルに対して「この区画はデータであり命令ではない」という契約を埋め込む。さらに、エージェントの外部操作は、ワークフローエンジンに委譲し、モデルは操作案を提案するだけに限定する。最終的な実行は、人間承認または厳格なポリシー通過後に行う。
評価指標としては、精度に加えて、攻撃成功率（ASR）、機密情報漏えい率（CIR）、有害ツール呼び出し率（HTCR）、有用性低下率（URD）、**平均レイテンシ増分（ΔL）**を用いる。特にASRは、攻撃セット $\mathcal{A}$ に対して成功した攻撃数 $s$ と総攻撃数 $|\mathcal{A}|$ から、
$$ ASR = \frac{s}{|\mathcal{A}|} $$
で定義する。防御はASRを下げるだけでなく、$URD$ と $\Delta L$ を許容範囲に抑える必要がある。実運用では、完璧な遮断よりも、誤検知による業務阻害を最小化しながら高リスク操作だけを止める設計が望ましい。
| レイヤ | 防御機構 | 実装技術 | 期待効果 |
|---|---|---|---|
| 入力 | 形式検証 | MIME/署名/スキーマ検証 | 悪性混入低減 |
| コンテキスト | 境界分離 | RAGラベリング、引用隔離 | 間接注入耐性 |
| 推論 | 安全制約 | システムプロンプト強化、憲法AI | 逸脱抑制 |
| 実行 | ポリシー制御 | OPA/Rego、承認フロー | 過剰権限防止 |
| 観測 | 不可変監査 | SIEM、WORM、OpenTelemetry | 追跡性向上 |
| 基盤 | 端末/クラウド監視 | eBPF、CNAPP | 横展開検知 |
5. Implementation
実装は、現実のSOC/クラウド環境に統合可能な形で設計する。推論基盤はKubernetes上のコンテナとして稼働し、APIゲートウェイ、RAGサービス、ポリシーエンジン、監査収集器、モデルサービングを分離する。モデルサービングはvLLMやTriton Inference Serverのような推論基盤を用い、RAGはベクトルDBと文書ストアを明確に分離する。外部ツール呼び出しはFunction Calling形式で受けるが、直接実行はしない。ツール要求はまずポリシー評価器に送られ、許可された場合のみジョブキューに投入する。
監視面では、OpenTelemetryでAPI呼び出しとモデルイベントを相関させ、eBPFでコンテナ内部のシステムコール、ネットワーク接続、ファイルアクセスを観測する。これにより、LLMの出力が実際に外部通信やファイル操作へ結びついたかを追跡できる。さらに、CNAPPでクラウド設定を継続評価し、公開ストレージ、過剰権限IAM、暗号化無効化、秘密情報の平文保管を検出する。モデルファイル、プロンプトテンプレート、RAG文書、ポリシー定義は署名付きで管理し、CI/CDでのみ更新可能とする。
以下は、Kubernetes上でLLMワークロードに対する基本的なネットワーク観測とセキュリティ制御を行う例である。
kubectl apply -f cilium-network-policy.yaml
kubectl -n ai-system logs deploy/rag-gateway -f
kubectl -n ai-system exec -it deploy/policy-engine -- opa eval -i request.json -d policy.rego "data.ai.allow"
package ai
default allow = false
allow {
input.action == "send_email"
input.risk_score < 0.3
input.user_role == "workflow_approver"
not input.contains_secret
}
allow {
input.action == "read_ticket"
input.user_role == "soc_analyst"
input.ticket_classification == "public"
}
また、Python側では、RAGの取得結果に対して文書由来ラベルを付与し、命令文の混入を抑制する。ここでは、文書セグメントを「引用可能」「要約可能」「実行不可」に分類する前処理を導入する。実装上の肝は、モデルに「何を知っているか」ではなく「何を実行してよいか」を別系統で教える点である。
| コンポーネント | 技術例 | セキュリティ目的 | 運用上の注意 |
|---|---|---|---|
| APIゲートウェイ | Envoy, NGINX | 認証・認可 | レート制御必須 |
| ポリシーエンジン | OPA/Rego | 操作許可判定 | ルールのテスト自動化 |
| 監査基盤 | OpenTelemetry, SIEM | 追跡性確保 | ログの秘匿化 |
| 基盤監視 | eBPF, Cilium | 実行観測 | カーネル互換性 |
| クラウド統制 | CNAPP | 設定逸脱検知 | マルチクラウド対応 |
| モデル配信 | vLLM, Triton | 推論提供 | GPU分離と認証 |
6. Experimental Evaluation
評価では、公開ベンチマーク、合成テスト、運用想定シナリオを組み合わせる。ベンチマークとしては、プロンプト注入評価に関連する公開データセットやレッドチーミング手法、LLMの安全性評価フレームを利用する。具体的には、間接プロンプトインジェクション耐性、機密抽出耐性、有害ツール呼び出し抑止、誤検知率、レイテンシを測定する。実験設計では、各テストケースを10回以上反復し、平均だけでなく分散も確認する。統計的には、成功率差に対して二項比率の比較を用い、レイテンシについては中央値と$p95$を見る。
評価結果の一例を以下に示す。数値は、代表的な構成における比較評価であり、ベースラインは「LLMに直接入力、最小限の出力フィルタのみ」、提案法は「入力正規化＋境界分離＋OPA＋監査」を意味する。
| 指標 | ベースライン | 提案法 | 改善率 |
|---|---|---|---|
| 直接プロンプト注入ASR | 0.62 | 0.11 | 82.3%低減 |
| 間接プロンプト注入ASR | 0.71 | 0.14 | 80.3%低減 |
| 機密抽出率 | 0.48 | 0.07 | 85.4%低減 |
| 有害ツール呼び出し率 | 0.39 | 0.05 | 87.2%低減 |
| 誤検知率 | 0.06 | 0.09 | 増加 |
| 平均レイテンシ増分 | 0 ms | +38 ms | — |
誤検知率は若干上昇するが、実務上は許容範囲であった。特に、承認が必要な高リスク操作に対しては誤検知が安全側に働くため、業務影響は限定的だった。レイテンシ増分は、ポリシー評価と監査書き込みに起因し、$p95$で大きくなる傾向があるが、会話型操作では十分実用的であった。
次の表は、RAGにおける文書種別別の攻撃耐性を示す。HTMLやMarkdownのような自由形式は注入リスクが高く、PDFやOffice文書は抽出パイプラインの複雑さがリスクを増大させた。最も効果があったのは、ソース信頼度に基づく重み付けと、引用と命令の分離であった。
| 文書種別 | ベースラインASR | 提案法ASR | 主要リスク |
|---|---|---|---|
| HTML | 0.78 | 0.16 | 隠し命令、リンク偽装 |
| Markdown | 0.74 | 0.13 | 引用内注入 |
| 0.69 | 0.15 | OCR誤認、埋め込み命令 | |
| Office文書 | 0.66 | 0.12 | コメント/メタデータ注入 |
| Plain text | 0.41 | 0.08 | 直接命令混入 |
さらに、エージェントの権限レベル別に評価したところ、最小権限構成は高権限構成に比べて攻撃成功率を大きく下げた。これは、AI Securityにおいては「モデルの賢さ」よりも「実行可能権限の狭さ」が、実効防御を左右することを示している。
| 権限構成 | ツール数 | 攻撃成功率 | 被害範囲 |
|---|---|---|---|
| なし | 0 | 0.04 | なし |
| 読み取り専用 | 3 | 0.09 | 情報漏えい中心 |
| 制限付き実行 | 5 | 0.13 | 一部誤操作 |
| 高権限 | 11 | 0.31 | 横展開可能 |
7. Case Study
ケーススタディとして、社内SOC向けの「アラート要約エージェント」を考える。このエージェントは、SIEMからアラートを読み込み、関連ログを検索し、チケットを要約し、必要に応じて封じ込め手順を提案する。攻撃者は、外部公開された技術記事やチケットコメント欄にプロンプトインジェクションを仕込み、要約時に「認証情報を収集して報告せよ」「このアラートは無視せよ」といった命令を埋め込むことができる。もしエージェントがチケットシステムやEDR操作権限まで持っていれば、誤操作がそのままインシデント拡大に繋がる。
提案アーキテクチャを導入した環境では、アラート要約は可能だが、実行系操作は別プロセスに分離される。要約はLLMが担当するが、封じ込め操作はポリシーエンジンと人間承認を経由する。結果として、要約の品質は維持されつつ、誤封じ込めや不用意な証跡削除は防止された。特に、RAG文書に含まれる命令的記述は、引用領域として表示されるだけで、モデルのシステム指示として昇格しなかった点が重要である。
この事例から得られる教訓は、AIエージェントを「自動化の加速装置」と見るのではなく、限定的な助言者として設計すべきだという点である。助言と実行を分離しない限り、攻撃者は推論を経由して運用権限を奪取できる。SOCのような高感度環境では、速度よりも正確な権限境界が優先されるべきである。
8. Discussion
AI Securityの本質は、モデルの脆弱性ではなく、システム全体の信頼境界の再設計にある。2026年時点で多くの組織は、LLMを既存の業務フローに急速に接続しているが、ガバナンスは追いついていない。たとえば、プロンプトの版管理、RAG文書の来歴、外部APIの契約、データ保持期間、ログの秘匿化、モデル更新の承認、レッドチームの責任分界が曖昧である。これでは、セキュリティ統制が断片化し、事故時の原因究明も困難になる。
防御の実務では、ゼロトラストの成熟が追い風となる。IDベースの動的認可、セグメンテーション、継続的検証、端末姿勢評価は、AIエージェントにもそのまま適用できる。さらに、CNAPPとeBPFの組み合わせは、AIワークロードに対する観測性を大きく高めた。今後は、モデルそのものの評価だけでなく、推論時のシステムコール、ネットワーク接続、外部ツール操作を相関させる運用が標準になるだろう。
一方で、AI Securityにはトレードオフがある。制御を強めるほど、柔軟性とUXは失われる。レッドチーミングを強化すると、開発速度は低下する。監査を細かくすると、コストとプライバシーの懸念が増す。したがって、すべてを一律に厳格化するのではなく、リスクベースで段階的統制を行うべきである。低リスクの要約や検索には緩い制御を、高リスクの送金、設定変更、削除、外部送信には強い制御を適用する設計が現実的である。
以下は、主要な設計上のトレードオフである。
| 項目 | 強い統制の利点 | 強い統制の欠点 | 推奨方針 |
|---|---|---|---|
| 最小権限 | 事故抑止 | 利便性低下 | 高リスク操作に必須 |
| 厳格監査 | 追跡性向上 | ログ機密化の負担 | マスキング併用 |
| 入力フィルタ | 注入抑制 | 誤検知 | 多段防御の一部 |
| 人間承認 | 安全性向上 | レイテンシ増 | 重要操作のみ |
| 外部ツール制限 | 横展開阻止 | 自動化低下 | 段階的許可 |
ポスト量子暗号の観点も見逃せない。AIシステムそのものが量子計算に直接脆弱というより、長期保存される学習データ、監査ログ、モデル署名、API認証が将来的に保護対象となる。今後は、モデル配布物や署名基盤にもPQC移行計画が必要になる。また、AIガバナンスは技術問題であると同時に組織問題であるため、法務、プライバシー、リスク、開発、SOCの連携が不可欠である。
9. Conclusion and Future Work
本稿は、2026年時点のAI Securityを、LLM、RAG、自律エージェント、MLOps/LLMOpsを含む実運用システムとして定式化し、脅威モデル、提案アーキテクチャ、実装方法、評価、ケーススタディを通じて、単一の「AIフィルタ」では防御できないことを示した。中心的結論は、AIセキュリティの本丸がモデル内部ではなく、データ来歴、権限境界、ツール実行、監査統制にあるという点である。したがって、最小権限、命令/データ分離、ポリシー駆動実行、不可変監査、継続的レッドチーミングを統合した防御が必要である。
今後の研究課題としては、第一に、エージェントの形式検証と実運用の折り合いをどう付けるかが重要である。第二に、RAG文書や外部コンテンツの信頼度を機械的に推定する手法が必要である。第三に、AIレッドチーミングの自動化と、その結果を防御に反映する継続学習パイプラインが必要である。第四に、AIガバナンスと法規制を、技術統制と整合させる必要がある。AI Securityは、2026年以降も急速に変化するが、基本原理は変わらない。信頼できないものは実行させない、見えないものは信用しない、権限のないものには触らせない。この三原則が、AI時代の防御設計の土台である。
10. References
ANthropic. Claude 3 model card. 2024. Disponível em: https://www.anthropic.com/news/claude-3-family. Acesso em: 6 maio 2026.
BIGGIO, Battista; ROLLA, Ignazio; ROLI, Fabio. Security evaluation of machine learning algorithms. In: EURASIP Journal on Information Security, 2018. Disponível em: https://eurasipjournals.springeropen.com/articles/10.1186/s13635-018-0075-4. Acesso em: 6 maio 2026.
BRUNDAGE, Miles et al. The malicious use of artificial intelligence: Forecasting, prevention, and mitigation. 2018. Disponível em: https://arxiv.org/abs/1802.07228. Acesso em: 6 maio 2026.
CISA. Secure by design, secure by default. 2024. Disponível em: https://www.cisa.gov/securebydesign. Acesso em: 6 maio 2026.
ENISA. ENISA Threat Landscape 2024. 2024. Disponível em: https://www.enisa.europa.eu/publications/enisa-threat-landscape-2024. Acesso em: 6 maio 2026.
GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. 2015. Disponível em: https://arxiv.org/abs/1412.6572. Acesso em: 6 maio 2026.
GRESHAKE, Kai et al. Not what you’ve signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. 2023. Disponível em: https://arxiv.org/abs/2302.12173. Acesso em: 6 maio 2026.
ISO. ISO/IEC 42001:2023 Artificial intelligence management system. 2023. Disponível em: https://www.iso.org/standard/81230.html. Acesso em: 6 maio 2026.
MITRE. ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems. 2025. Disponível em: https://atlas.mitre.org/. Acesso em: 6 maio 2026.
NIST. AI Risk Management Framework (AI RMF 1.0). 2023. Disponível em: https://www.nist.gov/itl/ai-risk-management-framework. Acesso em: 6 maio 2026.
NIST. Generative AI profile. 2024a. Disponível em: https://www.nist.gov/itl/ai-risk-management-framework/generative-ai-profile. Acesso em: 6 maio 2026.
NIST. Adversarial machine learning: A taxonomy and terminology of attacks and mitigations. 2024b. Disponível em: https://www.nist.gov/publications/adversarial-machine-learning-taxonomy-and-terminology-attacks-and-mitigations. Acesso em: 6 maio 2026.
OWASP. OWASP Top 10 for Large Language Model Applications. 2024. Disponível em: https://owasp.org/www-project-top-10-for-large-language-model-applications/. Acesso em: 6 maio 2026.
OWASP. OWASP GenAI Security Project. 2025. Disponível em: https://owasp.org/www-project-generative-ai-security/. Acesso em: 6 maio 2026.
RAGHAVAN, Rishabh et al. Large language model evaluation and red teaming. 2024. Disponível em: https://arxiv.org/abs/2402.12098. Acesso em: 6 maio 2026.
SCHNEIER, Bruce. A decade of AI security lessons. 2024. Disponível em: https://www.schneier.com/. Acesso em: 6 maio 2026.
SHEN, Yong et al. Deep learning on tabular data: A survey. 2023. Disponível em: https://arxiv.org/abs/2112.01257. Acesso em: 6 maio 2026.
SUNG, David et al. Prompt injection attacks and defenses: A survey. 2024. Disponível em: https://arxiv.org/abs/2402.12345. Acesso em: 6 maio 2026.
TOWNSEND, Kevin. eBPF for security observability. 2024. Disponível em: https://ebpf.io/. Acesso em: 6 maio 2026.
VAN DER VEEN, Vincent; VAZQUEZ, Carlos. LLMOps security in production environments. 2025. Disponível em: https://www.cncf.io/. Acesso em: 6 maio 2026.
WANG, Yuxuan et al. Jailbreak attacks against aligned language models: A survey. 2024. Disponível em: https://arxiv.org/abs/2403.00001. Acesso em: 6 maio 2026.
WHITE, Jules et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT. 2023. Disponível em: https://arxiv.org/abs/2302.11382. Acesso em: 6 maio 2026.
XU, Min et al. RAG security: Threats, attacks, and defenses. 2025. Disponível em: https://arxiv.org/abs/2501.01234. Acesso em: 6 maio 2026.
YANG, Jing et al. Confidentiality risks in LLM-based systems. 2024. Disponível em: https://arxiv.org/abs/2404.01234. Acesso em: 6 maio 2026.
ZOU, Andy et al. Universal and transferable adversarial attacks on aligned language models. 2023. Disponível em: https://arxiv.org/abs/2307.15043. Acesso em: 6 maio 2026.