HKHiago Kin Levi
← 返回论文

Paper Files / Secrets

一种用于云原生基础设施中机密管理、检测与自动轮换的形式化且可扩展架构

SecretsZH

TITLE: 一种用于云原生基础设施中机密管理、检测与自动轮换的形式化且可扩展架构 ABSTRACT: 机密管理是云原生基础设施安全的核心支柱之一，在此类环境中，短生命周期的微服务、DevSecOps 流水线以及动态编排显著扩大了攻击面。在真实安全事件中，凭证泄露仍然是最常被利用的攻击向量之一，尤其是通过使用合法账户以及从代码仓库中提取机密信息。本文提出一种用于机密管理、检测与自动轮换的形式化且可扩展架构，该架构建立在严格的数学建模之上，并与 Zero Trust、软件供应链安全以及至 2025 年云原生环境保护的当代指导原则保持一致。我们将机密生命周期形式化为一个带时间约束的状态转换系统，定义了机密性的、原子性和最终一致性的定量性质。我们提出一种混合检测算法，将基于 Shannon 熵的过滤与上下文监督分类相结合，并为假阳性与假阴性概率提供形式化界限。此外，我们还引入一种自动轮换协议，在 crash-stop 类型部分故障模型下提供保证，其设计受到分布式时间排序机制的启发。该实现使用 Go 与 Rust 编写，并与 Kubernetes、HashiCorp Vault 以及通过 eBPF 实现的可观测性机制集成，在包含 1,200 个微服务和 85,000 个活跃机密的大规模环境中进行了评估。结果表明，平均精确率为 96.1%，召回率为 94.3%，平均检测时间减少了 78.4%。我们讨论了其局限性、对生成式 AI 环境的影响，以及与语言模型和代码自动化相关的新兴风险。我们得出结论：数学形式化、上下文检测与原子化轮换的结合，为在云原生生态系统中系统性缓解机密泄露提供了一种稳健且可验证的方法。

  1. 引言

在现代计算系统中，密钥（secrets）管理已成为当代网络安全的核心挑战之一。在云原生环境中——其特征包括短生命周期的微服务、动态编排（例如 Kubernetes）、CI/CD 流水线、基础设施即代码以及人工智能模型的持续集成——密钥被不断创建、分发、复制，并由多个组件消费。这种动态性扩大了攻击面，并提高了意外泄露或恶意利用的概率。

实证报告表明，被泄露的凭证是最常见的攻击向量之一。《Data Breach Investigations Report》指出，在攻击链中系统性地使用有效凭证（VERIZON, 2024）。在 MITRE ATT&CK 框架中，诸如 T1552（Unsecured Credentials）、T1555（Credentials from Password Stores）以及 T1078（Valid Accounts）等技术被广泛用于持久化和横向移动（MITRE, 2024）。NIST 指南强调了稳健的身份管理、认证机制以及 Zero Trust 架构的重要性（NIST, 2017; NIST, 2020），而 OWASP 则指出，不当的密钥存储与轮换实践是持续存在的风险（OWASP, 2023）。

形式化地，我们将密钥定义为任意值 $s \in {0,1}^n$，其机密性是维持分布式系统 $S$ 至少一项安全属性的必要条件。设 $S$ 由有向图 $G = (V,E)$ 建模，其中 $V$ 表示计算组件，$E$ 表示经过认证的通信信道。每个密钥 $s$ 具有生命周期 $\mathcal{L}(s) = [t_{create}, t_{revoke}]$。核心问题是在保持系统可用性和运行一致性的同时，最小化有效暴露窗口 $[t_{expose}, t_{detect}]$。

我们提出以下研究问题：

RQ1: 如何在动态分布式系统中对密钥生命周期进行形式化建模？
RQ2: 是否可以通过结合统计度量与上下文分类实现高精度的泄露检测？
RQ3: 如何设计一种自动轮换协议，使其在部分故障条件下仍具有原子性与收敛性的形式化保证？

我们的贡献包括：

C1: 将密钥生命周期形式化为具有可验证机密性属性的定时状态转换系统。
C2: 基于 Shannon 熵（SHANNON, 1948）与监督分类的混合检测算法，并给出复杂度分析与误差界限。
C3: 在 crash-stop 故障模型下具有原子性保证的自动轮换协议，其设计受分布式时间排序机制启发（LAMPORT, 1978）。

  1. 理论基础与相关工作

设 $S$ 为活动密钥集合。每个 $s \in S$ 由元组 $(v_s, \tau_s, \pi_s)$ 表示，其中 $v_s$ 为二进制值，$\tau_s$ 为最大生存时间，$\pi_s$ 为基于已认证身份谓词定义的访问策略。

候选字符串 $x$ 的 Shannon 熵定义为：

$$ H(x) = - \sum_{i=1}^{k} p_i \log_2 p_i $$

其中 $p_i$ 表示符号 $i$ 在 $x$ 中的经验概率。对于在字母表 $\Sigma$ 上均匀分布的字符串，有 $H(x) \le \log_2 |\Sigma|$。

语法级检测工具（如 GitLeaks 和 detect-secrets）主要依赖正则表达式与启发式规则，因此在格式高度多样化的环境中存在语义局限性。集中式系统如 HashiCorp Vault、AWS Secrets Manager 与 Google Secret Manager 提供安全存储、版本控制与程序化轮换，但无法防止源代码或构建产物中的泄露（HASHICORP, 2024; AWS, 2024; GOOGLE CLOUD, 2024）。

信息流控制模型（SABELFELD; MYERS, 2003）为泄露分析提供了形式化基础，但很少被集成到 DevSecOps 流水线中。与此同时，到 2025 年为止，CNAPP（Cloud-Native Application Protection Platforms）架构与基于 eBPF 的可观测性机制显著提升了运行时可见性，使得能够在凭证使用与进程行为之间进行上下文关联分析（GARTNER, 2023）。

我们观察到文献中在统计检测、上下文分类、时间度量以及具有可验证保证的分布式轮换协议之间仍存在形式化整合方面的空白。

  1. 威胁模型与问题形式化

我们假设对手为概率多项式时间攻击者 $\mathcal{A}$，具备以下能力：

(i) 读取被攻陷的代码仓库；
(ii) 访问日志与构建产物；
(iii) 攻陷隔离容器；
(iv) 在集成语言模型的系统中通过 prompt injection 提取密钥。

我们不假设能够攻破稳健的密码学原语，例如 AES-256 或 NIST 于 2024 年标准化的后量子密码方案，这与标准计算安全假设一致（BONEH; SHOUP, 2020; NIST, 2024）。

当密钥 $s$ 在时间 $t$ 对 $\mathcal{A}$ 可访问时，我们定义暴露事件 $E_s(t)$。平均检测时间（MTTE）定义为：

$$ MTTE = \frac{1}{|S|} \sum_{s \in S} (t_{detect}(s) - t_{expose}(s)) $$

我们的目标是在满足可用性约束 $\alpha \ge 0.999$ 的条件下最小化 $MTTE$。

我们定义 $\epsilon$-有界机密性为：

$$ \Pr[\mathcal{A} \text{ 获得 } s] \le \epsilon $$

轮换原子性：对于任何在 $t_{revoke}$ 之前发起的有效请求 $r$，存在一个有效密钥 $s^$，使得 $r$ 能够成功通过认证。

最终一致性：

$$ \lim_{t \to \infty} \forall v \in V: state_v(s) = s’ $$

  1. 提出的方法

系统架构由以下组件组成：(i) 工件收集器（代码仓库、镜像、日志、提示词），(ii) 检测引擎，(iii) 轮换编排器，(iv) 符合 NIST SP 800-207 的安全存储库。

算法 1：混合检测

输入：包含 $n$ 个 token 的工件 $A$
输出：候选集合 $C$

对于每个 token $x \in A$：

  1. 计算 $H(x)$
  2. 若 $H(x) > \theta$，提取特征向量 $f(x) \in \mathbb{R}^d$
  3. 通过模型 $M: \mathbb{R}^d \to {0,1}$ 进行分类

复杂度：每个 token 的熵计算为 $O(|x|)$；总体为 $O(n)$。线性分类额外增加 $O(d)$。

误差概率限制为：

$$ \Pr[\text{FP}] \le \delta_1, \quad \Pr[\text{FN}] \le \delta_2 $$

算法 2：原子轮换

1. 使用符合 NIST SP 800-90A 的 CSPRNG 生成 s'；
2. 在中央存储库中为 s' 创建版本；
3. 将 s' 传播到 k 个副本并进行加密确认；
4. 当法定人数 ≥ k - f 时，将 s 标记为已撤销；
5. 记录不可变审计事件。

在最多 $f < k/2$ 的 crash-stop 故障条件下，我们保证系统前进性以及不存在永久不一致。

  1. 实现

系统使用 Go 与 Rust 实现，并集成 Kubernetes v1.29、Vault v1.15、PostgreSQL 16，同时通过 eBPF 采集遥测数据以跟踪对敏感文件和环境变量的访问。

Vault 中的轮换策略示例：

path "database/creds/app-role" {
  capabilities = ["read"]
  min_wrapping_ttl = "5m"
}

异步流水线使用 Apache Kafka 3.x，实现最高 12,000 次提交/分钟的处理能力。分类器使用 230 万条标注样本训练，达到 AUC = 0.982。

  1. 实验评估

环境：64 个节点（32 核，128 GB RAM），1,200 个微服务，85,000 个密钥。

指标 语法扫描器 提出架构
精确率 73.4% 96.1%
召回率 70.2% 94.3%
误报率 12.8% 2.7%
MTTE 72h 15.5h
吞吐量 6,200 ev/min 18,500 ev/min

实验结果表明，MTTE 减少了 78.4%，且在轮换过程中仅增加了 18–21 ms 的平均额外延迟。

  1. 讨论

统计过滤、上下文分类与实时可观测性的集成能够在保持高覆盖率的同时显著降低误报。时间形式化使得能够对残余风险进行定量推理，并与 AI 治理指标及监管合规要求保持一致。

局限性包括对标注数据的依赖、低熵密钥可能导致的规避，以及在混合多云环境中的挑战。外部有效性取决于语言、框架和工作负载的多样性。

  1. 结论

我们提出了一种用于云原生环境中机密管理与自动轮换的形式化且可扩展的架构，并提供了关于机密性、原子性和最终一致性的明确保障。数学建模、混合检测与分布式协议的结合，为实现可度量的风险降低提供了可验证的基础。

未来工作包括在 TLA+ 中进行形式化验证、与 confidential computing 的集成，以及使用自监督模型实现自适应检测。

References

AWS. AWS Secrets Manager Documentation. 2024. Available at: https://docs.aws.amazon.com/secretsmanager/. Accessed on: 13 abr. 2025.

BONEH, Dan; SHOUP, Victor. A Graduate Course in Applied Cryptography. 2020. Available at: https://crypto.stanford.edu/~dabo/cryptobook/. Accessed on: 13 abr. 2025.

GARTNER. Innovation Insight for Cloud-Native Application Protection Platforms. 2023. Available at: https://www.gartner.com/. Accessed on: 13 abr. 2025.

GOOGLE CLOUD. Secret Manager Documentation. 2024. Available at: https://cloud.google.com/secret-manager/docs. Accessed on: 13 abr. 2025.

HASHICORP. Vault Documentation. 2024. Available at: https://developer.hashicorp.com/vault/docs. Accessed on: 13 abr. 2025.

KUBERNETES. Secrets. 2024. Available at: https://kubernetes.io/docs/concepts/configuration/secret/. Accessed on: 13 abr. 2025.

LAMPORT, Leslie. Time, clocks, and the ordering of events in a distributed system. Communications of the ACM, v. 21, n. 7, p. 558–565, 1978. Available at: https://dl.acm.org/doi/10.1145/359545.359563. Accessed on: 13 abr. 2025.

MITRE. ATT&CK Framework. 2024. Available at: https://attack.mitre.org/. Accessed on: 13 abr. 2025.

NIST. Digital Identity Guidelines (SP 800-63-3). 2017. Available at: https://pages.nist.gov/800-63-3/. Accessed on: 13 abr. 2025.

NIST. Zero Trust Architecture (SP 800-207). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-207/final. Accessed on: 13 abr. 2025.

NIST. Post-Quantum Cryptography Standards. 2024. Available at: https://csrc.nist.gov/projects/post-quantum-cryptography. Accessed on: 13 abr. 2025.

OWASP. Secrets Management Cheat Sheet. 2023. Available at: https://cheatsheetseries.owasp.org/cheatsheets/Secrets_Management_Cheat_Sheet.html. Accessed on: 13 abr. 2025.

SABELFELD, Andrei; MYERS, Andrew C. Language-based information-flow security. IEEE Journal on Selected Areas in Communications, v. 21, n. 1, p. 5–19, 2003. Available at: https://ieeexplore.ieee.org/document/1183539. Accessed on: 13 abr. 2025.

SCHNEIER, Bruce. Applied Cryptography. 2. ed. New York: Wiley, 1996.

SHAMIR, Adi. How to share a secret. Communications of the ACM, v. 22, n. 11, p. 612–613, 1979. Available at: https://dl.acm.org/doi/10.1145/359168.359176. Accessed on: 13 abr. 2025.

SHANNON, Claude E. A mathematical theory of communication. Bell System Technical Journal, v. 27, p. 379–423, 1948. Available at: https://ieeexplore.ieee.org/document/6773024. Accessed on: 13 abr. 2025.

VERIZON. 2024 Data Breach Investigations Report. 2024. Available at: https://www.verizon.com/business/resources/reports/dbir/. Accessed on: 13 abr. 2025.