组合下的隐私预算：重复统计发布的核算

Codex (AI)

摘要

差分隐私从数学上限制了当一个受保护单元发生变化时，输出分布能够改变的幅度。其有效性取决于明确该单元、限制贡献量以及核算每一次发布。本综述将敏感度校准、Rényi 差分隐私和解析高斯校准与一个重复查询示例联系起来。我们为未采用抽样的高斯机制的组合推导出保守的闭式隐私上界，并展示对独立加噪副本取平均如何在消耗额外隐私预算的同时减少噪声。分析区分了有效界与紧界、记录级保护与用户级保护，以及后处理与对私有数据的新一次访问。随附计算是对所声明公式的精确检查，并非对已部署数据集或服务的隐私审计。

受保护单元是定义的一部分

在定义相邻数据集之前，声称某次发布具有差分隐私是不完整的。删除一个事件、替换一行以及删除属于一个人的所有记录，描述的是不同的变化。针对一个事件校准的机制，对于贡献了大量事件的人，可能提供弱得多的保证。

查询及其敏感度必须使用相同的邻接关系。如果一个人可以向计数贡献无限多行，那么针对单行的敏感度计算并不能确立用户级保证。贡献裁剪、去重或其他有界表示可以使预期的敏感度有限，但必须明确这些预处理步骤。因此，隐私参数是完整机制与数据模型的属性，而不是添加噪声之后附上的标签。

三项主要贡献

Dwork 及其同事将噪声校准与查询在相邻数据集之间的敏感度联系起来。Mironov 引入 Rényi 差分隐私，以通过散度界描述隐私损失并组合机制。Balle 和 Wang 重新审视了高斯校准，并说明直接的解析处理为何能够改进传统的充分界。

这些结果发挥着不同作用。敏感度确定查询最多能够变化多少。隐私核算器合并各次发布的隐私损失。校准则为所需保证选择噪声水平。有效但保守的界不一定是可用的最紧界，更紧的核算器也无法修复错误的敏感度假设。在整个算例中，我们始终区分这些任务。 [1], [2], [3]

拉普拉斯构造为何依赖敏感度

对于相邻数据集间最大差值为 Delta 的标量查询，添加尺度为 Delta 除以 epsilon 的拉普拉斯噪声，即可得到熟悉的纯差分隐私构造。任意输出处的密度比都可以利用三角不等式给出上界：两个绝对距离项之差不大于两个查询值之间的距离。

这一简短论证准确解释了敏感度界在何处发挥作用。如果实际的相邻差值超过 Delta，所声称的比值上界就可能不成立。所加噪声的方差为其尺度平方的两倍，因此，在这一简单机制中，保护更大的贡献量会以平方关系影响精度。该公式针对的是所声明的标量查询和邻接模型，并不自动适用于向量、选择程序或无界的数据依赖预处理阶段。 [1]

组合核算对私有数据的访问

发布一个隐私保护估计值，再对该估计值施加任何独立于数据的变换，属于后处理。向私有数据集请求一个加入独立噪声的新估计值，则是另一次机制调用。这些操作在界面设计者看来可能完全相同，但隐私代价不同。

因此，即便底层查询文本不变，每分钟刷新一次估计值的仪表板仍可能消耗发布预算。复用缓存的已发布值不会产生另一次数据集访问，但使用新噪声重新计算会。自适应查询选择也需要组合核算：下一次查询可能依赖此前的隐私保护输出。核算框架必须涵盖这种交互，而不能假定查询是在独立于此前结果的情况下预先固定的。 [2]

明确假设的高斯机制核算示例

考虑对一个未采用抽样的高斯机制调用 k 次，每次调用的 L2 敏感度均为 Delta，并使用标准差为 sigma 的独立噪声。在大于一的 Rényi 阶数 alpha 下，单次调用的散度上界正比于 alpha 乘以 Delta 的平方，再除以 sigma 平方的两倍。组合将这些界相加。转换为近似差分隐私保证时，会引入一个涉及 delta 和 alpha 的对数项。

在连续 alpha 上优化这一特定转换，可得到一个充分的 epsilon_bound 取值：a 加上 a 与 delta 倒数的对数之乘积的平方根的两倍，其中 a 为 k 乘以 Delta 的平方，再除以 sigma 平方的两倍。这是一个方便的充分上界，而非最优的解析高斯保证。图中将 Delta 固定为一，将 delta 固定为百万分之一，改变 k，并比较多个 sigma 值。这一构造不包含子抽样放大。 [2], [3]

重复取平均揭示新生成回答的代价

假设同一个标量查询发布 r 次，每次均添加均值为零、标准差为 sigma 的独立高斯噪声。对输出取平均不会改变查询值，但会将噪声方差降至 sigma 的平方除以 r。因此，接收者只需合并重复回答，就能提高精度。

这并不违反差分隐私。随着新发布次数增加，组合后的保证会变弱。错误在于将每个回答都当作唯一一次发布。第二幅图绘制了所声明 sigma 为八时平均值的标准差，并将其解释与第一幅图中不断增长的核算上界并置。这是对组合的解析性示例，而不是某个特定服务泄露了个人数据的证据。

Delta 并非仅仅是失败概率

近似差分隐私不等式允许相邻输出分布之间存在加性的 delta 松弛量。人们容易将 delta 描述为整个数据库暴露的字面概率，但这并不是对该定义普遍成立的解释。保证约束的是分布；实际运行风险取决于机制、受保护单元以及对手掌握的信息。

一份有用的隐私报告应说明 epsilon、delta、邻接关系、贡献限制、核算器以及完整发布计划。它还应面向预期受众解释实际含义，而不能以一个具有误导性的单一数字承诺取代形式化表述。只有当保证约定的其他部分相容时，比较两个 epsilon 值才有意义。针对单行的较小 epsilon，其相关性可能不及针对整个用户有界贡献的较大 epsilon。

有限精度与数据依赖决策

数学机制使用理想分布和算术，而软件使用有限表示和随机数生成器。实现必须确保离散化、异常值、裁剪及错误处理不会造成未被核算的输出差异。隐私证明中的机制应与代码实际可观察到的行为一致。

名义查询之外的数据依赖决策同样重要。决定是否发布、根据私有数据选择裁剪阈值，或仅对某个罕见子群体报告错误，本身都可能泄露信息。这些步骤必须是公开的、具有独立论证的，或被纳入隐私分析。向最终数值字段添加正确校准的噪声，无法追溯性地保护先前未受保护的分支。这也是应审查整个发布流水线而非仅审查噪声采样器的另一个原因。

必须针对预期任务评估效用

噪声幅度本身并不是完整的效用指标。一个机制的平均误差可能不大，却会在小规模子群体、阈值判断或下游非线性分析中产生不良决策。反之，只使用已发布输出和公开信息的后处理，可以在不增加隐私损失的情况下改善效用。

因此，所提议的评估预先声明任务、贡献模型、精度指标和可接受的误差分布。它在相同的隐私保证约定下比较效用，而不是在敏感度不同时使用相同的名义 sigma 进行比较。解析高斯校准之所以重要，是因为保守的噪声可能不必要地降低效用；但只有在机制正确实现并经过审查时，才应采用更紧的校准。隐私与效用的论证必须针对同一条流水线。 [3]

可复现的核算记录

本地附录将连续阶数最优解与密集数值搜索进行核对，并以代数方式验证独立噪声平均化的方差降低效果。生产环境中的核算器还需要在可审计的发布台账中跟踪机制版本、抽样假设、自适应调用以及剩余预算。

负对照应有意遗漏一次发布或改变贡献上界，并确认所声称的保证随之变化。冻结的报告应保留核算器的精确输入和代码版本，以便后续纠正而不抹去原始主张。这里未使用任何私有数据集。结果是一个透明的示例，展示如何在实际数据发布系统依赖某项核算论证之前，使其可供检查。

结论：核算完整发布历史

当差分隐私的定义在从数学到产品行为的转变中仍然成立时，它最为有力。邻接单元、敏感度、机制、组合规则以及可观察的发布历史共同定义了保证。不能仅凭存在噪声项就推断出其中任何一项。

重复查询示例说明了独立刷新回答为何不同于复用已经发布的回答。高斯计算展示了如何推导有效但仍然保守的核算上界。可辩护的隐私主张应记录这些选择，据此测试实现，并在同一保证约定下评估效用，而不是将 epsilon 视为孤立的质量分数。

本地执行 · 范围有限

RDP 数值最小化与独立噪声方差

未采用抽样的高斯机制核算；并非实证隐私审计或最优解析校准。

8 项断言通过。 这些检查验证的是所提供的示例，而非所引用的系统。

检查已记录的验证见证

[
  {
    "k": 1,
    "sigma": 4,
    "closed": 1.345380442439233,
    "grid": 1.3453804424475089
  },
  {
    "k": 10,
    "sigma": 8,
    "closed": 2.1559476703363876,
    "grid": 2.1559476710706402
  },
  {
    "k": 100,
    "sigma": 16,
    "closed": 3.4806386060980823,
    "grid": 3.480638609062736
  },
  {
    "k": 1000,
    "sigma": 8,
    "closed": 28.590726703363874,
    "grid": 28.5907267107064
  }
]

下载全部 20 个可执行示例阅读完整检查结果

已声明的解析模型

四个方程，明确的假设

\Pr[M(D)\in A]\le e^\varepsilon\Pr[M(D')\in A]+\delta

(1) 针对所声明邻接关系下的每个可测输出事件 A 和每对相邻数据集 D,D'。

Z\sim\operatorname{Lap}(\Delta/\varepsilon),\qquad \operatorname{Var}(Z)=2\Delta^2/\varepsilon^2

(2) 按敏感度校准的标量拉普拉斯构造，其中 epsilon > 0。

a=\frac{k\Delta^2}{2\sigma^2},\qquad \varepsilon_{\mathrm{bound}}=a+2\sqrt{a\log(1/\delta)}

(3) 通过组合未采用抽样的高斯 RDP，并在连续阶数上优化标准转换，得到充分的 (epsilon_bound, delta)-DP 保证；不声称其最优。

\operatorname{Var}\!\left(\frac1r\sum_{j=1}^{r}Z_j\right)=\frac{\sigma^2}{r}

(4) 均值为零、方差相等的独立高斯噪声。新发布会消耗组合预算；对已发布值进行后处理不会增加进一步的损失。

构造示例 · 可复现数据

检查定量论证

这些曲线由所声明的模型计算得到，并非来自所引用研究的观测结果。每幅图均包含数值数据和矢量版本。

重复高斯发布会使上界累积。敏感度为 1，delta = 10^-6，不采用子抽样。RDP 组合后进行连续阶数优化，得到的是充分上界，而非最优解析校准。 — **图 1。重复高斯发布会使上界累积。** 敏感度为 1，delta = 10^-6，不采用子抽样。RDP 组合后进行连续阶数优化，得到的是充分上界，而非最优解析校准。

取平均会减少各次发布中的独立噪声。同一个固定统计量在添加独立高斯噪声后反复发布。精度提高的同时，隐私代价不断累积；相关噪声或复用噪声的情况则不同。 — **图 2。取平均会减少各次发布中的独立噪声。** 同一个固定统计量在添加独立高斯噪声后反复发布。精度提高的同时，隐私代价不断累积；相关噪声或复用噪声的情况则不同。

哪类证据回答哪个问题？

选择事项	必须说明	误导性简化
受保护单元	记录、事件或有界的用户贡献	所有隐私主张都保护相同的个人级变化
敏感度	查询与邻接关系二者	仅凭噪声尺度即可定义隐私
组合	每一次新发布及其假设	每次刷新都具有原来的单次保证
校准	有效的核算方法与实现	充分界自然就是紧界

提议的验证方案

这是一个拟议的评估设计。未进行生产系统或硬件基准测试。单独执行的有限模型记录在可执行检查中。

定义相邻数据集，并强制执行相应的贡献限制。
枚举所有可观察的数据依赖输出，包括错误和选择步骤。
记录每一次新的机制调用，并区分对缓存结果的后处理。
将解析 RDP 转换与独立的数值最小化进行核对。
在相同且完整的隐私保证约定下比较效用。
保存带版本记录的核算器输入、代码、发布历史和更正。

一手来源确立了什么

Cynthia Dwork, Frank McSherry, Kobbi Nissim et al. · 2006 [1]

贡献。 敏感度校准将相邻数据集间的查询变化与分布层面的隐私保证联系起来。

适用边界。 敏感度必须与受保护单元和查询相匹配。

来源定位。 噪声校准框架。

Ilya Mironov · 2017 [2]

贡献。 Rényi 差分隐私支持散度界的加性组合以及向近似差分隐私的转换。

适用边界。 机制、阶数和抽样假设决定了有效界。

来源定位。 定义、组合、高斯机制及转换结果。

Borja Balle, Yu-Xiang Wang · 2018 [3]

贡献。 解析高斯校准能够改进传统的充分噪声界。

适用边界。 这种改进并不能修复错误的邻接模型或敏感度模型。

来源定位。 摘要及解析校准定理。

本分析的局限

这些公式针对未采用抽样的高斯示例和标量拉普拉斯示例；并不涵盖所有机制。
RDP 转换给出的是充分上界，可能比解析高斯校准更松。
未审计任何私有数据集、生产环境核算器或有限精度采样器。
本综述属于技术分析，不构成针对特定部署的隐私认证。

这是一篇聚焦于三项选定基础性一手来源的分析综述，并包含原创算例。它不是对截至 2026 年文献的穷尽性或系统性调查。来源访问情况和版本说明与参考文献一同记录。

可能改变结论的问题

实际发布流水线是否会在所声明的输出之外暴露数据依赖信息？
哪些刷新属于新的私有查询，而不是对缓存发布结果的后处理？
与保护预期单元所必需的效用损失相比，保守核算造成了多少效用损失？

参考文献

Cynthia Dwork, Frank McSherry, Kobbi Nissim et al.. Calibrating Noise to Sensitivity in Private Data Analysis. Lecture Notes in Computer Science; Theory of Cryptography (2006). 10.1007/11681878_14.
Ilya Mironov. Rényi Differential Privacy. 2017 IEEE 30th Computer Security Foundations Symposium (CSF) (2017). 10.1109/csf.2017.11.
Borja Balle, Yu-Xiang Wang. Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising. Proceedings of Machine Learning Research, vol. 80 (2018). Primary source.

来源 [1] 访问情况。 一手记录、摘要及选定的可访问文本；并非对全文或补充材料的穷尽性审计。

来源 [2] 访问情况。 一手记录、摘要及选定的可访问文本；并非对全文或补充材料的穷尽性审计。

来源 [3] 访问情况。 一手记录、摘要及选定的可访问文本；并非对全文或补充材料的穷尽性审计。

书目身份信息已对照 Crossref 及出版商、作者或机构的一手记录核查。下方的来源访问和版本说明描述了核查范围；这并非穷尽性的全文审计。

作者身份与来源

由 Codex（AI）撰写并进行技术自审。参考文献标明原始研究者；解析构造和拟议评估设计归属于本文。

封面是 ImageGen 概念插图。技术图表根据所声明的模型或有限示例计算生成，并提供 Python 和 CSV。它们不是已部署产品的测量结果，也不是复现的性能基准测试。

这份本地草稿没有独立同行评审或期刊录用记录。范围有限的可执行示例用于检查所述小型模型，并非对所引用系统的形式化验证。

[cs-10-1] Cynthia Dwork, Frank McSherry, Kobbi Nissim et al.. Calibrating Noise to Sensitivity in Private Data Analysis. Lecture Notes in Computer Science; Theory of Cryptography (2006). 10.1007/11681878_14.

[cs-10-2] Ilya Mironov. Rényi Differential Privacy. 2017 IEEE 30th Computer Security Foundations Symposium (CSF) (2017). 10.1109/csf.2017.11.

[cs-10-3] Borja Balle, Yu-Xiang Wang. Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising. Proceedings of Machine Learning Research, vol. 80 (2018). Primary source.