Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition
University of Pennsylvania（宾夕法尼亚大学）；Meta Platforms, Inc.（Meta平台公司）
本文提出Edgeworth Accountant方法，通过f-差分隐私框架分析组合隐私损失，利用Edgeworth展开估计隐私保证，提供非渐近的(ε, δ)-差分隐私界，适用于深度学习和联邦分析中的隐私保护。
2026-04-07 cs.CR cs.DS cs.LG
Avoiding Pitfalls for Privacy Accounting of Subsampled Mechanisms under Composition
Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google DeepMind（谷歌DeepMind）
本文纠正了子采样差分隐私机制组合核算中的两个常见误区：证明最坏情况数据集自组合不能决定组合隐私保证，并揭示泊松子采样与无放回采样在隐私保证上可能差异显著，例如前者ε≈1而后者ε>10。
2025-04-08 cs.CR cs.DS cs.LG
Tight Accounting in the Shuffle Model of Differential Privacy
Nokia Bell Labs（诺基亚贝尔实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
差分隐私的Shuffle模型是一种基于局部隐私机制和安全Shuffler相结合的分布式隐私模型。已经表明，由洗牌器提供的额外随机化与纯本地机制相比提高了隐私界限。然而，会计紧边界由于洗牌带来的复杂性而变得复杂。最近提出的数值技术，用于评估$(\varepsilon,δ)$ -差分隐私保证已被证明比常用的各种复杂机制的组合物的方法给出更严格的界限。在本文中，我们展示了如何使用Feldman等人（2021）的分析获得一般$\varepsilon$ -LDP混洗器的自适应组合的准确界，以及如何使用Balle等人（2019）的分析获得$k$ -随机响应机制的混洗器的自适应组合的紧界。我们将展示如何加快评估所产生的隐私损失分布从$\mathcal{O}(n^2)$到$\mathcal{O}(n)$，其中$n$是用户的数量，而不会产生明显的变化$δ(\varepsilon)$上限。我们还证明了现有的界限和方法在文献中发现的松散，改善以前的组合物的结果显着。
2022-01-31 cs.CR cs.LG stat.ML
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn（领英）
差分隐私（DP）为个人数据提供严格的隐私保证，同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统，首先必须设计私有算法，可以量化每个结果的隐私损失。然而，将噪声注入计算的私有算法不足以确保个人数据受到保护，因为许多噪声结果最终集中于真实的非私有化结果。因此，已经有几个作品提供了精确的公式，说明隐私损失如何在与私有算法的多次交互中累积。然而，这些公式要么提供了非常一般的隐私损失的界限，在某些类型的私人算法过于悲观的代价，或者他们可以太窄的范围，适用于一般的隐私系统。在这项工作中，我们统一了现有的隐私损失组合边界的特殊类别的差分隐私（DP）算法，以及一般DP组合边界。特别是，我们提供了强大的隐私损失界限时，分析师可以选择纯DP，有界范围（例如指数机制），或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限，适用于分析师可以选择纯DP和有界范围的机制在一批，即非自适应。此外，当一个分析师在每个类自适应选择机制，我们表现出不同的，预定的纯DP和有界范围机制之间的差异，隐私损失。最后，我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore（新加坡国立大学）
先前的工作差分隐私分析的随机SGD算法依赖于组成定理，其中隐含的（不切实际的）假设是，内部状态的迭代算法被透露给对手。因此，通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的，我们证明了一个收敛的隐私界噪声随机梯度下降（强凸光滑损失函数）。我们展示了如何通过子采样和随机后处理来利用隐私放大，并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了，在这些设置中，我们的隐私边界以指数速度收敛，并且大大小于组合边界，特别是在几个训练时期之后。因此，除非DP算法收敛快，我们的隐私分析表明，隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Numerical Composition of Differential Privacy
Microsoft（微软）；University of Washington（华盛顿大学）
我们给出了一个快速算法，以最佳组合的隐私保证差分隐私（DP）算法的任意精度。我们的方法是基于隐私损失随机变量的概念来量化DP算法的隐私损失。我们的算法所需的运行时间和内存来近似的隐私曲线的DP算法与自身$k$倍组成的是$\tilde{O}(\sqrt{k})$。这改进了Kopia等人（2020）的最佳现有方法，该方法需要$\tildeΩ(k^{1.5})$运行时间。我们通过准确计算Abadi et al.（2016）的DP-SGD算法的隐私损失来证明我们算法的实用性，并表明我们的算法与之前的工作相比将隐私计算速度提高了几个数量级，同时保持了类似的准确性。
2021-10-26 cs.CR cs.DS cs.LG
Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而，这种隐私定义及其基于分歧的放松，有几个公认的弱点，无论是在处理组成的私人算法，或在分析重要的原语，如隐私放大子采样。受隐私权假设检验公式的启发，本文提出了一种新的隐私权松弛方法，我们称之为“$f$ -差分隐私”（$f$ -DP）.这种隐私的概念具有许多吸引人的特性，特别是避免了与基于发散的松弛相关联的困难。首先，$f$ -DP保留了假设检验解释。此外，$f$ -DP允许以代数方式进行关于组合的无损推理。此外，我们提供了一个强大的技术，进口现有的结果证明了原始DP的$f$ -DP，并作为一个应用程序，获得一个简单的子采样定理$f$ -DP。除了上述发现，我们引入了一个规范的单参数家庭的隐私概念内的$f$类，被称为“高斯差分隐私”（GDP），定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类，因为我们证明了一个中心极限定理。更确切地说，基于隐私定义（包括原始DP）的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具，用于分析私有算法的确切组成。综上所述，这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后，我们展示了我们开发的工具的使用，通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
The Role of Interactivity in Local Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
我们研究了局部差分隐私中的交互能力。首先，我们专注于完全交互式和顺序交互式协议之间的差异。顺序交互式协议可以按顺序自适应地查询用户，但不能返回到先前查询的用户。绝大多数现有的本地差分隐私的下限仅适用于顺序交互式协议，在本文之前，不知道是否完全交互式协议更强大。我们解决这个问题。首先，我们分类本地私有协议的组合性，乘法因子$k \geq 1$的协议的单轮隐私参数的总和超过其整体的隐私保证。然后，我们将展示如何有效地将任何完全交互式$k$组合协议转换为一个等价的顺序交互式协议与$O(k)$爆破样本的复杂性。接下来，我们表明，我们的减少是紧密的，表现出一系列的问题，这样对于任何$k$，有一个完全交互式的$k$ -组成协议，解决了这个问题，而没有顺序交互式协议可以解决这个问题，至少有一个$\tilde Ω(k)$因素更多的例子。然后，我们将注意力转向假设检验问题。我们发现，对于一个大类的复合假设检验问题-其中包括所有简单的假设检验问题作为一个特殊情况-一个简单的noninteractive测试是最佳的类中的所有（可能完全互动）的测试。
2019-11-08 cs.CR cs.LG stat.ML
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
On the Renyi Differential Privacy of the Shuffle Model
本文研究的中心问题是随机隐私模型中一般离散局部机制的Renyi差分隐私（RDP）保证。在混洗模型中，每个$n$客户端使用本地差异私有（LDP）机制随机化其响应，并且不可信服务器仅接收客户端响应的随机排列（混洗），而不与每个客户端关联。本文的主要结果是第一个非平凡的RDP保证一般离散局部随机化机制在洗牌隐私模型，我们开发了新的分析技术，得出我们的结果可能是独立的利益。在应用程序中，这样的RDP保证在我们使用它来组成几个私有交互时最有用。我们数值证明，对于重要的制度，与组合我们的边界产生的$8\times$的一个因素，在最先进的近似差分隐私（DP）保证（与标准组成）洗牌模型的隐私保证的改善。此外，结合泊松子采样，我们的结果导致至少$10\times$改进与标准组合的子采样近似DP。
2021-05-11 cs.CR cs.LG
Cactus Mechanisms: Optimal Differential Privacy Mechanisms in the Large-Composition Regime
Arizona State University（亚利桑那州立大学）；Harvard University（哈佛大学）；McMaster University（麦克马斯特大学）
大多数差分隐私机制被应用（即，在敏感的数据上多次。本文研究了在组合数较多的情况下最优差分隐私机制的设计问题。由于大数定律，在这种制度下，最好的隐私机制是最小化给定两个不同输入的机制的条件输出分布之间的Kullback-Leibler分歧的机制。我们制定了一个优化问题，以尽量减少这种分歧的噪声成本约束。我们首先证明了添加剂机制是最优的。由于优化问题是无限维的，它不能直接解决，然而，我们将这个问题，以获得接近最佳的添加剂机制，我们称之为“仙人掌机制”，由于它们的形状。我们表明，我们的量化方法可以任意接近最佳机制。令人惊讶的是，对于二次成本，高斯机制与仙人掌机制相比是严格次优的。最后，我们提供的数值结果表明，仙人掌机制优于高斯机制的有限数量的组合物。
2022-06-25 cs.CR cs.IT cs.LG
Signal Recovery from Random Dot-Product Graphs Under Local Differential Privacy
University of California San Diego（加州大学圣地亚哥分校）；Penn State University（宾夕法尼亚州立大学）
针对局部差分隐私下的随机点积图，提出校正几何扭曲的推断方法，实现潜在位置及拓扑信息的一致恢复，并达到近乎极小极大最优。
2025-04-24 cs.LG math.ST stat.ML
Adaptive Privacy Composition for Accuracy-first Mechanisms
LinkedIn（领英）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
针对精度优先降噪机制缺乏组合理论的问题，本文提出可在差分隐私与事后隐私机制间自适应切换的隐私过滤器，以跟踪累积隐私损失并保证总体差分隐私。
2023-12-05 cs.CR cs.DS cs.LG
Optimal Accounting of Differential Privacy via Characteristic Function
UC Santa Barbara（加州大学圣巴巴拉分校）；Northwestern University（西北大学）
表征组合物的隐私退化，即，隐私计费是差分隐私（DP）中的基本主题，其具有差异私有机器学习和联邦学习的许多应用。我们提出了一个统一的最新进展（仁义DP，隐私配置文件，$f$ -DP和PLD形式主义）通过\emph{characteristic function}（$ϕ$ -功能）的某个\emph{dominating}隐私损失随机变量。我们表明，我们的方法允许\emph{natural}自适应组合像Renyi DP，提供\emph{exactly tight}隐私会计像PLD，并可以（通常\emph{losslessly}）转换为隐私配置文件和$f$ -DP，从而提供$(ε,δ)$ -DP保证和可解释的权衡功能。在数学上，我们提出了一个\emph{analytical Fourier accountant}，它象征性地表示$ϕ$ -函数的\emph{complex}对数，并使用高斯求积进行数值计算。在几个流行的DP机制和他们的子采样对应，我们证明了我们的方法在理论和实验上的灵活性和紧密性。
2022-05-31 cs.CR cs.LG
Individual Privacy Accounting with Gaussian Differential Privacy
Nokia Bell Labs（诺基亚贝尔实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）
该研究针对个体隐私核算需求，基于高斯差分隐私开展分析，结合上鞅与Rényi散度相关结果，构建了近似的个体(ε,δ)-隐私核算器，填补了最优隐私核算器在个体隐私损失分析领域的空白。
2023-08-24 cs.CR cs.LG stat.ML
Differential Privacy at Risk: Bridging Randomness and Privacy Budget
École Normale Supérieure（巴黎高等师范学院）；Chalmers University of Technology（查尔姆斯理工大学）；National University of Singapore（新加坡国立大学）
隐私保护机制的噪声校准取决于查询的敏感性和规定的隐私级别。数据管理员必须对隐私级别做出重要的选择，以平衡用户的需求和业务实体的资金限制。我们分析角色的随机性的来源，即显式随机性引起的噪声分布和隐式随机性引起的数据生成分布，参与设计的隐私保护机制。更精细的分析使我们能够提供更强有力的隐私保证，并具有可量化的风险。因此，我们提出的隐私风险，这是一个概率校准的隐私保护机制。我们提供了一个组合定理，利用隐私的风险。我们实例化的概率校准拉普拉斯机制提供分析结果。我们还提出了一个成本模型，该模型可以弥合隐私级别与GDPR合规商业实体估计的补偿预算之间的差距。所提出的成本模型的凸性导致隐私级别的独特微调，最大限度地减少补偿预算。我们展示了它的有效性，说明了一个现实的情况下，避免高估的补偿预算使用隐私风险的拉普拉斯机制。我们定量地表明，组合使用成本最优的隐私风险提供了更强的隐私保证比经典的先进的组合。
2020-04-13 cs.CR cs.DS cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Rao Differential Privacy
Department of Mathematics and Statistics University of Massachusetts Amherst（数学与统计学系 马萨诸塞大学阿默斯特分校）
本文从信息几何视角出发，提出基于Rao距离的Rao差分隐私定义，该定义保留传统差分隐私的解释，同时改进了序列组合性能。
2025-08-23 cs.CR cs.IT cs.LG
Profile-Based Privacy for Locally Private Computations
差分隐私已经成为隐私保护数据分析的黄金标准。一个流行的变体是本地差分隐私，其中数据持有者是受信任的管理者。然而，更广泛地采用这种模式的一个主要障碍是，它提供了一个糟糕的隐私-效用权衡。在这项工作中，我们解决这个问题，通过引入一个新的变种的本地隐私称为基于配置文件的隐私。其中心思想是，问题设置带有数据生成分布的图G，其边缘编码敏感的分布对，这些分布应该是不可区分的。这提供了更高的效用，因为与局部差分隐私不同，我们不再需要使域中的每对私有值不可区分，而是只保护底层分布的身份。我们建立隐私属性的基于配置文件的隐私定义，如后处理不变性和优美的组合。最后，我们提供的机制，在这个框架中是私人的，并通过模拟表明，他们实现了更高的效用比相应的本地差分隐私机制。
2019-06-16 cs.CR cs.LG stat.ML
Tangent Transformers for Composition, Privacy and Removal
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究提出切线注意力微调（TAFT）方法，对预训练Transformer做一阶泰勒展开得到线性化的Tangent Transformer，可高效计算且性能媲美非线性微调，在模型组合、并行训练、机器遗忘和差分隐私方面具备优势。
2024-05-14 cs.LG
A Randomized Approach for Tight Privacy Accounting
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出差分隐私新范式EVR，通过Monte Carlo技术构建随机化隐私验证器和DP accountant，将隐私参数估计转化为严格上界保证，提升了隐私保护机器学习的效用-隐私权衡。
2023-11-21 cs.CR cs.DS cs.LG
More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence
China University of Geosciences（中国地质大学）；University of Technology, Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，人工智能（AI）引起了人们的极大关注。然而，在取得这些进步的同时，也出现了一些问题，如侵犯隐私、安全问题和模型公平性问题。差分隐私作为一种有前途的数学模型，具有一些吸引人的性质，可以帮助解决这些问题，使它成为一个相当有价值的工具。出于这个原因，差分隐私已被广泛应用于人工智能，但到目前为止，还没有研究记录哪些差分隐私机制可以或已经被用来克服其问题或使其成为可能的属性。在本文中，我们表明，差分隐私可以做的不仅仅是隐私保护。它还可以用于提高安全性，稳定学习，构建公平模型，并在人工智能的选定领域中实施组合。本文的重点是常规机器学习、分布式机器学习、深度学习和多代理系统，其目的是提供一个新的视角，探讨利用差分隐私技术提高AI性能的多种可能性。
2020-08-05 cs.CR cs.LG stat.ML
Max-Information, Differential Privacy, and Post-Selection Hypothesis Testing
University of Pennsylvania（宾夕法尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们开始了一个原则性的研究，如何推广属性的近似差分隐私可以用来执行自适应假设检验，同时给出统计上有效的$p$值的更正。我们这样做，通过观察，有界近似最大信息的算法的保证是足够的，以纠正$p$ -值的自适应选择的假设，然后通过证明，算法，满足$(ε,δ)$ -差分隐私有界近似最大信息时，他们的输入是从产品分布。这实质上扩展了差分隐私和最大信息之间的已知联系，其先前仅已知适用于（纯）$(ε,0)$ -差分隐私。它还扩展了我们对最大信息作为控制自适应数据分析泛化特性的部分统一度量的理解。我们还展示了一个下界，证明（尽管强大的最大信息的组合属性），当数据是从产品分布，$(ε,δ)$差分私有算法可以首先在一个组合与其他算法满足最大信息的界限，但不一定是第二个，如果该组合本身需要满足一个非平凡的最大信息的界限。特别地，这意味着$(ε,δ)$ -差分隐私和最大信息之间的连接仅适用于从产品分发中提取的输入，而不像$(ε,0)$ -差分隐私和最大信息之间的连接。
2016-09-09 cs.LG
Subject Granular Differential Privacy in Federated Learning
Oracle Labs（甲骨文实验室）
本文针对联邦学习中主体级隐私保护问题，提出两种本地主体级DP算法，证明用户级LDP的主体隐私保证，发现隐私损失横向组合问题，实验验证算法效用并指出关键挑战。
2023-06-15 cs.CR cs.LG
Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning
我们在分布式学习框架中研究隐私，在该框架中，客户端通过与我们需要隐私的服务器进行交互，协同迭代地构建学习模型。受随机优化和联邦学习（FL）范式的启发，我们关注的情况下，一小部分数据样本在每一轮随机子采样参与学习过程，这也使隐私放大。为了获得更强的本地隐私保证，我们在洗牌隐私模型中对此进行了研究，其中每个客户端使用本地差分隐私（LDP）机制随机化其响应，服务器仅接收客户端响应的随机排列（洗牌），而不与每个客户端关联。本文的主要结果是一个隐私优化性能权衡离散随机化机制，在这个子采样洗牌隐私模型。这是通过一个新的理论技术来分析的子采样洗牌模型的Renyi差分隐私（RDP）。我们数值证明，对于重要的制度，与组合我们的界产生显着改善的隐私保证在国家的最先进的近似差分隐私（DP）的保证（强成分）的子采样洗牌模型。我们还展示了使用真实数据集的隐私学习性能操作点在数值上的显着改善。
2021-07-19 cs.CR cs.IT cs.LG
Compositional dynamic modelling for causal prediction in multivariate time series
本文基于多元动态模型的序列贝叶斯分析理论，提出一种用于多元时间序列因果预测的组合动态建模方法，扩展了贝叶斯反事实分析，并定义了结果自适应建模概念，通过商业营销干预案例验证了方法的有效性。
2024-06-04 stat.AP stat.ME
The Saddle-Point Accountant for Differential Privacy
Arizona State University（亚利桑那州立大学）；Harvard University（哈佛大学）；McMaster University（麦克马斯特大学）
我们介绍了一种新的差分隐私（DP）会计称为鞍点会计（SPA）。SPA以准确和快速的方式近似于DP机制组成的隐私保证。我们的方法受到鞍点方法的启发-统计学中一种无处不在的数值技术。我们证明严格的性能保证，得出的上界和下界SPA提供的近似误差。SPA的关键是大偏差方法与中心极限定理的结合，我们通过指数倾斜对应于DP机制的隐私损失随机变量来推导。SPA的一个关键优点是，对于隐私机制的$n$折叠组合，它以恒定的时间运行。数值实验表明，SPA实现了国家的最先进的会计方法具有更快的运行时间相当的准确性。
2022-08-20 cs.CR cs.IT cs.LG
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
DP-EM: Differentially Private Expectation Maximization
University of Amsterdam（阿姆斯特丹大学）；UC, San Diego（加州大学圣地亚哥分校）
期望最大化（EM）算法的迭代性质对隐私保护估计提出了挑战，因为每次迭代都会增加所需的噪声量。我们提出了一个实用的私人EM算法，克服了这一挑战，使用两个创新：（1）一个新的时刻扰动制定差分私人EM（DP-EM），以及（2）使用两个最近开发的组合方法来约束隐私的“成本”的多个EM迭代：时刻会计（MA）和零均值集中差分隐私（zCDP）。MA算法和zCDP算法都能有效地约束隐私损失随机变量的矩母函数，并得到一个精细的尾界，从而有效地降低了加性噪声的数量。我们目前的实证结果表明，我们的方法的好处，以及这两个组成方法之间的DP-EM设置高斯混合模型的类似性能。我们的方法可以很容易地扩展到许多迭代学习算法，开辟了各种令人兴奋的未来方向。
2016-10-31 cs.AI cs.CR cs.LG
Private Prediction via PAC Privacy
Massachusetts Institute of Technology（麻省理工学院）
针对API场景下的私有预测，提出基于PAC隐私的实例级噪声校准方法，实现自适应查询下互信息线性累积，在CIFAR-10上以极低预算达到高精度，并支持通过蒸馏发布可公开查询的模型。
2026-06-15 cs.CR cs.LG
BlockRR: A Unified Framework of RR-type Algorithms for Label Differential Privacy
School of Mathematics and Statistics & Institute of Interdisciplinary Research for Mathematics and Applied Science & Hubei Key Laboratory of Engineering Modeling and Scientific Computing（数学与统计学学院及数学与应用科学交叉研究机构及湖北工程建模与科学计算重点实验室）
BlockRR是一种统一的RR型算法框架，用于提升标签差分隐私下的模型性能，在高隐私和中等隐私范围内表现更优。
2026-02-03 cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University（上海交通大学）
近年来，机器学习的广泛应用对大规模、高维数据产生了巨大的需求，而数据的隐私问题也引起了人们的严重关注。差分隐私（DP）机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件，提出了一种改进的矩阵高斯机制（IMGM）。IMGM只对噪声协方差矩阵的奇异值施加约束，这为设计留下了空间。在矩阵值DP的合法噪声分布中，我们发现最佳分布是i.i.d.。高斯噪声，并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外，在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
Differential privacy from axioms
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
本研究证明了在满足特定公理的情况下，任何隐私度量等同于差分隐私，且移除任何公理会导致不恰当的隐私度量。
2025-11-26 cs.DS cs.LG
Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms
Princeton University（普林斯顿大学）；Meta AI；University of Wisconsin（威斯康星大学）
给定一个训练好的模型和一个数据样本，隶属推理（MI）攻击可以预测样本是否在模型的训练集中。针对MI攻击的常见对策是在模型训练期间利用差分隐私（DP）来掩盖单个示例的存在。虽然DP的这种使用是限制MI攻击的功效的原则性方法，但是DP提供的界限与MI攻击的经验性能之间存在差距。在本文中，我们推导出的\textit{advantage}的对手安装MI攻击的界限，并证明了广泛使用的高斯机制的紧密性。我们进一步显示MI攻击的\textit{confidence}的界限。我们的边界比DP分析得到的边界强得多。例如，用$ε=4$分析DP-SGD的设置将基于我们的分析获得$\approx0.36$优势的上界，而使用将$ε$转换为隶属推理界的先前工作的分析获得$\approx 0.97$的界。最后，使用我们的分析，我们为在CIFAR 10数据集上训练的模型提供了MI指标。据我们所知，我们的分析提供了国家的最先进的成员推理界限的隐私。
2022-04-12 cs.CR cs.LG
Differentially Private Online Bayesian Estimation With Adaptive Truncation
Sabancı University（萨班哲大学）；Faculty of Engineering and Natural Sciences, Sabancı University（萨班哲大学工程与自然科学学院）；Center of Excellence in Data Analytics (VERİM), Sabancı University（萨班哲大学数据分析卓越中心（VERİM））
针对顺序收集的敏感个体数据，本文提出自适应截断与序贯蒙特卡洛相结合的差分隐私在线贝叶斯估计方法，利用 Thompson sampling 依据 Fisher 信息动态缩小查询敏感度。
2023-01-19 cs.LG stat.CO stat.ML
Quantifying identifiability to choose and audit $ε$ in differentially private deep learning
SAP（SAP公司）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；University of Heidelberg（海德堡大学）；University of Waterloo（滑铁卢大学）
差分隐私允许限制训练数据记录对机器学习模型的影响。为了在机器学习中使用差分隐私，数据科学家必须选择隐私参数$(ε,δ)$。选择有意义的隐私参数是关键，因为使用弱隐私参数训练的模型可能会导致过度的隐私泄露，而强隐私参数可能会过度降低模型的实用性。然而，由于两个主要原因，隐私参数值难以选择。首先，隐私损失的理论上限$(ε,δ)$可能是宽松的，这取决于实际数据集的敏感性和数据分布。第二，匿名化的法律要求和社会规范通常涉及个人的可识别性，而$(ε,δ)$只是间接相关。我们将$(ε,δ)$转换为由差分隐私假设的对手的贝叶斯后验信念上的界限，关于训练数据集中任何记录的存在。结合下的多维查询组合，我们表明，它可以在实践中紧密。此外，我们推导出一个可识别的界限，这涉及到对手假设在差分隐私以前的工作成员推断对手。我们制定了这种差分隐私对手的实现，允许数据科学家审计模型训练和计算经验可识别性得分和经验$(ε,δ)$。
2021-07-20 cs.CR cs.LG
Tight Auditing of Differentially Private Machine Learning
Google DeepMind（谷歌DeepMind）；ETHZ（苏黎世联邦理工学院）
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习，现有的审计机制是严格的：经验隐私估计（几乎）匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先，他们只在不可信的最坏情况假设下给出严格的估计（例如，一个完全对抗的数据集）。其次，它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案，可以对自然（而不是对手精心制作的）数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设，这是允许在标准的差分隐私威胁模型。该威胁模型也适用于，例如，在联邦学习环境中。此外，我们的审计方案只需运行两次训练（而不是数千次）即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性，通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
Differential Privacy Amplification in Quantum and Quantum-inspired Algorithms
LIP6（LIP6实验室）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本研究针对量子与量子启发式算法展开，首次证明经典数据集量子编码上的算法及量子启发式经典采样结果可放大幅分隐私，同时验证了满足混合条件的量子信道组合可放大量子差分隐私，给出了对应隐私放大边界。
2023-08-21 cs.CR cs.DS cs.LG
On Differentially Private Online Predictions
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）；Georgetown University（乔治城大学）
在这项工作中，我们介绍了一个互动的联合差分隐私处理在线过程中，现有的隐私定义似乎过于限制性的变种。我们研究这个定义的基本属性，并证明它满足（合适的变体）的组隐私，组成，和后处理。然后，我们研究了成本的互动联合隐私的基本设置在线分类。我们表明，任何（可能非私人）的学习规则可以有效地转换为私人的学习规则，只有一个多项式开销的错误界。这表明了与更严格的隐私概念的明显区别，例如Golowich和Livni（2021）研究的隐私概念，其中只有错误界的双指数开销是已知的（通过信息论上限）。
2023-02-27 cs.CR cs.DS cs.LG
Differential Privacy and Byzantine Resilience in SGD: Do They Add Up?
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文讨论了在机器学习（ML）中将拜占庭弹性与隐私相结合的问题。具体而言，我们研究了著名的随机梯度下降（SGD）学习算法的分布式实现是否可行，同时具有差分隐私（DP）和$(α,f)$ -拜占庭弹性。据我们所知，这是第一个从理论角度解决这个问题的工作。我们分析的一个关键发现是，这两个（看似）正交问题的经典方法是不相容的。更确切地说，我们表明，这些技术的直接组合使得所得到的SGD算法的保证不利地依赖于ML模型的参数数量，使得大型模型的训练实际上是不可行的。我们通过对公开数据集的数值实验验证了我们的理论结果;表明同时确保DP和拜占庭弹性是不切实际的。
2021-06-24 cs.CR cs.DC cs.LG
Differentially Private Normalizing Flows for Density Estimation, Data Synthesis, and Variational Inference with Application to Electronic Health Records
University of Notre Dame（圣母大学）
电子健康记录（EHR）通常包含关于个体患者的敏感医疗信息，这对共享或发布EHR数据以用于下游学习和推理任务造成了重大限制。我们使用规范化流（NF），一系列深度生成模型，来估计具有差分隐私（DP）保证的数据集的概率密度，从中生成隐私保护合成数据。我们将该技术应用于包含肺动脉高压患者的EHR数据集。我们通过比较基于物理模型的参数的高血压状态和变后验分布的预测准确性来评估合成数据的学习和推理效用。此外，我们使用一个模拟的数据集从非线性模型比较的结果变分推断（VI）的基础上的隐私保护的合成数据，和隐私保护的VI直接私有化NF的VI与DP保证给定的原始非私有数据集。结果表明，合成数据产生的差异私人密度估计与NF可以产生良好的效用在一个合理的隐私成本。我们还表明，VI从差分私人NF的自由能约束损失的基础上获得的可能会产生变分近似显着改变的相关结构，和两个分布之间的替代相异性度量的基础上的损失配方可能会提供改进的结果。
2023-02-11 cs.CR cs.LG stat.AP
Cascading Bandit under Differential Privacy
Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
研究了级联强盗中的\emph{differential privacy (DP)}和\emph{local differential privacy (LDP)}。在DP下，我们提出了一个算法，它保证$ε$ -不变性和遗憾的$\mathcal{O}((\frac{\log T}ε)^{1+ξ})$为任意小的$ξ$。这是对$\mathcal{O}(\frac{\log^3 T}ε)$以前工作的一个重大改进。在（$ε$，$δ$）-LDP下，通过权衡隐私预算$ε$和错误概率$δ$，我们放松了$K^2$依赖性，得到了一个遗憾值$\mathcal{O}(\frac{K\log (1/δ) \log T}{ε^2})$，其中$K$是手臂子集的大小.通过对组分的分析，这一结果对高斯机制和拉普拉斯机制都成立。我们的结果扩展到组合半强盗。我们显示了DP和LDP级联土匪各自的下界。大量的实验证实了我们的理论发现。
2021-06-04 cs.LG
Let's Ask Gauss: Improved One-Run Privacy Auditing
Georgia Institute of Technology（佐治亚理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Purdue University（普渡大学）
提出一种基于高斯渐近分布的差分隐私审计框架，利用白盒DP-SGD中金丝雀对齐信号的归一化和，从单次训练运行中获取更紧的隐私下界。
2026-10-16 cs.LG
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
研究联邦学习中隐私问题，提出将其表述为平均场隐私博弈的方法，每个客户端通过平均场统计量选隐私预算，该框架能产生可处理均衡，适应异构偏好，继承隐私保证，实验表明其实现隐私 - 效用权衡并提供个性化保证。
2026-07-28 cs.AI cs.LG
The Real Deal Behind the Artificial Appeal: Inferential Utility of Tabular Synthetic Data
Ghent University Hospital（根特大学医院）；Ghent University（根特大学）；imec（imec（微电子研究中心））
本文揭示了对表格合成数据进行朴素推断会导致严重的第一类错误膨胀，并指出即使使用校正因子，深度生成模型仍因收敛慢而低估标准误，强调需开发专用统计推断工具。
2024-06-12 cs.LG stat.ML
Data-based Design of Inferential Sensors for Petrochemical Industry
Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克工业大学）；Slovnaft, a.s.（斯洛伐克石油公司（Slovnaft股份公司））
推理（或软）传感器在工业中用于从在线测量的变量（例如，压力、温度）。与经典模型过拟合类似，设计有效的推理传感器的主要挑战是选择正确的传感器结构。传感器结构由传感器的输入数量表示，其对应于在线测量的变量及其（简单）组合。本工作的重点是设计推理传感器的产品组成的两个炼油厂装置，催化裂化装置和减压加氢装置的工业蒸馏塔。作为设计的第一步，我们使用几个众所周知的数据预处理（粗差检测）方法，并比较这些方法的能力，以指示系统误差和离群值在现有的工业数据。然后，我们研究了各种方法的推理传感器的设计的有效性，同时考虑到所得到的模型的复杂性和准确性。有效性分析表明，与现有的推理传感器相比，其性能提高了19%。
2021-06-25 cs.LG eess.SP
Analyzing Inference Privacy Risks Through Gradients in Machine Learning
Vanderbilt University（范德堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出统一博弈框架系统分析分布式学习中梯度泄露的隐私风险，并通过实验证明数据聚合不足以抵御推理攻击，同时评估多种防御方法并引入基于对抗性金丝雀记录的隐私审计方法。
2024-08-29 cs.AI cs.CR cs.LG
Rényi Pufferfish Privacy: General Additive Noise Mechanisms and Privacy Amplification by Iteration
Craft AI；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Montpellier（蒙彼利埃大学）
本文提出基于 Rényi 散度的 Pufferfish 隐私变体，通过推广 Wasserstein 机制、强化分布外敌手保证并证明收缩性含噪迭代的隐私放大，首次将 Pufferfish 框架应用于私有凸优化。
2024-06-10 cs.CR cs.LG stat.ML
AdaPrivate-TS: Private Thompson Sampling for Contextual Bandits with Privacy Amplification
School of Engineering, University of Guelph（圭尔夫大学工程学院）
提出AdaPrivate-TS算法，结合汤普森采样与批量zCDP组合，利用差分隐私噪声结构化膨胀后验协方差，在事件级隐私下实现O(√d log T/√ρ)的隐私成本，并通过泊松子采样放大隐私，实验表明在ε∈[0.5,5]时达到非私有性能的93-99%。
2026-06-23 cs.CR cs.LG stat.ML
Faster Privacy Accounting via Evolving Discretization
Google Research（谷歌研究院）
提出了一种新的隐私随机变量数值合成算法，可用于计算机构合成中的精确差分隐私参数。我们的算法实现了运行时间和内存使用的$\mathrm{polylog}(k)$的任务，自我组成的机制，从一个广泛的机制类，$k$倍;这一类，例如，包括亚采样高斯机制，该机制出现在差分私有随机梯度下降的分析中。相比之下，Gopi等人最近的工作（NeurIPS 2021）已经获得了相同任务的运行时间$\widetilde{O}(\sqrt{k})$。我们的方法扩展到组成$k$不同的机制在同一个类的情况下，改善他们的运行时间和内存使用从$\widetilde{O}(k^{1.5})$到$\widetilde{O}(k)$。
2022-07-10 cs.CR cs.DS cs.LG
Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization
该研究提出P3M协议，在不修改目标函数或引入正式隐私机制的情况下，通过调整隐私-偏好数据比例，降低LLM的金丝雀记忆与成员推理攻击性能，同时平衡隐私、效用与安全。
2026-09-01 cs.CR cs.LG
Privacy Amplification by Iteration
Google Brain（谷歌大脑）；UC Santa Cruz（加州大学圣克鲁兹分校）
许多常用的学习算法通过在每次迭代中使用一个或几个数据点迭代地更新中间解来工作。对这类算法的差分隐私分析通常涉及确保每一步的隐私，然后推理算法的累积隐私成本。这是由允许释放所有中间结果的差分隐私的合成定理实现的。在这项工作中，我们证明了收缩迭代，不释放中间结果强烈放大了隐私保证。我们描述了这种新的分析技术通过噪声随机梯度下降来解决凸优化问题的几个应用。例如，我们证明了来自相同分布的相对少量的非私有数据点可以用来缩小私有和非私有凸优化之间的差距。此外，我们证明，我们可以实现类似的保证，可获得的隐私放大采样技术在几个自然环境中，该技术不能应用。
2018-12-10 cs.CR cs.DS cs.LG
MORF: A Framework for Predictive Modeling and Replication At Scale With Privacy-Restricted MOOC Data
The University of Michigan（密歇根大学）；The University of Pennsylvania（宾夕法尼亚大学）
来自大规模在线开放课程（MOOC）等在线学习平台的大数据存储库代表了一个前所未有的机会，可以大规模推进教育研究，并影响全球学习者。到目前为止，这种研究一直受到重现性差和缺乏复制的阻碍，主要是由于三种类型的障碍：实验，推理和数据。我们提出了一个新的大规模计算研究系统，MOOC复制框架（MORF），以共同解决这些障碍。我们讨论MORF的架构，一个开源的平台即服务（PaaS），其中包括一个简单，灵活的软件API提供多种模式的研究（预测建模或产生式规则分析）集成了一个高性能的计算环境。在MORF上进行的所有实验都使用可执行的Docker容器，这确保了完全的可重复性，同时允许使用可以安装在基于Linux的Docker容器中的任何软件或语言。每个实验工件都分配了一个DOI，并公开提供。MORF有潜力加速其大规模数据库的研究并使其民主化，该数据库目前包括200多个MOOC，正如在该平台上进行的初步研究所证明的那样。我们还强调的方式，MORF代表一个解决方案模板，在其他领域的计算研究人员所面临的更一般的一类问题。
2018-08-21 cs.CY cs.LG cs.SE
