Avoiding Pitfalls for Privacy Accounting of Subsampled Mechanisms under Composition
Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google DeepMind（谷歌DeepMind）
本文纠正了子采样差分隐私机制组合核算中的两个常见误区：证明最坏情况数据集自组合不能决定组合隐私保证，并揭示泊松子采样与无放回采样在隐私保证上可能差异显著，例如前者ε≈1而后者ε>10。
2025-04-08 cs.CR cs.DS cs.LG
Tight End-to-End Accounting for Differentially Private Synthetic Data
UCL（伦敦大学学院）；SAS（萨塞克斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Lausanne University Hospital (CHUV)（洛桑大学医院）
针对差分隐私合成数据流水线的核算精度损失问题，开发基于隐私损失分布等的工具，提出AIM-GDP和MixCal，实现更严格核算并降低同隐私水平下的噪声。
2026-10-14 cs.CR cs.LG stat.ML
Efficient privacy loss accounting for subsampling and random allocation
Apple（苹果公司）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
研究一种随机采样方案的隐私放大特性，该方案应用于差分隐私优化等场景。通过新工具基于隐私损失分布实现概念进行高效隐私损失核算，证明随机分配应用于高斯机制时隐私效用权衡至少与泊松子采样一样好。
2026-07-07 cs.LG
Tight Differential Privacy for Discrete-Valued Mechanisms and for the Subsampled Gaussian Mechanism Using FFT
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
我们提出了一个数值会计评估紧$(\varepsilon,δ)$隐私损失的算法与离散一维输出。该方法是基于隐私损失分布形式主义，它使用了最近推出的快速傅立叶变换为基础的会计技术。我们进行了误差分析的隐私损失分布，导致严格的下限和上限的真实$(\varepsilon,δ)$值的时刻界的方法。作为一个应用，我们提出了一种新的方法来准确的隐私会计的子采样高斯机制。这完成了先前提出的分析，给出严格的下限和上限的隐私参数。我们证明了性能的会计二项式机制，并表明，我们的方法允许降低噪声方差高达75%，在同等的隐私文献中现有的界限相比。我们还说明了如何计算紧边界的指数机制应用于计数查询。
2021-06-21 cs.CR cs.LG stat.ML
Mitigating Privacy-Utility Trade-off in Decentralized Federated Learning via $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）；Xiamen University（厦门大学）
本文提出两种基于$f$-差分隐私的核算方法（PN-$f$-DP和Sec-$f$-LDP），用于去中心化联邦学习，通过捕获隐私放大获得更紧的隐私界并提升效用。
2025-10-22 cs.CR cs.LG math.ST
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta；FAIR（Facebook人工智能研究院）
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题，提出有界支撑高斯机制的简单修改方案，经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Federated and Privacy-Preserving Learning of Accounting Data in Financial Statement Audits
University of St.Gallen (HSG)（圣加仑大学（HSG））；Deutsche Bundesbank（德意志联邦银行）
正在进行的“数字化转型”从根本上改变了审计证据的性质、记录和数量。如今，国际审计准则（ISA）要求审计师检查大量财务报表的基础数字会计记录。因此，审计事务所也“提升”了他们的分析能力，并投资于深度学习（DL），这是机器学习的一个成功的子学科。DL的应用提供了从多个客户端的数据中学习专门的审计模型的能力，例如，在同一行业或司法管辖区内经营的组织。一般而言，法规要求审计人员遵守严格的数据保密措施。与此同时，最近有趣的发现表明，大规模DL模型很容易泄漏敏感的训练数据信息。如今，审计公司如何在遵守数据保护法规的同时应用深度学习模型仍然不清楚。在这项工作中，我们提出了一个联邦学习框架，训练DL模型审计相关的会计数据的多个客户端。该框架包含差分隐私和分割学习功能，以减轻模型推断的数据机密性风险。我们评估我们的方法来检测会计异常在三个现实世界的城市支付数据集。我们的研究结果提供了经验证据，审计师可以受益于DL模型，积累知识，从多个来源的专有客户数据。
2022-08-26 cs.CE cs.CR cs.LG
A Sieve-Accelerated Quadrature Method for Exact Privacy Accounting in the 2020 U.S. Decennial Census
University of Pennsylvania（宾夕法尼亚大学）；Xiamen University（厦门大学）
针对2020年美国人口普查中离散高斯机制组合的精确隐私核算问题，提出一种基于离散傅里叶变换和筛算法的求积方法，实现高精度、高效率的隐私损失评估。
2026-06-29 cs.CR cs.DS cs.NA
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）
随着越来越多的敏感个人信息被聚集到数据存储库中，开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中，我们提出了一种算法，用于学习一个判别式训练的多类高斯分类器，满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Subsampled Rényi Differential Privacy and Analytical Moments Accountant
UC Santa Barbara（加州大学圣巴巴拉分校）；Amazon AI（亚马逊人工智能）
我们研究了差分隐私（DP）中的子采样问题，这个问题是许多成功的差分隐私机器学习算法背后的核心。具体来说，我们为算法的Rényi差分隐私（RDP）（Mironov，2017）参数提供了一个严格的上限：（1）对数据集进行二次采样，然后（2）根据M的RDP参数和二次采样概率参数将随机机制M应用于二次采样。我们的结果将Abadi等人（2016）为高斯机制开发的矩计算技术推广到任何子采样RDP机制。
2018-12-04 cs.CR cs.LG stat.ML
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们发现，高斯差分隐私，一个变种的差分隐私适合高斯噪声的分析，组成优雅，即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制（在敏感数据集上运行）及其隐私预算，也就是说，基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说，这给出了一个GDP滤波器，其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院人工智能实验室）
传统的差分隐私与数据分布无关。然而，这与现代机器学习环境并不匹配，其中模型是在特定数据上训练的。因此，在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私（BDP），它考虑到数据的分布，提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP，著名的时刻会计师的基础上。我们的实验表明，在经典的机器学习数据集，如MNIST和CIFAR-10，分布样本享有显着更强的隐私保证比DP假设，而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Shuffle Gaussian Mechanism for Differential Privacy
LINE Corporation（LINE公司）
本文研究差分隐私混洗模型中的高斯机制，推导其Rényi差分隐私上界，证明其优于未混洗高斯机制，并扩展到子采样与混洗签到机制，验证其在分布式学习中的隐私保护效果。
2022-07-04 cs.CR cs.LG stat.ML
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
An automatic differentiation system for the age of differential privacy
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；OpenMined；IIIT Hyderabad（海得拉巴国际信息技术学院）
我们介绍了氚，一个基于自动微分的灵敏度分析框架的差异私有（DP）机器学习（ML）。在此设置中的最佳噪声校准需要有效的雅可比矩阵计算和L2灵敏度的严格界限。我们的框架实现了这些目标，依赖于一个功能分析为基础的敏感性跟踪方法，我们简要概述。这种方法与基于静态图的自动微分自然无缝地互操作，与以前的工作相比，它可以在编译时间上实现数量级的改进。此外，我们证明，优化整个计算图的灵敏度，一次产生实质上更严格的估计相比，区间界限传播技术的真实灵敏度。我们的工作自然适合DP的最新发展，如个人隐私会计，旨在提供改进的隐私效用权衡，并代表了一个步骤，可访问的机器学习工具与先进的隐私会计系统的集成。
2022-04-05 cs.CR cs.LG
On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital（拉索恩大学医院）；University of Helsinki（赫尔辛基大学）
本文通过匹配强对手成员推理攻击的最坏情况成功度，提供从纯-DP ε到GDP μ的原则性映射，并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
在本答辩中，我们的目标是解决两个广泛的问题，涵盖了讨论中提出的大多数意见。首先，我们讨论了我们工作的一些理论方面，并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看，我们接下来讨论f-差分隐私（f-DP）和高斯差分隐私（GDP）如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology（新泽西理工学院）；Kent State University（肯特州立大学）；University of Oregon（俄勒冈大学）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
在本文中，我们提出了一种新的异构高斯机制（HGM），以保持差分隐私在深度神经网络，具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从（0，1]放宽到（0，\infty），并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配，提供了一个独特的能力，以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性，我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后，提出了一个更严格的鲁棒性界。理论分析和全面的评估表明，我们的机制显着提高了不同的私人深度神经网络的鲁棒性，与基线方法相比，在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Connect the Dots: Tighter Discrete Approximations of Privacy Loss Distributions
Google（谷歌）；Google Research（谷歌研究院）
隐私损失分布（PLD）提供了差分隐私（DP）背景下的机制的隐私损失的严格表征。最近的工作表明，与其他已知方法相比，基于PLD的核算允许对许多流行机制的更严格的$(\varepsilon, δ)$ -DP保证。基于PLD的会计中的一个关键问题是如何在任何指定的离散支持上用PLD来近似任何（可能连续的）PLD。我们提出了一种新的方法来解决这个问题。我们的方法支持悲观估计，这高估了关键-坚持分歧（即，$δ$），以及乐观估计，这低估了关键-坚持分歧。此外，我们证明了我们的悲观估计是所有悲观估计中最好的。实验评估表明，我们的方法可以与更大的离散化间隔，同时保持类似的误差界相比，以前的方法，但给出了一个更好的近似比现有的方法。
2022-07-10 cs.CR cs.DS cs.LG
Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而，这种隐私定义及其基于分歧的放松，有几个公认的弱点，无论是在处理组成的私人算法，或在分析重要的原语，如隐私放大子采样。受隐私权假设检验公式的启发，本文提出了一种新的隐私权松弛方法，我们称之为“$f$ -差分隐私”（$f$ -DP）.这种隐私的概念具有许多吸引人的特性，特别是避免了与基于发散的松弛相关联的困难。首先，$f$ -DP保留了假设检验解释。此外，$f$ -DP允许以代数方式进行关于组合的无损推理。此外，我们提供了一个强大的技术，进口现有的结果证明了原始DP的$f$ -DP，并作为一个应用程序，获得一个简单的子采样定理$f$ -DP。除了上述发现，我们引入了一个规范的单参数家庭的隐私概念内的$f$类，被称为“高斯差分隐私”（GDP），定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类，因为我们证明了一个中心极限定理。更确切地说，基于隐私定义（包括原始DP）的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具，用于分析私有算法的确切组成。综上所述，这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后，我们展示了我们开发的工具的使用，通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation
Aalborg University（奥尔堡大学）
隐私已经成为机器学习中的一个主要问题。事实上，联邦学习是出于隐私考虑，因为它不允许传输私有数据，而只允许中间更新。然而，联邦学习并不总是保证隐私保护，因为中间更新也可能泄露敏感信息。本文对高斯混合模型下的联邦期望最大化算法进行了显式的信息论分析，证明了中间更新会导致严重的隐私泄露。为了解决隐私问题，我们提出了一个完全分散的隐私保护解决方案，它能够安全地计算每个最大化步骤中的更新。此外，我们考虑两种不同类型的安全攻击：诚实但好奇和窃听对手模型。数值验证表明，该方法具有优越的性能相比，现有的方法在准确性和隐私级别。
2022-09-16 cs.CR cs.LG
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research（亚马逊研究院）；Amazon Web Services（亚马逊云科技）
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中，我们重新审视高斯机制，并表明原来的分析有几个重要的局限性。我们的分析表明，原机制的方差公式是远离紧密的高隐私制度（$\varepsilon \to 0$），它不能扩展到低隐私制度（$\varepsilon \to \infty$）。我们通过开发一种最佳高斯机制来解决这些限制，该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上，自适应估计技术，利用扰动的分布是已知的。我们的实验表明，分析校准消除了至少三分之一的噪声方差相比，经典的高斯机制，去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
Shanghai Jiao Tong University（上海交通大学）；UCL School of Management（伦敦大学学院管理学院）；Imperial Business School（帝国理工学院商学院）
针对已知敏感度的标量实值查询函数，设计了一类混合高斯加性噪声机制，在中等和低隐私预算下显著降低噪声幅度和方差，接近最优性。
2026-05-27 cs.AI cs.CR cs.LG
Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习（FL）由于其分散的结构允许私下训练大量的数据。随机梯度下降（SGD）由于其良好的经验性能而通常用于FL，但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制，以保持局部差分隐私（LDP）的用户数据在FL模型与SGD。用户隐私，全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比，LDP中使用的查询敏感度被定义为一个变量，并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加，如果一个更强的隐私制度的目标。此外，给定一个目标隐私级别，我们的研究结果保证一个显着更大的效用和更小的传输速率相比，现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT
Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Yonsei University（延世大学）；University of Washington（华盛顿大学）
本文针对流式差分隐私下的L_2均值估计，提出将稀疏化随机性纳入DP噪声的新隐私核算方法，并扩展至矩阵分解框架，在DP-SGD上实现至少100倍压缩改进。
2024-05-02 cs.CR cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University（上海交通大学）
近年来，机器学习的广泛应用对大规模、高维数据产生了巨大的需求，而数据的隐私问题也引起了人们的严重关注。差分隐私（DP）机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件，提出了一种改进的矩阵高斯机制（IMGM）。IMGM只对噪声协方差矩阵的奇异值施加约束，这为设计留下了空间。在矩阵值DP的合法噪声分布中，我们发现最佳分布是i.i.d.。高斯噪声，并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外，在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
Institute of Science and Technology Austria（奥地利科学与技术研究所）；BARC University of Copenhagen（哥本哈根大学BARC）
研究提出抖动高斯机制用于差分隐私，将离散化用于隐私输出，继承高斯机制隐私保证且避免浮点漏洞。该机制随机性高效，通过分离随机性来源减少随机比特数，应用于模型训练可实现安全噪声生成且开销适度。
2026-10-02 cs.CR cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
A closed form scale bound for the $(ε, δ)$-differentially private Gaussian Mechanism valid for all privacy regimes
用于通过添加具有方差$σ^2$的零均值高斯噪声来提供$(ε, δ)$ -差分隐私的$σ$上的标准闭合形式下限是用于$ε\in (0,1)$的$σ> Δ\sqrt {2}(ε^{-1}) \sqrt {\log \left( 5/4δ^{-1} \right)}$。如果$δ\leq 1/2$和$(a,s)=(π/4,-1)$不相同，我们给出了$z=-\log(4δ(1-δ))$和$(a,s)=(1,1)$的类似封闭形式界$σ\geq Δ(ε\sqrt{2})^{-1} \left(\sqrt{az+ε} + s\sqrt{az}\right)$。我们的界对所有$ε> 0$都有效，并且总是更低（更好）。我们还提出了一个充分条件$(ε, δ)$ -差分隐私时，根据均匀分布的噪声和对数凹密度支持无处不在。
2021-01-21 cs.CR stat.ML
Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning
Harvard University（哈佛大学）；University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究了通用高斯机制在隐私保护机器学习中的应用，证明其满足差分隐私，并在PATE和DP-SGD中验证了其有效性，表明高斯机制在可计算范围内表现优异。
2026-04-02 cs.CR cs.LG stat.ML
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics（统计系）；Graduate Group in Applied Mathematics and Computational Science（应用数学与计算科学研究生组）；Department of Biostatistics, Epidemiology and Informatics（生物统计学、流行病学与信息学系）
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题，在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题，我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比，我们的新的隐私组合下的边界获得改进的紧密性，利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性，证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy
University of Helsinki（赫尔辛基大学）；Microsoft（微软）
本文探讨了在差分隐私中使用添加/移除邻接关系的局限性，指出其在保护记录属性时的不足，并通过实验验证了替代邻接关系在隐私计数中的有效性。
2026-04-07 cs.CR cs.LG
The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Victoria（维多利亚大学）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文研究了任何输出具有高斯分布的算法的隐私性，提出了一种名为正态分布不可区分光谱（NDIS）的通用引理，用于计算任意两个多元高斯分布之间的hockey-stick散度，并将其应用于随机投影等算法的隐私证明，从而实现更高效的隐私保护机制。
2026-05-18 cs.CR cs.LG
Privacy Profiles for Private Selection
Nokia Bell Labs（诺基亚贝尔实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于隐私轮廓的方案，利用基础算法的隐私轮廓界定 ReportNoisyMax 和 PrivateTuning 的隐私轮廓，在数值上优于基于 RDP 的核算，并在端到端私有学习实验中取得实质性收益。
2024-02-09 cs.CR cs.LG
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology（麻省理工学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Boston University（波士顿大学）
本文通过Renyi差分隐私重新分析高斯草图机制，提出更紧的隐私界限，并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology（查尔姆斯理工大学）
我们表明，算法2（Agrawal & Goyal，2013）中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明，在T轮后，它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后，定理2表明，通过适当增加高斯后验样本的方差，可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果（（Mishra & Thakurta，2015））相比是有利的，该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外，我们的结果使用了基本的汤普森采样，几乎没有修改，而（Mishra & Thakurta，2015）的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素，这种方法往往是次优的，因为它丧失了一个机会，利用结构特征，通常与矩阵分析。为了解决这个问题，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布，我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外，我们引入了方向噪声的概念，通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后，我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了与自监督学习算法训练神经网络权重相关的隐私风险。通过经验证据，我们表明，微调阶段，其中网络权重更新信息丰富，往往是私人的数据集，是容易受到隐私攻击。为了解决这些漏洞，我们设计了一个训练后的隐私保护算法，增加了噪声的微调权重，并提出了一种新的差分隐私机制，采样噪声的逻辑分布。与传统的加性噪声机制Laplace和Gaussian机制相比，该机制采用了与Gaussian机制相似的钟形分布，并且满足与Laplace机制相似的纯$ε$ -差分隐私.我们应用成员推断攻击对未受保护和受保护的模型，以量化模型的隐私和性能之间的权衡。我们表明，所提出的保护算法可以有效地减少攻击的准确性约为50%-相当于随机猜测-同时保持低于5%的性能损失。
2022-05-25 cs.CR cs.LG stat.ML
Gaussian Differential Privacy on Riemannian Manifolds
University of Alberta（阿尔伯塔大学）
本文提出一种基于Bishop-Gromov定理的黎曼高斯分布，首次将高斯差分隐私扩展到一般黎曼流形，并提供算法计算隐私预算，在单位球面上验证了优于黎曼拉普拉斯机制的效用。
2023-11-09 cs.CR cs.DS cs.LG
The Discrete Gaussian for Differential Privacy
本文提出在差分隐私中使用离散高斯分布替代连续高斯噪声，以解决有限计算机表示误差导致的隐私破坏和离散数据可解释性下降问题，并从理论和实验上证明其提供与连续高斯噪声基本相同的隐私和精度保证，同时给出高效的精确采样算法。
2024-11-18 cs.CR cs.DS stat.ML
Provable Privacy with Non-Private Pre-Processing
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对差分隐私机器学习流水线中数据依赖预处理隐私成本易被忽略的问题，提出基于Smooth DP和预处理有界敏感度的通用评估框架，可量化非隐私预处理的额外隐私成本，适配多种预处理与DP算法且易集成。
2024-06-21 cs.AI cs.CR cs.LG
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
高斯机制是实现差分隐私的一种普遍采用的工具，大量的研究工作都致力于它的分析。我们认为，三个流行的解释GM，即$(\varepsilon, δ)$ -DP，f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$，我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性：查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系，$ψ$为从业者提供了一个强大的方法来解释，比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara（圣巴巴拉大学）；Amazon AI（亚马逊人工智能）；UC San Diego（圣迭戈大学）
本文提出ASAP算法，通过按W∞距离对MCMC样本添加噪声，在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差，并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning
Harvard University（哈佛大学）；Lausanne University Hospital（洛桑大学医院）；Google DeepMind（谷歌DeepMind）；University of Helsinki（赫尔辛基大学）
针对当前机器学习中差分隐私报告不完整的问题，提出使用非渐近高斯差分隐私（GDP）作为主要报告方式，通过数值会计和决策理论度量，证明GDP能无误差地捕获DP-SGD等算法的完整隐私特征。
2026-06-17 cs.AI cs.CR cs.LG
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology（香港科技大学）
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响，推导量化高斯机制的隐私预算，证明低比特量化可增强隐私保护，并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University（东南大学）
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题，提出PATE-TripleGAN框架，结合分类器预分类和混合梯度脱敏算法，在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
Privacy Amplification via Shuffled Check-Ins
LINE Corporation（LINE公司）
本文研究混洗签到分布式计算协议，允许客户端随机自主决定参与，通过基于Rényi差分隐私的隐私放大分析实现紧致隐私保障，并首次在本地/混洗模型下数值评估含高斯机制在内的通用混洗机制。
2023-07-04 cs.CR cs.LG
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究中心）；IBM Research（IBM研究院）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而，在原始同步联邦学习的情况下，客户端设备遭受等待时间，并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感，因此，对大量客户端的可扩展性较小或有限，并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法，它消除了等待时间，减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析，并提供了仿真结果。通过添加高斯噪声，我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Differential Privacy for Functions and Functional Data
Carnegie Mellon University（卡内基梅隆大学）
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量，或一些离散集的元素。我们开发的方法释放功能，同时保持差分隐私。具体来说，我们表明，添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时，则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子，我们考虑核密度估计，核支持向量机，并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research（谷歌研究院）
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私，我们添加了设备上的噪声，并使用安全聚合，以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统，它适当地离散化数据，并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响，数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上是能够匹配的准确性，中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Bounding Training Data Reconstruction in Private (Deep) Learning
Meta AI；Meta
差分隐私被广泛接受为防止ML中数据泄露的事实上的方法，传统观点认为它提供了强大的隐私攻击保护。然而，现有的DP语义保证集中在成员推理，这可能会高估对手的能力，并不适用于成员身份本身是不敏感的。在本文中，我们推导出第一个语义保证DP机制对训练数据重建攻击下的正式威胁模型。我们发现，两种不同的隐私会计方法-仁义差分隐私和费舍尔信息泄漏-都提供了强大的语义保护，以防止数据重建攻击。
2022-06-23 cs.CR cs.LG
Bayesian and Frequentist Semantics for Common Variations of Differential Privacy: Applications to the 2020 Census
本文的目的是指导解释的语义隐私保证的差分隐私，其中包括纯，近似，雷尼，零集中，和$f$差分隐私的一些主要变化。我们解释隐私损失会计参数，频率语义，贝叶斯语义（包括新的结果）。驾驶应用程序是对2021年8月12日发布的2020年人口普查公法94-171重划数据摘要文件的保密保护的解释，该文件首次在正式的隐私保证下制作。
2022-09-07 cs.CR stat.ME
