Private Minimum Hellinger Distance Estimation via Hellinger Distance Differential Privacy
George Mason University（乔治梅森大学）
本文提出满足Hellinger差分隐私约束的最小Hellinger距离估计器，保持了鲁棒性和效率，同时开发了差分隐私梯度下降和牛顿-拉夫森算法，并通过数值实验验证了其在数据污染下的鲁棒性。
2026-11-03 cs.CR math.PR math.ST
Tangent differential privacy
Stanford University（斯坦福大学）
本文提出针对特定数据分布、兼容全变差与Wasserstein等距离的切向差分隐私，并证明风险最小化中熵正则化在一般条件下可保证该隐私。
2024-06-06 cs.CR cs.LG stat.ML
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence
China University of Geosciences（中国地质大学）；University of Technology, Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，人工智能（AI）引起了人们的极大关注。然而，在取得这些进步的同时，也出现了一些问题，如侵犯隐私、安全问题和模型公平性问题。差分隐私作为一种有前途的数学模型，具有一些吸引人的性质，可以帮助解决这些问题，使它成为一个相当有价值的工具。出于这个原因，差分隐私已被广泛应用于人工智能，但到目前为止，还没有研究记录哪些差分隐私机制可以或已经被用来克服其问题或使其成为可能的属性。在本文中，我们表明，差分隐私可以做的不仅仅是隐私保护。它还可以用于提高安全性，稳定学习，构建公平模型，并在人工智能的选定领域中实施组合。本文的重点是常规机器学习、分布式机器学习、深度学习和多代理系统，其目的是提供一个新的视角，探讨利用差分隐私技术提高AI性能的多种可能性。
2020-08-05 cs.CR cs.LG stat.ML
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Stronger Privacy Amplification by Shuffling for Rényi and Approximate Differential Privacy
Apple（苹果公司）
本文从理论和数值两方面改进了混洗模型的隐私放大结果，首次给出LDP随机化器混洗输出的Rényi差分隐私参数的渐近最优分析，并提出新分析方法在所有参数设置下获得更紧的数值界。
2023-10-30 cs.CR cs.DS cs.LG
Differential Privacy for Sparse Classification Learning
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
在本文中，我们提出了一个差分隐私版本的凸和非凸稀疏分类方法。基于交替方向乘子法（ADMM）算法，将稀疏问题的求解转化为多步迭代过程。然后，我们添加指数噪声稳定的步骤，以实现隐私保护。该方法利用差分隐私的后处理保持特性，在原问题不稳定的情况下，仍能满足$ε-$差分隐私.此外，我们提出了理论上的隐私界的差分隐私分类算法。具体地说，我们的算法的隐私边界控制的算法迭代次数，隐私参数，损失函数的参数，ADMM预选参数，和数据大小。最后，我们将我们的框架应用于具有$L_1$正则化的逻辑斯谛回归和具有$L_{1/2}$正则化的逻辑斯谛回归。数值实验表明，该方法在敏感数据分析中具有良好的性能。
2019-08-02 cs.CR cs.LG stat.ML
Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches
CMU（卡内基梅隆大学）
通信和隐私是分布式学习中的两个关键问题。许多现有的作品分别处理这些问题。在这项工作中，我们认为，在分布式机器学习的背景下，通信减少和隐私保护的方法之间存在着自然的联系。特别是，我们证明了Count Sketch（一种简单的数据流摘要方法）具有固有的差分隐私属性。使用这些派生的隐私保证，我们提出了一种新的基于草图的框架（DiffSketch）的分布式学习，在那里我们通过草图压缩传输的消息，同时实现通信效率和可证明的隐私优势。我们的评估表明，DiffSketch可以提供强大的差分隐私保证（例如，$\varepsilon$ = 1），并将通信减少20- 50倍，而精度仅略有下降。与单独处理隐私和通信的基线相比，DiffSketch将绝对测试准确率提高了5%-50%，同时提供相同的隐私保证和通信压缩。
2019-12-06 cs.CR cs.LG stat.ML
Element Level Differential Privacy: The Right Granularity of Privacy
Stanford University（斯坦福大学）；Apple（苹果公司）
差分隐私（DP）为统计学习应用中用户数据泄露的风险提供了强有力的保证，尽管这些强有力的保护使学习具有挑战性，并且对于某些用例可能过于严格。为了解决这个问题，我们提出了元素级别的差分隐私，它扩展了差分隐私，以提供保护，防止泄漏信息的任何特定的“元素”的用户，允许更好的效用和更强大的结果比经典的DP。通过仔细选择这些“元素”，可以以期望的粒度提供隐私保护。我们提供的定义，相关的隐私保证，并分析，以确定权衡与新的定义，我们还开发了几个私人估计和学习方法，提供仔细的例子，项目频率和M-估计（经验风险最小化）与随之而来的隐私和效用分析。我们通过几个实际应用，估计直方图和拟合几个大规模预测模型（包括深度网络）来补充我们的理论和方法进步。
2019-12-05 cs.CR cs.LG stat.ML
Bayesian and Frequentist Semantics for Common Variations of Differential Privacy: Applications to the 2020 Census
本文的目的是指导解释的语义隐私保证的差分隐私，其中包括纯，近似，雷尼，零集中，和$f$差分隐私的一些主要变化。我们解释隐私损失会计参数，频率语义，贝叶斯语义（包括新的结果）。驾驶应用程序是对2021年8月12日发布的2020年人口普查公法94-171重划数据摘要文件的保密保护的解释，该文件首次在正式的隐私保证下制作。
2022-09-07 cs.CR stat.ME
Model Explanations with Differential Privacy
National University of Singapore (NUS)（新加坡国立大学）
黑箱机器学习模型被用于关键决策领域，这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息，从而破坏数据隐私。为了解决这个问题，我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法，找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释，减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响，不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
Capacity Bounded Differential Privacy
UC San Diego（加州大学圣地亚哥分校）；Duke University（杜克大学）
差分隐私是算法稳定性的概念，是衡量算法输出对数据集中单个记录隐私造成的额外风险的黄金标准。差分隐私被定义为算法在一个条目不同的相邻数据集上的输出分布之间的距离。在这项工作中，我们提出了一种新的放松的差分隐私，能力有界的差分隐私，其中的对手，区分输出分布被假定为能力有界的-即有界的计算能力，但从他们的攻击算法得出的功能类。我们的对手模型的限制F-概率分布之间的分歧，并研究属性的定义和算法，满足他们。
2019-07-03 cs.CR cs.LG stat.ML
Setting the Privacy Budget in Differential Privacy by Bounding Adversaries' Odds of Learning Sensitive Information
Duke University（杜克大学）
研究如何设置差分隐私中的隐私预算ε，核心方法是从业者先设定对手学习敏感信息的后验概率界限，再将其转换为ε值，以平衡隐私与结果准确性，并用病例对照研究数据说明该方法。
2026-07-07 stat.ME
Three Tools for Practical Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）
对真实世界数据的差异化私有学习对标准机器学习实践提出了挑战：隐私保证难以解释，私有数据的超参数调整减少了隐私预算，并且通常需要临时隐私攻击来测试模型隐私。我们介绍了三种工具，使差异化的私人机器学习更实用：（1）简单的健全性检查，可以在训练前以集中的方式进行，（2）自适应裁剪限制，以减少可调隐私参数的有效数量，（3）我们表明，大批量训练提高模型性能。
2018-12-07 cs.LG stat.ML
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification
Sorbonne Universite（索邦大学）
本文提出DP2DP算法，通过整合差分隐私与人口平等，实现多类分类中的隐私保护与公平性保障。
2025-11-24 cs.LG stat.ML
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院人工智能实验室）
传统的差分隐私与数据分布无关。然而，这与现代机器学习环境并不匹配，其中模型是在特定数据上训练的。因此，在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私（BDP），它考虑到数据的分布，提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP，著名的时刻会计师的基础上。我们的实验表明，在经典的机器学习数据集，如MNIST和CIFAR-10，分布样本享有显着更强的隐私保证比DP假设，而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
A Maximum Entropy Implementation of Differential Privacy Under Linear Invariants
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
研究在存在线性不变量（如数据库特定聚合查询受限）情况下的差分隐私实现问题，提出高熵差分隐私实现方法，能维持聚合不变量并给出隐私保证，其理论证明有新贡献且方法在正态混合模型采样中有广泛用途。
2026-07-27 cs.CR stat.ME
Distribution-Invariant Differential Privacy
Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）；School of Statistics, University of Minnesota（明尼苏达大学统计学院）
差分隐私正在成为保护公开共享数据隐私的黄金标准。它被广泛应用于社会科学、数据科学、公共卫生、信息技术和美国十年一次的人口普查。然而，为了保证差分隐私，现有的方法可能会不可避免地改变原始数据分析的结论，因为私有化往往会改变样本分布。这种现象被称为隐私保护和统计准确性之间的权衡。在这项工作中，我们减轻了这种权衡，通过开发一个分布不变的私有化（DIP）的方法来调和高统计精度和严格的差分隐私。因此，任何下游统计或机器学习任务都会产生与使用原始数据基本相同的结论。从数值上看，在同样严格的隐私保护下，DIP在广泛的模拟研究和真实世界的基准测试中实现了卓越的统计准确性。
2022-06-06 cs.CR cs.LG stat.ME
Differential Privacy for Functions and Functional Data
Carnegie Mellon University（卡内基梅隆大学）
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量，或一些离散集的元素。我们开发的方法释放功能，同时保持差分隐私。具体来说，我们表明，添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时，则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子，我们考虑核密度估计，核支持向量机，并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
Differential Privacy for Eye Tracking with Temporal Correlations
University of Tübingen（蒂宾根大学）；University of Siegen（锡根大学）
新一代盔装显示器，如VR和AR眼镜，正在进入市场，已经集成了眼动追踪，并有望在众多应用中实现新颖的人机交互方式。然而，由于眼动特性包含生物特征信息，因此必须妥善处理隐私问题。诸如差分隐私机制的隐私保护技术最近已被应用于从这种显示器获得的眼睛运动数据。然而，标准的差分隐私机制由于眼睛运动观测之间的时间相关性而易受攻击。在这项工作中，我们提出了一种新的变换编码为基础的差分隐私机制，以进一步适应眼动特征数据的统计，并比较各种低复杂度的方法。我们扩展了一种差分隐私机制--傅立叶微扰算法，并纠正了其证明中的一个尺度错误。此外，我们说明了显着减少样本的相关性，除了查询的敏感性，这提供了最好的效用隐私权衡眼动追踪文献。我们的研究结果提供了显着高的隐私，而没有任何实质性的损失，在分类准确性，同时隐藏个人标识符。
2021-12-20 cs.CR cs.HC cs.LG
Minimax density estimation in the adversarial framework under local differential privacy
本文研究对抗框架下局部差分隐私约束的非参数密度估计问题，提出Coordinate block privacy机制与投影估计器结合实现极小化极大最优速率，并开发了对数项内最优的自适应程序。
2025-07-17 math.ST stat.TH
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania（宾夕法尼亚大学）
本文从统计视角重新解读差分隐私，基于Blackwell定理证明其所有定义可从假设检验视角推导，提出f-差分隐私统一框架并分析其在多领域应用中的优势，论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
