Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Setting $\varepsilon$ is not the Issue in Differential Privacy
Institute of Science and Technology Austria（奥地利科学技术学院）
本文指出差分隐私中隐私预算的解释困难并非其本质问题，而是隐私风险评估的挑战，并主张应通过差分隐私框架或合理解释来解决。
2026-01-19 cs.CR cs.LG
Empirical Differential Privacy
我们展示了如何实现差分隐私，没有或减少增加的噪声，基于经验的数据本身的噪声。与以前的作品无噪声隐私，经验的观点避免了任何明确的假设随机过程产生的数据。
2023-01-03 cs.CR cs.LG
Diffprivlib: The IBM Differential Privacy Library
IBM Research（IBM研究院）
自2006年提出概念以来，差分隐私由于其强大的数学保证、广泛的适用性和丰富的文献，已经成为数据隐私领域的事实标准。多年来，研究人员一直在研究差分隐私及其在不断扩大的主题领域的适用性。已经创建了用于针对各种数据类型和场景优化实现差分隐私的过程的机制。然而，在这项工作之前，之前所有关于差分隐私的工作都是在临时的基础上进行的，没有一个统一的代码库来实现结果。在这项工作中，我们提出了IBM的差分隐私库，一个通用的，开源库的调查，实验和开发差分隐私的Python程序设计语言的应用程序。该库包括一系列机制，差分隐私的构建块，以及机器学习和其他数据分析任务的许多应用程序。简单性和可访问性在开发图书馆时被优先考虑，使其适合广泛的用户，从那些使用图书馆进行数据隐私首次调查的用户，到希望为他人提供自己的模型和机制的隐私专家。
2019-07-04 cs.CR cs.LG
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School（卡梅尔高中）；Department of Computer Science Purdue University（计算机科学系 Purdue 大学）
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能，揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Model Explanations with Differential Privacy
National University of Singapore (NUS)（新加坡国立大学）
黑箱机器学习模型被用于关键决策领域，这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息，从而破坏数据隐私。为了解决这个问题，我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法，找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释，减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响，不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
Tangent differential privacy
Stanford University（斯坦福大学）
本文提出针对特定数据分布、兼容全变差与Wasserstein等距离的切向差分隐私，并证明风险最小化中熵正则化在一般条件下可保证该隐私。
2024-06-06 cs.CR cs.LG stat.ML
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
Composition of Differential Privacy & Privacy Amplification by Subsampling
Google Research（谷歌研究院）
本章是“人工智能应用的差分隐私”一书的一部分。“我们介绍了差分隐私最重要的属性-组成：对一组人的数据进行多项独立分析仍然是差异隐私的，只要每项分析本身都是隐私的-以及通过子采样进行隐私放大的相关主题。本章介绍了基本概念，并给出了在实践中应用这些工具所需的关键结果的证明。
2022-10-26 cs.CR cs.DS cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们发现，高斯差分隐私，一个变种的差分隐私适合高斯噪声的分析，组成优雅，即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制（在敏感数据集上运行）及其隐私预算，也就是说，基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说，这给出了一个GDP滤波器，其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
Three Tools for Practical Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）
对真实世界数据的差异化私有学习对标准机器学习实践提出了挑战：隐私保证难以解释，私有数据的超参数调整减少了隐私预算，并且通常需要临时隐私攻击来测试模型隐私。我们介绍了三种工具，使差异化的私人机器学习更实用：（1）简单的健全性检查，可以在训练前以集中的方式进行，（2）自适应裁剪限制，以减少可调隐私参数的有效数量，（3）我们表明，大批量训练提高模型性能。
2018-12-07 cs.LG stat.ML
Accuracy, Interpretability, and Differential Privacy via Explainable Boosting
Microsoft（微软）；University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
我们表明，将差分隐私添加到可解释的提升机（EBM）中，这是一种最近用于训练可解释的ML模型的方法，在保护隐私的同时获得了最先进的准确性。我们在多个分类和回归数据集上的实验表明，DP-EBM模型即使有很强的差分隐私保证，也几乎没有准确性损失。除了高准确性之外，将DP应用于EBM的另外两个好处是：a）训练的模型提供精确的全局和局部可解释性，这在需要差分隐私的设置中通常是重要的;以及b）模型可以在训练之后被编辑而不损失隐私以校正DP噪声可能引入的错误。
2021-06-17 cs.CR cs.LG
Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification
Sorbonne Universite（索邦大学）
本文提出DP2DP算法，通过整合差分隐私与人口平等，实现多类分类中的隐私保护与公平性保障。
2025-11-24 cs.LG stat.ML
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
Position: Challenges and Opportunities for Differential Privacy in the U.S. Federal Government
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文从与美国政府合作的跨学科团队视角，分析差分隐私在联邦政府应用中的三大挑战，并通过两个示例展示其在多级隐私分析和涉密人员配置效率方面的机遇。
2024-10-21 cs.AI cs.CR cs.LG
How Do Input Attributes Impact the Privacy Loss in Differential Privacy?
Technical University of Munich（慕尼黑工业大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Imperial College London（帝国理工学院）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）
差分隐私（DP）通常被表述为数据库中所有个体的最坏情况隐私保证。最近，已经引入了对单个主题或其属性的扩展。在个体/每实例DP解释下，我们研究了DP神经网络中每个主体的梯度范数与个体隐私损失之间的联系，并引入了一种新的度量标准，称为隐私损失-输入敏感性（PLIS），它允许将主体的隐私损失分摊到其输入属性。我们的实验表明，这使得识别敏感属性和数据重建的高风险的主题。
2022-11-18 cs.CR cs.LG
Privacy and Utility Tradeoff in Approximate Differential Privacy
Google AI（谷歌人工智能（Google AI））；New York, NY 10011（纽约州纽约市（邮编10011））
本文研究了$(ε, δ)$ -差分隐私中单个实值查询函数的最小噪声幅值和噪声功率。我们推导出新的下界使用线性规划的对偶，并提出了一个新的类$(ε,δ)$ -差分私有机制，\emph{truncated Laplacian}机制，新的上界。我们发现，乘法差距的下限和上限在各种高隐私制度为零，证明了紧的下限和上限，从而建立截断拉普拉斯机制的最优性。特别是，我们的研究结果关闭了以前的常数乘法的离散设置的差距。数值实验表明，截断拉普拉斯机制的最佳高斯机制在所有的隐私机制的改善。
2019-02-05 cs.CR cs.LG
Algorithms with More Granular Differential Privacy Guarantees
Google Research（谷歌研究院）
差分隐私通常应用于大于理论建议的理想隐私参数;已经提出了各种非正式的理由来容忍大的隐私参数。在这项工作中，我们考虑部分差分隐私（DP），它允许量化的隐私保证每个属性的基础上。在这个框架中，我们研究了几个基本的数据分析和学习任务，并设计了算法，其每个属性的隐私参数小于一个人的整个记录的最佳可能的隐私参数（即，所有属性）。
2022-09-08 cs.CR cs.DS cs.LG
Differential Privacy for Functions and Functional Data
Carnegie Mellon University（卡内基梅隆大学）
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量，或一些离散集的元素。我们开发的方法释放功能，同时保持差分隐私。具体来说，我们表明，添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时，则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子，我们考虑核密度估计，核支持向量机，并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类，证明通过策略性校准隐私预算，可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
当从敏感数据中学习时，必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合（PATE）通过投票机制聚合（可能是分布式的）教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中，我们观察到，这种使用噪声，这使得PATE预测随机，使新形式的泄漏的敏感信息。对于给定的输入，我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中，对手可以了解输入的敏感属性，如种族，性别或年龄。虽然这种攻击并不直接违反差分隐私保证，但它显然违反了隐私规范和期望，如果不插入噪声以获得差分隐私，则根本不可能。事实上，与直觉相反，当我们添加更多噪声以提供更强的差分隐私时，攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私，而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
The Impact of Differential Privacy on Group Disparity Mitigation
University of Marburg（马尔堡大学）；University of Copenhagen（哥本哈根大学）；Topdanmark A/S（Topdanmark公司）；Manipal Institute of Technology（马尼帕尔理工学院）
差分隐私的性能成本，对于某些应用程序，已被证明是较高的少数群体，公平，相反，已被证明是牺牲这些群体的成员的隐私。这一领域的大部分工作仅限于计算机视觉和风险评估。在本文中，我们评估的影响，差分隐私的公平性在四个任务，重点是如何尝试减轻隐私侵犯和组间的性能差异相互作用：隐私是否抑制尝试，以确保公平？为此，我们训练$(\varepsilon,δ)$-具有经验风险最小化和分组分布鲁棒训练目标的差分私有模型。与以前的研究结果一致，我们发现，差分隐私增加组间性能差异的基线设置，但更有趣的是，差分隐私减少组间性能差异的强大设置。我们通过将差分隐私重新解释为正则化来解释这一点。
2022-03-05 cs.CL cs.CR cs.LG
Concentrated Differential Privacy: Simplifications, Extensions, and Lower Bounds
“集中式差分隐私“是Dwork和Rothblum最近提出的一种对差分隐私的放宽，它允许对许多隐私保护计算进行更清晰的分析。我们提出了一种替代配方的概念，集中的差分隐私在Renyi分歧的分布通过运行算法相邻的输入。有了这种重新表述，我们证明了更清晰的定量结果，建立下限，并提出了一些新的问题。通过对“近似集中式差分隐私”的定义，将该方法与近似差分隐私统一起来。"
2016-05-06 cs.CR cs.DS cs.IT
More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence
China University of Geosciences（中国地质大学）；University of Technology, Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，人工智能（AI）引起了人们的极大关注。然而，在取得这些进步的同时，也出现了一些问题，如侵犯隐私、安全问题和模型公平性问题。差分隐私作为一种有前途的数学模型，具有一些吸引人的性质，可以帮助解决这些问题，使它成为一个相当有价值的工具。出于这个原因，差分隐私已被广泛应用于人工智能，但到目前为止，还没有研究记录哪些差分隐私机制可以或已经被用来克服其问题或使其成为可能的属性。在本文中，我们表明，差分隐私可以做的不仅仅是隐私保护。它还可以用于提高安全性，稳定学习，构建公平模型，并在人工智能的选定领域中实施组合。本文的重点是常规机器学习、分布式机器学习、深度学习和多代理系统，其目的是提供一个新的视角，探讨利用差分隐私技术提高AI性能的多种可能性。
2020-08-05 cs.CR cs.LG stat.ML
Differential Privacy for Sparse Classification Learning
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
在本文中，我们提出了一个差分隐私版本的凸和非凸稀疏分类方法。基于交替方向乘子法（ADMM）算法，将稀疏问题的求解转化为多步迭代过程。然后，我们添加指数噪声稳定的步骤，以实现隐私保护。该方法利用差分隐私的后处理保持特性，在原问题不稳定的情况下，仍能满足$ε-$差分隐私.此外，我们提出了理论上的隐私界的差分隐私分类算法。具体地说，我们的算法的隐私边界控制的算法迭代次数，隐私参数，损失函数的参数，ADMM预选参数，和数据大小。最后，我们将我们的框架应用于具有$L_1$正则化的逻辑斯谛回归和具有$L_{1/2}$正则化的逻辑斯谛回归。数值实验表明，该方法在敏感数据分析中具有良好的性能。
2019-08-02 cs.CR cs.LG stat.ML
Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches
CMU（卡内基梅隆大学）
通信和隐私是分布式学习中的两个关键问题。许多现有的作品分别处理这些问题。在这项工作中，我们认为，在分布式机器学习的背景下，通信减少和隐私保护的方法之间存在着自然的联系。特别是，我们证明了Count Sketch（一种简单的数据流摘要方法）具有固有的差分隐私属性。使用这些派生的隐私保证，我们提出了一种新的基于草图的框架（DiffSketch）的分布式学习，在那里我们通过草图压缩传输的消息，同时实现通信效率和可证明的隐私优势。我们的评估表明，DiffSketch可以提供强大的差分隐私保证（例如，$\varepsilon$ = 1），并将通信减少20- 50倍，而精度仅略有下降。与单独处理隐私和通信的基线相比，DiffSketch将绝对测试准确率提高了5%-50%，同时提供相同的隐私保证和通信压缩。
2019-12-06 cs.CR cs.LG stat.ML
Privacy Loss in Apple's Implementation of Differential Privacy on MacOS 10.12
University of Southern California（南加州大学）；Tsinghua University（清华大学）；Indiana University（印第安纳大学）
2016年6月，苹果宣布将为部分用户数据汇集部署差分隐私，以确保用户数据的隐私，甚至来自苹果。苹果公司的做法的细节仍然很少。尽管此后出现了几项专利，暗示可能用于实现差分隐私的算法，但它们并没有对隐私参数选择所采取的方法进行精确解释。这种选择以及隐私预算使用和管理的总体方法是理解任何差分隐私部署所提供的隐私保护的关键问题。在这项工作中，通过实验的结合，macOS Sierra（版本10.12）实现的静态和动态代码分析，我们揭示了Apple为隐私预算管理所做的选择。我们发现并描述了苹果公司的差异化隐私数据处理的设置，包括整体数据管道，用于差异化隐私扰动的每一段数据的参数，以及这些数据发送到苹果服务器的频率。我们发现，尽管Apple的部署确保提交到其服务器的每个数据的（差异）隐私损失为$1$或$2$，但系统允许的总体隐私损失要高得多，对于最初宣布的四个应用程序（Emojis、New words、Deeplinks和Lookup Hints），每天高达$16$。此外，苹果每天更新可用的隐私预算，这可能导致隐私损失的天数是用户选择加入这四个应用程序的差异隐私数据汇集的天数的16倍。我们主张，为了充分利用差异化隐私数据汇集的全部好处，苹果必须对其实施提供完全的透明度，使用户能够在与隐私损失相关的领域进行选择，并对允许的隐私损失设置有意义的默认值。
2017-09-11 cs.CR cs.CY cs.LG
Element Level Differential Privacy: The Right Granularity of Privacy
Stanford University（斯坦福大学）；Apple（苹果公司）
差分隐私（DP）为统计学习应用中用户数据泄露的风险提供了强有力的保证，尽管这些强有力的保护使学习具有挑战性，并且对于某些用例可能过于严格。为了解决这个问题，我们提出了元素级别的差分隐私，它扩展了差分隐私，以提供保护，防止泄漏信息的任何特定的“元素”的用户，允许更好的效用和更强大的结果比经典的DP。通过仔细选择这些“元素”，可以以期望的粒度提供隐私保护。我们提供的定义，相关的隐私保证，并分析，以确定权衡与新的定义，我们还开发了几个私人估计和学习方法，提供仔细的例子，项目频率和M-估计（经验风险最小化）与随之而来的隐私和效用分析。我们通过几个实际应用，估计直方图和拟合几个大规模预测模型（包括深度网络）来补充我们的理论和方法进步。
2019-12-05 cs.CR cs.LG stat.ML
Capacity Bounded Differential Privacy
UC San Diego（加州大学圣地亚哥分校）；Duke University（杜克大学）
差分隐私是算法稳定性的概念，是衡量算法输出对数据集中单个记录隐私造成的额外风险的黄金标准。差分隐私被定义为算法在一个条目不同的相邻数据集上的输出分布之间的距离。在这项工作中，我们提出了一种新的放松的差分隐私，能力有界的差分隐私，其中的对手，区分输出分布被假定为能力有界的-即有界的计算能力，但从他们的攻击算法得出的功能类。我们的对手模型的限制F-概率分布之间的分歧，并研究属性的定义和算法，满足他们。
2019-07-03 cs.CR cs.LG stat.ML
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院人工智能实验室）
传统的差分隐私与数据分布无关。然而，这与现代机器学习环境并不匹配，其中模型是在特定数据上训练的。因此，在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私（BDP），它考虑到数据的分布，提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP，著名的时刻会计师的基础上。我们的实验表明，在经典的机器学习数据集，如MNIST和CIFAR-10，分布样本享有显着更强的隐私保证比DP假设，而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania（宾夕法尼亚大学）
本文从统计视角重新解读差分隐私，基于Blackwell定理证明其所有定义可从假设检验视角推导，提出f-差分隐私统一框架并分析其在多领域应用中的优势，论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Stronger Privacy Amplification by Shuffling for Rényi and Approximate Differential Privacy
Apple（苹果公司）
本文从理论和数值两方面改进了混洗模型的隐私放大结果，首次给出LDP随机化器混洗输出的Rényi差分隐私参数的渐近最优分析，并提出新分析方法在所有参数设置下获得更紧的数值界。
2023-10-30 cs.CR cs.DS cs.LG
On the utility and protection of optimization with differential privacy and classic regularization techniques
Politecnico di Milano（米兰理工大学）
如今，深度学习模型的所有者和开发人员必须考虑其训练数据的严格隐私保护规则，通常是众包和保留敏感信息。如今，最广泛采用的实施深度学习模型隐私保证的方法依赖于实施差分隐私的优化技术。根据文献，这种方法已被证明是一个成功的防御几个模型的隐私攻击，但其缺点是一个模型的性能大幅下降。在这项工作中，我们比较了差分私有随机梯度下降（DP-SGD）算法对标准的优化实践与正则化技术的有效性。我们分析了所得到的模型的效用，训练性能，以及对学习模型的隶属推理和模型反演攻击的有效性。最后，我们讨论了差分隐私的缺陷和局限性，并实证证明了往往优越的隐私保护性能的dropout和l2-正则化。
2022-09-07 cs.AI cs.CR cs.LG
Distribution-Invariant Differential Privacy
Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）；School of Statistics, University of Minnesota（明尼苏达大学统计学院）
差分隐私正在成为保护公开共享数据隐私的黄金标准。它被广泛应用于社会科学、数据科学、公共卫生、信息技术和美国十年一次的人口普查。然而，为了保证差分隐私，现有的方法可能会不可避免地改变原始数据分析的结论，因为私有化往往会改变样本分布。这种现象被称为隐私保护和统计准确性之间的权衡。在这项工作中，我们减轻了这种权衡，通过开发一个分布不变的私有化（DIP）的方法来调和高统计精度和严格的差分隐私。因此，任何下游统计或机器学习任务都会产生与使用原始数据基本相同的结论。从数值上看，在同样严格的隐私保护下，DIP在广泛的模拟研究和真实世界的基准测试中实现了卓越的统计准确性。
2022-06-06 cs.CR cs.LG stat.ME
Differential Privacy and Machine Learning: a Survey and Review
机器学习的目标是从数据中提取有用的信息，同时通过隐藏信息来保护隐私。因此，似乎很难调和这些相互竞争的利益。然而，在挖掘敏感数据时，它们通常必须平衡。例如，医学研究代表了一个重要的应用，其中需要提取有用的信息并保护患者隐私。解决冲突的方法之一是提取整个人口的一般特征，而不披露个人的私人信息。在本文中，我们考虑差分隐私，最流行和最强大的隐私定义之一。我们探讨机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制。我们还描述了一些理论结果，解决了什么可以学到的差异私人和上界的损失函数的差异私人算法。最后，我们提出了一些开放的问题，包括如何将公共数据，如何处理丢失的数据在私人数据集，以及是否，作为观察到的样本的数量增长任意大，差分私人机器学习算法可以实现在没有成本的效用相比，相应的非差分私人算法。
2014-12-24 cs.CR cs.DB cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
TADP-RME: A Trust-Adaptive Differential Privacy Framework for Enhancing Reliability of Data-Driven Systems
Indian Statistical Institute Kolkata（印度统计研究所加尔各答分校）；Army Institute of Management（陆军管理学院）
本文提出TADP-RME框架，通过引入逆信任分数和反向流形嵌入技术，改进隐私-效用权衡，提升对抗环境下的系统可靠性。
2026-04-09 cs.AI cs.CR cs.LG
Subsampled Rényi Differential Privacy and Analytical Moments Accountant
UC Santa Barbara（加州大学圣巴巴拉分校）；Amazon AI（亚马逊人工智能）
我们研究了差分隐私（DP）中的子采样问题，这个问题是许多成功的差分隐私机器学习算法背后的核心。具体来说，我们为算法的Rényi差分隐私（RDP）（Mironov，2017）参数提供了一个严格的上限：（1）对数据集进行二次采样，然后（2）根据M的RDP参数和二次采样概率参数将随机机制M应用于二次采样。我们的结果将Abadi等人（2016）为高斯机制开发的矩计算技术推广到任何子采样RDP机制。
2018-12-04 cs.CR cs.LG stat.ML
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Amplifying Rényi Differential Privacy via Shuffling
差分隐私是构建机器学习模型的有用工具，该模型不会发布太多有关训练数据的信息。我们研究了随机梯度下降的Rényi差分隐私，当每个训练样本被采样而不替换（也称为循环SGD）。循环SGD通常比传统SGD更快，是大规模实现中的首选算法。我们恢复的隐私保证循环SGD这是竞争对手的那些已知的采样与替换。我们的证明技术不对模型或数据做任何假设，因此具有广泛的适用性。
2020-02-17 cs.CR cs.LG stat.ML
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
在本答辩中，我们的目标是解决两个广泛的问题，涵盖了讨论中提出的大多数意见。首先，我们讨论了我们工作的一些理论方面，并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看，我们接下来讨论f-差分隐私（f-DP）和高斯差分隐私（GDP）如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada（格拉纳达大学安达卢西亚数据科学与计算智能研究所）
边缘人工智能服务的高需求也保护了数据隐私，推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私，这些方法将数据保存在数据孤岛中。同样，差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布，但它们缺乏对这些技术所需的统一愿景，以及支持其使用的方法工作流程。因此，我们提出了Sherpa.ai联邦学习框架，该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究，以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Differential Privacy for Eye Tracking with Temporal Correlations
University of Tübingen（蒂宾根大学）；University of Siegen（锡根大学）
新一代盔装显示器，如VR和AR眼镜，正在进入市场，已经集成了眼动追踪，并有望在众多应用中实现新颖的人机交互方式。然而，由于眼动特性包含生物特征信息，因此必须妥善处理隐私问题。诸如差分隐私机制的隐私保护技术最近已被应用于从这种显示器获得的眼睛运动数据。然而，标准的差分隐私机制由于眼睛运动观测之间的时间相关性而易受攻击。在这项工作中，我们提出了一种新的变换编码为基础的差分隐私机制，以进一步适应眼动特征数据的统计，并比较各种低复杂度的方法。我们扩展了一种差分隐私机制--傅立叶微扰算法，并纠正了其证明中的一个尺度错误。此外，我们说明了显着减少样本的相关性，除了查询的敏感性，这提供了最好的效用隐私权衡眼动追踪文献。我们的研究结果提供了显着高的隐私，而没有任何实质性的损失，在分类准确性，同时隐藏个人标识符。
2021-12-20 cs.CR cs.HC cs.LG
Faster Privacy Accounting via Evolving Discretization
Google Research（谷歌研究院）
提出了一种新的隐私随机变量数值合成算法，可用于计算机构合成中的精确差分隐私参数。我们的算法实现了运行时间和内存使用的$\mathrm{polylog}(k)$的任务，自我组成的机制，从一个广泛的机制类，$k$倍;这一类，例如，包括亚采样高斯机制，该机制出现在差分私有随机梯度下降的分析中。相比之下，Gopi等人最近的工作（NeurIPS 2021）已经获得了相同任务的运行时间$\widetilde{O}(\sqrt{k})$。我们的方法扩展到组成$k$不同的机制在同一个类的情况下，改善他们的运行时间和内存使用从$\widetilde{O}(k^{1.5})$到$\widetilde{O}(k)$。
2022-07-10 cs.CR cs.DS cs.LG
Privacy Risk Predictions Based on Fundamental Understanding of Personal Data and an Evolving Threat Landscape
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种基于身份生态系统图的隐私风险预测框架，通过分析身份盗窃和欺诈案例，利用图神经网络预测个人数据泄露的可能性。
2026-03-03 cs.CR cs.LG cs.SI
