Robust and differentially private stochastic linear bandits
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
针对随机线性老虎机，本文在批量观测、奖励被任意污染及两种隐私模型下，提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法，并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
Differentially Private High Dimensional Bandits
Columbia University（哥伦比亚大学）
针对高维稀疏上下文线性赌博机在差分隐私约束下的问题，提出PrivateLASSO算法，结合稀疏硬阈值隐私机制与阶段性阈值规则，并证明其极小极大隐私下界及隐私和效用保证。
2024-02-06 cs.CR cs.LG cs.SY
(Locally) Differentially Private Combinatorial Semi-Bandits
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了组合半强盗（CSB），这是一个经典的多臂强盗（MAB）在差分隐私（DP）和更强的局部差分隐私（LDP）设置的扩展。由于服务器在CSB中从用户接收更多的信息，这通常会导致对数据维度的额外依赖，这是隐私保护学习的一个众所周知的副作用。然而，CSB下两个常见的平滑假设\cite{kveton2015tight,chen2016combinatorial}，我们表明，它是可能的，以消除这种副作用。详细地，对于$B_{\infty}$有界光滑CSB，在$\varepsilon$或$\varepsilon$下，通过提出新的算法和匹配下界，我们证明了最优后悔界分别为$Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$或$\tildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$，其中$T$为时间段，$Δ$为奖励间隔，$m$为基臂数.对于$\varepsilon$ -DP下的$B_1$ -有界光滑CSB，我们还证明了最优后悔界是$\tildeΘ(\frac{mKB^2_1\ln T} {Δε})$，同时具有上界和下界，其中$K$是每轮反馈的最大数目。所有上述结果几乎匹配相应的非私有最优费率，这意味着在上述公共设置中，（局部）差异私有CSB没有额外的价格。
2020-07-03 cs.LG stat.ML
Differentially Private Contextual Linear Bandits
University of Alberta（阿尔伯塔大学）
我们研究的上下文线性土匪问题，一个版本的标准随机多臂土匪（MAB）的问题，学习者顺序选择的行动，以最大限度地提高奖励，这也取决于用户提供的每轮上下文。虽然上下文是任意选择的，但奖励被假设为对上下文和所选动作进行编码的特征向量的随机函数。我们的目标是为上下文线性强盗问题设计私人学习器。我们首先表明，使用标准定义的差分隐私的结果在线性遗憾。因此，我们采用了联合差分隐私的概念，其中我们假设在$t$日选择的操作仅向用户$t$公开，因此不需要在当天保持隐私，仅在随后的几天保持隐私。我们给出了一个通用的方案，将经典的线性UCB算法转换为一个联合差分隐私算法，使用基于树的算法。然后，我们应用高斯噪声或Wishart噪声来实现联合差分隐私算法，并绑定所得到的算法的遗憾。此外，我们给出了第一个下界的额外遗憾的任何私人算法的MAB问题必须招致。
2018-09-28 cs.LG stat.ML
FLIPHAT: Joint Differential Privacy for High Dimensional Sparse Linear Bandits
University of Michigan（密歇根大学）；Inria Lille – Nord Europe（里尔-北欧欧洲国家信息与自动化研究所里尔分部）
针对高维稀疏线性老虎机的隐私保护需求，提出联合差分隐私算法FLIPHAT，推导了隐私遗憾下界，证明其在隐私参数、维度等维度上达到近最优遗憾，且N-IHT的精细分析具备独立价值。
2024-10-29 cs.LG math.ST stat.ML
Differential Privacy in the Extensive-Form Bandit Problem
The Alan Turing Institute（艾伦·图灵研究所）；The University of Liverpool（利物浦大学）；The University of East Anglia（东安格利亚大学）
本文提出满足ε-局部差分隐私的算法，解决了扩展形式老虎机问题，实现了O(√(A ln S T /ε))的遗憾，首次研究了差分隐私在扩展形式老虎机问题中的应用。
2026-05-06 cs.CR cs.LG
Optimal Regret of Bernoulli Bandits under Global Differential Privacy
FairPlay Joint Team, CREST, ENSAE Paris（FairPlay联合团队、CREST、ENSAE巴黎）；King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所AIP）；The University of Tokyo（东京大学）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL（里尔大学、Inria、CNRS、里尔中央大学、UMR 9189-CRIStAL）
本文针对全局差分隐私下的伯努利老虎机问题，提出更紧的遗憾下界，并基于统一蓝图设计 DP-KLUCB 和 DP-IMED 的差分隐私版本，证明其遗憾渐近匹配下界，同时提出新的 Laplace 机制下伯努利变量和的集中不等式。
2025-05-08 cs.CR cs.IT cs.LG
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Faster Rates for Private Adversarial Bandits
Apple（苹果公司）；University of Michigan（密歇根大学）
本文为对抗性老虎机及带有专家建议的老虎机设计了新的差分隐私算法，通过简单转换非私有算法显著降低了遗憾上界，并首次确立了中心与局部差分隐私的分离。
2025-05-27 cs.LG stat.ML
Near-Optimal Privacy-Preserving Learning for Max-Min Fair Multi-Agent Bandits
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文提出一种分布式算法，在未知支持下实现最大-最小公平分配，保持每个智能体的奖励样本和经验估计本地化，达到O(N³f(logT))的 regret，同时保留近对数依赖于T 的性能。
2026-05-01 cs.CY cs.DC cs.LG
Federated Recommendation System via Differential Privacy
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们感兴趣的是我们所谓的联邦私人强盗框架，结合差分隐私与多代理强盗学习。我们探讨了如何差分隐私为基础的置信上限（UCB）的方法可以应用到多智能体环境中，特别是联邦学习环境中的“主工人”和“完全分散”的设置。我们提供了一个理论分析所提出的方法的隐私和遗憾的性能，并探讨这两者之间的权衡。
2020-05-16 cs.IT cs.LG math.IT
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Model Explanations with Differential Privacy
National University of Singapore (NUS)（新加坡国立大学）
黑箱机器学习模型被用于关键决策领域，这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息，从而破坏数据隐私。为了解决这个问题，我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法，找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释，减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响，不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
Online Learning via the Differential Privacy Lens
Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；Boston University（波士顿大学）；Northeastern University（东北大学）
在本文中，我们使用差分隐私作为一个镜头，检查在线学习在完全和部分信息设置。差分隐私框架本质上与隐私无关，而更多地与算法稳定性有关，因此在信息安全为中心的领域之外的领域中找到了应用。在这里，我们开发了一个算法的属性称为一步差分稳定性，便于更精细的遗憾分析在线学习方法。我们发现，从差分隐私文献的工具可以产生遗憾的界限，许多有趣的在线学习问题，包括在线凸优化和在线线性优化。我们的稳定性概念是特别适合于推导一阶遗憾界跟随扰动的领导者算法，这是所有以前的分析一直在努力实现。我们还推广了标准的最大发散，以获得更广泛的类Tsallis最大发散。这些定义了更强的稳定性概念，这在部分信息设置中（如多武装土匪和专家土匪）导出界限时很有用。
2019-10-28 cs.LG
Three Tools for Practical Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）
对真实世界数据的差异化私有学习对标准机器学习实践提出了挑战：隐私保证难以解释，私有数据的超参数调整减少了隐私预算，并且通常需要临时隐私攻击来测试模型隐私。我们介绍了三种工具，使差异化的私人机器学习更实用：（1）简单的健全性检查，可以在训练前以集中的方式进行，（2）自适应裁剪限制，以减少可调隐私参数的有效数量，（3）我们表明，大批量训练提高模型性能。
2018-12-07 cs.LG stat.ML
Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification
Sorbonne Universite（索邦大学）
本文提出DP2DP算法，通过整合差分隐私与人口平等，实现多类分类中的隐私保护与公平性保障。
2025-11-24 cs.LG stat.ML
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Differentially Private Stochastic Linear Bandits: (Almost) for Free
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了不同的隐私算法的问题的随机线性土匪在中央，本地和洗牌模型。在中心模型中，我们实现了与最优非私有算法几乎相同的遗憾，这意味着我们免费获得隐私。特别是，我们实现了一个遗憾的$\tilde{O}(\sqrt{T}+\frac{1}ε)$匹配的私人线性土匪的已知下限，而以前最好的已知算法实现$\tilde{O}(\frac{1}ε\sqrt{T})$。在本地情况下，我们实现了$\tilde{O}(\frac{1}ε{\sqrt{T}})$的遗憾，它与常数$ε$的非私有遗憾相匹配，但当$ε$很小时，会遭受遗憾惩罚。在洗牌模型中，我们也实现了$\tilde{O}(\sqrt{T}+\frac{1}ε)$ %的遗憾小$ε$在中央的情况下，而最好的以前已知的算法遭受的遗憾$\tilde{O}(\frac{1}ε{T^{3/5}})$。我们的数值计算验证了我们的理论结果。
2022-07-07 cs.CR cs.LG
Local Differential Privacy for Sequential Decision Making in a Changing Environment
Eindhoven University of Technology（埃因霍温理工大学）
我们研究的问题，保护隐私，同时仍然提供高效用在不断变化的环境中的顺序决策方案。我们考虑突然变化的环境：环境在一段时间内保持不变，并在未知的时刻发生变化。为了解决这个问题，我们提出了一个变种的多武装土匪称为非平稳随机腐败土匪。我们构造了一个算法称为SW-KLUCB-CF，并证明了其效用上界使用后悔的性能指标。已证明的遗憾的上界SW-KLUCB-CF是接近最佳的时间步长的数量和匹配的最佳已知的类似问题的时间步长的数量和数量的变化。此外，我们提出了一个可证明的最佳机制，可以保证所需的本地差分隐私水平，同时提供高效用。
2023-01-02 cs.CR cs.LG
Differentially Private Linear Bandits with Partial Distributed Feedback
Virginia Tech（弗吉尼亚理工大学）；Wayne State University（韦恩州立大学）；Nokia Corporation（诺基亚公司）
针对中央实体收集全局奖励反馈成本高且存在隐私担忧的问题，提出差分隐私分布式阶段消除（DP-DPE）框架，通过部分分布式反馈学习全局模型，实现次线性遗憾与通信成本，并达到“免费”的隐私保护。
2024-03-21 cs.CR cs.LG cs.NA
Tangent differential privacy
Stanford University（斯坦福大学）
本文提出针对特定数据分布、兼容全变差与Wasserstein等距离的切向差分隐私，并证明风险最小化中熵正则化在一般条件下可保证该隐私。
2024-06-06 cs.CR cs.LG stat.ML
Differential Privacy for Multi-armed Bandits: What Is It and What Is Its Cost?
Chalmers University of Technology（查尔姆斯理工大学）
基于差分隐私（DP）框架，引入并统一了多臂强盗算法的隐私定义。我们用一个统一的图形模型来表示框架，并使用它来连接隐私定义。我们推导出并对比了满足这些定义的强盗算法的遗憾下界。我们利用统一的证明技术来实现所有的下限。我们发现，对于所有这些，学习者的遗憾增加了一个乘法因子依赖于隐私级别$ε$。我们观察到，当我们不需要本地差分隐私的奖励的依赖性较弱。
2020-06-23 cs.LG stat.ML
More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence
China University of Geosciences（中国地质大学）；University of Technology, Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，人工智能（AI）引起了人们的极大关注。然而，在取得这些进步的同时，也出现了一些问题，如侵犯隐私、安全问题和模型公平性问题。差分隐私作为一种有前途的数学模型，具有一些吸引人的性质，可以帮助解决这些问题，使它成为一个相当有价值的工具。出于这个原因，差分隐私已被广泛应用于人工智能，但到目前为止，还没有研究记录哪些差分隐私机制可以或已经被用来克服其问题或使其成为可能的属性。在本文中，我们表明，差分隐私可以做的不仅仅是隐私保护。它还可以用于提高安全性，稳定学习，构建公平模型，并在人工智能的选定领域中实施组合。本文的重点是常规机器学习、分布式机器学习、深度学习和多代理系统，其目的是提供一个新的视角，探讨利用差分隐私技术提高AI性能的多种可能性。
2020-08-05 cs.CR cs.LG stat.ML
Differential Privacy for Sparse Classification Learning
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
在本文中，我们提出了一个差分隐私版本的凸和非凸稀疏分类方法。基于交替方向乘子法（ADMM）算法，将稀疏问题的求解转化为多步迭代过程。然后，我们添加指数噪声稳定的步骤，以实现隐私保护。该方法利用差分隐私的后处理保持特性，在原问题不稳定的情况下，仍能满足$ε-$差分隐私.此外，我们提出了理论上的隐私界的差分隐私分类算法。具体地说，我们的算法的隐私边界控制的算法迭代次数，隐私参数，损失函数的参数，ADMM预选参数，和数据大小。最后，我们将我们的框架应用于具有$L_1$正则化的逻辑斯谛回归和具有$L_{1/2}$正则化的逻辑斯谛回归。数值实验表明，该方法在敏感数据分析中具有良好的性能。
2019-08-02 cs.CR cs.LG stat.ML
Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches
CMU（卡内基梅隆大学）
通信和隐私是分布式学习中的两个关键问题。许多现有的作品分别处理这些问题。在这项工作中，我们认为，在分布式机器学习的背景下，通信减少和隐私保护的方法之间存在着自然的联系。特别是，我们证明了Count Sketch（一种简单的数据流摘要方法）具有固有的差分隐私属性。使用这些派生的隐私保证，我们提出了一种新的基于草图的框架（DiffSketch）的分布式学习，在那里我们通过草图压缩传输的消息，同时实现通信效率和可证明的隐私优势。我们的评估表明，DiffSketch可以提供强大的差分隐私保证（例如，$\varepsilon$ = 1），并将通信减少20- 50倍，而精度仅略有下降。与单独处理隐私和通信的基线相比，DiffSketch将绝对测试准确率提高了5%-50%，同时提供相同的隐私保证和通信压缩。
2019-12-06 cs.CR cs.LG stat.ML
Element Level Differential Privacy: The Right Granularity of Privacy
Stanford University（斯坦福大学）；Apple（苹果公司）
差分隐私（DP）为统计学习应用中用户数据泄露的风险提供了强有力的保证，尽管这些强有力的保护使学习具有挑战性，并且对于某些用例可能过于严格。为了解决这个问题，我们提出了元素级别的差分隐私，它扩展了差分隐私，以提供保护，防止泄漏信息的任何特定的“元素”的用户，允许更好的效用和更强大的结果比经典的DP。通过仔细选择这些“元素”，可以以期望的粒度提供隐私保护。我们提供的定义，相关的隐私保证，并分析，以确定权衡与新的定义，我们还开发了几个私人估计和学习方法，提供仔细的例子，项目频率和M-估计（经验风险最小化）与随之而来的隐私和效用分析。我们通过几个实际应用，估计直方图和拟合几个大规模预测模型（包括深度网络）来补充我们的理论和方法进步。
2019-12-05 cs.CR cs.LG stat.ML
Capacity Bounded Differential Privacy
UC San Diego（加州大学圣地亚哥分校）；Duke University（杜克大学）
差分隐私是算法稳定性的概念，是衡量算法输出对数据集中单个记录隐私造成的额外风险的黄金标准。差分隐私被定义为算法在一个条目不同的相邻数据集上的输出分布之间的距离。在这项工作中，我们提出了一种新的放松的差分隐私，能力有界的差分隐私，其中的对手，区分输出分布被假定为能力有界的-即有界的计算能力，但从他们的攻击算法得出的功能类。我们的对手模型的限制F-概率分布之间的分歧，并研究属性的定义和算法，满足他们。
2019-07-03 cs.CR cs.LG stat.ML
Debugging Differential Privacy: A Case Study for Privacy Auditing
Google Research（谷歌研究院）
差分隐私可以为机器学习中的训练数据提供可证明的隐私保证。然而，证据的存在并不排除错误的存在。最近的进展，审计已被用于估计下限差分私人算法的启发，在这里，我们表明，审计也可以用来发现缺陷（据称）差分私人计划。在这个案例研究中，我们审计了一个最近的差分隐私深度学习算法的开源实现，并在99.9999999%的置信度下发现，该实现不满足所声称的差分隐私保证。
2022-03-28 cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院人工智能实验室）
传统的差分隐私与数据分布无关。然而，这与现代机器学习环境并不匹配，其中模型是在特定数据上训练的。因此，在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私（BDP），它考虑到数据的分布，提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP，著名的时刻会计师的基础上。我们的实验表明，在经典的机器学习数据集，如MNIST和CIFAR-10，分布样本享有显着更强的隐私保证比DP假设，而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Thompson Sampling under Bernoulli Rewards with Local Differential Privacy
University of Arizona（亚利桑那大学）
本文研究了在本地差分隐私保证下的多臂老虎机遗憾最小化问题，在伯努利场景下考虑线性、二次和指数三种隐私机制，推导了Thompson Sampling算法的随机遗憾界，并通过模拟验证了不同机制在不同隐私预算下的收敛性。
2023-07-03 cs.CR cs.LG
DP-NCB: Privacy Preserving Fair Bandits
Indian Institute of Technology Kharagpur（印度克里维利大学卡拉格浦分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出DP-NCB框架，首次同时实现赌博机算法的ε-差分隐私与阶最优纳什遗憾，兼顾隐私与公平，并通过模拟验证其优于现有基线。
2025-08-05 cs.LG stat.ML
Architecture Matters: Investigating the Influence of Differential Privacy on Neural Network Design
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
更广泛地采用差分私有神经网络的一个障碍是必然的准确性损失。为了解决这个问题，需要更好地理解差分隐私约束下神经网络架构和模型准确性之间的关系。作为第一步，我们测试是否现存的知识架构设计也持有不同的私人设置。我们的研究结果表明，它没有;架构，没有差分隐私表现良好，不一定这样做与差分隐私。因此，神经网络架构设计的现有知识不能无缝地转换到差分隐私上下文中。未来的研究需要更好地了解神经网络架构和模型准确性之间的关系，以便在差分隐私约束下实现更好的架构设计选择。
2021-11-29 cs.LG
Corrupt Bandits for Preserving Local Privacy
Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）
我们研究了随机多臂强盗（MAB）问题的一个变种，其中的奖励是腐败的。在这个框架中，出于在线推荐系统中的隐私保护的动机，目标是最大化（未观察到的）奖励的总和，基于通过具有已知参数的随机腐败过程对这些奖励的变换的观察。我们提供了一个下界的预期遗憾的任何强盗算法在此损坏的设置。我们设计了一个频率论算法，KLUCB-CF，和贝叶斯算法，TS-CF，并给出他们的遗憾上界。我们还提供了适当的腐败参数，以保证所需的本地隐私水平，并分析这如何影响遗憾。最后，我们提出了一些实验结果，证实了我们的分析。
2017-11-02 cs.LG stat.ML
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Stronger Privacy Amplification by Shuffling for Rényi and Approximate Differential Privacy
Apple（苹果公司）
本文从理论和数值两方面改进了混洗模型的隐私放大结果，首次给出LDP随机化器混洗输出的Rényi差分隐私参数的渐近最优分析，并提出新分析方法在所有参数设置下获得更紧的数值界。
2023-10-30 cs.CR cs.DS cs.LG
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania（宾夕法尼亚大学）
本文从统计视角重新解读差分隐私，基于Blackwell定理证明其所有定义可从假设检验视角推导，提出f-差分隐私统一框架并分析其在多领域应用中的优势，论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Setting $\varepsilon$ is not the Issue in Differential Privacy
Institute of Science and Technology Austria（奥地利科学技术学院）
本文指出差分隐私中隐私预算的解释困难并非其本质问题，而是隐私风险评估的挑战，并主张应通过差分隐私框架或合理解释来解决。
2026-01-19 cs.CR cs.LG
Empirical Differential Privacy
我们展示了如何实现差分隐私，没有或减少增加的噪声，基于经验的数据本身的噪声。与以前的作品无噪声隐私，经验的观点避免了任何明确的假设随机过程产生的数据。
2023-01-03 cs.CR cs.LG
Diffprivlib: The IBM Differential Privacy Library
IBM Research（IBM研究院）
自2006年提出概念以来，差分隐私由于其强大的数学保证、广泛的适用性和丰富的文献，已经成为数据隐私领域的事实标准。多年来，研究人员一直在研究差分隐私及其在不断扩大的主题领域的适用性。已经创建了用于针对各种数据类型和场景优化实现差分隐私的过程的机制。然而，在这项工作之前，之前所有关于差分隐私的工作都是在临时的基础上进行的，没有一个统一的代码库来实现结果。在这项工作中，我们提出了IBM的差分隐私库，一个通用的，开源库的调查，实验和开发差分隐私的Python程序设计语言的应用程序。该库包括一系列机制，差分隐私的构建块，以及机器学习和其他数据分析任务的许多应用程序。简单性和可访问性在开发图书馆时被优先考虑，使其适合广泛的用户，从那些使用图书馆进行数据隐私首次调查的用户，到希望为他人提供自己的模型和机制的隐私专家。
2019-07-04 cs.CR cs.LG
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School（卡梅尔高中）；Department of Computer Science Purdue University（计算机科学系 Purdue 大学）
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能，揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Composition of Differential Privacy & Privacy Amplification by Subsampling
Google Research（谷歌研究院）
本章是“人工智能应用的差分隐私”一书的一部分。“我们介绍了差分隐私最重要的属性-组成：对一组人的数据进行多项独立分析仍然是差异隐私的，只要每项分析本身都是隐私的-以及通过子采样进行隐私放大的相关主题。本章介绍了基本概念，并给出了在实践中应用这些工具所需的关键结果的证明。
2022-10-26 cs.CR cs.DS cs.LG
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
在本答辩中，我们的目标是解决两个广泛的问题，涵盖了讨论中提出的大多数意见。首先，我们讨论了我们工作的一些理论方面，并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看，我们接下来讨论f-差分隐私（f-DP）和高斯差分隐私（GDP）如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
Position: Challenges and Opportunities for Differential Privacy in the U.S. Federal Government
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文从与美国政府合作的跨学科团队视角，分析差分隐私在联邦政府应用中的三大挑战，并通过两个示例展示其在多级隐私分析和涉密人员配置效率方面的机遇。
2024-10-21 cs.AI cs.CR cs.LG
Algorithms with More Granular Differential Privacy Guarantees
Google Research（谷歌研究院）
差分隐私通常应用于大于理论建议的理想隐私参数;已经提出了各种非正式的理由来容忍大的隐私参数。在这项工作中，我们考虑部分差分隐私（DP），它允许量化的隐私保证每个属性的基础上。在这个框架中，我们研究了几个基本的数据分析和学习任务，并设计了算法，其每个属性的隐私参数小于一个人的整个记录的最佳可能的隐私参数（即，所有属性）。
2022-09-08 cs.CR cs.DS cs.LG
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Concentrated Differential Privacy: Simplifications, Extensions, and Lower Bounds
“集中式差分隐私“是Dwork和Rothblum最近提出的一种对差分隐私的放宽，它允许对许多隐私保护计算进行更清晰的分析。我们提出了一种替代配方的概念，集中的差分隐私在Renyi分歧的分布通过运行算法相邻的输入。有了这种重新表述，我们证明了更清晰的定量结果，建立下限，并提出了一些新的问题。通过对“近似集中式差分隐私”的定义，将该方法与近似差分隐私统一起来。"
2016-05-06 cs.CR cs.DS cs.IT
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们发现，高斯差分隐私，一个变种的差分隐私适合高斯噪声的分析，组成优雅，即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制（在敏感数据集上运行）及其隐私预算，也就是说，基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说，这给出了一个GDP滤波器，其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
