More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence
China University of Geosciences（中国地质大学）；University of Technology, Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，人工智能（AI）引起了人们的极大关注。然而，在取得这些进步的同时，也出现了一些问题，如侵犯隐私、安全问题和模型公平性问题。差分隐私作为一种有前途的数学模型，具有一些吸引人的性质，可以帮助解决这些问题，使它成为一个相当有价值的工具。出于这个原因，差分隐私已被广泛应用于人工智能，但到目前为止，还没有研究记录哪些差分隐私机制可以或已经被用来克服其问题或使其成为可能的属性。在本文中，我们表明，差分隐私可以做的不仅仅是隐私保护。它还可以用于提高安全性，稳定学习，构建公平模型，并在人工智能的选定领域中实施组合。本文的重点是常规机器学习、分布式机器学习、深度学习和多代理系统，其目的是提供一个新的视角，探讨利用差分隐私技术提高AI性能的多种可能性。
2020-08-05 cs.CR cs.LG stat.ML
Optimality of Staircase Mechanisms for Vector Queries under Differential Privacy
CIMAT（墨西哥应用数学研究所）；IIMAS（墨西哥国家理工学院）；McMaster University（麦马斯特大学）
本文证明在ε-差分隐私下，存在最优的阶梯机制用于向量查询，解决了相关猜想并解释了阶梯机制在隐私保护中的作用。
2026-01-21 cs.AI cs.CR cs.IT
Differential Privacy for Sparse Classification Learning
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
在本文中，我们提出了一个差分隐私版本的凸和非凸稀疏分类方法。基于交替方向乘子法（ADMM）算法，将稀疏问题的求解转化为多步迭代过程。然后，我们添加指数噪声稳定的步骤，以实现隐私保护。该方法利用差分隐私的后处理保持特性，在原问题不稳定的情况下，仍能满足$ε-$差分隐私.此外，我们提出了理论上的隐私界的差分隐私分类算法。具体地说，我们的算法的隐私边界控制的算法迭代次数，隐私参数，损失函数的参数，ADMM预选参数，和数据大小。最后，我们将我们的框架应用于具有$L_1$正则化的逻辑斯谛回归和具有$L_{1/2}$正则化的逻辑斯谛回归。数值实验表明，该方法在敏感数据分析中具有良好的性能。
2019-08-02 cs.CR cs.LG stat.ML
Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches
CMU（卡内基梅隆大学）
通信和隐私是分布式学习中的两个关键问题。许多现有的作品分别处理这些问题。在这项工作中，我们认为，在分布式机器学习的背景下，通信减少和隐私保护的方法之间存在着自然的联系。特别是，我们证明了Count Sketch（一种简单的数据流摘要方法）具有固有的差分隐私属性。使用这些派生的隐私保证，我们提出了一种新的基于草图的框架（DiffSketch）的分布式学习，在那里我们通过草图压缩传输的消息，同时实现通信效率和可证明的隐私优势。我们的评估表明，DiffSketch可以提供强大的差分隐私保证（例如，$\varepsilon$ = 1），并将通信减少20- 50倍，而精度仅略有下降。与单独处理隐私和通信的基线相比，DiffSketch将绝对测试准确率提高了5%-50%，同时提供相同的隐私保证和通信压缩。
2019-12-06 cs.CR cs.LG stat.ML
Element Level Differential Privacy: The Right Granularity of Privacy
Stanford University（斯坦福大学）；Apple（苹果公司）
差分隐私（DP）为统计学习应用中用户数据泄露的风险提供了强有力的保证，尽管这些强有力的保护使学习具有挑战性，并且对于某些用例可能过于严格。为了解决这个问题，我们提出了元素级别的差分隐私，它扩展了差分隐私，以提供保护，防止泄漏信息的任何特定的“元素”的用户，允许更好的效用和更强大的结果比经典的DP。通过仔细选择这些“元素”，可以以期望的粒度提供隐私保护。我们提供的定义，相关的隐私保证，并分析，以确定权衡与新的定义，我们还开发了几个私人估计和学习方法，提供仔细的例子，项目频率和M-估计（经验风险最小化）与随之而来的隐私和效用分析。我们通过几个实际应用，估计直方图和拟合几个大规模预测模型（包括深度网络）来补充我们的理论和方法进步。
2019-12-05 cs.CR cs.LG stat.ML
Debugging Differential Privacy: A Case Study for Privacy Auditing
Google Research（谷歌研究院）
差分隐私可以为机器学习中的训练数据提供可证明的隐私保证。然而，证据的存在并不排除错误的存在。最近的进展，审计已被用于估计下限差分私人算法的启发，在这里，我们表明，审计也可以用来发现缺陷（据称）差分私人计划。在这个案例研究中，我们审计了一个最近的差分隐私深度学习算法的开源实现，并在99.9999999%的置信度下发现，该实现不满足所声称的差分隐私保证。
2022-03-28 cs.LG
Capacity Bounded Differential Privacy
UC San Diego（加州大学圣地亚哥分校）；Duke University（杜克大学）
差分隐私是算法稳定性的概念，是衡量算法输出对数据集中单个记录隐私造成的额外风险的黄金标准。差分隐私被定义为算法在一个条目不同的相邻数据集上的输出分布之间的距离。在这项工作中，我们提出了一种新的放松的差分隐私，能力有界的差分隐私，其中的对手，区分输出分布被假定为能力有界的-即有界的计算能力，但从他们的攻击算法得出的功能类。我们的对手模型的限制F-概率分布之间的分歧，并研究属性的定义和算法，满足他们。
2019-07-03 cs.CR cs.LG stat.ML
The Power of Factorization Mechanisms in Local and Central Differential Privacy
University of Toronto（多伦多大学）；Northeastern University（东北大学）
在差分隐私的局部和中心模型中，我们给出了回答线性查询（统计查询）的样本复杂度的新的刻画：* 在非交互局部模型中，我们给出了样本复杂度的第一近似刻画。非正式地说，我们的界限是紧的，在查询的数量和所需的准确性的多对数因子。我们的特征扩展到不可知学习的本地模型。* 在中心模型中，我们给出了高精度区域中样本复杂性的表征，类似于Nikolov，Talwar和Zhang（STOC 2013），但在定量上更严格，并且具有非常简单的证明。我们的下界同样适用于经验和人口估计问题。在这两种情况下，我们的特征表明，一个特定的因子分解机制是近似最优的，和最佳的样本复杂性是有界的从上到下的良好研究与查询相关的矩阵的因子分解规范。
2019-11-19 cs.CR cs.DS cs.LG
Architecture Matters: Investigating the Influence of Differential Privacy on Neural Network Design
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
更广泛地采用差分私有神经网络的一个障碍是必然的准确性损失。为了解决这个问题，需要更好地理解差分隐私约束下神经网络架构和模型准确性之间的关系。作为第一步，我们测试是否现存的知识架构设计也持有不同的私人设置。我们的研究结果表明，它没有;架构，没有差分隐私表现良好，不一定这样做与差分隐私。因此，神经网络架构设计的现有知识不能无缝地转换到差分隐私上下文中。未来的研究需要更好地了解神经网络架构和模型准确性之间的关系，以便在差分隐私约束下实现更好的架构设计选择。
2021-11-29 cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Between Pure and Approximate Differential Privacy
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们展示了一个新的下限样本的复杂性$(\varepsilon, δ)$ -差分私人算法，准确地回答高维数据库的统计查询。我们的界限的新颖之处在于，它最佳地依赖于参数$δ$，它松散地对应于算法不能是私有的概率，并且是第一个平滑地插入近似差分隐私（$δ> 0$）和纯差分隐私（$δ= 0$）之间的。具体地说，我们考虑一个数据库$D \in \{\pm1\}^{n \times d}$和它的\emph{one-way marginals}，它们是$d$查询的形式“有几分之一的个别记录的$i$第位设置为$+1$？“我们表明，为了回答所有这些查询的误差$\pm α$（平均），同时满足$(\varepsilon, δ)$ -差分隐私，有必要$$ n \geq Ω\left( \frac{\sqrt{d \log(1/δ)}}{α\varepsilon} \right), $$，这是最佳的常数因子。为了证明我们的下限，我们建立在\emph{fingerprinting codes}和差分隐私下限之间的联系（Bun，Ullman和Vadhan，STOC'14）。除了我们的下限，我们给出了新的纯粹和近似差分私人算法，用于回答任意的统计查询，提高了样本的复杂性的标准拉普拉斯和高斯机制，以实现最坏情况下的精度保证的对数因子。
2015-01-24 cs.CR cs.DS cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
On the Generalization Properties of Differential Privacy
一个新的工作线，开始与德沃克等人，研究了使用样本回答统计查询的任务，并将该问题与差分隐私的概念联系起来。通过Hoeffding界限，大小为$O(\log k/α^2)$的样本足以在误差$α$内回答$k$非自适应查询，其中通过评估样本上的统计查询来计算答案。当查询是自适应选择的（因此可以依赖于样本）时，此参数将失败。Dwork等人表明，如果答案是用$(ε,δ)$ -差分隐私计算的，那么$O(ε)$的准确性是以概率$1-O(δ^ε)$来保证的。使用私有乘法权重机制，他们得出结论，样本量仍然可以使用$k$多元增长。最近，Basily等人提出了一种改进的边界，并表明私有乘性权重算法（的变体）可以使用在$k$中按顺序增长的样本复杂度来回答$k$自适应选择的统计查询。然而，他们的结果不再适用于每一个差分私有算法，并需要修改私有乘法权重算法，以获得其高概率界。我们大大简化了Dwork等人的结果。并通过证明差分隐私以$1-O(δ\log(1/ε)/ε)$的概率保证$O(ε)$的准确性来改进边界。人们很容易猜测，$(ε,δ)$ -差分私有计算应该以$1-O(δ)$的概率保证$O(ε)$的准确性。然而，我们表明，这是不是这种情况下，我们的界是紧的（对数因子）。
2015-11-10 cs.CR cs.LG
Stronger Privacy Amplification by Shuffling for Rényi and Approximate Differential Privacy
Apple（苹果公司）
本文从理论和数值两方面改进了混洗模型的隐私放大结果，首次给出LDP随机化器混洗输出的Rényi差分隐私参数的渐近最优分析，并提出新分析方法在所有参数设置下获得更紧的数值界。
2023-10-30 cs.CR cs.DS cs.LG
SHIP: Structured and Hierarchical Insight with Privacy
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
本研究提出SHIP方法，将差分隐私洞察作为可复用表示，通过映射查询到属性、构建分层混合分类体系并发布差分隐私合成表，在问答性能和结构化保真度上优于现有基线。
2026-10-16 cs.CL cs.CR cs.LG
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania（宾夕法尼亚大学）
本文从统计视角重新解读差分隐私，基于Blackwell定理证明其所有定义可从假设检验视角推导，提出f-差分隐私统一框架并分析其在多领域应用中的优势，论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
Optimizing the Numbers of Queries and Replies in Federated Learning with Differential Privacy
Macquarie University（麦考瑞大学）；Sun Yat-sen University（中山大学）；Tencent Technology (Shenzhen) Co. Ltd（腾讯科技（深圳）有限公司）；University of Technology Sydney（悉尼科技大学）
联合学习（FL）使分布式客户端能够通过交换参数信息来协作训练共享的机器学习模型。尽管FL可以保护客户端的原始数据，但恶意用户仍然可以使用公开的参数破解原始数据。为了修正这一缺陷，将差分隐私（DP）并入FL客户端以干扰原始参数，然而这会显著损害训练模型的准确性。在这项工作中，我们研究了一个关键的问题，这已被大大忽视了现有的作品：什么是最佳的查询和答复的FL与DP的数量，使最终的模型精度最大化。在FL中，参数服务器（PS）需要向参与客户端查询多次全局迭代才能完成训练。每个客户端通过进行本地迭代来响应来自PS的查询。我们的工作调查多少次PS应该询问客户端和多少次每个客户端应该回答PS。我们研究了两种最广泛使用的DP机制（即，拉普拉斯机制和高斯机制）。通过收敛速度分析，我们可以确定最佳的查询和答复的数量在FL与DP，使最终的模型精度可以最大化。最后，在公开数据集MNIST和FEMNIST上进行了大量的实验，验证了我们的分析，结果表明，适当地设置查询和回复的数量可以显著提高最终模型的精度。
2021-07-05 cs.CR cs.DC cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Setting $\varepsilon$ is not the Issue in Differential Privacy
Institute of Science and Technology Austria（奥地利科学技术学院）
本文指出差分隐私中隐私预算的解释困难并非其本质问题，而是隐私风险评估的挑战，并主张应通过差分隐私框架或合理解释来解决。
2026-01-19 cs.CR cs.LG
Differentially Private Data Releasing for Smooth Queries with Synthetic Database Output
我们考虑准确地回答平滑查询，同时保持差分隐私。如果查询由定义在$[-1,1]^d$上的函数指定，并且该函数的偏导数直到$K$阶都是有界的，则该查询被称为$K$ -光滑的。针对$K$ -光滑查询类，提出了一种$ε$ -差分私有机制.该算法的主要优点是它输出一个合成数据库。在实际应用中，合成数据库输出很有吸引力。我们的机制达到了$O (n^{-\frac{K}{2d+K}}/ε)$的精度，并在多项式时间内运行。我们还推广的机制，以保持$(ε, δ)$ -差分隐私略有提高的准确性。在基准数据集上的大量实验表明，该机制具有良好的准确性和效率。
2014-01-06 cs.DB stat.ML
A bounded-noise mechanism for differential privacy
MIT（麻省理工学院）
我们提出了一种渐近最优的$(ε,δ)$差分私有机制，用于回答多个自适应询问的$Δ$敏感查询，解决了Steinke和Ullman的猜想[2020]。我们的算法有一个显着的优势，它增加了独立的有界噪声的每个查询，从而提供了一个绝对的错误界。此外，我们将我们的算法应用于自适应数据分析，获得了改进的保证，回答多个查询有关的一些潜在的分布使用有限的样本。数值计算表明，有界噪声机制优于高斯机制在许多标准设置。
2021-11-07 cs.CR cs.DS cs.LG
Empirical Differential Privacy
我们展示了如何实现差分隐私，没有或减少增加的噪声，基于经验的数据本身的噪声。与以前的作品无噪声隐私，经验的观点避免了任何明确的假设随机过程产生的数据。
2023-01-03 cs.CR cs.LG
Diffprivlib: The IBM Differential Privacy Library
IBM Research（IBM研究院）
自2006年提出概念以来，差分隐私由于其强大的数学保证、广泛的适用性和丰富的文献，已经成为数据隐私领域的事实标准。多年来，研究人员一直在研究差分隐私及其在不断扩大的主题领域的适用性。已经创建了用于针对各种数据类型和场景优化实现差分隐私的过程的机制。然而，在这项工作之前，之前所有关于差分隐私的工作都是在临时的基础上进行的，没有一个统一的代码库来实现结果。在这项工作中，我们提出了IBM的差分隐私库，一个通用的，开源库的调查，实验和开发差分隐私的Python程序设计语言的应用程序。该库包括一系列机制，差分隐私的构建块，以及机器学习和其他数据分析任务的许多应用程序。简单性和可访问性在开发图书馆时被优先考虑，使其适合广泛的用户，从那些使用图书馆进行数据隐私首次调查的用户，到希望为他人提供自己的模型和机制的隐私专家。
2019-07-04 cs.CR cs.LG
Composition of Differential Privacy & Privacy Amplification by Subsampling
Google Research（谷歌研究院）
本章是“人工智能应用的差分隐私”一书的一部分。“我们介绍了差分隐私最重要的属性-组成：对一组人的数据进行多项独立分析仍然是差异隐私的，只要每项分析本身都是隐私的-以及通过子采样进行隐私放大的相关主题。本章介绍了基本概念，并给出了在实践中应用这些工具所需的关键结果的证明。
2022-10-26 cs.CR cs.DS cs.LG
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School（卡梅尔高中）；Department of Computer Science Purdue University（计算机科学系 Purdue 大学）
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能，揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
Position: Challenges and Opportunities for Differential Privacy in the U.S. Federal Government
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文从与美国政府合作的跨学科团队视角，分析差分隐私在联邦政府应用中的三大挑战，并通过两个示例展示其在多级隐私分析和涉密人员配置效率方面的机遇。
2024-10-21 cs.AI cs.CR cs.LG
Concentrated Differential Privacy: Simplifications, Extensions, and Lower Bounds
“集中式差分隐私“是Dwork和Rothblum最近提出的一种对差分隐私的放宽，它允许对许多隐私保护计算进行更清晰的分析。我们提出了一种替代配方的概念，集中的差分隐私在Renyi分歧的分布通过运行算法相邻的输入。有了这种重新表述，我们证明了更清晰的定量结果，建立下限，并提出了一些新的问题。通过对“近似集中式差分隐私”的定义，将该方法与近似差分隐私统一起来。"
2016-05-06 cs.CR cs.DS cs.IT
Algorithms with More Granular Differential Privacy Guarantees
Google Research（谷歌研究院）
差分隐私通常应用于大于理论建议的理想隐私参数;已经提出了各种非正式的理由来容忍大的隐私参数。在这项工作中，我们考虑部分差分隐私（DP），它允许量化的隐私保证每个属性的基础上。在这个框架中，我们研究了几个基本的数据分析和学习任务，并设计了算法，其每个属性的隐私参数小于一个人的整个记录的最佳可能的隐私参数（即，所有属性）。
2022-09-08 cs.CR cs.DS cs.LG
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
The Impact of Differential Privacy on Group Disparity Mitigation
University of Marburg（马尔堡大学）；University of Copenhagen（哥本哈根大学）；Topdanmark A/S（Topdanmark公司）；Manipal Institute of Technology（马尼帕尔理工学院）
差分隐私的性能成本，对于某些应用程序，已被证明是较高的少数群体，公平，相反，已被证明是牺牲这些群体的成员的隐私。这一领域的大部分工作仅限于计算机视觉和风险评估。在本文中，我们评估的影响，差分隐私的公平性在四个任务，重点是如何尝试减轻隐私侵犯和组间的性能差异相互作用：隐私是否抑制尝试，以确保公平？为此，我们训练$(\varepsilon,δ)$-具有经验风险最小化和分组分布鲁棒训练目标的差分私有模型。与以前的研究结果一致，我们发现，差分隐私增加组间性能差异的基线设置，但更有趣的是，差分隐私减少组间性能差异的强大设置。我们通过将差分隐私重新解释为正则化来解释这一点。
2022-03-05 cs.CL cs.CR cs.LG
Oblivious Sampling Algorithms for Private Data Analysis
University of Waterloo（滑铁卢大学）；Microsoft（微软公司）；The University of Melbourne（墨尔本大学）
我们研究安全和隐私保护的数据分析的基础上执行的查询样本从数据集。可信执行环境（TEE）可用于在查询计算期间保护数据的内容，而在TEE中支持差分私有（DP）查询在查询输出被揭示时提供记录隐私。由于\emph{privacy amplification}，对基于样本的查询的支持是有吸引力的，因为不是所有的数据集都被用来回答查询，而只是一个小的子集。然而，提取数据样本与TEE，同时证明强大的DP保证是不平凡的样本索引的秘密必须得到保护。为此，我们设计了有效的安全变种常见的采样算法。实验表明，对于MNIST和CIFAR-10的差异隐私模型，使用洗牌和采样训练的模型的准确性是相同的，而采样提供了比洗牌更强的隐私保证。
2020-09-28 cs.CR cs.DS cs.LG
Privacy Loss in Apple's Implementation of Differential Privacy on MacOS 10.12
University of Southern California（南加州大学）；Tsinghua University（清华大学）；Indiana University（印第安纳大学）
2016年6月，苹果宣布将为部分用户数据汇集部署差分隐私，以确保用户数据的隐私，甚至来自苹果。苹果公司的做法的细节仍然很少。尽管此后出现了几项专利，暗示可能用于实现差分隐私的算法，但它们并没有对隐私参数选择所采取的方法进行精确解释。这种选择以及隐私预算使用和管理的总体方法是理解任何差分隐私部署所提供的隐私保护的关键问题。在这项工作中，通过实验的结合，macOS Sierra（版本10.12）实现的静态和动态代码分析，我们揭示了Apple为隐私预算管理所做的选择。我们发现并描述了苹果公司的差异化隐私数据处理的设置，包括整体数据管道，用于差异化隐私扰动的每一段数据的参数，以及这些数据发送到苹果服务器的频率。我们发现，尽管Apple的部署确保提交到其服务器的每个数据的（差异）隐私损失为$1$或$2$，但系统允许的总体隐私损失要高得多，对于最初宣布的四个应用程序（Emojis、New words、Deeplinks和Lookup Hints），每天高达$16$。此外，苹果每天更新可用的隐私预算，这可能导致隐私损失的天数是用户选择加入这四个应用程序的差异隐私数据汇集的天数的16倍。我们主张，为了充分利用差异化隐私数据汇集的全部好处，苹果必须对其实施提供完全的透明度，使用户能够在与隐私损失相关的领域进行选择，并对允许的隐私损失设置有意义的默认值。
2017-09-11 cs.CR cs.CY cs.LG
Answering Private Linear Queries Adaptively using the Common Mechanism
Penn State（宾夕法尼亚州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
当通过隐私过滤器分析机密数据时，数据科学家通常需要决定哪些查询最能支持他们的预期分析。例如，分析师可能希望研究由机制M1产生的数据集中的噪声双向边际。但是，如果数据相对稀疏，分析师可能会选择检查由机制M2产生的噪声单向边际。由于使用M1还是M2的选择是依赖于数据的，因此典型的差异隐私工作流程是首先将隐私损失预算rho分为两部分：rho 1和rho 2，然后使用第一部分rho 1来确定使用哪种机制，剩余部分rho 2从所选机制中获得噪声答案。从某种意义上说，第一步似乎是浪费的，因为它拿走了一部分隐私损失预算，而这些预算本来可以用来使查询答案更准确。在本文中，我们考虑的问题是，M1和M2之间的选择是否可以在不浪费任何隐私损失预算的情况下进行。对于线性查询，我们提出了一种将M1和M2分解为三个部分的方法：（1）捕获它们共享信息的机制M*，（2）捕获特定于M1的信息的机制M1'，（3）捕获特定于M2的信息的机制M2'。一起运行M* 和M1'完全等同于运行M1（在查询答案准确性和总隐私成本rho方面）。类似地，一起运行M* 和M2'完全等同于运行M2。由于无论如何都将使用M*，因此分析员可以使用其输出来决定随后是运行M1 '（因此重新创建由M1支持的分析）还是M2'（重新创建由M2支持的分析），而不会浪费隐私损失预算。
2022-11-30 cs.CR cs.DB cs.LG
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Private Minimum Hellinger Distance Estimation via Hellinger Distance Differential Privacy
George Mason University（乔治梅森大学）
本文提出满足Hellinger差分隐私约束的最小Hellinger距离估计器，保持了鲁棒性和效率，同时开发了差分隐私梯度下降和牛顿-拉夫森算法，并通过数值实验验证了其在数据污染下的鲁棒性。
2026-11-03 cs.CR math.PR math.ST
Bayesian and Frequentist Semantics for Common Variations of Differential Privacy: Applications to the 2020 Census
本文的目的是指导解释的语义隐私保证的差分隐私，其中包括纯，近似，雷尼，零集中，和$f$差分隐私的一些主要变化。我们解释隐私损失会计参数，频率语义，贝叶斯语义（包括新的结果）。驾驶应用程序是对2021年8月12日发布的2020年人口普查公法94-171重划数据摘要文件的保密保护的解释，该文件首次在正式的隐私保证下制作。
2022-09-07 cs.CR stat.ME
Setting the Privacy Budget in Differential Privacy by Bounding Adversaries' Odds of Learning Sensitive Information
Duke University（杜克大学）
研究如何设置差分隐私中的隐私预算ε，核心方法是从业者先设定对手学习敏感信息的后验概率界限，再将其转换为ε值，以平衡隐私与结果准确性，并用病例对照研究数据说明该方法。
2026-07-07 stat.ME
A Learning Theory Approach to Non-Interactive Database Privacy
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们证明，忽略计算的限制，它是可能的私人释放合成数据库，是有用的大类的查询-比数据库本身的大小大得多。具体来说，我们给出了一种机制，私人发布合成数据的一类查询在一个离散域的错误增长的最小的网络的大小的函数，近似代表的答案，这类查询。我们表明，这特别意味着一种机制，计数查询，给出错误的保证，增长只与VC-维的类的查询，它本身的增长只与查询类的大小几何。我们还表明，这是不可能的，即使是简单的查询类（如间隔和他们的泛化）在连续域的私人释放。尽管如此，我们给出了一个隐私保护的多项式时间算法，释放有用的所有半空间查询的信息，稍微放松的效用保证。该算法不释放合成数据，而是能够表示每个查询的答案的另一个数据结构。我们还给出了一个有效的算法释放合成数据的区间查询和轴对齐的矩形的常数尺寸的类。最后，受学习理论的启发，我们引入了一个新的数据隐私的概念，我们称之为分布式隐私，并表明它严格强于流行的隐私概念，差分隐私。
2011-09-10 cs.CR cs.DS cs.LG
Private Queries with Sigma-Counting
University of Minnesota Twin Cities（明尼苏达大学双城分校）
针对计数查询的隐私保护问题，提出sigma计数方法，利用sigma代数构造隐私保护计数查询，在大量查询下提高输出准确性并保持隐私水平，适用于大规模和时变数据。
2025-09-07 cs.DB cs.LG
Transferable Embedding Inversion Attack: Uncovering Privacy Risks in Text Embeddings without Model Queries
National Taiwan University（台湾大学）
本研究针对攻击者无法访问原始嵌入模型的现实场景，提出基于代理模型的可迁移嵌入反演攻击，在多模型与临床数据集上验证其性能优于传统方法，揭示文本嵌入的隐私漏洞并呼吁加强安全防护。
2024-06-12 cs.CL cs.CR cs.LG
Privacy-Preserving XGBoost Inference
AWS Cryptography Algorithm（AWS密码算法）；Yale University（耶鲁大学）
虽然机器学习（ML）被广泛用于预测任务，但在一些重要的场景中，ML无法使用或至少无法充分发挥其潜力。采用的一个主要障碍是预测查询的敏感性。个人用户可能缺乏足够丰富的数据集来本地训练准确的模型，但也不愿意将敏感的查询发送到出售此类模型的商业服务。隐私保护机器学习（PPML）的一个核心目标是使用户能够向远程ML服务提交加密查询，接收加密结果，并在本地对其进行解密。我们的目标是为现实世界的隐私保护ML推理问题开发实用的解决方案。在本文中，我们提出了一种隐私保护的XGBoost预测算法，我们已经在AWS SageMaker上实施并进行了经验评估。实验结果表明，我们的算法是有效的，足以用于实际的ML生产环境。
2020-11-24 cs.CR cs.LG
LDPKiT: Superimposing Remote Queries for Privacy-Preserving Distillation
University of Toronto（多伦多大学）；The University of British Columbia（不列颠哥伦比亚大学）
研究针对模型远程推理的隐私问题，提出LDPKiT框架，利用私有数据并限制隐私泄露。通过叠加技术生成样本，在局部差分隐私下实现知识转移。实验表明该框架能在保持隐私时提高效用，还进行了敏感性分析等提供见解。
2026-07-13 cs.CR cs.CY cs.LG
