Canaries in the Bank: Auditing User-Level Privacy in Private Evolution
Meta Platforms, Inc.（Meta平台公司）
本研究通过协议感知审计，在私有进化中引入金丝雀探针，评估八种攻击，发现自然文本攻击远低于理论DP界限，而随机数攻击更接近隐私上限，量化了最坏情况隐私与实际泄漏的差距。
2026-09-15 cs.AI cs.CR cs.LG
Differentially Private Adversarial Robustness Through Randomized Perturbations
University of Southern California（南加利福尼亚大学）；Amazon Alexa（亚马逊 Alexa）
尽管深度神经网络在不同领域取得了巨大成功，但可以证明，它对正确分类的样本的小扰动很敏感，并导致错误的预测。最近，有人提出，这种行为可以通过优化最坏情况下的损失函数在所有可能的替代训练样本。然而，这可能倾向于对不太可能的替换进行更高的加权，从而限制了准确性增益。本文通过随机扰动来研究对抗鲁棒性，它有两个直接的优点：（1）通过确保替换可能性由与原始词的接近度加权，我们避免了优化最坏情况保证并获得了性能增益;以及（2）经校准的随机性赋予差分私有模型训练，这另外提高了对模型输出的对抗攻击的鲁棒性。我们的方法使用了一种基于截断Gumbel噪声的新的基于密度的机制，该机制确保了对词汇表中稀有和密集单词的替换进行训练，同时保持语义相似性以提高模型的鲁棒性。
2020-09-27 cs.CR cs.LG stat.ML
Privately Publishable Per-instance Privacy
UC Santa Barbara（加州大学圣巴巴拉分校）
我们考虑如何私人共享客观扰动所造成的个性化隐私损失，使用每实例差分隐私（pDP）。标准的差分隐私（DP）给了我们一个最坏情况的界限，可能是一个数量级以上的隐私损失到一个特定的个人相对于一个固定的数据集。pDP框架为目标个人提供了更细粒度的隐私保证分析，但每个实例的隐私丢失本身可能是敏感数据的函数。在本文中，我们分析了每一个实例的隐私损失释放一个私人的经验风险最小化学习通过客观扰动，并提出了一组方法，私人和准确地公布的pDP损失很少或没有额外的隐私成本。
2021-11-03 cs.CR cs.LG stat.ML
That which we call private
Google Research（谷歌研究院）
安全和隐私防御的保证通常通过放松对攻击者或防御部署环境的假设来加强。这种放松可能是一个非常值得探索的话题-即使它们通常需要假设一个较弱，不太强大的对手-因为攻击者的力量和他们的背景确实可能有很大的变化。然而，没有削弱或上下文折扣的攻击者的权力被假定为一些所谓的“宽松的定义”在分析的差异隐私保证。相反，这样命名的定义是对攻击者最坏情况影响的改进和更高级分析的基础--而攻击者的能力没有任何变化。因为它们更精确地限制了最坏情况下的隐私损失，这些改进的分析可以大大加强差分隐私上限保证-有时降低差分隐私上限的数量级。因此，对于不经意的眼睛来说，这些分析似乎意味着减少了隐私损失。这是一种错误的看法：任何具体机制的隐私损失都不能随着最坏情况损失上限分析技术的选择而改变。从业者必须小心，不要将现实世界的隐私与差异隐私的价值等同起来，至少不要在没有充分考虑上下文的情况下。
2020-04-20 cs.AI cs.CR cs.LG
Beyond Ordinary Lipschitz Constraints: Differentially Private Stochastic Optimization with Tsybakov Noise Condition
本文研究满足Tsybakov噪声条件的差分隐私随机凸优化，提出效用界与Lipschitz常数无关的DP算法，推广至非Lipschitz情形并给出私有极小极大速率下界。
2025-09-04 cs.LG
Adapting to Function Difficulty and Growth Conditions in Private Optimization
我们开发了私人随机凸优化算法，以适应我们希望优化的特定函数的硬度。虽然以前的工作为任意凸函数提供了最坏情况的界限，但通常情况下，手头的函数属于一个较小的类，享受更快的速度。具体地说，我们表明，对于表现出$κ$ -增长的最佳，即周围的功能，$f(x) \ge f(x^*) + λκ^{-1} \|x-x^*\|_2^κ$为$κ> 1$，我们的算法改进后的标准${\sqrt{d}}/{n\varepsilon}$隐私率更快的$({\sqrt{d}}/{n\varepsilon})^{\tfracκ{κ- 1}}$。重要的是，他们在不知道函数的增长常数$κ$的情况下实现了这些速率。我们的算法建立在适应实例难度的逆灵敏度机制（Asi & Duchi，2020）和私有优化中的最新定位技术（Feldman等人，2020年）。我们补充我们的算法与这些功能类的匹配下界，并证明我们的自适应算法是\emph{simultaneously}（极大极小）最佳的所有$κ\ge 1+c$每当$c = Θ(1)$。
2021-08-05 cs.CR cs.LG math.OC
Smoothed Differential Privacy
Google（谷歌）；UC Santa Barbara（加州大学圣巴巴拉分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对传统差分隐私需加性噪声、不适用于部分现实场景的问题，提出基于平滑分析的平滑差分隐私概念，证明其相关性质并给出高效参数计算算法，验证了离散机制在现实场景下无加性噪声也可具备隐私性。
2023-12-12 cs.CR cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.（苹果公司）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率，这可能是保守的，算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计，并对分布的尾率进行了估计。在这些情况下，我们证明了用于简单假设检验的最优算法，即Canonne等人（2019）最近的最优私有检验器，直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Differential Privacy has Bounded Impact on Fairness in Classification
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文从理论上证明群体公平性度量关于模型参数具有Lipschitz连续性，并据此给出非渐近界，表明随样本增加差分隐私对分类公平性的影响有界且受置信边际制约。
2023-09-18 cs.CR cs.LG stat.ML
High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ Montpellier（蒙彼利埃大学）；Institut Universitaire de France (IUF)（法兰西大学研究院）
针对高维差分隐私经验风险最小化效用随维度多项式下降的问题，提出DP-GCD算法，通过沿梯度最大元素方向执行坐标级梯度步并利用准稀疏等结构特性，实现对维度的对数级依赖。
2023-04-09 cs.CR cs.LG stat.ML
Locally Differentially Private Minimum Finding
RIKEN AIP（理化学研究所AIP）；National Chung Hsing University（国立中兴大学）；University of Tsukuba（筑波大学）
我们调查的问题，找到最小值，其中每个用户有一个真正的价值，我们要估计这些值的最小值下的局部差分隐私约束。我们发现，这个问题是从根本上困难的，我们不能构建一个机制，在最坏的情况下是一致的。而不是考虑最坏的情况下，我们的目标是建立一个私人的机制，其差错率是自适应的最小估计的容易程度。作为一种简单的措施，我们引入了一个参数$α$，其特征在于胖的最小侧尾的用户数据分布。因此，我们揭示了该机制可以实现$O((\ln^6N/ε^2N)^{1/2α})$错误没有知识的$α$和差错率是接近最佳的意义上说，任何机制引起$Ω((1/ε^2N)^{1/2α})$错误。此外，我们证明了我们的机制优于一个天真的机制，通过对合成数据集的经验评估。此外，我们在MovieLens数据集和购买历史数据集上进行了实验，并证明我们的算法实现了$\tilde{O}((1/N)^{1/2α})$误差自适应$α$。
2019-05-27 cs.CR cs.LG math.ST
Sharper Utility Bounds for Differentially Private Models
通过引入广义Bernstein条件，基于梯度扰动方法，在$G$ -Lipschitz、$L$ -smooth和Polyak-Lipschitz条件下，给出了差分隐私算法的第一个$\mathcal{O}\big(\frac{\sqrt{p}}{nε}\big)$高概率超额种群风险界.如果我们用$α$ -H{<$}lder光滑性（可用于非光滑设置）代替性质$G$ -Lipschitz和$L$ -smooth，则高概率界达到$\mathcal{O}\big(n^{-\fracα{1+2α}}\big)$ w.r.t $n$，当$α\in(0,1]$时不能达到$\mathcal{O}\left(1/n\right)$。为了解决这个问题，我们提出了一个变种的梯度扰动方法，\textbf{max$\{1,g\}$-Normalized Gradient Perturbation}（m-NGP）。进一步证明了在$α$ -H{<$}lder光滑和Polyak-Jasojasiewicz条件下，通过归一化，高概率超额种群风险界可以达到$\mathcal{O}\big(\frac{\sqrt{p}}{nε}\big)$，这是非光滑条件下差分私有算法的第一个$n$高概率超额种群风险界.此外，我们还对新算法m-NGP进行了性能评估，实验结果表明m-NGP在真实数据集上提高了差分隐私模型的性能。实验结果表明…
2022-04-22 cs.LG
Private Isotonic Regression
Google Research（谷歌研究院）
在本文中，我们考虑保序回归的差分私有（DP）算法的问题。对于偏序集$\mathcal{X}$和任何Lipschitz损失函数的保序回归的最一般问题，我们得到一个纯DP算法，给定$n$输入点，具有大约$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$的预期超额经验风险，其中$\mathrm{width}(\mathcal{X})$是偏序集的宽度。相比之下，我们还获得了一个近似匹配的下限大致$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$，即使是近似DP算法。此外，我们表明，上述界基本上是最好的，可以得到不利用任何进一步的结构的偏序集。在一个特殊的情况下，一个全序集和$\ell_1$和$\ell_2^2$损失，我们的算法可以实现在近线性运行时间，我们还提供了扩展该算法的问题，私人保序回归的输出函数上的附加结构约束。
2022-10-27 cs.CR cs.LG stat.ML
When Does Differentially Private Learning Not Suffer in High Dimensions?
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
大型预训练模型可以私下微调，以实现接近非私有模型的性能。这些结果中的一个共同主题是令人惊讶的观察结果，即高维模型可以实现有利的隐私-效用权衡。这似乎与差分私有凸学习的模型大小依赖性的已知结果相矛盾，并提出了以下研究问题：差分私有学习的性能何时不会随着模型大小的增加而降低？我们确定，投影到子空间的梯度的大小是决定性能的关键因素。为了精确地描述这一点的私人凸学习，我们引入了一个条件的目标，我们的术语\emph{restricted Lipschitz continuity}，并获得改进的界限，为过剩的经验和人口的风险，是维度独立的额外条件。我们的经验表明，在私人微调的大语言模型，微调过程中获得的梯度主要是由几个主成分控制。这种行为是类似的条件下，我们获得的凸设置的维数无关的界限。我们的理论和实证结果一起提供了一个可能的解释，最近的成功，在大规模的私人微调。可以在\url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}上找到重现我们结果的代码。
2022-10-26 cs.CR cs.LG stat.ML
Noise is All You Need: Private Second-Order Convergence of Noisy SGD
Northwestern University（西北大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Seoul National University（首尔大学）；George Mason University（乔治梅森大学）
该研究重新分析DP-SGD，证明隐私所需的噪声本身可在标准平滑假设下实现非Lipschitz损失的二阶收敛，无需额外复杂算法即可让DP-SGD找到二阶平稳点。
2024-10-09 cs.LG
Adaptive Power Iteration Method for Differentially Private PCA
Department of Computer Science, Boston University（波士顿大学计算机科学系）；Khoury College of Computer and Information Science, Northeastern University（东北大学科里学院计算机与信息科学学院）
本文研究了在差分隐私下近似计算矩阵A的顶级奇异向量的算法，提出了一种自适应过滤技术，适用于低相干性输入矩阵，从而在保证隐私的同时提高计算效率。
2026-05-19 cs.DS cs.LG
Differentially Private Approximate Quantiles
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Ben-Gurion University（本古里安大学）；Ben-Gurion University of the Negev（内盖夫本古里安大学）
在这项工作中，我们研究的问题，差分私人（DP）分位数，其中给定的数据集$X$和分位数$q_1, ..., q_m \in [0,1]$，我们希望输出$m$分位数估计，这是尽可能接近真实的分位数，并保持DP。我们描述了一个简单的递归DP算法，我们称之为ApproximateQuantiles（AQ），这项任务。我们给出了一个最坏情况下的误差上限，并表明其误差远低于以前的实现在几个不同的数据集。此外，它获得了这种低误差，同时运行时间比以前最好的实现快两个数量级。
2021-10-11 cs.CR cs.DS cs.LG
Bounding the Excess Risk for Linear Models Trained on Marginal-Preserving, Differentially-Private, Synthetic Data
University of Maryland（马里兰大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对差分隐私合成数据训练的线性模型，提出超额经验风险的新型上下界，并辅以广泛实验验证。
2024-07-19 cs.CR cs.LG
Locally Private Gaussian Estimation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Google Research New York（谷歌研究院纽约分院）；University of Minnesota（明尼苏达大学）
我们研究一个基本的私人估计问题：每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样，目标是估计该高斯分布的均值，同时满足每个用户的局部差分隐私。非正式地，局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此，局部私有高斯估计是困难的，因为数据域是无界的：用户可以绘制任意不同的输入，但局部差分隐私仍然要求不同的用户具有（最坏情况）相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后，我们部分匹配这些上限与信息理论的下限。这个下限表明，我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
Differentially Private Domain Adaptation with Theoretical Guarantees
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
针对私有目标域的有监督域适应问题，提出两种差分隐私适应算法，分别处理线性回归凸优化和一般非凸光滑损失，理论分析并实验验证其性能接近非私有版本。
2024-02-04 cs.CR cs.LG stat.ML
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Dual Query: Practical Private Query Release for High Dimensional Data
我们提出了一个实用的，差分隐私算法回答了大量的高维数据集上的查询。像所有用于此任务的算法一样，我们的算法在数据维度上必然具有最坏情况的复杂度指数。然而，我们的算法将计算上困难的步骤打包成一个简洁定义的整数规划，可以使用标准求解器非私下解决。我们证明了我们的算法的准确性和隐私定理，然后通过实验证明，我们的算法在实践中表现良好。例如，我们的算法可以高效准确地回答Netflix数据集上的数百万个查询，该数据集具有超过17，000个属性;这是对现有技术的多个数量级的改进。
2015-11-19 cs.CR cs.DB cs.DS
Private Non-Convex Federated Learning Without a Trusted Server
University of Southern California（南加州大学）
研究无可信服务器下的非凸跨孤岛联邦学习，提出ISRL-DP与Shuffle DP算法，在非凸非平滑及异构数据下达到接近最优效用并改进现有界限。
2023-06-25 cs.CR cs.LG math.OC
Differentially Private Covariance Revisited
Hong Kong University of Science and Technology（香港科技大学）
本文提出了两种新的集中差分隐私（zCDP）下的协方差估计算法。第一种算法实现了$\tilde{O}(d^{1/4}\sqrt{\mathrm{tr}}/\sqrt{n} + \sqrt{d}/n)$的Frobenius误差，其中$\mathrm{tr}$是协方差矩阵的迹。通过采用$\mathrm{tr}=1$，这也意味着$\tilde{O}(d^{1/4}/\sqrt{n})$的最坏情况误差界，其改进了用于该机制$d>\widetildeΩ(n^{2/3})$的标准高斯机制的$\tilde{O}(d/n)$。我们的第二个算法提供了一个尾部敏感的界限，可以更好地倾斜数据。相应的算法也是简单有效的。实验结果表明，他们提供了显着的改进，比以前的工作。
2022-09-28 cs.CR cs.DS cs.LG
Private Estimation when Data and Privacy Demands are Correlated
UC Berkeley, USA（加州大学伯克利分校）
针对数据与隐私需求相关时的私有估计问题，提出算法并在PAC误差和均方误差下建立理论保证，实现极小极大最优，实验验证优于基线。
2025-04-19 cs.CR cs.LG stat.ML
Smoothed Analysis of Online and Differentially Private Learning
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人，2009年，Alon等人，2019年]。这种特征通常被解释为不可能的结果，因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中，我们应用平滑分析的框架[Spielman和Teng，2004]，其中逆向选择的输入被自然稍微扰动。我们表明，从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是，我们得到的遗憾和隐私的误差范围，只依赖于VC维和括号数的假设类，和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
Asymptotically optimal private estimation under mean square loss
University of Maryland（马里兰大学）
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$度量私有化方案的隐私级别。在我们以前的工作（arXiv：1702.00610），我们提出了一个家庭的新的私有化计划和相应的估计。我们还证明了在$\ell_2^2$和$\ell_1$损失下，我们的方案和估计器在$e^ε \ll k$机制中是阶最优的。换句话说，对于大量的样本样本个数，我们的方案的最坏情况下的估计损失被证明与最佳值相差最多一个常数因子。在本文中，我们消除了这个差距，所提出的计划和估计下的$\ell_2^2$（均方）损失的渐近最优性。更准确地说，我们表明，对于任何$k$和$ε,$的最坏情况下的估计损失之间的比率，我们的计划和最佳值接近$1$的样本个数趋于无穷大。
2017-07-31 cs.IT cs.LG math.IT
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在本文中，我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的，优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置，其中的损失函数已知也是强凸的。我们的算法运行在多项式时间，在某些情况下，甚至匹配的最佳非私有运行时间（如Oracle复杂性）。我们给单独的算法（和下限）为$(ε,0)$ -和$(ε,δ)$ -差分隐私，也许令人惊讶的是，用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族，如线性和二次函数。这意味着，从以前的工作中的算法可以用来获得最佳的出错率，在额外的假设下，每个数据点的损失函数的贡献是平滑的。我们表明，简单的方法来平滑任意损失函数（为了应用以前的技术）不产生最佳的出错率。特别是，最佳算法是以前不知道的问题，如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Differentially Private $\ell_1$-norm Linear Regression with Heavy-tailed Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
研究了重尾数据下的微分私有随机凸优化问题。具体而言，我们专注于$ε$ -DP模型中的$\ell_1$ -范数线性回归。虽然以前的大部分工作都集中在损失函数为Lipschitz的情况下，但在这里我们只需要假设变量具有有界矩。首先，我们研究了数据的$\ell_2$范数具有有界二阶矩的情形。我们提出了一种算法，它是基于指数机制，并表明，它是可能实现的上限$\tilde{O}(\sqrt{\frac{d}{nε}})$（具有高概率）。其次，我们放宽了假设，有界$θ$阶矩与一些$θ\in (1, 2)$，并表明它是可能实现的上限$\tilde{O}(({\frac{d}{nε}})^\frac{θ-1}θ)$。我们的算法也可以扩展到更宽松的情况下，只有每个坐标的数据有界的时刻，我们可以得到一个上界的$\tilde{O}({\frac{d}{\sqrt{nε}}})$和$\tilde{O}({\frac{d}{({nε})^\frac{θ-1}θ}})$在第二和$θ$ -th时刻的情况下，分别。
2022-01-10 cs.CR cs.LG stat.ML
The Privacy Price of Tail-Risk Learning: Effective Tail Sample Size in Differentially Private CVaR Optimization
School of Engineering, Institute of Science Tokyo（东京工学部科学研究所）
研究揭示差分隐私对CVaR学习有效样本量的影响，提出隐私代价分解方法，推导出标量估计和有限类别的学习速率，并指出隐私学习在有效尾样本量上的核心挑战。
2026-05-15 cs.LG stat.ML
A Bandit Model for Human-Machine Decision Making with Private Information and Opacity
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
机器学习的应用在广泛的任务中为人类决策者提供信息。由此产生的问题通常是制定在一个单一的决策者。我们认为，它应该被描述为一个两个玩家的学习问题，其中一个玩家是机器，另一个是人类。虽然双方都试图优化最终决策，但这种设置通常具有以下特点：（1）私人信息的存在和（2）不透明，即决策者之间的不完全理解。我们证明，这两个属性可以大大复杂化决策。一个下限量化了最坏情况下的最佳建议决策者谁是不透明的或有机会获得私人信息的硬度。一个上限表明，一个简单的协调策略是近极小极大最优。在对问题的某些假设下，更有效的学习是可能的，例如，两个参与者都学会独立采取行动。这些假设在现有文献中是隐含的，例如在机器学习的医学应用中，但尚未在理论上进行描述或证明。
2022-05-03 cs.LG stat.ML
On the Fairness of Privacy Protection: Measuring and Mitigating the Disparity of Group Privacy Risks for Differentially Private Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对差分隐私机器学习中跨群体隐私保护公平性未被充分探索的问题，提出新型成员推理博弈以高效评估近似最坏情况群体隐私风险，并增强DP-SGD算法以减少群体隐私风险差异，提升隐私保护公平性。
2025-11-16 cs.AI cs.LG
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
New Oracle-Efficient Algorithms for Private Synthetic Data Release
University of Minnesota（明尼苏达大学）；Harvard University（哈佛大学）；Boston University（波士顿大学）；IBM Research（IBM研究院）
我们提出了三种新的算法，用于构建差异私人合成数据--一个消毒版本的敏感数据集，大约保留了大量的统计查询的答案。所有这三种算法都是\emph{oracle-efficient}，因为它们在访问优化预言时是计算高效的。这样的预言可以使用许多现有的（非私有的）优化工具来实现，例如复杂的整数规划求解器。虽然合成数据的准确性取决于预言机的优化性能，但即使在最坏的情况下，算法也能满足差分隐私。对于所有这三种算法，我们都为准确性和隐私性提供了理论保证。通过实证评估，我们表明，我们的方法规模以及与数据的维数和查询的数量。与最先进的高维矩阵机制\cite{McKennaMHM18}相比，我们的算法在大工作量和高隐私机制（对应于低隐私损失$\varepsilon$）下提供了更好的准确性。
2020-07-10 cs.DS cs.LG stat.ML
Differentially Private k-Means Clustering with Guaranteed Convergence
the University of Adelaide（阿德莱德大学）；Sun Yat-sen University（中山大学）
迭代聚类算法帮助我们了解数据背后的洞察力。不幸的是，这可能会让对手推断出具有某些背景知识的个人的隐私。在最坏的情况下，对手知道任意迭代的质心和n个项目中的n-1个的信息。为了保护个人隐私免受这样的推理攻击，保持差分隐私（DP）的迭代聚类算法已被广泛研究的互动设置。然而，现有的交互式差异私有聚类算法遭受非收敛问题，即，这些算法在没有预定义的迭代次数的情况下不会终止。该问题严重影响了差分隐私算法的聚类质量和效率。为了解决这个问题，在本文中，我们提出了一种新的差分私有聚类框架中的交互式设置控制的方向的移动的质心的迭代，以确保通过在选定的区域注入DP噪声的收敛。我们证明，在预期的情况下，算法在我们的框架下收敛最多两倍的迭代劳埃德算法。我们在真实世界的数据集上进行实验评估，以表明我们的算法优于最先进的交互式差分私有聚类算法，具有保证的收敛性和更好的聚类质量，以满足相同的DP要求。
2020-02-03 cs.CR cs.LG
Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States
Department of Electrical Engineering, National Taiwan University, Taiwan（台湾国立台湾大学电子工程系）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE), Taiwan（国立台湾大学人工智能研究中心（NTU AI-CoRE））；Microsoft, USA（微软公司）；Department of Electrical and Computer Engineering, Georgia Institute of Technology, USA（佐治亚理工学院电子与计算机工程系）
本文研究了在差分隐私和内存约束下零阶优化的隐私放大问题，提出混合噪声机制和新耦合分析，首次获得收敛的隐状态差分隐私界。
2026-05-14 cs.LG
Minimax optimal differentially private synthetic data for smooth queries
Department of Mathematics, University of Southern California（南加州大学数学系）；Department of Mathematics, University of California San Diego（加州圣地亚哥大学数学系）
本文研究了如何生成具有(ε,δ)差分隐私的合成数据，以在保证个体隐私的同时，为有意义的下游分析提供强效用保证。提出了一种多项式时间算法，实现了最小最大误差率O_{k,d}(n^{-min{1, k/d}})，并建立了针对k-平滑查询的首个最小最大下界。
2026-06-04 cs.IT cs.LG math.IT
Differentially Private Change-Point Detection
Georgia Institute of Technology（佐治亚理工学院）；University of Richmond（里士满大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
变点检测问题试图识别数据流中未知变点k * 处的分布变化。这个问题出现在许多涉及个人数据的重要实际设置中，包括生物监视、故障检测、金融、信号检测和安全系统。差分隐私领域提供了数据分析工具，可以提供强大的最坏情况隐私保证。本文从差分隐私的角度研究了变点检测的统计问题。我们给出了在线和离线变点检测的私有算法，从理论上分析了这些算法，并对我们的结果进行了实证验证。
2018-08-29 cs.DS cs.LG math.ST
Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping
Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学）；Department of Electrical and Computer Engineering, American University of Beirut（电气与计算机工程系，贝鲁特美国大学）
针对差分隐私学习中梯度裁剪对少数群体造成的不公平影响，提出有界自适应裁剪方法，通过引入可调下界防止过度梯度抑制，在Skewed和Fashion MNIST上最差类准确率提升超过10个百分点。
2026-06-11 cs.CR cs.LG stat.ML
Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research（谷歌研究院）；Sorbonne Université（索邦大学）；Aarhus University（奥胡斯大学）
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入，我们给出了一个高效且易于实现的算法，该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$，其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替）。虽然最坏情况下的保证是最先进的私有聚类方法的状态差，我们提出的算法是实用的，运行在近线性，$\tilde{O}(nkd)$，时间和规模为数千万点。我们还表明，我们的方法是适合在大规模的分布式计算环境中的并行化。特别是，我们表明，我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后，我们补充我们的理论分析与实证评估，证明算法的效率和准确性相比，其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Tight Auditing of Differentially Private Machine Learning
Google DeepMind（谷歌DeepMind）；ETHZ（苏黎世联邦理工学院）
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习，现有的审计机制是严格的：经验隐私估计（几乎）匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先，他们只在不可信的最坏情况假设下给出严格的估计（例如，一个完全对抗的数据集）。其次，它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案，可以对自然（而不是对手精心制作的）数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设，这是允许在标准的差分隐私威胁模型。该威胁模型也适用于，例如，在联邦学习环境中。此外，我们的审计方案只需运行两次训练（而不是数千次）即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性，通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
Private graphon estimation via sum-of-squares
ETH Zürich（苏黎世联邦理工学院）；BIDSA, Bocconi University（博科尼大学BIDSA）；National Taiwan University（台湾大学）
本文提出首个纯节点差分隐私算法，用于随机块模型和图on估计，运行时间为多项式，统计效用与指数时间最优机制相当，基于平方和松弛的指数机制，并包含距离刻画、收敛结果和Lipschitz扩展方法。
2024-04-18 cs.CC cs.DS cs.LG
Subset-Based Instance Optimality in Private Estimation
Google Research（谷歌研究院）
本文提出一种更强的差分隐私估计实例最优性定义，并针对实值数据集构造了在均值、分位数及ℓp-范数最小化器上达到该最优性的私有算法，其中均值算法在多种分布下匹配或超越现有方法。
2024-05-29 cs.CR cs.IT cs.LG
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视的问题，准确地回答大类的统计查询，同时保持差分隐私。以前的方法来解决这个问题已经非常普遍，但没有运行时多项式的数据库的大小，只适用于非常有限的类的查询，或放宽了最坏情况下的错误保证的概念。在本文中，我们考虑了大类的稀疏查询，它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法，这类，在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时，适用于稀疏查询：我们的界限是独立的宇宙大小。事实上，即使是我们的交互机制的运行时是独立的宇宙的大小，因此可以在“无限宇宙”模型中实现，其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
Near-optimal node-private community estimation in polynomial-time
University of Cambridge（剑桥大学）；ESSEC Business School（ESSEC高等商学院）；Yale University（耶鲁大学）
研究解决Klopp和Zadik的开放问题，提出高概率多项式时间节点隐私算法，通过显式构造替代及接受-拒绝算法，在随机块模型中实现精确恢复，分析表明该算法在社区数量和隐私参数特定增长情况下能达极小极大率，匹配隐私成本下限。
2026-07-13 math.ST stat.ML stat.TH
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习涉及一个中央处理器，它与多个代理一起工作，以找到一个全局模型。这一过程包括反复交换估计数，从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便，因此，需要算法的私有化。此外，连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此，在这项工作中，我们开发了一个私人的多服务器联邦学习计划，我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法，我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划，可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下，私有化的过程中匹配的非私有算法的性能，即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
Online Differentially Private Synthetic Data Generation
University of California Irvine（加利福尼亚大学欧文分校）；University of Southern California（南加利福尼亚大学）
本研究提出一种在线差分隐私合成数据生成的多项式时间算法，针对超立方体内无限时间范围的数据流，在1-Wasserstein距离下实现近似最优精度界，将持续发布模型从计数查询拓展至Lipschitz查询，仅比离线方法多付出多对数因子的精度代价。
2024-10-23 cs.DS cs.LG math.PR
Instance-Optimality for Private KL Distribution Estimation
National University of Singapore（新加坡国立大学）；Apple（苹果公司）
研究离散分布的私有 KL 散度估计问题，提出基于 Good-Turing 估计器变体的实例最优算法，并证明其上下界，克服了极小极大最优方法在非最坏实例上性能不佳的缺陷。
2025-05-29 cs.LG stat.ML
A Private Approximation of the 2nd-Moment Matrix of Any Subsamplable Input
Faculty of Engineering（工程学院）；Bar-Ilan University（巴伊兰大学）
针对可子采样数据，提出一种满足零集中差分隐私的递归算法，实现二阶矩矩阵的高精度近似估计，并容忍显著比例的异常值。
2026-06-24 cs.CR cs.DS cs.LG
A Theoretical Perspective on Differentially Private Federated Multi-task Learning
Ant Group（蚂蚁集团）
在大数据时代，通过数据共享来扩大数据量以提高模型性能的需求已变得越来越迫切。因此，有效的协作学习模式需要开发的隐私和实用性的关注。在这项工作中，我们提出了一种新的联邦多任务学习方法，有效的参数传输与差分隐私，以保护梯度在客户端级别。具体而言，网络的较低层在所有客户端之间共享以捕获可转移的特征表示，而网络的顶层是针对客户端个性化的特定任务。我们提出的算法自然解决了联邦网络中的统计异质性问题。据我们所知，我们是第一个为这样一个拟议的联邦算法提供隐私和效用保证的。在非凸、凸和强凸条件下，证明了Lipschitz光滑目标函数的收敛性。在不同数据集上的实验结果验证了该算法的有效性和理论研究结果的意义。
2020-11-14 cs.CR cs.DC cs.LG
PrivCert: Certifying Statement Support under Differential Privacy
Acompany Co., Ltd.（Acompany有限公司）
PrivCert提出隐私保护报告框架，通过证书和弃权决策显式认证语句支持度，弥补差分隐私文本生成的证据缺口，实验表明其优于基线。
2026-10-01 cs.CR cs.LG
Differentially Private Generalized Linear Models Revisited
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
该研究重新审视差分隐私广义线性模型，针对两类凸损失线性预测器的隐私学习问题，推导了紧的上下界与最优速率，提出无需先验知识的私有模型选择方法实现最优性能。
2024-03-06 cs.LG stat.ML
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Optimal rates of entropy estimation over Lipschitz balls
考虑Lipschitz球上密度熵的极小极大估计问题。丢弃通常的假设，密度是有界的远离零，我们得到的最小极大率$(n\ln n)^{-s/(s+d)} + n^{-1/2}$为$0<s\leq 2$的密度支持$[0,1]^d$，其中$s$是平滑参数和$n$是独立样本的数量。我们将结果推广到具有无界支持的密度：给定快速增长的Orlicz函数$Ψ$（如次指数和次高斯类），具有有界$Ψ$ -Orlicz范数的密度的极大极小率增加到$(n\ln n)^{-s/(s+d)} (Ψ^{-1}(n))^{d(1-d/p(s+d))} + n^{-1/2}$，其中$p$是Lipschitz球中的范数参数。我们还表明，积分形式的插件估计与核密度估计未能实现极大极小率，并描述其最坏情况下的性能超过Lipschitz球。分析偏差的关键步骤之一依赖于Hardy-Littlewood极大不等式的一个新的应用，这也导致了一个新的不等式的Fisher信息，可能是独立的利益。
2019-11-11 cs.IT math.IT math.ST
