Faster Differentially Private Convex Optimization via Second-Order Methods
Google（谷歌）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research–Brain Team（谷歌研究院大脑团队）
本研究提出利用损失函数二阶信息加速差分隐私凸优化的方法，开发了正则化三次牛顿法的隐私变体，在强凸损失函数上实现二次收敛与最优超出损失，且比DP-GD/DP-SGD快10-40倍。
2023-05-22 cs.CR cs.LG math.OC
Non-Euclidean Differentially Private Stochastic Convex Optimization: Optimal Rates in Linear Time
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
差分私有随机凸优化是一个基本问题，其目标是在给定$n$ i.i.d.的数据集上，使种群风险相对于凸损失函数近似最小化.样本的分布，同时满足相对于数据集的差分隐私。在私有凸优化的文献中的大多数现有工作集中在欧几里德（即，$\ell_2$）设置，其中假设损失是Lipschitz（并且可能是平滑的）。具有有界$\ell_2$直径约束集上的$\ell_2$范数。基于噪声随机梯度下降（SGD）的算法是已知的，以达到最佳的超额风险在这种情况下。在这项工作中，我们进行了一个系统的研究DP-SCO的$\ell_p$ -设置下的标准平滑假设的损失。对于$1< p\leq 2$，在标准光滑性假设下，我们给出了一个新的，线性时间DP-SCO算法的最优超额风险。先前已知的具有$1< p <2$的最优超额风险的构造在$n$中以超线性时间运行。对于$p=1$，我们给出了一个具有近似最优超额风险的算法.我们的结果$\ell_1$ -设置也扩展到一般的多面体规范和可行集。此外，我们表明，从我们的算法$1\leq p \leq 2$的超额风险界限达到高概率。对于$2 < p \leq \infty$，我们表明，现有的线性时间结构的欧几里德设置达到一个接近最佳的超额风险在低维制度。因此，我们表明，这种结构达到了接近最优的超额风险$p=\infty$。我们的工作借鉴了赋范空间的几何概念，如正则性，一致凸性和一致光滑性的…
2022-05-04 cs.LG math.OC stat.ML
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Differentially Private Stochastic Gradient Descent with Low-Noise
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）；University of Sydney（悉尼大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本文研究随机凸优化中差分隐私 SGD 的隐私与效用，给出低噪声逐点问题更锐利风险界，并提出基于梯度扰动的成对学习算法，首次在低噪声条件下实现快速率。
2023-07-14 cs.CR cs.LG stat.ML
Output Perturbation for Differentially Private Convex Optimization: Faster and More General
University of Southern California（南加州大学）
本文提出基于输出扰动的差分隐私凸优化算法，在光滑强凸损失下实现最优超额风险与线性时间，并推广至倾斜损失和对抗训练，首次给出紧的(ε,0)-DP界。
2024-09-20 cs.CR cs.LG stat.ML
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry
Stanford University（斯坦福大学）；Apple（苹果公司）；Tel Aviv University（特拉维夫大学）；Google（谷歌公司）
在$\ell_1$ -有界域上的随机凸优化在机器学习应用（如LASSO）中是普遍存在的，但在使用差分隐私进行学习时仍然知之甚少。我们发现，对数因子的最佳过剩人口损失的任何$(\varepsilon,δ)$ -差分私人优化是$\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n.$的上限是基于一个新的算法，结合了迭代本地化方法的~ \citet{FeldmanKoTa20}与私人正则化镜像下降的新分析。它适用于$p\in [1,2]$的$\ell_p$有界域，并且最多查询$n^{3/2}$梯度，这比需要$n^2$梯度的$\ell_2$情况下的最佳先前已知算法有所改进。此外，我们表明，当损失函数满足额外的平滑性假设，过量损失的上限（对数因子）由$\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}.$这界是通过一个新的方差减少版本的弗兰克-沃尔夫算法，只需要一个单一的数据通过。我们还表明，在这种情况下的下限是上述两个速率的最小值。
2021-03-02 cs.CR cs.LG math.OC
Privately Answering Classification Queries in the Agnostic PAC Model
The Ohio State University（俄亥俄州立大学）
我们重新讨论了分类查询的差异私有发布问题。在这个问题中，目标是设计一个算法，可以准确地回答一系列的分类查询的基础上一个私人的训练集，同时确保差分隐私。我们正式研究这个问题的不可知PAC模型，并得出一个新的上限的私人样本的复杂性。我们的结果比最近的工作[BTT18]中获得的不可知PAC设置。特别是，我们给出了一个改进的建设，产生一个更严格的样本复杂性的上限。此外，与[BTT 18]不同，我们的准确性保证不涉及与给定假设类相关的近似误差的任何爆破。鉴于任何假设类VC维$d$，我们表明，我们的建设可以私下回答$m$分类查询平均超额错误$α$使用大小为$\approx \frac{d}{α^2}\,\max\left(1, \sqrt{m}\,α^{3/2}\right)$的私人样本。使用最近的结果与辅助公共数据的私人学习，我们扩展我们的建设，以表明可以私下回答任何数量的分类查询平均超额错误$α$使用大小为$\approx \frac{d}{α^2}\,\max\left(1, \sqrt{d}\,α\right)$的私人样本。当$α=O\left(\frac{1}{\sqrt{d}}\right)$时，我们的私有样本复杂度界限本质上是最优的。
2019-12-04 cs.CR cs.LG stat.ML
On Differentially Private Stochastic Convex Optimization with Heavy-tailed Data
State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；MIT（麻省理工学院）
在本文中，我们考虑重尾数据上的随机凸优化（SCO）的差分私有（DP）算法的设计问题。这些数据的不规则性违反了几乎所有现有DP-SCO和DP-ERM方法中使用的一些关键假设，导致无法提供DP保证。为了更好地理解这种类型的挑战，我们在本文中提供了一个全面的研究DP-SCO在各种设置。首先，我们考虑的情况下，损失函数是强凸和光滑。对于这种情况，我们提出了一种基于样本和聚合框架的方法，该方法具有$\tilde{O}(\frac{d^3}{nε^4})$的超额群体风险（在忽略其他因素后），其中$n$是样本量，$d$是数据的维度。然后，我们表明，与一些额外的假设的损失函数，它是可能的，以减少\textit{expected}过剩人口的风险$\tilde{O}(\frac{ d^2}{ nε^2 })$。为了解除这些额外的条件，我们还提供了一个梯度平滑和修剪为基础的计划，以实现额外的人口风险的$\tilde{O}(\frac{ d^2}{nε^2})$和$\tilde{O}(\frac{d^\frac{2}{3}}{(nε^2)^\frac{1}{3}})$强凸和一般凸损失函数，分别为\textit{with high probability}。实验表明，我们的算法可以有效地处理数据不规则性带来的挑战。
2020-10-21 cs.CR cs.LG stat.ML
Faster Algorithms for User-Level Private Stochastic Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）；Apple Machine Learning Research（苹果公司机器学习研究部门）
本文研究用户级差分隐私下的随机凸优化，提出三类更快算法，分别在线性时间、任意光滑损失和非光滑损失下取得最先进或最优超额风险，并避免用户数随维度多项式增长。
2024-10-24 cs.CR cs.LG math.OC
Limits of Private Learning with Access to Public Data
Princeton University（普林斯顿大学）；The Ohio State University（俄亥俄州立大学）；Google AI（谷歌人工智能）
我们考虑训练集由两种类型的例子组成的学习问题：私人和公共。我们的目标是设计一个学习算法，满足差分隐私只有关于私人的例子。这种设置介于私人学习（所有示例都是私人的）和经典学习（所有示例都是公共的）之间。我们研究的限制，在这种情况下的私人和公共样本的复杂性。我们发现，VC维$d$的任何假设类都可以不可知地学习到$α$的过量错误，只使用（粗略）$d/α$公共示例和$d/α^2$私有标记示例。这个结果甚至在公共例子没有标记的情况下也成立。这给出了在公共样本复杂度上的标准$d/α^2$上界的二次改进（其中如果公共示例被标记，则可以完全忽略私有示例）。此外，我们给出了一个几乎匹配的下限，我们证明了通过一个通用的减少从这个设置的私人学习没有公共数据。
2019-10-25 cs.CR cs.LG stat.ML
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Private Geometric Median
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Google DeepMind（谷歌DeepMind）
针对私有几何中位数计算，本文提出超额误差随数据有效直径扩展的多项式时间差分隐私算法，并给出纯 DP 方案与样本复杂度最优下界。
2024-06-11 cs.LG
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo（纽约州立大学布法罗分校）
在本文中，我们研究了在不同的设置不同的私人经验风险最小化（ERM）问题。对于光滑（强）凸损失函数与或不与（非）光滑正则化，我们给出的算法，实现最佳或接近最佳的效用界，与以前的工作相比，梯度复杂性。对于高维（$p\gg n$）环境下具有光滑凸损失函数的ERM，我们给出了一个算法，该算法比以前的算法以更小的梯度复杂度达到上界。最后，将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数，并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Faster Rates of Private Stochastic Convex Optimization
University of Electronic Science and Technology of China（电子科技大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这篇文章中，我们重新讨论了微分私有随机凸优化（DP-SCO）问题，并提供了一些特殊的函数类的超额人口风险，比以前的结果一般凸和强凸函数。在本文的第一部分中，我们研究了人口风险函数满足Tysbakov噪声条件（TNC）的情况，其中参数为$θ>1$。具体地说，我们首先表明，在一些温和的假设下的损失函数，有一个算法，其输出可以达到$\tilde{O}((\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$的上限为$(ε, δ)$ -DP时，$θ\geq 2$，这里$n$是样本大小和$d$是空间的维数。然后，我们解决了效率低下的问题，通过$\text{Poly}(\log n)$因子提高了上界，并扩展到$θ\geq \barθ>1$的情况下，一些已知的$\barθ$。其次，我们证明了满足TNC且参数为$θ\geq 2$的人口函数的超额人口风险的下界分别为$ε$-DP和$(ε, δ)$ -DP的$Ω((\frac{d}{nε})^\fracθ{θ-1}) $和$Ω((\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$.在第二部分中，我们重点研究了一种特殊的情况下，人口风险函数是强凸的。与以前的研究不同，这里我们假设损失函数是{ \em非负}和{ \em，人口风险的…
2022-01-16 cs.CR cs.LG math.OC
Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学习系统中心）；Amazon（亚马逊）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
我们研究了光滑随机极大极小优化的差分私有（DP）算法，随机极小化作为副产品。这些设置的圣杯是使用训练样本数量具有线性时间复杂度的算法来保证隐私和过度人口损失之间的最佳权衡。我们提供了一个通用的框架来解决差分私有随机极大极小优化（DP-SMO）问题，这使得从业者能够带来自己的基础优化算法，并将其作为一个黑盒，以获得接近最优的隐私损失权衡。我们的框架受到最近提出的非光滑差分私有随机凸优化（DP-SCO）的阶段性ERM方法[22]的启发，该方法利用经验风险最小化（ERM）的稳定性来保证隐私。我们的方法的灵活性，使我们能够回避基本算法需要有界的灵敏度的要求，并允许使用复杂的方差减少加速方法，以实现近线性的时间复杂度。据我们所知，这是第一个近线性时间算法，人口的对偶性差距光滑DP-SMO的近最佳保证，当目标是（强）凸-（强）凹。此外，基于我们灵活的框架，我们丰富了家庭的近线性时间算法的平滑DP-SCO与接近最佳的隐私损失的权衡。
2022-10-19 cs.CR cs.LG math.OC
Differentially Private SGD with Non-Smooth Losses
Northwest University（西北大学）；University of Birmingham（伯明翰大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
在本文中，我们关注的差异私人{随机梯度下降（SGD）}算法在随机凸优化（SCO）的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的，模型参数是一致有界的。然而，这些假设是限制性的，因为许多流行的损失违反这些条件，包括SVM的铰链损失，鲁棒回归中的绝对损失，甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设，并建立隐私和泛化（实用程序）保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地，损失函数被放松以具有$α$连续梯度（称为$α$平滑度），其实例化Lipschitz连续性（$α=0$）和强平滑性（$α=1$）。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私（DP），并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$，对数项，与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是，我们的研究结果表明，$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法，同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Choosing Public Datasets for Private Machine Learning via Gradient Subspace Distance
Penn State University（宾夕法尼亚州立大学）；University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
针对隐私机器学习中公共数据集难以预先选择的问题，本文提出用公共与私有样本梯度的低维子空间距离进行选择，并从理论和实验上证明该距离与超额风险及模型准确率相关。
2025-07-23 cs.CR cs.CV cs.DS
(Nearly) Optimal Private Linear Regression via Adaptive Clipping
Google（谷歌）
我们研究了差分私有线性回归问题，其中每个数据点都是从一个固定的亚高斯分布中采样的。我们提出并分析了一个单通道小批量随机梯度下降方法（DP-AMBSSGD），在每次迭代中的点被采样而不替换。为DP添加噪声，但在线估计噪声标准偏差。与现有的具有次优误差界的$(ε, δ)$ -DP技术相比，DP-AMBSSGD能够在关键参数方面提供接近最优的误差界，所述关键参数如维度$d$、点的数量$N$和观测中的噪声的标准偏差$σ$。例如，当对$d$维协变量进行i.i.d.采样时，根据正态分布，则由于隐私引起的DP-AMBSSGD的超额误差是$\frac{σ^2 d}{N}(1+\frac{d}{ε^2 N})$，即，当样本数为线性回归的标准操作方案$N= Ω(d \log d)$时，误差是有意义的。相比之下，现有的有效方法在这种情况下的误差界限是：$\mathcal{O}\big(\frac{d^3}{ε^2 N^2}\big)$，即使是$σ=0$。也就是说，对于常数$ε$，现有技术需要$N=Ω(d\sqrt{d})$来提供非平凡结果。
2022-07-12 cs.CR cs.LG math.OC
PAC learning with stable and private predictions
MIT（麻省理工学院）；Google Research（谷歌研究院）；Apple（苹果公司）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
我们研究的二进制分类算法的预测在任何一点上是不是太敏感的数据集中的个别例子。具体来说，我们考虑了一致稳定性（Bousquet和Elisseeff，2001）和预测隐私（Dwork和Feldman，2018）的概念。以前对这些概念的研究表明，它们是如何在标准PAC模型中通过简单的聚合在不相交的数据子集上训练的模型来实现的。不幸的是，这种方法在样本复杂性方面导致了显著的开销。在这里，我们展示了几种用于稳定和私有预测的通用方法，这些方法可以消除或显着减少开销。具体来说，我们证明了任何类$C$的VC维$d$存在一个$γ$ -一致稳定的算法学习$C$与过量的错误$α$使用$\tilde O(d/(αγ) + d/α^2)$样本。我们还表明，这个界限是近紧。对于$ε$ -差分私有预测，我们给出了两个新的算法：一个使用$\tilde O(d/(α^2ε))$样本，另一个使用$\tilde O(d^2/(αε) + d/α^2)$样本。这些问题的最佳已知边界分别是$O(d/(α^2γ))$和$O(d/(α^3ε))$。
2020-09-23 cs.CR cs.DS cs.LG
Public-data Assisted Private Stochastic Optimization: Power and Limitations
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本研究探究公共数据辅助差分隐私（PA-DP）算法的能力与局限，证明标记公共数据场景下简单策略最优，提出未标记公共数据下的高效算法并给出匹配下界，还扩展到一般假设类。
2024-03-06 cs.CR cs.LG math.OC
On User-Level Private Convex Optimization
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
本文提出一种无需光滑性假设的用户级差分隐私随机凸优化机制，其所需最小用户数不依赖维度，核心在于利用强凸损失优化器的低局部删除敏感性并采用输出扰动方法。
2023-05-08 cs.CR cs.LG
Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Rutgers University（罗格斯大学）
本研究提出基于Langevin扩散的算法框架，既实现了不依赖凸性、可随时终止的指数机制差分隐私采样及严格一致稳定性保证，得到凸损失下的最优风险界，还可设计Rashomon集的差分隐私一致采样器，支撑可解释、鲁棒等多类机器学习研究。
2023-08-28 cs.CR cs.LG math.OC
Differentially Private Covariance Revisited
Hong Kong University of Science and Technology（香港科技大学）
本文提出了两种新的集中差分隐私（zCDP）下的协方差估计算法。第一种算法实现了$\tilde{O}(d^{1/4}\sqrt{\mathrm{tr}}/\sqrt{n} + \sqrt{d}/n)$的Frobenius误差，其中$\mathrm{tr}$是协方差矩阵的迹。通过采用$\mathrm{tr}=1$，这也意味着$\tilde{O}(d^{1/4}/\sqrt{n})$的最坏情况误差界，其改进了用于该机制$d>\widetildeΩ(n^{2/3})$的标准高斯机制的$\tilde{O}(d/n)$。我们的第二个算法提供了一个尾部敏感的界限，可以更好地倾斜数据。相应的算法也是简单有效的。实验结果表明，他们提供了显着的改进，比以前的工作。
2022-09-28 cs.CR cs.DS cs.LG
Differentially Private Matrix Completion Revisited
Microsoft Research（微软研究院）；Boston University（波士顿大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
我们提供了第一个可证明的联合差分隐私算法与正式的效用保证的问题，用户级的隐私保护的协同过滤。我们的算法是基于Frank-Wolfe方法，只要用户数$m$是$ω(n^{5/4})$，其中$n$是项目的数量，并且每个用户提供她的偏好至少$\sqrt{n}$随机选择的项目，它一致地估计潜在的偏好矩阵。一路上，我们提供了一个最佳的差分私有算法的奇异向量计算，著名的Oja的方法的基础上，提供了显着的节省空间和时间，同时操作稀疏矩阵。我们还在一组数据集上对我们的算法进行了经验评估，并表明它始终优于最先进的私有算法。
2018-06-12 cs.LG
Private GANs, Revisited
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对经典差分隐私GAN训练中判别器更新加噪导致的生成-判别平衡被打破的问题，通过增加判别器更新步数、大批量训练、自适应更新频率等调整，使DPSGD在图像合成基准上超越其他GAN隐私化方案。
2023-10-05 cs.CR cs.CV cs.LG
Noninteractive Locally Private Learning of Linear Models via Polynomial Approximations
State University of New York at Buffalo（纽约州立大学布法罗分校）；Boston University（波士顿大学）
最小化凸风险函数是许多基本学习算法的主要步骤。我们研究协议凸优化，可证明泄漏很少的个别数据点，构成的损失函数。具体来说，我们考虑在本地模型中运行的差分私有算法，其中每个数据记录存储在单独的用户设备上，并且由这些设备在本地执行随机化。我们给出了\emph{noninteractive} LDP凸优化的新协议，协议只需要每个用户向不可信聚合器提交一份随机报告。我们研究了我们的算法在预期损失方面的性能-无论是在手头的数据集（经验风险）还是在假设我们的数据集来自的更大的人群中。我们的误差范围取决于个人对预期损失的贡献形式。对于\emph{generalized linear losses}（如铰链和逻辑损失）的情况，我们给出了一个LDP算法，其样本复杂度仅在维度$p$上是线性的，在其他项（隐私参数$ε$和$δ$，以及期望的超额风险$α$）上是拟多项式的.这是第一个算法的非光滑损失的次指数依赖于$p$。对于欧氏中值问题，其中的损失是给定的欧氏距离到一个给定的数据点，我们给出了一个协议的样本复杂性增长准多项式在$p$。这是第一个协议的次指数依赖于$p$的损失，不是一个广义的线性损失。我们的铰链损失的结果是基于一种技术，称为多项式的内积近似，这可能适用于其他问题。我们的广义线性损失和欧氏中位数的结果是基于新的减少铰链损失的情况下。
2020-08-09 cs.CR cs.LG stat.ML
Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces
Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research - Brain（谷歌研究院-大脑团队）
我们重新讨论了具有不同隐私的经验风险最小化（ERM）问题。我们表明，嘈杂的AdaGrad，适当的知识和条件的子空间，从梯度可以得出，实现了遗憾相比，传统的AdaGrad加上一个控制良好的长期由于噪声。我们展示了$O(\text{Tr}(G_T)/T)$的收敛速度，其中$G_T$捕获梯度子空间的几何形状。由于$\text{Tr}(G_T)=O(\sqrt{T})$，我们可以获得更快的速度为凸函数和Lipschitz函数，相比之下，$O(1/\sqrt{T})$率实现了已知版本的噪声（随机）梯度下降与可比的噪声方差。特别是，我们表明，如果梯度位于一个已知的常数秩子空间，并假设算法访问的信封边界衰减的灵敏度，可以实现更快的收敛到一个多余的经验风险的$\tilde O(1/εn)$，其中$ε$是隐私预算和$n$的样本数。让$p$成为问题维度，这个结果意味着，通过运行噪声Adagrad，我们可以在$T=(εn)^{2/(1+2α)}$迭代中绕过DP-SGD界$\tilde O(\sqrt{p}/εn)$，其中$α\geq 0$是控制梯度范数衰减的参数，而不是$T=ε^2n^2$的SGD所达到的速率。我们的结果与一般的凸函数在约束和无约束的最小化。一路上，我们做了一个扰动分析的独立利益的嘈杂AdaGrad。我们对私人ERM问题的效用保证是嘈杂的AdaGrad的遗憾保证的必然结果。
2021-01-30 cs.LG stat.ML
Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wayne State University（韦恩州立大学）
针对无可信服务器且孤岛数据异构的私有联邦学习，提出新的 ISRL-DP 算法，在凸损失下达到最优超额风险界，并降低通信与计算开销。
2024-09-06 cs.CR cs.LG math.OC
Bounding the Excess Risk for Linear Models Trained on Marginal-Preserving, Differentially-Private, Synthetic Data
University of Maryland（马里兰大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对差分隐私合成数据训练的线性模型，提出超额经验风险的新型上下界，并辅以广泛实验验证。
2024-07-19 cs.CR cs.LG
Privacy for Free in the Overparameterized Regime
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
针对差分隐私梯度下降在过参数化机制中性能边界退化的问题，本文证明在使用二次损失的随机特征模型中，当参数量足够大时，无论隐私参数为常数阶还是强隐私设置，均可实现免费隐私，挑战了过参数化阻碍隐私学习的传统认知。
2025-05-27 cs.CR cs.LG stat.ML
Private Model Personalization Revisited
Department of Computer Science & Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学）；Department of Computer Science & Engineering and the Translational Data Analytics Institute (TDAI), The Ohio State University（计算机科学与工程系和转化数据分析研究所（TDAI），俄亥俄州立大学）；Google Research, NY（谷歌研究，纽约）
研究联邦设置下用户级差分隐私的模型个性化，提出基于FedRep的私有高效算法以恢复共享嵌入，在更广分布下提供效用保证并改进隐私误差项，且利用JL变换实现独立于维度的二分类准确率保证。
2025-06-24 cs.AI cs.CR cs.DC
Private Optimal Inventory Policy Learning for Feature-based Newsvendor with Unknown Demand
University of Miami（迈阿密大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文在 f-differential privacy 框架下提出一种基于卷积平滑的裁剪噪声梯度下降算法，解决了基于特征且需求未知的报童模型中非平滑损失下的隐私保护最优库存策略学习问题，在保证个体数据隐私的同时实现了理想的统计精度与更快的超额总体风险界。
2024-04-23 cs.LG stat.ML
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Differentially Private Generalized Linear Models Revisited
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
该研究重新审视差分隐私广义线性模型，针对两类凸损失线性预测器的隐私学习问题，推导了紧的上下界与最优速率，提出无需先验知识的私有模型选择方法实现最优性能。
2024-03-06 cs.LG stat.ML
Private Stochastic Optimization With Large Worst-Case Lipschitz Parameter
University of Southern California（南加州大学）
本文针对损失函数最坏情况Lipschitz参数极大或无穷的差分隐私随机优化问题，提出基于随机梯度k阶矩的风险界和线性时间算法，覆盖光滑凸、非光滑凸及满足Proximal-PL不等式的非凸情形，并证明了部分结果的极小极大最优性。
2024-09-28 cs.CR cs.LG math.OC
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
The Sparse Vector Technique, Revisited
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Ben-Gurion University（本-古里安大学）
我们重新回顾了差分隐私文献中最基本和广泛适用的技术之一-稀疏向量技术[Dwork等人，STOC 2009]。这个简单的算法私下测试数据库上给定查询的值是否接近我们期望的值。它允许提出无限数量的查询，只要答案接近我们的期望，并在第一个查询之后停止，而不是这种情况。我们建议一种替代的，同样简单的，算法，可以继续测试查询，只要任何一个人不有助于太多的查询，其答案偏离我们所期望的答案。我们的分析是微妙的，它的一些成分可能更广泛地适用。在某些情况下，我们的新算法允许从数据库中私下提取比原始算法更多的信息。我们证明了这一点，通过应用我们的算法转移重量级人物的问题：在每一个时间步，每个$n$用户得到一个新的输入，任务是私下确定所有当前重量级人物。也就是说，在时间步长$i$上，目标是识别所有数据元素$x$，使得许多用户具有$x$作为其当前输入。我们提出了一个算法，这个问题与改进的错误保证，可以使用现有的技术。具体来说，我们的算法的错误取决于一个单一的用户持有一个重量级选手作为输入的最大次数，而不是总次数，其中一个重量级选手存在。
2020-11-16 cs.DS cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
研究了凸和非凸环境下的差分私有随机优化问题。对于凸的情况下，我们专注于家庭的非光滑广义线性损失（GLLs）。我们的算法的$\ell_2$设置实现了最佳的超额人口风险在近线性时间，而最有名的差分私人算法一般凸损失运行在超线性时间。我们的算法的$\ell_1$设置有接近最优的超额人口风险$\tilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$，并规避了尺寸依赖的下限一般非光滑凸损失的\cite{Asi:2021}。在差分私人非凸设置，我们提供了几个新的算法来近似平稳点的人口风险。对于具有光滑损失和多面体约束的$\ell_1$ -情形，我们给出了线性时间内的第一个几乎与维数无关的速率$\tilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$。对于有约束的$\ell_2$ -光滑损失的情况下，我们得到了一个线性时间算法与速率$\tilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$。最后，对于$\ell_2$的情况下，我们提供了第一种方法{ \em非光滑弱凸}随机优化与率$\tilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\vareps…
2021-11-10 cs.LG math.OC stat.ML
Improving the Convergence of Private Shuffled Gradient Methods with Public Data
Carnegie Mellon University（卡内基梅隆大学）
本文提出Interleaved-ShuffleG方法，通过整合公共数据降低私有洗牌梯度方法的经验风险，提升收敛性。
2026-02-24 cs.LG
Differentially Private Non-convex Learning for Multi-layer Neural Networks
UCI（加州大学欧文分校）；KAUST（阿卜杜拉国王科技大学）；University at Albany（奥尔巴尼大学）
本文针对多层全连接神经网络提出差分隐私非凸优化算法，在广义线性模型、两层及多层网络中实现与维度无关的额外风险，并首次给出DP-SGD在大宽度下的理论保证。
2023-10-12 cs.CR cs.LG stat.ML
When Does Differentially Private Learning Not Suffer in High Dimensions?
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
大型预训练模型可以私下微调，以实现接近非私有模型的性能。这些结果中的一个共同主题是令人惊讶的观察结果，即高维模型可以实现有利的隐私-效用权衡。这似乎与差分私有凸学习的模型大小依赖性的已知结果相矛盾，并提出了以下研究问题：差分私有学习的性能何时不会随着模型大小的增加而降低？我们确定，投影到子空间的梯度的大小是决定性能的关键因素。为了精确地描述这一点的私人凸学习，我们引入了一个条件的目标，我们的术语\emph{restricted Lipschitz continuity}，并获得改进的界限，为过剩的经验和人口的风险，是维度独立的额外条件。我们的经验表明，在私人微调的大语言模型，微调过程中获得的梯度主要是由几个主成分控制。这种行为是类似的条件下，我们获得的凸设置的维数无关的界限。我们的理论和实证结果一起提供了一个可能的解释，最近的成功，在大规模的私人微调。可以在\url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}上找到重现我们结果的代码。
2022-10-26 cs.CR cs.LG stat.ML
On the Gradient Complexity of Private Optimization with Private Oracles
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Vector Institute（向量研究所）
研究Lipschitz凸损失的差分隐私经验/总体风险最小化在一阶预言机查询方面的运行时间，在非光滑和光滑损失等不同情况下给出下界，表明差分隐私优化器有维度相关运行时代价，还展示了信息有限预言机交互的下界及梯度量化技术局限性。
2026-07-10 cs.CR cs.LG math.OC
Differentially Private Bilevel Optimization: Efficient Algorithms with Near-Optimal Rates
CISPA Helmholtz Center for Information Security（CISPA信息安全研究中心）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究）
本文研究差分隐私双层优化，在凸与非凸情形下分别提出近最优速率的高效算法，并给出几乎紧致的上下界，且界不依赖于内层问题维度。
2025-11-06 cs.CR cs.LG math.OC
The Privacy Price of Tail-Risk Learning: Effective Tail Sample Size in Differentially Private CVaR Optimization
School of Engineering, Institute of Science Tokyo（东京工学部科学研究所）
研究揭示差分隐私对CVaR学习有效样本量的影响，提出隐私代价分解方法，推导出标量估计和有限类别的学习速率，并指出隐私学习在有效尾样本量上的核心挑战。
2026-05-15 cs.LG stat.ML
Differentially Private Worst-group Risk Minimization
The Ohio State University（俄亥俄州立大学）；Translational Data Analytics Institute (TDAI)（转化数据分析研究所）
本文研究差分隐私下的最差组风险最小化，提出稳定性泛化分析及在线凸优化框架，并给出在线与离线设定下近乎最优的超额风险界。
2024-02-29 cs.AI cs.CR cs.LG
Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping
Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学）；Department of Electrical and Computer Engineering, American University of Beirut（电气与计算机工程系，贝鲁特美国大学）
针对差分隐私学习中梯度裁剪对少数群体造成的不公平影响，提出有界自适应裁剪方法，通过引入可调下界防止过度梯度抑制，在Skewed和Fashion MNIST上最差类准确率提升超过10个百分点。
2026-06-11 cs.CR cs.LG stat.ML
Noise-Aware Shrinkage for Differentially Private Zeroth-Order Fine-Tuning of Large Language Models
本文针对差分隐私零阶微调大语言模型的噪声问题，提出SAGE噪声感知收缩方法，经理论分析和多模型实验验证，该方法在相同隐私预算下多数场景优于基线，且保留内存效率。
2026-08-05 cs.CR cs.LG
Towards Sharper Utility Bounds for Differentially Private Pairwise Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Renmin University of China（中国人民大学）
成对学习专注于具有成对损失函数的学习任务，依赖于成对的训练实例，并且自然适合于对样本之间的关系建模。本文针对成对学习的隐私问题，提出了一种新的基于梯度扰动的差分隐私算法。除了隐私保证，我们还分析了超额人口风险，并给出了相应的界限在期望和高概率条件下。我们分别用\textit{on-average stability}和\textit{pairwise locally elastic stability}理论分析了期望界和高概率界。此外，我们分析的效用界不需要凸的成对损失函数，这意味着我们的方法是一般的凸和非凸的条件。在这种情况下，效用界类似于（或优于）以前的凸性或强凸性假设下的界，这是有吸引力的结果。
2021-06-01 cs.LG
High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data
KAUST（阿卜杜拉国王科技大学）；USC（南加州大学）；MIT（麻省理工学院）
作为机器学习、统计学和差分隐私中最基本的问题之一，差分隐私随机凸优化（DP-SCO）近年来得到了广泛的研究。然而，以往的工作大多只能处理规则数据分布或不规则数据在低维空间的情况下。为了更好地理解不规则数据分布所带来的挑战，本文首次研究了高维空间中重尾数据的DP-SCO问题。在第一部分中，我们主要讨论了一些多面体约束（如$\ell_1$ -范数球）的问题。我们证明了在$ε$ -DP模型中，如果损失函数是光滑的且其梯度具有有界的二阶矩，则有可能得到$\tilde{O}(\frac{\log d}{(nε)^\frac{1}{3}})$的（高概率）误差界（超额人口风险），其中$n$是样本量，$d$是底层空间的维数.其次，对于LASSO，如果数据分布具有有界的四阶矩，我们改进了$(ε, δ)$ -DP模型中的$\tilde{O}(\frac{\log d}{(nε)^\frac{2}{5}})$的界。在论文的第二部分，我们研究了重尾数据的稀疏学习。我们首先回顾稀疏线性模型，并提出了一个截断DP-IHT方法，其输出可以实现误差$\tilde{O}(\frac{s^{*2}\log d}{nε})$，其中$s^*$是底层参数的稀疏性。然后，我们研究了稀疏性上的一个更一般的问题（{PDMATHAMV即，} $\ell_0$ -范数）约束，并且表明如果损失函数是光滑的和强凸的，则有可能实现$\ti…
2021-08-09 cs.CR cs.LG stat.ML
An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
Université Paris Cité（巴黎大学）
本文提出DDP-SA-adaptive自适应梯度裁剪与噪声注入机制，可改善差分隐私联邦学习的隐私-精度-效率权衡，在联邦回归任务上较静态基线提升训练效率与模型精度，且隐私预算更低。
2026-08-18 cs.CR cs.LG
Online Sensitivity Optimization in Differentially Private Learning
Scuola Normale Superiore（高等师范学校）；INRIA（法国国家信息与自动化研究所）；Scuola Superiore Sant’Anna（圣安娜高等科学院）
提出一种动态优化差分隐私学习中梯度裁剪阈值的方法，将阈值作为可学习参数通过梯度下降优化，在最小化隐私分析影响的同时，避免了超参数调优的隐私开销，并在多种实验场景中表现优异。
2024-01-08 cs.LG
Communication-Efficient and Differentially Private Vertical Federated Learning with Zeroth-Order Optimization
Elmore Family School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）；Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学）
本文提出DPZV框架，通过零阶优化实现通信高效且具有差分隐私的垂直联邦学习，有效降低通信开销并提升隐私保护。
2025-12-26 cs.AI cs.CR cs.DC
