Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
研究了凸和非凸环境下的差分私有随机优化问题。对于凸的情况下，我们专注于家庭的非光滑广义线性损失（GLLs）。我们的算法的$\ell_2$设置实现了最佳的超额人口风险在近线性时间，而最有名的差分私人算法一般凸损失运行在超线性时间。我们的算法的$\ell_1$设置有接近最优的超额人口风险$\tilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$，并规避了尺寸依赖的下限一般非光滑凸损失的\cite{Asi:2021}。在差分私人非凸设置，我们提供了几个新的算法来近似平稳点的人口风险。对于具有光滑损失和多面体约束的$\ell_1$ -情形，我们给出了线性时间内的第一个几乎与维数无关的速率$\tilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$。对于有约束的$\ell_2$ -光滑损失的情况下，我们得到了一个线性时间算法与速率$\tilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$。最后，对于$\ell_2$的情况下，我们提供了第一种方法{ \em非光滑弱凸}随机优化与率$\tilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\vareps…
2021-11-10 cs.LG math.OC stat.ML
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
研究了随机凸优化问题的差分隐私算法。在这个问题中，目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上，并推导出超额经验损失的渐近紧界。然而，一个显着的差距存在于已知的人口损失的界限。我们发现，对数因子，DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失，和DP算法的最佳过剩经验损失。这意味着，相反的直觉基于私营企业风险管理，私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法，并依赖于算法的稳定性分析，以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降，达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时，隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning
The University of Melbourne（墨尔本大学）
我们使用梯度稀疏化来减少差分隐私噪声对私有机器学习模型性能的不利影响。为此，我们采用压缩感知和加性拉普拉斯噪声来评估差分私有梯度。噪声隐私保护梯度用于执行随机梯度下降以训练机器学习模型。通过将最小梯度项设置为零来实现的稀疏化可以降低训练算法的收敛速度。然而，通过稀疏化和压缩感知，可以降低所传递的梯度的维数和加性噪声的幅度。这些效应之间的相互作用决定了梯度稀疏化是否提高了差分私有机器学习模型的性能。我们在论文中对此进行了分析研究。我们证明，对于小的隐私预算，压缩可以提高隐私保护机器学习模型的性能。然而，对于大的隐私预算，压缩不一定提高性能。直观地说，这是因为隐私保护噪声的影响在大隐私预算制度中是最小的，因此梯度稀疏化的改进不能补偿其较慢的收敛。
2020-12-01 cs.CR cs.LG math.OC
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Differentially Private Convex Optimization with Feasibility Guarantees
Technical University of Denmark（丹麦技术大学）；Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种新的差分私有框架来解决具有敏感优化数据和复杂物理或操作约束的凸优化问题。与标准的噪声添加剂算法，主要作用于问题的数据，目标或解决方案，并忽略问题的约束，这个框架需要的优化变量是一个函数的噪声，并利用机会约束的问题重新制定正式的可行性保证。噪声被校准，以提供差分隐私的身份和线性查询的优化解决方案。对于许多应用，包括资源分配问题，所提出的框架提供了一个折衷之间的预期最优性损失和优化结果的方差。
2020-06-22 cs.CR cs.LG math.OC
Differentially Private Stochastic Convex Optimization in (Non)-Euclidean Space Revisited
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The Chinese University of Hong Kong（香港中文大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文重新研究了欧几里得和一般 $\ell_p^d$ 空间中的差分隐私随机凸优化问题，针对受约束、无约束及重尾数据三种设定提出了新算法，其超额风险仅依赖约束集高斯宽度，并给出了多项式首个理论结果。
2023-03-31 cs.CR cs.LG math.OC
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond（微软研究院（雷德蒙德））；University of Washington（华盛顿大学）；Shanghai Qi Zhi Institute（上海期智研究院）
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下，得到了超额经验风险和超额人口损失的（近）最优界。更确切地说，我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险，这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用，使用Feldman等人的迭代局部化方法\cite{fkt20}，我们实现了随机凸优化问题的最优超额人口损失，与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展，解决了Basily等人提出的一个问题。\cite{bfgt20}，给第一个算法的私人ERM和SCO的次二次步骤。我们注意到，独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
Oracle Efficient Private Non-Convex Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
目标扰动是差分私有学习和优化的最有效算法之一。这种方法是在给定的优化问题（如ERM问题）上增加一个随机线性项，然后精确求解。然而，到目前为止，这种方法的分析主要依赖于目标函数的凸性和光滑性，限制了它的通用性。我们给出了两个算法，大大扩展了这种方法。第一种算法只要求损失函数有界，并在离散域上运行。它的隐私性和准确性保证甚至在不假设凸性的情况下也成立。这给出了在任意离散域上的Oracle高效优化算法，其一般性与指数机制相当。第二种算法在连续域上操作，仅要求损失函数有界且Lipschitz为其连续参数。它的隐私分析不需要凸性。它的精度分析确实需要凸性，但不需要二阶条件，如光滑性。即使没有凸性，该算法也可以作为一种通用的Oracle高效优化算法，并根据经验评估其精度。我们补充我们的理论结果与非凸的情况下，我们使用整数规划求解器作为我们的优化预言机的经验评估。我们发现，对于学习线性分类器的问题，使用我们的方法直接优化0/1损失可以优于在Adult数据集上私下优化凸代理损失函数的更标准方法。
2020-12-29 cs.CR cs.LG stat.ML
On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits
The Hong Kong University of Science and Technology（香港科技大学）
差分私有随机凸优化在可信机器学习算法设计中是普遍存在的。本文研究了从一个分布中采样并顺序到达的流数据的DP-SCO问题。我们还考虑了持续发布模型，其中与私人信息相关的参数在每个新数据时更新和发布，通常称为在线算法。尽管已经开发了许多算法来实现不同$\ell_p$范数几何中的最优超额风险，但是现有的算法都不能适应流式和连续发布设置。为了解决具有隐私保护的在线凸优化问题，我们提出了一种基于递归梯度的在线Frank-Wolfe算法的私有变体，用于方差缩减以更新和揭示每个数据的参数。结合自适应差分隐私分析，我们的在线算法在线性时间内实现了$1<p\leq 2$时的最优超额风险和$2<p\leq\infty$时的最新超额风险满足非私有的较低风险。我们的算法也可以扩展到$p=1$的情况下，实现几乎与维度无关的超额风险。虽然以前的递归梯度方差减少的结果只有在独立和同分布的样本设置的理论保证，我们建立了这样的保证在非平稳设置。为了证明我们的方法的优点，我们设计了第一个DP算法的高维广义线性强盗对数遗憾。与各种DP-SCO和DP-Bandit算法的比较实验表明，所提出的算法的有效性和实用性。
2022-06-16 cs.CR cs.LG math.OC
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds
University of Minnesota（明尼苏达大学）
研究了随机非凸优化的差分隐私算法。在这个问题中，目标是最小化给定$n$ i.i.d.的$p$维空间上的种群损失。从分布中抽取的样本。我们改进了${\sqrt{p}}/{\sqrt{n}}$的种群梯度界，得到了更尖锐的$\sqrt[4]{p}/\sqrt{n}$的速率.我们获得这个速率提供第一个私人梯度为基础的方法，包括自适应算法DP RMSProp和DP亚当的集合上的分析。我们的证明技术利用了差分隐私和自适应数据分析之间的联系，以限制梯度估计误差在每一个采样点，这规避了标准一致收敛参数的更差的推广范围。最后，我们在两个流行的深度学习任务上评估了所提出的算法，并证明了DP自适应梯度方法相对于标准DP SGD的经验优势。
2020-08-10 cs.CR cs.LG stat.ML
Output Perturbation for Differentially Private Convex Optimization: Faster and More General
University of Southern California（南加州大学）
本文提出基于输出扰动的差分隐私凸优化算法，在光滑强凸损失下实现最优超额风险与线性时间，并推广至倾斜损失和对抗训练，首次给出紧的(ε,0)-DP界。
2024-09-20 cs.CR cs.LG stat.ML
User-level Differentially Private Stochastic Convex Optimization: Efficient Algorithms with Optimal Rates
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）
针对用户级隐私下DP-SCO现有算法存在的超多项式耗时或用户数需随维度多项式增长的问题，提出结合新型私有均值估计的多轮DP-SGD算法，实现多项式时间下的最优收敛速率且用户数仅需随维度对数增长。
2023-11-07 cs.CR cs.DS cs.LG
Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation
Oklahoma State University（俄克拉荷马州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
交替方向乘子法（ADMM）是一种流行的分布式学习算法，其中节点网络通过与分布式数据和数据交换相关联的迭代局部计算来协作求解正则化的经验风险最小化。当训练数据是敏感数据时，交换的迭代将引起严重的隐私问题。在本文中，我们的目标是提出一个新的差分私有分布式ADMM算法，提高了精度的范围广泛的凸学习问题。在我们提出的算法中，我们采用的目标函数的近似在本地计算中引入校准噪声的更新鲁棒性，并允许多个原始变量更新每个节点在每次迭代。我们的理论结果表明，我们的方法可以获得更高的效用，通过这样的多次近似更新，并实现了最先进的差分私人经验风险最小化的误差界渐近。
2020-05-16 cs.CR cs.DC cs.LG
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们考虑的问题，最小化的非凸目标，同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上，我们引入了一个新的框架，利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度，第二种预言机，精度较低，成本较低，可以估计两点之间的梯度差。SpiderBoost定期使用第一种，每隔几步使用一次，而我们的框架建议在总漂移变大时使用第一个预言，否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确，从而提高了找到二阶稳定点的速度。此外，我们解决了一个更具挑战性的任务，找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明，正则化的指数机制可以密切匹配以前的经验和人口的风险界限，而不需要平滑假设的算法与多项式运行时间。此外，通过忽略运行时间的考虑，我们表明，指数机制可以实现一个很好的人口风险界，并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
Shuffle Private Stochastic Convex Optimization
Georgetown University（乔治城大学）；Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
在混洗隐私中，每个用户将随机化消息的集合发送到可信混洗器，混洗器随机地排列这些消息，并且所得到的混洗消息集合必须满足差分隐私。在此模型之前的工作主要集中在使用单轮通信来计算算法原语（如均值、直方图和计数）的协议上。我们提出了随机凸优化的交互式洗牌协议。我们的协议依赖于一个新的非交互式协议，用于求和有界$\ell_2$范数的向量。通过结合小批量随机梯度下降，加速梯度下降，和Nesterov的平滑方法，我们得到了各种凸损失函数，显着提高当地的模型，有时匹配的中央模型的损失保证。
2022-03-14 cs.CR cs.DS cs.LG
Learner-Private Convex Optimization
Duke University（杜克大学）；Stanford University（斯坦福大学）
带反馈的凸优化是一个框架，其中学习器依赖于迭代查询和反馈来达到凸函数的最小值。由于其在大规模优化和机器学习方面的可扩展性，它已经获得了相当大的普及。然而，重复的交互使学习者暴露于来自观察提交的查询的窃听对手的隐私风险。在本文中，我们研究了如何最佳地混淆凸优化与一阶反馈的学习者的查询，使他们学到的最佳值是可证明难以估计的窃听对手。我们考虑两个配方的学习者隐私：贝叶斯公式中的凸函数是随机绘制的，和一个极大极小公式中的函数是固定的和对手的错误概率测量相对于一个极大极小准则。假设学习者希望确保对手不能以大于$1/L$的概率准确估计某些$L>0$。我们的主要结果表明，查询的复杂性开销是添加剂在$L$的极小极大公式，但乘法在$L$的贝叶斯公式。与已有的二进制反馈的学习者私有序列学习模型相比，我们的结果适用于具有全梯度反馈的更丰富的一般凸函数族。我们的证明学习的工具，从理论的狄利克雷过程，以及一种新的策略，设计用于测量信息泄漏下的全梯度预言。
2021-10-23 cs.CR cs.LG math.OC
Gradient Perturbation is Underrated for Differentially Private Convex Optimization
The School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
梯度扰动，广泛用于差分隐私优化，注入噪声在每次迭代更新，以保证差分隐私。以前的工作首先确定的噪声水平，可以满足隐私的要求，然后在非私人的情况下，分析噪声梯度更新的效用。相反，我们探讨隐私噪声如何影响优化性能。我们发现，差分私人凸优化，差分私人（随机）梯度下降的效用保证是由一个\emph{expected curvature}，而不是最小曲率。表示优化路径上的平均曲率的\emph{expected curvature}通常比最小曲率大得多。通过使用的\emph{expected curvature}，我们表明，梯度扰动可以实现显着提高效用保证，可以在理论上证明梯度扰动优于其他扰动方法的优势。最后，我们广泛的实验表明，梯度扰动与先进的合成方法确实优于其他扰动方法的大幅度，匹配我们的理论研究结果。
2020-10-26 cs.LG stat.ML
On Differentially Private Stochastic Convex Optimization with Heavy-tailed Data
State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；MIT（麻省理工学院）
在本文中，我们考虑重尾数据上的随机凸优化（SCO）的差分私有（DP）算法的设计问题。这些数据的不规则性违反了几乎所有现有DP-SCO和DP-ERM方法中使用的一些关键假设，导致无法提供DP保证。为了更好地理解这种类型的挑战，我们在本文中提供了一个全面的研究DP-SCO在各种设置。首先，我们考虑的情况下，损失函数是强凸和光滑。对于这种情况，我们提出了一种基于样本和聚合框架的方法，该方法具有$\tilde{O}(\frac{d^3}{nε^4})$的超额群体风险（在忽略其他因素后），其中$n$是样本量，$d$是数据的维度。然后，我们表明，与一些额外的假设的损失函数，它是可能的，以减少\textit{expected}过剩人口的风险$\tilde{O}(\frac{ d^2}{ nε^2 })$。为了解除这些额外的条件，我们还提供了一个梯度平滑和修剪为基础的计划，以实现额外的人口风险的$\tilde{O}(\frac{ d^2}{nε^2})$和$\tilde{O}(\frac{d^\frac{2}{3}}{(nε^2)^\frac{1}{3}})$强凸和一般凸损失函数，分别为\textit{with high probability}。实验表明，我们的算法可以有效地处理数据不规则性带来的挑战。
2020-10-21 cs.CR cs.LG stat.ML
Momentum Aggregation for Private Non-convex ERM
Boston University（波士顿大学）
我们引入新的算法和收敛保证隐私保护的非凸经验风险最小化（ERM）光滑$d$维目标。我们开发了一个改进的灵敏度分析的随机梯度下降光滑的目标，利用在不同时期的例子的复发。通过将这种新方法与最近的动量分析与私有聚合技术相结合，我们提供了一个$(ε,δ)$ -差分私有算法，该算法在$O\left(\frac{N^{7/3}ε^{4/3}}{d^{2/3}}\right)$梯度评估中找到了范数$\tilde O\left(\frac{d^{1/3}}{(εN)^{2/3}}\right)$的梯度，改进了$\tilde O\left(\frac{d^{1/4}}{\sqrt{εN}}\right)$以前的最佳梯度界。
2022-10-12 cs.LG
When Does Differentially Private Learning Not Suffer in High Dimensions?
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
大型预训练模型可以私下微调，以实现接近非私有模型的性能。这些结果中的一个共同主题是令人惊讶的观察结果，即高维模型可以实现有利的隐私-效用权衡。这似乎与差分私有凸学习的模型大小依赖性的已知结果相矛盾，并提出了以下研究问题：差分私有学习的性能何时不会随着模型大小的增加而降低？我们确定，投影到子空间的梯度的大小是决定性能的关键因素。为了精确地描述这一点的私人凸学习，我们引入了一个条件的目标，我们的术语\emph{restricted Lipschitz continuity}，并获得改进的界限，为过剩的经验和人口的风险，是维度独立的额外条件。我们的经验表明，在私人微调的大语言模型，微调过程中获得的梯度主要是由几个主成分控制。这种行为是类似的条件下，我们获得的凸设置的维数无关的界限。我们的理论和实证结果一起提供了一个可能的解释，最近的成功，在大规模的私人微调。可以在\url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}上找到重现我们结果的代码。
2022-10-26 cs.CR cs.LG stat.ML
Faster Rates of Private Stochastic Convex Optimization
University of Electronic Science and Technology of China（电子科技大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这篇文章中，我们重新讨论了微分私有随机凸优化（DP-SCO）问题，并提供了一些特殊的函数类的超额人口风险，比以前的结果一般凸和强凸函数。在本文的第一部分中，我们研究了人口风险函数满足Tysbakov噪声条件（TNC）的情况，其中参数为$θ>1$。具体地说，我们首先表明，在一些温和的假设下的损失函数，有一个算法，其输出可以达到$\tilde{O}((\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$的上限为$(ε, δ)$ -DP时，$θ\geq 2$，这里$n$是样本大小和$d$是空间的维数。然后，我们解决了效率低下的问题，通过$\text{Poly}(\log n)$因子提高了上界，并扩展到$θ\geq \barθ>1$的情况下，一些已知的$\barθ$。其次，我们证明了满足TNC且参数为$θ\geq 2$的人口函数的超额人口风险的下界分别为$ε$-DP和$(ε, δ)$ -DP的$Ω((\frac{d}{nε})^\fracθ{θ-1}) $和$Ω((\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$.在第二部分中，我们重点研究了一种特殊的情况下，人口风险函数是强凸的。与以前的研究不同，这里我们假设损失函数是{ \em非负}和{ \em，人口风险的…
2022-01-16 cs.CR cs.LG math.OC
Differentially Private $\ell_1$-norm Linear Regression with Heavy-tailed Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
研究了重尾数据下的微分私有随机凸优化问题。具体而言，我们专注于$ε$ -DP模型中的$\ell_1$ -范数线性回归。虽然以前的大部分工作都集中在损失函数为Lipschitz的情况下，但在这里我们只需要假设变量具有有界矩。首先，我们研究了数据的$\ell_2$范数具有有界二阶矩的情形。我们提出了一种算法，它是基于指数机制，并表明，它是可能实现的上限$\tilde{O}(\sqrt{\frac{d}{nε}})$（具有高概率）。其次，我们放宽了假设，有界$θ$阶矩与一些$θ\in (1, 2)$，并表明它是可能实现的上限$\tilde{O}(({\frac{d}{nε}})^\frac{θ-1}θ)$。我们的算法也可以扩展到更宽松的情况下，只有每个坐标的数据有界的时刻，我们可以得到一个上界的$\tilde{O}({\frac{d}{\sqrt{nε}}})$和$\tilde{O}({\frac{d}{({nε})^\frac{θ-1}θ}})$在第二和$θ$ -th时刻的情况下，分别。
2022-01-10 cs.CR cs.LG stat.ML
Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Rutgers University（罗格斯大学）
本研究提出基于Langevin扩散的算法框架，既实现了不依赖凸性、可随时终止的指数机制差分隐私采样及严格一致稳定性保证，得到凸损失下的最优风险界，还可设计Rashomon集的差分隐私一致采样器，支撑可解释、鲁棒等多类机器学习研究。
2023-08-28 cs.CR cs.LG math.OC
On User-Level Private Convex Optimization
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
本文提出一种无需光滑性假设的用户级差分隐私随机凸优化机制，其所需最小用户数不依赖维度，核心在于利用强凸损失优化器的低局部删除敏感性并采用输出扰动方法。
2023-05-08 cs.CR cs.LG
Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
针对差分隐私下重尾数据随机凸优化效率低的问题，提出一次性平均裁剪算法 AClipped-dpSGD，改进复杂度并扩展到强凸与非光滑情形。
2024-09-10 cs.LG math.OC
Adapting to Function Difficulty and Growth Conditions in Private Optimization
我们开发了私人随机凸优化算法，以适应我们希望优化的特定函数的硬度。虽然以前的工作为任意凸函数提供了最坏情况的界限，但通常情况下，手头的函数属于一个较小的类，享受更快的速度。具体地说，我们表明，对于表现出$κ$ -增长的最佳，即周围的功能，$f(x) \ge f(x^*) + λκ^{-1} \|x-x^*\|_2^κ$为$κ> 1$，我们的算法改进后的标准${\sqrt{d}}/{n\varepsilon}$隐私率更快的$({\sqrt{d}}/{n\varepsilon})^{\tfracκ{κ- 1}}$。重要的是，他们在不知道函数的增长常数$κ$的情况下实现了这些速率。我们的算法建立在适应实例难度的逆灵敏度机制（Asi & Duchi，2020）和私有优化中的最新定位技术（Feldman等人，2020年）。我们补充我们的算法与这些功能类的匹配下界，并证明我们的自适应算法是\emph{simultaneously}（极大极小）最佳的所有$κ\ge 1+c$每当$c = Θ(1)$。
2021-08-05 cs.CR cs.LG math.OC
Non-Euclidean Differentially Private Stochastic Convex Optimization: Optimal Rates in Linear Time
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
差分私有随机凸优化是一个基本问题，其目标是在给定$n$ i.i.d.的数据集上，使种群风险相对于凸损失函数近似最小化.样本的分布，同时满足相对于数据集的差分隐私。在私有凸优化的文献中的大多数现有工作集中在欧几里德（即，$\ell_2$）设置，其中假设损失是Lipschitz（并且可能是平滑的）。具有有界$\ell_2$直径约束集上的$\ell_2$范数。基于噪声随机梯度下降（SGD）的算法是已知的，以达到最佳的超额风险在这种情况下。在这项工作中，我们进行了一个系统的研究DP-SCO的$\ell_p$ -设置下的标准平滑假设的损失。对于$1< p\leq 2$，在标准光滑性假设下，我们给出了一个新的，线性时间DP-SCO算法的最优超额风险。先前已知的具有$1< p <2$的最优超额风险的构造在$n$中以超线性时间运行。对于$p=1$，我们给出了一个具有近似最优超额风险的算法.我们的结果$\ell_1$ -设置也扩展到一般的多面体规范和可行集。此外，我们表明，从我们的算法$1\leq p \leq 2$的超额风险界限达到高概率。对于$2 < p \leq \infty$，我们表明，现有的线性时间结构的欧几里德设置达到一个接近最佳的超额风险在低维制度。因此，我们表明，这种结构达到了接近最优的超额风险$p=\infty$。我们的工作借鉴了赋范空间的几何概念，如正则性，一致凸性和一致光滑性的…
2022-05-04 cs.LG math.OC stat.ML
Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems
Technion（以色列理工学院）
本文针对集中式联邦学习中的隐私保护问题，提出基于随机凸优化框架的差分隐私方法，在可信与不可信服务器场景下实现最优收敛率与线性计算复杂度，平衡隐私、效率与鲁棒性。
2024-07-17 cs.LG
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Improved Differentially Private and Lazy Online Convex Optimization
Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对差分隐私在线凸优化，通过强对数凹密度采样改进维度因子并去除光滑性要求，获得该情形下已知最佳速率。
2023-12-20 cs.CR cs.DS cs.LG
Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对重尾梯度下的差分隐私随机凸优化问题，提出基于归约的新方法，首次获得匹配已知下界的最优误差速率，并给出多种改进算法。
2024-06-04 cs.CR cs.DS cs.LG
Efficient Private ERM for Smooth Objectives
Peking University（北京大学）
在本文中，我们考虑有效的差分私人经验风险最小化的观点，最优化算法。对于强凸和光滑的目标，我们证明了梯度下降与输出扰动不仅实现了接近最优的效用，但也显着提高了以前的国家的最先进的私人优化算法的运行时间，为$ε$ -DP和$(ε, δ)$ -DP。对于非凸但光滑的目标，我们提出了一个RRPSGD（随机轮私人随机梯度下降）算法，该算法可证明收敛到一个平稳点的隐私保证。除了期望的效用界限，我们还提供了高概率形式的保证。实验表明，我们的算法始终优于现有的方法在实用程序和运行时间。
2017-05-24 cs.DS cs.LG stat.ML
Differentially Private Algorithms for Linear Queries via Stochastic Convex Optimization
该研究将差分隐私下的线性查询回答建模为鞍点问题，提出两种差分隐私数据发布新算法，并采用更自然的真实数据生成分布基准评估算法准确性。
2024-11-01 stat.ME
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Differentially Private ADMM for Distributed Medical Machine Learning
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Science and Technology of China（中国科学技术大学）
由于大量数据分布在多个位置，分布式机器学习吸引了大量的研究兴趣。交替方向乘法（Alternating Direction Method of Multipliers，ADMM）是一种设计分布式机器学习算法的有效方法，每个Agent在本地数据集上进行计算，并通过迭代过程与相邻Agent交换计算结果。如果本地数据是敏感的，则在此迭代过程中存在显著的隐私泄漏。在本文中，我们提出了一个差分隐私ADMM算法（P-ADMM）提供动态零集中差分隐私（动态zCDP），通过插入高斯噪声线性衰减的方差。我们证明了P-ADMM与非私有对应方相比具有相同的收敛速度，即，$\mathcal{O}(1/K)$，其中$K$是一般凸和强凸问题的迭代次数和线性收敛，同时提供差分私有保证。此外，通过我们在真实世界数据集上进行的实验，我们的经验表明，P-ADMM具有最好的性能在现有的差分私有ADMM为基础的算法。
2020-12-09 cs.CR cs.LG stat.ML
Private Convex Optimization via Exponential Mechanism
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
本文研究了非光滑凸函数$F(x)=\mathbb{E}_i f_i(x)$在$\mathbb{R}^d$上的私人优化问题。我们表明，通过在$F(x)$中添加$\ell_2^2$正则化器并从$π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$中采样来修改指数机制，可以恢复$(ε,δ)$ -DP下的已知最优经验风险和人口损失。此外，我们展示了如何实现这种机制，使用$\widetilde{O}(n \min(d, n))$查询$f_i(x)$的DP-SCO，其中$n$是样本/用户的数量和$d$是环境尺寸。我们还给出了一个（几乎）匹配的下界$\widetildeΩ(n \min(d, n))$的评估查询的数量。我们的结果利用以下工具是独立的兴趣：（1）我们证明了高斯差分隐私（GDP）的指数机制，如果损失函数是强凸的，扰动是Lipschitz。我们的隐私界是\emph{optimal}，因为它包括作为特殊情况的高斯机制的隐私，并证明了使用强对数凹测度的等周不等式。(2)我们展示了如何从$\exp(-F(x)-μ\|x\|^2_2/2)$中采样$G$ -Lipschitz $F$，$η$误差在总变差（TV）距离中使用$\widetilde{O}((G^2/μ) \log^2(d/η))$无偏查询$F(x)$。这是第一个其查询复杂度在维度$d$和准确度$η$上都具有…
2022-07-28 cs.CR cs.DS cs.LG
Differentially Private Domain Adaptation with Theoretical Guarantees
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
针对私有目标域的有监督域适应问题，提出两种差分隐私适应算法，分别处理线性回归凸优化和一般非凸光滑损失，理论分析并实验验证其性能接近非私有版本。
2024-02-04 cs.CR cs.LG stat.ML
Differentially Private Non-convex Learning for Multi-layer Neural Networks
UCI（加州大学欧文分校）；KAUST（阿卜杜拉国王科技大学）；University at Albany（奥尔巴尼大学）
本文针对多层全连接神经网络提出差分隐私非凸优化算法，在广义线性模型、两层及多层网络中实现与维度无关的额外风险，并首次给出DP-SGD在大宽度下的理论保证。
2023-10-12 cs.CR cs.LG stat.ML
Faster Algorithms for User-Level Private Stochastic Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）；Apple Machine Learning Research（苹果公司机器学习研究部门）
本文研究用户级差分隐私下的随机凸优化，提出三类更快算法，分别在线性时间、任意光滑损失和非光滑损失下取得最先进或最优超额风险，并避免用户数随维度多项式增长。
2024-10-24 cs.CR cs.LG math.OC
Differentially Private High Dimensional Sparse Covariance Matrix Estimation
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文研究了在差分隐私下协方差矩阵的估计问题，其中协方差矩阵是稀疏的和高维的。我们提出了一种新的方法，称为DP-保持，实现一个非平凡的$\ell_2$ -范数为基础的误差界，这是显着优于现有的直接添加噪声的经验协方差矩阵。我们还扩展了$\ell_2$ -范数为基础的误差界的一般$\ell_w$ -范数为基础的任何$1\leq w\leq \infty$，并表明他们共享相同的上界渐近。我们的方法可以很容易地扩展到本地差分隐私。在合成数据集上的实验结果与我们的理论主张一致。
2019-04-15 cs.LG stat.ML
Private Isotonic Regression
Google Research（谷歌研究院）
在本文中，我们考虑保序回归的差分私有（DP）算法的问题。对于偏序集$\mathcal{X}$和任何Lipschitz损失函数的保序回归的最一般问题，我们得到一个纯DP算法，给定$n$输入点，具有大约$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$的预期超额经验风险，其中$\mathrm{width}(\mathcal{X})$是偏序集的宽度。相比之下，我们还获得了一个近似匹配的下限大致$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$，即使是近似DP算法。此外，我们表明，上述界基本上是最好的，可以得到不利用任何进一步的结构的偏序集。在一个特殊的情况下，一个全序集和$\ell_1$和$\ell_2^2$损失，我们的算法可以实现在近线性运行时间，我们还提供了扩展该算法的问题，私人保序回归的输出函数上的附加结构约束。
2022-10-27 cs.CR cs.LG stat.ML
Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
通过确保学习算法中的差分隐私，可以严格地减轻大型模型记忆敏感训练数据的风险。在本文中，我们研究了两个算法，即，DP-SGD和DP-NSGD，它们首先剪切或归一化\textit{per-sample}梯度以限制灵敏度，然后添加噪声以混淆确切的信息。我们分析了这两个算法在非凸优化设置的两个共同的假设，并实现了率$\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}}\right)$的梯度范数的$d$维模型，$N$样本和$(ε,δ)$ -DP，这改善了以前的界限下弱得多的假设。具体来说，我们在DP-NSGD中引入了正则化因子，并表明它在收敛性证明中至关重要，并巧妙地控制了偏差和噪声的权衡。我们的证明特意处理了为私有设置指定的每个样本的梯度裁剪和标准化。从经验上讲，我们证明，这两种算法实现了类似的最佳精度，而DP-NSGD是比较容易调整比DP-SGD，因此可能有助于进一步节省隐私预算时，会计调整工作。
2022-06-27 cs.IT cs.LG math.IT
Privacy Amplification by Iteration for ADMM with (Strongly) Convex Objective Functions
the University of Hong Kong（香港大学）
该研究针对（强）凸目标的梯度型私有ADMM变体，通过定制范数、将连续两次迭代视为马尔可夫算子解决技术难题，证明其隐私保障可随迭代次数放大，强凸场景下呈指数增长。
2023-12-14 cs.CR cs.LG math.OC
An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
UST
本文改进了差分隐私随机梯度下降的隐私和效用分析，针对有界域和光滑损失函数，揭示了隐私损失收敛机制及隐私效用权衡的理论界。
2026-01-15 cs.CR cs.LG stat.ML
Second-Order Convergence in Private Stochastic Non-Convex Optimization
TU Berlin（柏林技术大学）；George Washington University（乔治·华盛顿大学）；Shandong University（山东大学）；KAUST（卡塔尔科技大学）
本文提出了一种基于扰动随机梯度下降的算法，在差分隐私下实现非凸优化问题的二阶收敛性，并解决了现有方法在收敛误差率和隐私模型选择上的不足。
2026-01-17 cs.AI cs.LG
Differentially Private Online Submodular Optimization
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们开发了第一个算法在线子模最小化，保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达，并且在每个时间步，算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数，并试图选择一个序列的集合，实现低预期的遗憾。我们的第一个结果是在全信息设置中，算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法，在这种情况下，是$ε$ -差分隐私，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数，并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中，算法只能看到其选择的集合所产生的成本，并且不能访问整个函数。该设置明显更具挑战性，因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反，我们使用单点估计构建无偏估计，然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
Stochastic and Private Nonconvex Outlier-Robust PCA
我们开发了理论上保证随机方法的离群鲁棒PCA。离群鲁棒PCA从被离群值破坏的数据集中寻找底层的低维线性子空间。我们能够表明，我们的方法，其中涉及随机测地线梯度下降的格拉斯曼流形，收敛和恢复一个潜在的子空间，在各种制度，通过发展一个新的收敛分析。该方法的主要应用是一种有效的差分私有算法，用于在随机梯度方法中使用高斯噪声机制的异常鲁棒PCA。我们的结果强调了非凸方法相对于另一种凸方法在差异隐私环境中解决该问题的优势。对合成数据和程式化数据的实验验证了这些结果。
2022-03-17 cs.CR cs.LG math.OC
Efficient Private Algorithms for Learning Large-Margin Halfspaces
Northeastern University（东北大学）
我们提出了新的差分私人学习算法的大利润率半空间。与以前的算法，这是基于差异私人模拟的统计查询模型或私人凸优化，我们的算法的样本复杂度只取决于利润率的数据，而不是在尺寸上。我们补充我们的结果与下界，表明我们的上界的利润率的依赖是最佳的。
2020-02-24 cs.DS cs.LG stat.ML
The Privacy Price of Tail-Risk Learning: Effective Tail Sample Size in Differentially Private CVaR Optimization
School of Engineering, Institute of Science Tokyo（东京工学部科学研究所）
研究揭示差分隐私对CVaR学习有效样本量的影响，提出隐私代价分解方法，推导出标量估计和有限类别的学习速率，并指出隐私学习在有效尾样本量上的核心挑战。
2026-05-15 cs.LG stat.ML
Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods
Department of Applied Mathematics, University of Waterloo（应用数学系，滑铁卢大学）
本文证明了差分隐私随机梯度方法在非凸和强凸情况下几乎必然收敛，并扩展到动量变种，提供了更强的理论保障。
2025-11-20 cs.LG math.OC
Optimal locally private estimation under $\ell_p$ loss for $1\le p\le 2$
Princeton University（普林斯顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$衡量私有化方案的隐私级别。在我们以前的工作（IEEE Trans.通知。理论，2018），我们提出了一个新的私有化计划和相应的估计族。我们还证明了我们的方案和估计量在$e^ε \ll k$机制下在$\ell_2^2$（均方）和$\ell_1$损失下都是阶最优的。在本文中，我们锐化这一结果，显示渐近最优性下的$\ell_p^p$损失的所有$1\le p\le 2.$的建议计划更确切地说，我们表明，对于任何$p\in[1,2]$和任何$k$和$ε,$之间的比率最坏情况下的$\ell_p^p$估计损失我们的计划和最佳值接近$1$的样本数趋于无穷大。作为证明的一部分，我们建立的关于私人估计的极大极小风险的下界对任何损失函数$\ell_p^p, p\ge 1.$都是有效的
2018-10-16 cs.IT cs.LG math.IT
Stochastic Adaptive Line Search for Differentially Private Optimization
University of Georgia（佐治亚大学）
私有的基于梯度的优化算法的性能高度依赖于步长（或学习率）的选择，这通常需要非平凡量的调整。在本文中，我们介绍了一个经典的回溯线搜索算法，满足Rényi差分隐私的随机变体。具体而言，该算法自适应地选择步长satsisfying的Armijo条件（具有高概率）使用噪声梯度和函数估计。此外，为了提高所选择的步长满足条件的概率，该算法在运行时根据噪声梯度的可靠性来调整每次迭代的隐私预算。回溯搜索算法的幼稚实现可能最终使用不可接受的大隐私预算，因为自适应步长选择的能力是以额外的函数评估为代价的。该算法利用稀疏向量技术结合最近的隐私放大引理避免了这个问题。我们还引入了一个隐私预算自适应策略，该算法自适应地增加预算时，它检测到，连续梯度指向的方向是截然不同的。在凸和非凸问题上的大量实验表明，自适应选择的步长使该算法能够有效地利用隐私预算，并与现有的私有优化器相比表现出竞争力。
2020-08-27 cs.LG stat.ML
