Faster Differentially Private Convex Optimization via Second-Order Methods
Google（谷歌）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research–Brain Team（谷歌研究院大脑团队）
本研究提出利用损失函数二阶信息加速差分隐私凸优化的方法，开发了正则化三次牛顿法的隐私变体，在强凸损失函数上实现二次收敛与最优超出损失，且比DP-GD/DP-SGD快10-40倍。
2023-05-22 cs.CR cs.LG math.OC
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond（微软研究院（雷德蒙德））；University of Washington（华盛顿大学）；Shanghai Qi Zhi Institute（上海期智研究院）
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下，得到了超额经验风险和超额人口损失的（近）最优界。更确切地说，我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险，这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用，使用Feldman等人的迭代局部化方法\cite{fkt20}，我们实现了随机凸优化问题的最优超额人口损失，与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展，解决了Basily等人提出的一个问题。\cite{bfgt20}，给第一个算法的私人ERM和SCO的次二次步骤。我们注意到，独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
Private Convex Optimization in General Norms
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
我们提出了一个新的框架，差分私人优化的凸函数是Lipschitz在任意范数$\|\cdot\|$。我们的算法是基于一个正则化的指数机制，从密度$\propto \exp(-k(F+μr))$的样本，其中$F$是经验损失和$r$是一个正则化强凸相对于$\|\cdot\|$，推广最近的工作[Gopi，李，刘'22]非欧几里德设置。我们表明，该机制满足高斯差分隐私，并解决了DP-ERM（经验风险最小化）和DP-SCO（随机凸优化）通过使用凸几何的本地化工具。我们的框架是第一个适用于私人凸优化一般赋范空间，并直接恢复非私人SCO率实现镜像下降的隐私参数$ε\to \infty$。作为应用，对于所有$p \in (1, 2)$的$\ell_p$范数中的Lipschitz优化，我们获得了第一个最优的隐私-效用权衡;对于$p = 1$，我们通过至少一个对数因子改进了最近的作品[Asi，Feldman，Koren，Talwar '21，Basily，Guzman，Nandi '21]获得的权衡。我们的$\ell_p$规范和Schatten- $p$规范优化框架补充了多项式时间采样器，其查询复杂性，我们显式绑定。
2022-11-10 cs.CR cs.LG math.OC
Private Adaptive Gradient Methods for Convex Optimization
Stanford University（斯坦福大学）；Apple（苹果公司）；Massachusetts Institute of Technology（麻省理工学院）
我们研究自适应方法差分私人凸优化，提出和分析差分私人变量的自适应步长的随机梯度下降（SGD）算法，以及AdaGrad算法。我们提供了两种算法的遗憾上界，并表明边界是（最坏情况下）最优的。由于我们的发展，我们表明，我们的私人版本的AdaGrad优于自适应SGD，这反过来又优于传统的SGD的情况下，非各向同性梯度（非私人）Adagrad可证明优于SGD。主要的挑战是，通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下，我们研究非各向同性剪切和噪声添加，开发一个原则性的理论方法，随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降，达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时，隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Private Stochastic Convex Optimization: Optimal Rates in Linear Time
Apple（苹果公司）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Google（谷歌）
我们研究了随机凸优化的差分私有（DP）算法：给定独立同分布的最小化种群损失的问题。从凸损失函数上的分布中采样。Basily et al.（2019）最近的一项工作已经建立了给定$n$样本可实现的过量种群损失的最佳界限。不幸的是，他们的算法达到这个界限是相对低效的：它需要$O(\min\{n^{3/2}, n^{5/2}/d\})$梯度计算，其中$d$是优化问题的维度。我们描述了两种新的技术，用于推导DP凸优化算法都实现了最佳的界限上的超额损失和使用$O(\min\{n, n^2/d\})$梯度计算。特别是，算法匹配的最佳非私有算法的运行时间。第一种方法依赖于使用可变批量，并使用Feldman等人（2018）的迭代技术进行隐私放大分析。第二种方法是基于一个一般性的减少本地化的问题的近似最优解与差分隐私。这样的定位，反过来，可以实现使用现有的（非私有）一致稳定的优化算法。在早期的工作中，我们的算法需要一个温和的平滑假设。我们还给出了一个线性时间算法实现的最佳界限上的超额损失的强凸的情况下，以及一个更快的算法的非光滑的情况下。
2020-05-10 cs.CR cs.LG math.OC
Momentum Aggregation for Private Non-convex ERM
Boston University（波士顿大学）
我们引入新的算法和收敛保证隐私保护的非凸经验风险最小化（ERM）光滑$d$维目标。我们开发了一个改进的灵敏度分析的随机梯度下降光滑的目标，利用在不同时期的例子的复发。通过将这种新方法与最近的动量分析与私有聚合技术相结合，我们提供了一个$(ε,δ)$ -差分私有算法，该算法在$O\left(\frac{N^{7/3}ε^{4/3}}{d^{2/3}}\right)$梯度评估中找到了范数$\tilde O\left(\frac{d^{1/3}}{(εN)^{2/3}}\right)$的梯度，改进了$\tilde O\left(\frac{d^{1/4}}{\sqrt{εN}}\right)$以前的最佳梯度界。
2022-10-12 cs.LG
Oracle Efficient Private Non-Convex Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
目标扰动是差分私有学习和优化的最有效算法之一。这种方法是在给定的优化问题（如ERM问题）上增加一个随机线性项，然后精确求解。然而，到目前为止，这种方法的分析主要依赖于目标函数的凸性和光滑性，限制了它的通用性。我们给出了两个算法，大大扩展了这种方法。第一种算法只要求损失函数有界，并在离散域上运行。它的隐私性和准确性保证甚至在不假设凸性的情况下也成立。这给出了在任意离散域上的Oracle高效优化算法，其一般性与指数机制相当。第二种算法在连续域上操作，仅要求损失函数有界且Lipschitz为其连续参数。它的隐私分析不需要凸性。它的精度分析确实需要凸性，但不需要二阶条件，如光滑性。即使没有凸性，该算法也可以作为一种通用的Oracle高效优化算法，并根据经验评估其精度。我们补充我们的理论结果与非凸的情况下，我们使用整数规划求解器作为我们的优化预言机的经验评估。我们发现，对于学习线性分类器的问题，使用我们的方法直接优化0/1损失可以优于在Adult数据集上私下优化凸代理损失函数的更标准方法。
2020-12-29 cs.CR cs.LG stat.ML
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry
Stanford University（斯坦福大学）；Apple（苹果公司）；Tel Aviv University（特拉维夫大学）；Google（谷歌公司）
在$\ell_1$ -有界域上的随机凸优化在机器学习应用（如LASSO）中是普遍存在的，但在使用差分隐私进行学习时仍然知之甚少。我们发现，对数因子的最佳过剩人口损失的任何$(\varepsilon,δ)$ -差分私人优化是$\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n.$的上限是基于一个新的算法，结合了迭代本地化方法的~ \citet{FeldmanKoTa20}与私人正则化镜像下降的新分析。它适用于$p\in [1,2]$的$\ell_p$有界域，并且最多查询$n^{3/2}$梯度，这比需要$n^2$梯度的$\ell_2$情况下的最佳先前已知算法有所改进。此外，我们表明，当损失函数满足额外的平滑性假设，过量损失的上限（对数因子）由$\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}.$这界是通过一个新的方差减少版本的弗兰克-沃尔夫算法，只需要一个单一的数据通过。我们还表明，在这种情况下的下限是上述两个速率的最小值。
2021-03-02 cs.CR cs.LG math.OC
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds
University of Minnesota（明尼苏达大学）
研究了随机非凸优化的差分隐私算法。在这个问题中，目标是最小化给定$n$ i.i.d.的$p$维空间上的种群损失。从分布中抽取的样本。我们改进了${\sqrt{p}}/{\sqrt{n}}$的种群梯度界，得到了更尖锐的$\sqrt[4]{p}/\sqrt{n}$的速率.我们获得这个速率提供第一个私人梯度为基础的方法，包括自适应算法DP RMSProp和DP亚当的集合上的分析。我们的证明技术利用了差分隐私和自适应数据分析之间的联系，以限制梯度估计误差在每一个采样点，这规避了标准一致收敛参数的更差的推广范围。最后，我们在两个流行的深度学习任务上评估了所提出的算法，并证明了DP自适应梯度方法相对于标准DP SGD的经验优势。
2020-08-10 cs.CR cs.LG stat.ML
Differentially Private Stochastic Convex Optimization in (Non)-Euclidean Space Revisited
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The Chinese University of Hong Kong（香港中文大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文重新研究了欧几里得和一般 $\ell_p^d$ 空间中的差分隐私随机凸优化问题，针对受约束、无约束及重尾数据三种设定提出了新算法，其超额风险仅依赖约束集高斯宽度，并给出了多项式首个理论结果。
2023-03-31 cs.CR cs.LG math.OC
Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems
Technion（以色列理工学院）
本文针对集中式联邦学习中的隐私保护问题，提出基于随机凸优化框架的差分隐私方法，在可信与不可信服务器场景下实现最优收敛率与线性计算复杂度，平衡隐私、效率与鲁棒性。
2024-07-17 cs.LG
Output Perturbation for Differentially Private Convex Optimization: Faster and More General
University of Southern California（南加州大学）
本文提出基于输出扰动的差分隐私凸优化算法，在光滑强凸损失下实现最优超额风险与线性时间，并推广至倾斜损失和对抗训练，首次给出紧的(ε,0)-DP界。
2024-09-20 cs.CR cs.LG stat.ML
On User-Level Private Convex Optimization
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
本文提出一种无需光滑性假设的用户级差分隐私随机凸优化机制，其所需最小用户数不依赖维度，核心在于利用强凸损失优化器的低局部删除敏感性并采用输出扰动方法。
2023-05-08 cs.CR cs.LG
Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
针对差分隐私下重尾数据随机凸优化效率低的问题，提出一次性平均裁剪算法 AClipped-dpSGD，改进复杂度并扩展到强凸与非光滑情形。
2024-09-10 cs.LG math.OC
Learner-Private Convex Optimization
Duke University（杜克大学）；Stanford University（斯坦福大学）
带反馈的凸优化是一个框架，其中学习器依赖于迭代查询和反馈来达到凸函数的最小值。由于其在大规模优化和机器学习方面的可扩展性，它已经获得了相当大的普及。然而，重复的交互使学习者暴露于来自观察提交的查询的窃听对手的隐私风险。在本文中，我们研究了如何最佳地混淆凸优化与一阶反馈的学习者的查询，使他们学到的最佳值是可证明难以估计的窃听对手。我们考虑两个配方的学习者隐私：贝叶斯公式中的凸函数是随机绘制的，和一个极大极小公式中的函数是固定的和对手的错误概率测量相对于一个极大极小准则。假设学习者希望确保对手不能以大于$1/L$的概率准确估计某些$L>0$。我们的主要结果表明，查询的复杂性开销是添加剂在$L$的极小极大公式，但乘法在$L$的贝叶斯公式。与已有的二进制反馈的学习者私有序列学习模型相比，我们的结果适用于具有全梯度反馈的更丰富的一般凸函数族。我们的证明学习的工具，从理论的狄利克雷过程，以及一种新的策略，设计用于测量信息泄漏下的全梯度预言。
2021-10-23 cs.CR cs.LG math.OC
Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Rutgers University（罗格斯大学）
本研究提出基于Langevin扩散的算法框架，既实现了不依赖凸性、可随时终止的指数机制差分隐私采样及严格一致稳定性保证，得到凸损失下的最优风险界，还可设计Rashomon集的差分隐私一致采样器，支撑可解释、鲁棒等多类机器学习研究。
2023-08-28 cs.CR cs.LG math.OC
On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits
The Hong Kong University of Science and Technology（香港科技大学）
差分私有随机凸优化在可信机器学习算法设计中是普遍存在的。本文研究了从一个分布中采样并顺序到达的流数据的DP-SCO问题。我们还考虑了持续发布模型，其中与私人信息相关的参数在每个新数据时更新和发布，通常称为在线算法。尽管已经开发了许多算法来实现不同$\ell_p$范数几何中的最优超额风险，但是现有的算法都不能适应流式和连续发布设置。为了解决具有隐私保护的在线凸优化问题，我们提出了一种基于递归梯度的在线Frank-Wolfe算法的私有变体，用于方差缩减以更新和揭示每个数据的参数。结合自适应差分隐私分析，我们的在线算法在线性时间内实现了$1<p\leq 2$时的最优超额风险和$2<p\leq\infty$时的最新超额风险满足非私有的较低风险。我们的算法也可以扩展到$p=1$的情况下，实现几乎与维度无关的超额风险。虽然以前的递归梯度方差减少的结果只有在独立和同分布的样本设置的理论保证，我们建立了这样的保证在非平稳设置。为了证明我们的方法的优点，我们设计了第一个DP算法的高维广义线性强盗对数遗憾。与各种DP-SCO和DP-Bandit算法的比较实验表明，所提出的算法的有效性和实用性。
2022-06-16 cs.CR cs.LG math.OC
Improved Differentially Private and Lazy Online Convex Optimization
Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对差分隐私在线凸优化，通过强对数凹密度采样改进维度因子并去除光滑性要求，获得该情形下已知最佳速率。
2023-12-20 cs.CR cs.DS cs.LG
Gradient Perturbation is Underrated for Differentially Private Convex Optimization
The School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
梯度扰动，广泛用于差分隐私优化，注入噪声在每次迭代更新，以保证差分隐私。以前的工作首先确定的噪声水平，可以满足隐私的要求，然后在非私人的情况下，分析噪声梯度更新的效用。相反，我们探讨隐私噪声如何影响优化性能。我们发现，差分私人凸优化，差分私人（随机）梯度下降的效用保证是由一个\emph{expected curvature}，而不是最小曲率。表示优化路径上的平均曲率的\emph{expected curvature}通常比最小曲率大得多。通过使用的\emph{expected curvature}，我们表明，梯度扰动可以实现显着提高效用保证，可以在理论上证明梯度扰动优于其他扰动方法的优势。最后，我们广泛的实验表明，梯度扰动与先进的合成方法确实优于其他扰动方法的大幅度，匹配我们的理论研究结果。
2020-10-26 cs.LG stat.ML
Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对重尾梯度下的差分隐私随机凸优化问题，提出基于归约的新方法，首次获得匹配已知下界的最优误差速率，并给出多种改进算法。
2024-06-04 cs.CR cs.DS cs.LG
Efficient Private ERM for Smooth Objectives
Peking University（北京大学）
在本文中，我们考虑有效的差分私人经验风险最小化的观点，最优化算法。对于强凸和光滑的目标，我们证明了梯度下降与输出扰动不仅实现了接近最优的效用，但也显着提高了以前的国家的最先进的私人优化算法的运行时间，为$ε$ -DP和$(ε, δ)$ -DP。对于非凸但光滑的目标，我们提出了一个RRPSGD（随机轮私人随机梯度下降）算法，该算法可证明收敛到一个平稳点的隐私保证。除了期望的效用界限，我们还提供了高概率形式的保证。实验表明，我们的算法始终优于现有的方法在实用程序和运行时间。
2017-05-24 cs.DS cs.LG stat.ML
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们考虑的问题，最小化的非凸目标，同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上，我们引入了一个新的框架，利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度，第二种预言机，精度较低，成本较低，可以估计两点之间的梯度差。SpiderBoost定期使用第一种，每隔几步使用一次，而我们的框架建议在总漂移变大时使用第一个预言，否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确，从而提高了找到二阶稳定点的速度。此外，我们解决了一个更具挑战性的任务，找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明，正则化的指数机制可以密切匹配以前的经验和人口的风险界限，而不需要平滑假设的算法与多项式运行时间。此外，通过忽略运行时间的考虑，我们表明，指数机制可以实现一个很好的人口风险界，并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
On Differentially Private Stochastic Convex Optimization with Heavy-tailed Data
State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；MIT（麻省理工学院）
在本文中，我们考虑重尾数据上的随机凸优化（SCO）的差分私有（DP）算法的设计问题。这些数据的不规则性违反了几乎所有现有DP-SCO和DP-ERM方法中使用的一些关键假设，导致无法提供DP保证。为了更好地理解这种类型的挑战，我们在本文中提供了一个全面的研究DP-SCO在各种设置。首先，我们考虑的情况下，损失函数是强凸和光滑。对于这种情况，我们提出了一种基于样本和聚合框架的方法，该方法具有$\tilde{O}(\frac{d^3}{nε^4})$的超额群体风险（在忽略其他因素后），其中$n$是样本量，$d$是数据的维度。然后，我们表明，与一些额外的假设的损失函数，它是可能的，以减少\textit{expected}过剩人口的风险$\tilde{O}(\frac{ d^2}{ nε^2 })$。为了解除这些额外的条件，我们还提供了一个梯度平滑和修剪为基础的计划，以实现额外的人口风险的$\tilde{O}(\frac{ d^2}{nε^2})$和$\tilde{O}(\frac{d^\frac{2}{3}}{(nε^2)^\frac{1}{3}})$强凸和一般凸损失函数，分别为\textit{with high probability}。实验表明，我们的算法可以有效地处理数据不规则性带来的挑战。
2020-10-21 cs.CR cs.LG stat.ML
Private Statistical Estimation via Truncation
Yale University（耶鲁大学）
本文提出基于数据截断的差分隐私统计估计框架，为无界支撑下的指数族分布（如高斯均值和协方差）设计高效DP估计器，并通过最大似然与DP随机梯度下降修正截断偏差，实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
Faster Rates of Private Stochastic Convex Optimization
University of Electronic Science and Technology of China（电子科技大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这篇文章中，我们重新讨论了微分私有随机凸优化（DP-SCO）问题，并提供了一些特殊的函数类的超额人口风险，比以前的结果一般凸和强凸函数。在本文的第一部分中，我们研究了人口风险函数满足Tysbakov噪声条件（TNC）的情况，其中参数为$θ>1$。具体地说，我们首先表明，在一些温和的假设下的损失函数，有一个算法，其输出可以达到$\tilde{O}((\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$的上限为$(ε, δ)$ -DP时，$θ\geq 2$，这里$n$是样本大小和$d$是空间的维数。然后，我们解决了效率低下的问题，通过$\text{Poly}(\log n)$因子提高了上界，并扩展到$θ\geq \barθ>1$的情况下，一些已知的$\barθ$。其次，我们证明了满足TNC且参数为$θ\geq 2$的人口函数的超额人口风险的下界分别为$ε$-DP和$(ε, δ)$ -DP的$Ω((\frac{d}{nε})^\fracθ{θ-1}) $和$Ω((\frac{\sqrt{d\log \frac{1}δ}}{nε})^\fracθ{θ-1})$.在第二部分中，我们重点研究了一种特殊的情况下，人口风险函数是强凸的。与以前的研究不同，这里我们假设损失函数是{ \em非负}和{ \em，人口风险的…
2022-01-16 cs.CR cs.LG math.OC
Privately Learning Thresholds: Closing the Exponential Gap
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Hebrew University of Jerusalem（希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Ben-Gurion University（本-古里安大学）
研究了差分隐私约束下学习阈值函数的样本复杂度。假设训练数据中的每个标记示例都是一个个体的信息，并且我们希望提出一个泛化假设$h$，同时保证个体的差分隐私。直观地说，这意味着训练数据中的任何单个标记示例都不应该对假设的选择产生显著影响。这个问题最近受到了很多关注;与非私有情况不同，在非私有情况下，样本复杂度与域大小无关，仅取决于所需的准确度和置信度，对于私有学习，样本复杂度必须取决于域大小$X$（即使对于近似差分隐私）。Alon等人（STOC 2019）显示了样本复杂度上的$Ω(\log^*|X|)$下限，Bun等人（FOCS 2015）提出了一个具有样本复杂度$\tilde{O}\left(2^{\log^*|X|}\right)$的近似私有学习器。在这项工作中，我们大大减少了这个差距，几乎解决了样本的复杂性。首先给出了$\tilde{O}\left(\left(\log^*|X|\right)^2\right)$的样本复杂度上界的一种新算法，然后给出了样本复杂度的改进算法$\tilde{O}\left(\left(\log^*|X|\right)^{1.5}\right)$.我们的算法是为相关的内点问题，其中的目标是找到一个点之间的最大和最小的输入元素。它是基于选择一个依赖于输入的哈希函数，并使用它来嵌入数据库到一个域的大小是减少几何，这将导致一个新的数据库，其内部点可以用来生成…
2019-11-22 cs.CR cs.DS cs.LG
Non-Euclidean Differentially Private Stochastic Convex Optimization: Optimal Rates in Linear Time
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
差分私有随机凸优化是一个基本问题，其目标是在给定$n$ i.i.d.的数据集上，使种群风险相对于凸损失函数近似最小化.样本的分布，同时满足相对于数据集的差分隐私。在私有凸优化的文献中的大多数现有工作集中在欧几里德（即，$\ell_2$）设置，其中假设损失是Lipschitz（并且可能是平滑的）。具有有界$\ell_2$直径约束集上的$\ell_2$范数。基于噪声随机梯度下降（SGD）的算法是已知的，以达到最佳的超额风险在这种情况下。在这项工作中，我们进行了一个系统的研究DP-SCO的$\ell_p$ -设置下的标准平滑假设的损失。对于$1< p\leq 2$，在标准光滑性假设下，我们给出了一个新的，线性时间DP-SCO算法的最优超额风险。先前已知的具有$1< p <2$的最优超额风险的构造在$n$中以超线性时间运行。对于$p=1$，我们给出了一个具有近似最优超额风险的算法.我们的结果$\ell_1$ -设置也扩展到一般的多面体规范和可行集。此外，我们表明，从我们的算法$1\leq p \leq 2$的超额风险界限达到高概率。对于$2 < p \leq \infty$，我们表明，现有的线性时间结构的欧几里德设置达到一个接近最佳的超额风险在低维制度。因此，我们表明，这种结构达到了接近最优的超额风险$p=\infty$。我们的工作借鉴了赋范空间的几何概念，如正则性，一致凸性和一致光滑性的…
2022-05-04 cs.LG math.OC stat.ML
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Second-Order Convergence in Private Stochastic Non-Convex Optimization
TU Berlin（柏林技术大学）；George Washington University（乔治·华盛顿大学）；Shandong University（山东大学）；KAUST（卡塔尔科技大学）
本文提出了一种基于扰动随机梯度下降的算法，在差分隐私下实现非凸优化问题的二阶收敛性，并解决了现有方法在收敛误差率和隐私模型选择上的不足。
2026-01-17 cs.AI cs.LG
Faster Algorithms for User-Level Private Stochastic Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）；Apple Machine Learning Research（苹果公司机器学习研究部门）
本文研究用户级差分隐私下的随机凸优化，提出三类更快算法，分别在线性时间、任意光滑损失和非光滑损失下取得最先进或最优超额风险，并避免用户数随维度多项式增长。
2024-10-24 cs.CR cs.LG math.OC
Adapting to Function Difficulty and Growth Conditions in Private Optimization
我们开发了私人随机凸优化算法，以适应我们希望优化的特定函数的硬度。虽然以前的工作为任意凸函数提供了最坏情况的界限，但通常情况下，手头的函数属于一个较小的类，享受更快的速度。具体地说，我们表明，对于表现出$κ$ -增长的最佳，即周围的功能，$f(x) \ge f(x^*) + λκ^{-1} \|x-x^*\|_2^κ$为$κ> 1$，我们的算法改进后的标准${\sqrt{d}}/{n\varepsilon}$隐私率更快的$({\sqrt{d}}/{n\varepsilon})^{\tfracκ{κ- 1}}$。重要的是，他们在不知道函数的增长常数$κ$的情况下实现了这些速率。我们的算法建立在适应实例难度的逆灵敏度机制（Asi & Duchi，2020）和私有优化中的最新定位技术（Feldman等人，2020年）。我们补充我们的算法与这些功能类的匹配下界，并证明我们的自适应算法是\emph{simultaneously}（极大极小）最佳的所有$κ\ge 1+c$每当$c = Θ(1)$。
2021-08-05 cs.CR cs.LG math.OC
Privacy Amplification by Iteration for ADMM with (Strongly) Convex Objective Functions
the University of Hong Kong（香港大学）
该研究针对（强）凸目标的梯度型私有ADMM变体，通过定制范数、将连续两次迭代视为马尔可夫算子解决技术难题，证明其隐私保障可随迭代次数放大，强凸场景下呈指数增长。
2023-12-14 cs.CR cs.LG math.OC
Efficient Private Algorithms for Learning Large-Margin Halfspaces
Northeastern University（东北大学）
我们提出了新的差分私人学习算法的大利润率半空间。与以前的算法，这是基于差异私人模拟的统计查询模型或私人凸优化，我们的算法的样本复杂度只取决于利润率的数据，而不是在尺寸上。我们补充我们的结果与下界，表明我们的上界的利润率的依赖是最佳的。
2020-02-24 cs.DS cs.LG stat.ML
Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
通过确保学习算法中的差分隐私，可以严格地减轻大型模型记忆敏感训练数据的风险。在本文中，我们研究了两个算法，即，DP-SGD和DP-NSGD，它们首先剪切或归一化\textit{per-sample}梯度以限制灵敏度，然后添加噪声以混淆确切的信息。我们分析了这两个算法在非凸优化设置的两个共同的假设，并实现了率$\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}}\right)$的梯度范数的$d$维模型，$N$样本和$(ε,δ)$ -DP，这改善了以前的界限下弱得多的假设。具体来说，我们在DP-NSGD中引入了正则化因子，并表明它在收敛性证明中至关重要，并巧妙地控制了偏差和噪声的权衡。我们的证明特意处理了为私有设置指定的每个样本的梯度裁剪和标准化。从经验上讲，我们证明，这两种算法实现了类似的最佳精度，而DP-NSGD是比较容易调整比DP-SGD，因此可能有助于进一步节省隐私预算时，会计调整工作。
2022-06-27 cs.IT cs.LG math.IT
Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods
Department of Applied Mathematics, University of Waterloo（应用数学系，滑铁卢大学）
本文证明了差分隐私随机梯度方法在非凸和强凸情况下几乎必然收敛，并扩展到动量变种，提供了更强的理论保障。
2025-11-20 cs.LG math.OC
Stochastic and Private Nonconvex Outlier-Robust PCA
我们开发了理论上保证随机方法的离群鲁棒PCA。离群鲁棒PCA从被离群值破坏的数据集中寻找底层的低维线性子空间。我们能够表明，我们的方法，其中涉及随机测地线梯度下降的格拉斯曼流形，收敛和恢复一个潜在的子空间，在各种制度，通过发展一个新的收敛分析。该方法的主要应用是一种有效的差分私有算法，用于在随机梯度方法中使用高斯噪声机制的异常鲁棒PCA。我们的结果强调了非凸方法相对于另一种凸方法在差异隐私环境中解决该问题的优势。对合成数据和程式化数据的实验验证了这些结果。
2022-03-17 cs.CR cs.LG math.OC
ReSQueing Parallel and Private Stochastic Convex Optimization
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
本文提出重加权随机查询估计器 ReSQue，结合球预言机加速技术，在并行和差分隐私随机凸优化中同时实现最优查询深度与近线性查询复杂度，弥补了先前工作在隐私设置下梯度查询数量超线性的不足。
2023-10-27 cs.CR cs.DS cs.LG
Multiclass versus Binary Differentially Private PAC Learning
Boston University（波士顿大学）
我们展示了一个通用的减少从多类差分私人PAC学习二进制私人PAC学习。我们将这种转换应用到最近提出的二进制私人PAC学习器，以获得一个私人的多类学习器的样本复杂性，具有多项式依赖于多类Littlestone维数和多对数依赖于类的数量。这产生了一个指数级的改善，在这两个参数的依赖，从以前的工作学习。我们的证明将Ben-David等人[JCSS '95]的工作中定义的$Ψ$ -维的概念扩展到在线设置，并探索其一般性质。
2021-07-22 cs.DS cs.LG
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储，而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学习系统中心）；Amazon（亚马逊）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
我们研究了光滑随机极大极小优化的差分私有（DP）算法，随机极小化作为副产品。这些设置的圣杯是使用训练样本数量具有线性时间复杂度的算法来保证隐私和过度人口损失之间的最佳权衡。我们提供了一个通用的框架来解决差分私有随机极大极小优化（DP-SMO）问题，这使得从业者能够带来自己的基础优化算法，并将其作为一个黑盒，以获得接近最优的隐私损失权衡。我们的框架受到最近提出的非光滑差分私有随机凸优化（DP-SCO）的阶段性ERM方法[22]的启发，该方法利用经验风险最小化（ERM）的稳定性来保证隐私。我们的方法的灵活性，使我们能够回避基本算法需要有界的灵敏度的要求，并允许使用复杂的方差减少加速方法，以实现近线性的时间复杂度。据我们所知，这是第一个近线性时间算法，人口的对偶性差距光滑DP-SMO的近最佳保证，当目标是（强）凸-（强）凹。此外，基于我们灵活的框架，我们丰富了家庭的近线性时间算法的平滑DP-SCO与接近最佳的隐私损失的权衡。
2022-10-19 cs.CR cs.LG math.OC
An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
UST
本文改进了差分隐私随机梯度下降的隐私和效用分析，针对有界域和光滑损失函数，揭示了隐私损失收敛机制及隐私效用权衡的理论界。
2026-01-15 cs.CR cs.LG stat.ML
Private Learning with Public Feature Conditioning
Microsoft（微软）；Google Research（谷歌研究院）
针对标签差分隐私回归问题，提出Cond-DP方法，利用公共特征矩阵的结构信息构造条件化矩阵以加速优化，在凸、强凸和非凸设置下提供收敛保证，并在线性回归中实现比DPSGD更快的收敛速度。
2026-06-18 cs.AI cs.LG
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
On exponential convergence of SGD in non-convex over-parametrized learning
The Ohio State University（俄亥俄州立大学）
通过随机梯度下降（SGD）方法学习的大型过参数化模型已成为现代机器学习的关键要素。虽然SGD方法在实践中非常有效，但大多数SGD的理论分析表明收敛速度比经验观察到的要慢。在我们最近的工作[8]中，我们分析了在现代过参数化学习中常见的插值如何导致凸损失函数具有恒定步长的SGD的指数收敛。在本文中，我们将这些结果推广到更广泛的满足Polyak-Lojasiewicz（PL）条件的非凸函数类。机器学习中的一些重要的非凸问题，包括某些类的神经网络，最近已被证明满足PL条件。我们认为，PL条件为许多机器学习问题提供了一个相关的和有吸引力的设置，特别是在过度参数化的制度。
2018-11-06 cs.LG math.OC stat.ML
First Order Methods take Exponential Time to Converge to Global Minimizers of Non-Convex Functions
Purdue University（普渡大学）
机器学习算法通常对一类非凸函数执行优化。在这项工作中，我们提供了一个非凸函数的全局极小识别的基本硬度的界限。具体来说，我们设计了一个家庭的参数化非凸函数，并采用统计下界参数估计。我们证明了参数估计问题等价于给定族中的函数识别问题。然后，我们声称，非凸优化是至少一样难的功能识别。同时，我们证明了任何一阶方法都可以用指数时间收敛到全局极小值。
2021-02-08 cs.LG stat.ML
Private Center Points and Learning of Halfspaces
Ben-Gurion University（本-古里安大学）；Princeton University（普林斯顿大学）；Georgetown University（乔治城大学）
我们提出了一个私人学习半空间在任意有限域$X\subset \mathbb{R}^d$样本复杂度$mathrm{poly}(d,2^{\log^*|X|})$。这个学习器的构建块是一个差分私有算法，用于定位$m>\mathrm{poly}(d,2^{\log^*|X|})$点的近似中心点--中值函数的高维推广。我们的构建建立了这两个问题之间的关系，这让人想起中位数和学习一维阈值之间的关系[Bun et al. FOCS '15]。这种关系表明，私人定位的中心点的问题可能有进一步的应用在差分隐私算法的设计。我们还提供了一个下界的样本复杂度私人找到一个点的凸包。对于近似差分隐私，我们给出了$m=Ω(d+\log^*|X|)$的一个下界，而对于纯差分隐私$m=Ω(d\log|X|)$ .
2019-02-27 cs.AI cs.CG cs.CR
Differentially Private Convex Optimization with Piecewise Affine Objectives
差分隐私是最近提出的隐私概念，它提供了强有力的隐私保证，而无需对对手进行任何假设。研究了目标函数为分段仿射的凸优化问题的差分私有解的计算问题。这样的问题是由其中定义目标函数的仿射函数包含敏感用户信息的应用激发的。我们提出了几种隐私保护机制，并提供这些机制的最优性和隐私水平之间的权衡分析。数值实验也被用来评估它们在实践中的性能。
2014-03-24 cs.CR cs.DS math.OC
Private Multiplicative Weights Beyond Linear Queries
机器学习中的各种基础数据分析，例如线性和逻辑回归，都需要最小化由数据定义的凸函数。由于数据可能包含关于个体的敏感信息，并且这些分析可能泄漏该敏感信息，因此能够以隐私保护的方式求解凸最小化是重要的。最近的一系列结果表明，如何准确地解决一个单一的凸最小化问题的差分隐私的方式。然而，同一数据往往被重复分析，对解决具有差分隐私的多个凸最小化问题知之甚少。对于更简单的数据分析，如线性查询，有显着的差异私有算法，如私有乘法权重机制（Hardt和Rothblum，FOCS 2010），可以准确地按指数方式回答许多不同的查询。在这项工作中，我们将这些结果扩展到凸最小化的情况下，并展示如何给精确和差分私人解决方案 * 指数许多 * 凸最小化问题的敏感数据集。
2015-03-14 cs.DS
Differentially Private Learning of Exponential Distributions: Simple Algorithms and Tight Bounds
Bar-Ilan University（巴伊兰大学）
本文研究在差分隐私下学习指数分布的问题，提出简单纯ε-差分隐私算法，避免传统依赖λ的真实值。通过指数分布的结构特性，直接估计速率参数，实现高效学习。进一步扩展至帕累托分布，证明下界并展示近似(ε,δ)-DP的用途。
2026-03-30 cs.DS
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Differentially private $k$-means clustering via exponential mechanism and max cover
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
针对$k$均值聚类问题，提出了一种新的$(ε_p, δ_p)$ -差分私有算法.给定欧几里德空间中的数据集，$k$均值聚类问题要求人们在该空间中找到$k$点，使得每个数据点与返回的$k$中其最近的相应点之间的欧几里德距离的平方和最小化。尽管存在具有良好理论保证的隐私保护方法来解决该问题[Balcan等人，2017年; Kaplan和Stemmer，2018年]，在实践中可以看出，决定这些方法实际性能的是加性误差。通过将问题简化为网格上最大覆盖范围的一系列实例，我们能够推导出一种新的方法，该方法比以前的方法具有更低的加性误差。对于具有基数$n$和直径$Δ$的输入数据集，我们的算法具有$O(Δ^2 (k \log^2 n \log(1/δ_p)/ε_p + k\sqrt{d \log(1/δ_p)}/ε_p))$加法误差，同时保持恒定的乘法误差。我们的结论与一些实验，并找到一个改进以前实现的工作，这个问题。
2020-09-02 cs.CR cs.DS cs.LG
