Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术，可以稳定训练过程，解决容易出现梯度爆炸问题的问题。尽管它的广泛流行，梯度裁剪启发式算法的收敛特性知之甚少，特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机（次）梯度法（SCD）的定性和定量收敛结果。我们的分析表明，裁剪增强了SGD的稳定性，裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下，我们还研究了带动量的剪切方法的收敛性，其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析，我们表明，所提出的方法达到了最好的已知率所考虑的一类问题，证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
本文针对重尾噪声下的非凸SGD收敛问题，重新探究梯度归一化与裁剪的作用，证明归一化单独即可保证收敛，二者结合可提升收敛速率，还提出了加速变体并给出统一理论与实践指导。
2025-11-19 cs.LG math.OC stat.ML
Convex and Non-convex Optimization Under Generalized Smoothness
Massachusetts Institute of Technology（麻省理工学院）
针对经典优化分析依赖梯度利普希茨条件的局限，本文推广非均匀光滑条件，提出轨迹梯度界化的分析技术，无需梯度裁剪即可得到多种方法在凸/非凸场景的经典收敛率，还可处理重尾噪声。
2023-11-03 cs.LG math.OC stat.ML
Robust and Fast Training via Per-Sample Clipping
Department of Mathematics University of Vienna（维也纳大学数学系）；University of Vienna（维也纳大学）；RICAM Austrian Academy of Sciences（奥地利科学院RICAM）
提出基于逐样本梯度裁剪的鲁棒梯度估计器PS-Clip-SGD，在重尾梯度噪声下达到非凸优化的最优期望收敛率，并给出高概率收敛保证。实验表明在CIFAR-100上训练AlexNet时优于SGD和标准裁剪，且微批裁剪可提升性能而不增加计算成本。
2026-06-24 cs.LG math.OC stat.ML
Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
IUST（伊朗伊斯兰科技与应用大学）；MBZUAI（马尔代夫人工智能研究所）
本文针对固定裁剪阈值与标准差分隐私机制不兼容的问题，证明 DP-Clipped-SGD 在重尾噪声、凸与非凸光滑优化下均可高概率收敛，并给出更快速率及隐私—收敛权衡。
2025-09-29 cs.LG math.OC
Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
Department of Mathematics, Linköping University, Sweden（林雪平大学数学系）；Department of Industrial and Systems Engineering, University of Minnesota, USA（明尼苏达大学工业与系统工程系）
针对重尾噪声下的凸复合优化问题，本文提出一种无需梯度裁剪或归一化的加速随机近端次梯度方法，证明其在光滑、弱光滑及非光滑等情况下均具有普遍最优的一阶预言机复杂度，并通过数值实验验证了理论结果。
2026-09-22 cs.AI cs.LG math.OC
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究证明，在重尾噪声下，裁剪的去中心化随机梯度下降（DSGD）能实现阶最优收敛率并具有线性加速，与归一化方法形成对比，凸显了裁剪在保留幅度信息方面的优势。
2026-10-08 cs.LG cs.MA math.OC
Adam-like Algorithm with Smooth Clipping Attains Global Minima: Analysis Based on Ergodicity of Functional SDEs
本文利用泛函SDE与Markov半群遍历理论，证明带平滑裁剪的Adam型算法可收敛至正则化非凸损失的全局最小点，并给出收敛、泛化与离散化误差界。
2023-11-29 cs.LG math.OC math.PR
From Gradient Clipping to Normalization for Heavy Tailed SGD
ETH Zurich（苏黎世联邦理工学院）
针对重尾梯度噪声下梯度裁剪理论的缺陷，提出归一化SGD（NSGD），给出参数无关的采样复杂度并证明其最优性，同时实现高概率收敛。
2025-07-09 cs.LG math.OC stat.ML
Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
Meiji University（明治大学）
研究普通SGD尤其是带动量的在重尾噪声下的表现，通过细化收敛结果及全面分析，揭示其在重尾噪声下收敛率低于裁剪或归一化变体，展现普通方法局限性，合成函数实验支持理论发现。
2026-08-14 cs.LG
Almost Sure Convergence Analysis of Stochastic Gradient Methods with Clipping and Additive Noise
University of Waterloo（滑铁卢大学）
本文证明带裁剪和加性高斯噪声的随机梯度下降在光滑性和噪声有界假设下几乎必然收敛，并推广至动量变体，为裁剪方法的路径行为提供理论基础。
2026-09-17 cs.LG math.OC math.PR
Clipped SGD Algorithms for Performative Prediction: Tight Bounds for Clipping Bias and Remedies
Bar-Ilan University（巴伊兰大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了决策相关数据分布下 clipped SGD 算法的收敛性，刻画了 PCSGD 算法中的 clipping bias 界限并提出最优步长设计与 DiceSGD 算法作为修正方法，数值实验验证了理论发现。
2025-01-30 cs.CR cs.LG math.OC
Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
MBZUAI（穆罕默德·本·拉什德智能技术研究院）；University of Southern California（南加州大学）
本文提出基于谱方法的梯度裁剪，通过裁剪超过阈值的奇异值来稳定训练，适用于现代架构的矩阵结构，分析了重尾噪声下的收敛性，并提出层适应性阈值和高效实现方法。
2026-05-12 cs.LG math.OC
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
Moscow Institute of Physics and Technology, Russia（莫斯科物理技术学院）；Ivannikov Institute for System Programming RAS, Russia（伊万诺夫系统编程研究所）；Sber AI Lab, Russia（俄罗斯Sber人工智能实验室）；Innopolis University, Russia（因诺波利斯大学）；The Russian Presidential Academy of National Economy and Public Administration, Russia（俄罗斯总统经济与公共行政学院）；Skolkovo Institute of Science and Technology, Russia（斯克沃尔佐夫科学与技术研究所）；Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学）；Machine Learning and Optimization Laboratory (MLO), EPFL, Lausanne, Switzerland（机器学习与优化实验室（MLO），EPFL，拉瓦尔普勒斯，瑞士）
针对重尾噪声下AdaGrad/Adam高概率收敛性差的问题，证明梯度裁剪能为其及延迟版本提供多重对数依赖的新收敛界，并在实验中验证了优越性。
2025-08-14 cs.LG math.OC
Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对重尾噪声下的非凸随机优化，本文通过重新审视Batched NSGDM算法，首次证明了无需梯度裁剪即可在放宽平滑条件下达到最优收敛速率，并给出了尾部指数未知情况下的首个收敛速率。
2025-05-29 cs.LG math.OC stat.ML
Online Convex Optimization with Heavy Tails: Old Algorithms, New Regrets, and Applications
Stern School of Business, New York University（纽约大学斯特恩商学院）
本文研究了在重尾环境下在线凸优化的旧算法，证明了无需修改算法即可获得最优遗憾界，且在无梯度裁剪情况下有效解决非光滑非凸优化问题。
2026-03-19 cs.LG math.OC stat.ML
Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise
本文在重尾噪声下比较裁剪与未裁剪的平均SGD，证明裁剪不总能改善主导精度，并揭示其增加方差或偏移极限点的代价。
2026-09-29 cs.LG math.OC
Nearly Optimal Fixed-Confidence Best-Arm Identification with 1-Bit Feedback
Hanoi University of Science and Technology（河内科技大学）；Quantum AI & Cyber Security Institute, FPT Corporation（FPT公司量子人工智能与网络安全研究院）
针对1比特反馈下的固定置信度最佳臂识别，提出基于随机阈值查询的均值估计原语，并嵌入候选-挑战者算法，实现间隙自适应样本复杂度，且证明对数惩罚下界。
2026-10-05 cs.AI cs.LG stat.ML
Variance-Reduced Conditional Gradient Methods under Markovian Sampling for Nonconvex Composite Optimization
Nanjing University of Information Science and Technology（南京信息工程大学）
研究非凸复合优化在马尔可夫采样下的问题，提出MC-ALFCG方法，结合动量条件梯度法等技术，通过嵌套平均、耦合和裁剪控制偏差与二阶矩，简化递归，给出不同噪声情况下的样本复杂度，还进行了数值研究。
2026-07-29 cs.LG math.OC
Clipping the Price of Adaptivity at the Tail
Tel Aviv University（特拉维夫大学）；University of Pittsburgh（匹兹堡大学）
针对自适应随机凸优化中无法同时适应初始距离和Lipschitz常数不确定性的问题，提出一种在尾部对模型输出进行剪裁的方法，实现了对数级别的自适应。
2026-06-23 cs.LG math.OC
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Davis（加州大学戴维斯分校）
研究了噪声方差为无穷大时的随机凸优化问题。具体地说，当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时，对于某些$κ\in (0,1]$，我们根据优化问题的迭代次数、维数和相关的几何参数，量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是，该算法不需要任何显式的梯度裁剪或归一化，这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明，没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果，设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们考虑非凸随机优化使用一阶算法的梯度估计可能有沉重的尾巴。我们表明，梯度裁剪，动量和归一化梯度下降的组合产生收敛到临界点的高概率与最知名的平滑损失率时，梯度只有有限的$\mathfrak{p}$次矩的一些$\mathfrak{p}\in(1,2]$。然后，我们考虑的情况下，二阶光滑损失，据我们所知，还没有研究在这种情况下，并再次获得高概率界的任何$\mathfrak{p}$。此外，我们的结果保持任意光滑的规范，与典型的SGD分析，需要一个希尔伯特空间规范。此外，我们表明，经过一个合适的“老化”期，目标值将单调下降，直到确定一个临界点，这提供了直观的流行做法背后的学习率“热身”，也产生了最后的保证每次迭代。
2021-11-09 cs.LG math.OC stat.ML
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；King’s College London（伦敦国王学院）
本文针对空中联邦学习提出AirFL-Clip及其扩展协议AirFL-Clip-Comp，推导出适用于一般非凸目标的收敛界，并证明界中的时变量可通过稀疏恢复算法高效离线估计。
2023-05-18 cs.IT cs.LG eess.SP
Variance Reduced methods for Non-convex Composition Optimization
本文研究了含有大量分支函数的内外有限和函数形式的非凸复合优化问题。这个问题出现在一些重要的应用中，如非线性嵌入和强化学习。虽然现有的方法，如随机梯度下降（SGD）和随机方差降低梯度（SVRG）下降可以应用于解决这个问题，他们的查询复杂度往往很高，特别是当内部组件函数的数量很大。在本文中，我们应用方差减少技术，推导出两个方差减少算法，显着提高查询的复杂性，如果内部组件功能的数量是大的。据我们所知，这是第一个工作，建立了非凸随机组合的查询复杂性分析。实验验证了所提出的算法和理论分析。
2017-11-13 math.OC stat.ML
Towards Weaker Variance Assumptions for Stochastic Optimization
University of British Columbia（不列颠哥伦比亚大学）；University of Vienna（维也纳大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文重新审视随机梯度算法分析中的经典方差假设，允许随机次梯度平方范数随优化变量平方范数增长，并建立与Halpern迭代的联系，为凸非光滑随机优化提供无界可行集下的最优性度量收敛率。
2026-09-29 cs.LG math.OC stat.ML
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
Unified Analysis of Stochastic Gradient Methods for Composite Convex and Smooth Optimization
KAUST（阿卜杜拉国王科技大学）；Cairo University（开罗大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）
本文给出了一个关于光滑凸损失加凸正则化子的随机梯度算法收敛性分析的统一定理。我们通过扩展Gorbunov，Hanzely \& Richtárik（2020）的统一分析并放弃损失函数是强凸的要求来做到这一点。相反，我们只依赖于损失函数的凸性。我们的统一分析适用于主机现有的算法，如近端SGD，方差减少的方法，量化和一些坐标下降型方法。对于方差减少的方法，我们恢复最好的已知的收敛速度作为特殊情况。对于近端SGD、量化和坐标类型方法，我们发现了新的最先进的收敛率。我们的分析还包括任何形式的采样和微量分析。因此，我们能够确定优化方差缩减方法的总复杂性的小批量大小。我们展示了这两个方差减少方法（\textit{L-SVRG}和\textit{SAGA}）的最佳小批量大小获得一个简单的公式。这个最佳的minibatch大小不仅提高了理论上的总复杂度的方法，但也提高了他们的收敛性在实践中，我们在几个实验中显示。
2020-06-20 cs.LG math.OC stat.ML
Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺威萨大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺威萨大学理学院）
该研究针对重尾噪声下的在线学习收敛问题，提出非线性SGD通用框架，在无噪声矩假设下为多种非线性方法建立高概率收敛保证，理论和实验均验证了框架的优越性。
2025-03-21 cs.LG math.OC
Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
Inria, CNRS, Ecole Normale Supérieure PSL Research University（法国国家科学研究中心、巴黎高等师范学院PSL研究大学）；Department of Management Science and Information Systems（管理科学与信息系统系）；Faculty of Engineering and Natural Sciences（工程与自然科学学院）；Department of Mathematics（数学系）
本文研究重尾噪声 SGD 的差分隐私，证明 $α$-稳定扰动可在无需梯度裁剪下为非凸损失实现 $(0,O(1/n))$-DP。
2025-05-12 cs.CR cs.LG math.ST
Adaptive Strategies in Non-convex Optimization
BOSTON UNIVERSITY GRADUATE SCHOOL OF ARTS AND SCIENCES（波士顿大学文理研究生院）；University of Science and Technology of China（中国科学技术大学）
本文研究非凸优化中的自适应策略，提出噪声自适应、梯度尺度自适应及面向无界平滑性的广义 SignSGD 算法，在不依赖先验参数的情况下取得与最优方法相当的理论与实证性能。
2023-07-07 cs.LG math.OC stat.ML
Variance Reduction for Faster Non-Convex Optimization
Princeton University（普林斯顿大学）
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反，在这个基本问题的长期历史中，关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降，以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧，以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标，我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛，并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research（三星研究院）
各种后训练均匀量化方法通常是基于凸优化的研究。因此，大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时，这样的方法在计算上是有效的和合理的。然而，当量化比特数相对较低时，非凸优化是不可避免的，以提高模型精度。在本文中，我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明，超参数裁剪和舍入的权重和激活，可以探索通过监控任务损失。然后，冻结超参数的最佳搜索集以继续到下一层，使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果，我们提出的技术提出了更高的模型精度，特别是对于低比特量化。
2021-05-05 cs.LG math.OC
Double Clipping: Less-Biased Variance Reduction in Off-Policy Evaluation
Amazon Music（亚马逊音乐）
针对离线策略评估中裁剪技术引入的向下偏差，提出双重裁剪方法，在保持方差缩减的同时补偿偏差，从而降低总体偏差。
2023-09-03 cs.LG
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Northwestern University（西北大学）
针对机器学习中存在的非均匀平滑性问题，本文提出了一种结合梯度裁剪与方差缩减的快速随机拟牛顿方法，实现了最优的样本复杂度并取得显著的收敛加速效果。
2024-09-26 cs.LG math.OC
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文研究了非凸优化中无界方差条件下SGD变种的下界，并提出PASTA算法在多种非凸情形下达到最优复杂度。
2026-04-17 cs.LG math.OC
Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails
Renmin University of China（中国人民大学）；Tokyo Institute of Technology（东京工业大学）；Emory University（埃默里大学）
针对DPSGD在重尾梯度下裁剪损失过大的问题，提出判别性裁剪（DC-DPSGD），通过子空间识别区分主体与尾部梯度并采用不同裁剪阈值，在非凸条件下降低经验梯度范数，实验显示准确率最多提升9.72%。
2024-05-27 cs.CR cs.LG
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University（哥伦比亚大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；University of Florida（佛罗里达大学）
在强化学习和变分自编码器（VAE）训练等背景下，梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器（Yin等人，2020; Dong，Mnih和Tucker 2020）在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而，DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差，解决方案往往位于该边界附近。为了改善这个问题，我们提出了一个新的梯度估计\textit{bitflip} -1，具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性，因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}（UGC），该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲，我们观察到，UGC在玩具实验，离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
Private Adaptive Gradient Methods for Convex Optimization
Stanford University（斯坦福大学）；Apple（苹果公司）；Massachusetts Institute of Technology（麻省理工学院）
我们研究自适应方法差分私人凸优化，提出和分析差分私人变量的自适应步长的随机梯度下降（SGD）算法，以及AdaGrad算法。我们提供了两种算法的遗憾上界，并表明边界是（最坏情况下）最优的。由于我们的发展，我们表明，我们的私人版本的AdaGrad优于自适应SGD，这反过来又优于传统的SGD的情况下，非各向同性梯度（非私人）Adagrad可证明优于SGD。主要的挑战是，通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下，我们研究非各向同性剪切和噪声添加，开发一个原则性的理论方法，随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong（香港中文大学）
近年来，许多方差缩减的随机交替方向乘子法（ADMM）方法（例如，SAG-ADMM、SDCA-ADMM和SVRG-ADMM）在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而，一般凸问题的最佳已知收敛速度是O（1/T），而加速批处理算法的收敛速度是O（1/T^2），其中$T$是迭代次数。因此，现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距，我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM（SVRG-ADMM），这导致了加速（ASVRG-ADMM）方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外，还将一般凸问题的收敛速度从O（1/T）提高到O（1/T^2）。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学-伯克利深圳学院，清华大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文介绍了有限和凸优化问题的一种简化统一的方法，称为\emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}。在一般的凸和强凸的设置，VRADA可以达到$O\big(\frac{1}{n}\big)$ -精确的解决方案，在$O(n\log\log n)$数量的随机梯度评估，提高了最有名的结果$O(n\log n)$，其中$n$是样本的数量。同时，VRADA匹配的一般凸设置的下限到一个$\log\log n$因子，并匹配的下限在两个制度$n\le Θ(κ)$和$n\gg κ$的强凸设置，其中$κ$表示的条件数。VRADA不仅改进了已有的结果，而且同时满足上述所有下界，对于一般凸和强凸情形，VRADA的算法实现和收敛性分析更加统一和简化.潜在的新方法，如VRADA中的新初始化策略，可能会引起独立的兴趣。通过在真实数据集上的实验，我们证明了VRADA在大规模机器学习问题上优于现有方法的良好性能。
2021-03-07 cs.LG math.OC
High-Probability Convergence of Clipped SGD under Heavy-Tailed Noise and $(L_0,L_1)$-Smoothness
MCAS（麦吉尔-西奈大学（McGill-Sinai Academy））；MBZUAI（穆罕默德·本·拉希德智能研究院（MBZUAI））
本文研究重尾噪声与 $(L_0,L_1)$-光滑性下凸优化的 Clip-SGD 收敛问题，首次建立高概率收敛界，并统一恢复确定性和 $L_1=0$ 随机特例。
2026-09-30 cs.LG math.OC
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Ecole Polytechnique（巴黎综合理工学院）
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法（3 P-SPIDER）。它是一种随机变度量前向-后向算法，允许近似预处理前向算子，并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明，3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下，不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER，并研究其复杂性，以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置，方差减少技术来解决有限和设置通过使用minibatch策略，并允许确定性或随机近似的预处理前向算子。最后，通过应用逻辑回归模型的推理随机效应，我们数值比较3 P-SPIDER其他随机向前向后算法，并讨论了一些设计参数的3 P-SPIDER的作用。
2023-03-08 cs.LG math.OC
Smoothed Normalization for Efficient Distributed Private Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对光滑非凸分布式优化缺乏差分隐私方法的问题，本文提出结合平滑归一化与误差反馈的 α-NormEC，并扩展至 DP 设置，首次给出可证明收敛保证且实验收敛稳健。
2025-02-19 cs.CR cs.DC cs.LG
Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance
School of Data Science, Fudan University（数据科学学院，复旦大学）
本文提出D-NSS算法，针对异质方差问题，通过节点特定采样和方差减少技术，实现更紧的样本复杂性界，并通过实验验证其有效性。
2026-02-12 cs.LG math.OC
Robustness to Unbounded Smoothness of Generalized SignSGD
George Mason University（乔治梅森大学）；Boston University（波士顿大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
非凸优化中的传统分析通常依赖于平滑性假设，即要求梯度是Lipschitz。然而，最近的证据表明，这种平滑条件并没有捕捉到一些深度学习目标函数的属性，包括涉及递归神经网络和LSTM的目标函数。相反，它们满足一个更宽松的条件，具有潜在的无界光滑性。在这种宽松的假设下，理论和经验表明，梯度剪切SGD比香草SGD具有优势。在本文中，我们表明，裁剪是不必要的亚当型算法在处理这种情况下：我们从理论上证明，广义SignSGD算法可以获得类似的收敛速度SGD裁剪，但不需要明确的裁剪。这一系列算法的一端恢复SignSGD，另一端非常类似于流行的Adam算法。我们的分析强调了动量在分析SignSGD型和Adam型算法中的关键作用：它不仅减少了噪声的影响，从而消除了以前SignSGD型算法分析中对大型小批量的需要，而且还大大减少了无界平滑和梯度范数的影响。我们还在一组深度学习任务上将这些算法与流行的优化器进行了比较，观察到我们可以在击败其他人的同时匹配Adam的性能。
2022-08-23 cs.LG math.OC
COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization
Instituto de Sistemas e Robótica, Instituto Superior Técnico（系统与机器人研究所，高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
随机优化的一阶方法具有不可否认的相关性，部分原因是它们在机器学习中的关键作用。降低这些算法的方差已成为一个重要的研究课题。与常见的方法，很少利用全局模型的目标函数，我们利用凸性和L-光滑性，以提高噪声估计输出的随机梯度预言机。我们的方法，名为COCO降噪，是联合最大似然估计的多个函数梯度从他们的噪音观测，受到他们之间的协方差约束。由此产生的估计是凸二次约束二次问题的解决方案。虽然这个问题是昂贵的解决内点方法，我们利用其结构，适用于加速一阶算法，快速双邻近梯度法。除了分析所提出的估计特征，我们经验表明，增加查询点的数量和接近度会导致更好的梯度估计。我们还将COCO应用于随机设置中，将其插入现有算法，如SGD，Adam或STRSAGA，即使在我们的建模假设不匹配的情况下，也会优于其普通版本。
2021-09-07 cs.LG math.OC
Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
Nanjing University（南京大学）；Zhejiang University（浙江大学）
本文针对随机约束多层级复合优化提出无投影方差缩减算法，在梯度映射和Frank-Wolfe间隙准则下均达到或匹配最优复杂度，并扩展至凸与强凸情形，实验验证了其有效性。
2024-06-06 cs.LG math.OC
Linear Convergence of Variance-Reduced Stochastic Gradient without Strong Convexity
University of Michigan（密歇根大学）
本文提出Prox-SVRG和VRPSG算法，证明在无强凸性条件下，这些算法在约束和正则化问题中实现线性收敛，引入Semi-Strongly Convex不等式作为关键理论贡献。
2015-07-10 cs.LG cs.NA math.NA
