High-dimensional limit theorems for SGD: Momentum and Adaptive Step-sizes
Department of Statistics and Actuarial Science, University of Waterloo, Canada（统计与精算科学系，滑铁卢大学，加拿大）；Cheriton School of Computer Science, University of Waterloo, Canada（切尔顿计算机科学学院，滑铁卢大学，加拿大）
本文研究了SGD-M和自适应步长在高维下的极限定理，揭示了其与在线SGD的异同，并展示了在高维情况下自适应步长的优势。
2026-02-18 cs.LG stat.ML
On the Generalization of Stochastic Gradient Descent with Momentum
University of Oslo（奥斯陆大学）；Visual Intelligence Centre（视觉智能中心）；Integreat, Norwegian Centre for Knowledge-driven Machine Learning（Integreat，挪威知识驱动机器学习中心）；EPFL（洛桑联邦理工学院）；Laboratory for Information and Inference Systems (LIONS), EPFL（信息与推理系统实验室（LIONS），洛桑联邦理工学院）；University of Toronto（多伦多大学）
本文从稳定性角度研究带动量 SGD 的泛化性，证明标准 SGDM 在凸损失下稳定性差距可能无界，提出 SGDEM 并在广泛步长和强凸情形下给出泛化保证及真实风险上界，实验验证了理论结果。
2024-01-15 cs.LG stat.ML
On the Generalization of Stochastic Gradient Descent with Momentum
虽然基于动量的方法与随机梯度下降（SGD）结合在训练机器学习模型时被广泛使用，但对此类方法的泛化误差几乎没有理论理解。在这项工作中，我们首先表明，存在一个凸的损失函数的算法稳定性无法建立泛化保证时，SGD与标准重球动量（SGDM）运行多个时期。然后，对于光滑Lipschitz损失函数，我们分析了一种改进的基于动量的更新规则，即，SGD与早期动量（SGDEM），并表明它承认一个上限的泛化误差。因此，我们的研究结果表明，机器学习模型可以在SGDEM的多个时期进行训练，并保证泛化。最后，对于强凸损失函数的特殊情况，我们找到了一个动量范围，使得标准SGDM的多个时期，作为SGDEM的一种特殊形式，也是推广的。扩展我们在泛化方面的结果，我们还根据训练步骤的数量、训练集的大小和动量参数，开发了预期真实风险的上限。实验结果验证了数值结果与理论界的一致性以及SGDEM对光滑Lipschitz损失函数的有效性。
2021-09-23 cs.LG math.OC stat.ML
Momentum Improves Normalized SGD
Google Research（谷歌研究院）
我们提供了一个改进的分析归一化SGD显示，增加动量可证明消除了对非凸目标的大批量的需要。然后，我们考虑的情况下，有界的二阶导数的目标，并表明，在这种情况下，一个小的调整的动量公式允许归一化SGD与动量找到一个$ε$ -临界点在$O(1/ε^{3.5})$迭代，匹配最知名的利率，而不产生任何对数因子或依赖于尺寸。我们还提供了一个自适应的方法，自动提高收敛速度时，在梯度的变化是小的。最后，我们证明了我们的方法在用于流行的大规模任务（如ResNet-50和BERT预训练）时是有效的，与用于在这两个任务上获得最先进结果的不同方法的性能相匹配。
2020-05-17 cs.LG math.OC stat.ML
Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research（脸书人工智能研究院）
动量方法现在在机器学习社区中广泛使用，用于训练非凸模型，例如深度神经网络。从经验上讲，它们优于传统的随机梯度下降（SGD）方法。在这项工作中，我们开发了一个李雅普诺夫分析的SGD与动量（SGD+M），利用等效重写的方法称为随机原始平均（SPA）的形式。在非凸情况下，这种分析比以前的理论要严格得多，因此，我们能够精确地了解SGD+M何时可能优于SGD，以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Is Local SGD Better than Minibatch SGD?
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；EPFL（洛桑联邦理工学院）；University of Chicago（芝加哥大学）；Google（谷歌）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究本地SGD（也称为并行SGD和联邦平均），一种自然的和经常使用的随机分布式优化方法。它的理论基础目前缺乏，我们强调如何在凸设置所有现有的误差保证是由一个简单的基线，minibatch SGD为主。(1)对于二次型目标，我们证明了局部SGD严格优于minibatch SGD，并且对于二次型目标，加速局部SGD是minimax最优的：（2）对于一般凸目标，我们提供了第一个保证，至少有时优于minibatch SGD;（三）我们表明，确实本地SGD不占主导地位的minibatch SGD提出了一个下界的性能本地SGD是比minibatch SGD差保证.
2020-07-20 cs.LG math.OC stat.ML
On the Last Iterate Convergence of Momentum Methods
Boston University（波士顿大学）；George Mason University（乔治梅森大学）
SGD with Momentum（SGDM）是一种广泛用于机器学习问题大规模优化的算法族。然而，当优化通用凸函数时，任何SGDM算法都没有比普通SGD算法更好的优势。此外，即使是最新的结果需要改变的SGDM算法，如平均的迭代和投影到一个有界域，这是很少使用在实践中。在本文中，我们主要关注的SGDM的最后一个收敛速度。第一次证明了对于任意的常数动量因子，存在一个Lipschitz凸函数，使得SGDM的最后一步迭代在经过$T$迭代后收敛速度为$Ω(\frac{\ln T}{\sqrt{T}})$.基于这一事实，我们研究了一类（自适应和非自适应）基于Follow-The-Regularized-Leader-based SGDM算法的增加动量和收缩更新。对于这些算法，我们证明了最后一个无约束凸随机优化问题的最佳收敛$O(\frac{1}{\sqrt{T}})$没有投影到有界域，也没有知识的$T$。此外，我们展示了各种基于FTRL的SGDM与自适应步长一起使用时的结果。实证结果也显示。
2022-07-24 cs.LG math.OC stat.ML
Dimension-adapted Momentum Outscales SGD
Mila - Quebec AI Institute & Université de Montréal（Mila - 魁北克人工智能研究所 & 蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；McGill University（麦吉尔大学）
研究随机动量算法在幂律随机特征模型下的标度律，揭示四种损失曲线形状，提出维度自适应Nesterov加速（DANA）通过缩放动量超参数超越SGD的标度指数，实验验证其有效性。
2025-05-22 cs.LG math.OC stat.ML
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University（南京大学）
针对大批次SGD训练泛化精度下降的问题，提出带动量的随机归一化梯度下降方法SNGM，理论上可在相同梯度计算量下用更大批次收敛，实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
When and Why Momentum Accelerates SGD:An Empirical Study
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
该研究通过实证探究动量加速SGD的时机与原因，构建有效学习率比较框架发现其优势随学习率和批量大小变化，且动量通过阻止或推迟方向海森矩阵的突变锐化实现加速，深化了对动量机制的理解。
2023-06-15 cs.CV cs.LG
Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
Meiji University（明治大学）
研究普通SGD尤其是带动量的在重尾噪声下的表现，通过细化收敛结果及全面分析，揭示其在重尾噪声下收敛率低于裁剪或归一化变体，展现普通方法局限性，合成函数实验支持理论发现。
2026-08-14 cs.LG
SGD Generalizes Better Than GD (And Regularization Doesn't Help)
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
在基本随机凸优化模型下，给出了随机梯度下降（SGD）和全批梯度下降（GD）推广性能的一个新的分离结果.虽然SGD是众所周知的，$O(1/ε^2)$迭代足以获得一个解决方案与$ε$超出预期的风险，我们表明，与相同数量的步骤GD可能过拟合和发射解决方案与$Ω(1)$泛化误差。此外，我们表明，实际上GD需要$Ω(1/ε^4)$迭代来匹配SGD的泛化性能，由于Basily等人（2020）的最近工作，这也是严格的。我们进一步讨论了如何正则化GD最小化的经验风险基本上不改变上述结果，并重新审视了稳定性，隐式偏差和学习算法在泛化中的作用的概念。
2021-06-29 cs.LG stat.ML
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）；Microsoft Research Asia（微软亚洲研究院）
自适应矩估计（Adam）结合了自适应学习率和动量，将是最受欢迎的随机优化器，用于加速深度神经网络的训练。然而，经验上已知，亚当通常比随机梯度下降（SGD）更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说，我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点，但不能选择平坦的极小SGD。相比之下，Momentum提供了一个漂移效应来帮助训练过程通过鞍点，并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD（带动量）的泛化能力更好，而Adam的泛化能力更差，但收敛速度更快。此外，在分析的基础上，我们设计了一个新的自适应优化框架Adaptive Inertia，它使用参数自适应惯性来加速训练，并可证明有利于平坦最小值和SGD。我们的大量实验表明，所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
遵循与[SSJ 20]相同的程序，本文继续对带动量的随机梯度下降（SGD with momentum）进行理论分析。随后，对于具有动量的SGD，我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程（hp依赖的随机微分方程），作为一个连续的替代SGD与动量。同样，我们建立了具有动量的连续时间SGD公式的线性收敛性，并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较，我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时，引入动量的变化。然后，我们提出了一个数学解释，为什么有动量的SGD收敛速度更快，更强大的学习率比标准SGD在实践中。最后，我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
2022-09-11 cs.LG math.AP math.OC
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
Cornell University（康奈尔大学）
本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。
2026-07-27 cs.LG math.OC stat.ML
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Management Science and Information Systems, Rutgers Business School（罗格斯大学商学院管理科学与信息系统系）
带动量的随机梯度下降（SGDm）是深度学习中最流行的优化算法之一。虽然有丰富的SGDm理论用于凸问题，但该理论在深度学习的背景下发展得相当少，其中问题是非凸的，并且梯度噪声可能表现出重尾行为，正如最近的研究所观察到的那样。在这项研究中，我们考虑了一个\emph{continuous-time}变形的SGDm，称为欠阻尼朗之万动力学（ULD），并研究其渐近性质下的重尾扰动。支持最近的研究从统计物理，我们认为在理论上和经验上，这种扰动的重尾可以导致偏见，即使当步长很小，在这个意义上说，\emph{the optima of stationary distribution}的动态可能不匹配\emph{the optima of the cost function to be optimized}。作为补救措施，我们开发了一个新的框架，我们将其命名为\emph{fractional} ULD（FULD），并证明FULD针对所谓的吉布斯分布，其最优值与原始成本的最优值完全匹配。我们观察到，FULD的欧拉离散化与\emph{natural gradient}方法和\emph{gradient clipping}具有值得注意的算法相似性，为理解它们在深度学习中的作用带来了新的视角。我们支持我们的理论与合成模型和神经网络上进行的实验。
2020-11-04 cs.LG stat.ML
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系，本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Quasi-hyperbolic momentum and Adam for deep learning
Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）
基于动量的随机梯度下降（SGD）加速广泛用于深度学习。我们提出了准双曲线动量算法（QHM）作为一个非常简单的动量SGD的变化，平均一个普通的SGD步骤与动量步骤。我们描述了许多连接和身份与其他算法，我们的特点是一套双态优化算法，QHM可以恢复。最后，我们提出了Adam的QH变体，称为QHAdam，并且我们根据经验证明，我们的算法在各种设置中显著改善了训练，包括WMT 16 EN-DE上的最新结果。我们希望这些实证结果，结合QHM和QHAdam的概念和实践的简单性，将激发从业者和研究人员的兴趣。代码立即可用。
2019-05-02 cs.LG stat.ML
SGD momentum optimizer with step estimation by online parabola model
Jagiellonian University（雅盖隆大学）
在随机梯度下降中，特别是在神经网络训练中，目前主要的一阶方法是：不将局部距离建模为最小。最佳步长所需的这些信息由二阶方法提供，然而，它们有许多困难，从具有系数维数平方的全Hessian开始。本文提出了一个从成功的一阶动量法到二阶动量法的最小步骤：单方向在线抛物线建模：动量法的归一化$\hat{v}$。通过估计$\hat{v}$方向上的梯度$\vec{g}=\nabla F(\vecθ)$的线性趋势来完成：使得$g(\vecθ_\bot+θ\hat{v})\approx λ(θ-p)$用于$θ= \vecθ\cdot \hat{v}$、$g= \vec{g}\cdot \hat{v}$、$\vecθ_\bot=\vecθ-θ\hat{v}$。使用线性回归，$λ$、$p$是通过在所考虑的方向上仅更新四个平均值（$g$、$θ$、$gθ$、$θ^2$）来估计的MSE。指数移动平均线允许在这里进行廉价的在线估计，削弱了旧梯度的贡献。控制曲率的符号$λ$，我们可以从鞍排斥，而不是在标准牛顿方法中的吸引。在其余的方向：在二阶模型中不考虑，我们可以同时执行例如梯度下降。还讨论了其学习率近似为$μ=σ_θ/ σ_g$，允许例如自适应SGD -对于每个参数分别优化（二阶）学习率。
2019-12-09 cs.LG stat.ML
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法，动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降（Sgdm）使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重，已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析，我们的方法，这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明，该方法在实际问题中表现良好，性能优于Sgdm，在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization
School of Industrial and Systems Engineering at Georgia Tech（佐治亚理工学院工业与系统工程学院）
动量随机梯度下降（Momentum Stochastic Gradient Descent，MSGD）算法已被广泛应用于机器学习中的许多非凸优化问题，例如，训练深度神经网络，变分贝叶斯推理等。尽管它的经验成功，仍然缺乏对MGD收敛特性的理论理解。为了填补这一空白，我们建议分析的算法行为的MSGD扩散近似的非凸优化问题，严格的鞍点和孤立的局部最优。我们的研究表明，动量有助于逃离鞍点，但损害最优邻域内的收敛（如果没有步长退火或动量退火）。我们的理论发现部分证实了MSGD在训练深度神经网络方面的经验成功。
2021-03-06 cs.LG math.OC stat.ML
Why (and When) does Local SGD Generalize Better than SGD?
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）
本地SGD是SGD的一种通信高效变体，用于大规模训练，其中多个GPU独立执行SGD并定期对模型参数进行平均。最近已经观察到，本地SGD不仅可以实现减少通信开销的设计目标，而且还导致比相应的SGD基线更高的测试准确度（Lin等人，2020 b），尽管这种情况发生的培训制度仍在争论中（Ortiz et al.，2021年）。本文旨在了解为什么（以及何时）局部SGD基于随机微分方程（Stochastic Differential Equation，简称SGD）近似更好地推广。本文的主要贡献包括：（i）在小学习率范围内捕获局部SGD的长期行为的噪声的推导，显示噪声如何驱动噪声漂移和扩散后，它已经达到接近局部最小值的流形，（ii）局部SGD和SGD的SDES之间的比较，显示局部SGD引起更强的漂移项，其可以导致更强的正则化效果，例如，锐度的更快降低，以及（iii）经验证据证实，具有小的学习率和足够长的训练时间能够实现相对于SGD的泛化改进，但是去除这两个条件中的任何一个都不会导致改进。
2023-03-09 cs.LG
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services（亚马逊云科技）；Hong Kong University of Science and Technology（香港科技大学）
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Convergence of SGD with momentum in the nonconvex case: A time window-based analysis
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出基于时间窗口的分析方法，在非凸情形下建立了带动量随机梯度下降（SGDM）的迭代收敛性，并给出依赖于Łojasiewicz指数和步长方案的局部收敛速率。
2024-12-27 cs.LG math.OC
APMSqueeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm
Microsoft（微软）；University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）
Adam是保证训练BERT和ImageNet等许多重要任务的效率和准确性的重要优化算法。然而，Adam通常与信息（梯度）压缩技术不兼容。因此，通信通常成为并行化Adam的瓶颈。本文提出了一种通过压缩梯度的误差补偿方法来提高通信效率的{ \bf A}DAM { \bf p}修正{ \bf M}动量SGD算法--APMSqueeze。所提出的算法实现了类似的收敛效率亚当的时期，但显着减少了每个时期的运行时间。在端到端性能方面（包括全精度预处理步骤），APMSqueeze能够提供{有时根据网络带宽，最高可达$2-10\times$的速度提升。}并对算法的收敛性和效率进行了理论分析。
2020-08-28 cs.DC cs.LG stat.ML
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
DecentLaM: Decentralized Momentum SGD for Large-batch Deep Training
Alibaba Group（阿里巴巴集团）；University of Pennsylvania（宾夕法尼亚大学）
当今深度学习的规模要求高效的分布式训练算法。去中心化动量SGD（DmSGD），其中每个节点仅与其邻居平均，比在所有计算节点上产生全局平均的vanilla并行动量SGD更有效。另一方面，大批量训练已被证明是实现运行时加速的关键。这促使我们研究DmSGD如何在大批量场景中执行。在这项工作中，我们发现动量项可以放大DmSGD中的不一致偏差。随着批量的增大，这种偏差变得更加明显，从而导致严重的性能下降。接下来，我们提出DecentLaM，一种新的分散的大批量动量SGD，以消除动量引起的偏差。建立了非凸和强凸情形下的收敛速度。我们的理论结果证明了DecentLaM的DmSGD的优越性，特别是在大批量的情况下。在各种计算机视觉任务和模型上的实验结果表明，DecentLaM保证了高效和高质量的训练。
2021-04-24 cs.DC cs.LG math.OC
Signal Processing Meets SGD: From Momentum to Filter
Shenyang University of Chemical Technology（沈阳化工大学）；University of Louisville（路易斯维尔大学）；Northeastern University（东北大学）；University of Macau（澳门大学）
本文从信号处理视角分析SGD梯度更新中的偏差与方差平衡问题，提出基于维纳滤波原理的SGDF方法，通过最小化均方误差获得最优时变增益，实现更优的收敛性与泛化性能。
2025-03-07 cs.LG eess.SP
Scheduled Restart Momentum for Accelerated Stochastic Gradient Descent
University of Utah（犹他大学）；Rice University（莱斯大学）；National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
具有恒定动量的随机梯度下降（SGD）及其变体（如Adam）是训练深度神经网络（DNN）的首选优化算法。由于DNN训练在计算上非常昂贵，因此人们对加速收敛非常感兴趣。Nesterov加速梯度（NAG）使用特殊设计的动量提高了凸优化的梯度下降（GD）的收敛速度;然而，当使用不精确的梯度时（如SGD），它会积累误差，最好的情况下会减慢收敛速度，最坏的情况下会发散。在本文中，我们提出了计划重启SGD（SRSGD），这是一种新的NAG风格的DNN训练方案。SRSGD用NAG中增加的动量代替SGD中的恒定动量，但根据时间表将动量重置为零来稳定迭代。使用各种图像分类的模型和基准，我们证明，在训练DNN时，SRSGD显着提高了收敛性和泛化能力;例如，在训练ResNet 200进行ImageNet分类时，SRSGD实现了20.93%的出错率，而基准为22.13%。随着网络的深入，这些改进变得更加重要。此外，在CIFAR和ImageNet上，SRSGD达到了类似甚至更好的出错率，与SGD基线相比，训练时间明显减少。
2020-04-26 cs.LG cs.NE stat.ML
First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
针对带动量项的随机梯度下降，在弱假设下提出其一阶和二阶连续近似，允许学习率和动量参数随时间变化，弥补了现有理论仅覆盖恒定学习率或无动量情形的不足。
2025-04-18 cs.LG math.OC
Stochastic Gradient Descent with Momentum is Algorithmically Stable
Department of Mathematics, The University of Hong Kong（香港大学数学系）；Department of Mathematics and Mathematical Statistics, Umeå University（乌梅大学数学与统计学系）
本文通过算法稳定性分析，证明了带动量的随机梯度下降（SGDM）在光滑凸问题上具有泛化保证，并建立了最优的过界总体风险界。
2026-10-01 cs.AI cs.LG
Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本文提出一种基于动量的异步框架，旨在保留延迟梯度信息并缓解滞后影响，首次在凸和非凸光滑设置中获得数据依赖延迟的最优收敛率，并提出鲁棒的学习率调度方案。
2026-10-06 cs.LG
Can Single-Shuffle SGD be Better than Reshuffling SGD and GD?
Massachusetts Institute of Technology（麻省理工学院）
我们提出了矩阵范数不等式，通过补充另一个不等式来扩展Recht-Ré（2012）关于非交换AM-GM不等式的猜想，该不等式解释了单次洗牌，这是一种广泛使用的无替换抽样方案，在开始时只洗牌一次，在Recht-Ré猜想中被忽略。而不是一般的半正定矩阵，我们限制我们的注意力，正定矩阵足够小的条件数，这是更相关的矩阵中出现的SGD分析。对于这样的矩阵，我们推测对应于SGD的有替换和无替换变体的矩阵乘积的均值满足一系列谱范数不等式，这些不等式可以概括为：“单洗牌SGD比随机洗牌SGD收敛得更快，随机洗牌SGD又比有替换SGD收敛得更快。“我们提出的定理，支持我们的猜想证明几个特殊情况。
2021-03-12 cs.LG math.OC
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
Yandex Research（Yandex研究院）
本文提出自适应预条件SGD的统一收敛分析，恢复多种自适应梯度方法的最优结果，并首次证明利用Nesterov动量可加速AdaGrad等方法收敛，为Adam的效率提供理论解释。
2025-06-30 cs.LG math.OC
Dynamic Momentum Recalibration in Online Gradient Learning
Shenyang University of Chemical Technology（沈阳化工大学）；University of Louisville（路易斯维尔大学）；Northeastern University（东北大学）
SGDF通过动态调整动量系数优化梯度估计，提升深度学习优化性能。
2026-03-06 cs.LG
Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration
Google DeepMind（谷歌DeepMind）；Apple（苹果公司）；Chi Jin
本文研究了局部SGD中外优化器的作用，证明了调整外学习率可平衡优化误差与噪声方差，并改进收敛率。
2025-12-11 cs.LG math.OC stat.ML
Contrastive Weight Regularization for Large Minibatch SGD
University of Utah（犹他大学）；Cornell University（康奈尔大学）
小批量随机梯度下降方法（SGD）由于其效率和可扩展性而被广泛应用于深度学习中，从而能够训练具有大量数据的深度网络。特别是在分布式环境中，SGD通常应用于大批量。然而，与小批量SGD相反，用大批量SGD训练的神经网络模型几乎不能很好地泛化，即，验证精度低。在这项工作中，我们引入了一种新的正则化技术，即独特的正则化（DReg），它复制了深度网络的某一层，并鼓励两层的参数是不同的。DReg技术引入了非常少的计算开销。此外，我们的经验表明，优化神经网络与DReg使用大批量SGD实现了显着提高收敛和提高泛化性能。我们还证明了DReg可以促进大批量SGD的收敛。我们相信DReg可以作为一个简单的正则化技巧来加速深度学习中的大批量训练。
2020-11-17 cs.LG stat.ML
The Marginal Value of Momentum for Small Learning Rate SGD
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文通过理论分析与实验表明，在小学习率、梯度噪声主导的随机优化中，带动量与不带动量的 SGD 表现相近，动量对优化和泛化的实际收益有限。
2024-04-16 cs.LG math.OC
On Uniform Boundedness Properties of SGD and its Momentum Variants
KTH - Royal Institute of Technology（KTH皇家理工学院）
随机梯度下降的一个理论问题，也是潜在的实际问题是轨迹可能逃逸到无穷大。本文研究了随机梯度下降算法及其重要的动量变量的迭代点和函数值沿轨迹的一致有界性。在光滑性和$R$ -损失函数的耗散性下，我们证明了广泛的步长家族，包括广泛使用的步进衰减和带有（或不带有）重新启动步长的余弦，会导致一致有界的迭代和函数值。几个重要的应用，满足这些假设，包括相位恢复问题，高斯混合模型，和一些神经网络分类器，进行了详细讨论。对于尾部增长慢于二次函数的函数，我们进一步推广了SGD及其动量变量在广义耗散性下的一致有界性。这包括一些有趣的应用，例如，贝叶斯逻辑回归和逻辑回归与$\ell_1$正则化。
2022-06-22 cs.LG math.OC
$μ^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism
Technion（以色列理工学院）
针对随机凸优化问题，提出结合双动量机制的梯度估计器并设计SGD及加速算法，证明了其在固定学习率下对无噪声和有噪声情况均能取得最优收敛率且对学习率选择具有鲁棒性。
2025-03-05 cs.LG math.OC
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research（Salesforce研究院）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说，我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程（SDEs），因为一个算法和它的收敛行为相似。然后，我们建立这些SDES从当地盆地的逃逸时间。结果表明：（1）SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关，与梯度噪声的强弱呈负相关;（2）对于同一流域，SGD比ADAM具有更小的逃逸时间，主要是因为（a）ADAM中的几何适应~通过对各梯度坐标的自适应缩放，很好地消除了梯度噪声中的各向异性结构，使盆地的Radon测度增大;（b）ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定，并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值，通常比尖锐的极小值更好地推广，我们的结果解释了SGD优于ADAM的推广性能。最后，实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
Ordered Momentum for Asynchronous SGD
School of Computer Science, Nanjing University（南京大学计算机科学学院）；National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）
本文提出有序动量（OrMo）方法，通过按迭代索引排序梯度将动量引入异步SGD，理论上证明了非凸问题下不依赖最大延迟的收敛性，实验显示其收敛性能优于现有异步动量方法。
2025-01-23 cs.DC cs.LG
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
On the Convergence of Memory-Based Distributed SGD
Nanjing University（南京大学）
分布式随机梯度下降算法（DSGD）被广泛应用于大规模机器学习模型的优化，包括凸模型和非凸模型。随着模型规模的快速增长，巨大的通信开销已经成为传统DSGD的瓶颈。近年来，提出了许多通信压缩方法。基于记忆的分布式随机梯度下降算法M-DSGD是一种有效的方法，因为每个工作者在每次迭代中传递一个稀疏向量，所以通信代价很小。最近的工作提出了M-DSGD的收敛速度时，它采用香草SGD。然而，M-DSGD在采用动量SGD时的收敛性理论还很缺乏。本文通过引入\emph{transformation equation}，给出了M-DSGD的一个普适收敛性分析.该转换方程描述了传统DSGD与M-DSGD之间的关系，从而可以将M-DSGD转换为相应的DSGD。从而得到了带动量的M-DSGD对凸和非凸问题的收敛速度。此外，我们结合M-DSGD和阶段式学习，M-DSGD在每一阶段的学习率是一个常数，并逐步减少，而不是迭代。利用该变换方程，我们给出了分段M-DSGD的收敛速度，弥补了理论与实践之间的差距。
2019-05-30 cs.LG stat.ML
Faster SGD training by minibatch persistency
University of Padova（帕多瓦大学）
众所周知，对于大多数数据集，使用大尺寸的minibatch进行随机梯度下降（SGD）通常会导致收敛速度慢和泛化能力差。另一方面，大的小批量具有很大的实际意义，因为它们允许更好地利用现代GPU。以前的文献集中在如何调整主要的SGD参数（特别是，学习率）时，使用大的小批量。在这项工作中，我们引入了一个额外的功能，我们称之为minibatch持久化，它包括在重复使用相同的minibatch为K个连续的SGD迭代。这里的计算推测是，一个大的小批量包含了训练集的一个重要样本，所以人们可以稍微过拟合它，而不会使泛化性能恶化太多。该方法旨在加速SGD收敛，并且还具有减少与内部GPU存储器上的数据加载相关的开销的优点。我们目前的计算结果CIFAR-10与AlexNet架构，表明即使是小的持久性值（K=2或5）已经导致一个显着更快的收敛和可比（甚至更好）的泛化比标准的“一次性minibatch”的方法（K=1），特别是当使用大型minibatch。从中得到的教训是，小批量持久化可以是处理大型小批量的一种简单而有效的方法。
2018-06-19 cs.LG stat.ML
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销，例如仅在执行多个本地SGD步骤之后进行同步，以及分散式方法（例如，使用流言算法）来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快，后者在每次更新之前使用阻塞通信，但在相同数量的更新之后，生成的模型可能不太准确。受Chen & Huo（2016）的BMUF方法的启发，我们提出了一个慢动量（SlowMo）框架，其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明，相对于基本优化器，SlowMo始终在优化和泛化性能方面有所改进，即使在许多更新中分摊了额外的开销，使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明，SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示，我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
Detached Error Feedback for Distributed SGD with Random Sparsification
University of Pittsburgh（匹兹堡大学）
通信瓶颈一直是大规模分布式深度学习中的关键问题。在这项工作中，我们研究了分布式SGD与随机块稀疏作为梯度压缩机，这是环allreduce兼容和高计算效率，但导致性能较差。为了解决这一重要问题，我们从一个新的方面，即方差和梯度的二阶矩之间的权衡，提高了通信效率的分布式SGD。基于这种动机，我们提出了一种新的分离式误差反馈（DEF）算法，该算法在非凸问题上显示出比误差反馈更好的收敛界。我们还提出了DEF-A在训练的早期阶段加速DEF的泛化，这表明了比DEF更好的泛化范围。此外，我们首次建立了通信高效的分布式SGD和具有平均值的SGD（SGD-IA）之间的联系。广泛的深度学习实验表明，在各种设置下，所提出的方法有显着的经验改进。
2022-06-13 cs.CV cs.LG stat.ML
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Accelerating Single-Pass SGD for Generalized Linear Prediction
Peking University（北京大学）
本文提出了一种新型算法，通过数据依赖性近端方法实现双动量加速，解决了流式环境下一般线性预测中动量加速的有效性问题。
2026-03-02 cs.LG math.OC stat.ML
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST（卡塔尔科技大学）
本文提出Rennala MVR算法，通过基于动量的方差缩减技术，在异构系统中改进时间复杂度，验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
该研究针对高维学习问题中SGD及其加速变体的最优性边界问题，分析带指数衰减步长和动量的SGD，建立ASGD收敛上界，明确两类算法达到极小极大最优的问题类别，揭示了SGD学习偏差的新规律。
2024-09-15 cs.LG math.OC
