Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Polyak's Heavy Ball Method Achieves Accelerated Local Rate of Convergence under Polyak-Lojasiewicz Inequality
Department of Mathematics and Informatics（数学与信息学系）；University of Wuppertal（乌珀塔尔大学）
本文研究了Polyak重力球方法在满足Polyak-Lojasiewicz不等式条件下实现加速局部收敛的特性。
2026-01-31 cs.LG math.OC
Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks
Army Engineering University of PLA（中国人民解放军陆军工程大学）；Strategic Assessments and Consultation Institute, Academy of Military Science（军事科学院战略评估与咨询研究院）
本文研究两层 ReLU 网络训练中 HB 与 NAG 的收敛差异，借助高分辨率动力系统和 NTK 理论证明 NAG 相对 HB 可证明加速，并在三个基准数据集上验证。
2024-05-08 cs.AI cs.LG math.OC
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex；HSE University（俄罗斯国立高等经济学院）；MIPT（莫斯科物理技术学院）；University of Toronto（多伦多大学）；Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练，可以通过专门的消息传递协议（如Ring All-Reduce）利用数百台计算机。但是，大规模运行这些协议需要可靠的高速网络，而这种网络仅在专用群集中可用。相比之下，许多现实世界的应用程序，如联邦学习和基于云的分布式训练，运行在不可靠的设备上，网络带宽不稳定。因此，这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中，我们提出了Moshpit All-Reduce -一种迭代平均协议，以指数方式收敛到全局平均值，从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示，与竞争性的基于流言的策略相比，ImageNet上ResNet-50训练的速度提高了1.3倍，使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
Acceleration in Distributed Optimization under Similarity
Purdue University（普渡大学）；MIPT（莫斯科物理技术学院）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息传输问题研究所可信人工智能研究中心）
我们研究分布式（强凸）最优化问题在网络的代理，没有集中的节点。由于统计数据的相似性或其他原因，代理的损失函数被假定为\textit{similar}。为了减少通信次数以达到求解精度，提出了一种{ \it预处理，加速}分布式方法。$\varepsilon$ -解决方案是在$\tilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$通信步骤数中实现的，其中$β/μ$是全局和局部损失函数之间的相对条件数，并且$ρ$表征网络的连通性。该速率匹配（多对数因子）较低的复杂性通信边界的分布式八卦算法适用于感兴趣的问题的类。数值结果表明，显着的通信节省现有的加速分布式计划，特别是在解决病态问题。
2022-04-10 cs.LG math.OC
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；MSR-INRIA Joint Centre（微软研究院-法国国家信息与自动化研究所联合中心）
在本文中，我们研究的问题，最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$，分散的加速算法，只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下，$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$，其中$γ$是图的谱间隙，$τ_{\max}$是最大通信延迟，并且$Δ_{\max}$是最大计算时间。因此，它与$SSDA$的速率匹配，当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数，得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法，其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知，它是第一个异步八卦算法，具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
(Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI, Montreal（三星人工智能，蒙特利尔）
本文研究了SHB在强凸二次问题中的加速收敛条件，提出噪声自适应多阶段算法和一般强凸设置下的变体，确保收敛到极小化点并验证其有效性。
2025-05-30 cs.LG math.OC stat.ML
Learning to Control Highly Accelerated Ballistic Movements on Muscular Robots
Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Facebook AI Research（脸书人工智能研究）
本文研究了如何通过学习方法提高肌肉机器人在高速高加速度运动中的控制精度，提出了一种四自由度的机器人臂，利用气动人工肌肉实现高关节角加速度，并通过贝叶斯优化直接在硬件上调整控制参数，从而在快速轨迹上实现了优于以往的结果。
2019-04-07 cs.LG cs.RO cs.SY
Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances
Rutgers Business School（罗格斯商学院）；Florida State University（佛罗里达州立大学）
在机器学习实践中常用的动量方法有Polyak的重球（HB）方法、Nesterov的加速梯度（AG）方法和加速投影梯度（APG）方法，但它们的性能对梯度中的噪声非常敏感。我们研究这些方法下的一阶随机预言模型的噪声估计的梯度。对于强凸问题，我们表明，分布的AG迭代收敛加速$O(\sqrtκ\log(1/\varepsilon))$线性速率的半径$\varepsilon$球集中在一个独特的不变分布在1-Wasserstein度量，其中$κ$是条件数，只要噪声方差小于一个明确的上限，我们可以提供。我们的分析还证明了线性收敛率作为步长，动量参数和噪声方差的函数;在无噪声的情况下恢复加速速率，并量化可以容忍的噪声水平，以实现给定的性能。在强凸二次目标的特殊情况下，我们可以通过对噪声结构的一些附加假设下的非渐近分析，显示出任何$p\geq 1$的$p$ -Wasserstein度量中的加速线性速率，并改善了AG和HB对噪声的敏感性。我们对HB和AG的分析也导致了确定性和随机性设置的次优性的非渐近收敛界的改进，这是独立的兴趣。据我们所知，这是随机预言模型下随机动量方法的第一个线性收敛结果。我们还将我们的结果扩展到APG方法和弱凸函数，当噪声幅度足够小时，显示加速率。
2019-05-17 cs.LG math.OC stat.ML
Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
Columbia University, Irving Medical Center（哥伦比亚大学，伊文斯医疗中心）
HB-SGE通过结合重力球动量与预测梯度外推，提供了一种在不良条件和非凸问题上更稳健的梯度下降方法，兼具稳定性与效率。
2025-12-10 cs.LG
Distributed Solution of Large-Scale Linear Systems via Accelerated Projection-Based Consensus
California Institute of Technology（加州理工学院）；University of Southern California（南加州大学）
本文提出加速分布式共识算法，用于解决大规模线性系统，通过在每个迭代中更新解决方案并结合动量平均，优于梯度下降、Nesterov加速梯度下降、重力球方法和ADMM等方法。
2017-12-11 cs.DC cs.LG cs.NA
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Understanding the Acceleration Phenomenon via High-Resolution Differential Equations
Florida International University（佛罗里达国际大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
本文通过高分辨率微分方程研究优化算法的加速现象，提出了一种新的极限过程，能够区分Nesterov加速梯度法和Polyak重力球方法，并揭示了NAG-C在非强凸函数下的收敛特性。
2018-11-01 cs.LG cs.NA math.CA
Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
我们提出了一种全局加速的一阶方法，用于在广泛的一类Hadamard流形中优化光滑和（强或非）测地线凸函数。我们实现了与Nesterov加速梯度下降相同的收敛速度，直到乘法几何惩罚和对数因子。至关重要的是，我们可以强制我们的方法保持在我们定义的紧致集内。现有的完全加速的作品\emph{resort to assuming}，他们的算法的迭代停留在一些预先指定的紧集，除了两个有限的适用性的前方法。对于我们的流形，这解决了[KY22]中关于获得全局广义加速度而不迭代地停留在可行集中的公开问题。在我们的解决方案中，我们设计了一个加速的黎曼不精确邻近点法，这是一个结果，是未知的，甚至与精确访问的邻近算子，是独立的利益。对于光滑函数，我们证明了我们可以在一定直径的黎曼球上用一阶方法不精确地实现逼近步骤，这足以进行全局加速优化。
2023-01-13 cs.LG math.OC
Heavy Ball Neural Ordinary Differential Equations
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）；University of Utah（犹他大学）
利用经典动量加速梯度下降算法的连续极限，提出了重球神经元常微分方程（HBNODEs），以改进神经元常微分方程（NODEs）的训练和推理. HBNODE有两个属性，这意味着实际优势超过NODE：（i）HBNODE的伴随状态也满足HBNODE，加速向前和向后ODE求解器，从而显着减少函数评估（NFE）的数量并提高训练模型的实用性。(ii)HBNODE的频谱结构良好，能够有效地从复杂的序列数据中学习长期依赖关系。我们验证了HBNODE在基准任务上的优势，包括图像分类，学习复杂的动力学和顺序建模。与其他基于ODE的神经网络模型相比，我们的方法需要显著更少的前向和后向NFE，更准确，更有效地学习长期依赖关系。代码可在\url{https://github.com/hedixia/HeavyBallNODE}上获得。
2021-10-10 cs.AI cs.LG cs.NA
Robustness of accelerated first-order algorithms for strongly convex optimization problems
Ming Hsieh Department of Electrical and Computer Engineering（明希德电气与计算机工程系）；Daniel J. Epstein Department of Industrial and Systems Engineering（丹尼尔·J·埃普斯坦工业与系统工程系）
本文研究了在梯度评估中存在随机不确定性的加速一阶算法的鲁棒性，分析了噪声对优化变量均方误差的影响，并探讨了噪声放大与收敛速率之间的根本权衡。
2020-02-20 cs.AI cs.LG cs.SY
Asynchrony and Acceleration in Gossip Algorithms
本文研究了分布在通信网络节点上的光滑强凸函数之和的极小化问题。关于该主题的先前工作要么集中在同步算法上，其可以被一些慢节点严重减慢（掉队者问题），要么考虑异步操作的模型（Boyd等人，2006），其中相邻节点在泊松点过程的时刻进行通信。我们有两个主要贡献。1)我们提出了CACDM（一种连续加速的坐标对偶方法），对于异步操作的泊松模型，我们证明了CACDM以Nesterov et Stich，2017的加速收敛速度收敛到最优。相比之下，以前提出的异步算法尚未被证明可以实现这样的加速率。虽然CACDM是基于离散更新，其收敛性的证明关键取决于一个连续的时间分析。2)我们介绍了一种新的通信方案的基础上损失的网络，这是可编程的完全异步和分散的方式，不像泊松模型的异步操作，不捕捉的基本方面的非瞬时通信和计算。在此损失网络模型下，我们建立了CDM（一个协调对偶方法）的收敛速度的拉普拉斯算子的特征间隙加权的局部有效延迟。我们相信这个特征间隙是异步优化收敛速度的根本瓶颈。最后，我们实证验证了CACDM享有加速收敛速度的损失网络模型中的Zerky。
2021-02-07 cs.DC cs.MA math.OC
Quantitative Convergences of Lie Group Momentum Optimizers
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）
本文研究李群上基于动量的优化算法Lie Heavy-Ball和新提出的Lie NAG-SC的定量收敛率，证明Lie NAG-SC相比黎曼梯度下降有加速且计算成本更低。
2024-05-30 cs.LG cs.NA math.NA
Restarted Nonconvex Accelerated Gradient Descent: No More Polylogarithmic Factor in the $O(ε^{-7/4})$ Complexity
Nankai University（南开大学）；Peking University（北京大学）
针对梯度和 Hessian 均 Lipschitz 连续的非凸优化，提出带重启机制的 AGD 与 HB，以初等证明获得无多对数因子的 $O(ε^{-7/4})$ 梯度评估复杂度。
2023-04-26 cs.LG math.OC
Accelerated Distributed Aggregative Optimization
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
本文针对分布式聚合优化问题，结合 heavy ball、Nesterov 加速方法与分布式聚合梯度跟踪，提出 DAGT-HB 和 DAGT-NES 两种算法，在光滑强凸条件下实现全局 R-线性收敛，并通过数值实验验证其有效性与优越性。
2023-04-17 cs.LG cs.MA math.OC
Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms
University of Southern California（南加州大学）
该研究针对受加性白噪声影响的两步动量一阶优化算法，利用Jury稳定性判据给出线性收敛的几何刻画，揭示收敛速度与噪声放大的权衡关系，建立强凸优化的不确定性原理，并提出两类兼顾二者且保持帕累托最优的参数化算法族。
2024-06-19 cs.LG cs.SY eess.SY
No-go Theorem for Acceleration in the Hyperbolic Plane
Massachusetts Institute of Technology（麻省理工学院）
近年来，人们做出了很大的努力来将凸优化中的关键工具和思想适应于黎曼环境。一个关键的挑战仍然存在：是否有一个Nesterov样的加速梯度法的测地线凸函数的黎曼流形？最近的工作已经给出了部分答案，希望这应该是可能的。在这里，我们打破这些希望。证明了在噪声环境下，双曲平面上测地线凸函数不存在加速梯度下降的模拟。我们的结果适用于即使当噪声是指数小。我们的证明背后的关键直觉是简短而简单的：在负弯曲的空间中，球的体积增长得如此之快，以至于关于过去梯度的信息在未来没有用。
2021-01-17 cs.DS cs.LG math.OC
Accelerated Frank-Wolfe Algorithms: Complementarity Conditions and Sparsity
本文提出两类加速Frank-Wolfe算法，利用互补条件捕捉解的稀疏性，分别针对多面体和矩阵域，实现最优一阶复杂度且复杂度不依赖环境维度。
2026-09-09 cs.LG math.OC
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks
Center for Strategic Assessment and Consulting, Academy of Military Science（军事科学院战略评估咨询中心）
动量法，包括重球法（heavy-ball~（HB））和Nesterov加速梯度法（NAG），因其收敛速度快而被广泛应用于神经网络的训练。然而，由于神经网络的优化景观是非凸的，因此它们的收敛和加速缺乏理论保证。现在，一些工作取得了进展，了解收敛的动量方法在一个过参数化的制度，其中的参数的数量超过了训练实例。尽管如此，目前的结果主要集中在两层神经网络上，这远远不能解释动量方法在训练深度神经网络方面的显着成功。受此启发，我们研究了具有恒定学习率和动量参数的NAG在训练两种深度线性网络架构：深度全连接线性神经网络和深度线性ResNets时的收敛性。基于过参数化机制，本文首先分析了随机高斯初始化下深度全连接线性神经网络的NAG训练轨迹引起的剩余动力学.我们的研究结果表明，NAG可以收敛到全局最小值在一个$(1 - \mathcal{O}(1/\sqrtκ))^t$率，其中$t$是迭代次数和$κ> 1$是一个常数依赖于条件数的特征矩阵。与GD的$(1 - \mathcal{O}(1/κ))^t$速率相比，NAG实现了超过GD的加速。据我们所知，这是NAG在训练深度神经网络时收敛到全局最小值的第一个理论保证。此外，我们将我们的分析扩展到深度线性ResNets，并得出类似的收敛结果。
2022-04-18 cs.LG math.OC
Provable Convergence of Nesterov's Accelerated Gradient Method for Over-Parameterized Neural Networks
Center for Strategic Assessment and Consulting, Academy of Military Science（军事科学院战略评估咨询中心）
动量法，如重球法（HB）和Nesterov的加速梯度法（NAG），通过将梯度的历史信息融入到当前的更新过程中，已被广泛应用于神经网络的训练中。在实践中，他们往往提供更好的性能（随机）梯度下降~（GD）与更快的收敛。尽管这些经验的成功，其加速收敛速度的理论理解仍然缺乏。最近，一些尝试已经通过分析基于梯度的方法在过参数化制度，其中参数的数量显着大于训练实例的数量的轨迹。然而，现有的理论工作主要是关于GD的，NAG的收敛结果不如HB和GD，这不能解释NAG的实际成功。在本文中，我们通过分析NAG来训练一个随机初始化的过参数化的双层全连接神经网络，并使用ReLU激活来缩小这一差距。尽管事实上，目标函数是非凸的和非光滑的，我们表明，NAG收敛到全局最小值的非渐近线性速率$(1-Θ(1/\sqrtκ))^t$，其中$κ> 1$是一个克矩阵的条件数和$t$是迭代次数。与GD算法的收敛速度$(1-Θ(1/κ))^t$进行了比较，为加速NAG算法在神经网络训练中的应用提供了理论保证。此外，我们的研究结果表明，NAG和HB具有相似的收敛速度。最后，我们在六个基准数据集上进行了大量的实验，以验证我们的理论结果的正确性。
2022-04-16 cs.AI cs.LG
Momentum-based gradient descent methods for Lie groups
Departament de Matemàtiques, Universitat de València（瓦伦西亚大学数学系）；Departamento de Matemática Aplicada, Ciencia e Ingeniería de los Materiales y Tecnología Electrónica, Universidad Rey Juan Carlos（雷乌恩卡洛斯大学应用数学系）；Instituto de Ciencias Matemáticas (CSIC-UAM-UC3M-UCM)（数学科学研究所）；Departamento de Matemáticas, Universidad de Córdoba（科尔多瓦大学数学系）
针对现有类PHB动量优化方法向非线性空间推广研究不足的问题，本文基于经典与加速动量法的变分对应关系，提出面向李群优化的类NAG推广方法，数值实验验证其在旋转群上收敛速度更快，与欧氏空间结果一致。
2025-07-31 cs.LG cs.NA math.DG
Nesterov acceleration in optimizing over probability measures
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究在概率测度优化中，受欧几里得空间Nesterov加速梯度法启发，开发重球法和Nesterov加速法，通过两种互补提升过程克服扩展困难，建立收敛保证并推导收敛率，为动量加速优化提供系统方法。
2026-07-28 cs.LG math.OC
Accelerated Over-Relaxation Heavy-Ball Method: Achieving Global Accelerated Convergence with Broad Generalization
针对重球动量法对一般光滑强凸问题缺乏加速收敛性的问题，提出首个可证明全局加速收敛的AOR-HB法，填补理论空白、扩展应用场景并具备三大优势，推动加速技术发展。
2025-02-17 math.OC
Accelerated Gradient Methods with Biased Gradient Estimates: Risk Sensitivity, High-Probability Guarantees, and Large Deviation Bounds
Rutgers University（罗格斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了具有有偏梯度估计的加速梯度方法，通过风险敏感指数分析其鲁棒性，并给出了高概率保证和大偏差界。
2026-01-13 cs.LG math.OC
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University（复旦大学）
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法，包括随机梯度下降，重球，Nesterov的加速梯度，在一般框架下进行了分析，温和的假设。在期望梯度收敛的基础上，通过详细讨论动量和上交叉数的影响，证明了算法的几乎必然收敛。值得注意的是，没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品，我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University（东北师范大学）；Changchun Humanities and Sciences College（长春人文学院）；Imperial College London（帝国理工学院）
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此，我们解决的最后一个收敛的最后一个输出（称为最后一个收敛）的随机动量方法的非凸随机最优化问题，与传统的优化理论共形。在统一的框架下，我们证明了随机动量方法的最后收敛性，包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数，而不是现有分析中的时变系数。最后，在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
A Unified Analysis of AdaGrad with Weighted Aggregation and Momentum Acceleration
JD Explore Academy, Beijing, China（京东探索研究院，北京，中国）；Facebook, USA（Facebook，美国）；Meituan, Beijing, China（美团，北京，中国）；University of Minnesota, Twin Cities, USA（明尼苏达大学双城分校，美国）；Tencent, Shenzhen, China（腾讯，深圳，中国）
本文提出了一种名为AdaUSM的加权AdaGrad算法，通过统一动量方案和新型加权自适应学习率，实现了在非凸随机设置下的O(√(log(T)/T))收敛率，并从新视角解释了Adam和RMSProp的自适应学习率。
2023-05-15 cs.LG cs.NA math.NA
Understanding the Role of Momentum in Stochastic Gradient Methods
Microsoft Research AI（微软研究院人工智能部）
在随机梯度方法中使用动量已经成为机器学习中的广泛实践。动量的不同变体，包括重球动量、Nesterov加速梯度（NAG）和准双曲动量（QHM），已经在各种任务中取得了成功。尽管这些经验的成功，有一个缺乏清晰的理解如何影响收敛性和不同的算法的各种性能指标的动量参数。在本文中，我们使用QHM的一般配方给出了一个统一的分析几个流行的算法，包括他们的渐近收敛条件，稳定区域，和他们的平稳分布的性质。此外，通过结合收敛率和平稳分布的结果，我们有时会得到反直观的实用指南设置的学习率和动量参数。
2019-10-30 cs.LG math.OC stat.ML
An Accelerated Lyapunov Function for Polyak's Heavy-Ball on Convex Quadratics
1964年，波利亚克证明了最简单的动量法--重球法（Heavy-ball method）可以加速强凸问题在解附近的收敛。虽然Nesterov后来开发了一个全球加速版本，但Polyak的原始算法仍然更简单，并且在深度学习等应用中得到了更广泛的应用。尽管如此受欢迎，但Heavy-ball是否也是全局加速的问题尚未得到完全回答，也没有提供令人信服的反例。这在很大程度上是由于难以找到一个有效的李雅普诺夫函数：事实上，大多数证明重球加速在强凸二次设置依赖于特征值参数。我们的研究采用了一种不同的方法：通过简谐振子的二次不变量来研究动量。通过利用Stormer-Verlet积分器的修正Hamilton，我们能够构造一个Lyapunov函数，证明在凸二次问题的情况下Heavy-ball的速度为O（1/k^2）.这是一个有希望的第一步，有可能证明波利亚克的动量方法的加速，我们希望它能激发在这一领域的进一步研究。
2023-01-14 math.OC
Does Momentum Help? A Sample Complexity Analysis
Indian Institute of Science（印度科学学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
随机重球（SHB）和Nesterov的加速随机梯度（ASG）是随机优化中常用的动量方法。虽然这种加速思想在确定性环境中的好处是众所周知的，但它们在随机优化中的优势仍然不清楚。事实上，在某些特定情况下，动量在样本复杂性意义上没有帮助。我们的工作表明，类似的结果实际上适用于整个二次优化。具体来说，我们得到了一个下界的样本复杂性SHB和ASG为这个家庭，并表明，同样的界限可以实现香草SGD。我们注意到，存在声称基于动量的方法在二次优化中的优越性的结果，但这些都是基于片面或有缺陷的分析。
2022-07-11 cs.LG
On the insufficiency of existing momentum schemes for Stochastic Optimization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
基于动量的随机梯度方法，如重球（HB）和Nesterov的加速梯度下降（NAG）方法，在实践中广泛用于训练深度网络和其他监督学习模型，因为它们通常比随机梯度下降（SGD）提供显着改进。严格地说，“快速梯度”方法只有在确定性的情况下才比梯度下降有可证明的改进，其中梯度是精确的。在随机的情况下，他们的广泛适用性的流行的解释是，当这些快速梯度方法应用于随机的情况下，他们部分地模仿他们的确切梯度对应，导致一些实际的增益。这项工作提供了一个对立面，这种信念证明存在简单的问题的情况下，这些方法不能优于SGD，尽管其参数的最佳设置。从非正式的意义上说，这些负面问题实例是通用的;它们看起来不像是精心构造的病态实例。这些结果表明（连同经验证据），HB或NAG的实际性能增益是一个副产品的迷你。此外，这项工作提供了一个可行的（和可证明的）替代方案，在同一组问题实例上，显着提高了HB，NAG和SGD的性能。该算法被称为加速随机梯度下降（ASGD），是一种基于Nesterov加速的相对不太流行的变体的简单实现的随机算法。本文的大量实证结果表明，ASGD具有HB，NAG和SGD的性能增益。
2018-07-31 cs.LG math.OC stat.ML
Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems
University of Oxford（牛津大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）
许多机器学习问题中的优化步骤很少依赖于香草梯度下降，但通常使用基于动量的加速方法。尽管这些算法被广泛应用于任意损失函数，但它们在一般非凸，高维景观中的行为却知之甚少。在这项工作中，我们使用动态平均场论技术来描述这些方法的平均动态分析在一个典型的非凸模型：（尖峰）矩阵张量模型。我们推导出一组封闭的方程，描述的行为的重球动量和Nesterov加速度在无限维的限制。通过对这些方程的数值积分，我们观察到这些方法加快了动力学，但并没有改善尖峰模型中关于梯度下降的算法阈值。
2021-10-27 cond-mat.dis-nn cs.LG stat.ML
Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学凯普纳研究所）
研究随机动量方法（如重球法和加速SGD）在一致线性回归中的批次大小权衡，证明重球法不改善SGD的计算效率前沿但允许更大批次减少串行运行时间，而加速SGD的计算效率与串行运行时间权衡依赖于谱衰减。
2026-06-18 cs.AI cs.LG math.OC
Recovering Nesterov accelerated dynamics from Heavy Ball dynamics via time rescaling
本文通过时间重标度建立重球动力学与Nesterov加速动力学（及Fast OGDA）的等价关系，从而统一两类连续时间加速方法。
2025-04-22 math.OC
A Whole New Ball Game: A Primal Accelerated Method for Matrix Games and Minimizing the Maximum of Smooth Functions
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
本文提出一种原始加速方法，用于最小化平滑函数最大值和求解矩阵博弈，通过结合动态数据结构、定制的mirror descent算法及非欧几里得球预言机加速框架，在特定条件下改进了现有的一阶方法和内点法的运行时间。
2023-11-17 cs.DS cs.LG math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系）；School of Mathematics, Nanjing University（南京大学数学学院）
本文提出名为UGM的统一框架，将重球法与梯度下降结合，开发增强型加速梯度算法，经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
本文针对随机复合凸优化问题提出一种Bregman型加速算法，并基于该框架设计出在并行化下实现加速的Frank-Wolfe变体，以O(1/√ε)次迭代达到ε原始-对偶间隙。
2024-11-25 cs.LG math.OC
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法，其收敛性经参数条件保证，在20newsgroups文本分类任务中，相比梯度下降等算法迭代次数显著减少，收敛更快。
2026-08-11 math.OC
On the fast convergence of minibatch heavy ball momentum
Operations Research and Industrial Engineering（运筹学与工业工程）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Mathematics（数学）；New York University（纽约大学）；Computer Science and Engineering（计算机科学与工程）
本研究证明在二次优化中，当小批量足够大时，随机重球动量保留了确定性重球动量的快速线性收敛速率，通过分解动量转移矩阵和谱范数集中界弥合理论与实践差距。
2025-06-22 cs.DS cs.LG cs.NA
Achieving Acceleration in Distributed Optimization via Direct Discretization of the Heavy-Ball ODE
本文提出了一种求解凸经验风险最小化问题的分布式算法，即网络上最小化大而有限的凸函数和的问题。该算法直接离散二阶重球微分方程，并导致加速的收敛速度，即比分布式梯度下降为基础的方法，强凸的目标，可能不顺利。值得注意的是，我们实现了加速，而没有诉诸著名的涅斯捷罗夫的动量方法。我们提供了数值实验和对比最近提出的最佳分布式优化算法所提出的方法。
2018-11-06 math.OC
Averaged Heavy-Ball Method
重球法（Heavy-Ball method，HB）以其实现简单、实用高效而著称。然而，与其他动量方法一样，它具有非单调性，并且对于最佳参数，该方法遭受所谓的峰值效应。为了解决这个问题，在本文中，我们考虑一个平均版本的重球方法（AHB）。我们表明，二次问题AHB有一个较小的最大偏差的解决方案比HB。此外，对于一般凸函数和强凸函数，我们证明了AHB及其加权形式的整体收敛的非加速速度。我们进行了几个数值实验，最小化二次和非二次函数，以证明使用平均HB的优点。
2021-11-09 math.OC
Non-monotone Behavior of the Heavy Ball Method
我们专注于二阶稳定的线性差分方程的解决方案，并证明他们的行为可以是非单调的，并表现出峰值效应依赖于初始条件。将所得结果应用于加速无约束最优化方法--重球法的分析。我们解释了在实际应用中发现的方法的非标准行为。此外，这种非单调性使最优化方法中参数的正确选择复杂化。我们建议克服这个困难，通过引入新的李雅普诺夫函数，应单调下降。通过使用这个函数的收敛性的方法是建立在较少的限制性假设（例如，与缺乏凸性）。我们还提出了一些重新启动技术，以加快收敛速度的方法。
2018-12-30 math.OC
Conformal Symplectic and Relativistic Optimization
可以说，机器学习中最流行的两种加速或基于动量的最优化方法是Nesterov的加速梯度和Polyaks的重球，两者都对应于特定二阶微分方程的不同离散化。这种与连续时间动力系统的联系有助于揭开优化中加速现象的神秘面纱。在这里，我们研究了一类耗散（共形）哈密顿系统的保结构离散化，使我们能够分析Nesterov和重球的辛结构，除了这些方法提供了一些新的见解。此外，我们提出了一个新的算法的基础上的耗散相对论系统，归一化的动量，并可能导致更稳定/更快的优化。重要的是，这种方法推广了涅斯捷罗夫和重球，每一个都被恢复为不同的限制情况，并且在没有额外成本的情况下具有潜在的优势。
2020-12-24 math.OC stat.ML
Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement
针对条件不良优化问题，本文将预条件引入Heavy Ball与Nesterov加速方法，提出PHB和PN，证明统一缩放矩阵假设下的收敛性，并通过实验显示其复杂度优势。
2025-09-30 math.OC
Uniting Nesterov and Heavy Ball Methods for Uniform Global Asymptotic Stability of the Set of Minimizers
针对连续可微凸目标函数的极小值点收敛问题，提出结合Nesterov加速梯度下降与Heavy Ball法的混合控制算法，实现一致全局渐近稳定且无振荡收敛，保留各算法收敛速率并具鲁棒性。
2023-10-07 math.OC
Provable non-accelerations of the heavy-ball method
本文证明重球法在光滑强凸问题上无法达到加速收敛速率，通过构造循环不收敛的函数，解析刻画了所有导致循环的参数化，并验证了结果的鲁棒性。
2025-10-09 math.OC
