On Faster Convergence of Scaled Sign Gradient Descent
Tongji University（同济大学）
通信一直被视为大规模网络上工业应用的重要瓶颈。为了减轻通信负担，基于符号的优化算法近年来在工业界和学术界得到了广泛的应用，这与自适应梯度法（如Adam）密切相关。沿着这条线，本文研究了更快的收敛性的一种变体的基于符号的梯度下降，称为缩放signGD，在三种情况下：1）的目标函数是强凸的; 2）的目标函数是非凸的，但满足Polyak-Lojasiewicz（PL）不等式; 3）梯度是随机的，在这种情况下称为缩放signGD。对于前两种情况，可以表明，缩放的signGD以线性速率收敛。对于情况3），当采用恒定学习率时，算法线性收敛到最优值的邻域;当采用递减学习率时，算法以$O(1/k)$的速率收敛，其中$k$是迭代次数.结果还扩展到分布式设置中的参数服务器框架中的多数表决。最后，通过对逻辑斯谛回归的数值实验，验证了理论分析的正确性。
2021-09-04 cs.LG math.OC
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems
University of California, Berkeley（加州大学伯克利分校）
受在线典型相关分析问题的启发，我们提出了\emph{Stochastic Scaled-Gradient Descent}（SSGD）算法，用于最小化一般黎曼流形上随机函数的期望。SSGD推广了投影随机梯度下降的思想，并允许使用缩放的随机梯度而不是随机梯度。在球约束的特殊情况下，这是在广义特征向量问题中出现的，我们建立了一个非渐近有限样本界的$\sqrt{1/T}$，并表明，这个速度是minimax最优的，相关参数的多对数因子。在渐近方面，一个新的渐近平均参数，使我们能够实现本地渐近正态性的速率相匹配的Ruppert-Polyak-Juditsky平均。我们把这些想法结合在一起的应用程序在线典型相关分析，推导出，在文献中，第一次，一个最佳的一次性规模的算法与显式速度的局部渐近收敛到正态性。典型相关分析的数值研究也提供了合成数据。
2022-01-24 cs.LG math.OC stat.ML
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中，一种流行的方法是将矩阵分解为两个紧凑的低秩因子，然后通过简单的迭代法（如梯度下降和交替最小化）直接优化这些因子。尽管非凸性，最近的文献表明，这些简单的算法实际上实现线性收敛时，适当的初始化越来越多的问题的兴趣。然而，经过仔细检查，现有的方法仍然可以是计算昂贵的，特别是病态矩阵：梯度下降的收敛速度线性依赖于低秩矩阵的条件数，而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法，称为缩放梯度下降（ScaledGD），它可以被视为预条件或对角缩放的梯度下降，其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体，我们从理论上证明了ScaledGD实现了两全其美：它以独立于低秩矩阵的条件数的速率线性收敛，类似于交替最小化，同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数，限制强凸和光滑的低秩矩阵。据我们所知，ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP
Stochastic Gradient Methods with Preconditioned Updates
Ivannikov Institute for System Programming（伊万尼科夫系统编程研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Canterbury（坎特伯雷大学）
本文研究非凸有限和最小化问题，提出基于Hutchinson方法逼近Hessian对角线的预条件子，结合梯度方法构建Scaled SARAH和Scaled L-SVRG算法，利用近似二阶曲率信息缓解病态缩放问题，并在平滑性和PL条件下证明线性收敛，数值实验验证了其性能提升。
2024-01-14 cs.LG math.OC
Scaled Proximal Gradient Methods for Multiobjective Optimization: Improved Linear Convergence and Nesterov's Acceleration
针对多目标优化中目标不平衡导致收敛慢的问题，提出缩放近端梯度方法SPGMO，利用曲率信息缩放目标，实现改进的线性收敛性，并结合Nesterov加速技术进一步提升收敛速度。
2024-10-28 math.OC
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
针对病态低秩估计问题，提出缩放梯度下降（ScaledGD）算法，其收敛速率独立于条件数，保持GD的低迭代成本，并在过参数化及噪声下实现快速全局收敛，强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
越来越多的数据科学和机器学习问题依赖于张量计算，张量比矩阵更好地捕捉数据的多路关系和交互。当利用这一关键优势时，一个关键的挑战是开发计算效率高且可证明正确的算法，用于从张量数据中提取有用的信息，同时对腐败和病态具有鲁棒性。本文研究了张量鲁棒主成分分析（RPCA）方法，该方法的目的是在Tucker分解下从被稀疏污染的观测值中恢复低秩张量。为了最大限度地减少计算和内存占用，我们建议直接恢复低维张量因子-从定制的频谱初始化开始-通过缩放梯度下降（ScaledGD），再加上迭代变化的阈值操作，以自适应地消除腐败的影响。从理论上讲，我们建立了该算法线性收敛到真正的低秩张量在一个恒定的速度是独立于其条件数，只要腐败的水平不是太大。经验上，我们证明，该算法实现了更好的和更可扩展的性能比国家的最先进的矩阵和张量RPCA算法，通过合成实验和现实世界的应用。
2023-02-22 cs.LG eess.SP math.OC
A normalized scaled gradient method to solve non-negativity and equality constrained linear inverse problem - Application to spectral mixture analysis
针对高光谱图像线性解混问题，研究了在非负性和等式约束下最小化凸费用函数的问题。这个问题可以被公式化为线性回归问题，其回归系数（丰度）满足和对一和正性约束。提出了一种用于线性混合模型丰度估计的归一化尺度梯度迭代法。正性约束由Karush-Kuhn-Tucker条件保证，而和为一的约束通过在算法中引入归一化变量来满足。通过步长的一维搜索来确保收敛。注意，NSGM可以应用于具有非负性和通量约束的任何凸费用函数。为了比较NSGM与著名的完全约束最小二乘（FCLS）算法，后者是重新制定的惩罚函数，这表明其次优性。仿真结果表明，该算法的性能相比，与其他的混合分解算法，更特别的是，证明其效率相比，流行的FCLS。最后给出了实际数据的结果。
2013-10-02 math.OC physics.data-an
Stochastic Gradient Descent with Momentum: Analysis and Synthesis via Integral Quadratic Constraints
RWTH Aachen University（亚琛工业大学）；University of Stuttgart（斯图加特大学）
本文将动态积分二次约束（IQCs）用于加速随机梯度算法的分析与综合，提出刻画小批量梯度二阶统计量的IQCs、验证指数收敛速率的半定规划及界定渐近方差的条件，还提出识别最优小批量梯度算法的凸综合过程。
2026-08-10 cs.SY eess.SY math.OC
New subspace minimization conjugate gradient methods based on regularization model for unconstrained optimization
本文提出了两种新的基于$p - $正则化模型的子空间极小化共轭梯度法，其中分析了$p - $正则化模型中的一种特殊尺度范数.对特殊尺度范数的不同选择导致$p - $正则化子问题的不同解。通过对二维子空间中解的分析，得到了满足充分下降条件的新方向。在较弱的假设下，利用一种改进的非单调线搜索，证明了算法的整体收敛性。对所提方法的$R - $线性收敛进行了分析。数值结果表明，对于CUTEr库，所提出的方法优于Hager和Zhang（SIAM J Optim 16（1）：170-192，2005）、Dai和Kou（SIAM J Optim 23（1）：296-320，2013）、Liu和Liu（J Optim Theory Appl 180（3）：879-906，2019）以及Li等人（Comput Appl Math 38（1）：2019）分别提出的四种共轭梯度法。
2020-04-03 math.OC
An Efficient Scaled spectral preconditioner for sequences of symmetric positive definite linear systems
本文针对对称正定线性系统序列，提出一种缩放谱预条件子及三种缩放参数选择策略，以改善共轭梯度法早期收敛，并通过数据同化实验验证其低开销下的显著加速效果。
2024-10-03 cs.NA math.NA math.OC
Momentum-Based Policy Gradient Methods
University of Pittsburgh（匹兹堡大学）；Simon Fraser University（西蒙弗雷泽大学）；JD Finance America Corporation（京东金融美国公司）
针对无模型强化学习，提出了一类基于动量的策略梯度方法，该方法采用自适应学习率，不需要大批量学习.具体来说，我们提出了一种快速的重要性抽样动量为基础的策略梯度（IS-MBPG）方法的基础上，一个新的动量为基础的方差减少技术和重要性采样技术。同时，基于动量方差缩减技术和Hessian辅助技术，提出了一种快速的Hessian辅助动量策略梯度（HA-MBPG）方法。此外，我们证明了IS-MBPG和HA-MBPG方法达到了$O(ε^{-3})$的最佳已知的样本复杂度，用于找到非凹性能函数的$ε$ -稳定点，这只需要一个轨迹在每次迭代。特别地，我们提出了IS-MBPG方法的非自适应版本，即，IS-MBPG*，它也达到了$O(ε^{-3})$的最佳已知样品复杂性，没有任何大批次。在实验中，我们应用四个基准任务来证明我们的算法的有效性。
2020-08-06 cs.LG cs.RO cs.SY
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Effects of momentum scaling for SGD
研究了带预条件的随机梯度法的性质。重点研究了动量系数为$β$的动量更新预条件子。为了解释缩放方法的实际效率，我们提供了一个与预条件相关的范数的收敛性分析，并证明缩放允许摆脱梯度Lipschitz常数的收敛速度。一路上，我们强调$β$的重要作用，不值得设置为常数$0.99...9$在任意的各个作者。最后，我们提出了自适应$β$和步长值的显式构造公式。
2022-10-21 math.OC
Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients
本文提出新的长度公式，证明动量法在极小化具有局部Lipschitz梯度的半代数函数时的局部与全局收敛性，无需全局Lipschitz等条件，并首次给出从任意初始点应用于主成分分析等问题的收敛保证。
2024-01-07 math.OC
Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information
Lehigh University（理海大学）；KAUST（阿卜杜拉国王科技大学）；University of California, Berkeley（加州大学伯克利分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对大规模机器学习问题，提出了一种新的自适应优化算法。配备了低成本的估计局部曲率和Lipschitz平滑，我们的方法动态地适应搜索方向和步长。搜索方向包含梯度信息预处理的一个规模良好的对角预处理矩阵，捕捉局部曲率信息。我们的方法不需要繁琐的学习率调整任务，因为学习率会自动更新，而无需添加额外的超参数。我们提供了一个全面的收集优化问题，包括凸，强凸，和非凸问题，在确定性和随机制度的收敛保证。我们还对标准机器学习问题进行了广泛的实证评估，证明了我们算法的通用性，并证明了其与其他最先进的一阶和二阶方法相比的强大性能。
2021-09-11 cs.LG math.OC
First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
针对带动量项的随机梯度下降，在弱假设下提出其一阶和二阶连续近似，允许学习率和动量参数随时间变化，弥补了现有理论仅覆盖恒定学习率或无动量情形的不足。
2025-04-18 cs.LG math.OC
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法，动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降（Sgdm）使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重，已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析，我们的方法，这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明，该方法在实际问题中表现良好，性能优于Sgdm，在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
本文通过收敛分析与最优batch size估计证明，momentum既不能减少SGD中的梯度噪声，也不能减少搜索方向噪声，且其带来的目标函数平滑优势有限。
2025-07-02 cs.LG math.OC
Generalized Stochastic Gradient Descent with Momentum Methods for Smooth Optimization
Umeå University（于默奥大学）
本文提出了一种广义SGDM框架，统一了多种动量方法，并在不同优化问题下提供了全面的收敛分析。
2026-02-26 math.OC
Understanding the Role of Momentum in Stochastic Gradient Methods
Microsoft Research AI（微软研究院人工智能部）
在随机梯度方法中使用动量已经成为机器学习中的广泛实践。动量的不同变体，包括重球动量、Nesterov加速梯度（NAG）和准双曲动量（QHM），已经在各种任务中取得了成功。尽管这些经验的成功，有一个缺乏清晰的理解如何影响收敛性和不同的算法的各种性能指标的动量参数。在本文中，我们使用QHM的一般配方给出了一个统一的分析几个流行的算法，包括他们的渐近收敛条件，稳定区域，和他们的平稳分布的性质。此外，通过结合收敛率和平稳分布的结果，我们有时会得到反直观的实用指南设置的学习率和动量参数。
2019-10-30 cs.LG math.OC stat.ML
Adaptive Optimization via Momentum on Variance-Normalized Gradients
MVN-Grad通过动量优化变分归一化梯度，在稳定性和性能上优于Adam等优化器，适用于图像分类和语言模型任务。
2026-08-18 cs.LG math.OC
Gradient correlation is a key ingredient to accelerate SGD with momentum
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251（波尔多大学）；IMT, Univ. Toulouse, INSA Toulouse（图卢兹大学）
本文证明在凸优化中，梯度间的平均相关性满足强增长条件是带动量SGD（SNAG）加速收敛的关键，并通过线性回归和深度神经网络实验验证。
2026-06-12 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
A Decomposed Bilevel Search for Variable-Metric Proximal Gradient Methods
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
提出分解双层搜索（DBS），将变度量邻近梯度方法的缩放邻近步骤简化为二维残差系统，在SLOPE和组套索逻辑回归实验中，其效率和收敛性优于对比方法。
2026-08-27 math.OC
SMG: A Shuffling Gradient-Based Method with Momentum
Cornell University（康奈尔大学）；IBM Research（IBM研究院）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
结合机器学习优化中的两种先进思想：洗牌策略和动量技术，提出了一种新的基于动量的洗牌梯度方法--洗牌动量梯度（Shuffling Momentum Gradient，SMG），用于求解非凸有限和最优化问题。虽然我们的方法受到动量技术的启发，但它的更新与现有的基于动量的方法有着根本的不同。我们建立国家的最先进的收敛速度SMG的任何洗牌策略，使用恒定或递减的学习率下的标准假设（即$L$ -平滑和有界方差）。当洗牌策略是固定的，我们开发了另一种新的算法，这是类似于现有的动量方法，并证明了相同的收敛速度下，该算法的$L$ -光滑和有界梯度的假设。我们通过标准数据集上的数值模拟证明了我们的算法，并将其与现有的洗牌方法进行了比较。我们的测试显示了令人鼓舞的性能的新算法。
2021-06-09 cs.LG math.OC stat.ML
Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
ENS - PSL Univ.（巴黎文理研究大学-高等师范学院）；Univ Lyon, EnsL, UCBL, CNRS, Inria, LIP（里昂大学,里昂高等师范学院,里昂第一大学,法国国家科学研究中心,法国国家信息与自动化研究所,里昂计算科学实验室）；CNRS（法国国家科学研究中心）
本文刻画非欧几里得几何与基于动量动力学中的所有守恒律，证明其具有时间依赖性，并在线性网络、ReLU 网络及 NMF 中揭示守恒损失。
2024-05-21 cs.LG math.OC
Heavy Ball Momentum for Conditional Gradient
University of Minnesota（明尼苏达大学）
条件梯度算法，又称Frank Wolfe（FW）算法，在机器学习和信号处理应用中具有良好的记录优点。与基于投影的方法不同，动量不能提高FW的收敛速度。这种限制促使目前的工作，这涉及沉重的球的势头，其影响FW。具体而言，它是建立重球提供了一个统一的观点上的原始-对偶（PD）收敛，并享有更严格的每迭代PD差错率，多个选择的步长，其中PD误差可以作为停止标准，在实践中。此外，它被断言，重新启动，通常采用的计划与涅斯捷罗夫的动量，可以进一步收紧这个PD误差界。数值结果表明，重球动量在FW迭代中的有效性。
2021-10-08 cs.LG math.OC
Model-Free Aggregative Cooperative Optimization via Randomized Gradient-Free Minimization and Exploration Momentum
UCLouvain（瓦隆布鲁塞尔天主教大学）；Università di Bologna（博洛尼亚大学）
本文提出ARGFree算法，通过随机梯度近似和跟踪变量解决无梯度信息的聚合协作优化问题，并改进为ARGFree-EM以提升高维场景下的性能。
2026-04-08 math.OC
A Dai-Yuan-type Riemannian conjugate gradient method with the weak Wolfe conditions
本文提出了一种新的黎曼共轭梯度法，并给出了整体收敛性分析。现有的Fletcher-Reeves型黎曼共轭梯度法在强Wolfe条件下保证全局收敛.另一方面，戴元型欧氏共轭梯度法在弱Wolfe条件下产生全局收敛序列.本文将戴元的欧几里德算法推广到只需要弱Wolfe条件的黎曼算法。通过与微分收缩相关联的尺度矢量输运证明了该方法的整体收敛性质。数值实验结果表明了该算法的有效性。
2016-06-17 math.OC
SGEM: stochastic gradient with energy and momentum
Iowa State University（爱荷华州立大学）
在本文中，我们提出了SGEM，随机梯度与能量和动量，解决了一大类一般的非凸随机优化问题，基于AEGD方法，起源于工作[AEGD：自适应梯度下降与能量。arXiv：2010.05109]。SGEM将能量和动量同时融合，以继承两者的双重优势。我们表明，SGEM具有无条件的能量稳定性，并获得能量依赖的收敛速度在一般的非凸随机设置，以及遗憾的限制在网上凸设置。还提供了能量变量的较低阈值。我们的实验结果表明，SGEM比AEGD收敛得更快，并且在训练某些深度神经网络时更好地推广或至少与SGDM一样好。
2022-08-03 cs.LG math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Projected Gradient Methods with Momentum
Università di Firenze（佛罗伦萨大学）；Sapienza Università di Roma（罗马第一大学）
针对光滑非凸目标与凸约束的优化问题，提出一种集成动量的投影梯度算法框架，在保证理论收敛性的同时提升实际性能，实验表明其优于标准投影梯度法。
2026-06-15 math.OC
A Globally Convergent Gradient Method with Momentum
本文提出了一种具有动量的梯度方法，通过在二维子空间中最小化二次模型来实现全局收敛和最优复杂度界，适用于非凸无约束优化问题。
2025-09-29 math.OC
Nonlinearly Preconditioned Gradient Methods: Momentum and Stochastic Analysis
本文研究光滑非凸优化的非线性预条件梯度方法，提出一种带sigmoid预条件的heavy ball型算法及其随机变体，在广义光滑条件下证明收敛性，并在机器学习任务上验证了其有效性。
2025-10-13 math.OC
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化，针对可微及非光滑加可微两类问题，采用固定步长和算子分裂，以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
Distributed Zeroth-Order Optimization with Rademacher Perturbations and Momentum Gradient Tracking
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Engineering Research Center of Autonomous Unmanned System Technology, Ministry of Education（教育部无人系统技术工程研究中心）
本文提出ZOMGT方法，结合动量方差缩减与动态梯度跟踪，在分布式异构网络中有效减少结构偏差并提升效率，理论分析证明其收敛性及O(1/T)收敛速率。
2026-04-23 math.OC
Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method
本文提出带动量不精确梯度下降法IGDm作为一阶动量方法的统一框架，在PLK条件下建立收敛速率，并推导EGm、SAMm和IPPm的全局与局部收敛性质，通过无导数优化实验验证动量效应。
2025-05-05 math.OC
Riemannian Gradient Method with Momentum
Sapienza University of Rome（罗马第一大学）
本文提出了一种结合动量的黎曼梯度法，用于在黎曼流形上高效求解优化问题，通过理论分析和实验验证展示了其在复杂问题中的优越性能。
2026-03-04 math.OC
Dynamic behavior for a gradient algorithm with energy and momentum
本文提出结合能量与动量的梯度算法AGEM，通过高分辨率ODE系统分析其动态行为，证明解的一致有界性、收敛到临界点，并在Polyak-Łojasiewicz条件下建立线性收敛速率。
2024-03-12 math.CA math.OC
An Improved Analysis of Stochastic Gradient Descent with Momentum
具有动量的SGD（SGDM）已广泛应用于许多机器学习任务中，并且通常以分段方式调整动态步长和动量权重。尽管它的经验优势比SGD，动量的作用仍然是不清楚的一般，因为以前的SGDM的分析要么提供更差的收敛范围比SGD，或假设Lipschitz或二次目标，这在实践中失败。此外，动态参数的作用也没有得到解决。在这项工作中，我们表明，SGDM收敛速度和SGD光滑的目标下，强凸和非凸设置。我们还建立了\textit{the first}收敛保证多级设置，并表明，多级策略是有益的SGDM相比，使用固定的参数。最后，我们通过数值实验验证了这些理论主张。
2020-08-18 math.OC
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）
带动量的随机梯度法在应用中得到了广泛的应用，并且是许多流行机器学习库中优化子程序的核心。然而，他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数，证明的复杂性，可以实现没有任何调整的动量参数的建设。对于光滑的问题，我们扩展了已知的复杂性约束的情况下，并演示了如何无约束的情况下，可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research（Facebook人工智能研究院）；Princeton University（普林斯顿大学）
我们介绍MADGRAD，一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色，包括视觉中的分类和图像到图像任务，以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个，MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM，即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
Convergence rates of stochastic gradient method with independent sequences of step-size and momentum weight
本文针对强凸随机次梯度优化，分析独立步长与动量权重序列下 Polyak 加速动量方法的收敛速率，分别刻画递减步长和分阶段恒定下降步长的收敛条件。
2024-07-31 cs.LG math.OC
Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization
Seoul National University（首尔大学）
针对深度神经网络训练中自适应梯度方法的学习率估计难题，本文将其解释为参数缩放网络上的最速下降，提出免学习率自适应梯度方法，实验证明其性能与手动调优相当。
2024-01-06 cs.LG math.OC
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization
University of Bologna（博洛尼亚大学）
本文提出GTAdam分布式在线优化算法，结合梯度跟踪与一阶和二阶动量估计，在强凸条件下证明动态遗憾上界并保证静态线性收敛，多智能体实验验证其优于现有方法。
2023-09-12 cs.DC cs.LG math.OC
Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
KAIST Math（韩国科学技术院数学系）；KAIST AI（韩国科学技术院人工智能学院）；USTC（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文实验发现，带 Polyak 动量的大学习率梯度下降通过大幅弹射，使线性对角网络和非线性神经网络收敛到比普通梯度下降更平坦的极小值，并假设动量延长了自稳定效应，且提供了理论与实验验证。
2024-05-29 cs.LG math.OC stat.ML
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
遵循与[SSJ 20]相同的程序，本文继续对带动量的随机梯度下降（SGD with momentum）进行理论分析。随后，对于具有动量的SGD，我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程（hp依赖的随机微分方程），作为一个连续的替代SGD与动量。同样，我们建立了具有动量的连续时间SGD公式的线性收敛性，并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较，我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时，引入动量的变化。然后，我们提出了一个数学解释，为什么有动量的SGD收敛速度更快，更强大的学习率比标准SGD在实践中。最后，我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
2022-09-11 cs.LG math.AP math.OC
Muon meets Tamed Langevin: Momentum Preconditioning beyond Convex and gradient-Lipschitz Potentials
University of Edinburgh（爱丁堡大学）；National Technical University of Athens（雅典国立技术大学）；Athena/Archimedes Research Centre（Athena/Archimedes 研究中心）
针对非凸且非梯度-Lipschitz 势的矩阵空间 Gibbs 采样，提出非二次动能驱动的欠阻尼 Langevin 系统，实现动量预处理，证明测度不变性与指数收敛，并保证离散化算法的稳定性。
2026-10-02 cs.LG math.OC math.PR
Gradient descent with momentum --- to accelerate or to super-accelerate?
Maynooth University（梅努斯大学）；Max-Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）
我们考虑梯度下降与“动量”，损失函数最小化在机器学习中广泛使用的方法。该方法通常与“Nesterov加速度”一起使用，这意味着梯度不是在参数空间中的当前位置处评估，而是在一步之后的估计位置处评估。在这项工作中，我们表明，该算法可以通过延长这种“加速”-通过使用在估计位置的梯度几步，而不是仅仅提前一步。在这种“超加速”算法中，人们向前看的距离由一个新的超参数决定。考虑单参数二次型损失函数，可以精确计算和解析估计超加速度的最优值。我们明确表明，超加速的动量算法是有益的，不仅对于这个理想化的问题，而且对于几个合成损失景观和MNIST分类任务与神经网络。超加速也很容易纳入自适应算法，如RMSProp或亚当，并显示，以改善这些算法。
2020-01-17 cs.LG math.OC stat.ML
An Accelerated Distributed Stochastic Gradient Method with Momentum
本文提出带动量加速的分布式随机梯度方法DSMT，利用动量跟踪与无循环切比雪夫加速，在一般方差条件下达到与集中式SGD相当的收敛速率，且瞬态时间最短。
2025-03-26 cs.DC cs.MA math.OC
A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；New York University（纽约大学）
针对分布式网络稀疏与数据异构导致的优化偏差问题，提出动量加速算法 EDM，并证明其在非凸及 PL 条件下的收敛保证与紧上界。
2025-02-13 cs.DC cs.LG math.OC
