Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
本文通过收敛分析与最优batch size估计证明,momentum既不能减少SGD中的梯度噪声,也不能减少搜索方向噪声,且其带来的目标函数平滑优势有限。
2025-07-02 cs.LG math.OC
Adaptive Optimization via Momentum on Variance-Normalized Gradients
MVN-Grad通过动量优化变分归一化梯度,在稳定性和性能上优于Adam等优化器,适用于图像分类和语言模型任务。
2026-08-18 cs.LG math.OC
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法,动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降(Sgdm)使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重,已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析,我们的方法,这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明,该方法在实际问题中表现良好,性能优于Sgdm,在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
Understanding the Role of Momentum in Stochastic Gradient Methods
Microsoft Research AI(微软研究院人工智能部)
在随机梯度方法中使用动量已经成为机器学习中的广泛实践。动量的不同变体,包括重球动量、Nesterov加速梯度(NAG)和准双曲动量(QHM),已经在各种任务中取得了成功。尽管这些经验的成功,有一个缺乏清晰的理解如何影响收敛性和不同的算法的各种性能指标的动量参数。在本文中,我们使用QHM的一般配方给出了一个统一的分析几个流行的算法,包括他们的渐近收敛条件,稳定区域,和他们的平稳分布的性质。此外,通过结合收敛率和平稳分布的结果,我们有时会得到反直观的实用指南设置的学习率和动量参数。
2019-10-30 cs.LG math.OC stat.ML
Model-Free Aggregative Cooperative Optimization via Randomized Gradient-Free Minimization and Exploration Momentum
UCLouvain(瓦隆布鲁塞尔天主教大学);Università di Bologna(博洛尼亚大学)
本文提出ARGFree算法,通过随机梯度近似和跟踪变量解决无梯度信息的聚合协作优化问题,并改进为ARGFree-EM以提升高维场景下的性能。
2026-04-08 math.OC
Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
ENS - PSL Univ.(巴黎文理研究大学-高等师范学院);Univ Lyon, EnsL, UCBL, CNRS, Inria, LIP(里昂大学,里昂高等师范学院,里昂第一大学,法国国家科学研究中心,法国国家信息与自动化研究所,里昂计算科学实验室);CNRS(法国国家科学研究中心)
本文刻画非欧几里得几何与基于动量动力学中的所有守恒律,证明其具有时间依赖性,并在线性网络、ReLU 网络及 NMF 中揭示守恒损失。
2024-05-21 cs.LG math.OC
Projected Gradient Methods with Momentum
Università di Firenze(佛罗伦萨大学);Sapienza Università di Roma(罗马第一大学)
针对光滑非凸目标与凸约束的优化问题,提出一种集成动量的投影梯度算法框架,在保证理论收敛性的同时提升实际性能,实验表明其优于标准投影梯度法。
2026-06-15 math.OC
A Globally Convergent Gradient Method with Momentum
本文提出了一种具有动量的梯度方法,通过在二维子空间中最小化二次模型来实现全局收敛和最优复杂度界,适用于非凸无约束优化问题。
2025-09-29 math.OC
Nonlinearly Preconditioned Gradient Methods: Momentum and Stochastic Analysis
KU Leuven(荷语鲁汶大学)
本文研究光滑非凸优化的非线性预条件梯度方法,提出一种带sigmoid预条件的heavy ball型算法及其随机变体,在广义光滑条件下证明收敛性,并在机器学习任务上验证了其有效性。
2025-10-13 math.OC
SMG: A Shuffling Gradient-Based Method with Momentum
Cornell University(康奈尔大学);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
结合机器学习优化中的两种先进思想:洗牌策略和动量技术,提出了一种新的基于动量的洗牌梯度方法--洗牌动量梯度(Shuffling Momentum Gradient,SMG),用于求解非凸有限和最优化问题。虽然我们的方法受到动量技术的启发,但它的更新与现有的基于动量的方法有着根本的不同。我们建立国家的最先进的收敛速度SMG的任何洗牌策略,使用恒定或递减的学习率下的标准假设(即$L$ -平滑和有界方差)。当洗牌策略是固定的,我们开发了另一种新的算法,这是类似于现有的动量方法,并证明了相同的收敛速度下,该算法的$L$ -光滑和有界梯度的假设。我们通过标准数据集上的数值模拟证明了我们的算法,并将其与现有的洗牌方法进行了比较。我们的测试显示了令人鼓舞的性能的新算法。
2021-06-09 cs.LG math.OC stat.ML
Distributed Zeroth-Order Optimization with Rademacher Perturbations and Momentum Gradient Tracking
School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);Engineering Research Center of Autonomous Unmanned System Technology, Ministry of Education(教育部无人系统技术工程研究中心)
本文提出ZOMGT方法,结合动量方差缩减与动态梯度跟踪,在分布式异构网络中有效减少结构偏差并提升效率,理论分析证明其收敛性及O(1/T)收敛速率。
2026-04-23 math.OC
Heavy Ball Momentum for Conditional Gradient
University of Minnesota(明尼苏达大学)
条件梯度算法,又称Frank Wolfe(FW)算法,在机器学习和信号处理应用中具有良好的记录优点。与基于投影的方法不同,动量不能提高FW的收敛速度。这种限制促使目前的工作,这涉及沉重的球的势头,其影响FW。具体而言,它是建立重球提供了一个统一的观点上的原始-对偶(PD)收敛,并享有更严格的每迭代PD差错率,多个选择的步长,其中PD误差可以作为停止标准,在实践中。此外,它被断言,重新启动,通常采用的计划与涅斯捷罗夫的动量,可以进一步收紧这个PD误差界。数值结果表明,重球动量在FW迭代中的有效性。
2021-10-08 cs.LG math.OC
Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method
本文提出带动量不精确梯度下降法IGDm作为一阶动量方法的统一框架,在PLK条件下建立收敛速率,并推导EGm、SAMm和IPPm的全局与局部收敛性质,通过无导数优化实验验证动量效应。
2025-05-05 math.OC
Riemannian Gradient Method with Momentum
Sapienza University of Rome(罗马第一大学)
本文提出了一种结合动量的黎曼梯度法,用于在黎曼流形上高效求解优化问题,通过理论分析和实验验证展示了其在复杂问题中的优越性能。
2026-03-04 math.OC
SGEM: stochastic gradient with energy and momentum
Iowa State University(爱荷华州立大学)
在本文中,我们提出了SGEM,随机梯度与能量和动量,解决了一大类一般的非凸随机优化问题,基于AEGD方法,起源于工作[AEGD:自适应梯度下降与能量。arXiv:2010.05109]。SGEM将能量和动量同时融合,以继承两者的双重优势。我们表明,SGEM具有无条件的能量稳定性,并获得能量依赖的收敛速度在一般的非凸随机设置,以及遗憾的限制在网上凸设置。还提供了能量变量的较低阈值。我们的实验结果表明,SGEM比AEGD收敛得更快,并且在训练某些深度神经网络时更好地推广或至少与SGDM一样好。
2022-08-03 cs.LG math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
An Improved Analysis of Stochastic Gradient Descent with Momentum
具有动量的SGD(SGDM)已广泛应用于许多机器学习任务中,并且通常以分段方式调整动态步长和动量权重。尽管它的经验优势比SGD,动量的作用仍然是不清楚的一般,因为以前的SGDM的分析要么提供更差的收敛范围比SGD,或假设Lipschitz或二次目标,这在实践中失败。此外,动态参数的作用也没有得到解决。在这项工作中,我们表明,SGDM收敛速度和SGD光滑的目标下,强凸和非凸设置。我们还建立了\textit{the first}收敛保证多级设置,并表明,多级策略是有益的SGDM相比,使用固定的参数。最后,我们通过数值实验验证了这些理论主张。
2020-08-18 math.OC
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化,针对可微及非光滑加可微两类问题,采用固定步长和算子分裂,以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
Finite-Time Optimization via Scaled Gradient-Momentum Flows
Graduate School of Advanced Science and Engineering, Hiroshima University(广岛大学先进理工学研究科)
本文提出一种缩放梯度-动量框架,实现全局有限时间收敛。通过状态依赖的缩放机制,使经典动力学如Heavy-Ball型和比例积分型流实现有限时间收敛。建立梯度主导性质与所提缩放动力学有限时间稳定性的显式条件。数值实验验证了理论结果。
2026-04-14 cs.SY eess.SY math.OC
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院)
带动量的随机梯度法在应用中得到了广泛的应用,并且是许多流行机器学习库中优化子程序的核心。然而,他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数,证明的复杂性,可以实现没有任何调整的动量参数的建设。对于光滑的问题,我们扩展了已知的复杂性约束的情况下,并演示了如何无约束的情况下,可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
Convergence rates of stochastic gradient method with independent sequences of step-size and momentum weight
本文针对强凸随机次梯度优化,分析独立步长与动量权重序列下 Polyak 加速动量方法的收敛速率,分别刻画递减步长和分阶段恒定下降步长的收敛条件。
2024-07-31 cs.LG math.OC
A Riemannian Inertial Adaptive Gradient Method with Momentum Restart
University of Hertfordshire(赫特福德大学);Sefako Makgatho Health Sciences University(塞法科·马卡索健康科学大学)
本文提出RIAG-R,一种结合自适应步长、惯性外推和梯度触发重启的黎曼优化方法,在多个矩阵流形上显著优于基线,证明了自适应重启对曲率空间动量的关键作用。
2026-09-29 math.OC
Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization
我们提出了一种新的随机最优化算法,称为STORM-组合优化,最大限度地减少了两个随机函数的期望组合,后者是一个最优化问题,出现在各种重要的机器学习应用。通过在成分梯度更新中引入动量项,STORM-Compositional以指数移动平均的方式操作随机递归方差约减的成分梯度。这导致STORM-组合的$O(\varepsilon^{-3})$复杂度上界,其匹配先前宣布的组合优化算法中的最佳已知复杂度界限。同时,STORM-组合是一个单循环算法,避免了在大批量和小批量之间进行典型的交替调整,以及记录检查点梯度,这些都是方差减少的随机梯度法中持续存在的。这使得相当简单的参数调整在数值实验中,这表明了优于其他随机组合优化算法的STORM组合。
2020-06-07 math.OC
Momentum-Based Policy Gradient Methods
University of Pittsburgh(匹兹堡大学);Simon Fraser University(西蒙弗雷泽大学);JD Finance America Corporation(京东金融美国公司)
针对无模型强化学习,提出了一类基于动量的策略梯度方法,该方法采用自适应学习率,不需要大批量学习.具体来说,我们提出了一种快速的重要性抽样动量为基础的策略梯度(IS-MBPG)方法的基础上,一个新的动量为基础的方差减少技术和重要性采样技术。同时,基于动量方差缩减技术和Hessian辅助技术,提出了一种快速的Hessian辅助动量策略梯度(HA-MBPG)方法。此外,我们证明了IS-MBPG和HA-MBPG方法达到了$O(ε^{-3})$的最佳已知的样本复杂度,用于找到非凹性能函数的$ε$ -稳定点,这只需要一个轨迹在每次迭代。特别地,我们提出了IS-MBPG方法的非自适应版本,即,IS-MBPG*,它也达到了$O(ε^{-3})$的最佳已知样品复杂性,没有任何大批次。在实验中,我们应用四个基准任务来证明我们的算法的有效性。
2020-08-06 cs.LG cs.RO cs.SY
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法,其收敛性经参数条件保证,在20newsgroups文本分类任务中,相比梯度下降等算法迭代次数显著减少,收敛更快。
2026-08-11 math.OC
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization
University of Bologna(博洛尼亚大学)
本文提出GTAdam分布式在线优化算法,结合梯度跟踪与一阶和二阶动量估计,在强凸条件下证明动态遗憾上界并保证静态线性收敛,多智能体实验验证其优于现有方法。
2023-09-12 cs.DC cs.LG math.OC
Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
KAIST Math(韩国科学技术院数学系);KAIST AI(韩国科学技术院人工智能学院);USTC(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文实验发现,带 Polyak 动量的大学习率梯度下降通过大幅弹射,使线性对角网络和非线性神经网络收敛到比普通梯度下降更平坦的极小值,并假设动量延长了自稳定效应,且提供了理论与实验验证。
2024-05-29 cs.LG math.OC stat.ML
Shuffling Momentum Gradient Algorithm for Convex Optimization
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);Department of Statistics and Operations Research, The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校统计与运筹学系);IBM Research, Thomas J. Watson Research Center(IBM研究中心托马斯·J·沃森研究中心)
该研究将洗牌动量梯度方法的分析拓展至凸与强凸有限和优化问题,首次给出强凸设置下该类方法的收敛速率分析,达到与现有最优洗牌随机梯度算法相当的水平。
2024-03-05 cs.LG math.OC
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学);Florida State University(佛罗里达州立大学)
随机梯度Hamilton Monte Carlo(SGHMC)是一种动量随机梯度算法,在随机梯度中加入受控的、适当缩放的高斯噪声,使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功,特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法,如随机梯度Langevin动力学(SGLD)在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的,其有限时间性能还没有得到很好的理解。在这项工作中,我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平,对一类非凸问题,我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明,在全局非凸优化的背景下,动量加速是可能的。
2020-11-18 cs.LG math.OC
Adaptive Restart for Accelerated Gradient Schemes
在本文中,我们展示了一个简单的启发式自适应重新启动技术,可以显着提高加速梯度格式的收敛速度。该技术的分析依赖于观察,这些计划表现出两种行为模式,这取决于施加了多少动量。在我们所说的“高动量”机制中,由加速梯度方案产生的迭代表现出周期性行为,其中周期与目标函数的局部条件数的平方根成比例。这暗示了一种重新启动技术,每当我们观察到周期性行为时,我们就会重置动量。我们提供的分析表明,在许多情况下,自适应重新启动允许我们恢复的最佳收敛速率,没有先验知识的函数参数。
2012-04-18 math.OC
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh(爱丁堡大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有:随机梯度下降,随机牛顿,随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功,包括原始函数值,原始迭代(在L2意义上),和对偶函数值。我们还表明,原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率(即,具有动量随机梯度下降法)。在较弱的条件下,我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外,我们提出了一个新的概念,我们称之为随机动量,旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量,并表明,在一些稀疏的数据制度和足够小的动量参数,这些方法享有更好的整体复杂性比方法与确定性动量。最后,我们对人工和真实数据集进行了广泛的数值测试,包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Stochastic Gradient Descent with Momentum: Analysis and Synthesis via Integral Quadratic Constraints
RWTH Aachen University(亚琛工业大学);University of Stuttgart(斯图加特大学)
本文将动态积分二次约束(IQCs)用于加速随机梯度算法的分析与综合,提出刻画小批量梯度二阶统计量的IQCs、验证指数收敛速率的半定规划及界定渐近方差的条件,还提出识别最优小批量梯度算法的凸综合过程。
2026-08-10 cs.SY eess.SY math.OC
Accelerating Variance-Reduced Stochastic Gradient Methods
方差缩减是改善随机梯度下降算法缓慢收敛的重要工具。然而,只有少数方差减少的方法,尚未被证明直接受益于Nesterov的加速技术,以匹配加速梯度法的收敛速度。这种方法依赖于“负动量”,一种用于进一步降低方差的技术,通常专用于SVRG梯度估计器。在这项工作中,我们表明,负动量是不必要的加速和开发一个通用的加速框架,允许所有流行的方差减少的方法,以实现加速的收敛速度。出现在这些速率中的常数,包括它们对函数$n$的数量的依赖,与梯度估计的均方误差和偏差成比例。在一系列的数值实验中,我们证明,版本的SAGA,SVRG,SARAH,和SARGE使用我们的框架显着优于非加速版本,并比较有利的算法使用负动量。
2020-10-29 math.OC
An Adaptive Gradient Method with Energy and Momentum
Iowa State University(爱荷华州立大学)
本文提出了一种基于梯度的随机目标函数优化算法。该方法可以被视为具有动量的SGD的变体,其配备有通过“能量”变量自动调整的自适应学习率。该方法实现简单,计算效率高,非常适合大规模机器学习问题。该方法具有无条件的能量稳定性的任何大小的基本学习率。在在线凸优化框架下,给出了收敛速度的遗憾界。在随机非凸条件下,我们还建立了算法到一个稳定点的能量依赖的收敛速度。此外,提供了一个充分条件来保证能量变量的正下限阈值。我们的实验表明,该算法收敛速度快,同时在训练深度神经网络时比SGD更好或更好地推广,并且与Adam相比也很有利。
2022-03-23 cs.LG math.OC
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University(复旦大学)
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法,包括随机梯度下降,重球,Nesterov的加速梯度,在一般框架下进行了分析,温和的假设。在期望梯度收敛的基础上,通过详细讨论动量和上交叉数的影响,证明了算法的几乎必然收敛。值得注意的是,没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品,我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing(科学与工程计算国家重点实验室);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
遵循与[SSJ 20]相同的程序,本文继续对带动量的随机梯度下降(SGD with momentum)进行理论分析。随后,对于具有动量的SGD,我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程(hp依赖的随机微分方程),作为一个连续的替代SGD与动量。同样,我们建立了具有动量的连续时间SGD公式的线性收敛性,并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较,我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时,引入动量的变化。然后,我们提出了一个数学解释,为什么有动量的SGD收敛速度更快,更强大的学习率比标准SGD在实践中。最后,我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
2022-09-11 cs.LG math.AP math.OC
The Marginal Value of Momentum for Small Learning Rate SGD
Princeton University(普林斯顿大学);Yale University(耶鲁大学);Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文通过理论分析与实验表明,在小学习率、梯度噪声主导的随机优化中,带动量与不带动量的 SGD 表现相近,动量对优化和泛化的实际收益有限。
2024-04-16 cs.LG math.OC
Muon meets Tamed Langevin: Momentum Preconditioning beyond Convex and gradient-Lipschitz Potentials
University of Edinburgh(爱丁堡大学);National Technical University of Athens(雅典国立技术大学);Athena/Archimedes Research Centre(Athena/Archimedes 研究中心)
针对非凸且非梯度-Lipschitz 势的矩阵空间 Gibbs 采样,提出非二次动能驱动的欠阻尼 Langevin 系统,实现动量预处理,证明测度不变性与指数收敛,并保证离散化算法的稳定性。
2026-10-02 cs.LG math.OC math.PR
Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
Department of Mathematical Sciences(数学科学系);Rensselaer Polytechnic Institute(伦斯勒理工学院);Department of Computer Science(计算机科学系);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM Watson AI实验室,IBM研究);IBM T. J. Watson Research Center(IBM T.J. 华生研究中心)
本文提出两种压缩去中心化动量随机梯度算法,分别针对梯度有界和无界数据异构场景,实现最优收敛率、线性加速,并在DNN和Transformer训练中表现优越。
2025-08-07 cs.LG math.OC
Gradient descent with momentum --- to accelerate or to super-accelerate?
Maynooth University(梅努斯大学);Max-Planck Institute for the Physics of Complex Systems(马克斯·普朗克复杂系统物理研究所)
我们考虑梯度下降与“动量”,损失函数最小化在机器学习中广泛使用的方法。该方法通常与“Nesterov加速度”一起使用,这意味着梯度不是在参数空间中的当前位置处评估,而是在一步之后的估计位置处评估。在这项工作中,我们表明,该算法可以通过延长这种“加速”-通过使用在估计位置的梯度几步,而不是仅仅提前一步。在这种“超加速”算法中,人们向前看的距离由一个新的超参数决定。考虑单参数二次型损失函数,可以精确计算和解析估计超加速度的最优值。我们明确表明,超加速的动量算法是有益的,不仅对于这个理想化的问题,而且对于几个合成损失景观和MNIST分类任务与神经网络。超加速也很容易纳入自适应算法,如RMSProp或亚当,并显示,以改善这些算法。
2020-01-17 cs.LG math.OC stat.ML
An Accelerated Distributed Stochastic Gradient Method with Momentum
本文提出带动量加速的分布式随机梯度方法DSMT,利用动量跟踪与无循环切比雪夫加速,在一般方差条件下达到与集中式SGD相当的收敛速率,且瞬态时间最短。
2025-03-26 cs.DC cs.MA math.OC
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
Effects of momentum scaling for SGD
研究了带预条件的随机梯度法的性质。重点研究了动量系数为$β$的动量更新预条件子。为了解释缩放方法的实际效率,我们提供了一个与预条件相关的范数的收敛性分析,并证明缩放允许摆脱梯度Lipschitz常数的收敛速度。一路上,我们强调$β$的重要作用,不值得设置为常数$0.99...9$在任意的各个作者。最后,我们提出了自适应$β$和步长值的显式构造公式。
2022-10-21 math.OC
Robustly Stable Accelerated Momentum Methods With A Near-Optimal L2 Gain and $H_\infty$ Performance
研究了一阶通用动量方法(GMM)在梯度误差下的收敛与鲁棒性权衡,利用$H_\infty$范数和诱导$\ell_2$增益分析其鲁棒稳定性,证明HB虽快但不如NAG鲁棒。
2023-10-20 math.OC
On the Generalization of Stochastic Gradient Descent with Momentum
虽然基于动量的方法与随机梯度下降(SGD)结合在训练机器学习模型时被广泛使用,但对此类方法的泛化误差几乎没有理论理解。在这项工作中,我们首先表明,存在一个凸的损失函数的算法稳定性无法建立泛化保证时,SGD与标准重球动量(SGDM)运行多个时期。然后,对于光滑Lipschitz损失函数,我们分析了一种改进的基于动量的更新规则,即,SGD与早期动量(SGDEM),并表明它承认一个上限的泛化误差。因此,我们的研究结果表明,机器学习模型可以在SGDEM的多个时期进行训练,并保证泛化。最后,对于强凸损失函数的特殊情况,我们找到了一个动量范围,使得标准SGDM的多个时期,作为SGDEM的一种特殊形式,也是推广的。扩展我们在泛化方面的结果,我们还根据训练步骤的数量、训练集的大小和动量参数,开发了预期真实风险的上限。实验结果验证了数值结果与理论界的一致性以及SGDEM对光滑Lipschitz损失函数的有效性。
2021-09-23 cs.LG math.OC stat.ML
Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
School of Data Science, Fudan University(复旦大学数据科学学院);School of Mathematics, East China University of Science and Technology(华东理工大学数学学院)
本文提出采用 Hessian 辅助动量方差缩减并用 SGD 求解子问题的 NPG-HM,证明其在 Fisher 非退化参数化下以 O(ε^{-2}) 样本复杂度达到全局最后迭代 ε-最优,并在 Mujoco 实验中优于现有策略梯度方法。
2024-01-22 cs.LG math.OC
A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);New York University(纽约大学)
针对分布式网络稀疏与数据异构导致的优化偏差问题,提出动量加速算法 EDM,并证明其在非凸及 PL 条件下的收敛保证与紧上界。
2025-02-13 cs.DC cs.LG math.OC
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
School of Cyber Science & Engineering, Southeast University(东南大学网络空间科学与工程学院);Institute of Artificial Intelligence (TeleAI) of China Telecom(中国电信人工智能研究院);School of Mathematics, Southeast University(东南大学数学学院);Purple Mountain Laboratories(紫金山实验室)
针对分布式非凸复合联邦学习问题,提出DEPOSITUM算法,其通过梯度跟踪机制适配两类动量,支持多轮局部更新,理论上具低迭代复杂度,实验验证其有效性与竞争力。
2026-08-11 cs.DC cs.LG math.OC
Adaptive Gradient Method with Resilience and Momentum
Sensetime Research Group(商汤科技研究组);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学)
已经提出了随机梯度下降(SGD)的几种变体来提高训练深度神经网络时的学习效果和效率,其中最近一些有影响力的尝试想要自适应地控制参数方面的学习率(例如,Adam和RMSProp)。虽然它们在收敛速度上有很大的提高,但与SGD相比,大多数自适应学习率方法的泛化能力都受到了影响。本文针对网络参数的振荡会降低训练速度的问题,提出了一种具有弹性和动量的自适应梯度算法(AdaRem),并给出了收敛性的理论证明。对于每个参数,AdaRem根据过去一个参数变化的方向是否与当前梯度的方向一致来调整参数方面的学习率,从而鼓励长期一致的参数更新,同时减少振荡。已经进行了全面的实验来验证AdaRem在大规模图像识别数据集上训练各种模型时的有效性,例如,ImageNet,这也表明我们的方法在训练速度和测试误差方面分别优于以前的基于自适应学习率的算法。
2020-10-21 cs.LG math.OC
Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting
Universität Bielefeld(比勒费尔德大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文证明动量随机梯度下降(MSGD)在非凸优化中的指数收敛速率显式界,显示其在小步长、平坦极小值或大噪声下优于普通SGD,并分析最优摩擦参数及几乎必然收敛到局部极小值。
2024-11-06 cs.LG math.OC math.PR
Generalized Polyak Step Size for First Order Optimization with Momentum
本文提出一种受Polyak步长启发的通用框架,为带动量的一阶优化方法自适应设置学习率,减少对动量参数的敏感性,避免病态问题振荡,并在随机设置中扩展,实验证明在大规模机器学习任务中优于先前算法。
2023-10-18 math.OC
Acceleration for Polyak-Łojasiewicz Functions with a Gradient Aiming Condition
Univ. Bordeaux, IMB(波尔多大学,IMB)
本文针对Polyak-Łojasiewicz函数,提出梯度瞄准条件,揭示动量方法可加速的几何因素,并证明强拟凸性不足以保证加速。
2026-06-12 math.OC
Fast Stochastic Variance Reduced Gradient Method with Momentum Acceleration for Machine Learning
The Chinese University of Hong Kong(香港中文大学)
最近,对加速的随机梯度下降方法(例如,SVRG)取得了令人兴奋的进展(例如,强凸问题的线性收敛)。然而,最知名的方法(例如,卡秋莎)至少需要两个辅助变量和两个动量参数。在本文中,我们提出了一种快速的随机方差降低梯度(FSVRG)方法,在该方法中,我们设计了一个新的更新规则与Nesterov的动量,并结合不断增长的历元大小的技术。FSVRG只有一个辅助变量和一个动量权重,因此它更简单,每次迭代的复杂度也更低。证明了FSVRG对于强凸问题具有线性收敛性,对于非强凸问题具有最佳的$\mathcal{O}(1/T^2)$收敛速度,其中$T$是外迭代次数。我们还扩展了FSVRG直接解决非光滑分量函数的问题,如SVM。最后,我们实证研究FSVRG解决各种机器学习问题,如逻辑回归,岭回归,Lasso和SVM的性能。我们的研究结果表明,FSVRG优于最先进的随机方法,包括喀秋莎。
2017-04-17 cs.AI cs.LG math.OC