First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
针对带动量项的随机梯度下降,在弱假设下提出其一阶和二阶连续近似,允许学习率和动量参数随时间变化,弥补了现有理论仅覆盖恒定学习率或无动量情形的不足。
2025-04-18 cs.LG math.OC
The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
在目标函数是强凸的情况下,香草分数阶梯度下降可能振荡地收敛到全局极小值值周围的区域,而不是收敛到精确的最小点,甚至发散。针对这一问题,本文提出了一种新的自适应分数阶梯度下降(AFOGD)方法和一种新的自适应分数阶加速梯度下降(AFOAGD)方法。受二次约束和鲁棒控制理论中的李雅普诺夫稳定性分析的启发,我们建立了一个线性矩阵不等式来分析所提出算法的收敛性。我们证明了当目标函数是$\textbf{L-}$光滑的和$\textbf{m-}$强凸的时,所提出的算法可以达到R-线性收敛.通过数值模拟验证了所提算法的有效性和优越性。
2023-03-08 cs.LG math.OC
Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
本文通过收敛分析与最优batch size估计证明,momentum既不能减少SGD中的梯度噪声,也不能减少搜索方向噪声,且其带来的目标函数平滑优势有限。
2025-07-02 cs.LG math.OC
Projection-Free Adaptive Gradients for Large-Scale Optimization
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
大规模优化的复杂性可能在于处理目标函数和处理约束集。在这方面,随机Frank-Wolfe算法占据了独特的位置,因为它们减轻了计算负担,通过只查询近似的一阶信息的目标,并通过保持迭代的可行性,而不使用投影。在本文中,我们通过自适应梯度混合来提高一阶信息的质量。我们推导出收敛速度,并证明了我们的方法在凸和非凸目标的最先进的随机Frank-Wolfe算法的计算优势。实验结果进一步表明,该方法可以提高自适应梯度算法的性能。
2021-02-15 cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略,通过观测全梯度范数衰减调整参数,以最小化SFO复杂度并加速SGD收敛,实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab(字节跳动人工智能实验室);Peking University(北京大学);Ohio State University(俄亥俄州立大学)
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而,它们在实践中的加速效果,特别是在神经网络训练中,很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中,我们提供了自适应梯度法一个新的分析与额外的温和的假设,并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标,我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度,这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比,现有的自适应梯度法和随机洗牌SGD,分别。据我们所知,这是第一次证明,自适应梯度法可以确定性地比SGD有限时期后更快。此外,我们进行了全面的实验,以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
Parameter-free version of Adaptive Gradient Methods for Strongly-Convex Functions
Georgia Institute of Technology(佐治亚理工学院)
本文针对λ-强凸函数上自适应梯度方法依赖λ与η的问题,借鉴Metagrad并行运行多专家并聚合预测,提出无参数主算法,获得O(d log T)遗憾界。
2023-07-15 cs.LG math.OC
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University(乔治·华盛顿大学)
本文证明了流形上自适应学习率随机梯度下降的收敛性,并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh(匹兹堡大学)
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法,但它们主要集中在经验或理论方面,并且仅通过使用特定的自适应学习率来解决特定的问题。因此,需要设计一个通用的框架,为实际的自适应梯度算法与理论保证,以解决一般问题。为了填补这一空白,我们提出了一个更快和通用的自适应梯度框架(即,SUPER-ADAM)通过引入一个通用的自适应矩阵,包括大多数现有的自适应梯度形式。此外,我们的框架可以灵活地集成动量和方差减少技术。特别是,我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中,我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度(即,随机一阶预言(SFO))复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化,它匹配的下界随机光滑非凸优化。在数值实验中,我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所);Physikalisch-Technische Bundesanstalt (PTB)(德国联邦物理技术研究院);Technical University of Berlin(柏林工业大学)
研究单边赫尔德正则性下连续可微非凸目标的自适应梯度下降,提出基于正单边赫尔德曲率估计的自适应标量步长法,结合充分下降保障,在两个全批量基准测试中表现良好,证明单边赫尔德曲率是有效自适应步长信号。
2026-07-28 cs.LG math.OC
Adaptive Gradient Method with Resilience and Momentum
Sensetime Research Group(商汤科技研究组);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学)
已经提出了随机梯度下降(SGD)的几种变体来提高训练深度神经网络时的学习效果和效率,其中最近一些有影响力的尝试想要自适应地控制参数方面的学习率(例如,Adam和RMSProp)。虽然它们在收敛速度上有很大的提高,但与SGD相比,大多数自适应学习率方法的泛化能力都受到了影响。本文针对网络参数的振荡会降低训练速度的问题,提出了一种具有弹性和动量的自适应梯度算法(AdaRem),并给出了收敛性的理论证明。对于每个参数,AdaRem根据过去一个参数变化的方向是否与当前梯度的方向一致来调整参数方面的学习率,从而鼓励长期一致的参数更新,同时减少振荡。已经进行了全面的实验来验证AdaRem在大规模图像识别数据集上训练各种模型时的有效性,例如,ImageNet,这也表明我们的方法在训练速度和测试误差方面分别优于以前的基于自适应学习率的算法。
2020-10-21 cs.LG math.OC
Why are Adaptive Methods Good for Attention Models?
MIT(麻省理工学院);EPFL(洛桑联邦理工学院);Google Research(谷歌研究院)
虽然随机梯度下降(SGD)仍然是深度学习中的\emph{de facto}算法,但已观察到像Clipped SGD/Adam这样的自适应方法在重要任务(如注意力模型)中的表现优于SGD。与自适应方法相比,SGD表现不佳的设置尚未得到很好的理解。在本文中,我们提供的经验和理论证据表明,随机梯度中的噪声的重尾分布是SGD的性能不佳的原因之一。给出了重尾噪声下自适应梯度法的第一个紧收敛上界和下界。此外,我们演示了梯度裁剪如何在解决重尾梯度噪声中发挥关键作用。随后,我们展示了如何裁剪可以应用于实践中开发的\emph{adaptive}坐标明智的裁剪算法(ACClip),并证明其优越的性能BERT预训练和微调任务。
2020-10-23 cs.LG math.OC
Adaptive Momentum and Nonlinear Damping for Neural Network Training
提出自适应动量系数和立方阻尼项,改进mSGD和Adam优化器,在ViT、BERT、GPT2等任务上匹配或超越Adam,并证明指数收敛。
2026-06-29 cs.LG math.OC
Heavy Ball Momentum for Conditional Gradient
University of Minnesota(明尼苏达大学)
条件梯度算法,又称Frank Wolfe(FW)算法,在机器学习和信号处理应用中具有良好的记录优点。与基于投影的方法不同,动量不能提高FW的收敛速度。这种限制促使目前的工作,这涉及沉重的球的势头,其影响FW。具体而言,它是建立重球提供了一个统一的观点上的原始-对偶(PD)收敛,并享有更严格的每迭代PD差错率,多个选择的步长,其中PD误差可以作为停止标准,在实践中。此外,它被断言,重新启动,通常采用的计划与涅斯捷罗夫的动量,可以进一步收紧这个PD误差界。数值结果表明,重球动量在FW迭代中的有效性。
2021-10-08 cs.LG math.OC
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University(印第安纳大学);The Pennsylvania State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题,对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析,证明其期望收敛到一阶驻点且维度相关收敛速率更优,还首次建立三类方法的高概率收敛界,助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah(犹他大学);University of Kentucky(肯塔基大学)
动量在基于随机梯度的优化算法中起着至关重要的作用,用于加速或改进深度神经网络(DNN)的训练。在深度学习实践中,动量通常由校准良好的常数加权。然而,调整动量的超参数可能是一个巨大的计算负担。在本文中,我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量,不需要动量相关的超参数,由非线性共轭梯度(NCG)方法激发。具有这种新的自适应动量的随机梯度下降(SGD)消除了对动量超参数校准的需要,允许显著更大的学习率,加速DNN训练,并提高训练的DNN的最终准确性和鲁棒性。例如,具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外,具有新的自适应动量的SGD也有利于对抗训练,并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251(波尔多大学 CNRS,波尔多 INP,IMB,UMR 5251)
提出一种无需超参数调优的随机梯度自适应步长策略,利用一阶随机Oracle的局部几何信息,理论证明收敛性,实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research(Facebook人工智能研究院);Princeton University(普林斯顿大学)
我们介绍MADGRAD,一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色,包括视觉中的分类和图像到图像任务,以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个,MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM,即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Auburn University(阿伯茨兰大学)
本文提出GeoAdaLer,一种利用优化景观几何特性的新型随机梯度下降自适应学习方法,提升了复杂优化场景中的可解释性与有效性。
2025-05-31 cs.LG math.OC stat.ML
FLAG n' FLARE: Fast Linearly-Coupled Adaptive Gradient Methods
UC Berkeley(加州大学伯克利分校);University of Queensland(昆士兰大学);ICSI(国际计算机科学研究所)
我们考虑一阶梯度法,有效地优化复合目标的形式,光滑和潜在的,非光滑函数。我们提出了加速和自适应梯度法,称为FLAG和FLARE,可以提供最好的两个世界。它们可以通过获得光滑凸优化的最优一阶预言复杂度来获得最优收敛速度。此外,它们可以自适应地和非均匀地重新缩放梯度方向,以适应可用的有限曲率并符合域的几何形状。我们从理论上和经验上证明,通过加速和自适应的复合效应,FLAG和FLARE可以非常有效地用于许多数据拟合和机器学习应用程序。
2017-11-11 cs.LG math.OC stat.ML
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法,动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降(Sgdm)使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重,已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析,我们的方法,这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明,该方法在实际问题中表现良好,性能优于Sgdm,在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
Adaptive Accelerated (Extra-)Gradient Methods with Variance Reduction
Boston University(波士顿大学);Northeastern University(东北大学)
本文主要研究一般凸情形下的有限和凸优化问题。近年来,方差缩减(VR)方法及其加速变体的研究取得了令人兴奋的进展。然而,在现有的VR算法中使用的步长通常取决于平滑度参数,该平滑度参数通常是未知的并且需要在实践中进行调整。为了解决这个问题,我们提出了两种新的自适应VR算法:自适应方差减少加速外梯度(AdaVRAE)和自适应方差减少加速梯度(AdaVRAG)。我们的算法不需要光滑参数的知识。AdaVRAE使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ}ε}\right)$梯度评估,AdaVRAG使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ\logβ}ε}\right)$梯度评估,以获得$\mathcal{O}(ε)$次优解,其中$n$是有限和中的函数数,$β$是平滑参数。该结果与非自适应VR方法的最佳收敛速度相匹配,并且它改进了现有技术的自适应VR方法AdaSVRG的收敛。我们展示了优越的性能,我们的算法与以前的方法相比,在现实世界的数据集上的实验。
2022-01-28 cs.DS cs.LG math.OC
Understanding the Role of Momentum in Stochastic Gradient Methods
Microsoft Research AI(微软研究院人工智能部)
在随机梯度方法中使用动量已经成为机器学习中的广泛实践。动量的不同变体,包括重球动量、Nesterov加速梯度(NAG)和准双曲动量(QHM),已经在各种任务中取得了成功。尽管这些经验的成功,有一个缺乏清晰的理解如何影响收敛性和不同的算法的各种性能指标的动量参数。在本文中,我们使用QHM的一般配方给出了一个统一的分析几个流行的算法,包括他们的渐近收敛条件,稳定区域,和他们的平稳分布的性质。此外,通过结合收敛率和平稳分布的结果,我们有时会得到反直观的实用指南设置的学习率和动量参数。
2019-10-30 cs.LG math.OC stat.ML
Adaptively Truncating Backpropagation Through Time to Control Gradient Bias
University of Washington(华盛顿大学)
截断时间反向传播(TBPTT)是一种流行的递归神经网络(RNN)学习方法,通过在固定数量的滞后后截断反向传播,以偏差为代价节省计算和内存。实际上,选择最佳截断长度是困难的:如果截断长度太小,TBPTT将不会收敛,或者如果截断长度太大,则会收敛缓慢。我们提出了一个自适应TBPTT计划,将问题从选择一个时间滞后选择一个可容忍的梯度偏置量。对于许多现实的RNN,TBPTT梯度在大滞后的预期中几何衰减;在这种情况下,我们可以通过自适应地改变截断长度来控制偏差。对于具有光滑激活函数的RNN,我们证明了这种偏差控制了SGD的收敛速度,因为我们的非凸损失具有偏差梯度。利用这一理论,我们开发了一种实用的方法,在训练过程中自适应估计截断长度。我们评估我们的自适应TBPTT方法的合成数据和语言建模任务,发现我们的自适应TBPTT改善了固定TBPTT的计算缺陷。
2019-07-01 cs.LG math.OC stat.ML
AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
University of Pennsylvania(宾夕法尼亚大学);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
该研究针对自适应梯度优化器提出AdAdaGrad及AdAdaGradNorm两种自适应批量大小方案,理论证明其收敛性,经图像分类实验验证,可提升大规模模型训练的效率与泛化性。
2026-08-26 cs.LG math.OC stat.ML
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
针对分布式局部梯度方法,提出自适应增大批量大小以降低梯度方差,并在同质数据下给出收敛保证,实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
SMG: A Shuffling Gradient-Based Method with Momentum
Cornell University(康奈尔大学);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
结合机器学习优化中的两种先进思想:洗牌策略和动量技术,提出了一种新的基于动量的洗牌梯度方法--洗牌动量梯度(Shuffling Momentum Gradient,SMG),用于求解非凸有限和最优化问题。虽然我们的方法受到动量技术的启发,但它的更新与现有的基于动量的方法有着根本的不同。我们建立国家的最先进的收敛速度SMG的任何洗牌策略,使用恒定或递减的学习率下的标准假设(即$L$ -平滑和有界方差)。当洗牌策略是固定的,我们开发了另一种新的算法,这是类似于现有的动量方法,并证明了相同的收敛速度下,该算法的$L$ -光滑和有界梯度的假设。我们通过标准数据集上的数值模拟证明了我们的算法,并将其与现有的洗牌方法进行了比较。我们的测试显示了令人鼓舞的性能的新算法。
2021-06-09 cs.LG math.OC stat.ML
DEAM: Adaptive Momentum with Discriminative Weight for Stochastic Optimization
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室(IFM Lab, Florida State University))
具有动量的优化算法,例如,(ADAM),由于与随机梯度下降(SGD)相比更快的收敛速度,已被广泛用于构建深度学习模型。在参数更新过程中,动量有助于加速相关方向上的SGD,从而减小参数更新路径的振荡。然而,像ADAM这样的动量优化算法在某些更新步骤中存在误差。固定动量权重(例如,β_1)将传播动量计算中的误差。本文介绍了一种新的优化算法,即自适应动量判别加权法(DEAM)。DEAM提出了基于判别角自动计算动量项权重的方法,而不是用固定的超参数来分配动量项权重。这样,DEAM涉及更少的超参数。DEAM还包含一个新的回溯项,当需要校正最后一步时,该项限制了冗余更新。大量的实验表明,DEAM可以实现更快的收敛速度比现有的优化算法在训练的深度学习模型的凸和非凸的情况。
2020-01-23 cs.LG math.OC stat.ML
Overshoot: Taking advantage of future gradients in momentum-based stochastic optimization
Kempelen Institute of Intelligent Technologies, Slovakia(斯洛伐克肯佩伦智能技术研究所);Brno University of Technology, Czechia(捷克布尔诺理工大学)
提出Overshoot优化方法,通过在沿动量方向平移后的权重处计算梯度来利用未来梯度,可融入SGD与Adam并实现至少15%的平均步数节省。
2025-01-16 cs.LG
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法(SGD)的一个范例,其中步长根据观察到的随机梯度变化,以最小化非凸,光滑的目标。尽管他们的流行,自适应SGD的分析落后于非自适应方法在这种情况下。具体地说,所有先前的工作都依赖于以下假设的某个子集:(i)均匀有界的梯度范数,(ii)均匀有界的随机梯度方差(甚至噪声支持),(iii)步长和随机梯度之间的条件独立性。在这项工作中,我们表明,AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后,最优调谐非自适应SGD(无界梯度范数和仿射噪声方差缩放)相同的假设下,关键的是,不需要任何调整参数。因此,我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology(长春理工大学);Northeast Normal University(东北师范大学)
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向,具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数,它是最优方向,它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点,提出了一种从动量随机梯度下降到普通随机梯度下降(TSGD)的尺度转换方法.同时,使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练,并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明,TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机梯度下降(SGD)已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用,如AdaGrad,Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法,它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则,自适应随机梯度,可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度,从而节省通信,并且仍然具有与原始亚当相当的收敛速度。在数值实验中,CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin(德克萨斯大学奥斯汀分校奥登研究所);Department of Mathematics, UT Austin(德克萨斯大学奥斯汀分校数学系)
我们证明了自适应随机梯度方法的范数版本(AdaGrad-Norm)对于满足Polyak Lojasiewicz(PL)不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上,我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性,而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论,并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research(塔塔咨询服务研究中心);Indian Institute of Technology(印度理工学院)
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛,提出统一理论框架,适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
On Distributed Adaptive Optimization with Gradient Compression
Baidu Research(百度研究院)
我们研究了COMP-AMS,一个基于梯度平均和自适应AMSGrad算法的分布式优化框架。在梯度传输过程中,采用带误差反馈的梯度压缩,以降低通信开销。我们对COMP-AMS算法的收敛性分析表明,这种压缩梯度平均策略与标准AMSGrad算法具有相同的收敛速度,并且具有线性加速比效应。当地工人的数量。与最近提出的分布式自适应方法的协议相比,COMP-AMS是简单和方便的。数值实验验证了理论分析的正确性,并表明该方法可以达到与全梯度AMSGrad相同的测试精度,同时节省了大量的通信开销。由于其简单和高效,COMP-AMS可以作为一个有用的自适应梯度方法的分布式训练框架。
2022-05-11 cs.LG stat.ML
Escaping Saddle Points with Adaptive Gradient Methods
MIT EECS(麻省理工学院电子工程与计算机科学系);Google Research, New York(谷歌研究院纽约分部)
Adam和RMSProp等自适应方法广泛用于深度学习,但尚未得到很好的理解。在本文中,我们寻求一个清晰的,干净的和精确的表征他们的行为在非凸设置。为此,我们首先提供了一个新的自适应方法预处理SGD,其中预条件估计在线的方式。通过研究预处理器本身,我们阐明了它的目的:它重新调整随机梯度噪声在平稳点附近是各向同性的,这有助于逃离鞍点。此外,我们表明,自适应方法可以有效地估计上述预条件。通过粘合在一起,这两个组件,我们提供了第一(据我们所知)的二阶收敛结果的任何自适应方法。从我们的分析中得出的关键见解是,与SGD相比,自适应方法更快地逃离鞍点,并且可以更快地整体收敛到二阶稳定点。
2020-02-03 cs.LG math.OC stat.ML
Double Adaptive Stochastic Gradient Optimization
Carnegie Mellon University(卡内基梅隆大学);ITAM(墨西哥自治技术研究所)
自适应矩方法在深度学习优化中非常成功,特别是在存在噪声和/或稀疏梯度的情况下。我们进一步的优势,自适应矩技术,提出了一个家庭的双重自适应随机梯度方法\textsc{DASGrad}。它们利用了深度学习社区广泛使用的自适应矩算法的互补思想,以及自适应概率算法的最新进展。我们分析了我们的方法在随机凸优化设置中的理论收敛性改进,并提供了凸和非凸目标的实证验证。我们观察到,~ \textsc{DASGrad}的好处随着模型的复杂性和梯度的可变性而增加,我们探索了分布匹配多任务学习扩展中的实用性。
2018-11-06 cs.LG stat.ML
Adaptive and Momentum Methods on Manifolds Through Trivializations
University of Oxford(牛津大学)
自适应方法没有直接推广到流形,因为自适应项不是不变的。流形上的动量方法受到流形曲率引起的效率问题的影响。我们引入了一个框架来推广自适应和动量方法到任意流形,注意到对于每个可微流形,存在一个径向凸开集,几乎覆盖了所有的流形。由于是径向凸的,所以该集合与$\mathbb{R}^n$同构。这给出了任何自适应和基于动量的算法到覆盖任意流形中几乎所有流形的集合的自然推广。我们还展示了如何将这些方法扩展到具有收缩的梯度下降方法。对于它的实现,我们带来了一个近似矩阵的指数,只需要5个矩阵乘法,使其在GPU上特别有效。在实践中,我们看到,这一系列的算法关闭的数值差距所造成的不正确使用的动量和自适应方法的流形。同时,我们看到,这个家庭的最有效的算法是通过简单地拉回到切空间的问题在初始点通过指数映射。
2020-10-09 cs.LG cs.NA math.NA
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Samsung AI Center(三星人工智能中心)
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法,并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性,且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks
University of Science and Technology of China(中国科学技术大学);Wuhan University(武汉大学);JD Explore Academy(京东探索研究院)
已广泛探索了共享感知最小化(SAM)优化器,因为它可以通过引入额外的扰动步骤来平坦化深度学习模型的景观,从而更好地泛化用于训练深度神经网络。将SAM与自适应学习率和动量加速相结合,称为AdaSAM,已经被经验地探索用于训练大规模深度神经网络,而没有理论保证,这是由于在分析耦合的扰动步长、自适应学习率和动量步长时存在三重困难。本文在随机非凸情形下分析了AdaSAM的收敛速度。我们理论上表明,AdaSAM承认一个$\mathcal{O}(1/\sqrt{bT})$收敛速度,实现线性加速性能的小批量大小$b$。具体地说,解耦的随机梯度步骤与自适应学习率和扰动梯度,我们引入延迟二阶动量项分解它们,使它们独立,同时采取的期望在分析过程中。然后我们通过显示自适应学习率具有有限的范围来约束它们,这使得我们的分析可行。据我们所知,我们是第一个提供非平凡的收敛速度SAM与自适应学习率和动量加速。最后,我们在几个NLP任务上进行了实验,实验结果表明,AdaSAM与SGD,AMSGrad和SAM优化器相比,可以获得更好的性能。
2023-03-01 cs.DC cs.LG math.OC
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心);Microsoft Research Asia(微软亚洲研究院)
自适应矩估计(Adam)结合了自适应学习率和动量,将是最受欢迎的随机优化器,用于加速深度神经网络的训练。然而,经验上已知,亚当通常比随机梯度下降(SGD)更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说,我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点,但不能选择平坦的极小SGD。相比之下,Momentum提供了一个漂移效应来帮助训练过程通过鞍点,并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD(带动量)的泛化能力更好,而Adam的泛化能力更差,但收敛速度更快。此外,在分析的基础上,我们设计了一个新的自适应优化框架Adaptive Inertia,它使用参数自适应惯性来加速训练,并可证明有利于平坦最小值和SGD。我们的大量实验表明,所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
Columbia University, Irving Medical Center(哥伦比亚大学,伊文斯医疗中心)
HB-SGE通过结合重力球动量与预测梯度外推,提供了一种在不良条件和非凸问题上更稳健的梯度下降方法,兼具稳定性与效率。
2025-12-10 cs.LG
Private Adaptive Gradient Methods for Convex Optimization
Stanford University(斯坦福大学);Apple(苹果公司);Massachusetts Institute of Technology(麻省理工学院)
我们研究自适应方法差分私人凸优化,提出和分析差分私人变量的自适应步长的随机梯度下降(SGD)算法,以及AdaGrad算法。我们提供了两种算法的遗憾上界,并表明边界是(最坏情况下)最优的。由于我们的发展,我们表明,我们的私人版本的AdaGrad优于自适应SGD,这反过来又优于传统的SGD的情况下,非各向同性梯度(非私人)Adagrad可证明优于SGD。主要的挑战是,通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下,我们研究非各向同性剪切和噪声添加,开发一个原则性的理论方法,随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学);University of Virginia(弗吉尼亚大学)
自适应梯度方法采用历史梯度信息来自动调整学习率,尽管具有快速收敛的良好特性,但在训练深度神经网络时,已观察到比具有动量的随机梯度下降(SGD)更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中,我们表明,自适应梯度方法,如亚当,Amsgrad,有时是“过适应”。我们设计了一种新的算法,称为部分自适应动量估计方法,它通过引入部分自适应参数$p$,将Adam/Amsgrad和SGD统一起来,以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明,该算法在训练深度神经网络时,在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London(伦敦大学学院)
我们提出了一个统一的框架,以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下,我们重新推导经典的动量和Nesterov的加速梯度法,贷款一个新的直观的解释后者的算法。我们表明,一个新的算法,我们长期正规化梯度下降,可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
Adaptive Hierarchical Hyper-gradient Descent
The University of Sydney(悉尼大学)
在这项研究中,我们研究学习率自适应在不同级别的超梯度下降框架的基础上,提出了一种方法,自适应学习优化器参数相结合的多层次的学习率与层次结构。同时,我们展示了正则化过参数化学习率和在不同层次上建立自适应学习率组合之间的关系。在前馈网络、LeNet-5和ResNet-18/34等多种网络架构上的实验表明,所提出的多级自适应方法在各种情况下都能优于基线自适应方法。
2021-05-11 cs.LG cs.NE
CProp: Adaptive Learning Rate Scaling from Past Gradient Conformity
Chulalongkorn University(朱拉隆功大学)
包括随机梯度下降(SGD)及其自适应梯度导数的大多数优化器面临相同的问题,其中训练期间的有效学习率差异很大。学习率调度,主要是调整的手,通常在实践中使用。在本文中,我们提出了CProp,梯度缩放方法,它作为第二级学习率适应整个训练过程的基础上,从过去的梯度一致性线索。当过去的梯度在方向上一致时,CProp保持原始的学习率。相反,如果梯度方向不一致,CProp会根据梯度的不确定性按比例缩小梯度。由于它通过缩放来工作,因此它可以应用于任何现有的优化器,以扩展其学习率调度能力。我们对CProp进行了一系列测试,显示SGD和Adam等自适应梯度方法的训练速度都有显着提高。代码可在https://github.com/phizaz/cprop上获得。
2019-12-24 cs.LG stat.ML
AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations
Beijing Institute of Technology(北京理工大学);Shenzhen University(深圳大学)
自适应优化方法在深度学习中得到了广泛的应用。它们根据过去的梯度自适应地缩放学习率,这已被证明是有效的,以加速收敛。然而,他们遭受的泛化性能差相比,SGD。最近的研究指出,平滑指数梯度噪声会导致泛化退化现象。受此启发,我们提出了AdaL,在原始梯度上进行了变换。AdaL通过在初始阶段放大梯度来加速收敛,并通过在后期收缩梯度来抑制振荡和稳定优化。这种改进增强了梯度噪声的平滑性,从而产生更好的泛化性能。我们已经从理论上证明了AdaL的收敛性,并在几个基准测试中证明了其有效性。
2021-07-04 cs.AI cs.LG
Adaptive Braking for Mitigating Gradient Delay
Cerebras Systems;Google(谷歌)
神经网络训练通常通过使用多个同步工作器并行计算梯度更新来加速。异步方法消除了同步开销,提高了硬件利用率,但代价是引入了梯度延迟,这阻碍了优化,并可能导致最终模型性能降低。我们引入自适应制动(AB),基于动量的优化器的修改,减轻梯度延迟的影响。AB基于梯度和速度的对齐动态缩放梯度。这可以抑制沿着损失表面的高曲率方向的振荡,稳定和加速异步训练。我们表明,在SGD之上应用AB和动量,可以在CIFAR-10和ImageNet-1 k上训练ResNet,延迟$D \geq$ 32个更新步骤,最终测试精度下降最小。
2020-07-10 cs.DC cs.LG math.OC
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University(爱荷华州立大学)
在本文中,我们提出了一个新的自适应随机梯度Langevin动力学(ASGLD)算法框架和它的两个专门版本,即自适应随机梯度(ASG)和自适应梯度Langevin动力学(AGLD),非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点,这几乎是无量纲的。此外,我们表明,ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外,具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值,迭代以$O(\log d/ε^2)$为界,这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
AdaX: Adaptive Gradient Descent with Exponential Long Term Memory
Purdue University(普渡大学);Sensetime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
虽然自适应优化算法,如亚当显示在许多机器学习任务的快速收敛,本文确定了亚当的问题,通过分析其在一个简单的非凸综合问题的性能,表明亚当的快速收敛可能会导致算法的局部极小值。为了解决这个问题,我们改进亚当提出了一种新的自适应梯度下降算法AdaX。与Adam忽略过去的梯度不同,AdaX在训练过程中以指数方式累积过去的长期梯度信息,以自适应地调整学习率。我们彻底证明了AdaX的收敛性在凸和非凸设置。大量的实验表明,AdaX在计算机视觉和自然语言处理的各种任务中表现优于Adam,并且可以赶上随机梯度下降。
2020-05-04 cs.LG stat.ML
A High Probability Analysis of Adaptive SGD with Momentum
Boston University(波士顿大学)
随机梯度下降(SGD)及其变体是机器学习应用中最常用的算法。特别是,具有自适应学习速率和动量的SGD是训练深度网络的行业标准。尽管这些方法取得了巨大的成功,但我们对这些变量在非凸环境中的理论理解并不完整,大多数结果仅证明了预期的收敛性,并且对随机梯度有很强的假设。在本文中,我们提出了一个高概率分析的自适应和动量算法,弱假设的功能,随机梯度和学习率。我们用它来证明第一次梯度收敛到零的高概率在光滑的非凸设置延迟AdaGrad动量。
2020-07-28 cs.LG stat.ML