On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University(印第安纳大学);The Pennsylvania State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题,对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析,证明其期望收敛到一阶驻点且维度相关收敛速率更优,还首次建立三类方法的高概率收敛界,助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
AdaX: Adaptive Gradient Descent with Exponential Long Term Memory
Purdue University(普渡大学);Sensetime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
虽然自适应优化算法,如亚当显示在许多机器学习任务的快速收敛,本文确定了亚当的问题,通过分析其在一个简单的非凸综合问题的性能,表明亚当的快速收敛可能会导致算法的局部极小值。为了解决这个问题,我们改进亚当提出了一种新的自适应梯度下降算法AdaX。与Adam忽略过去的梯度不同,AdaX在训练过程中以指数方式累积过去的长期梯度信息,以自适应地调整学习率。我们彻底证明了AdaX的收敛性在凸和非凸设置。大量的实验表明,AdaX在计算机视觉和自然语言处理的各种任务中表现优于Adam,并且可以赶上随机梯度下降。
2020-05-04 cs.LG stat.ML
Stochastic gradient descent with gradient estimator for categorical features
Lokad;Litis(Litis实验室)
本文针对类别数据独热编码导致的稀疏性问题,提出一种新的梯度估计器,从理论和实验上证明其优于常用估计器,并发布匿名化零售数据集。
2023-04-18 cs.LG
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University(爱荷华州立大学)
在本文中,我们提出了一个新的自适应随机梯度Langevin动力学(ASGLD)算法框架和它的两个专门版本,即自适应随机梯度(ASG)和自适应梯度Langevin动力学(AGLD),非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点,这几乎是无量纲的。此外,我们表明,ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外,具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值,迭代以$O(\log d/ε^2)$为界,这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
ICLR Reproducibility Challenge Report (Padam : Closing The Generalization Gap Of Adaptive Gradient Methods in Training Deep Neural Networks)
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
这项工作是ICLR ReproductiveChallenge 2019的一部分,我们试图在会议提交的PADAM中重现结果:关闭自适应梯度方法在训练深度神经网络中的泛化差距。过去提出的自适应梯度方法表现出退化的泛化性能比随机梯度下降(SGD)的动量。作者试图通过设计一种新的优化算法来解决这个问题,该算法弥合了自适应梯度算法和带有动量的SGD之间的差距。通过这种方法,引入了一个新的可调超参数,称为部分自适应参数p,其在[0,0.5]之间变化。我们建立建议的优化器,并使用它来反映作者进行的实验。我们回顾和评论作者进行的实证分析。最后,我们还提出了Padam的进一步研究方向。我们的代码可在:https://github.com/yashkant/Padam-Tensorflow
2019-01-28 cs.LG stat.ML
The Marginal Value of Adaptive Gradient Methods in Machine Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
自适应优化方法(其利用从迭代历史构造的度量来执行局部优化)对于训练深度神经网络正变得越来越流行。例子包括AdaGrad、RMSProp和Adam。我们发现,对于简单的过参数化问题,自适应方法往往会找到与梯度下降(GD)或随机梯度下降(SGD)截然不同的解决方案。我们构造了一个说明性的二元分类问题,其中数据是线性可分的,GD和SGD实现零测试误差,AdaGrad,Adam和RMSProp实现任意接近一半的测试误差。我们还研究了自适应方法在几种最先进的深度学习模型上的经验泛化能力。我们观察到,自适应方法找到的解决方案比SGD更差(通常显着更差),即使这些解决方案具有更好的训练性能。这些结果表明,从业者应该重新考虑使用自适应方法来训练神经网络。
2018-05-22 cs.LG stat.ML
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251(波尔多大学 CNRS,波尔多 INP,IMB,UMR 5251)
提出一种无需超参数调优的随机梯度自适应步长策略,利用一阶随机Oracle的局部几何信息,理论证明收敛性,实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Adaptively Preconditioned Stochastic Gradient Langevin Dynamics
Columbia University(哥伦比亚大学)
随机梯度朗之万动力学将各向同性梯度噪声注入SGD,以帮助在深度网络的损失景观中导航病理曲率。噪声的各向同性性质导致较差的缩放,并且已经提出了基于高阶曲率信息的自适应方法(诸如Fisher Scoring)来预处理噪声以实现更好的收敛。在本文中,我们描述了一种自适应方法来估计噪声的参数,并进行实验,在著名的模型架构,自适应预处理SGLD方法实现收敛的速度与自适应一阶方法,如亚当,AdaGrad等。
2019-06-12 cs.CV cs.LG stat.ML
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA(英伟达)
我们提出了NovoGrad,自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中,它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外,NovoGrad(1)对学习率和权重初始化的选择具有鲁棒性,(2)在大批量设置中工作良好,(3)内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Auburn University(阿伯茨兰大学)
本文提出GeoAdaLer,一种利用优化景观几何特性的新型随机梯度下降自适应学习方法,提升了复杂优化场景中的可解释性与有效性。
2025-05-31 cs.LG math.OC stat.ML
Adaptive Gradient Quantization for Data-Parallel SGD
University of Toronto(多伦多大学);Vector Institute;IST Austria(奥地利科学技术研究所);NeuralMagic
SGD的许多通信高效变体使用梯度量化方案。这些方案通常是启发式的,并且在训练过程中是固定的。我们根据经验观察到,深度模型的梯度统计数据在训练过程中会发生变化。出于这种观察,我们介绍了两种自适应量化方案,ALQ和AMQ。在这两种方案中,处理器通过有效地计算参数分布的足够的统计量来并行地更新它们的压缩方案。在具有挑战性的低成本通信设置中,我们在CIFAR-10上将验证准确性提高了近2%,在ImageNet上提高了1%。我们的自适应方法对超参数的选择也更加鲁棒。
2020-10-23 cs.LG stat.ML
FLAG n' FLARE: Fast Linearly-Coupled Adaptive Gradient Methods
UC Berkeley(加州大学伯克利分校);University of Queensland(昆士兰大学);ICSI(国际计算机科学研究所)
我们考虑一阶梯度法,有效地优化复合目标的形式,光滑和潜在的,非光滑函数。我们提出了加速和自适应梯度法,称为FLAG和FLARE,可以提供最好的两个世界。它们可以通过获得光滑凸优化的最优一阶预言复杂度来获得最优收敛速度。此外,它们可以自适应地和非均匀地重新缩放梯度方向,以适应可用的有限曲率并符合域的几何形状。我们从理论上和经验上证明,通过加速和自适应的复合效应,FLAG和FLARE可以非常有效地用于许多数据拟合和机器学习应用程序。
2017-11-11 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University(乔治·华盛顿大学)
本文证明了流形上自适应学习率随机梯度下降的收敛性,并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Samsung AI Center(三星人工智能中心)
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法,并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性,且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
Adaptively Truncating Backpropagation Through Time to Control Gradient Bias
University of Washington(华盛顿大学)
截断时间反向传播(TBPTT)是一种流行的递归神经网络(RNN)学习方法,通过在固定数量的滞后后截断反向传播,以偏差为代价节省计算和内存。实际上,选择最佳截断长度是困难的:如果截断长度太小,TBPTT将不会收敛,或者如果截断长度太大,则会收敛缓慢。我们提出了一个自适应TBPTT计划,将问题从选择一个时间滞后选择一个可容忍的梯度偏置量。对于许多现实的RNN,TBPTT梯度在大滞后的预期中几何衰减;在这种情况下,我们可以通过自适应地改变截断长度来控制偏差。对于具有光滑激活函数的RNN,我们证明了这种偏差控制了SGD的收敛速度,因为我们的非凸损失具有偏差梯度。利用这一理论,我们开发了一种实用的方法,在训练过程中自适应估计截断长度。我们评估我们的自适应TBPTT方法的合成数据和语言建模任务,发现我们的自适应TBPTT改善了固定TBPTT的计算缺陷。
2019-07-01 cs.LG math.OC stat.ML
AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
University of Pennsylvania(宾夕法尼亚大学);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
该研究针对自适应梯度优化器提出AdAdaGrad及AdAdaGradNorm两种自适应批量大小方案,理论证明其收敛性,经图像分类实验验证,可提升大规模模型训练的效率与泛化性。
2026-08-26 cs.LG math.OC stat.ML
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh(匹兹堡大学)
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法,但它们主要集中在经验或理论方面,并且仅通过使用特定的自适应学习率来解决特定的问题。因此,需要设计一个通用的框架,为实际的自适应梯度算法与理论保证,以解决一般问题。为了填补这一空白,我们提出了一个更快和通用的自适应梯度框架(即,SUPER-ADAM)通过引入一个通用的自适应矩阵,包括大多数现有的自适应梯度形式。此外,我们的框架可以灵活地集成动量和方差减少技术。特别是,我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中,我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度(即,随机一阶预言(SFO))复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化,它匹配的下界随机光滑非凸优化。在数值实验中,我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research(塔塔咨询服务研究中心);Indian Institute of Technology(印度理工学院)
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛,提出统一理论框架,适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient
Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学)
随机梯度算法一直是大规模学习问题的主要焦点,它们在机器学习中取得了重要的成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中,我们提出了一种新的自适应学习率算法,它利用曲率信息自动调整的学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术,以加快收敛速度。在我们对深度神经网络的初步实验中,与流行的随机梯度算法相比,我们获得了更好的性能。
2015-11-01 cs.LG cs.NE stat.ML
Adaptive Non-reversible Stochastic Gradient Langevin Dynamics
Cornell University(康奈尔大学);University of Connecticut(康涅狄格大学)
众所周知,在朗之万动力学算法的梯度中加入任何反对称矩阵都会导致不可逆扩散,从而提高收敛速度。本文提出了一种自适应优化选择反对称矩阵的梯度算法。所得到的算法涉及一个不可逆的扩散算法交叉耦合的随机梯度算法,适应的斜对称矩阵。该算法使用与经典Langevin算法相同的数据。给出了反对称矩阵选择的最优性的弱收敛性证明。在贝叶斯学习和跟踪的例子中,该算法的收敛速度得到了改善。
2020-09-26 cs.LG cs.SY eess.SY
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah(犹他大学);University of Kentucky(肯塔基大学)
动量在基于随机梯度的优化算法中起着至关重要的作用,用于加速或改进深度神经网络(DNN)的训练。在深度学习实践中,动量通常由校准良好的常数加权。然而,调整动量的超参数可能是一个巨大的计算负担。在本文中,我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量,不需要动量相关的超参数,由非线性共轭梯度(NCG)方法激发。具有这种新的自适应动量的随机梯度下降(SGD)消除了对动量超参数校准的需要,允许显著更大的学习率,加速DNN训练,并提高训练的DNN的最终准确性和鲁棒性。例如,具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外,具有新的自适应动量的SGD也有利于对抗训练,并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Adaptive Hierarchical Hyper-gradient Descent
The University of Sydney(悉尼大学)
在这项研究中,我们研究学习率自适应在不同级别的超梯度下降框架的基础上,提出了一种方法,自适应学习优化器参数相结合的多层次的学习率与层次结构。同时,我们展示了正则化过参数化学习率和在不同层次上建立自适应学习率组合之间的关系。在前馈网络、LeNet-5和ResNet-18/34等多种网络架构上的实验表明,所提出的多级自适应方法在各种情况下都能优于基线自适应方法。
2021-05-11 cs.LG cs.NE
AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations
Beijing Institute of Technology(北京理工大学);Shenzhen University(深圳大学)
自适应优化方法在深度学习中得到了广泛的应用。它们根据过去的梯度自适应地缩放学习率,这已被证明是有效的,以加速收敛。然而,他们遭受的泛化性能差相比,SGD。最近的研究指出,平滑指数梯度噪声会导致泛化退化现象。受此启发,我们提出了AdaL,在原始梯度上进行了变换。AdaL通过在初始阶段放大梯度来加速收敛,并通过在后期收缩梯度来抑制振荡和稳定优化。这种改进增强了梯度噪声的平滑性,从而产生更好的泛化性能。我们已经从理论上证明了AdaL的收敛性,并在几个基准测试中证明了其有效性。
2021-07-04 cs.AI cs.LG
Private Adaptive Gradient Methods for Convex Optimization
Stanford University(斯坦福大学);Apple(苹果公司);Massachusetts Institute of Technology(麻省理工学院)
我们研究自适应方法差分私人凸优化,提出和分析差分私人变量的自适应步长的随机梯度下降(SGD)算法,以及AdaGrad算法。我们提供了两种算法的遗憾上界,并表明边界是(最坏情况下)最优的。由于我们的发展,我们表明,我们的私人版本的AdaGrad优于自适应SGD,这反过来又优于传统的SGD的情况下,非各向同性梯度(非私人)Adagrad可证明优于SGD。主要的挑战是,通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下,我们研究非各向同性剪切和噪声添加,开发一个原则性的理论方法,随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent
CEREMADE, Université Paris Dauphine - PSL Research University(CEREMADE,巴黎多芬大学-巴黎文理研究大学)
损失函数的最小化在深度神经网络中至关重要。另一方面,许多流行的优化算法已被证明是对应于一些梯度流类型的发展方程。受一般发展方程数值方法的启发,我们引入了一个二阶随机龙格库塔法,并证明了它产生了一个一致的程序的损失函数的最小化。此外,在自适应框架中,它可以与随机梯度下降(SGD)耦合,以自动调整SGD的学习率,而不需要关于损失泛函的Hessian的任何附加信息。自适应SGD,称为SGD-G2,已在标准数据集上成功测试。
2020-02-20 cs.LG cs.NA math.NA
Adaptive Gradient Methods with Local Guarantees
Google AI Princeton(谷歌人工智能普林斯顿);Princeton University(普林斯顿大学)
自适应梯度方法是机器学习中优化的首选方法,用于训练最大的深度模型。在本文中,我们研究的问题,学习一个局部预条件,可以改变的数据是沿着优化轨迹变化。我们提出了一个自适应梯度方法,具有可证明的自适应后悔保证与最佳局部预条件。为了得到这种保证,我们证明了一个新的自适应遗憾界在在线学习,改善了以前的自适应在线学习方法。我们证明了我们的方法的鲁棒性,在自动选择最佳的学习率调度的流行的基准任务在视觉和语言领域。不需要手动调整学习率调度,我们的方法可以在单次运行中实现与微调优化器相当且稳定的任务精度。
2023-01-25 cs.LG math.OC
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research(Facebook人工智能研究院);Princeton University(普林斯顿大学)
我们介绍MADGRAD,一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色,包括视觉中的分类和图像到图像任务,以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个,MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM,即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
利用统一的自适应矩阵,提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升(GDA)算法,该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是,我们提供了一个有效的收敛性分析框架,我们的自适应GDA方法。具体地说,我们提出了一种快速自适应梯度下降上升(AdaGDA)方法的基础上的基本动量技术,它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量,这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外,我们提出了一个加速版本的AdaGDA(VR-AdaGDA)方法的基础上的动量为基础的方差减少技术,实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量,这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外,我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验,验证了新算法的有效性。
2023-02-21 cs.LG math.OC
QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);Google(谷歌);MIT(麻省理工学院);Microsoft Research(微软研究院);London School of Economics(伦敦政治经济学院)
随机梯度下降(SGD)的并行实现已经受到了显著的研究关注,这要归功于该算法的出色的可扩展性,以及其在训练深度神经网络的上下文中的效率。并行化大规模SGD的一个基本障碍是节点之间传递梯度更新的成本可能非常大。因此,已经提出了有损压缩算法,通过该算法,节点仅传送量化的梯度。虽然在实践中是有效的,但这些算法并不总是可证明收敛的,也不清楚它们是否是最优的。在本文中,我们提出了量化SGD(QSGD),一个家庭的压缩方案,允许在每个节点的梯度更新的压缩,同时保证在标准假设下的收敛。QSGD允许用户在压缩和收敛时间之间进行权衡:它可以在模型维度上每次迭代传输次线性数量的比特,并且可以实现渐进最优的通信成本。我们补充我们的理论结果与经验数据,表明QSGD可以显着降低通信成本,同时与标准的未压缩技术在各种实际任务的竞争力。特别是,实验表明,梯度量化应用于图像分类和自动语音识别的深度神经网络的训练可以显著降低通信成本和端到端训练时间。例如,在16个GPU上,我们能够在ImageNet上训练ResNet-152网络,速度快1.8倍,达到完全准确。值得注意的是,我们发现存在通用参数设置,所有已知的网络架构在使用量化时保持或略微提高其全精度。
2017-12-06 cs.DS cs.LG
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg(雷根斯堡应用技术大学)
自适应矩估计(ADAM)是一种非常流行的深度神经网络训练算法,属于自适应梯度下降优化器家族。然而,据作者所知,没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法,给出了ADAM算法超参数的必要条件。由于参数的局部性质,目标函数可以是非凸的,但必须至少是两次连续可微的。然后,我们将这个过程应用到其他自适应梯度下降算法,并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
University of Bayreuth(拜罗伊特大学);Heidelberg University(海德堡大学)
本文提出一种利用梯度Lipschitz常数和局部方差的自适应步长SGD算法,几乎无需超参数,具有收敛保证,在图像分类中表现问题自适应,并支持预条件器。
2024-09-18 cs.LG math.OC
A New Adaptive Gradient Method with Gradient Decomposition
Center for Data Science(数据科学中心);Peking University(北京大学);Key Lab. of Machine Perception (MOE)(机器感知教育部重点实验室);School of EECS, Peking University(北京大学电子工程与计算机科学学院);Peng Cheng Laboratory(鹏城实验室)
自适应梯度方法,特别是Adam类型的方法(如Adam,AMSGrad和AdaBound),已经被提出来加速训练过程,并在学习率上使用逐元素缩放项。然而,与随机梯度下降(SGD)及其加速方案(如带动量的SGD(SGDM))相比,它们的推广性较差。在本文中,我们提出了一种新的自适应方法,称为DecGD,同时实现良好的推广SGDM和获得快速收敛像亚当型方法。具体地,DecGD将当前梯度分解为包括替代梯度和基于损失的向量的两项的乘积。我们的方法调整学习率自适应根据当前的损失为基础的向量,而不是在亚当型方法中使用的平方梯度。DecGD的自适应学习率的直觉是,在一般情况下,一个好的优化器需要随着损失的减少而减少学习率,这类似于学习率衰减调度技术。因此,DecGD在训练的早期阶段获得快速收敛,并根据基于损失的向量来控制有效的学习率,这有助于导致更好的泛化。收敛性分析讨论了凸和非凸的情况下。最后,广泛使用的任务和模型的实证结果表明,DecGD表现出更好的泛化性能比SGDM和快速收敛像亚当类型的方法。
2021-07-18 cs.LG math.OC
Adaptive Accelerated (Extra-)Gradient Methods with Variance Reduction
Boston University(波士顿大学);Northeastern University(东北大学)
本文主要研究一般凸情形下的有限和凸优化问题。近年来,方差缩减(VR)方法及其加速变体的研究取得了令人兴奋的进展。然而,在现有的VR算法中使用的步长通常取决于平滑度参数,该平滑度参数通常是未知的并且需要在实践中进行调整。为了解决这个问题,我们提出了两种新的自适应VR算法:自适应方差减少加速外梯度(AdaVRAE)和自适应方差减少加速梯度(AdaVRAG)。我们的算法不需要光滑参数的知识。AdaVRAE使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ}ε}\right)$梯度评估,AdaVRAG使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ\logβ}ε}\right)$梯度评估,以获得$\mathcal{O}(ε)$次优解,其中$n$是有限和中的函数数,$β$是平滑参数。该结果与非自适应VR方法的最佳收敛速度相匹配,并且它改进了现有技术的自适应VR方法AdaSVRG的收敛。我们展示了优越的性能,我们的算法与以前的方法相比,在现实世界的数据集上的实验。
2022-01-28 cs.DS cs.LG math.OC
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization
Wells Fargo(富国银行);Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过独热编码将梯度提升决策树转换为线性框架,并采用L1或L2正则化重新拟合,以增强模型对协变量扰动的鲁棒性,理论分析和实验验证了其有效性。
2023-05-11 cs.LG stat.ML
SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding
Institute for Global Prosperity, The Bartlett(全球繁荣研究所,巴特利特学院);University College London(伦敦大学学院);Department of Mathematics, Faculty of Natural Sciences(数学系,自然科学学院);Imperial College London(伦敦帝国学院)
SplitWise通过自适应虚拟编码方法,在保持模型可解释性的同时,有效捕捉非线性关系,提升回归模型的简洁性和泛化能力。
2025-05-21 cs.LG econ.EM stat.AP
Scalable Set Encoding with Universal Mini-Batch Consistency and Unbiased Full Set Gradient Approximation
KAIST(韩国科学技术院);National University of Singapore(新加坡国立大学)
本文提出 UMBC 集合函数类与恒定内存、无偏全集梯度近似的 MBC 训练算法,增强可扩展集合编码的表达能力,并在多类任务中验证其效率与效果。
2023-06-08 cs.LG stat.ML
Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising
UMass Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度学习模型会泄露大量关于其训练数据集的信息。先前的工作已经研究了通过向梯度添加DP噪声来保证差分隐私(DP)的训练模型。然而,这样的解决方案(特别是DPSGD)会导致训练模型的准确性大幅下降。在本文中,我们的目标是训练具有DP保证的深度学习模型,同时保持比以前更好的模型准确性。我们的关键技术是对梯度进行编码,将其映射到更小的向量空间,从而使我们能够获得不同噪声分布的DP保证。这使我们能够调查和选择噪声分布,以最好地保持目标隐私预算的模型准确性。我们还利用差分隐私的后处理特性,通过引入去噪的思想,进一步提高了训练模型的实用性,而不会降低其DP保证。我们表明,我们的机制优于国家的最先进的DPSGD,例如,对于相同的模型精度的$96.1\%$ MNIST,我们的技术结果在隐私界的$ε=3.2$相比,$ε=6$的DPSGD,这是一个显着的改进。
2020-07-22 cs.CR cs.LG stat.ML
Generating Minimal Adversarial Perturbations with Integrated Adaptive Gradients
深度神经网络很容易被欺骗对抗样本的高置信度预测
2019-05-20 cs.CR cs.LG stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而,现有的自适应梯度方法的收敛保证要求凸性或光滑性,并且在光滑设置中,仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法,并表明,对于两层过参数化神经网络-如果宽度足够大(多项式)-那么所提出的方法收敛\emph{to the global minimum}在多项式时间,收敛是强大的,\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明,过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts
Purdue University(普渡大学)
贝叶斯深度学习提供了一种解决人工智能(AI)安全性问题的原则性方法,例如模型不确定性,模型可解释性和预测偏差。然而,由于缺乏从深度神经网络(DNN)的后验中采样的有效蒙特卡罗算法,贝叶斯深度学习尚未为我们的AI系统提供动力。提出了一类自适应随机梯度马尔可夫链蒙特卡罗(SGMCMC)算法,该算法对漂移函数进行偏置以增强对鞍点的逃逸,并根据过去样本的梯度自适应地调整偏置.我们建立了所提出的算法在温和的条件下的收敛性,并通过数值例子表明,所提出的算法可以显着优于现有的SGMCMC算法,如随机梯度朗之万动力学(SGLD),随机梯度哈密顿蒙特卡罗(SGHMC)和预处理SGLD,在模拟和优化任务。
2020-09-20 cs.LG stat.ML
Stochastic modified equations and adaptive stochastic gradient algorithms
Institute of High Performance Computing(高性能计算研究所);Beijing Institute of Big Data Research(北京大数据研究院);Peking University(北京大学);Princeton University(普林斯顿大学)
我们发展了随机修正方程(SME)的方法,其中随机梯度算法在弱意义下由连续时间随机微分方程近似。我们利用连续配方连同最优控制理论,以获得新的自适应超参数调整政策。我们的算法具有竞争力的性能,并且对不同的模型和数据集具有鲁棒性。这为随机梯度算法的分析和设计提供了一种通用的方法。
2017-06-20 cs.LG stat.ML
AdaGrad-Diff: a Corrected Version of the Adaptive Gradient Algorithm for Composite Optimization
本文提出 AdaGrad-Diff,通过累积梯度差的平方范数来驱动自适应调整,提升算法在梯度波动时的鲁棒性。
2026-10-30 cs.LG math.OC stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
Gradient descent revisited via an adaptive online learning rate
任何梯度下降优化都需要选择学习率。随着模型越来越深,调整学习率很容易变得乏味,并且不一定会导致理想的收敛。我们提出了一种变化的梯度下降算法,其中的学习率是不固定的。相反,我们通过另一种梯度下降(一阶方法)或牛顿方法(二阶方法)来学习学习率本身。这样,可以优化任何机器学习算法的梯度下降。
2018-04-08 stat.ML
AutoClip: Adaptive Gradient Clipping for Source Separation Networks
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
裁剪梯度是改进梯度下降的已知方法,但需要手动选择裁剪阈值超参数。我们提出了AutoClip,这是一种自动自适应选择梯度裁剪阈值的简单方法,基于训练过程中观察到的梯度范数的历史。实验结果表明,应用AutoClip的结果,提高了泛化性能的音频源分离网络。对使用和不使用AutoClip训练的分离网络的训练动态的观察表明,AutoClip将优化引导到损失景观的更平滑部分。AutoClip实现起来非常简单,可以很容易地集成到跨多个域的各种应用程序中。
2020-07-25 cs.LG cs.SD eess.AS
Adaptive Conditional Gradient Descent
Institute for Research in Fundamental Sciences (IPM)(伊朗基础科学研究院);Iran University of Science and Technology(伊朗科技大学);CentraleSupélec(中央苏黎世高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所)
本文提出一种基于线性最小化预言机的自适应步长策略,通过估计局部Lipschitz常数保证迭代充分下降,在非凸、星形凸和强凸设置下实现了匹配最优理论界限的收敛率。
2025-10-13 math.OC stat.ML
Sparse Inverse Covariance Estimation via an Adaptive Gradient-Based Method
我们研究的问题估计从数据,稀疏近似逆协方差阵。估计稀疏约束逆协方差阵是高斯图形模型学习中的关键组成部分,但在数值上非常具有挑战性。我们通过开发一种新的基于自适应梯度的方法来解决这一挑战,该方法将梯度信息与自适应步长缩放策略相结合,从而形成一种可扩展的,具有高度竞争力的方法。我们的算法,像它的前辈,最大限度地提高了$\ell_1$范数惩罚对数似然,并具有相同的每迭代算法的复杂性,在其类中的最佳方法。我们的实验表明,我们的方法优于国家的最先进的竞争对手,往往是显着的,大的问题。
2011-06-25 stat.ML
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中,顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而,由于每个方向的步骤序列是相同的,这可能会导致在病态问题的情况下,在实践中的不良结果。为了克服这一点,自适应梯度算法,如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
Robust Surface Reconstruction from Gradients via Adaptive Dictionary Regularization
University of Michigan(密歇根大学)
本文介绍了一种新的方法,强大的表面重建光度立体法向量地图,特别适合于重建表面从噪声梯度。具体而言,我们提出了一种自适应字典学习的方法,试图同时整合的梯度场,而稀疏表示的空间补丁的重建表面在自适应字典域。我们表明,我们的配方学习的表面的底层结构,有效地作为一个自适应正则化,执行重建表面上的平滑约束。我们的方法是通用的,可以与文献中的许多现有的方法,以提高重建表面的完整性。我们证明了我们的方法对合成数据以及真实的光度立体数据的性能,并评估其对噪声的鲁棒性。
2017-09-30 cs.CV stat.ML