Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts
Purdue University(普渡大学)
贝叶斯深度学习提供了一种解决人工智能(AI)安全性问题的原则性方法,例如模型不确定性,模型可解释性和预测偏差。然而,由于缺乏从深度神经网络(DNN)的后验中采样的有效蒙特卡罗算法,贝叶斯深度学习尚未为我们的AI系统提供动力。提出了一类自适应随机梯度马尔可夫链蒙特卡罗(SGMCMC)算法,该算法对漂移函数进行偏置以增强对鞍点的逃逸,并根据过去样本的梯度自适应地调整偏置.我们建立了所提出的算法在温和的条件下的收敛性,并通过数值例子表明,所提出的算法可以显着优于现有的SGMCMC算法,如随机梯度朗之万动力学(SGLD),随机梯度哈密顿蒙特卡罗(SGHMC)和预处理SGLD,在模拟和优化任务。
2020-09-20 cs.LG stat.ML
The Marginal Value of Adaptive Gradient Methods in Machine Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
自适应优化方法(其利用从迭代历史构造的度量来执行局部优化)对于训练深度神经网络正变得越来越流行。例子包括AdaGrad、RMSProp和Adam。我们发现,对于简单的过参数化问题,自适应方法往往会找到与梯度下降(GD)或随机梯度下降(SGD)截然不同的解决方案。我们构造了一个说明性的二元分类问题,其中数据是线性可分的,GD和SGD实现零测试误差,AdaGrad,Adam和RMSProp实现任意接近一半的测试误差。我们还研究了自适应方法在几种最先进的深度学习模型上的经验泛化能力。我们观察到,自适应方法找到的解决方案比SGD更差(通常显着更差),即使这些解决方案具有更好的训练性能。这些结果表明,从业者应该重新考虑使用自适应方法来训练神经网络。
2018-05-22 cs.LG stat.ML
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA(英伟达)
我们提出了NovoGrad,自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中,它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外,NovoGrad(1)对学习率和权重初始化的选择具有鲁棒性,(2)在大批量设置中工作良好,(3)内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
Stochastic modified equations and adaptive stochastic gradient algorithms
Institute of High Performance Computing(高性能计算研究所);Beijing Institute of Big Data Research(北京大数据研究院);Peking University(北京大学);Princeton University(普林斯顿大学)
我们发展了随机修正方程(SME)的方法,其中随机梯度算法在弱意义下由连续时间随机微分方程近似。我们利用连续配方连同最优控制理论,以获得新的自适应超参数调整政策。我们的算法具有竞争力的性能,并且对不同的模型和数据集具有鲁棒性。这为随机梯度算法的分析和设计提供了一种通用的方法。
2017-06-20 cs.LG stat.ML
Adaptive Gradient Quantization for Data-Parallel SGD
University of Toronto(多伦多大学);Vector Institute;IST Austria(奥地利科学技术研究所);NeuralMagic
SGD的许多通信高效变体使用梯度量化方案。这些方案通常是启发式的,并且在训练过程中是固定的。我们根据经验观察到,深度模型的梯度统计数据在训练过程中会发生变化。出于这种观察,我们介绍了两种自适应量化方案,ALQ和AMQ。在这两种方案中,处理器通过有效地计算参数分布的足够的统计量来并行地更新它们的压缩方案。在具有挑战性的低成本通信设置中,我们在CIFAR-10上将验证准确性提高了近2%,在ImageNet上提高了1%。我们的自适应方法对超参数的选择也更加鲁棒。
2020-10-23 cs.LG stat.ML
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Disentangling Adaptive Gradient Methods from Learning Rates
Google AI Princeton(谷歌人工智能普林斯顿);Google Brain(谷歌大脑);Tel Aviv University & Google Research, Tel Aviv(特拉维夫大学及谷歌研究(特拉维夫));Department of Computer Science, Princeton University(普林斯顿大学计算机科学系)
我们研究了深度学习优化算法评估中的几个混杂因素。首先,我们深入研究自适应梯度方法如何与学习率调度交互,这是一个众所周知的难以调整的超参数,对神经网络训练的收敛性和泛化性有着巨大的影响。我们引入了一个“嫁接”实验,从其方向的更新的幅度,发现许多现有的信念在文献中可能已经出现了不充分的隔离的隐式时间表的步长。除了这方面的贡献,我们提出了一些经验和理论回顾自适应梯度方法的推广,旨在使这个空间更加清晰。
2020-02-26 cs.LG stat.ML
Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms
针对基于核的梯度下降算法,提出引入经验有效维度的自适应早停准则,通过积分算子方法证明其最优学习速率,并给出迭代次数精确界以体现计算优势。
2023-06-13 cs.LG stat.ML
On the Distributional Properties of Adaptive Gradients
School of Statistics, Xi’an University of Finance and Economics(西安财经大学统计学院);Department of Physics, University of Tokyo(东京大学物理系)
自适应梯度方法在训练各种任务的深度神经网络方面取得了显着的成功。然而,对这一系列方法的数学和统计特性知之甚少。这项工作的目的是提供一系列的理论分析,其统计特性的实验证明。特别是,我们表明,当底层梯度服从正态分布,方差的大小的\textit{update}是一个递增和有界的时间函数,不发散。这项工作表明,方差的分歧是不是亚当优化器需要热身的原因,相反,在目前的文献中所认为的。
2021-05-15 cs.LG stat.ML
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University(印第安纳大学);The Pennsylvania State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题,对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析,证明其期望收敛到一阶驻点且维度相关收敛速率更优,还首次建立三类方法的高概率收敛界,助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University(爱荷华州立大学)
在本文中,我们提出了一个新的自适应随机梯度Langevin动力学(ASGLD)算法框架和它的两个专门版本,即自适应随机梯度(ASG)和自适应梯度Langevin动力学(AGLD),非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点,这几乎是无量纲的。此外,我们表明,ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外,具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值,迭代以$O(\log d/ε^2)$为界,这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Generating Minimal Adversarial Perturbations with Integrated Adaptive Gradients
深度神经网络很容易被欺骗对抗样本的高置信度预测
2019-05-20 cs.CR cs.LG stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而,现有的自适应梯度方法的收敛保证要求凸性或光滑性,并且在光滑设置中,仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法,并表明,对于两层过参数化神经网络-如果宽度足够大(多项式)-那么所提出的方法收敛\emph{to the global minimum}在多项式时间,收敛是强大的,\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明,过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
AdaLoss: A computationally-efficient and provably convergent adaptive gradient method
University of Chicago(芝加哥大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
我们提出了一个计算友好的自适应学习率调度,“AdaLoss”,它直接使用损失函数的信息来调整梯度下降方法的步长。我们证明了这个时间表在线性回归中具有线性收敛性。此外,我们提供了一个线性收敛保证的非凸制度,在上下文中的两层过参数化神经网络。如果双层网络中第一隐层的宽度足够大(多项式),则AdaLoss在多项式时间内稳健地收敛\emph{to the global minimum}。我们在数值上验证了理论结果,并通过考虑在LSTM模型中用于文本澄清和控制问题的策略梯度的应用,扩展了数值实验的范围。
2021-09-17 cs.LG stat.ML
MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients
University of Maryland(马里兰大学);Microsoft(微软);Tsinghua University(清华大学)
自适应梯度方法如RMSProp和Adam使用平方梯度的指数移动估计来计算自适应步长,在面对噪声目标时实现比SGD更好的收敛性。然而,由于不稳定或极端的自适应学习率,Adam可能具有不期望的收敛行为。已经提出了AMSGrad和AdaBound等方法来稳定Adam在训练后期的自适应学习率,但在训练Transformers \cite{transformer}等实际任务中,它们并没有超过Adam。在本文中,我们提出了一个自适应学习率原则,其中亚当的梯度平方的运行平均值被替换为加权平均值,权重选择为最大化每个坐标的估计方差。这导致对局部梯度方差的更快适应,这导致比Adam更理想的经验收敛行为。我们证明了所提出的算法收敛非凸随机优化问题在温和的假设下,并证明了我们的自适应平均方法在机器翻译,自然语言理解和大批量预训练的BERT的改进功效。该代码可在https://github.com/zhuchen03/MaxVA上获得。
2021-07-04 cs.LG stat.ML
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251(波尔多大学 CNRS,波尔多 INP,IMB,UMR 5251)
提出一种无需超参数调优的随机梯度自适应步长策略,利用一阶随机Oracle的局部几何信息,理论证明收敛性,实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Adaptively Preconditioned Stochastic Gradient Langevin Dynamics
Columbia University(哥伦比亚大学)
随机梯度朗之万动力学将各向同性梯度噪声注入SGD,以帮助在深度网络的损失景观中导航病理曲率。噪声的各向同性性质导致较差的缩放,并且已经提出了基于高阶曲率信息的自适应方法(诸如Fisher Scoring)来预处理噪声以实现更好的收敛。在本文中,我们描述了一种自适应方法来估计噪声的参数,并进行实验,在著名的模型架构,自适应预处理SGLD方法实现收敛的速度与自适应一阶方法,如亚当,AdaGrad等。
2019-06-12 cs.CV cs.LG stat.ML
GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Auburn University(阿伯茨兰大学)
本文提出GeoAdaLer,一种利用优化景观几何特性的新型随机梯度下降自适应学习方法,提升了复杂优化场景中的可解释性与有效性。
2025-05-31 cs.LG math.OC stat.ML
AdaGrad-Diff: a Corrected Version of the Adaptive Gradient Algorithm for Composite Optimization
本文提出 AdaGrad-Diff,通过累积梯度差的平方范数来驱动自适应调整,提升算法在梯度波动时的鲁棒性。
2026-10-30 cs.LG math.OC stat.ML
FLAG n' FLARE: Fast Linearly-Coupled Adaptive Gradient Methods
UC Berkeley(加州大学伯克利分校);University of Queensland(昆士兰大学);ICSI(国际计算机科学研究所)
我们考虑一阶梯度法,有效地优化复合目标的形式,光滑和潜在的,非光滑函数。我们提出了加速和自适应梯度法,称为FLAG和FLARE,可以提供最好的两个世界。它们可以通过获得光滑凸优化的最优一阶预言复杂度来获得最优收敛速度。此外,它们可以自适应地和非均匀地重新缩放梯度方向,以适应可用的有限曲率并符合域的几何形状。我们从理论上和经验上证明,通过加速和自适应的复合效应,FLAG和FLARE可以非常有效地用于许多数据拟合和机器学习应用程序。
2017-11-11 cs.LG math.OC stat.ML
Adaptively Truncating Backpropagation Through Time to Control Gradient Bias
University of Washington(华盛顿大学)
截断时间反向传播(TBPTT)是一种流行的递归神经网络(RNN)学习方法,通过在固定数量的滞后后截断反向传播,以偏差为代价节省计算和内存。实际上,选择最佳截断长度是困难的:如果截断长度太小,TBPTT将不会收敛,或者如果截断长度太大,则会收敛缓慢。我们提出了一个自适应TBPTT计划,将问题从选择一个时间滞后选择一个可容忍的梯度偏置量。对于许多现实的RNN,TBPTT梯度在大滞后的预期中几何衰减;在这种情况下,我们可以通过自适应地改变截断长度来控制偏差。对于具有光滑激活函数的RNN,我们证明了这种偏差控制了SGD的收敛速度,因为我们的非凸损失具有偏差梯度。利用这一理论,我们开发了一种实用的方法,在训练过程中自适应估计截断长度。我们评估我们的自适应TBPTT方法的合成数据和语言建模任务,发现我们的自适应TBPTT改善了固定TBPTT的计算缺陷。
2019-07-01 cs.LG math.OC stat.ML
AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
University of Pennsylvania(宾夕法尼亚大学);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
该研究针对自适应梯度优化器提出AdAdaGrad及AdAdaGradNorm两种自适应批量大小方案,理论证明其收敛性,经图像分类实验验证,可提升大规模模型训练的效率与泛化性。
2026-08-26 cs.LG math.OC stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient
Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学)
随机梯度算法一直是大规模学习问题的主要焦点,它们在机器学习中取得了重要的成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中,我们提出了一种新的自适应学习率算法,它利用曲率信息自动调整的学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术,以加快收敛速度。在我们对深度神经网络的初步实验中,与流行的随机梯度算法相比,我们获得了更好的性能。
2015-11-01 cs.LG cs.NE stat.ML
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
针对分布式局部梯度方法,提出自适应增大批量大小以降低梯度方差,并在同质数据下给出收敛保证,实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
Gradient descent revisited via an adaptive online learning rate
任何梯度下降优化都需要选择学习率。随着模型越来越深,调整学习率很容易变得乏味,并且不一定会导致理想的收敛。我们提出了一种变化的梯度下降算法,其中的学习率是不固定的。相反,我们通过另一种梯度下降(一阶方法)或牛顿方法(二阶方法)来学习学习率本身。这样,可以优化任何机器学习算法的梯度下降。
2018-04-08 stat.ML
Local AdaAlter: Communication-Efficient Stochastic Gradient Descent with Adaptive Learning Rates
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技)
当扩展分布式训练时,通信开销通常是瓶颈。在本文中,我们提出了一种新的SGD变体减少通信和自适应学习率。我们证明了该算法的收敛性光滑,但非凸问题。实验结果表明,该算法显着降低了通信开销,这反过来,减少了高达30%的1B字数据集的训练时间。
2020-12-05 cs.DC cs.LG stat.ML
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法(SGD)的一个范例,其中步长根据观察到的随机梯度变化,以最小化非凸,光滑的目标。尽管他们的流行,自适应SGD的分析落后于非自适应方法在这种情况下。具体地说,所有先前的工作都依赖于以下假设的某个子集:(i)均匀有界的梯度范数,(ii)均匀有界的随机梯度方差(甚至噪声支持),(iii)步长和随机梯度之间的条件独立性。在这项工作中,我们表明,AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后,最优调谐非自适应SGD(无界梯度范数和仿射噪声方差缩放)相同的假设下,关键的是,不需要任何调整参数。因此,我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型(LVMs)开发基于随机梯度的可扩展推理是具有挑战性的,这是由于不仅难以计算梯度,而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络(PGBN),最近提出的深度离散LVM,我们推导出一种替代表示,被称为深度潜在狄利克雷分配(DLDA)。利用数据增广和边缘化技术,我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC,我们提出了主题层自适应随机梯度黎曼(TLASGR)MCMC,共同学习单纯形约束的全局参数在所有层和主题,主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research(塔塔咨询服务研究中心);Indian Institute of Technology(印度理工学院)
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛,提出统一理论框架,适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin(德克萨斯大学奥斯汀分校奥登研究所);Department of Mathematics, UT Austin(德克萨斯大学奥斯汀分校数学系)
我们证明了自适应随机梯度方法的范数版本(AdaGrad-Norm)对于满足Polyak Lojasiewicz(PL)不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上,我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性,而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论,并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
Conditional WGANs with Adaptive Gradient Balancing for Sparse MRI Reconstruction
GE Global Research(GE全球研究中心);Tel Aviv University(特拉维夫大学);GE Healthcare(GE医疗)
最近的稀疏MRI重建模型使用深度神经网络(DNN)从高度欠采样的k空间数据重建相对高质量的图像,从而实现更快的MRI扫描。然而,这些技术有时很难重建清晰的图像,在保持自然外观的同时保留精细的细节。在这项工作中,我们通过使用条件Wasserstein生成对抗网络结合一种新的自适应梯度平衡技术来提高图像质量,该技术可以稳定训练并最大限度地减少伪影程度,同时保持高质量的重建,从而产生比其他技术更清晰的图像。
2019-05-02 cs.LG eess.IV stat.ML
Escaping Saddle Points with Adaptive Gradient Methods
MIT EECS(麻省理工学院电子工程与计算机科学系);Google Research, New York(谷歌研究院纽约分部)
Adam和RMSProp等自适应方法广泛用于深度学习,但尚未得到很好的理解。在本文中,我们寻求一个清晰的,干净的和精确的表征他们的行为在非凸设置。为此,我们首先提供了一个新的自适应方法预处理SGD,其中预条件估计在线的方式。通过研究预处理器本身,我们阐明了它的目的:它重新调整随机梯度噪声在平稳点附近是各向同性的,这有助于逃离鞍点。此外,我们表明,自适应方法可以有效地估计上述预条件。通过粘合在一起,这两个组件,我们提供了第一(据我们所知)的二阶收敛结果的任何自适应方法。从我们的分析中得出的关键见解是,与SGD相比,自适应方法更快地逃离鞍点,并且可以更快地整体收敛到二阶稳定点。
2020-02-03 cs.LG math.OC stat.ML
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Samsung AI Center(三星人工智能中心)
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法,并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性,且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
Sparse Inverse Covariance Estimation via an Adaptive Gradient-Based Method
我们研究的问题估计从数据,稀疏近似逆协方差阵。估计稀疏约束逆协方差阵是高斯图形模型学习中的关键组成部分,但在数值上非常具有挑战性。我们通过开发一种新的基于自适应梯度的方法来解决这一挑战,该方法将梯度信息与自适应步长缩放策略相结合,从而形成一种可扩展的,具有高度竞争力的方法。我们的算法,像它的前辈,最大限度地提高了$\ell_1$范数惩罚对数似然,并具有相同的每迭代算法的复杂性,在其类中的最佳方法。我们的实验表明,我们的方法优于国家的最先进的竞争对手,往往是显着的,大的问题。
2011-06-25 stat.ML
Adaptive Non-reversible Stochastic Gradient Langevin Dynamics
Cornell University(康奈尔大学);University of Connecticut(康涅狄格大学)
众所周知,在朗之万动力学算法的梯度中加入任何反对称矩阵都会导致不可逆扩散,从而提高收敛速度。本文提出了一种自适应优化选择反对称矩阵的梯度算法。所得到的算法涉及一个不可逆的扩散算法交叉耦合的随机梯度算法,适应的斜对称矩阵。该算法使用与经典Langevin算法相同的数据。给出了反对称矩阵选择的最优性的弱收敛性证明。在贝叶斯学习和跟踪的例子中,该算法的收敛速度得到了改善。
2020-09-26 cs.LG cs.SY eess.SY
Private Adaptive Gradient Methods for Convex Optimization
Stanford University(斯坦福大学);Apple(苹果公司);Massachusetts Institute of Technology(麻省理工学院)
我们研究自适应方法差分私人凸优化,提出和分析差分私人变量的自适应步长的随机梯度下降(SGD)算法,以及AdaGrad算法。我们提供了两种算法的遗憾上界,并表明边界是(最坏情况下)最优的。由于我们的发展,我们表明,我们的私人版本的AdaGrad优于自适应SGD,这反过来又优于传统的SGD的情况下,非各向同性梯度(非私人)Adagrad可证明优于SGD。主要的挑战是,通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下,我们研究非各向同性剪切和噪声添加,开发一个原则性的理论方法,随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Lsh-sampling Breaks the Computation Chicken-and-egg Loop in Adaptive Stochastic Gradient Estimation
Rice University(莱斯大学)
随机梯度下降(SGD)算法是求解大规模优化问题的一种常用算法。SGD通过样本大小为1的均匀采样来估计梯度。有几个其他的工作,建议更快的逐时收敛,通过使用加权非均匀采样更好的梯度估计。不幸的是,为梯度估计维护这种自适应分布的每次迭代成本超过了计算完整梯度本身,我们称之为鸡和蛋循环。结果,迭代中收敛更快的假象,实际上导致了时间上的收敛更慢。在本文中,我们打破了这一障碍,提供了第一个演示方案,局部敏感哈希(LSH)采样随机梯度下降(LGD),这导致优越的梯度估计,同时保持每次迭代的采样成本类似于均匀采样。这样的算法是可能的,由于LSH的采样视图,这是最近曝光。由于优越和快速的估计,我们减少了所有现有的梯度下降算法的运行时间,依赖于梯度估计,包括亚当,Ada-grad等,我们证明了我们的建议的有效性与线性模型以及非线性BERT,这是最近流行的深度学习为基础的语言表示模型的实验。
2019-10-30 cs.LG math.OC stat.ML
Adaptive Experience Selection for Policy Gradient
Warwick Manufacturing Group (WMG), University of Warwick(华威大学华威制造集团(WMG));University of Warwick(华威大学);United Kingdom(英国(注意:英国是国家,非机构,这里可能是原文本中地址信息,按要求不提取))
策略梯度强化学习(RL)算法在连续控制等具有挑战性的学习任务中取得了令人印象深刻的性能,但受到高样本复杂度的影响。经验重放是一种常用的方法来提高样本效率,但梯度估计使用过去的轨迹通常有很高的方差。现有的经验重放采样策略,如均匀采样或优先经验重放,并没有明确地试图控制梯度估计的方差。在本文中,我们提出了一个在线学习算法,自适应经验选择(AES),自适应学习的经验采样分布,显式地最小化这个方差。使用遗憾最小化方法,AES迭代更新的经验抽样分布,以匹配的竞争对手分布的性能假设有最佳的方差。样本的非平稳性提出了一个动态的(即随时间变化)竞争对手的分布,提出了一个封闭的解决方案。我们证明,AES是一个低遗憾算法与合理的样本复杂度。从经验上讲,AES已经实现了深度确定性策略梯度和软演员评论算法,并在OpenAI Gym库的8个连续控制任务上进行了测试。我们的研究结果表明,AES导致显着提高性能相比,目前可用的经验采样策略的政策梯度。
2020-02-17 cs.LG cs.RO stat.ML
AutoClip: Adaptive Gradient Clipping for Source Separation Networks
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
裁剪梯度是改进梯度下降的已知方法,但需要手动选择裁剪阈值超参数。我们提出了AutoClip,这是一种自动自适应选择梯度裁剪阈值的简单方法,基于训练过程中观察到的梯度范数的历史。实验结果表明,应用AutoClip的结果,提高了泛化性能的音频源分离网络。对使用和不使用AutoClip训练的分离网络的训练动态的观察表明,AutoClip将优化引导到损失景观的更平滑部分。AutoClip实现起来非常简单,可以很容易地集成到跨多个域的各种应用程序中。
2020-07-25 cs.LG cs.SD eess.AS
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent
CEREMADE, Université Paris Dauphine - PSL Research University(CEREMADE,巴黎多芬大学-巴黎文理研究大学)
损失函数的最小化在深度神经网络中至关重要。另一方面,许多流行的优化算法已被证明是对应于一些梯度流类型的发展方程。受一般发展方程数值方法的启发,我们引入了一个二阶随机龙格库塔法,并证明了它产生了一个一致的程序的损失函数的最小化。此外,在自适应框架中,它可以与随机梯度下降(SGD)耦合,以自动调整SGD的学习率,而不需要关于损失泛函的Hessian的任何附加信息。自适应SGD,称为SGD-G2,已在标准数据集上成功测试。
2020-02-20 cs.LG cs.NA math.NA
Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees
Hong Kong Baptist University(香港浸会大学)
为了减少大型深度神经网络(DNN)模型的长训练时间,分布式同步随机梯度下降(S-SGD)通常用于一组工作者。然而,多个工作者带来的加速受到通信开销的限制。两种方法,即流水线和梯度稀疏化,已分别提出,以减轻通信开销的影响。然而,梯度稀疏化方法只能在反向传播之后发起通信,因此错过了流水线机会。在本文中,我们提出了一种新的分布式优化方法LAGS-SGD,它结合了S-SGD和一种新的分层自适应梯度稀疏化(LAGS)计划。在LAGS-SGD中,每个工作者独立地从每个层中选择一小组“显著”梯度,其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会,而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证,并且在较弱的分析假设下,它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明,LAGS-SGD在不损失明显模型精度的情况下,性能优于原始S-SGD和现有的稀疏S-SGD。
2020-03-02 cs.DC cs.LG stat.ML
On the Convergence of Stochastic Gradient Descent with Adaptive Stepsizes
Boston University(波士顿大学)
随机梯度下降是机器学习目标函数的大规模优化的首选方法。然而,它的性能变化很大,很大程度上取决于步长的选择。这激发了大量关于自适应步长的研究。然而,目前我们对这些方法的理论理解存在差距,特别是在非凸设置中。在本文中,我们开始缩小这一差距:我们从理论上分析在凸和非凸设置的AdaGrad步长的广义版本。我们证明了这些步长的充分条件,以实现几乎一定的渐近收敛的梯度为零,证明了第一个保证广义AdaGrad步长的非凸设置。此外,我们表明,这些步长允许自动适应的随机梯度在凸和非凸设置的噪声水平,$O(1/T)$和$O(1/\sqrt{T})$之间插值,对数项。
2019-02-26 cs.LG math.OC stat.ML
A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania(统计与数据科学系,沃顿商学院,宾夕法尼亚大学);Halicioğlu Data Science Institute, University of California, San Diego(Halicioğlu数据科学研究所,加州大学圣地亚哥分校)
本文通过Lyapunov方法证明了在四阶增长和凸性条件下,适应性梯度下降具有近线性收敛性,并提出更高效的变体算法。
2026-04-15 cs.LG math.OC stat.ML
IntSGD: Adaptive Floatless Compression of Stochastic Gradients
CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Inria(法国国家信息与自动化研究所);KAUST(阿卜杜拉国王科技大学)
我们提出了一个家庭的自适应整数压缩算子的分布式随机梯度下降(SGD),不沟通一个单一的浮点数。这是通过将浮点向量与每个设备已知的数字相乘,然后舍入为整数来实现的。与Sapio等人(2021)先前关于SwitchML整数压缩的工作相比,我们的IntSGD方法可证明是收敛的,并且计算成本更低,因为它自适应地估计了向量的缩放。我们的理论表明,IntSGD的迭代复杂性相匹配的SGD的凸和非凸,光滑和非光滑的函数,有和没有overparameterization的常数因子。此外,我们的算法也可以为流行的所有减少原语量身定制,并显示出有前途的经验性能。
2022-03-20 cs.LG math.OC stat.ML
Adaptive Braking for Mitigating Gradient Delay
Cerebras Systems;Google(谷歌)
神经网络训练通常通过使用多个同步工作器并行计算梯度更新来加速。异步方法消除了同步开销,提高了硬件利用率,但代价是引入了梯度延迟,这阻碍了优化,并可能导致最终模型性能降低。我们引入自适应制动(AB),基于动量的优化器的修改,减轻梯度延迟的影响。AB基于梯度和速度的对齐动态缩放梯度。这可以抑制沿着损失表面的高曲率方向的振荡,稳定和加速异步训练。我们表明,在SGD之上应用AB和动量,可以在CIFAR-10和ImageNet-1 k上训练ResNet,延迟$D \geq$ 32个更新步骤,最终测试精度下降最小。
2020-07-10 cs.DC cs.LG math.OC
Adaptive Conditional Gradient Descent
Institute for Research in Fundamental Sciences (IPM)(伊朗基础科学研究院);Iran University of Science and Technology(伊朗科技大学);CentraleSupélec(中央苏黎世高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所)
本文提出一种基于线性最小化预言机的自适应步长策略,通过估计局部Lipschitz常数保证迭代充分下降,在非凸、星形凸和强凸设置下实现了匹配最优理论界限的收敛率。
2025-10-13 math.OC stat.ML
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences(数据与决策科学部);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of Maryland(马里兰大学);Department of Mechanical Engineering(机械工程系)
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM,证明其收敛性,并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
Robust Surface Reconstruction from Gradients via Adaptive Dictionary Regularization
University of Michigan(密歇根大学)
本文介绍了一种新的方法,强大的表面重建光度立体法向量地图,特别适合于重建表面从噪声梯度。具体而言,我们提出了一种自适应字典学习的方法,试图同时整合的梯度场,而稀疏表示的空间补丁的重建表面在自适应字典域。我们表明,我们的配方学习的表面的底层结构,有效地作为一个自适应正则化,执行重建表面上的平滑约束。我们的方法是通用的,可以与文献中的许多现有的方法,以提高重建表面的完整性。我们证明了我们的方法对合成数据以及真实的光度立体数据的性能,并评估其对噪声的鲁棒性。
2017-09-30 cs.CV stat.ML
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中,顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而,由于每个方向的步骤序列是相同的,这可能会导致在病态问题的情况下,在实践中的不良结果。为了克服这一点,自适应梯度算法,如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
Adaptive Optimization with Examplewise Gradients
University College London(伦敦大学学院)
我们提出了一种新的,更一般的方法来设计随机梯度为基础的优化方法的机器学习。在这个新框架中,优化器假设每次迭代都可以访问一批梯度估计,而不是单个估计。这更好地反映了典型机器学习设置中实际可用的信息。为了证明这种广义方法的有用性,我们开发了夏娃,亚当优化器的适应,它使用示例梯度来获得更准确的二阶矩估计。我们提供了初步的实验,没有超参数调整,这表明新的优化器在小规模的基准测试中的性能略优于亚当,在大规模的基准测试中的性能相同或更差。需要进一步的工作来完善算法和调整超参数。
2021-11-30 cs.AI cs.LG cs.NE
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
由于训练数据集规模的爆炸式增长,分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的,在减少通信成本与随机梯度下降(SGD),有很少的尝试,在建立通信有效的自适应梯度方法与可证明的保证,这是广泛用于训练大规模机器学习模型。在本文中,我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题,这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点,具有相同的迭代复杂度,未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG