Berry--Esseen Bounds for Multivariate Nonlinear Statistics with Applications to M-estimators and Stochastic Gradient Descent Algorithms
通过建立一个新的多元型随机浓度不等式,建立了一般多元非线性统计量的Berry-Esseen界.该界是许多已知统计量的最佳可能界。作为应用,得到了M-估计和平均随机梯度下降算法的Berry-Esseen界.
2021-04-01 math.PR math.ST stat.TH
Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent
Universität Bielefeld(比勒费尔德大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);Institute of Mathematics of NAS of Ukraine(乌克兰国家科学院数学研究所)
我们提出了新的限制动态随机梯度下降的小学习率制度称为随机修改流。这些随机微分方程是由圆柱布朗运动驱动的,并通过具有规则的扩散系数和匹配的多点统计来改进所谓的随机修改方程。作为第二个贡献,我们引入分布相关的随机修改流,我们证明了描述的波动限制动态的随机梯度下降在小学习率无限宽缩放制度。
2023-02-14 cs.LG math.AP math.PR
Carathéodory Sampling for Stochastic Gradient Descent
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
许多问题需要在大数据集上优化经验风险函数。在每个下降步骤中计算完整梯度的梯度下降方法不能扩展到此类数据集。各种风格的随机梯度下降(SGD)取代了昂贵的总和,通过在数据集的随机选择的子样本上用一个小的和来近似计算完整的梯度,而子样本又受到高方差的影响。我们提出了一种不同的方法,灵感来自经典的结果Tchakaloff和Carathéodory的措施减少。这些结果允许用另一个精心构造的概率度量来替换经验度量,该概率度量具有小得多的支持度,但可以保留某些统计数据,例如预期梯度。为了将其转化为可扩展的算法,我们首先自适应地选择进行测量缩减的下降步骤;其次,我们将其与块坐标下降相结合,以便可以非常便宜地进行测量缩减。这使得生成的方法可扩展到高维空间。最后,我们提供了一个实验验证和比较。
2020-11-25 cs.LG math.PR stat.ML
Gradient descent in higher codimension
我们考虑梯度流和离散和噪声梯度下降的行为。通常注意到,向离散梯度下降过程中添加噪声会影响梯度下降的轨迹。在以前的工作中,我们观察到了这种效应。在那里,我们考虑了最小值的余维数为1的情况。在本文中,我们做了一些计算机实验,观察噪声梯度下降在更复杂的设置更高的余维的最小值的行为。
2019-04-18 cs.LG math.DS math.OC
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251(波尔多大学 CNRS,波尔多 INP,IMB,UMR 5251)
提出一种无需超参数调优的随机梯度自适应步长策略,利用一阶随机Oracle的局部几何信息,理论证明收敛性,实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Reparameterizing Mirror Descent as Gradient Descent
Google Research(谷歌研究院)
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而,对于一些小型网络,当目标稀疏时,其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架,用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下,镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的,并涵盖了广泛的镜像下降更新,即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现,这些学习优化器表现出显着程度的转移,因为它们可以用来有效地优化广泛的衍生物自由黑盒函数,包括高斯过程土匪,简单的控制目标,全局优化基准和超参数调整任务。在训练范围内,学习的优化器学习权衡探索和利用,并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research(IBM研究院)
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常,要么使用随机初始化,要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则,我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证,建立了在所有情况下都是充分的条件,并且在某些情况下也是必要的条件,在这些条件下,我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题,例如生成对抗性示例,为黑盒机器学习模型生成事后解释,以及分配通信频谱,并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们引入了一个条件加速惰性随机梯度下降算法,具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$,比Hazan和Kale [2012]的无投影,基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
Long-time dynamics and universality of nonconvex gradient descent
Department of Statistics, Rutgers University, Piscataway, NJ 08854, USA.(统计系,罗杰斯大学,皮斯基塔威,新泽西州08854,美国)
本文提出通用方法刻画大长宽比下广义单指数模型中非凸梯度下降的长时间轨迹行为,证明其集中于一确定性向量并可用状态演化系统追踪,揭示了隐式正则化效应,并应用于全局收敛性证明和无数据参数估计算法。
2025-09-14 cs.IT cs.LG math.IT
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago(芝加哥丰田理工学院);USC(南加利福尼亚大学);Technion(以色列理工学院)
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反,在线性全连接网络中,梯度下降收敛到硬边缘线性支持向量机解,而不管深度如何。
2019-01-11 cs.LG stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology(长春理工大学);Northeast Normal University(东北师范大学)
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向,具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数,它是最优方向,它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点,提出了一种从动量随机梯度下降到普通随机梯度下降(TSGD)的尺度转换方法.同时,使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练,并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明,TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
A note on diffusion limits for stochastic gradient descent
Università di Bologna(博洛尼亚大学)
在机器学习文献中,随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论,已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据,展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Gradient Descent Converges to Minimizers
University of California, Berkeley(加州大学伯克利分校)
我们表明,梯度下降收敛到一个局部极小,几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Google Research, Mountain View(谷歌研究院(山景城))
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算,即使在非常简单的学习设置中。我们的结果意味着,在弱复杂性理论的假设下,不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能与机器人系统研究院)
在本文中,我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架,其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降,经典的和广义的高斯-牛顿方法,自然梯度下降方法,梯度协方差矩阵方法,和牛顿的方法。除了在一个单一的框架内解释这些方法,我们解释了它们的特殊性,并显示在哪些条件下,其中一些一致。
2021-08-14 cs.LG stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
梯度下降是一种流行的优化算法,其在凸设置中的性能大多是很好理解的。在非凸设置,它已被证明,梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明,扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人,2015,Ge et. 2017]。在本文中,我们证明了一个否定的结果:梯度下降可能需要指数时间来逃离鞍点,非病态的二维函数。虽然我们的重点是理论,我们也进行实验验证我们的理论结果。通过我们的分析,我们表明,随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research(IBM研究院);Akron University(阿克伦大学)
我们考虑最大平均差异($\mathrm{MMD}$)GAN问题,并提出了一个参数核化梯度流,模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现,这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后,我们推导出一个明确的条件,确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下,我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$,并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流,因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后,数值实验表明,我们的参数核化梯度流稳定GAN训练,并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill(北卡罗来纳大学教堂山分校);Binghamton University(宾汉姆顿大学);Eastern Illinois University(东伊利诺伊大学)
自牛顿法问世以来,梯度下降算法已被用于无数应用中。近年来,神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数:必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法,称为Gravilon,它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络,我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London(伦敦大学学院)
我们提出了一个统一的框架,以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下,我们重新推导经典的动量和Nesterov的加速梯度法,贷款一个新的直观的解释后者的算法。我们表明,一个新的算法,我们长期正规化梯度下降,可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
A proof of convergence for gradient descent in the training of artificial neural networks for constant target functions
ETH Zurich(苏黎世联邦理工学院);University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
梯度下降优化算法是用于训练人工神经网络(ANN)的标准成分。尽管大量的数值模拟表明梯度下降最优化方法在人工神经网络的训练中确实收敛,但直到今天还没有严格的理论分析来证明(或反驳)这个猜想。特别是,即使在梯度下降优化算法的最基本变体的情况下,普通的香草梯度下降法,它仍然是一个开放的问题,证明或反驳的猜想,梯度下降收敛在人工神经网络的训练。本文在目标函数为常数函数的特殊情况下解决了这一问题。更具体地说,在恒定的目标函数的情况下,我们证明了在训练的整流全连接前馈神经网络与一个隐藏层的梯度下降法的风险函数确实收敛到零。我们的数学分析充分利用了整流器函数是所考虑的ANN中使用的激活函数的特性。这项工作的一个关键贡献是明确指定的梯度流系统的人工神经网络参数的李雅普诺夫函数。这个李雅普诺夫函数是我们证明梯度下降法收敛性的核心工具。
2021-02-19 cs.LG cs.NA math.NA
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
在本文中,我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前,大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中,将迭代地更新模型变量,直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外,近年来还提出了许多梯度下降变体来提高学习性能,包括Momentum,Adagrad,Adam,Gadam等,本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University(乔治·华盛顿大学)
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近,建立带约束收缩方法的收敛定理,并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降(PSGD)算法在循环神经网络(RNN)训练中的性能。PSGD自适应地估计预条件子以加速梯度下降,并且被设计为简单、通用和易于使用,如随机梯度下降(SGD)。RNN,特别是那些需要极长时间记忆的RNN,很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明,PSGD是能够实现高度竞争力的性能,而无需使用任何技巧,如预处理,预训练或参数调整。
2016-12-08 cs.LG stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI(谷歌人工智能)
深度学习社区中的一个悬而未决的问题是,为什么用梯度下降训练的神经网络在真实数据集上泛化得很好,即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降,我们称之为相干的相干性:来自类似的例子的相干性是相似的,所以整体梯度是强的,在某些方向上,这些相互加强。因此,在训练过程中对网络参数的改变偏向于那些(局部)同时有益于许多示例(当存在这种相似性时)的参数。我们用启发式论证和微扰实验来支持这一假设,并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外,我们的分析不仅是描述性的,而且是规定性的。它建议对梯度下降进行自然修改,可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent
Bielefeld Universität(比勒费尔德大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Institute of Mathematics of NAS of Ukraine(乌克兰国家科学院数学研究所)
建立了随机相互作用粒子系统在平均场极限下对保守随机偏微分方程解的收敛性,并给出了最佳收敛速率.作为第二个主要结果,一个定量的中心极限定理,这样的SPDE推导,再次,最佳的收敛速率。结果适用于,特别是,在平均场标度的随机梯度下降动力学在overparametrized,浅神经网络的SPDE的解决方案的收敛。结果表明,包括在限制SPDE的波动提高了收敛速率,并保留有关的波动的随机梯度下降的连续极限的信息。
2022-12-14 cs.LG math.AP math.PR
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University(庆应义塾大学);CNRS(法国国家科学研究中心)
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方(KNLMS)算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science(魏茨曼科学研究所);TTI Chicago(芝加哥丰田工业大学)
当梯度延迟并反映$τ$轮前的迭代时,我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先,我们表明,没有随机噪声,延迟强烈影响可达到的优化误差:事实上,错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是,我们量化了随机噪声如何使延迟的影响可以忽略不计,改进了以前的工作,这些工作只显示了这种现象渐近或更小的延迟。此外,在分布式优化的背景下,结果表明,具有延迟的梯度下降的性能是有竞争力的同步方法,如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法,使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT(麻省理工学院)
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降,其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降,并建立其理论保证,以优化功能,是\emph{displacement convex}的措施。具体地,对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数,我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University(西北大学)
在高维情况下,大多数机器学习方法即使存在少量离群值,其性能也是脆弱的。为了解决这个问题,我们希望引入一种新的方法与基础学习,如贝叶斯回归或随机梯度下降,以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛,所以我们使用小批量梯度下降的方法,称为带有修剪的小批量梯度下降(MBGDT)。当我们将我们的方法应用于设计的数据集时,我们的方法显示出最先进的性能,并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Stochastic modified equations for the asynchronous stochastic gradient descent
Stanford University(斯坦福大学);Duke University(杜克大学)
提出了一种随机修正方程(SME)模型,用于异步随机梯度下降(ASGD)算法的建模。由此产生的Langevin型中小企业提取更多的信息ASGD动力学和阐明不同类型的随机梯度算法之间的关系。我们证明了在连续时间限制下ASGD向SME的收敛,以及SME对不同强迫项下ASGD轨迹的精确预测。作为SME的一个应用,我们通过求解关联SME的最优控制问题,提出了一种ASGD的最优最小化策略。
2019-09-27 cs.LG stat.ML
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明,如果初始损失足够小,梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时,我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University(普渡大学)
梯度下降及其变体广泛用于机器学习。然而,在许多应用中,梯度的oracle访问可能不可用,限制了梯度下降的直接使用。针对一般的非凸优化问题,提出了一种估计梯度的梯度下降算法,该算法收敛于一个稳定点。除了一阶平稳特性之外,二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明,建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能,任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Optimal Asymptotic Rates for (Stochastic) Gradient Descent under the Local PL-Condition: A Geometric Approach
University of Wuppertal(伍珀塔尔大学)
本文研究了在局部PL条件下的梯度下降算法收敛速率,通过几何方法证明了其渐近收敛速率与强凸二次函数相同。
2026-05-14 math.OC math.PR stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia(不列颠哥伦比亚大学);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
在本文中,我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法,可以在许多环境中设计新算法,如无梯度,自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性,而且还具有简单的表达式。最后,我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分,一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化,其中包括所有以前的结果在这种设置。它表明,梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反,具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University(湘潭大学)
受动态规划的启发,提出了随机虚拟梯度下降(SVGD)算法,其中虚拟梯度由计算图和自动微分定义。该方法计算效率高,内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明,SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech(巴黎高科矿业学院)
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中,我们开发了一个程序扩展随机梯度下降算法的情况下,函数定义在黎曼流形。我们证明,在欧几里德的情况下,梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用,并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Occam Gradient Descent
Independent(独立研究者)
针对深度学习模型规模与过拟合的平衡难题,研究提出可证明有效的算法结合训练与剪枝,衍生出Occam Gradient Descent,在多类任务和模型上均优于传统梯度下降及相关方法,兼顾效率与准确率。
2025-09-02 cs.LG
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降,它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是,它的学习率配备了乘法随机性,产生一个随机学习率计划。理论结果表明,加速几乎必然收敛率的随机梯度下降在一个非凸设置时,使用适当的随机学习率相比,确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
On the convergence of gradient descent for two layer neural networks
已经表明,梯度下降可以在过参数化的区域(神经网络的宽度远大于数据点的数量)中产生零训练损失。在这项工作中,结合一些现有的工作的思想,我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论,我们表明,梯度下降可以产生指数收敛速度,而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元(ReLU)激活函数的深度神经网络的问题。特别是,我们研究了二进制分类问题,并表明对于一个广泛的损失函数族,在适当的随机权重初始化下,梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值,在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化,然后是(随机)梯度下降,产生一系列迭代,这些迭代停留在以初始权重为中心的小扰动区域内,其中深度ReLU网络的经验损失函数具有良好的局部曲率特性,确保(随机)梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化,并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London(伦敦大学学院);KAUST(阿卜杜拉国王科技大学)
我们研究了Stein变分梯度下降(SVGD)算法,该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中,SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降,其中梯度通过核积分算子平滑。在本文中,我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理,建立该算法在每次迭代中降低目标,并为平均Stein Fisher发散(也称为核Stein离散)的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施,其人口版本。
2021-01-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University(卡内基梅隆大学);Montana State University(蒙大拿州立大学)
我们提供了更大的步长限制,基于梯度下降的算法(几乎肯定)避免严格的鞍点。特别地,考虑一个二次可微(非凸)目标函数,其梯度具有Lipschitz常数L,并且其Hessian是良好的。我们证明了,初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点,给定一个一致随机初始化,是零。这扩展了以前的结果,由凸的情况下施加的尖锐的限制。此外,参数的情况下,当给定的学习率时间表,无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Universality of Gradient Descent Neural Network Training
University of Central Florida(中佛罗里达大学)
人们已经观察到,神经网络的设计选择往往是其成功优化的关键。因此,在这篇文章中,我们讨论了这样一个问题,即是否总是可以重新设计一个神经网络,使其能够很好地使用梯度下降进行训练。这产生了以下普适性结果:对于给定的网络,如果存在任何算法可以为分类任务找到好的网络权重,则存在该网络的扩展,该扩展仅通过梯度下降训练来再现这些权重和相应的前向输出。该构造并不用于实际计算,但它提供了一些关于元学习和相关方法的可能性的方向。
2020-07-27 cs.LG stat.ML