Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现,这些学习优化器表现出显着程度的转移,因为它们可以用来有效地优化广泛的衍生物自由黑盒函数,包括高斯过程土匪,简单的控制目标,全局优化基准和超参数调整任务。在训练范围内,学习的优化器学习权衡探索和利用,并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research(IBM研究院)
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常,要么使用随机初始化,要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则,我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证,建立了在所有情况下都是充分的条件,并且在某些情况下也是必要的条件,在这些条件下,我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题,例如生成对抗性示例,为黑盒机器学习模型生成事后解释,以及分配通信频谱,并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison(威斯康星大学麦迪逊分校)
我们提出了ErasureHead,一种新的分布式梯度下降(GD)的方法,采用近似梯度编码,减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反,ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度,但具有更高的延迟容忍度。与以前的工作梯度编码,我们提供了一个性能分析,结合延迟和收敛保证。我们建立了一个小的噪声本底,ErasureHead收敛速度一样快,分布式GD,并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验,并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Long-time dynamics and universality of nonconvex gradient descent
Department of Statistics, Rutgers University, Piscataway, NJ 08854, USA.(统计系,罗杰斯大学,皮斯基塔威,新泽西州08854,美国)
本文提出通用方法刻画大长宽比下广义单指数模型中非凸梯度下降的长时间轨迹行为,证明其集中于一确定性向量并可用状态演化系统追踪,揭示了隐式正则化效应,并应用于全局收敛性证明和无数据参数估计算法。
2025-09-14 cs.IT cs.LG math.IT
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology(长春理工大学);Northeast Normal University(东北师范大学)
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向,具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数,它是最优方向,它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点,提出了一种从动量随机梯度下降到普通随机梯度下降(TSGD)的尺度转换方法.同时,使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练,并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明,TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Department of Architecture and Design, Huawei Cloud(华为云建筑与设计部门);Future Technology Research Center, China Telecom Research Institute(中国电信研究院未来技术研究中心);Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系);Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, School of Electronic Engineering, Xidian University(教育部协同智能系统重点实验室、西安电子科技大学电子工程学院);Academy of Artificial Intelligence, College of Mathematics Science, Inner Mongolia Normal University(内蒙古师范大学数学学院人工智能学院)
本文研究非对称低秩矩阵补全问题,通过引入留一法技术,证明了具有谱初始化的原始梯度下降能以高概率实现线性收敛,并揭示了其隐式正则化性质,在保持可比性能的同时降低了计算成本。
2025-08-13 cs.IT cs.LG math.IT
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago(芝加哥丰田理工学院);USC(南加利福尼亚大学);Technion(以色列理工学院)
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反,在线性全连接网络中,梯度下降收敛到硬边缘线性支持向量机解,而不管深度如何。
2019-01-11 cs.LG stat.ML
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia(谷歌研究院亚洲区);Indian Institute of Technology Bombay(印度理工学院孟买分校)
该研究针对在低维流形上不连续的损失函数,分析其对应的随机梯度下降算法的微分方程极限,为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们引入了一个条件加速惰性随机梯度下降算法,具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$,比Hazan和Kale [2012]的无投影,基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
Gradient Descent Converges to Minimizers
University of California, Berkeley(加州大学伯克利分校)
我们表明,梯度下降收敛到一个局部极小,几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London(帝国理工学院);University of Maryland(马里兰大学)
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性,但具有以下限制:首先,它们增加了解码复杂度。其次,它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度,因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里,我们介绍了一种混合的方法,称为编码的部分梯度计算(CPGC),从编码和未编码的计算方案的优点,并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Google Research, Mountain View(谷歌研究院(山景城))
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算,即使在非常简单的学习设置中。我们的结果意味着,在弱复杂性理论的假设下,不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能与机器人系统研究院)
在本文中,我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架,其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降,经典的和广义的高斯-牛顿方法,自然梯度下降方法,梯度协方差矩阵方法,和牛顿的方法。除了在一个单一的框架内解释这些方法,我们解释了它们的特殊性,并显示在哪些条件下,其中一些一致。
2021-08-14 cs.LG stat.ML
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS(CEREMADE - 法国国家科学研究中心);Université Paris Dauphine - PSL Research University(巴黎第九大学 - PSL研究大学)
本文自包含地证明了随机梯度下降(SGD)的收敛性,无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University(乔治·华盛顿大学)
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近,建立带约束收缩方法的收敛定理,并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
在本文中,我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前,大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中,将迭代地更新模型变量,直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外,近年来还提出了许多梯度下降变体来提高学习性能,包括Momentum,Adagrad,Adam,Gadam等,本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
梯度下降是一种流行的优化算法,其在凸设置中的性能大多是很好理解的。在非凸设置,它已被证明,梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明,扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人,2015,Ge et. 2017]。在本文中,我们证明了一个否定的结果:梯度下降可能需要指数时间来逃离鞍点,非病态的二维函数。虽然我们的重点是理论,我们也进行实验验证我们的理论结果。通过我们的分析,我们表明,随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research(IBM研究院);Akron University(阿克伦大学)
我们考虑最大平均差异($\mathrm{MMD}$)GAN问题,并提出了一个参数核化梯度流,模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现,这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后,我们推导出一个明确的条件,确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下,我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$,并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流,因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后,数值实验表明,我们的参数核化梯度流稳定GAN训练,并保证收敛。
2020-11-04 cs.LG stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill(北卡罗来纳大学教堂山分校);Binghamton University(宾汉姆顿大学);Eastern Illinois University(东伊利诺伊大学)
自牛顿法问世以来,梯度下降算法已被用于无数应用中。近年来,神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数:必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法,称为Gravilon,它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络,我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London(伦敦大学学院)
我们提出了一个统一的框架,以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下,我们重新推导经典的动量和Nesterov的加速梯度法,贷款一个新的直观的解释后者的算法。我们表明,一个新的算法,我们长期正规化梯度下降,可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI(谷歌人工智能)
深度学习社区中的一个悬而未决的问题是,为什么用梯度下降训练的神经网络在真实数据集上泛化得很好,即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降,我们称之为相干的相干性:来自类似的例子的相干性是相似的,所以整体梯度是强的,在某些方向上,这些相互加强。因此,在训练过程中对网络参数的改变偏向于那些(局部)同时有益于许多示例(当存在这种相似性时)的参数。我们用启发式论证和微扰实验来支持这一假设,并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外,我们的分析不仅是描述性的,而且是规定性的。它建议对梯度下降进行自然修改,可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University(西北大学)
在高维情况下,大多数机器学习方法即使存在少量离群值,其性能也是脆弱的。为了解决这个问题,我们希望引入一种新的方法与基础学习,如贝叶斯回归或随机梯度下降,以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛,所以我们使用小批量梯度下降的方法,称为带有修剪的小批量梯度下降(MBGDT)。当我们将我们的方法应用于设计的数据集时,我们的方法显示出最先进的性能,并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science(魏茨曼科学研究所);TTI Chicago(芝加哥丰田工业大学)
当梯度延迟并反映$τ$轮前的迭代时,我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先,我们表明,没有随机噪声,延迟强烈影响可达到的优化误差:事实上,错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是,我们量化了随机噪声如何使延迟的影响可以忽略不计,改进了以前的工作,这些工作只显示了这种现象渐近或更小的延迟。此外,在分布式优化的背景下,结果表明,具有延迟的梯度下降的性能是有竞争力的同步方法,如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法,使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降(PSGD)算法在循环神经网络(RNN)训练中的性能。PSGD自适应地估计预条件子以加速梯度下降,并且被设计为简单、通用和易于使用,如随机梯度下降(SGD)。RNN,特别是那些需要极长时间记忆的RNN,很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明,PSGD是能够实现高度竞争力的性能,而无需使用任何技巧,如预处理,预训练或参数调整。
2016-12-08 cs.LG stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT(麻省理工学院)
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降,其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降,并建立其理论保证,以优化功能,是\emph{displacement convex}的措施。具体地,对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数,我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明,如果初始损失足够小,梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时,我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分,一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化,其中包括所有以前的结果在这种设置。它表明,梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反,具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University(普渡大学)
梯度下降及其变体广泛用于机器学习。然而,在许多应用中,梯度的oracle访问可能不可用,限制了梯度下降的直接使用。针对一般的非凸优化问题,提出了一种估计梯度的梯度下降算法,该算法收敛于一个稳定点。除了一阶平稳特性之外,二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明,建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能,任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Occam Gradient Descent
Independent(独立研究者)
针对深度学习模型规模与过拟合的平衡难题,研究提出可证明有效的算法结合训练与剪枝,衍生出Occam Gradient Descent,在多类任务和模型上均优于传统梯度下降及相关方法,兼顾效率与准确率。
2025-09-02 cs.LG
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
One-step corrected projected stochastic gradient descent for statistical estimation
本研究提出一种基于对数似然函数投影随机梯度下降、经Fisher scoring单步校正的通用高效参数估计方法,理论与仿真均验证其可作为现有两类随机梯度下降方法的有效替代方案。
2024-04-13 math.ST stat.ML stat.TH
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University(湘潭大学)
受动态规划的启发,提出了随机虚拟梯度下降(SVGD)算法,其中虚拟梯度由计算图和自动微分定义。该方法计算效率高,内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明,SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech(巴黎高科矿业学院)
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中,我们开发了一个程序扩展随机梯度下降算法的情况下,函数定义在黎曼流形。我们证明,在欧几里德的情况下,梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用,并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia(不列颠哥伦比亚大学);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
在本文中,我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法,可以在许多环境中设计新算法,如无梯度,自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性,而且还具有简单的表达式。最后,我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元(ReLU)激活函数的深度神经网络的问题。特别是,我们研究了二进制分类问题,并表明对于一个广泛的损失函数族,在适当的随机权重初始化下,梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值,在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化,然后是(随机)梯度下降,产生一系列迭代,这些迭代停留在以初始权重为中心的小扰动区域内,其中深度ReLU网络的经验损失函数具有良好的局部曲率特性,确保(随机)梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化,并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Carathéodory Sampling for Stochastic Gradient Descent
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
许多问题需要在大数据集上优化经验风险函数。在每个下降步骤中计算完整梯度的梯度下降方法不能扩展到此类数据集。各种风格的随机梯度下降(SGD)取代了昂贵的总和,通过在数据集的随机选择的子样本上用一个小的和来近似计算完整的梯度,而子样本又受到高方差的影响。我们提出了一种不同的方法,灵感来自经典的结果Tchakaloff和Carathéodory的措施减少。这些结果允许用另一个精心构造的概率度量来替换经验度量,该概率度量具有小得多的支持度,但可以保留某些统计数据,例如预期梯度。为了将其转化为可扩展的算法,我们首先自适应地选择进行测量缩减的下降步骤;其次,我们将其与块坐标下降相结合,以便可以非常便宜地进行测量缩减。这使得生成的方法可扩展到高维空间。最后,我们提供了一个实验验证和比较。
2020-11-25 cs.LG math.PR stat.ML
On the convergence of gradient descent for two layer neural networks
已经表明,梯度下降可以在过参数化的区域(神经网络的宽度远大于数据点的数量)中产生零训练损失。在这项工作中,结合一些现有的工作的思想,我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论,我们表明,梯度下降可以产生指数收敛速度,而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Power Gradient Descent
University of Padova(帕多瓦大学);INFN(意大利国家核物理研究所)
机器学习的发展促进了对快速、稳定的极小化算法的探索。为此,我们建议改变当前的梯度下降方法,在平坦区域加快运动,在函数的陡峭方向减慢运动,以最小化。它基于“幂梯度”,其中梯度的每个分量被其逆保持$H$次幂替换为$0<H<1$。我们测试了三个现代梯度下降方法喂养这样的变体和标准梯度,找到新的版本,以实现显着更好的性能Nesterov加速梯度和AMSGrad。我们还提出了一个有效的新的ADAM算法,其中包括不同的$H$的功率梯度。
2019-06-11 cond-mat.stat-mech cs.LG cs.PF
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut(康涅狄格大学)
针对平方误差损失的神经网络训练,提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法,并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University(亚琛工业大学)
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质,即,深度矩阵分解,通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下,梯度下降收敛到损失函数的临界点,即,这篇文章中的平方损失。此外,我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下,两层。在三层或多层的情况下,我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩,秩不能被确定的先验。
2021-11-24 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique(巴黎综合理工学院);Columbia University(哥伦比亚大学)
本文提出基于张量的良性景观准则,证明相位恢复中梯度轨迹有界,从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
近年来,人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明,梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界,并利用浓度不等式来获得高概率结果。我们提出了一种替代方法,主要依赖于均方参数,并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点,而不需要注入额外的噪声,采用交替步长或依赖于一个全球性的分散噪声假设,只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University(范德堡大学)
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降(SMGD),离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证,以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
Stochasticity helps to navigate rough landscapes: comparing gradient-descent-based algorithms in the phase retrieval problem
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
在本文中,我们研究如何基于梯度的算法,如梯度下降,(多遍)随机梯度下降,其持久的变种,和朗之万算法导航非凸损失景观,其中能够达到最佳的泛化误差在有限的样本复杂度。我们认为损失景观的高维相位恢复问题作为一个典型的高度非凸的例子。我们观察到,对于相位恢复,梯度下降的随机变量能够达到完美的泛化控制参数的区域,梯度下降算法不是。我们应用动态平均场论从统计物理分析这些算法的完整轨迹在其连续的时间限制,一个温暖的开始,并为大系统的大小。我们进一步揭示了景观和算法的一些有趣的属性,例如梯度下降可以从较少的信息初始化中获得更好的泛化性能。
2021-04-13 cond-mat.dis-nn cs.LG math.ST
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置,证明Leaky ReLU下稳定秩收敛到1,ReLU下稳定秩有常数上界,且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Reparametrizing gradient descent
在这项工作中,我们提出了一个优化算法,我们称之为范数适应梯度下降。该算法与其他基于梯度的优化算法(如Adam或Adagrad)类似,因为它在每次迭代时都会调整随机梯度下降的学习率。然而,范数自适应梯度下降不是使用观测到的梯度的统计特性,而是依赖于标准梯度下降更新步骤的效果的一阶估计,在许多维度上非常类似于牛顿-拉夫森方法。我们的算法也可以与拟牛顿法相比,但我们寻求的是根而不是固定点。求根可以通过以下事实来证明:对于具有由非负损失函数度量的足够容量的模型,根与全局最优值重合。这项工作提出了几个实验,我们已经使用我们的算法;在这些结果中,似乎范数适应下降在回归设置中特别强大,但也能够训练分类器。
2020-10-09 cs.LG cs.NE math.OC
A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London(伦敦大学学院);KAUST(阿卜杜拉国王科技大学)
我们研究了Stein变分梯度下降(SVGD)算法,该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中,SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降,其中梯度通过核积分算子平滑。在本文中,我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理,建立该算法在每次迭代中降低目标,并为平均Stein Fisher发散(也称为核Stein离散)的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施,其人口版本。
2021-01-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University(卡内基梅隆大学);Montana State University(蒙大拿州立大学)
我们提供了更大的步长限制,基于梯度下降的算法(几乎肯定)避免严格的鞍点。特别地,考虑一个二次可微(非凸)目标函数,其梯度具有Lipschitz常数L,并且其Hessian是良好的。我们证明了,初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点,给定一个一致随机初始化,是零。这扩展了以前的结果,由凸的情况下施加的尖锐的限制。此外,参数的情况下,当给定的学习率时间表,无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML