Blind Descent: A Prequel to Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
我们描述了神经网络的另一种学习方法，我们称之为盲下降。通过设计，Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中，梯度不用于指导学习过程。在本文中，我们提出盲下降作为一个更基本的学习过程相比，梯度下降。我们还表明，梯度下降可以被看作是一个特定的情况下，盲下降算法。我们还训练两个神经网络架构，多层感知器和卷积神经网络，使用最一般的盲下降算法来证明概念。
2020-08-26 cs.LG stat.ML
An overview of gradient descent optimization algorithms
Insight Centre for Data Analytics, NUI Galway（爱尔兰国立大学高威数据分析中心）；Aylien Ltd.（Aylien有限公司）
梯度下降优化算法虽然越来越受欢迎，但经常被用作黑箱优化器，因为很难得到对其优缺点的实际解释。本文旨在为读者提供关于不同算法的行为的直觉，这将使她能够使用它们。在本概述中，我们将研究梯度下降的不同变体，总结挑战，介绍最常见的优化算法，回顾并行和分布式环境中的架构，并研究优化梯度下降的其他策略。
2017-06-15 cs.LG
POGD: Gradient Descent with New Stochastic Rules
Deakin University（迪肯大学）
介绍了粒子优化的梯度下降（POGD）算法，它是一种基于梯度下降算法，但结合粒子群优化（PSO）原理实现迭代的算法。实验表明，该算法具有自适应学习能力。本文的实验主要集中在训练达到目标值的速度和防止局部最小值的能力上。在MNIST和cifar-10数据集上，利用卷积神经网络（CNN）进行图像分类实验。
2022-10-15 cs.LG
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University（西北大学）
在高维情况下，大多数机器学习方法即使存在少量离群值，其性能也是脆弱的。为了解决这个问题，我们希望引入一种新的方法与基础学习，如贝叶斯回归或随机梯度下降，以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛，所以我们使用小批量梯度下降的方法，称为带有修剪的小批量梯度下降（MBGDT）。当我们将我们的方法应用于设计的数据集时，我们的方法显示出最先进的性能，并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
A Unified View of TD Algorithms; Introducing Full-Gradient TD and Equi-Gradient Descent TD
本文讨论了马尔可夫决策过程中的政策评估问题，使用线性函数逼近。它提供了算法的统一视图，如TD（lambda），LSTD（lambda），iLSTD，残差梯度TD。有人断言，他们都包括在最小化的梯度函数和不同的形式，这个函数和他们的手段，最小化it. Two新的计划，在该框架中引入：全梯度TD，它使用了在iLSTD，和EGD TD，它减少了连续的等-梯度下降的原则的推广。这三个算法形成了一个新的中间族，其有趣的性质是在保持梯度下降方案的同时比TD更好地利用样本，这对于复杂性问题和乐观策略迭代是有用的。
2006-11-29 cs.LG
Gradient descent in some simple settings
在本文中，我们观察了梯度流和离散和噪声梯度下降在一些简单的设置的行为。通常注意到，将噪声添加到梯度下降可以影响梯度下降的轨迹。在这里，我们对一些简单的函数进行了一些梯度下降的计算机实验，并在一些具体的例子中观察到了这一原理。
2019-04-18 cs.LG math.DS math.OC
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Lifted Relational Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）；Charles University（查理大学）；Cardiff University（卡迪夫大学）
我们提出了一种结合关系逻辑表示和神经网络学习的方法。一个一般的提升架构，可能反映了一些背景领域的知识，描述通过关系规则，可以手工制作或学习。关系规则集充当用于展开可能的深度神经网络的模板，深度神经网络的结构也反映给定训练或测试关系示例的结构。不同的网络对应于不同的例子共享其权重，在训练过程中通过随机梯度下降算法共同进化。该框架允许层次关系建模结构和学习潜在的关系概念，通过共享的隐藏层权重对应的规则。显着的关系概念的发现和实验上的78个关系学习基准证明了良好的性能的方法。
2015-10-13 cs.AI cs.LG cs.NE
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
Reparameterizing Mirror Descent as Gradient Descent
Google Research（谷歌研究院）
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而，对于一些小型网络，当目标稀疏时，其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架，用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下，镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的，并涵盖了广泛的镜像下降更新，即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现，这些学习优化器表现出显着程度的转移，因为它们可以用来有效地优化广泛的衍生物自由黑盒函数，包括高斯过程土匪，简单的控制目标，全局优化基准和超参数调整任务。在训练范围内，学习的优化器学习权衡探索和利用，并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Neograd: Near-Ideal Gradient Descent
本文的目的是通过解决两个问题来改进现有的梯度下降变体：（1）消除（或减少）在最小化成本函数时出现的平台，（2）不断调整学习率到“理想”值。所采取的方法是近似地求解作为信任度量的函数的学习率。当这种技术与动量混合时，它会创建一个特别有效的梯度下降变体，称为NeogradM。它被证明优于亚当在几个测试问题，并可以很容易地达到成本函数值的一个因素，例如，小$10^8$。
2021-08-02 cs.LG
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research（IBM研究院）
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常，要么使用随机初始化，要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则，我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证，建立了在所有情况下都是充分的条件，并且在某些情况下也是必要的条件，在这些条件下，我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题，例如生成对抗性示例，为黑盒机器学习模型生成事后解释，以及分配通信频谱，并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Gradient descent in higher codimension
我们考虑梯度流和离散和噪声梯度下降的行为。通常注意到，向离散梯度下降过程中添加噪声会影响梯度下降的轨迹。在以前的工作中，我们观察到了这种效应。在那里，我们考虑了最小值的余维数为1的情况。在本文中，我们做了一些计算机实验，观察噪声梯度下降在更复杂的设置更高的余维的最小值的行为。
2019-04-18 cs.LG math.DS math.OC
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University（亚琛工业大学）
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质，即，深度矩阵分解，通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下，梯度下降收敛到损失函数的临界点，即，这篇文章中的平方损失。此外，我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下，两层。在三层或多层的情况下，我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩，秩不能被确定的先验。
2021-11-24 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique（巴黎综合理工学院）；Columbia University（哥伦比亚大学）
本文提出基于张量的良性景观准则，证明相位恢复中梯度轨迹有界，从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Frequency Principle in Deep Learning Beyond Gradient-descent-based Training
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
频率视角最近在理解深度学习方面取得了进展。在经验和理论研究中都得到了广泛验证，深度神经网络（DNN）往往从低频到高频拟合目标函数，即频率原理（F-Principle）。F-Principle揭示了DNN的优点和缺点，并激发了一系列后续工作，包括理论研究，实证研究和高效DNN结构的设计等。目前还不清楚基于梯度下降的训练是否是F原则的必要条件。在本文中，我们证明了F原则在非梯度下降训练的DNN的训练过程中稳定存在，包括具有梯度信息的优化算法，如共轭梯度和BFGS，以及没有梯度信息的算法，如Powell方法和粒子群优化。这些实证研究表明了F-原则的普遍性，并为进一步研究F-原则提供了启示。
2021-01-04 cs.LG
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们引入了一个条件加速惰性随机梯度下降算法，具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$，比Hazan和Kale [2012]的无投影，基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
A Comprehensive Study on Optimization Strategies for Gradient Descent In Deep Learning
Vellore Institute of Technology（韦洛尔理工学院）
人工神经网络最重要的部分之一是最小化损失函数，它告诉我们模型的好坏。为了最小化这些损失，我们需要调整权重和偏差。同样，为了计算函数的最小值，我们需要梯度。为了更新权重，我们需要梯度下降。但是有规则的梯度下降也有一些问题。它很慢而且不那么准确。本文旨在介绍梯度下降的优化策略。此外，我们还将讨论这些算法的结构和进一步优化的神经网络一般
2021-01-07 cs.AI cs.LG
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Research, Mountain View（谷歌研究院（山景城））
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算，即使在非常简单的学习设置中。我们的结果意味着，在弱复杂性理论的假设下，不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究院）
在本文中，我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架，其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降，经典的和广义的高斯-牛顿方法，自然梯度下降方法，梯度协方差矩阵方法，和牛顿的方法。除了在一个单一的框架内解释这些方法，我们解释了它们的特殊性，并显示在哪些条件下，其中一些一致。
2021-08-14 cs.LG stat.ML
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降（SGD）算法在权值与t成正比的情况下，对强凸函数的概率收敛速度为O（κ/T），而不是O（κ ln（T）/T）.我们还证明了一个加速的SGD算法也达到了O（κ/T）的速度。
2013-05-09 cs.AI cs.LG
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia（谷歌研究院亚洲区）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究针对在低维流形上不连续的损失函数，分析其对应的随机梯度下降算法的微分方程极限，为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research（IBM研究院）；Akron University（阿克伦大学）
我们考虑最大平均差异（$\mathrm{MMD}$）GAN问题，并提出了一个参数核化梯度流，模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现，这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后，我们推导出一个明确的条件，确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$，并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流，因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后，数值实验表明，我们的参数核化梯度流稳定GAN训练，并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校）；Binghamton University（宾汉姆顿大学）；Eastern Illinois University（东伊利诺伊大学）
自牛顿法问世以来，梯度下降算法已被用于无数应用中。近年来，神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数：必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法，称为Gravilon，它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络，我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London（伦敦大学学院）
我们提出了一个统一的框架，以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下，我们重新推导经典的动量和Nesterov的加速梯度法，贷款一个新的直观的解释后者的算法。我们表明，一个新的算法，我们长期正规化梯度下降，可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology（北京理工大学）
自然梯度下降（NGD）为深度神经网络提供了深刻的见解和强大的工具。然而，随着网络结构的复杂化，Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法，其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说，我们重建了深度神经网络的结构，并使用传统的梯度下降（GD）优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明，我们的优化方法可以加速深度网络模型的收敛，并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
Gradient Descent Converges to Minimizers
University of California, Berkeley（加州大学伯克利分校）
我们表明，梯度下降收敛到一个局部极小，几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Learning to learn by gradient descent by gradient descent
Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
从手工设计的特征到机器学习中的学习特征的转变已经取得了巨大的成功。尽管如此，优化算法仍然是手工设计的。在本文中，我们展示了如何设计的优化算法可以被铸造作为一个学习问题，允许算法学习利用结构的问题，在一个自动的方式。我们的学习算法，由LSTM实现，在训练任务上优于通用的手工设计的竞争对手，并且还可以很好地推广到具有类似结构的新任务。我们在许多任务上证明了这一点，包括简单的凸问题，训练神经网络，以及用神经艺术设计图像。
2016-11-30 cs.LG cs.NE
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Reparametrizing gradient descent
在这项工作中，我们提出了一个优化算法，我们称之为范数适应梯度下降。该算法与其他基于梯度的优化算法（如Adam或Adagrad）类似，因为它在每次迭代时都会调整随机梯度下降的学习率。然而，范数自适应梯度下降不是使用观测到的梯度的统计特性，而是依赖于标准梯度下降更新步骤的效果的一阶估计，在许多维度上非常类似于牛顿-拉夫森方法。我们的算法也可以与拟牛顿法相比，但我们寻求的是根而不是固定点。求根可以通过以下事实来证明：对于具有由非负损失函数度量的足够容量的模型，根与全局最优值重合。这项工作提出了几个实验，我们已经使用我们的算法;在这些结果中，似乎范数适应下降在回归设置中特别强大，但也能够训练分类器。
2020-10-09 cs.LG cs.NE math.OC
Learning Unitaries by Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
研究了在$U(d)$中通过交替算子序列时间参数的梯度下降学习酉变换的困难性。我们提供的数值证据表明，尽管损失景观的非凸性质，梯度下降总是收敛到目标酉序列包含$d^2$或更多的参数时。收敛速度表明存在“计算相变”。“当参数小于$d^2$时，梯度下降收敛到次优解，而当参数大于$d^2$时，梯度下降以指数方式收敛到最优解。
2020-02-18 cs.LG math-ph math.MP
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras（马德拉斯印度理工学院）
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体，目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分，直到最近。在这项工作中，我们着眼于收敛性分析的一个属性，我们术语为concavifiability，而不是Lipschitz连续梯度。我们表明，凹性是一个充要条件，以满足上二次近似，这是关键证明，目标函数减少后，每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用，我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界，以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD自适应地估计预条件子以加速梯度下降，并且被设计为简单、通用和易于使用，如随机梯度下降（SGD）。RNN，特别是那些需要极长时间记忆的RNN，很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明，PSGD是能够实现高度竞争力的性能，而无需使用任何技巧，如预处理，预训练或参数调整。
2016-12-08 cs.LG stat.ML
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS（CEREMADE - 法国国家科学研究中心）；Université Paris Dauphine - PSL Research University（巴黎第九大学 - PSL研究大学）
本文自包含地证明了随机梯度下降（SGD）的收敛性，无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Physikalisch-Technische Bundesanstalt (PTB)（德国联邦物理技术研究院）；Technical University of Berlin（柏林工业大学）
研究单边赫尔德正则性下连续可微非凸目标的自适应梯度下降，提出基于正单边赫尔德曲率估计的自适应标量步长法，结合充分下降保障，在两个全批量基准测试中表现良好，证明单边赫尔德曲率是有效自适应步长信号。
2026-07-28 cs.LG math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT（麻省理工学院）
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降，其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降，并建立其理论保证，以优化功能，是\emph{displacement convex}的措施。具体地，对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数，我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Stochastic Gradient Descent outperforms Gradient Descent in recovering a high-dimensional signal in a glassy energy landscape
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）
本文利用动力学平均场理论研究高维非线性加密信号恢复问题，证明小批量SGD相比GD具有更小的恢复阈值和更优的优化性能。
2023-12-18 cond-mat.dis-nn cs.LG
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge（剑桥大学）；Eötvös Loránd University（罗兰大学）
在梯度下降中，改变我们参数化模型的方式可以导致截然不同的优化轨迹，从而产生一系列令人惊讶的有意义的归纳偏差：识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而，自然梯度下降对于重新参数化是近似不变的，它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了：如果我们消除参数化的作用，会发生什么？会找到哪个解？会出现什么新的性质？我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分，但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题，而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI（谷歌人工智能）
深度学习社区中的一个悬而未决的问题是，为什么用梯度下降训练的神经网络在真实数据集上泛化得很好，即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降，我们称之为相干的相干性：来自类似的例子的相干性是相似的，所以整体梯度是强的，在某些方向上，这些相互加强。因此，在训练过程中对网络参数的改变偏向于那些（局部）同时有益于许多示例（当存在这种相似性时）的参数。我们用启发式论证和微扰实验来支持这一假设，并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外，我们的分析不仅是描述性的，而且是规定性的。它建议对梯度下降进行自然修改，可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
