On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Research, Mountain View（谷歌研究院（山景城））
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算，即使在非常简单的学习设置中。我们的结果意味着，在弱复杂性理论的假设下，不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究院）
在本文中，我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架，其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降，经典的和广义的高斯-牛顿方法，自然梯度下降方法，梯度协方差矩阵方法，和牛顿的方法。除了在一个单一的框架内解释这些方法，我们解释了它们的特殊性，并显示在哪些条件下，其中一些一致。
2021-08-14 cs.LG stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research（IBM研究院）；Akron University（阿克伦大学）
我们考虑最大平均差异（$\mathrm{MMD}$）GAN问题，并提出了一个参数核化梯度流，模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现，这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后，我们推导出一个明确的条件，确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$，并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流，因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后，数值实验表明，我们的参数核化梯度流稳定GAN训练，并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校）；Binghamton University（宾汉姆顿大学）；Eastern Illinois University（东伊利诺伊大学）
自牛顿法问世以来，梯度下降算法已被用于无数应用中。近年来，神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数：必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法，称为Gravilon，它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络，我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London（伦敦大学学院）
我们提出了一个统一的框架，以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下，我们重新推导经典的动量和Nesterov的加速梯度法，贷款一个新的直观的解释后者的算法。我们表明，一个新的算法，我们长期正规化梯度下降，可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD自适应地估计预条件子以加速梯度下降，并且被设计为简单、通用和易于使用，如随机梯度下降（SGD）。RNN，特别是那些需要极长时间记忆的RNN，很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明，PSGD是能够实现高度竞争力的性能，而无需使用任何技巧，如预处理，预训练或参数调整。
2016-12-08 cs.LG stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT（麻省理工学院）
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降，其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降，并建立其理论保证，以优化功能，是\emph{displacement convex}的措施。具体地，对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数，我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge（剑桥大学）；Eötvös Loránd University（罗兰大学）
在梯度下降中，改变我们参数化模型的方式可以导致截然不同的优化轨迹，从而产生一系列令人惊讶的有意义的归纳偏差：识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而，自然梯度下降对于重新参数化是近似不变的，它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了：如果我们消除参数化的作用，会发生什么？会找到哪个解？会出现什么新的性质？我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分，但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题，而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化（SWN）和指数权重归一化（EWN），并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降，并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明，EWN的原因权重更新的方式，更喜欢渐近相对稀疏。对于EWN，我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张，即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia（不列颠哥伦比亚大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
在本文中，我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法，可以在许多环境中设计新算法，如无梯度，自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性，而且还具有简单的表达式。最后，我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London（伦敦大学学院）；KAUST（阿卜杜拉国王科技大学）
我们研究了Stein变分梯度下降（SVGD）算法，该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中，SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降，其中梯度通过核积分算子平滑。在本文中，我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理，建立该算法在每次迭代中降低目标，并为平均Stein Fisher发散（也称为核Stein离散）的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施，其人口版本。
2021-01-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Universality of Gradient Descent Neural Network Training
University of Central Florida（中佛罗里达大学）
人们已经观察到，神经网络的设计选择往往是其成功优化的关键。因此，在这篇文章中，我们讨论了这样一个问题，即是否总是可以重新设计一个神经网络，使其能够很好地使用梯度下降进行训练。这产生了以下普适性结果：对于给定的网络，如果存在任何算法可以为分类任务找到好的网络权重，则存在该网络的扩展，该扩展仅通过梯度下降训练来再现这些权重和相应的前向输出。该构造并不用于实际计算，但它提供了一些关于元学习和相关方法的可能性的方向。
2020-07-27 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景，分析梯度下降训练下的收敛特性，推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements
University of Chicago（芝加哥大学）
我们提出了一个简单的，可扩展的，快速的梯度下降算法来优化非凸目标的秩最小化问题和一个密切相关的家庭的半定程序。通过对秩为$r$、条件数为$κ$的半正定$n \times n$矩阵进行$O(r^3 κ^2 n \log n)$随机测量，保证了该方法线性收敛于全局最优解.
2016-03-24 cs.LG stat.ML
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Anderson acceleration of coordinate descent
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；University of Genova（热那亚大学）
一阶方法的加速主要通过Nesterov惯性技术或通过非线性外推获得。后者已经知道最近的兴趣激增，成功应用于梯度和近端梯度技术。在多个机器学习问题上，坐标下降的性能明显优于全梯度方法。在实践中加速坐标下降并不容易：惯性加速的坐标下降在理论上是加速的，但可能并不总是导致实际的加速。我们提出了一个加速版本的坐标下降使用外推，在实践中表现出相当大的速度，惯性加速坐标下降和外推（近端）梯度下降相比。在最小二乘、Lasso、弹性网和逻辑斯谛回归上的实验验证了该方法的有效性。
2021-10-28 cs.LG stat.ML
Task-Driven Data Verification via Gradient Descent
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们引入了一种新的算法，用于检测可能的样本腐败，如在一个小的干净的验证集的训练数据集中的错误标记的样本。我们使用一组包含变量来确定是否应该将噪声训练集的任何元素包含在网络的训练中。我们通过基于“梯度下降上的梯度下降“的学习优化网络在干净验证集上的性能来计算这些包含变量。包含变量以及以这种方式训练的网络形成了我们的方法的基础，我们称之为通过梯度下降（CDGD）的腐败检测。该算法可以应用于任何有监督的机器学习任务，并且不限于分类问题。我们提供了一个定量的比较，这些方法在合成和真实世界的数据集。
2019-05-14 cs.LG stat.ML
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University（普林斯顿大学）
通过提出一种新的初始化方法：零非对称（ZAS）初始化，分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下，对于任意目标矩阵，梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点，该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化（Xavier或近似恒等式）的$\exp(Ω(L))$收敛时间[Shamir，2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性，特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
Gradient descent in some simple settings
在本文中，我们观察了梯度流和离散和噪声梯度下降在一些简单的设置的行为。通常注意到，将噪声添加到梯度下降可以影响梯度下降的轨迹。在这里，我们对一些简单的函数进行了一些梯度下降的计算机实验，并在一些具体的例子中观察到了这一原理。
2019-04-18 cs.LG math.DS math.OC
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia（谷歌研究院亚洲区）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究针对在低维流形上不连续的损失函数，分析其对应的随机梯度下降算法的微分方程极限，为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Gradient Descent Converges to Minimizers
University of California, Berkeley（加州大学伯克利分校）
我们表明，梯度下降收敛到一个局部极小，几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Gradient descent in higher codimension
我们考虑梯度流和离散和噪声梯度下降的行为。通常注意到，向离散梯度下降过程中添加噪声会影响梯度下降的轨迹。在以前的工作中，我们观察到了这种效应。在那里，我们考虑了最小值的余维数为1的情况。在本文中，我们做了一些计算机实验，观察噪声梯度下降在更复杂的设置更高的余维的最小值的行为。
2019-04-18 cs.LG math.DS math.OC
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS（CEREMADE - 法国国家科学研究中心）；Université Paris Dauphine - PSL Research University（巴黎第九大学 - PSL研究大学）
本文自包含地证明了随机梯度下降（SGD）的收敛性，无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI（谷歌人工智能）
深度学习社区中的一个悬而未决的问题是，为什么用梯度下降训练的神经网络在真实数据集上泛化得很好，即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降，我们称之为相干的相干性：来自类似的例子的相干性是相似的，所以整体梯度是强的，在某些方向上，这些相互加强。因此，在训练过程中对网络参数的改变偏向于那些（局部）同时有益于许多示例（当存在这种相似性时）的参数。我们用启发式论证和微扰实验来支持这一假设，并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外，我们的分析不仅是描述性的，而且是规定性的。它建议对梯度下降进行自然修改，可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明，如果初始损失足够小，梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时，我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Carathéodory Sampling for Stochastic Gradient Descent
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
许多问题需要在大数据集上优化经验风险函数。在每个下降步骤中计算完整梯度的梯度下降方法不能扩展到此类数据集。各种风格的随机梯度下降（SGD）取代了昂贵的总和，通过在数据集的随机选择的子样本上用一个小的和来近似计算完整的梯度，而子样本又受到高方差的影响。我们提出了一种不同的方法，灵感来自经典的结果Tchakaloff和Carathéodory的措施减少。这些结果允许用另一个精心构造的概率度量来替换经验度量，该概率度量具有小得多的支持度，但可以保留某些统计数据，例如预期梯度。为了将其转化为可扩展的算法，我们首先自适应地选择进行测量缩减的下降步骤;其次，我们将其与块坐标下降相结合，以便可以非常便宜地进行测量缩减。这使得生成的方法可扩展到高维空间。最后，我们提供了一个实验验证和比较。
2020-11-25 cs.LG math.PR stat.ML
On the convergence of gradient descent for two layer neural networks
已经表明，梯度下降可以在过参数化的区域（神经网络的宽度远大于数据点的数量）中产生零训练损失。在这项工作中，结合一些现有的工作的思想，我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论，我们表明，梯度下降可以产生指数收敛速度，而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University（范德堡大学）
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降（SMGD），离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证，以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
Occam Gradient Descent
Independent（独立研究者）
针对深度学习模型规模与过拟合的平衡难题，研究提出可证明有效的算法结合训练与剪枝，衍生出Occam Gradient Descent，在多类任务和模型上均优于传统梯度下降及相关方法，兼顾效率与准确率。
2025-09-02 cs.LG
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们分析了线性半空间的不可知学习的0 - 1损失的凸代理上的梯度下降的性质。如果$\mathsf{OPT}$是最好的分类错误实现的半空间，通过呼吁软利润的概念，我们能够表明，梯度下降发现半空间与分类错误$\tilde O(\mathsf{OPT}^{1/2}) + \varepsilon$在$\mathrm{poly}(d,1/\varepsilon)$的时间和样本复杂性的广泛的一类分布，包括日志凹各向同性分布作为一个子类。在此过程中，我们回答了Ji等人最近提出的一个问题。（2020）关于损失函数的尾部行为如何影响样本复杂度和梯度下降的运行时保证。
2021-02-14 cs.LG math.OC stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut（康涅狄格大学）
针对平方误差损失的神经网络训练，提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法，并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
Gradient descent aligns the layers of deep linear networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文建立了梯度流和梯度下降在线性可分数据上应用于深度线性网络时的风险收敛和渐近权重矩阵对齐--一种隐式正则化形式。更详细地，对于应用于严格递减损失函数的梯度流（对于具有特定递减步长的梯度下降具有类似结果）：（i）风险收敛到0;（ii）归一化的第i个权重矩阵渐近地等于其秩-1近似$u_iv_i^{\top}$ ;（iii）这些秩-1矩阵跨层对齐，意味着$|v_{i+1}^{\top}u_i|\to1$。在逻辑损失（二进制交叉熵）的情况下，可以说：由网络引起的线性函数-其权重矩阵的乘积-收敛到与最大边际解相同的方向。这最后一个属性在先前的工作中被识别，但仅在梯度下降的假设下，这在这里是由对齐现象所暗示的。
2019-02-24 cs.LG math.OC stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
我们使用梯度下降证明了关于高斯分布的单层神经网络学习的第一个超多项式下界。我们表明，任何分类器训练使用梯度下降相对于平方损失将无法实现小的测试误差在多项式时间访问标记的一层神经网络的样本。对于分类，我们给出了一个更强的结果，即任何统计查询（SQ）算法（包括梯度下降）都将无法在多项式时间内实现小的测试误差。以前的工作只适用于小批量运行的梯度下降，需要急剧的激活，并适用于特定类别的查询。我们的下限适用于广泛的激活类别，包括ReLU和sigmoid。我们的结果的核心依赖于一个简单的神经网络家族的新结构，这些网络相对于所有球对称分布都是完全正交的。
2020-10-22 cs.DS cs.LG stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下，随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题，建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果（即在所有梯度步骤之后学习的最终模型参数）与[Zin03]的在线学习技术进行比较，该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
