Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Gradient Descent Converges to Minimizers
University of California, Berkeley（加州大学伯克利分校）
我们表明，梯度下降收敛到一个局部极小，几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Reparametrizing gradient descent
在这项工作中，我们提出了一个优化算法，我们称之为范数适应梯度下降。该算法与其他基于梯度的优化算法（如Adam或Adagrad）类似，因为它在每次迭代时都会调整随机梯度下降的学习率。然而，范数自适应梯度下降不是使用观测到的梯度的统计特性，而是依赖于标准梯度下降更新步骤的效果的一阶估计，在许多维度上非常类似于牛顿-拉夫森方法。我们的算法也可以与拟牛顿法相比，但我们寻求的是根而不是固定点。求根可以通过以下事实来证明：对于具有由非负损失函数度量的足够容量的模型，根与全局最优值重合。这项工作提出了几个实验，我们已经使用我们的算法;在这些结果中，似乎范数适应下降在回归设置中特别强大，但也能够训练分类器。
2020-10-09 cs.LG cs.NE math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras（马德拉斯印度理工学院）
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体，目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分，直到最近。在这项工作中，我们着眼于收敛性分析的一个属性，我们术语为concavifiability，而不是Lipschitz连续梯度。我们表明，凹性是一个充要条件，以满足上二次近似，这是关键证明，目标函数减少后，每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用，我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界，以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Physikalisch-Technische Bundesanstalt (PTB)（德国联邦物理技术研究院）；Technical University of Berlin（柏林工业大学）
研究单边赫尔德正则性下连续可微非凸目标的自适应梯度下降，提出基于正单边赫尔德曲率估计的自适应标量步长法，结合充分下降保障，在两个全批量基准测试中表现良好，证明单边赫尔德曲率是有效自适应步长信号。
2026-07-28 cs.LG math.OC
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Blind Descent: A Prequel to Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
我们描述了神经网络的另一种学习方法，我们称之为盲下降。通过设计，Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中，梯度不用于指导学习过程。在本文中，我们提出盲下降作为一个更基本的学习过程相比，梯度下降。我们还表明，梯度下降可以被看作是一个特定的情况下，盲下降算法。我们还训练两个神经网络架构，多层感知器和卷积神经网络，使用最一般的盲下降算法来证明概念。
2020-08-26 cs.LG stat.ML
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界，考虑了实际中使用的大多数激活函数，包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先，我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次，我们提供了一个技术性的结果（也适用于一般逼近器），将上述微分包含的解与（离散的）随机梯度下降序列相关联，从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明，如果初始损失足够小，梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时，我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University（西北大学）
在高维情况下，大多数机器学习方法即使存在少量离群值，其性能也是脆弱的。为了解决这个问题，我们希望引入一种新的方法与基础学习，如贝叶斯回归或随机梯度下降，以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛，所以我们使用小批量梯度下降的方法，称为带有修剪的小批量梯度下降（MBGDT）。当我们将我们的方法应用于设计的数据集时，我们的方法显示出最先进的性能，并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
针对带动量项的随机梯度下降，在弱假设下提出其一阶和二阶连续近似，允许学习率和动量参数随时间变化，弥补了现有理论仅覆盖恒定学习率或无动量情形的不足。
2025-04-18 cs.LG math.OC
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及，随机梯度下降及其自适应变体（例如Adagrad，Adam等）已经成为机器学习从业者的首选方法。虽然大量的工作已经证明，这些一阶最优化方法可以实现次线性或线性收敛，我们建立了局部平方收敛的随机梯度下降与自适应步长的问题，如矩阵求逆。
2021-12-30 cs.LG math.OC
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
Undergraduate Programme Indian Institute of Science, Bangalore（印度科学研究院布达佩斯分校本科项目）；Dept. of Computer Science and Automation Indian Institute of Science, Bangalore（计算机科学与自动化系印度科学研究院布达佩斯分校）；Inria, Ecole Normale Supérieure PSL Research University, Paris, France（法国巴黎PSL研究大学埃cole Normale Supérieure与Inria）
本文通过精心设计的步长增长策略，实现了梯度下降和随机梯度下降在可分离逻辑回归中的指数收敛性，无需依赖自适应或线搜索方法。
2026-02-27 cs.LG math.OC
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford（牛津大学）；Instadeep Ltd（Instadeep有限公司）；University of Southern California（南加州大学）
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明，如果训练的权重，作为一个函数的层索引，承认一个缩放限制的深度增加，那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性，实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
On the convergence of gradient descent for two layer neural networks
已经表明，梯度下降可以在过参数化的区域（神经网络的宽度远大于数据点的数量）中产生零训练损失。在这项工作中，结合一些现有的工作的思想，我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论，我们表明，梯度下降可以产生指数收敛速度，而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Occam Gradient Descent
Independent（独立研究者）
针对深度学习模型规模与过拟合的平衡难题，研究提出可证明有效的算法结合训练与剪枝，衍生出Occam Gradient Descent，在多类任务和模型上均优于传统梯度下降及相关方法，兼顾效率与准确率。
2025-09-02 cs.LG
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
Cornell University（康奈尔大学）
对于光滑的强凸目标，经典的梯度下降理论确保相对于梯度评估的数量的线性收敛。一个类似的非光滑理论是具有挑战性的。即使当目标在每个顶点处是平滑的时，相应的局部模型也是不稳定的，并且传统补救措施所调用的切割平面的数量难以约束，从而导致相对于梯度评估的累积数量是次线性的收敛保证。相反，我们提出了一个多点推广的梯度下降迭代局部最优化。虽然在设计时考虑到了一般目标，但我们的动机是一个“最大平滑”模型，该模型捕获了最优的次微分维度。我们证明了线性收敛时，目标本身是最大的光滑，实验表明一个更普遍的现象。
2022-09-27 cs.CG cs.LG cs.NA
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University（范德堡大学）
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降（SMGD），离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证，以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们分析了线性半空间的不可知学习的0 - 1损失的凸代理上的梯度下降的性质。如果$\mathsf{OPT}$是最好的分类错误实现的半空间，通过呼吁软利润的概念，我们能够表明，梯度下降发现半空间与分类错误$\tilde O(\mathsf{OPT}^{1/2}) + \varepsilon$在$\mathrm{poly}(d,1/\varepsilon)$的时间和样本复杂性的广泛的一类分布，包括日志凹各向同性分布作为一个子类。在此过程中，我们回答了Ji等人最近提出的一个问题。（2020）关于损失函数的尾部行为如何影响样本复杂度和梯度下降的运行时保证。
2021-02-14 cs.LG math.OC stat.ML
Reparameterizing Mirror Descent as Gradient Descent
Google Research（谷歌研究院）
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而，对于一些小型网络，当目标稀疏时，其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架，用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下，镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的，并涵盖了广泛的镜像下降更新，即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut（康涅狄格大学）
针对平方误差损失的神经网络训练，提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法，并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现，这些学习优化器表现出显着程度的转移，因为它们可以用来有效地优化广泛的衍生物自由黑盒函数，包括高斯过程土匪，简单的控制目标，全局优化基准和超参数调整任务。在训练范围内，学习的优化器学习权衡探索和利用，并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Gradient descent aligns the layers of deep linear networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文建立了梯度流和梯度下降在线性可分数据上应用于深度线性网络时的风险收敛和渐近权重矩阵对齐--一种隐式正则化形式。更详细地，对于应用于严格递减损失函数的梯度流（对于具有特定递减步长的梯度下降具有类似结果）：（i）风险收敛到0;（ii）归一化的第i个权重矩阵渐近地等于其秩-1近似$u_iv_i^{\top}$ ;（iii）这些秩-1矩阵跨层对齐，意味着$|v_{i+1}^{\top}u_i|\to1$。在逻辑损失（二进制交叉熵）的情况下，可以说：由网络引起的线性函数-其权重矩阵的乘积-收敛到与最大边际解相同的方向。这最后一个属性在先前的工作中被识别，但仅在梯度下降的假设下，这在这里是由对齐现象所暗示的。
2019-02-24 cs.LG math.OC stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research（IBM研究院）
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常，要么使用随机初始化，要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则，我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证，建立了在所有情况下都是充分的条件，并且在某些情况下也是必要的条件，在这些条件下，我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题，例如生成对抗性示例，为黑盒机器学习模型生成事后解释，以及分配通信频谱，并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下，随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题，建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果（即在所有梯度步骤之后学习的最终模型参数）与[Zin03]的在线学习技术进行比较，该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
Learning Unitaries by Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
研究了在$U(d)$中通过交替算子序列时间参数的梯度下降学习酉变换的困难性。我们提供的数值证据表明，尽管损失景观的非凸性质，梯度下降总是收敛到目标酉序列包含$d^2$或更多的参数时。收敛速度表明存在“计算相变”。“当参数小于$d^2$时，梯度下降收敛到次优解，而当参数大于$d^2$时，梯度下降以指数方式收敛到最优解。
2020-02-18 cs.LG math-ph math.MP
Broximal Gradient Descent: A Projection-Free Sister of Projected Gradient Descent
KAUST（卡塔尔科技大学）
本文提出局部LMO算法，通过局部线性最小化oracle替代传统FW方法中的全局线性最小化oracle，实现了在约束优化中的高效求解，并在多个重要情形下达到了与投影梯度下降相当的收敛速率。
2026-09-29 cs.LG math.OC stat.ML
An overview of gradient descent optimization algorithms
Insight Centre for Data Analytics, NUI Galway（爱尔兰国立大学高威数据分析中心）；Aylien Ltd.（Aylien有限公司）
梯度下降优化算法虽然越来越受欢迎，但经常被用作黑箱优化器，因为很难得到对其优缺点的实际解释。本文旨在为读者提供关于不同算法的行为的直觉，这将使她能够使用它们。在本概述中，我们将研究梯度下降的不同变体，总结挑战，介绍最常见的优化算法，回顾并行和分布式环境中的架构，并研究优化梯度下降的其他策略。
2017-06-15 cs.LG
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia（谷歌研究院亚洲区）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究针对在低维流形上不连续的损失函数，分析其对应的随机梯度下降算法的微分方程极限，为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
Covariant Gradient Descent
Duluth Institute for Advanced Study（德卢斯高级研究院）；Artificial Neural Computing（人工神经计算机构）
提出显式协变的梯度下降公式，通过协变力向量和度量张量定义优化动力学，从梯度统计矩估计并保持线性复杂度，证明RMSProp等方法是其特殊极限且可被推广改进。
2025-04-08 cs.LG hep-th math.OC
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了随机梯度下降（SGD）最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果，这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}（使平均梯度范数小于$ε$）不能得到改善，除非作出额外的假设的组合。值得注意的是，即使我们将自己限制为凸二次函数，这也成立。我们还表明，对于非凸函数，最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
Tight Analyses for Non-Smooth Stochastic Gradient Descent
University of British Columbia（不列颠哥伦比亚大学）
考虑最小化Lipschitz和强凸函数的问题，但不一定是可微的。我们证明了在随机梯度下降的$T$步骤之后，最终迭代的误差以高概率为$O(\log(T)/T)$。我们还构造了一个函数，从这个类的确定性梯度下降的最后一阶误差是$Ω(\log(T)/T)$。这表明上界是紧的，并且在这种设置下，随机梯度下降的最后一个周期具有与确定性梯度下降相同的一般错误率（具有高概率）。这解决了Shamir（2012）提出的两个未决问题。我们分析的中间步骤证明后缀平均方法以高概率实现误差$O(1/T)$，这是最佳的（对于任何一阶优化方法）。这改进了Rakhlin（2012）和Hazan和Kale（2014）的结果，两者都实现了错误$O(1/T)$，但仅在预期中，并且实现了$O(\log \log(T)/T)$的高概率错误界，这是次优的。我们证明类似的结果是Lipschitz和凸的功能，但不一定强凸或可微。在随机梯度下降的$T$步骤之后，最终迭代的误差以高概率为$O(\log(T)/\sqrt{T})$，并且存在确定性梯度下降的最终迭代的误差为$Ω(\log(T)/\sqrt{T})$的函数。
2018-12-13 cs.LG math.OC stat.ML
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们引入了一个条件加速惰性随机梯度下降算法，具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$，比Hazan和Kale [2012]的无投影，基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
