Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Carathéodory Sampling for Stochastic Gradient Descent
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
许多问题需要在大数据集上优化经验风险函数。在每个下降步骤中计算完整梯度的梯度下降方法不能扩展到此类数据集。各种风格的随机梯度下降（SGD）取代了昂贵的总和，通过在数据集的随机选择的子样本上用一个小的和来近似计算完整的梯度，而子样本又受到高方差的影响。我们提出了一种不同的方法，灵感来自经典的结果Tchakaloff和Carathéodory的措施减少。这些结果允许用另一个精心构造的概率度量来替换经验度量，该概率度量具有小得多的支持度，但可以保留某些统计数据，例如预期梯度。为了将其转化为可扩展的算法，我们首先自适应地选择进行测量缩减的下降步骤;其次，我们将其与块坐标下降相结合，以便可以非常便宜地进行测量缩减。这使得生成的方法可扩展到高维空间。最后，我们提供了一个实验验证和比较。
2020-11-25 cs.LG math.PR stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下，随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题，建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果（即在所有梯度步骤之后学习的最终模型参数）与[Zin03]的在线学习技术进行比较，该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了随机梯度下降（SGD）最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果，这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}（使平均梯度范数小于$ε$）不能得到改善，除非作出额外的假设的组合。值得注意的是，即使我们将自己限制为凸二次函数，这也成立。我们还表明，对于非凸函数，最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
Tight Analyses for Non-Smooth Stochastic Gradient Descent
University of British Columbia（不列颠哥伦比亚大学）
考虑最小化Lipschitz和强凸函数的问题，但不一定是可微的。我们证明了在随机梯度下降的$T$步骤之后，最终迭代的误差以高概率为$O(\log(T)/T)$。我们还构造了一个函数，从这个类的确定性梯度下降的最后一阶误差是$Ω(\log(T)/T)$。这表明上界是紧的，并且在这种设置下，随机梯度下降的最后一个周期具有与确定性梯度下降相同的一般错误率（具有高概率）。这解决了Shamir（2012）提出的两个未决问题。我们分析的中间步骤证明后缀平均方法以高概率实现误差$O(1/T)$，这是最佳的（对于任何一阶优化方法）。这改进了Rakhlin（2012）和Hazan和Kale（2014）的结果，两者都实现了错误$O(1/T)$，但仅在预期中，并且实现了$O(\log \log(T)/T)$的高概率错误界，这是次优的。我们证明类似的结果是Lipschitz和凸的功能，但不一定强凸或可微。在随机梯度下降的$T$步骤之后，最终迭代的误差以高概率为$O(\log(T)/\sqrt{T})$，并且存在确定性梯度下降的最终迭代的误差为$Ω(\log(T)/\sqrt{T})$的函数。
2018-12-13 cs.LG math.OC stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Non-convergence of stochastic gradient descent in the training of deep neural networks
ETH Zurich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
深度神经网络已经成功地在各种应用领域中使用随机梯度下降进行了训练。然而，没有严格的数学解释为什么它如此有效。用随机梯度下降训练神经网络有四个不同的离散化参数：（i）网络结构;（ii）训练数据的量;（iii）梯度步长的数量;以及（iv）随机初始化梯度轨迹的数量。虽然可以证明，如果所有四个参数都以正确的顺序发送到无穷大，则近似误差收敛到零，但我们在本文中证明，如果ReLU网络的深度远远大于其宽度，并且随机初始化的数量没有足够快地增加到无穷大，则随机梯度下降无法收敛。
2021-01-29 cs.LG cs.NA math.NA
Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent
Universität Bielefeld（比勒费尔德大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Institute of Mathematics of NAS of Ukraine（乌克兰国家科学院数学研究所）
我们提出了新的限制动态随机梯度下降的小学习率制度称为随机修改流。这些随机微分方程是由圆柱布朗运动驱动的，并通过具有规则的扩散系数和匹配的多点统计来改进所谓的随机修改方程。作为第二个贡献，我们引入分布相关的随机修改流，我们证明了描述的波动限制动态的随机梯度下降在小学习率无限宽缩放制度。
2023-02-14 cs.LG math.AP math.PR
Stochasticity helps to navigate rough landscapes: comparing gradient-descent-based algorithms in the phase retrieval problem
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在本文中，我们研究如何基于梯度的算法，如梯度下降，（多遍）随机梯度下降，其持久的变种，和朗之万算法导航非凸损失景观，其中能够达到最佳的泛化误差在有限的样本复杂度。我们认为损失景观的高维相位恢复问题作为一个典型的高度非凸的例子。我们观察到，对于相位恢复，梯度下降的随机变量能够达到完美的泛化控制参数的区域，梯度下降算法不是。我们应用动态平均场论从统计物理分析这些算法的完整轨迹在其连续的时间限制，一个温暖的开始，并为大系统的大小。我们进一步揭示了景观和算法的一些有趣的属性，例如梯度下降可以从较少的信息初始化中获得更好的泛化性能。
2021-04-13 cond-mat.dis-nn cs.LG math.ST
One-step corrected projected stochastic gradient descent for statistical estimation
本研究提出一种基于对数似然函数投影随机梯度下降、经Fisher scoring单步校正的通用高效参数估计方法，理论与仿真均验证其可作为现有两类随机梯度下降方法的有效替代方案。
2024-04-13 math.ST stat.ML stat.TH
Optimal Asymptotic Rates for (Stochastic) Gradient Descent under the Local PL-Condition: A Geometric Approach
University of Wuppertal（伍珀塔尔大学）
本文研究了在局部PL条件下的梯度下降算法收敛速率，通过几何方法证明了其渐近收敛速率与强凸二次函数相同。
2026-05-14 math.OC math.PR stat.ML
Gradient Descent-Type Methods: Background and Simple Unified Convergence Analysis
在本书的章节中，我们简要描述了构成梯度下降法及其加速和随机变体的主要组成部分。我们的目的是从数学的角度来解释这些组成部分，包括理论和实践方面，但在一个初级的水平。我们将集中在梯度下降法的基本变种，然后将我们的观点扩展到最近的变种，特别是方差减少的随机梯度计划（SGD）。我们的方法依赖于揭示问题内部的结构和施加在目标函数上的假设。我们的收敛性分析统一了几个已知的结果，并依赖于一个一般的，但小学递归表达式。我们已经在几个常见的方案上说明了这种分析。
2022-12-19 math.OC stat.ML
Phocas: dimensional Byzantine-resilient stochastic gradient descent
在一般拜占庭失效模型下，提出了一种新的分布式同步随机梯度下降SGD鲁棒聚集规则。在参数服务器（PS）结构中，攻击者可以任意操纵服务器与工作者之间的数据传输。我们证明了拜占庭的弹性建议的聚合规则。实证分析表明，所提出的技术优于当前的方法，为现实的用例和拜占庭攻击的情况下。
2018-05-23 cs.DC stat.ML
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析，涵盖弱收敛、函数值收敛和全局收敛，并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Analysis of Stochastic Gradient Descent in Continuous Time
University of Cambridge（剑桥大学）
随机梯度下降是一种将经典梯度下降与目标泛函内的随机子采样相结合的优化方法。在这项工作中，我们介绍了随机梯度过程作为一个连续时间表示的随机梯度下降。随机梯度过程是一个动力系统，它与一个生活在有限状态空间上的连续时间马尔可夫过程耦合。动力系统--梯度流--表示梯度下降部分，有限状态空间上的过程表示随机子采样。这种类型的过程，例如，用于在波动的环境中模拟克隆种群。在介绍了它之后，我们研究了随机梯度过程的理论性质：我们证明了当学习率接近零时，它相对于完整的目标函数弱收敛到梯度流。给出了具有常数学习率的随机梯度过程在Wasserstein意义下指数遍历的条件。然后，我们研究的情况下，学习率到零足够慢，单目标函数是强凸的。在这种情况下，该过程弱收敛到集中在完整目标函数的全局极小值中的点质量;表明该方法的一致性。最后，我们讨论了离散化策略的随机梯度过程和数值实验。
2021-01-10 cs.LG cs.NA math.NA
Berry--Esseen Bounds for Multivariate Nonlinear Statistics with Applications to M-estimators and Stochastic Gradient Descent Algorithms
通过建立一个新的多元型随机浓度不等式，建立了一般多元非线性统计量的Berry-Esseen界.该界是许多已知统计量的最佳可能界。作为应用，得到了M-估计和平均随机梯度下降算法的Berry-Esseen界.
2021-04-01 math.PR math.ST stat.TH
Blind Descent: A Prequel to Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
我们描述了神经网络的另一种学习方法，我们称之为盲下降。通过设计，Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中，梯度不用于指导学习过程。在本文中，我们提出盲下降作为一个更基本的学习过程相比，梯度下降。我们还表明，梯度下降可以被看作是一个特定的情况下，盲下降算法。我们还训练两个神经网络架构，多层感知器和卷积神经网络，使用最一般的盲下降算法来证明概念。
2020-08-26 cs.LG stat.ML
Reparameterizing Mirror Descent as Gradient Descent
Google Research（谷歌研究院）
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而，对于一些小型网络，当目标稀疏时，其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架，用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下，镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的，并涵盖了广泛的镜像下降更新，即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现，这些学习优化器表现出显着程度的转移，因为它们可以用来有效地优化广泛的衍生物自由黑盒函数，包括高斯过程土匪，简单的控制目标，全局优化基准和超参数调整任务。在训练范围内，学习的优化器学习权衡探索和利用，并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research（IBM研究院）
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常，要么使用随机初始化，要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则，我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证，建立了在所有情况下都是充分的条件，并且在某些情况下也是必要的条件，在这些条件下，我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题，例如生成对抗性示例，为黑盒机器学习模型生成事后解释，以及分配通信频谱，并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Research, Mountain View（谷歌研究院（山景城））
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算，即使在非常简单的学习设置中。我们的结果意味着，在弱复杂性理论的假设下，不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究院）
在本文中，我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架，其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降，经典的和广义的高斯-牛顿方法，自然梯度下降方法，梯度协方差矩阵方法，和牛顿的方法。除了在一个单一的框架内解释这些方法，我们解释了它们的特殊性，并显示在哪些条件下，其中一些一致。
2021-08-14 cs.LG stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research（IBM研究院）；Akron University（阿克伦大学）
我们考虑最大平均差异（$\mathrm{MMD}$）GAN问题，并提出了一个参数核化梯度流，模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现，这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后，我们推导出一个明确的条件，确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$，并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流，因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后，数值实验表明，我们的参数核化梯度流稳定GAN训练，并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校）；Binghamton University（宾汉姆顿大学）；Eastern Illinois University（东伊利诺伊大学）
自牛顿法问世以来，梯度下降算法已被用于无数应用中。近年来，神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数：必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法，称为Gravilon，它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络，我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London（伦敦大学学院）
我们提出了一个统一的框架，以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下，我们重新推导经典的动量和Nesterov的加速梯度法，贷款一个新的直观的解释后者的算法。我们表明，一个新的算法，我们长期正规化梯度下降，可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT（麻省理工学院）
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降，其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降，并建立其理论保证，以优化功能，是\emph{displacement convex}的措施。具体地，对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数，我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge（剑桥大学）；Eötvös Loránd University（罗兰大学）
在梯度下降中，改变我们参数化模型的方式可以导致截然不同的优化轨迹，从而产生一系列令人惊讶的有意义的归纳偏差：识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而，自然梯度下降对于重新参数化是近似不变的，它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了：如果我们消除参数化的作用，会发生什么？会找到哪个解？会出现什么新的性质？我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分，但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题，而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia（不列颠哥伦比亚大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
在本文中，我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法，可以在许多环境中设计新算法，如无梯度，自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性，而且还具有简单的表达式。最后，我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London（伦敦大学学院）；KAUST（阿卜杜拉国王科技大学）
我们研究了Stein变分梯度下降（SVGD）算法，该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中，SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降，其中梯度通过核积分算子平滑。在本文中，我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理，建立该算法在每次迭代中降低目标，并为平均Stein Fisher发散（也称为核Stein离散）的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施，其人口版本。
2021-01-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Universality of Gradient Descent Neural Network Training
University of Central Florida（中佛罗里达大学）
人们已经观察到，神经网络的设计选择往往是其成功优化的关键。因此，在这篇文章中，我们讨论了这样一个问题，即是否总是可以重新设计一个神经网络，使其能够很好地使用梯度下降进行训练。这产生了以下普适性结果：对于给定的网络，如果存在任何算法可以为分类任务找到好的网络权重，则存在该网络的扩展，该扩展仅通过梯度下降训练来再现这些权重和相应的前向输出。该构造并不用于实际计算，但它提供了一些关于元学习和相关方法的可能性的方向。
2020-07-27 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景，分析梯度下降训练下的收敛特性，推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements
University of Chicago（芝加哥大学）
我们提出了一个简单的，可扩展的，快速的梯度下降算法来优化非凸目标的秩最小化问题和一个密切相关的家庭的半定程序。通过对秩为$r$、条件数为$κ$的半正定$n \times n$矩阵进行$O(r^3 κ^2 n \log n)$随机测量，保证了该方法线性收敛于全局最优解.
2016-03-24 cs.LG stat.ML
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Anderson acceleration of coordinate descent
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；University of Genova（热那亚大学）
一阶方法的加速主要通过Nesterov惯性技术或通过非线性外推获得。后者已经知道最近的兴趣激增，成功应用于梯度和近端梯度技术。在多个机器学习问题上，坐标下降的性能明显优于全梯度方法。在实践中加速坐标下降并不容易：惯性加速的坐标下降在理论上是加速的，但可能并不总是导致实际的加速。我们提出了一个加速版本的坐标下降使用外推，在实践中表现出相当大的速度，惯性加速坐标下降和外推（近端）梯度下降相比。在最小二乘、Lasso、弹性网和逻辑斯谛回归上的实验验证了该方法的有效性。
2021-10-28 cs.LG stat.ML
Task-Driven Data Verification via Gradient Descent
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们引入了一种新的算法，用于检测可能的样本腐败，如在一个小的干净的验证集的训练数据集中的错误标记的样本。我们使用一组包含变量来确定是否应该将噪声训练集的任何元素包含在网络的训练中。我们通过基于“梯度下降上的梯度下降“的学习优化网络在干净验证集上的性能来计算这些包含变量。包含变量以及以这种方式训练的网络形成了我们的方法的基础，我们称之为通过梯度下降（CDGD）的腐败检测。该算法可以应用于任何有监督的机器学习任务，并且不限于分类问题。我们提供了一个定量的比较，这些方法在合成和真实世界的数据集。
2019-05-14 cs.LG stat.ML
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University（普林斯顿大学）
通过提出一种新的初始化方法：零非对称（ZAS）初始化，分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下，对于任意目标矩阵，梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点，该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化（Xavier或近似恒等式）的$\exp(Ω(L))$收敛时间[Shamir，2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性，特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Gradient descent in some simple settings
在本文中，我们观察了梯度流和离散和噪声梯度下降在一些简单的设置的行为。通常注意到，将噪声添加到梯度下降可以影响梯度下降的轨迹。在这里，我们对一些简单的函数进行了一些梯度下降的计算机实验，并在一些具体的例子中观察到了这一原理。
2019-04-18 cs.LG math.DS math.OC
Gradient Descent Converges to Minimizers
University of California, Berkeley（加州大学伯克利分校）
我们表明，梯度下降收敛到一个局部极小，几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Gradient descent in higher codimension
我们考虑梯度流和离散和噪声梯度下降的行为。通常注意到，向离散梯度下降过程中添加噪声会影响梯度下降的轨迹。在以前的工作中，我们观察到了这种效应。在那里，我们考虑了最小值的余维数为1的情况。在本文中，我们做了一些计算机实验，观察噪声梯度下降在更复杂的设置更高的余维的最小值的行为。
2019-04-18 cs.LG math.DS math.OC
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI（谷歌人工智能）
深度学习社区中的一个悬而未决的问题是，为什么用梯度下降训练的神经网络在真实数据集上泛化得很好，即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降，我们称之为相干的相干性：来自类似的例子的相干性是相似的，所以整体梯度是强的，在某些方向上，这些相互加强。因此，在训练过程中对网络参数的改变偏向于那些（局部）同时有益于许多示例（当存在这种相似性时）的参数。我们用启发式论证和微扰实验来支持这一假设，并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外，我们的分析不仅是描述性的，而且是规定性的。它建议对梯度下降进行自然修改，可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
