When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明，如果初始损失足够小，梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时，我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Blind Descent: A Prequel to Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
我们描述了神经网络的另一种学习方法，我们称之为盲下降。通过设计，Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中，梯度不用于指导学习过程。在本文中，我们提出盲下降作为一个更基本的学习过程相比，梯度下降。我们还表明，梯度下降可以被看作是一个特定的情况下，盲下降算法。我们还训练两个神经网络架构，多层感知器和卷积神经网络，使用最一般的盲下降算法来证明概念。
2020-08-26 cs.LG stat.ML
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
On the convergence of gradient descent for two layer neural networks
已经表明，梯度下降可以在过参数化的区域（神经网络的宽度远大于数据点的数量）中产生零训练损失。在这项工作中，结合一些现有的工作的思想，我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论，我们表明，梯度下降可以产生指数收敛速度，而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University（范德堡大学）
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降（SMGD），离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证，以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们分析了线性半空间的不可知学习的0 - 1损失的凸代理上的梯度下降的性质。如果$\mathsf{OPT}$是最好的分类错误实现的半空间，通过呼吁软利润的概念，我们能够表明，梯度下降发现半空间与分类错误$\tilde O(\mathsf{OPT}^{1/2}) + \varepsilon$在$\mathrm{poly}(d,1/\varepsilon)$的时间和样本复杂性的广泛的一类分布，包括日志凹各向同性分布作为一个子类。在此过程中，我们回答了Ji等人最近提出的一个问题。（2020）关于损失函数的尾部行为如何影响样本复杂度和梯度下降的运行时保证。
2021-02-14 cs.LG math.OC stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Gradient descent aligns the layers of deep linear networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文建立了梯度流和梯度下降在线性可分数据上应用于深度线性网络时的风险收敛和渐近权重矩阵对齐--一种隐式正则化形式。更详细地，对于应用于严格递减损失函数的梯度流（对于具有特定递减步长的梯度下降具有类似结果）：（i）风险收敛到0;（ii）归一化的第i个权重矩阵渐近地等于其秩-1近似$u_iv_i^{\top}$ ;（iii）这些秩-1矩阵跨层对齐，意味着$|v_{i+1}^{\top}u_i|\to1$。在逻辑损失（二进制交叉熵）的情况下，可以说：由网络引起的线性函数-其权重矩阵的乘积-收敛到与最大边际解相同的方向。这最后一个属性在先前的工作中被识别，但仅在梯度下降的假设下，这在这里是由对齐现象所暗示的。
2019-02-24 cs.LG math.OC stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下，随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题，建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果（即在所有梯度步骤之后学习的最终模型参数）与[Zin03]的在线学习技术进行比较，该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
Broximal Gradient Descent: A Projection-Free Sister of Projected Gradient Descent
KAUST（卡塔尔科技大学）
本文提出局部LMO算法，通过局部线性最小化oracle替代传统FW方法中的全局线性最小化oracle，实现了在约束优化中的高效求解，并在多个重要情形下达到了与投影梯度下降相当的收敛速率。
2026-09-29 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Reparameterizing Mirror Descent as Gradient Descent
Google Research（谷歌研究院）
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而，对于一些小型网络，当目标稀疏时，其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架，用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下，镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的，并涵盖了广泛的镜像下降更新，即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了随机梯度下降（SGD）最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果，这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}（使平均梯度范数小于$ε$）不能得到改善，除非作出额外的假设的组合。值得注意的是，即使我们将自己限制为凸二次函数，这也成立。我们还表明，对于非凸函数，最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现，这些学习优化器表现出显着程度的转移，因为它们可以用来有效地优化广泛的衍生物自由黑盒函数，包括高斯过程土匪，简单的控制目标，全局优化基准和超参数调整任务。在训练范围内，学习的优化器学习权衡探索和利用，并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research（IBM研究院）
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常，要么使用随机初始化，要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则，我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证，建立了在所有情况下都是充分的条件，并且在某些情况下也是必要的条件，在这些条件下，我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题，例如生成对抗性示例，为黑盒机器学习模型生成事后解释，以及分配通信频谱，并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们引入了一个条件加速惰性随机梯度下降算法，具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$，比Hazan和Kale [2012]的无投影，基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University（亚琛工业大学）
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质，即，深度矩阵分解，通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下，梯度下降收敛到损失函数的临界点，即，这篇文章中的平方损失。此外，我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下，两层。在三层或多层的情况下，我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩，秩不能被确定的先验。
2021-11-24 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique（巴黎综合理工学院）；Columbia University（哥伦比亚大学）
本文提出基于张量的良性景观准则，证明相位恢复中梯度轨迹有界，从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Research, Mountain View（谷歌研究院（山景城））
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算，即使在非常简单的学习设置中。我们的结果意味着，在弱复杂性理论的假设下，不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究院）
在本文中，我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架，其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降，经典的和广义的高斯-牛顿方法，自然梯度下降方法，梯度协方差矩阵方法，和牛顿的方法。除了在一个单一的框架内解释这些方法，我们解释了它们的特殊性，并显示在哪些条件下，其中一些一致。
2021-08-14 cs.LG stat.ML
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia（谷歌研究院亚洲区）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究针对在低维流形上不连续的损失函数，分析其对应的随机梯度下降算法的微分方程极限，为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research（IBM研究院）；Akron University（阿克伦大学）
我们考虑最大平均差异（$\mathrm{MMD}$）GAN问题，并提出了一个参数核化梯度流，模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现，这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后，我们推导出一个明确的条件，确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$，并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流，因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后，数值实验表明，我们的参数核化梯度流稳定GAN训练，并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校）；Binghamton University（宾汉姆顿大学）；Eastern Illinois University（东伊利诺伊大学）
自牛顿法问世以来，梯度下降算法已被用于无数应用中。近年来，神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数：必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法，称为Gravilon，它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络，我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London（伦敦大学学院）
我们提出了一个统一的框架，以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下，我们重新推导经典的动量和Nesterov的加速梯度法，贷款一个新的直观的解释后者的算法。我们表明，一个新的算法，我们长期正规化梯度下降，可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Reparametrizing gradient descent
在这项工作中，我们提出了一个优化算法，我们称之为范数适应梯度下降。该算法与其他基于梯度的优化算法（如Adam或Adagrad）类似，因为它在每次迭代时都会调整随机梯度下降的学习率。然而，范数自适应梯度下降不是使用观测到的梯度的统计特性，而是依赖于标准梯度下降更新步骤的效果的一阶估计，在许多维度上非常类似于牛顿-拉夫森方法。我们的算法也可以与拟牛顿法相比，但我们寻求的是根而不是固定点。求根可以通过以下事实来证明：对于具有由非负损失函数度量的足够容量的模型，根与全局最优值重合。这项工作提出了几个实验，我们已经使用我们的算法;在这些结果中，似乎范数适应下降在回归设置中特别强大，但也能够训练分类器。
2020-10-09 cs.LG cs.NE math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras（马德拉斯印度理工学院）
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体，目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分，直到最近。在这项工作中，我们着眼于收敛性分析的一个属性，我们术语为concavifiability，而不是Lipschitz连续梯度。我们表明，凹性是一个充要条件，以满足上二次近似，这是关键证明，目标函数减少后，每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用，我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界，以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD自适应地估计预条件子以加速梯度下降，并且被设计为简单、通用和易于使用，如随机梯度下降（SGD）。RNN，特别是那些需要极长时间记忆的RNN，很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明，PSGD是能够实现高度竞争力的性能，而无需使用任何技巧，如预处理，预训练或参数调整。
2016-12-08 cs.LG stat.ML
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Physikalisch-Technische Bundesanstalt (PTB)（德国联邦物理技术研究院）；Technical University of Berlin（柏林工业大学）
研究单边赫尔德正则性下连续可微非凸目标的自适应梯度下降，提出基于正单边赫尔德曲率估计的自适应标量步长法，结合充分下降保障，在两个全批量基准测试中表现良好，证明单边赫尔德曲率是有效自适应步长信号。
2026-07-28 cs.LG math.OC
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS（CEREMADE - 法国国家科学研究中心）；Université Paris Dauphine - PSL Research University（巴黎第九大学 - PSL研究大学）
本文自包含地证明了随机梯度下降（SGD）的收敛性，无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University（庆应义塾大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方（KNLMS）算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
LOSSGRAD: automatic learning rate in gradient descent
Cracow University of Technology（克拉科夫理工大学）；Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个简单，快速，易于实现的算法LOSSGRAD（局部最优步长梯度下降），自动修改梯度下降的步长在神经网络的训练。给定一个函数$f$，一个点$x$，和$f$的梯度$\nabla_x f$，我们的目标是找到（局部）最优的步长$h$，即满足：$$ h=arg\,min_{t \geq 0} f(x-t \nabla_x f). $$利用二次近似，我们证明了该算法满足上述假设。我们的实验表明，我们的方法是不敏感的初始学习率的选择，同时实现的结果与其他方法相比。
2019-02-20 cs.AI cs.LG math.OC
Adaptive Gradient Descent without Descent
EPFL（洛桑联邦理工学院）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个非常简单的证明，证明了两个规则足以自动梯度下降：1）不要太快地增加步长，2）不要超过局部曲率。不需要函数值，没有线搜索，除了梯度之外没有关于函数的信息。通过遵循这些规则，您可以得到一种适应局部几何的方法，其收敛保证仅取决于解的邻域中的平滑度。考虑到问题是凸的，我们的方法收敛，即使全局光滑常数是无穷大。作为例子，它可以极小化任意连续二次可微的凸函数。我们研究其性能的一系列凸和非凸问题，包括逻辑斯谛回归和矩阵分解。
2020-08-15 cs.LG cs.NA math.NA
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
