A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Faster gradient descent and the efficient recovery of images
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of British Columbia（不列颠哥伦比亚大学）
最近的注意力集中在梯度下降算法上，其中最陡下降步长由来自先前迭代的类似步长替换，或者每隔一步仅更新一次，从而形成{ \em更快梯度下降方法}。对于无约束凸二次优化问题，这些方法比最速下降法收敛得更快。但这里感兴趣的背景是应用于某些不适定的反问题，其中最速下降法已知具有平滑，正则化效果，并且不需要严格的优化解决方案。具体来说，在本文中，我们研究了在图像去模糊和去噪任务的实际背景下，用更快的梯度下降算法取代最陡下降的效果。我们还提出了几个高效的计划，独立于步长选择，以及一个计划的情况下，模糊和显着的噪声是存在的。在上面的上下文中，存在需要许多最陡下降步骤的情况，从而在求解过程中建立缓慢。我们关于梯度下降方法的一般结论是，在这种情况下，更快的梯度下降方法提供了实质性的优势。在其他情况下，没有这种缓慢的积累出现的最速下降法仍然可以是非常有效的。
2013-08-12 cs.CV cs.NA math.NA
Denoising Gradient Descent in Variational Quantum Algorithms
针对噪声干扰变分量子算法梯度下降的问题，提出一种在每步梯度下降时计算目标函数正则化局部经典近似的去噪算法，其电路评估次数与参数平移规则法一致，已在随机参数化量子电路上验证优势。
2024-03-06 cs.NA math.NA quant-ph
Adaptive Preconditioned Gradient Descent with Energy
本文将 Hessian-Riemannian、自然梯度等预条件梯度下降纳入 AEGD 框架，提出能量驱动的自适应步长，并证明三类目标函数下的无条件能量稳定性与收敛率，数值实验验证其优异性能。
2024-06-14 cs.NA math.NA math.OC
Multilevel Stochastic Gradient Descent for Risk-Averse PDE-Constrained Optimization
Heidelberg University（海德堡大学）；Johann Radon Institute for Computational and Applied Mathematics（约翰·拉多纳计算与应用数学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Politecnico di Torino（都灵理工大学）
提出多级随机梯度下降算法求解风险规避三维PDE约束优化问题，利用自适应多级蒙特卡洛梯度估计，相比标准批处理方法具有更优收敛速度和计算复杂度。
2026-06-23 cs.NA math.NA math.OC
Non-convergence of stochastic gradient descent in the training of deep neural networks
ETH Zurich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
深度神经网络已经成功地在各种应用领域中使用随机梯度下降进行了训练。然而，没有严格的数学解释为什么它如此有效。用随机梯度下降训练神经网络有四个不同的离散化参数：（i）网络结构;（ii）训练数据的量;（iii）梯度步长的数量;以及（iv）随机初始化梯度轨迹的数量。虽然可以证明，如果所有四个参数都以正确的顺序发送到无穷大，则近似误差收敛到零，但我们在本文中证明，如果ReLU网络的深度远远大于其宽度，并且随机初始化的数量没有足够快地增加到无穷大，则随机梯度下降无法收敛。
2021-01-29 cs.LG cs.NA math.NA
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
Cornell University（康奈尔大学）
对于光滑的强凸目标，经典的梯度下降理论确保相对于梯度评估的数量的线性收敛。一个类似的非光滑理论是具有挑战性的。即使当目标在每个顶点处是平滑的时，相应的局部模型也是不稳定的，并且传统补救措施所调用的切割平面的数量难以约束，从而导致相对于梯度评估的累积数量是次线性的收敛保证。相反，我们提出了一个多点推广的梯度下降迭代局部最优化。虽然在设计时考虑到了一般目标，但我们的动机是一个“最大平滑”模型，该模型捕获了最优的次微分维度。我们证明了线性收敛时，目标本身是最大的光滑，实验表明一个更普遍的现象。
2022-09-27 cs.CG cs.LG cs.NA
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
On the influence of stochastic roundoff errors and their bias on the convergence of the gradient descent method with low-precision floating-point computation
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
当在低精度下实现梯度下降方法时，采用随机舍入方案有助于防止由消失梯度效应引起的收敛停滞。无偏随机舍入通过保留与其相对大小成比例的概率的小更新来产生零偏差。该研究为梯度下降法在低精度计算中的停滞现象提供了理论解释。此外，我们提出了两个新的随机舍入方案，以更大的概率交易零偏置属性，以保持小梯度。我们的方法产生一个恒定的舍入偏差，平均而言，在于下降的方向。对于凸问题，我们证明了所提出的舍入方法通常对梯度下降的收敛速度有有益的影响。我们验证了我们的理论分析，通过比较性能的各种舍入方案时，优化多项逻辑回归模型和训练一个简单的神经网络与8位浮点格式。
2023-02-25 cs.LG cs.NA math.NA
On the global convergence of randomized coordinate gradient descent for non-convex optimization
在本文中，我们分析了非凸优化问题中随机选择坐标和步长的坐标梯度下降法的整体收敛性。在一般的假设下，我们证明了该算法几乎肯定会逃脱严格的鞍点的目标函数。因此，如果所有鞍点都是严格的，则保证算法收敛到局部极小。我们的证明是基于观察坐标下降算法作为一个非线性随机动力系统和定量有限块分析其线性化周围的鞍点。
2022-11-30 cs.NA math.DS math.NA
Randomized coordinate gradient descent almost surely escapes strict saddle points
本文分析了非凸优化中随机坐标梯度下降的行为，通过将其表述为非线性随机动力系统并利用中心稳定流形定理，证明了迭代在标准假设下几乎必然逃离严格鞍点。
2025-08-11 cs.NA math.DS math.NA
A proof of convergence for gradient descent in the training of artificial neural networks for constant target functions
ETH Zurich（苏黎世联邦理工学院）；University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
梯度下降优化算法是用于训练人工神经网络（ANN）的标准成分。尽管大量的数值模拟表明梯度下降最优化方法在人工神经网络的训练中确实收敛，但直到今天还没有严格的理论分析来证明（或反驳）这个猜想。特别是，即使在梯度下降优化算法的最基本变体的情况下，普通的香草梯度下降法，它仍然是一个开放的问题，证明或反驳的猜想，梯度下降收敛在人工神经网络的训练。本文在目标函数为常数函数的特殊情况下解决了这一问题。更具体地说，在恒定的目标函数的情况下，我们证明了在训练的整流全连接前馈神经网络与一个隐藏层的梯度下降法的风险函数确实收敛到零。我们的数学分析充分利用了整流器函数是所考虑的ANN中使用的激活函数的特性。这项工作的一个关键贡献是明确指定的梯度流系统的人工神经网络参数的李雅普诺夫函数。这个李雅普诺夫函数是我们证明梯度下降法收敛性的核心工具。
2021-02-19 cs.LG cs.NA math.NA
Adaptive Gradient Descent without Descent
EPFL（洛桑联邦理工学院）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个非常简单的证明，证明了两个规则足以自动梯度下降：1）不要太快地增加步长，2）不要超过局部曲率。不需要函数值，没有线搜索，除了梯度之外没有关于函数的信息。通过遵循这些规则，您可以得到一种适应局部几何的方法，其收敛保证仅取决于解的邻域中的平滑度。考虑到问题是凸的，我们的方法收敛，即使全局光滑常数是无穷大。作为例子，它可以极小化任意连续二次可微的凸函数。我们研究其性能的一系列凸和非凸问题，包括逻辑斯谛回归和矩阵分解。
2020-08-15 cs.LG cs.NA math.NA
Analysis of Stochastic Gradient Descent in Continuous Time
University of Cambridge（剑桥大学）
随机梯度下降是一种将经典梯度下降与目标泛函内的随机子采样相结合的优化方法。在这项工作中，我们介绍了随机梯度过程作为一个连续时间表示的随机梯度下降。随机梯度过程是一个动力系统，它与一个生活在有限状态空间上的连续时间马尔可夫过程耦合。动力系统--梯度流--表示梯度下降部分，有限状态空间上的过程表示随机子采样。这种类型的过程，例如，用于在波动的环境中模拟克隆种群。在介绍了它之后，我们研究了随机梯度过程的理论性质：我们证明了当学习率接近零时，它相对于完整的目标函数弱收敛到梯度流。给出了具有常数学习率的随机梯度过程在Wasserstein意义下指数遍历的条件。然后，我们研究的情况下，学习率到零足够慢，单目标函数是强凸的。在这种情况下，该过程弱收敛到集中在完整目标函数的全局极小值中的点质量;表明该方法的一致性。最后，我们讨论了离散化策略的随机梯度过程和数值实验。
2021-01-10 cs.LG cs.NA math.NA
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
IRKA is a Riemannian Gradient Descent Method
本文将迭代有理Krylov算法IRKA重新表述为固定次数有理函数流形上的固定步长黎曼梯度下降方法，并据此提出采用可变步长与线搜索的扩展方法，实验验证了该扩展的显著优势。
2024-07-10 cs.NA cs.SY eess.SY
Quantum Stochastic Gradient Descent in its continuous-time limit based on the Wigner formulation of Open Quantum Systems
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
该研究提出以Wigner表述搭建经典与量子概率算法的桥梁，聚焦推导基于开放量子系统Wigner表述的连续时间极限量子随机梯度下降方案，为量子优化算法研究提供新思路。
2025-10-29 cs.NA math-ph math.MP
