Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
A Projected Stochastic Gradient Method for Finite-Sum Problems with Linear Equality Constraints
University of Novi Sad（诺维萨德大学）；University of Florence（佛罗伦萨大学）
本文提出并分析了一种用于带确定性线性约束的有限和最小化问题的随机梯度方法，结合了随机梯度和可能不精确的投影映射，理论结果与无约束问题理论一致，并通过数值结果展示其实际表现。
2026-07-28 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Optimal Two-Step Stepsize Schedule for Stochastic Gradient Methods
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
该研究针对强凸光滑函数的随机梯度方法，刻画了依赖初始最优性间隙与噪声水平比值的全局最优两步步长调度，揭示了步长随噪声减弱而增大的平衡规律。
2026-08-18 math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件（SGC）是使用恒定步长$γ$（SGM-CS）的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件，该条件比SGC弱。此外，当这一必要的是违反了添加剂扰动$σ$，我们表明，无论是使用恒定步长的投影随机梯度法（PSGM-CS）和近端随机梯度法表现出线性收敛的噪声占主导地位的区域，其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性，揭示了两种梯度计算对算法性能的不同影响，并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
Heuristic adaptive fast gradient method in stochastic optimization tasks
本文提出了一种启发式自适应快速梯度法。我们表明，在实践中，我们的方法有一个更好的收敛速度比今天流行的最优化方法。此外，我们证明我们的方法，并指出一些问题，不允许我们获得理论估计。
2019-10-10 math.OC
Introduction to stochastic gradient methods
University of Mannheim, Institute of Mathematics（曼海姆大学数学研究所）
本文介绍一阶优化方法，重点研究随机梯度方法的收敛理论，包括确定性梯度方法和随机梯度下降的收敛性分析，以及方差缩减等高级主题。
2026-06-02 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下，我们考虑优化函数光滑凸函数$f$，该函数是一组可微函数$f_i$的平均。证明了在这些假设下，具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度，并且当$g$是强凸的时，具有线性收敛速率.
2013-08-29 math.OC
Accelerated and nonaccelerated stochastic gradient descent with model conception
在本文中，我们描述了一种新的方法来获得光滑（强）凸优化任务的最优方法的收敛速度。我们的方法是基于梯度具有非随机小噪声的任务的结果。与以前的结果不同，我们得到了收敛速度与模型的概念。
2020-07-13 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Universal Gradient Methods for Stochastic Convex Optimization
本研究针对随机凸优化问题，提出基于梯度差与迭代点差组合累积调整步长的通用梯度方法，可自动适配噪声与赫尔德光滑性，达当前最优最坏情况收敛率，还给出了具最优效率估计的通用快速梯度方法。
2024-07-11 math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中，我们提出了一种新的方法来获得光滑随机（强）凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反，我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang Gongshang University Hangzhou College of Commerce（浙江工商大学杭州商学院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无偏且最小化方差的随机梯度估计，并将其应用于SCGA和CGVR两种随机共轭梯度算法，证明了线性收敛速率，实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
Handbook of Convergence Theorems for (Stochastic) Gradient Methods
本手册收录梯度及随机梯度下降类方法在多种函数条件下的简洁优质收敛证明，覆盖确定性、随机变体及非光滑问题相关方法，聚焦全局收敛与复杂度速率，含部分少见证明且各章可独立查阅。
2024-03-09 math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上，而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里，我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法。我们表明，第一次，这些随机梯度方法在强凸函数上获得的几乎必然收敛速度，是任意接近其最佳收敛速度可能的。对于非凸目标函数，我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零，而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析，与文献中大多数现有结果相比，这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中，我们的目标是解决贝叶斯风险优化（BRO），这是最近提出的框架，制定输入不确定性下的模拟优化。为了有效地解决BRO问题，我们推导了嵌套随机梯度估计，并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的，并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣，随机梯度估计的情况下，嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Stochastic Conditional Gradient++
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们考虑一般的非遗忘随机最优化的基础随机性可能会改变在优化过程中，并取决于点的功能是评估。我们开发了随机Frank-Wolfe++（$\text{SFW}{++} $），条件梯度法的一个有效的变种，用于最小化受凸体约束的光滑非凸函数。利用$O(1/ε^3)$随机梯度证明了$\text{SFW}{++} $收敛于$ε$ -一阶稳定点.一旦有了进一步的结构，$\text{SFW}{++}$的理论保证，就其解的收敛速度和质量而言，都会提高。特别地，为了使凸函数最小化，当使用$O(1/ε^2)$随机梯度时，$\text{SFW}{++} $实现$ε$近似最优。据了解，这个速率是最佳的随机梯度评估。类似地，为了最大化单调连续DR-次模函数，$\text{SFW}{++} $的稍微不同的形式，称为随机连续贪婪++（$\text{SCG}{++} $），在使用$O(1/ε^2)$随机梯度时实现了紧$[(1-1/e)\text{OPT} -ε]$解。通过信息论的论证，我们还证明了$\text{SCG}{++} $的收敛速度是最优的。最后，对于非单调连续DR-次模函数的最大化问题，我们可以利用$O(1/ε^2)$随机梯度得到一个$[(1/e)\text{OPT} -ε]$解。我们应该强调的是，我们的结果和我们的新的方差减少技术平凡地扩展到标准和更容易遗忘的随机最优化设置（非）凸和连续sub…
2020-09-08 cs.LG math.OC
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Florida State University（佛罗里达州立大学）
随机梯度Hamilton Monte Carlo（SGHMC）是一种动量随机梯度算法，在随机梯度中加入受控的、适当缩放的高斯噪声，使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功，特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法，如随机梯度Langevin动力学（SGLD）在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的，其有限时间性能还没有得到很好的理解。在这项工作中，我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平，对一类非凸问题，我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明，在全局非凸优化的背景下，动量加速是可能的。
2020-11-18 cs.LG math.OC
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University（俄亥俄州立大学）
针对黎曼流形上的嵌套组合优化问题，提出黎曼随机组合梯度下降（R-SCGD）方法，解决内层随机近似导致的外层梯度偏差，在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度，并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
本文通过收敛分析与最优batch size估计证明，momentum既不能减少SGD中的梯度噪声，也不能减少搜索方向噪声，且其带来的目标函数平滑优势有限。
2025-07-02 cs.LG math.OC
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界，考虑了实际中使用的大多数激活函数，包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先，我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次，我们提供了一个技术性的结果（也适用于一般逼近器），将上述微分包含的解与（离散的）随机梯度下降序列相关联，从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
Stochastic Approximation Beyond Gradient for Signal Processing and Machine Learning
本文提出基于Lyapunov函数的统一随机近似理论框架，涵盖非渐近与渐近收敛，并用于分析压缩随机梯度、随机EM和强化学习等非随机梯度算法。
2023-07-16 math.OC stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题，提出TV-HSGT算法，通过混合随机梯度跟踪与方差缩减机制，在无需梯度有界假设下提升动态遗憾界，并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University（杜伦大学）
该研究提出速率转移方法，通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界，可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题，该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略，比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差，加快了收敛的收敛速率。在约束等距条件下，我们证明了该算法线性收敛于期望解。数值实验表明，与现有的贪婪算法相比，该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Optimal reinsurance and investment via stochastic projected gradient method based on Malliavin calculus
本文提出基于Malliavin微积分和随机投影梯度的方法，直接最小化破产概率以优化静态再保险与投资策略，并给出收敛性分析及数值验证。
2024-11-08 math.OC q-fin.CP q-fin.MF
LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文的目标是以通信高效的方式解决分布式机器学习问题，如联邦学习。一类新的随机梯度下降（SGD）方法已经被开发出来，它可以被看作是最近开发的懒惰聚合梯度（LAG）方法的随机推广--证明LASG的名称。LAG自适应地预测每一轮通信的贡献，并只选择重要的通信来执行。它节省了通信，同时还保持了收敛速率。然而，LAG仅适用于确定性梯度，并且将其应用于随机梯度会产生较差的性能。LASG的关键组件是一组为随机梯度量身定制的新规则，可以实现以保存下载、上传或两者。新算法自适应地选择新鲜和陈旧的随机梯度和收敛速度与原来的SGD。LASG实现了令人印象深刻的经验性能-它通常节省了数量级的总通信量。
2020-02-26 cs.LG math.OC stat.ML
