A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Stochastic gradient methods with inexact oracle
本文对求解随机最优化问题的当代梯度型方法（带不精确预言）作了一个简要的综述。
2018-01-06 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Stochastic Sampling for Structural Topology Optimization with Many Load Cases: Density-Based and Ground Structure Approaches
我们提出了一种有效的概率方法来解决确定性问题-我们提出了一种随机优化方法，大大降低了巨大的计算成本，优化设计在许多负载情况下连续和桁架拓扑优化。通过拓扑优化进行的实际结构设计通常涉及许多荷载工况，可能有数百个或更多。最优设计最小化每个负载情况（或一些其它目标）下的柔度的可能加权平均值。这意味着，在每个优化步骤中，必须针对每个载荷情况求解大的有限元问题，从而导致巨大的计算工作量。相反，所提出的具有随机采样的随机化最优化方法只需要解出几个（例如，5或6）每个优化步骤的有限元问题（大型线性系）。基于模拟退火，我们引入了一个阻尼方案的随机化方法。通过二维和三维的数值例子，我们证明了随机算法大大降低了计算成本，以获得类似的最终拓扑结构和结果（例如，符合性）与标准算法相比。结果表明，阻尼方案是有效的，并导致所提出的算法的快速收敛。
2016-09-10 math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
Mini-batch stochastic gradient descent with dynamic sample sizes
我们专注于解决约束凸优化问题的小批量随机梯度下降。动态样本量规则，确保下降方向具有高概率。从两个应用程序的实证结果显示出优越的收敛性相比，固定的样本实现。
2017-08-02 math.OC
Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
A Projected Stochastic Gradient Method for Finite-Sum Problems with Linear Equality Constraints
University of Novi Sad（诺维萨德大学）；University of Florence（佛罗伦萨大学）
本文提出并分析了一种用于带确定性线性约束的有限和最小化问题的随机梯度方法，结合了随机梯度和可能不精确的投影映射，理论结果与无约束问题理论一致，并通过数值结果展示其实际表现。
2026-07-28 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Optimal Two-Step Stepsize Schedule for Stochastic Gradient Methods
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
该研究针对强凸光滑函数的随机梯度方法，刻画了依赖初始最优性间隙与噪声水平比值的全局最优两步步长调度，揭示了步长随噪声减弱而增大的平衡规律。
2026-08-18 math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件（SGC）是使用恒定步长$γ$（SGM-CS）的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件，该条件比SGC弱。此外，当这一必要的是违反了添加剂扰动$σ$，我们表明，无论是使用恒定步长的投影随机梯度法（PSGM-CS）和近端随机梯度法表现出线性收敛的噪声占主导地位的区域，其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性，揭示了两种梯度计算对算法性能的不同影响，并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
Heuristic adaptive fast gradient method in stochastic optimization tasks
本文提出了一种启发式自适应快速梯度法。我们表明，在实践中，我们的方法有一个更好的收敛速度比今天流行的最优化方法。此外，我们证明我们的方法，并指出一些问题，不允许我们获得理论估计。
2019-10-10 math.OC
Introduction to stochastic gradient methods
University of Mannheim, Institute of Mathematics（曼海姆大学数学研究所）
本文介绍一阶优化方法，重点研究随机梯度方法的收敛理论，包括确定性梯度方法和随机梯度下降的收敛性分析，以及方差缩减等高级主题。
2026-06-02 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下，我们考虑优化函数光滑凸函数$f$，该函数是一组可微函数$f_i$的平均。证明了在这些假设下，具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度，并且当$g$是强凸的时，具有线性收敛速率.
2013-08-29 math.OC
Topology optimization concerning the mass distribution via filtered gradient flows on the Wasserstein space
Institute of Science Tokyo（东京科学大学）；The University of Tokyo（东京大学）
本文提出了一种基于过滤梯度流的拓扑优化方法，用于在Wasserstein空间中优化质量分布并确定材料形状。
2026-01-20 math.AP math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Energy stable gradient flow schemes for shape and topology optimization in Navier-Stokes flows
针对不可压缩 Navier-Stokes 流中的形状与拓扑优化，提出相场梯度流的稳定化半隐式格式，证明其连续与离散无条件能量稳定性，并通过二维和三维 CFD 实验验证有效性与鲁棒性。
2024-05-08 cs.NA math.NA math.OC
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
Converging an Overlay Network to a Gradient Topology
KTH - Royal Institute of Technology（皇家理工学院）；Swedish Institute of Computer Science (SICS)（瑞典计算机研究所）
本文利用矩阵分析工具，研究了基于八卦的梯度覆盖网络的拓扑收敛问题，证明了收敛到完整梯度结构的充要条件，并给出了收敛时间估计和最坏情况边界，最后通过仿真展示了其在P2P直播系统中的效率提升。
2011-03-29 cs.SY eess.SY math.OC
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Kernel Mean Embedding Topology: Weak and Strong Forms for Stochastic Kernels and Implications for Model Learning
Department of Mathematics, Bilkent University（巴勒莫大学数学系）；Department of Mathematics（数学系）；Statistics, Queen's University（皇后大学统计学系）
本文提出一种用于随机核的核均值嵌入拓扑（含弱与强形式），弱形式适用于松弛策略空间并揭示了与 Young 窄拓扑等的等价性质，强形式为模型空间提供拓扑表述并带来鲁棒性与学习理论启示，适用于研究最优性、近似与鲁棒性。
2025-10-31 cs.LG cs.SY eess.SY
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
An Efficient Gradient Projection Method for Structural Topology Optimization
针对结构拓扑优化问题，提出了一种基于梯度投影的有效算法，该算法的目标函数为非线性，且在由双边界和线性等式约束定义的可行域上最小化。利用约束类型的特殊性以及启发式工程经验，改进了缩放方案、投影和搜索步骤。具体地说，该方法利用梯度裁剪和在一定条件下对搜索方向的投影进行修正来提高算法的效率。此外，提出了一种近似该投影的解析解，其计算和存储开销可以忽略不计。此外，搜索步骤的计算大大简化。基准问题，包括MBB，力逆变器机构，和三维悬臂梁被用来验证该方法的有效性。所提出的方法在MATLAB中实现，MATLAB是开源的，用于教育用途。
2020-06-15 cs.CE math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上，而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里，我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法。我们表明，第一次，这些随机梯度方法在强凸函数上获得的几乎必然收敛速度，是任意接近其最佳收敛速度可能的。对于非凸目标函数，我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零，而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析，与文献中大多数现有结果相比，这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
A topology for Team Policies and Existence of Optimal Team Policies in Stochastic Team Theory
Ozyegin University（伊兹密尔经济大学）
本文研究静态团队和一类序贯动态团队的最优策略存在性，通过引入策略集的拓扑结构和Witsenhausen的静态简化方法，验证了在特定正则条件下最优策略的存在，应用于Witsenhausen反例和高斯中继信道问题。
2017-11-02 cs.MA cs.SY eess.SY
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中，我们的目标是解决贝叶斯风险优化（BRO），这是最近提出的框架，制定输入不确定性下的模拟优化。为了有效地解决BRO问题，我们推导了嵌套随机梯度估计，并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的，并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣，随机梯度估计的情况下，嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Weak topology and Opial property in Wasserstein spaces, with applications to Gradient Flows and Proximal Point Algorithms of geodesically convex functionals
本文讨论了在可分Hilbert空间$H$上的有限二次矩Borel概率测度的Wasserstein空间$(\mathcal{P}_2(H),W_2)$中如何定义一个适当的弱拓扑概念.我们将证明这样的拓扑继承了Hilbert空间中通常的弱拓扑的许多特征，特别是测地凸闭集的弱闭性和弱收敛序列的Opial性质。我们将这一概念应用于$\mathcal{P}_2(H)$的弱闭子集中的非扩张映射的不动点的逼近以及下连续测地凸泛函$ϕ:\mathcal{P}_2(H)\to(-\infty,+\infty]$的极小值的逼近.特别地，我们将证明$ϕ$的Wasserstein梯度流的每一个解随着时间的推移到$+\infty$弱收敛到$ϕ$的极小值。类似地，如果$ϕ$也是沿广义测地线凸的，则由邻近点法生成的每个序列都收敛到$ϕ$关于$\mathcal{P}_2(H)$的弱拓扑的极小元。
2021-04-13 math.DS math.FA math.MG
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题，提出TV-HSGT算法，通过混合随机梯度跟踪与方差缩减机制，在无需梯度有界假设下提升动态遗憾界，并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题，该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略，比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差，加快了收敛的收敛速率。在约束等距条件下，我们证明了该算法线性收敛于期望解。数值实验表明，与现有的贪婪算法相比，该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University（杜伦大学）
该研究提出速率转移方法，通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界，可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Optimal reinsurance and investment via stochastic projected gradient method based on Malliavin calculus
本文提出基于Malliavin微积分和随机投影梯度的方法，直接最小化破产概率以优化静态再保险与投资策略，并给出收敛性分析及数值验证。
2024-11-08 math.OC q-fin.CP q-fin.MF
LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文的目标是以通信高效的方式解决分布式机器学习问题，如联邦学习。一类新的随机梯度下降（SGD）方法已经被开发出来，它可以被看作是最近开发的懒惰聚合梯度（LAG）方法的随机推广--证明LASG的名称。LAG自适应地预测每一轮通信的贡献，并只选择重要的通信来执行。它节省了通信，同时还保持了收敛速率。然而，LAG仅适用于确定性梯度，并且将其应用于随机梯度会产生较差的性能。LASG的关键组件是一组为随机梯度量身定制的新规则，可以实现以保存下载、上传或两者。新算法自适应地选择新鲜和陈旧的随机梯度和收敛速度与原来的SGD。LASG实现了令人印象深刻的经验性能-它通常节省了数量级的总通信量。
2020-02-26 cs.LG math.OC stat.ML
