Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation
对抗扰动在对抗鲁棒性研究中起着重要的作用，它解决了输入数据的最大化问题。我们表明，这种优化的反向传播可以加速$2\times$（因此，包括前向传播的整体优化可以加速$1.5\times$），没有任何效用下降，如果我们只计算输出梯度，而不是参数梯度在反向传播。
2022-11-09 cs.LG math.OC
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Propagation of Chaos of Forward-Backward Stochastic Differential Equations with Graphon Interactions
本文利用正倒向随机微分方程系统研究图子平均场对策。我们建立了两个不同的假设下的解决方案的存在性和唯一性，并证明了相互作用的图子，这是必要的混沌结果的传播的稳定性。作为混沌传播理论的一个应用，我们证明了一般模型下n人对策纳什均衡的收敛性，这是图子平均场对策理论中的一个新发现。
2022-02-16 math.OC math.PR
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上，而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里，我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法。我们表明，第一次，这些随机梯度方法在强凸函数上获得的几乎必然收敛速度，是任意接近其最佳收敛速度可能的。对于非凸目标函数，我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零，而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析，与文献中大多数现有结果相比，这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University（乔治·华盛顿大学）
本文证明了流形上自适应学习率随机梯度下降的收敛性，并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University（杜伦大学）
该研究提出速率转移方法，通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界，可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题，提出TV-HSGT算法，通过混合随机梯度跟踪与方差缩减机制，在无需梯度有界假设下提升动态遗憾界，并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文的目标是以通信高效的方式解决分布式机器学习问题，如联邦学习。一类新的随机梯度下降（SGD）方法已经被开发出来，它可以被看作是最近开发的懒惰聚合梯度（LAG）方法的随机推广--证明LASG的名称。LAG自适应地预测每一轮通信的贡献，并只选择重要的通信来执行。它节省了通信，同时还保持了收敛速率。然而，LAG仅适用于确定性梯度，并且将其应用于随机梯度会产生较差的性能。LASG的关键组件是一组为随机梯度量身定制的新规则，可以实现以保存下载、上传或两者。新算法自适应地选择新鲜和陈旧的随机梯度和收敛速度与原来的SGD。LASG实现了令人印象深刻的经验性能-它通常节省了数量级的总通信量。
2020-02-26 cs.LG math.OC stat.ML
Improved Complexities for Stochastic Conditional Gradient Methods under Interpolation-like Conditions
University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
我们分析了随机条件梯度法的约束最优化问题在过参数化机器学习。我们表明，人们可以利用这样的模型所满足的插值样条件，以获得改进的预言复杂性。具体而言，当目标函数是凸的，我们表明，条件梯度法需要$\mathcal{O}(ε^{-2})$调用随机梯度预言找到一个$ε$ -最优解。此外，通过包括一个梯度滑动步骤，我们表明，电话的数量减少到$\mathcal{O}(ε^{-1.5})$。
2022-01-26 cs.LG math.OC stat.ML
Less than a Single Pass: Stochastically Controlled Stochastic Gradient Method
University of California, Berkeley（加州大学伯克利分校）
我们开发和分析了一个基于梯度的优化过程，我们称之为随机控制的随机梯度（SCSG）。作为SVRG算法家族的一员，SCSG在两个尺度上使用梯度估计，在较快尺度上的更新次数由几何随机变量控制。与大多数现有的算法在这个家庭中，计算成本和通信成本的SCSG不一定与样本量$n$线性缩放;事实上，这些成本是独立的$n$时，目标精度低。在真实数据集上的实验验证了SCSG的有效性。
2019-05-16 cs.DS cs.LG math.OC
Predictive Local Smoothness for Stochastic Gradient Methods
Northeastern University（东北大学）；Huaqiao University（华侨大学）
随机梯度法在非凸优化中占主导地位，特别是对于深度模型，但由于固定的光滑性而具有较低的渐近收敛性。为了解决这个问题，我们提出了一个简单而有效的方法来改善随机梯度方法称为预测局部平滑（PLS）。首先，我们创建一个收敛条件来建立随局部平滑度自适应变化的学习率。其次，局部平滑度可以通过最新的梯度来预测。第三，我们使用自适应学习率来更新随机梯度，以探索线性收敛速度。通过应用PLS方法，我们实现了三种流行算法的新变体：PLS-随机梯度下降（PLS-SGD），PLS-加速SGD（PLS-AccSGD）和PLS-AMSGrad。此外，我们提供了更简单的证明，以确保其线性收敛。实验结果表明，改进后的算法具有更好的性能增益，如更快的收敛速度和更好的抑制梯度的爆炸和消失。
2018-05-23 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对重尾噪声（有限p阶矩，p∈(1,2)）下随机梯度方法的收敛性问题，证明了随机镜像下降（SMD）、加速随机镜像下降（ASMD）在凸优化中以及SGD和带动量的SGD（SGDM）在非凸优化中的期望收敛性，无需算法修改或有界域假设。
2026-05-30 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Stochastic gradient methods with inexact oracle
本文对求解随机最优化问题的当代梯度型方法（带不精确预言）作了一个简要的综述。
2018-01-06 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Well-posedness and propagation of chaos for McKean-Vlasov stochastic variational inequalities
本文研究一类漂移与扩散系数均依赖时间、状态及其分布的McKean-Vlasov随机变分不等式，在系数满足相应正则性条件下建立强适定性，并首次得到该类不等式的混沌传播结果。
2025-10-22 math.OC math.PR
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
Princeton University（普林斯顿大学）；Nanjing University（南京大学）
在本文中，我们考虑的问题是，是否有可能应用梯度平均策略，以改善次线性收敛速度没有任何增加的存储。我们的分析表明，一个积极的答案需要一个适当的平均策略和迭代，满足方差占主导地位的条件。作为一个有趣的事实，我们表明，如果我们定义的迭代方差总是占主导地位，即使是一点点的随机梯度迭代，建议的梯度平均策略可以增加收敛速度$\mathcal{O}(1/k)$ $\mathcal{O}(1/k^2)$的概率为Lipschitz梯度的强凸目标。这一结论为如何控制随机梯度迭代以提高算法的收敛速率提供了依据。
2020-02-25 cs.LG cs.NA math.NA
On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
Stochastic gradient-free descents
Princeton University（普林斯顿大学）；Nanjing University（南京大学）
本文提出了求解随机最优化问题的随机无梯度方法和带动量的加速方法。所有这些方法都依赖于随机方向而不是随机梯度。在均值-方差框架下分析了这些方法的收敛性，并对随机环境中动量项的引入进行了理论分析，结果表明动量项增加了$\mathcal{O}(1/k)$阶的偏差，但在第$k$次迭代中控制了$\mathcal{O}(1/k)$阶的方差.结果表明，对于具有Lipschitz梯度的强凸目标，当步长$α_k=\mathcal{O}(1/k)$逐渐减小时，随机无梯度方法仍能保持次线性收敛速度$\mathcal{O}(1/k)$，而带动量的加速方法能获得概率收敛速度$\mathcal{O}(1/k^2)$;当目标函数为非凸、二次可微且有界时，所有这些方法都收敛于期望梯度范数为零的解。
2020-01-14 cs.LG cs.NA math.NA
Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields
University of British Columbia（不列颠哥伦比亚大学）；Ambiata；Simon Fraser University（西蒙弗雷泽大学）
我们采用随机平均梯度（SAG）算法训练条件随机场（CRF）。我们描述了一个实际的实现，使用结构的CRF梯度，以减少这种线性收敛的随机梯度方法的内存需求，提出了一个非均匀采样方案，大大提高了实际性能，并分析了收敛速度的SAGA变量下的非均匀采样。我们的实验结果表明，我们的方法在训练目标方面往往显着优于现有的方法，并且在测试误差方面表现得与最优调整的随机梯度方法一样好或更好。
2015-04-16 cs.LG math.OC stat.CO
Mini-batch stochastic gradient descent with dynamic sample sizes
我们专注于解决约束凸优化问题的小批量随机梯度下降。动态样本量规则，确保下降方向具有高概率。从两个应用程序的实证结果显示出优越的收敛性相比，固定的样本实现。
2017-08-02 math.OC
Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks
School of Mathematics, Renmin University of China, Beijing, China（中国人民大学数学学院）；Division of Mathematical Sciences, Nanyang Technological University, 21 Nanyang Link, 637371 Singapore（南洋理工大学数学科学学院）；Financial Technology Thrust, Society Hub, The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China（香港科技大学（广州）金融科技中心）
本文对允许不连续随机梯度的SGHMC算法给出非渐近收敛分析，提供可任意小的期望超额风险上界，适用于ReLU神经网络训练等非凸优化问题，并通过金融和AI相关实验验证。
2025-05-26 cs.LG cs.NA math.NA
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
A Projected Stochastic Gradient Method for Finite-Sum Problems with Linear Equality Constraints
University of Novi Sad（诺维萨德大学）；University of Florence（佛罗伦萨大学）
本文提出并分析了一种用于带确定性线性约束的有限和最小化问题的随机梯度方法，结合了随机梯度和可能不精确的投影映射，理论结果与无约束问题理论一致，并通过数值结果展示其实际表现。
2026-07-28 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Optimal Two-Step Stepsize Schedule for Stochastic Gradient Methods
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
该研究针对强凸光滑函数的随机梯度方法，刻画了依赖初始最优性间隙与噪声水平比值的全局最优两步步长调度，揭示了步长随噪声减弱而增大的平衡规律。
2026-08-18 math.OC
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件（SGC）是使用恒定步长$γ$（SGM-CS）的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件，该条件比SGC弱。此外，当这一必要的是违反了添加剂扰动$σ$，我们表明，无论是使用恒定步长的投影随机梯度法（PSGM-CS）和近端随机梯度法表现出线性收敛的噪声占主导地位的区域，其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性，揭示了两种梯度计算对算法性能的不同影响，并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
On the stability of the stochastic gradient Langevin algorithm with dependent data stream
我们证明，在温和的条件下，随机梯度朗之万动力学收敛到一个限制法律的时间趋于无穷大，即使在驾驶数据序列是依赖的情况下。
2021-05-04 math.OC math.PR math.ST
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题，该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略，比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差，加快了收敛的收敛速率。在约束等距条件下，我们证明了该算法线性收敛于期望解。数值实验表明，与现有的贪婪算法相比，该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Optimal reinsurance and investment via stochastic projected gradient method based on Malliavin calculus
本文提出基于Malliavin微积分和随机投影梯度的方法，直接最小化破产概率以优化静态再保险与投资策略，并给出收敛性分析及数值验证。
2024-11-08 math.OC q-fin.CP q-fin.MF
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中，顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而，由于每个方向的步骤序列是相同的，这可能会导致在病态问题的情况下，在实践中的不良结果。为了克服这一点，自适应梯度算法，如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
Parametric estimation of stochastic differential equations via online gradient descent
提出了一种基于在线梯度下降的具有离散观测值和错误建模的随机微分方程参数在线估计方法。本文给出了一类随机微分方程估计量风险的一致上界。的界限的推导涉及三个基本的理论结果：分析的随机镜像下降算法的基础上依赖和偏subgradients，同时指数遍历类的扩散过程，和建议的损失函数的近似随机subgradients仅依赖于已知的模型和观测。
2022-10-17 math.OC math.PR math.ST
