A modified Polak-Ribiere-Polyak type conjugate gradient method with two stepsize strategies for vector optimization
针对向量值函数偏序下临界点求解问题，提出带非负共轭参数的改进Polak-Ribiere-Polyak型共轭梯度法，证明其搜索方向满足充分下降条件，在两种线搜索下具全局收敛性，实验验证了有效性。
2024-04-12 math.OC
New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results
King Abdullah University of Science and Technology (KAUST)（卡奥斯特大学）；Mila Québec AI Institute, Université de Montréal（魁北克人工智能研究所，蒙特利尔大学）
本文从替代损失的角度重新审视Polyak步长及其变种，揭示其收敛性质，并证明某些上界中的非收敛结果确实存在。
2026-01-21 cs.LG math.OC
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
随机梯度下降（SGD）已被证明在许多深度学习应用中具有良好的推广性。在实践中，人们经常以几何衰减步长运行SGD，即，一个恒定的初始步长，然后是多个几何步长衰减，并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的（Ge等人，2019年）。然而，在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中，我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长，（过参数化）线性回归问题。特别是，对于最后一个具有（尾部）几何衰减步长的SGD，我们证明了几乎匹配的上限和下限的超额风险。此外，我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势，在一个实例的方式，这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ServiceNow Research（ServiceNow研究院）
本文研究随机镜像下降在插值条件下的收敛性，提出自适应步长方案mSPS，在无需梯度有界和方差有界假设下给出收敛保证，并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Stochastic Polyak Stepsize with a Moving Target
LTCI, Télécom Paris（法国巴黎电信学院LTCI实验室）；Institut Polytechnique de Paris（巴黎理工学院）；Facebook AI Research（Facebook人工智能研究）
我们提出了一种新的随机梯度方法，称为MOTAPS（移动目标Polyak步长），使用记录过去的损失值来计算自适应步长。非杀伤人员地雷可视为随机Polyak（SP）的一种变体，SP也是一种利用损失值调整步长的方法。SP方法的缺点是它只在插值条件成立时收敛。MOTAPS是SP的扩展，它不依赖于插值条件。MOTAPS方法使用$n$辅助变量，每个数据点一个，用于跟踪每个数据点的损失值。我们提供了一个全局收敛理论SP，中间方法TAPS，MOTAPS显示，他们都可以被解释为一个特殊的变种在线SGD。我们还对凸学习问题以及用于图像分类和语言翻译的深度学习模型进行了一些数值实验。在我们的所有工作中，我们都表明，非杀伤人员地雷与相关的基线方法相比具有竞争力。
2021-09-23 cs.LG math.OC
Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize
Rutgers Business School（罗格斯商学院）；Princeton University（普林斯顿大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
本研究从理论上证明循环和随机步长比恒定步长在SGD中引发更重的尾部（尾指数更小），并通过线性回归和深度学习实验验证，为理解其泛化优势提供新视角。
2023-08-29 cs.LG math.OC stat.ML
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法，通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
PIT IN Corp.（PIT IN 公司）
针对常步长SGD，证明了其不变分布与高斯分布的锐利逼近，结合分块比较与收缩技术，并通过四状态例子验证下界。
2026-10-02 cs.LG math.OC
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Local Curvature Descent: Squeezing More Curvature out of Standard and Polyak Gradient Descent
本文提出局部曲率下降（LCD1、LCD2、LCD3）三种新方法，利用现成局部曲率信息构造矩阵值步长，推广标准及Polyak梯度下降，理论恢复已知速率且实证优于梯度下降。
2024-05-26 math.OC
Enhancing Stochastic Optimization for Statistical Efficiency Using ROOT-SGD with Diminishing Stepsize
本文提出通过整合递减步长策略来增强随机优化方法ROOT-SGD，以弥合随机优化与统计效率之间的差距，在保持计算效率的同时实现最优收敛率并提升稳定性和精度。
2024-07-16 cs.LG math.OC stat.ML
SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
我们提出了一个新的框架，随机矩阵理论的启发，用于分析的动态随机梯度下降（SGD）时，样本个数和维度都很大。该框架适用于任何固定步长和有限和设置。使用这个新的框架，我们证明了随机数据的最小二乘问题上的SGD的动力学在大样本和维数限制下变得确定性。此外，限制动态由Volterra积分方程。该模型预测，SGD经历了一个明确给定的临界步长，最终影响其收敛速度，我们也验证了实验的相变。最后，当输入数据是各向同性的，我们提供了动力学和平均情况下的收敛速度（即，在所有可能的输入上平均的算法的复杂度）。这些比率显示出相对于最坏情况复杂性的显著改善。
2021-02-08 cs.LG math.OC math.PR
Cutting Some Slack for SGD with Adaptive Polyak Stepsizes
Flatiron Institute（弗莱肯研究所）；Google Research（谷歌研究院）；Télécom Paris（巴黎电信学院）
本文针对随机梯度下降步长调节繁琐的问题，提出基于引入松弛变量的 SPS 自适应步长方法新变体，使其更适合非线性模型，并提供了收敛性理论与数值验证。
2022-05-20 cs.LG math.OC
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断，提出一种基于耦合的动态步长方案，通过监测耦合迭代距离检测平稳性，实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
(S)GD over Diagonal Linear Networks: Implicit Regularisation, Large Stepsizes and Edge of Stability
Inria - ENS Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）；EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
本文研究了随机性与大步长对对角线性网络上GD和SGD隐式正则化的影响，证明其收敛性并通过隐式正则化刻画解，发现大步长有利于SGD稀疏回归但阻碍GD，且该效应在稳定性边缘被放大。
2023-10-25 cs.LG math.OC stat.ML
SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
该研究针对现有AdaGrad步长SGD方法分析的缺陷，给出了无需已知问题参数、无强利普希茨条件且高概率成立的全面分析，覆盖凸与非凸场景，支持仿射方差噪声模型并提供高低噪声下的精确收敛速率。
2023-06-11 cs.LG math.OC stat.ML
Benign Overfitting of Constant-Stepsize SGD for Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
越来越多的人认识到，算法归纳偏差是防止过拟合的核心;根据经验，我们经常在自然学习算法的过参数化设置中看到良性的过拟合现象，例如随机梯度下降（SGD），其中很少或根本没有使用显式正则化。这项工作认为这个问题可以说是最基本的设置：恒定步长SGD（与平均或尾平均）的线性回归在overparameterized制度。我们的主要结果提供了一个尖锐的超额风险界，以数据协方差矩阵的全特征谱表示，揭示了当泛化是可能的时，偏差方差分解的特征：（i）方差界用有效维数表征（特定于SGD）和（ii）偏差界限提供了一个尖锐的几何特征的位置方面的初始几何（以及它如何与数据协方差矩阵对齐）。更具体地说，对于SGD的平均，我们证明了建立的超额风险界限的尖锐性，通过证明一个匹配的下限（常数因子）。对于SGD与尾部平均，我们证明了它的优势，SGD与平均值，证明了一个更好的超额风险结合在一起，一个几乎匹配的下限。此外，我们反映了（非正则化）SGD提供的算法正则化与普通最小二乘（最小范数插值）和岭回归之间的一些显着差异。合成数据的实验结果证实了我们的理论研究结果。
2021-10-12 cs.LG math.OC stat.ML
Stochastic Gradient Descent with Polyak's Learning Rate
强凸函数的随机梯度下降（SGD）以$\bO(1/k)$的速度收敛。然而，在实践中实现良好的结果需要调整算法的参数（例如学习率）。在本文中，我们提出了一个推广的Polyak步长，用于次梯度方法，随机梯度下降。我们证明了一个非渐近收敛的速度$\bO(1/k)$的速度常数，可以比相应的速度常数最优调度SGD。我们证明了该方法在实践中，在凸优化问题和训练深度神经网络上是有效的，并与理论速度进行了比较。
2019-07-11 math.OC
Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence
Mila（米拉研究所）；DIRO（计算机科学与运筹学系（蒙特利尔大学））；Université de Montréal（蒙特利尔大学）；University of Alberta（阿尔伯塔大学）；McGill（麦吉尔大学）；Element AI（Element AI公司）；CIFAR（加拿大高级研究院）
我们提出了一个随机变量的经典Polyak步长（Polyak，1987年）常用的次梯度法。虽然计算Polyak步长需要了解最佳函数值，但此信息可随时用于典型的现代机器学习应用程序。因此，提出的随机Polyak步长（SPS）是一个有吸引力的选择，用于设置随机梯度下降（SGD）的学习率。我们提供了理论上的收敛性保证配备SPS SGD在不同的设置，包括强凸，凸和非凸函数。此外，我们的分析结果在新的收敛保证SGD与一个恒定的步长。我们表明，SPS是特别有效的训练过参数化模型能够插值的训练数据。在这种情况下，我们证明了SPS使SGD收敛到真正的解决方案，在一个快速的速度，而不需要任何问题相关的常数或额外的计算开销的知识。我们通过对合成数据集和真实数据集的大量实验来验证我们的理论结果。我们证明了与最先进的最优化方法相比，在训练过参数化模型时，具有SPS的SGD具有强大的性能。
2021-03-22 cs.LG math.OC stat.ML
Bregman Stochastic Proximal Point Algorithm with Variance Reduction
Toulouse School of Economics, Toulouse Capitole University（图卢兹经济学院，图卢兹第一大学）；Department of Mathematics and Computer Science, Saarland University（萨尔兰大学数学与计算机科学系）
本文提出了一种结合Bregman距离和方差减少技术的随机近点算法，提升了算法的稳定性和收敛速度。
2026-01-29 math.OC
Sign-SGD via Parameter-Free Optimization
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn实验室））；Moscow Independent Research Institute of Artificial Intelligence（莫斯科人工智能独立研究院）；Yandex Research（Yandex研究院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；Innopolis University（Innopolis大学）
本文提出了一种无参数优化的Sign-SGD方法，通过消除手动学习率选择，提升了大语言模型预训练和微调的效率与性能。
2026-02-20 cs.LG math.OC
A Single Stepsize Suffices for Unprojected Linear TD(0): Simultaneous Robust and Fast Rates via Polyak--Ruppert Averaging
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
研究马尔可夫采样下线性TD(0)的Polyak-Ruppert平均，提出依赖混合时间的单一步长，无需曲率参数先验知识，实现无投影下自动有界，同时获得鲁棒和快速收敛速率。
2026-06-25 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
On the Interplay Between Stepsize Tuning and Progressive Sharpening
Google DeepMind（谷歌DeepMind）
本研究探讨步长调整器（Armijo线搜索与Polyak步长）对深度学习优化中锐度演化的影响，发现Polyak步长在稳定性边界运行且表现更优，并强调理解步长与锐度联合动态的重要性。
2023-12-29 cs.AI cs.LG math.OC
An Improved Analysis of Stochastic Gradient Descent with Momentum
具有动量的SGD（SGDM）已广泛应用于许多机器学习任务中，并且通常以分段方式调整动态步长和动量权重。尽管它的经验优势比SGD，动量的作用仍然是不清楚的一般，因为以前的SGDM的分析要么提供更差的收敛范围比SGD，或假设Lipschitz或二次目标，这在实践中失败。此外，动态参数的作用也没有得到解决。在这项工作中，我们表明，SGDM收敛速度和SGD光滑的目标下，强凸和非凸设置。我们还建立了\textit{the first}收敛保证多级设置，并表明，多级策略是有益的SGDM相比，使用固定的参数。最后，我们通过数值实验验证了这些理论主张。
2020-08-18 math.OC
Scaling Limits of Constant-Stepsize SGD at Flat Minima
Georgia Institute of Technology（佐治亚理工学院）
研究常步长随机梯度下降在平坦极小值处的缩放极限，通过分析由压缩驱动链生成马尔可夫噪声的SGD，证明其在特定距离下的收敛性，给出不同平坦指数下的收缩因子及小步长缩放极限，揭示了与强凸情况不同的行为。
2026-07-21 cs.LG math.OC math.PR
Adaptive SGD with Polyak stepsize and Line-search: Robust Convergence and Variance Reduction
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
针对现有随机Polyak步长和随机线搜索SGD在非插值场景下收敛性差、人为降步长会拖慢收敛的问题，提出AdaSPS和AdaSLS两种变体，结合新型方差缩减技术提升了收敛效率，且易实现分析，经实验验证有效鲁棒。
2023-08-21 cs.LG math.OC stat.ML
Asymptotic Properties of $\mathcal{S}$-$\mathcal{AB}$ Method with Diminishing Stepsize
分布式最优化问题的流行$\mathcal{AB}$ /推挽方法可以统一许多现有的基于梯度跟踪技术的分散一阶方法。最近，$\mathcal{AB}$ /推挽方法的随机梯度变体（$\mathcal{S}$ - $\mathcal{AB}$）已经被提出，当步长为常数时，它实现了收敛到全局极小点的邻域的线性速率。本文研究了具有递减步长的$\mathcal{S}$ - $\mathcal{AB}$的渐近性质。在局部目标光滑且全局目标强凸的条件下，给出了$\mathcal{S}$迭代的有界性，并证明了迭代以速度$\mathcal{O}\left(1/\sqrt{k}\right)$收敛于全局极小点.进一步，得到了Polyak-Ruppert平均$\mathcal{S}$ - $\mathcal{AB}$的渐近正态性，并讨论了其在统计推断中的应用.最后，数值试验验证了理论结果。
2022-09-11 math.OC
SGD: General Analysis and Improved Rates
Télécom Paris Tech（巴黎电信学院）；University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了一个一般而简单的定理描述任意采样范式下的SGD的收敛性。我们的定理描述了一个无限阵列的SGD变量的收敛性，其中每个变量都与一个特定的概率定律相关联，该概率定律支配用于形成小批量的数据选择规则。这是第一次进行这样的分析，我们的大多数SGD变体在文献中从未明确考虑过。我们的分析依赖于最近推出的预期平滑的概念，并不依赖于一个统一的约束的随机梯度的方差。通过将我们的定理专门化到不同的小批量策略，例如替换抽样和独立抽样，我们推导出步长作为小批量大小的函数的精确表达式。有了这个，我们还可以确定优化总复杂度的小批量大小，并明确表明，随着最小值处评估的随机梯度的方差的增长，最佳小批量大小也会增长。对于零方差，最佳小批量大小为1。此外，我们证明了有见地的步长切换规则，它描述了当一个人应该从一个常数切换到一个逐步减少的步长制度。
2019-05-01 cs.LG math.OC stat.ML
Fast Convergence of Random Reshuffling under Over-Parameterization and the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
本文研究了过参数化设置下随机重排(RR)相比随机梯度下降(SGD)的收敛优势，证明了在Polyak-Łojasiewicz函数类中，当样本数小于弱增长条件参数与条件数乘积或小于强增长条件参数时，RR能优于SGD。
2023-04-02 cs.LG math.OC
Generalized Stochastic Gradient Descent with Momentum Methods for Smooth Optimization
Umeå University（于默奥大学）
本文提出了一种广义SGDM框架，统一了多种动量方法，并在不同优化问题下提供了全面的收敛分析。
2026-02-26 math.OC
Parameter-free Clipped Gradient Descent Meets Polyak
Kyoto University（京都大学）；OIST（冲绳科学技术大学院大学）；NII（信息学研究机构）；NTT Communication Science Laboratories（NTT通信科学实验室）
针对现有无参数优化方法仅聚焦步长、未覆盖梯度裁剪阈值等超参数的问题，提出无需调参的非精确Polyak步长裁剪梯度下降方法，理论上收敛速率渐近独立于L，实验验证了其有效性。
2024-10-31 cs.LG math.OC
On the boundedness of the sequence generated by minibatch stochastic gradient descent
本文扩展了Polyak步长递减变体在SGD中的有界性假设，证明其适用于包括强制函数在内的更广泛目标函数类，并给出有界性不确定的案例。
2025-06-29 math.FA math.OC
Big Batch SGD: Automated Inference using Adaptive Batch Sizes
University of Maryland, College Park（马里兰大学帕克分校）
本文提出大批次SGD方法，通过自适应增长批次大小保持梯度近似信号与噪声比，实现无需凸优化的高效收敛，并支持自动学习率选择。
2017-04-06 cs.LG cs.NA math.NA
On the Saturation Phenomenon of Stochastic Gradient Descent for Linear Inverse Problems
随机梯度下降（SGD）是一种很有前途的方法来解决大规模的反问题，由于其良好的可扩展性方面的数据大小。正则化理论透镜中的当前数学理论预测，具有多项式衰减步长调度的SGD可能遭受不期望的饱和现象，即，当解的正则性指数超过一定范围时，收敛速度不再随着解的正则性指数而进一步提高。在这项工作中，我们提出了一个精致的收敛速度分析SGD，并证明饱和实际上不会发生，如果初始步长的时间表是足够小的。几个数值实验，以补充分析。
2021-08-07 cs.NA math.NA math.OC
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science（魏茨曼科学研究所）；University of Toronto（多伦多大学）
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性，证明了在无先验知识的情况下，无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
针对鲁棒和分位数回归问题，提出分段李雅普诺夫函数分析亚二次尾部局部强凸目标的SGD，推导有限时间矩界、弱收敛等结果，首次给出几何收敛性，应用于在线鲁棒回归和分位数回归。
2025-04-15 cs.LG math.OC math.PR
High-Probability Bounds for SGD under the Polyak-Lojasiewicz Condition with Markovian Noise
本文首次在Polyak-Lojasiewicz条件下为SGD提供统一时间的高概率界，考虑了含马尔可夫和martingale差分噪声的梯度噪声，扩展了有限时间保证的范围，并建立预期次优性的1/k衰减率。
2026-03-15 cs.LG cs.SY eess.SY
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Hong Kong University of Science and Technology（香港科技大学）
针对RR-SGD最后迭代的步长限制问题，通过保留采样偏差消除1/n因子，建立了大步长下的最后迭代收敛界，其收敛率在对数因子内与平均迭代匹配。
2026-10-15 cs.LG math.OC stat.ML
Function Value Learning: Adaptive Learning Rates Based on the Polyak Stepsize and Function Splitting in ERM
Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Center for Computational Mathematics（计算数学中心）；Flatiron Institute（熨斗研究所）；Technical University of Munich（慕尼黑工业大学）
本文开发了利用采样损失值的自适应步长 SGD 变体 $\texttt{SPS}_+$ 和 $\texttt{FUVAL}$，虽然在非平滑分析上有一定贡献，但新方法在理论和实验上尚未显示出明显优势。
2023-07-26 cs.LG math.OC
Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文分析插值情形下光滑凸损失中 SGD 最后迭代的总体收敛，给出含最优点梯度方差的风险界，并在零方差情形将速率改进至 O(1/√T)。
2025-07-28 cs.LG math.OC stat.ML
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université（索邦大学）
该研究针对带时间相关有偏梯度的流式随机优化问题，分析多种一阶SGD方法及其Polyak-Ruppert平均，通过非渐近分析得到加速收敛的启发式规则，并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML
Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays
DI ENS, Ecole normale supérieure（巴黎高等师范学院DI ENS）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
针对异步 SGD 受梯度延迟拖累的既有结论，论文提出基于虚拟迭代与延迟自适应步长的新递归分析，证明其保证仅取决于并行设备数且严格优于现有结果，并在凸与非凸目标上优于同步小批量 SGD。
2023-04-20 cs.DC cs.LG math.OC
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
A Damped Newton Method Achieves Global $O\left(\frac{1}{k^2}\right)$ and Local Quadratic Convergence Rate
在本文中，我们提出了第一步的牛顿法的快速全局收敛和局部收敛的保证。特别地，a）我们证明了$O\left( \frac 1 {k^2} \right)$全局速率，其匹配Polyak和Nesterov（2006）的三次正则化牛顿方法以及Mishchenko（2021）和Doikov和Nesterov（2021）的正则化牛顿方法的最新全局速率，b）我们证明了局部二次速率，其匹配二阶方法的最知名局部速率，我们的步长公式简单、明确，不需要求解任何子问题。我们的收敛性证明下的仿射不变性假设密切相关的自我和谐的概念。最后，我们的方法具有竞争力的性能相比，现有的基线，共享相同的快速整体收敛保证。
2022-10-31 math.OC
Conjugate gradient methods without line search for multiobjective optimization
针对无约束多目标优化问题，本文采用固定步长公式替代Wolfe型线搜索，推导了Zoutendijk型条件，证明了多种共轭梯度参数向量扩展的全局收敛性，并通过实验验证了其优于传统线搜索方法的性能。
2024-10-12 math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, U. Washington（数学系，华盛顿大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛，提出基于“沟壑”流形分解的步长策略，并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
针对高斯混合模型上的单指标模型，在流式SGD下推导$\ell_2$-对抗训练学习动力学的确定性等价，分析两种学习率调度，揭示各向异性协方差和岭参数不匹配导致精确线搜索次优。
2026-07-02 cs.LG math.OC math.PR
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Why Random Reshuffling Beats Stochastic Gradient Descent
我们分析了随机重排（RR）方法的收敛速度，这是一个随机的一阶增量算法，用于最小化凸分量函数的有限和。RR循环进行，挑选均匀随机顺序（置换）并根据该顺序一次一个地处理分量函数，即，在每个周期中，对每个分量函数进行采样，而不从集合中进行替换。虽然RR已经被数值观察到优于其替换对应的随机梯度下降（SGD），其收敛速度的表征一直是一个长期存在的开放问题。在本文中，我们回答了这个问题，表明当分量函数是二次或光滑的和函数是强凸的，RR与平均和递减步长$α_k=Θ(1/k^s)$为$s\in (1/2,1)$收敛速度$Θ(1/k^{2s})$概率为1的目标值的次优，从而提高了SGD的$Ω(1/k)$率。我们的分析借鉴了Polyak-Ruppert平均的理论，并依赖于解耦的依赖周期梯度误差到一个独立的长期周期和另一项占主导地位的$α_k^2$。这使得我们能够将大数定律应用于周期梯度误差的适当加权版本，其中权重取决于步长。我们还提供了高概率收敛速度估计，显示不同的条款的衰减率，并允许我们提出一个修改的RR收敛速度${\cal O}(\frac{1}{k^2})$。
2022-02-08 math.OC
Random Reshuffling Dominates Stochastic Gradient Descent
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对光滑凸优化中随机重排（RR）的收敛理论局限，本文首次证明在任意合理步长下，经过任意有限轮次后RR始终优于随机梯度下降（SGD），解决了长期悬而未决的问题。
2026-07-01 cs.LG math.OC stat.ML
Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
本文提出了一种基于任意时间有效置信序列的SGD停止规则，适用于凸和非凸优化问题，提供统计上有效的停止条件。
2026-02-20 cs.LG math.OC math.ST
Unified Optimal Analysis of the (Stochastic) Gradient Method
EPFL（洛桑联邦理工学院）
本文在$L$ -光滑性假设下，给出了随机梯度（SGD）方法在$μ$ -凸函数上的收敛性的一个简单证明.我们表明，对于精心选择的步长SGD收敛后$T$迭代为$O\left( LR^2 \exp \bigl[-\fracμ{4L}T\bigr] + \frac{σ^2}{μT} \right)$其中$σ^2$措施的随机噪声的方差。对于确定性梯度下降（GD）和SGD的插值设置，我们有$σ^2 =0$，我们恢复指数收敛速度。该界与GD和SGD的最佳已知迭代复杂度匹配，直到常数。
2019-12-23 cs.LG cs.NA math.NA
