Bounding the expected run-time of nonconvex optimization with early stopping
Computational Science Initiative（计算科学计划）；Brookhaven National Laboratory（布鲁克海文国家实验室）
这项工作研究了收敛的随机梯度为基础的优化算法，使用早期停止的验证功能的基础上。我们考虑的早期停止的形式是，当验证函数的梯度的范数低于阈值时，优化终止。我们得出的条件，保证这个停止规则是定义良好的，并提供边界上的预期迭代次数和梯度评估需要满足这一标准。该保证解释了训练集和验证集之间的距离，用Wasserstein距离测量。我们开发的方法在一般设置的一阶优化算法，可能有偏见的更新方向受到几何漂移条件。然后，我们推导出几种算法，包括随机梯度下降（SGD），分散SGD（DSGD），和随机方差降低梯度（SVRG）算法的早期停止变体的预期运行时间的界限。最后，我们考虑了由提前停止所返回的时间序列的推广性质。
2020-07-22 cs.LG cs.NE math.OC
Stochastic Gradient Descent in Non-Convex Problems: Asymptotic Convergence with Relaxed Step-Size via Stopping Time Methods
Shanghai Jiao Tong University（上海交通大学）
针对非凸问题中SGD步长方案多样但现有收敛分析依赖强假设的问题，本文提出基于停止时间方法的分析框架，在更松弛的步长条件和弱假设下证明SGD迭代的几乎必然及$L_2$收敛性，提升理论结果的一般性与实用性。
2025-04-17 cs.LG math.OC math.PR
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了分布特定PAC模型中齐次半空间的不可知学习问题。对于一个广泛的家庭的结构化分布，包括对数凹分布，我们表明，非凸SGD有效地收敛到一个解决方案的误分类误差$O(\opt)+\eps$，其中$\opt$是最佳拟合半空间的误分类误差。与此形成鲜明对比的是，我们表明，优化任何凸代理固有地导致误分类错误的$ω(\opt)$，即使在高斯边缘。
2020-06-11 cs.LG stat.ML
Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization
University of California, San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了差分私有凸学习的泛化性能。我们证明了Langevin算法的收敛性分析，可以用来获得新的广义界的差分隐私保证DP-SGD。更具体地说，通过使用最近获得的随机Langevin算法与凸目标函数的维数无关的收敛结果，我们获得了$O(n^{-1/4})$隐私保证DP-SGD的最佳超额泛化误差$\tilde{O}(n^{-1/2})$某些类的overparameterized光滑凸优化问题。这改善了以前的DP-SGD结果，包含显式的尺寸依赖关系的问题，使由此产生的泛化界限变得不适合在实际应用中使用的过参数化模型。
2022-06-03 cs.LG math.OC
On exponential convergence of SGD in non-convex over-parametrized learning
The Ohio State University（俄亥俄州立大学）
通过随机梯度下降（SGD）方法学习的大型过参数化模型已成为现代机器学习的关键要素。虽然SGD方法在实践中非常有效，但大多数SGD的理论分析表明收敛速度比经验观察到的要慢。在我们最近的工作[8]中，我们分析了在现代过参数化学习中常见的插值如何导致凸损失函数具有恒定步长的SGD的指数收敛。在本文中，我们将这些结果推广到更广泛的满足Polyak-Lojasiewicz（PL）条件的非凸函数类。机器学习中的一些重要的非凸问题，包括某些类的神经网络，最近已被证明满足PL条件。我们认为，PL条件为许多机器学习问题提供了一个相关的和有吸引力的设置，特别是在过度参数化的制度。
2018-11-06 cs.LG math.OC stat.ML
How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD
Microsoft Research（微软研究院）
随机梯度下降（SGD）给出了最小化凸随机目标$f(x)$时的最优收敛速度。然而，就使梯度变小而言，即使当$f(x)$是凸的时，原始SGD也没有给出最优速率。如果$f(x)$是凸的，为了找到具有梯度范数$\varepsilon$的点，我们设计了具有接近最优速率$\tilde{O}(\varepsilon^{-2})$的算法SGD 3，改进了[18]的最佳已知速率$O(\varepsilon^{-8/3})$。如果$f(x)$是非凸的，为了找到它的$\varepsilon$ -近似局部最小值，我们设计了一个具有速率$\tilde{O}(\varepsilon^{-3.5})$的算法SGD 5，其中以前的SGD变体仅实现$\tilde{O}(\varepsilon^{-4})$ [6，15，33]。在所有参数范围内，这并不比牛顿方法的最佳已知随机版本慢[30]。
2021-07-28 cs.DS cs.LG math.OC
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression
Rutgers University（罗格斯大学）
针对高维重尾误差的鲁棒回归问题，提出可追踪GD、SGD及近端SGD迭代轨迹泛化误差的一致估计量，可用于确定最优停止迭代步，仿真验证了其有效性。
2024-11-03 cs.LG math.ST stat.ME
SGD Converges to Global Minimum in Deep Learning via Star-convex Path
Duke University（杜克大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Ohio State University（俄亥俄州立大学）
随机梯度下降（SGD）在训练各种深度神经网络方面令人惊讶地有效。然而，仍然缺乏对SGD如何以及为什么能够训练这些复杂网络以实现全局最小化的理解。在这项研究中，我们建立了SGD收敛到全局最小值的非凸优化问题，通常会遇到神经网络训练。我们的论点利用了以下两个重要性质：1）训练损失可以（近似）达到零值，这在深度学习中已经被广泛观察到; 2）SGD遵循星凸路径，这在本文中通过各种实验进行了验证。在这样的背景下，我们的分析表明，SGD，虽然长期以来一直被认为是一个随机算法，收敛在一个内在的确定性的方式到一个全局最小值。
2019-01-02 cs.LG stat.ML
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
对于基于SGD的分布式随机最优化，计算复杂度和通信复杂度是两个最重要的性能度量，计算复杂度由随机梯度调用的数量方面的收敛速度来测量，通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速，但在每批处理时会引起节点间通信轮。我们研究的好处，使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题，批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题，我们提出了一个类似催化剂的算法，该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
Characterization of Convex Objective Functions and Optimal Expected Convergence Rates for SGD
University of Connecticut（康涅狄格大学）；IBM Research（IBM研究院）
研究了凸目标函数的步长递减的随机梯度下降算法。我们介绍了一个定义框架和理论，定义和表征的核心属性，称为曲率，凸目标函数。在曲率方面，我们可以导出一个新的不等式，该不等式可以用于通过求解微分方程来计算最优的减小步长序列。我们的精确解证实了文献中的已知结果，并使我们能够充分表征一个新的正则化与其相应的预期收敛速度。
2019-05-14 cs.LG math.OC
Accumulative SGD Influence Estimation for Data Attribution
University of Technology Sydney（悉尼科技大学）
现代以数据为中心的人工智能需要精确的每个样本影响力。标准SGD-IE通过对每个历元的替代项求和来近似留一效应，并忽略了跨历元的复合，这会使关键示例排名错误。我们提出了ACC-SGD-IE，这是一种具有容错性的估计器，它在训练过程中传播留一扰动，并在每一步更新累积影响状态。在光滑的强凸设置，它实现了几何误差收缩，在光滑的非凸制度，它收紧误差界，更大的小批量进一步减少常数。从经验上讲，在Adult，20 Newsgroups和MNIST上，在干净和损坏的数据以及凸和非凸训练下，ACC-SGD-IE产生更准确的影响力估计，特别是在长时期内。对于下游数据清理，它更可靠地标记噪声样本，生成在ACC-SGD-IE清理数据上训练的模型，其性能优于使用SGD-IE清理的模型。
2025-10-30 cs.AI cs.LG
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research（脸书人工智能研究院）
动量方法现在在机器学习社区中广泛使用，用于训练非凸模型，例如深度神经网络。从经验上讲，它们优于传统的随机梯度下降（SGD）方法。在这项工作中，我们开发了一个李雅普诺夫分析的SGD与动量（SGD+M），利用等效重写的方法称为随机原始平均（SPA）的形式。在非凸情况下，这种分析比以前的理论要严格得多，因此，我们能够精确地了解SGD+M何时可能优于SGD，以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research（微软研究院）
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值，使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说，它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$，只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
Convergence Analysis of Homotopy-SGD for non-convex optimization
University of Freiburg（弗莱堡大学）；University of North Carolina（北卡罗来纳大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
用于解决大规模非凸优化问题的一阶随机方法广泛用于许多大数据应用中，例如训练深度神经网络以及其他复杂和潜在非凸的机器学习模型。它们的廉价迭代通常伴随着缓慢的全局收敛速度（主要是次线性的），导致在迭代到达极小值的邻域之前必须进行非常多的迭代。在这项工作中，我们提出了一个一阶随机算法的基础上的同伦方法和SGD相结合，称为同伦-随机梯度下降（H-SGD），发现有趣的连接与文献中提出的算法，例如优化高斯连续，扩散训练，软化网络。在对问题结构作了一些温和的假设的情况下，对算法进行了理论分析。我们的分析表明，一个专门设计的同伦参数的计划，H-SGD享有一个全局的线性收敛到一个最小值的邻域的速度，同时保持快速和廉价的迭代。实验结果证实了理论分析的正确性，并表明H-SGD的性能优于标准SGD。
2020-11-20 cs.LG math.OC
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University（爱荷华州立大学）
异步随机梯度下降方法（Async-SGD）是机器学习的基础性方法，其收敛性能的研究近年来受到越来越多的关注。然而，到目前为止，大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中，我们专注于Async-SGD和它的变体Async-SGDI（它使用增加批量大小）的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外，建立了Async-SGD收敛的一个统一的充分条件，其中包括文献中的两个主要的梯度延迟模型作为特殊情况，并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
本研究提出泊松SGD变体，利用随机学习率处理退化更新方向，证明其在弱假设下收敛至平稳分布，并找到非凸优化的全局最小值，同时评估泛化误差。
2025-09-06 cs.LG stat.ML
It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss
University College London（伦敦大学学院）
本研究针对隐藏状态DP-SGD是否存在通用隐私放大的开放问题，通过构造反例从理论和实证层面证明，非凸等一般损失函数下最终迭代泄露信息量与全迭代序列相当，现有DP-SGD隐私分析是紧的，不存在普遍隐私放大效应。
2024-10-30 cs.CR cs.LG
Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本文提出一种基于动量的异步框架，旨在保留延迟梯度信息并缓解滞后影响，首次在凸和非凸光滑设置中获得数据依赖延迟的最优收敛率，并提出鲁棒的学习率调度方案。
2026-10-06 cs.LG
Unveiling High-Probability Generalization in Decentralized SGD
College of Computer Science and Technology（计算机科学与技术学院）
本文研究去中心化SGD的高概率泛化问题，通过改进学习理论，获得最优泛化界，并分析不同凸性设定下的稳定性及通信开销影响。
2026-05-11 cs.LG
Learning with Non-Convex Truncated Losses by SGD
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
使用{ \it凸损失}函数进行学习多年来一直是一种主导范式。非凸损失函数如何提高学习的泛化能力，并具有广泛的适用性，仍然是一个有趣的问题。本文研究了通过截断传统的损失函数而形成的一族目标函数，它既适用于浅层学习，也适用于深度学习。截断损失函数有可能不那么脆弱，并且对可能是对抗性的观测中的大噪声更鲁棒。更重要的是，它是一种通用的技术，而无需假设噪声分布的知识。为了证明截断损失下的非凸学习的合理性，基于截断损失和随机梯度下降（SGD）方法找到的一个近似平稳点的统计误差，建立了经验风险最小化的超额风险界.我们的实验为浅和深度学习回归离群值，损坏的数据和重尾噪声进一步证明了所提出的方法。
2018-05-21 cs.LG stat.ML
Is Local SGD Better than Minibatch SGD?
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；EPFL（洛桑联邦理工学院）；University of Chicago（芝加哥大学）；Google（谷歌）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究本地SGD（也称为并行SGD和联邦平均），一种自然的和经常使用的随机分布式优化方法。它的理论基础目前缺乏，我们强调如何在凸设置所有现有的误差保证是由一个简单的基线，minibatch SGD为主。(1)对于二次型目标，我们证明了局部SGD严格优于minibatch SGD，并且对于二次型目标，加速局部SGD是minimax最优的：（2）对于一般凸目标，我们提供了第一个保证，至少有时优于minibatch SGD;（三）我们表明，确实本地SGD不占主导地位的minibatch SGD提出了一个下界的性能本地SGD是比minibatch SGD差保证.
2020-07-20 cs.LG math.OC stat.ML
Second-order step-size tuning of SGD for non-convex optimization
CNRS - IRIT（法国国家科学研究中心 - 图卢兹计算机研究所）；Université de Toulouse（图卢兹大学）；Toulouse School of Economics（图卢兹经济学院）；DEEL, IRT Saint Exupery（DEEL，圣埃克苏佩里研究所）
针对小批量情况，对普通SGD算法进行了直接而简单的改进，并对其步长进行了微调。为此，基于局部二次模型并且仅使用噪声梯度近似来估计曲率。一个得到一个新的随机一阶方法（步调谐SGD），增强二阶信息，它可以被看作是一个随机版本的经典Barzilai-Borwein方法。我们的理论结果确保几乎肯定收敛到临界集，我们提供收敛速度。深度残差网络训练的实验说明了我们的方法的良好特性。对于这样的网络，我们观察到，在训练过程中，损失的突然下降和中期测试精度的提高，产生比SGD，RMSprop或ADAM更好的结果。
2021-11-21 cs.LG math.OC
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology（佐治亚理工学院）
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题，在非凸非光滑损失下证明其收敛R'enyi DP界（仅需Hölder连续梯度），并优化光滑强凸损失的隐私界，拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich（苏黎世联邦理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩（1<p≤2）时，在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度，挑战重尾噪声使SGD失效的观点，确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections
Yahoo Research（雅虎研究院）；The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
本文研究了带复不等式约束的随机强凸优化问题。这种复杂的不等式约束可能导致在随机梯度下降~（SGD）方法的算法迭代中计算昂贵的投影。为了减少投影的计算量，我们提出了一种Epoch-Projection随机梯度下降~（Epro-SGD）方法。所提出的Epro-SGD方法由一系列的epochs组成;它在epochs内的每次迭代中将SGD应用于增强的目标函数，然后在每个epochs结束时执行投影。给定强凸优化和$T$迭代的总次数，Epro-SGD仅需要$\log(T)$投影，并且同时在期望和高概率中获得$O(1/T)$的最优收敛速率。为了利用优化问题的结构，我们提出了一个近似的变体Epro-SGD，即Epro-RDA，基于最优正则化对偶平均方法。我们将所提出的方法应用于实际应用中，实验结果证明了我们的方法的有效性。
2016-05-24 cs.LG stat.ML
An Alternative View: When Does SGD Escape Local Minima?
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）在机器学习中得到了广泛的应用。虽然通常被视为快速但不准确的梯度下降（GD）版本，但它总是比现代神经网络的GD找到更好的解决方案。为了理解这种现象，我们采取了另一种观点，即SGD正在研究损失函数的卷积（因此平滑）版本。我们证明了，即使函数$f$有许多坏的局部极小点或鞍点，只要对每个点$x$，其邻域梯度的加权平均值相对于期望解$x^*$是一个凸点，SGD将以恒定的概率接近并停留在$x^*$附近.更具体地说，SGD不会卡在具有小直径的“尖锐”局部最小值处，只要这些区域的邻域包含足够的梯度信息。邻域大小由步长和梯度噪声控制。我们的结果确定了一组函数，SGD可证明的作品，这是远远大于凸函数的集合。经验上，我们观察到神经网络的损失面局部具有良好的一点凸性，因此我们的定理有助于解释为什么SGD对神经网络如此有效。
2018-08-16 cs.LG
Accelerated SGD for Non-Strongly-Convex Least Squares
EPFL（洛桑联邦理工学院）
考虑非强凸情形下最小二乘回归问题的随机逼近。我们提出了第一个实用的算法，实现了最佳的预测出错率的依赖于噪声的问题，$O(d/t)$，同时加速忘记的初始条件$O(d/t^2)$。我们的新算法是基于一个简单的修改的加速梯度下降。我们提供了收敛结果的平均值和最后一次的算法。为了描述这些新的界限的紧密性，我们提出了一个匹配的下限在无噪声设置，从而显示我们的算法的最优性。
2022-03-03 cs.LG math.OC stat.ML
Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia（不列颠哥伦比亚大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
现代机器学习专注于高度表达的模型，这些模型能够完全拟合或插值数据，从而实现零训练损失。对于这样的模型，我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下，我们证明了恒定步长随机梯度下降（SGD）与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明，这一条件意味着SGD可以找到一个一阶稳定点，有效的全梯度下降在非凸设置。在插值条件下，我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下，我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下，上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O（1/k^2）错误界。最后，我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Stagewise Training Accelerates Convergence of Testing Error Over SGD
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
逐步训练策略广泛用于学习神经网络，其运行随机算法（例如，SGD）以相对较大的步长（也称为学习率）开始，并在多次迭代后以几何方式减小步长。已经观察到，在训练误差和测试误差方面，逐阶段SGD比具有多项式衰减步长的香草SGD具有快得多的收敛。{ \it但如何解释这一现象在很大程度上被现有的研究所忽视。}本文为解释这种快速收敛提供了一些理论依据。特别是，我们考虑了一个阶段式的训练策略，以最大限度地减少经验风险，满足Polyak-Jasojasiewicz（PL）条件，这已被观察/证明为神经网络，也适用于一个广泛的家庭的凸函数。对于凸损失函数和两类接近凸函数的“良好行为”非凸目标，我们在PL条件下建立了比香草SGD更快的阶段训练收敛，无论是训练误差还是测试误差。对深度残差网络的阶段式学习的实验表明，它满足一种非凸性假设，因此可以用我们的理论来解释。独立的利益，所考虑的非凸损失函数的测试误差界的维数和范数独立。
2019-02-02 cs.LG math.OC stat.ML
SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；US Army Research Lab（美国陆军研究实验室）
在本文中，我们提出并分析了SQuARM-SGD，一个通信效率高的算法，用于在网络上分散训练大规模机器学习模型。在SQuARM-SGD中，每个节点使用Nesterov的动量执行固定数量的本地SGD步骤，然后将稀疏化和量化的更新发送到受本地可计算触发标准调节的邻居。我们为一般（非凸）和凸光滑目标提供了算法的收敛保证，据我们所知，这是第一次对压缩分散SGD进行动量更新的理论分析。我们证明了SQuARM-SGD的收敛速度与vanilla SGD相匹配。我们的经验表明，包括动量更新SQuARM-SGD可以导致更好的测试性能比目前的最先进的不考虑动量更新。
2021-10-11 cs.DC cs.LG stat.ML
Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails
Department of Electrical and Computer Engineering, The Ohio State University（俄亥俄州立大学电气与计算机工程系）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文揭示了Adam中的关键二阶矩归一化机制，并通过停止时间/鞅分析，在经典有界方差模型下，证明了Adam在高概率收敛行为上优于SGD，前者对置信参数δ的依赖为δ^{-1/2}，而SGD则至少为δ^{-1}。
2026-05-18 cs.AI cs.LG
VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning
Xidian University（西安电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；University of Technology Sydney（悉尼科技大学）；Nanjing University（南京大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个简单的变种，原来的SVRG，称为方差减少随机梯度下降（VR-SGD）。与SVRG及其邻近变体Prox-SVRG中的快照和起始点的选择不同，VR-SGD的两个向量分别设置为前一个历元的平均值和最后一个历元。这些设置允许我们使用更大的学习率，也使我们的收敛分析更具挑战性。我们还分别为光滑和非光滑目标函数设计了两种不同的更新规则，这意味着VR-SGD可以直接处理非光滑和/或非强凸问题，而无需任何约简技术。此外，我们还分析了VR-SGD在强凸问题上的收敛性，证明了VR-SGD具有线性收敛性。不同于其同行，没有收敛保证的非强凸问题，我们还提供了这种情况下的VR-SGD的收敛保证，并实证验证了VR-SGD与不同的学习率达到类似的性能，其动量加速的变种，具有最佳的收敛速度$\mathcal{O}(1/T^2)$。最后，我们应用VR-SGD解决各种机器学习问题，如凸和非凸经验风险最小化，和领先的特征值计算。实验结果表明，VR-SGD的收敛速度明显快于SVRG和Prox-SVRG，并且通常优于最先进的加速方法，例如，喀秋莎
2018-10-28 cs.CV cs.LG math.OC
Error Lower Bounds of Constant Step-size Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）在现代机器学习中起着核心作用。虽然有大量的工作，提供误差上界的SGD，不知道很多关于SGD误差下界。本文研究了定步长SGD算法的收敛性。对于具有Lipschitz梯度的潜在非凸目标函数，给出了SGD的误差下界。据我们所知，这是第一次分析SGD误差下界没有强凸性假设。我们用实验来说明我们的理论结果。
2019-10-18 cs.LG math.OC
Data-Dependent Stability of Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；IST Austria（奥地利科学技术研究所）
我们建立了一个数据依赖的概念，算法的稳定性随机梯度下降（SGD），并利用它来开发新的推广界。这与先前SGD的无分布算法稳定性结果相反，该结果取决于最坏情况常数。凭借数据依赖的论点，我们的边界提供了新的见解，学习与SGD凸和非凸问题。在凸的情况下，我们证明了泛化误差的界依赖于初始化点的风险。在非凸情形下，我们证明了目标函数在初始点附近的期望曲率对泛化误差有决定性的影响。在这两种情况下，我们的研究结果表明，一个简单的数据驱动的策略，以稳定SGD的预筛选其初始化。作为一个推论，我们的研究结果使我们能够显示乐观的推广边界，表现出快速收敛速度SGD的经验风险和随机梯度的低噪声消失。
2018-02-15 cs.LG
Tackling benign nonconvexity with smoothing and stochastic gradients
University of California, San Diego（加州大学圣地亚哥分校）；CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）
非凸优化问题在机器学习中普遍存在，特别是在深度学习中。虽然这种复杂的问题往往可以成功地优化在实践中使用随机梯度下降（SGD），理论分析不能充分解释这种成功。特别是，标准分析没有显示SGD在非凸函数上的全局收敛性，而是显示收敛到稳定点（也可以是局部极小值或鞍点）。我们确定了广泛的一类非凸函数，我们可以表明，扰动SGD（梯度下降扰动随机噪声-覆盖SGD作为一种特殊情况）收敛到一个全局最小值（或其附近），相比之下，梯度下降没有噪声，可以卡在远离全局解的局部最小值。例如，在非凸函数是相对接近凸状（强凸或PL）的功能，我们表明，SGD可以线性收敛到全局最优。
2022-02-18 cs.LG stat.ML
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为，但这两种效果都没有得到很好的理解，并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中，最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降（GD）更好，并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中，我们研究了高维凸二次型上的多通道SGD的动力学，并建立了一个渐近等价的随机微分方程，我们称之为均匀化随机梯度下降（HSGD），其解决方案，我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹，揭示了一种机制的内隐条件反射，解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响，排除了在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD的形式主义，包括流SGD，这使我们能够产生一个准确的预测多通道SGD相对于流SGD（引导风险）的超额风险。
2022-06-15 cs.LG math.OC math.PR
The Convergence Rate of SGD's Final Iterate: Analysis on Dimension Dependence
University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）是最简单和最流行的优化方法之一。SGD算法的收敛速度已经得到了广泛的研究，对运行平均算法也进行了严密的分析，但是最终算法的次优性仍然没有得到很好的理解。shamir 2013 stochastic给出了SGD最小化非光滑凸函数的最终解的最佳已知上界，对于Lipschitz凸函数为$O(\log T/\sqrt{T})$，对于强凸性为附加假设的$O(\log T/ T)$。然而，最著名的下限比上限差$\log T$倍。harvey2019tight给出了匹配的下界，但它们的构造需要维度$d= T$。koren2020open随后询问如何在恒定维度设置下表征SGD的最终收敛。在本文中，我们回答了这个问题，在更一般的设置为任何$d\leq T$，证明$Ω(\log d/\sqrt{T})$和$Ω(\log d/T)$下界的次优性的最后的SGD在最小化非光滑Lipschitz凸和强凸函数分别与标准的步长时间表。我们的结果提供了第一个一般的尺寸依赖的SGD的最终收敛的下限，部分解决了一个COLT公开问题koren2020open提出的。我们还提出了进一步的证据表明，正确率在一个维度应该是$Θ(1/\sqrt{T})$，如证明了一个紧$O(1/\sqrt{T})$上限的一维特殊情况下，设置更一般的koren2020open。
2021-06-28 cs.LG math.OC stat.ML
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降（SGD）算法在权值与t成正比的情况下，对强凸函数的概率收敛速度为O（κ/T），而不是O（κ ln（T）/T）.我们还证明了一个加速的SGD算法也达到了O（κ/T）的速度。
2013-05-09 cs.AI cs.LG
Choosing the Sample with Lowest Loss makes SGD Robust
UT Austin（德克萨斯大学奥斯汀分校）
离群值的存在可能会显著扭曲通过随机梯度下降（SGD）训练的机器学习模型的参数。在本文中，我们提出了简单SGD方法的一个简单变体：在每一步中，首先选择一组k个样本，然后从这些样本中选择具有最小电流损耗的样本，并使用所选样本进行类似SGD的更新。Vanilla SGD对应于k = 1，即没有选择; k >= 2表示一种新算法，但它有效地最小化了非凸代理损失。我们的主要贡献是理论分析的鲁棒性的这一想法的ML问题，这是凸损失的总和，这些都与线性回归和小规模神经网络实验备份
2020-01-10 cs.LG stat.ML
Early Stopping is Nonparametric Variational Inference
Harvard University（哈佛大学）
我们表明，不收敛的随机梯度下降可以解释为一个程序，从一个非参数变分近似后验分布的样本。该分布被隐式地定义为通过优化更新序列对初始分布的变换。通过跟踪熵的变化，在优化过程中，这个序列的转换，我们形成了一个可扩展的，无偏估计的变分下界的对数边际似然。我们可以使用这个界限来优化超参数，而不是使用交叉验证。SGD的贝叶斯解释表明改进的，抗过拟合的优化程序，并为流行的技巧，如早期停止和集成提供了理论基础。我们研究了神经网络模型的边际似然估计的性质。
2015-04-06 cs.LG stat.ML
Noisy Truncated SGD: Optimization and Generalization
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近关于应用于过度参数化深度学习的随机梯度下降（SGD）的实证研究表明，历元上的大多数梯度分量都很小。受到这些观察结果的启发，我们严格研究了截断的SGD（T-SGD）的特性，它将大多数小梯度分量截断为零。对于非凸优化问题，我们证明了T-SGD的收敛速度与vanilla SGD的收敛速度相当。我们还建立了T-SGD的泛化误差界。此外，我们提出了噪声截断SGD（NT-SGD），它增加了高斯噪声截断梯度。我们证明了NT-SGD与T-SGD对于非凸优化问题具有相同的收敛速度。我们证明，在噪声的帮助下，NT-SGD可以证明逃离鞍点，并需要更少的噪声相比，以前的相关工作。我们还证明了NT-SGD实现了更好的泛化误差界相比，T-SGD，因为噪声。我们的推广分析是基于一致稳定性，我们表明，在梯度更新的额外噪声可以提高稳定性。我们在各种基准数据集（MNIST，Fashion-MNIST，CIFAR-10和CIFAR-100）上使用各种网络（VGG和ResNet）进行的实验验证了NT-SGD的理论属性，即，NT-SGD与vanilla SGD的速度和准确性相匹配，同时有效地处理稀疏梯度，并且可以成功地摆脱糟糕的局部最小值。
2021-10-17 cs.LG
What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
研究局部随机梯度下降在有界二阶异质性下的收敛情况，通过建立改进收敛保证证明相关推测，改进了下界，使上界更紧，为其提供更清晰收敛理论，还给出串行随机梯度下降下界展示二阶异质性影响。
2026-07-17 cs.LG math.OC stat.ML
Multi-Level Local SGD for Heterogeneous Hierarchical Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们提出了多级局部SGD，一种分布式梯度方法，用于在异构多级网络中学习光滑，非凸目标。我们的网络模型由一组不相交的子网络组成，具有单个集线器和多个工作节点;此外，工作节点可能具有不同的运行速率。集线器通过连接但不一定完整的通信网络彼此交换信息。在我们的算法中，子网络使用轴辐范式执行分布式SGD算法，并且枢纽定期将其模型与邻近枢纽进行平均。首先，我们提供了一个统一的数学框架，描述了多级本地SGD算法。然后，我们提出了一个理论分析的算法，我们的分析表明，工作节点的异质性，集线器网络拓扑结构，以及本地，子网络和全球迭代的数量的收敛误差的依赖。我们备份我们的理论结果，通过基于模拟的实验，使用凸和非凸的目标。
2022-02-18 cs.LG stat.ML
Making the Last Iterate of SGD Information Theoretically Optimal
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
随机梯度下降（SGD）算法是求解大规模优化问题最常用的算法之一。而经典的凸问题SGD理论分析研究（后缀）\emph{averages}的迭代，并获得信息理论上的最优次优界，SGD的\emph{last point}是，到目前为止，在实践中最优选的选择。然而，SGD \cite{shamir2013stochastic}的最后一点的最佳已知结果与信息理论下限相比是次优的，因为$\log T$因子，其中$T$是迭代次数。\cite{harvey2018tight}表明，事实上，这个额外的$\log T$因子对于分别用于非强凸和强凸设置的$\OTheta{\frac{1}{\sqrt{t}}}$和$\OTheta{\frac{1}{t}}$的标准步长序列是紧的。类似地，即使对于次梯度下降（GD），当应用于非光滑凸函数时，最著名的步长序列仍然导致$O(\log T)$ -次优收敛速度（在最终的收敛速度上）。这项工作的主要贡献是设计新的步长序列，享受信息理论上的次优性的\emph{last point}的SGD以及GD的最佳界限。我们通过设计一个修改方案来实现这一点，该方案将一个步长序列转换为另一个步长序列，使得具有修改序列的SGD/GD的最后一点具有与具有原始序列的SGD/GD的平均值相同的次优性保证。我们还表明，我们的结果具有很高的概率。我们通过仿真验证了我们的结果，这表明，新的步长序列…
2019-05-29 cs.LG math.OC
Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
Meiji University（明治大学）
研究普通SGD尤其是带动量的在重尾噪声下的表现，通过细化收敛结果及全面分析，揭示其在重尾噪声下收敛率低于裁剪或归一化变体，展现普通方法局限性，合成函数实验支持理论发现。
2026-08-14 cs.LG
STL-SGD: Speeding Up Local SGD with Stagewise Communication Period
University of Science and Technology of China（中国科学技术大学）；Ant Financial Services Group（蚂蚁集团）；IFLYTEK Co., Ltd.（科大讯飞股份有限公司）；Hong Kong University of Science and Technology（香港科技大学）
分布式并行随机梯度下降算法是大规模机器学习任务的主力。其中，局部随机梯度下降算法（Local SGD）由于其较低的通信复杂度而引起了人们的广泛关注。已有的研究证明，当客户端的数据分布相同（IID）或不相同（Non-IID）时，具有固定通信周期或自适应通信周期的Local SGD的通信复杂度为$O (N^{\frac{3}{2}} T^{\frac{1}{2}})$和$O (N^{\frac{3}{4}} T^{\frac{3}{4}})$，其中$N$为客户端数目，$T$为迭代次数.为了通过降低通信复杂度来加快收敛速度，提出了\textit{ST}逐时\textit{L}局部\textit{SGD}（STL-SGD），它随着学习速率的降低而逐渐增加通信周期.我们证明了STL-SGD可以保持与mini-batch SGD相同的收敛速度和线性加速比。此外，由于增加通信周期的好处，当目标是强凸的或满足Polyak-Chojasiewicz条件时，STL-SGD的通信复杂度对于IID情况和非IID情况分别是$O (N \log{T})$和$O (N^{\frac{1}{2}} T^{\frac{1}{2}})$，相对于Local SGD实现了显著的改进。在凸问题和非凸问题上的实验表明了STL-SGD的优越性能。
2020-12-15 cs.DC cs.LG math.OC
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University（波士顿大学）
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性，扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
Local SGD: Unified Theory and New Efficient Methods
MIPT（莫斯科物理技术学院）；Yandex（Yandex公司）；Sirius（天狼星）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个统一的框架，用于分析局部SGD方法在凸和强凸制度的分布式/联邦训练的监督机器学习模型。我们恢复了几种已知的方法作为我们的通用框架的特殊情况，包括Local-SGD/FedAvg，SCAFFOLD和几种最初不是为联邦学习设计的SGD变体。我们的框架涵盖了相同和异构的数据设置，支持随机和确定性数量的本地步骤，并可以与广泛的本地随机梯度估计，包括移位估计，能够调整本地迭代的不动点，以加快收敛。作为我们的框架的应用程序，我们开发了多个新的FL优化，优于现有的方法。特别是，我们开发了第一个线性收敛的本地SGD方法，不需要任何数据的同质性或其他强假设。
2020-11-03 cs.LG
Stability and Optimization Error of Stochastic Gradient Descent for Pairwise Learning
Hong Kong Baptist University（香港浸会大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）；The University of Hong Kong（香港大学）
本文研究了两两学习环境下随机梯度下降（SGD）算法的稳定性及其与优化误差的折衷关系。成对学习是指涉及依赖于成对实例的损失函数的学习任务，其中值得注意的示例是二分排名、度量学习、ROC下的面积（AUC）最大化和最小误差熵（ROC）原则。我们的贡献是双重的。首先，我们建立了两两学习的SGD在凸、强凸和非凸环境下的稳定性结果，由此可以自然地导出推广界。其次，我们建立了成对学习SGD算法的稳定性和优化误差之间的权衡。这是通过在规定的成对损失函数类上用极小极大统计误差下界稳定性和优化误差之和来实现的。从这个基本的权衡，我们得到了下界的SGD算法的优化误差和超额预期风险的一类成对损失。此外，我们通过给出AUC最大化、度量学习和迭代的一些具体例子来说明我们的稳定性结果。
2019-04-26 cs.LG math.ST stat.ML
