Tighter Lower Bounds for Shuffling SGD: Random Permutations and Beyond
KAIST（韩国科学技术院）
该研究针对光滑凸有限和最小化问题，推导了无放回SGD加权平均迭代的更紧收敛下界，填补了强凸与凸情形的上下界差距，并改进了任意置换类SGD的下界使其匹配GraB算法的上界。
2023-06-09 cs.LG math.OC stat.ML
Making the Last Iterate of SGD Information Theoretically Optimal
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
随机梯度下降（SGD）算法是求解大规模优化问题最常用的算法之一。而经典的凸问题SGD理论分析研究（后缀）\emph{averages}的迭代，并获得信息理论上的最优次优界，SGD的\emph{last point}是，到目前为止，在实践中最优选的选择。然而，SGD \cite{shamir2013stochastic}的最后一点的最佳已知结果与信息理论下限相比是次优的，因为$\log T$因子，其中$T$是迭代次数。\cite{harvey2018tight}表明，事实上，这个额外的$\log T$因子对于分别用于非强凸和强凸设置的$\OTheta{\frac{1}{\sqrt{t}}}$和$\OTheta{\frac{1}{t}}$的标准步长序列是紧的。类似地，即使对于次梯度下降（GD），当应用于非光滑凸函数时，最著名的步长序列仍然导致$O(\log T)$ -次优收敛速度（在最终的收敛速度上）。这项工作的主要贡献是设计新的步长序列，享受信息理论上的次优性的\emph{last point}的SGD以及GD的最佳界限。我们通过设计一个修改方案来实现这一点，该方案将一个步长序列转换为另一个步长序列，使得具有修改序列的SGD/GD的最后一点具有与具有原始序列的SGD/GD的平均值相同的次优性保证。我们还表明，我们的结果具有很高的概率。我们通过仿真验证了我们的结果，这表明，新的步长序列…
2019-05-29 cs.LG math.OC
Benign Overfitting of Constant-Stepsize SGD for Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
越来越多的人认识到，算法归纳偏差是防止过拟合的核心;根据经验，我们经常在自然学习算法的过参数化设置中看到良性的过拟合现象，例如随机梯度下降（SGD），其中很少或根本没有使用显式正则化。这项工作认为这个问题可以说是最基本的设置：恒定步长SGD（与平均或尾平均）的线性回归在overparameterized制度。我们的主要结果提供了一个尖锐的超额风险界，以数据协方差矩阵的全特征谱表示，揭示了当泛化是可能的时，偏差方差分解的特征：（i）方差界用有效维数表征（特定于SGD）和（ii）偏差界限提供了一个尖锐的几何特征的位置方面的初始几何（以及它如何与数据协方差矩阵对齐）。更具体地说，对于SGD的平均，我们证明了建立的超额风险界限的尖锐性，通过证明一个匹配的下限（常数因子）。对于SGD与尾部平均，我们证明了它的优势，SGD与平均值，证明了一个更好的超额风险结合在一起，一个几乎匹配的下限。此外，我们反映了（非正则化）SGD提供的算法正则化与普通最小二乘（最小范数插值）和岭回归之间的一些显着差异。合成数据的实验结果证实了我们的理论研究结果。
2021-10-12 cs.LG math.OC stat.ML
Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文分析插值情形下光滑凸损失中 SGD 最后迭代的总体收敛，给出含最优点梯度方差的风险界，并在零方差情形将速率改进至 O(1/√T)。
2025-07-28 cs.LG math.OC stat.ML
Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
University of Michigan（密歇根大学）；National University of Singapore（新加坡国立大学）
研究SGD在贪心步长下对光滑二次插值问题的最后轮收敛，证明t次迭代达到O(1/t^{3/4})收敛速度，改进了Attia等人提出的O(1/t^{1/2})保证。
2026-04-10 cs.LG cs.NA math.NA
Bias-Variance Tradeoff in a Sliding Window Implementation of the Stochastic Gradient Algorithm
Johns Hopkins University（约翰斯·霍普金斯大学）
本文利用随机梯度下降（SGD）迭代的渐进正态性结果，提供了一个在均方误差（MSE）意义下分析随机梯度算法的框架。我们通过取渐近正态性结果并将其应用于有限迭代情况来进行分析。具体来说，我们看的问题，梯度估计是有偏见的，并减少了方差和比较这些梯度估计生成的迭代SGD算法生成的迭代。我们使用Fabian的工作来表征的平均值和方差的分布的迭代的偏差和梯度估计的协方差阵。我们介绍了滑动窗口SGD（SW SGD）算法，其收敛性证明，它会导致一个较低的MSE比SGD算法的二次和凸问题。最后，我们给出了一些数值结果，以显示该框架的有效性和SW-SGD算法的优越性比SGD算法。
2019-10-25 cs.LG stat.ML
The Step Decay Schedule: A Near Optimal, Geometrically Decaying Learning Rate Procedure For Least Squares
Duke University（杜克大学）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
一类随机凸优化问题的极小极大最优收敛速度得到了很好的刻画，其中大多数结果利用了多项式衰减步长的平均随机梯度下降（SGD）.相比之下，SGD的最后一个行为受到的关注要少得多，尽管它们在实践中得到了广泛的使用。出于这一观察，这项工作提供了一个详细的研究以下问题：什么样的速度是可实现的使用最终的SGD的最小二乘回归问题的流有和没有强凸性？首先，这项工作表明，即使时间范围T（即SGD运行的迭代次数）是事先已知的，SGD的最终迭代行为与任何多项式衰减的学习率计划相比，极大极小率是高度次优的（通过强凸情况下的条件数因子和非强凸情况下的因子$\sqrt{T}$）。相比之下，这篇论文表明，阶梯衰减调度，它削减了学习率的一个常数因子，每一个常数的时期（即，学习率几何地衰减）提供了超过任何多项式衰减步长的显著改进。特别地，具有阶跃衰减时间表的最后的最小化行为仅通过$log$因子偏离最小化最大化速率（在强凸情况下的条件数中，以及在非强凸情况下的T中）。最后，在鲜明的对比，以已知的地平线的情况下，本文表明，随时（即限制）行为的SGD的最终的迭代是穷人（在它查询迭代与高度次优函数值无限频繁，即在limsup意义上），无论步长。这些结果表明，在建立最佳的学习率计划（为最终的迭代）的随机梯度过程中，在固定的时间范围设置的微妙之处。
2019-10-29 cs.LG math.OC stat.ML
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Painless Stochastic Gradient: Interpolation, Line-Search, and Convergence Rates
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Element AI（元素人工智能公司）；QBit（1量子比特公司）；Amii（阿尔伯塔机器智能研究所）
最近的工作表明，随机梯度下降（SGD）实现了快速收敛速度的全批梯度下降满足一定的插值条件的过参数化模型。然而，在这些作品中使用的步长取决于未知量和SGD的实际性能在很大程度上依赖于这个步长的选择。我们建议使用线搜索技术来自动设置步长时，训练模型，可以插值的数据。在插值设置中，我们证明了SGD与经典的Armijo线搜索的随机变体达到凸和强凸函数的确定性收敛速度。在额外的假设下，SGD与Armijo线搜索实现非凸函数的快速收敛。此外，我们证明了随机超梯度与Lipschitz线搜索达到线性收敛的一类重要的非凸函数和鞍点问题满足插值。为了提高算法的实际性能，我们给出了使用更大步长和加速的算法。我们将所提出的算法与使用内核方法和深度网络的标准分类任务上的众多优化方法进行比较。所提出的方法在所有模型和数据集上都具有竞争力的性能，同时对超参数的精确选择具有鲁棒性。对于使用深度网络的多类分类，使用Armijo线搜索的SGD可以实现更快的收敛和更好的泛化。
2021-06-04 cs.LG math.OC stat.ML
Last-Iterate Convergence of Clipped SGD with Linear Decay
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文研究重尾噪声下Clipped SGD的最后迭代收敛性，针对不同目标函数及存在因果敌手的场景给出误差界，并提供对应下界。
2026-10-14 cs.LG math.OC
Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
Google Research（谷歌研究院）
针对DP-SGD最后迭代隐私核算的挑战，本研究放弃强假设，为循环采样、梯度裁剪的DP-SGD变体建立了基于小步长和利普希茨光滑性的RDP上界，提升了最后迭代隐私核算的实用性。
2025-02-10 cs.CR cs.DS cs.LG
Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
University of Pennsylvania（宾夕法尼亚大学）
研究随机梯度下降（SGD）在大学习率下的收敛性，发现SGD通过自稳定机制在曲率驱动振荡和稳定下降之间交替，确保迭代在固定步数内恢复稳定并收敛。
2026-10-26 cs.LG math.OC stat.ML
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Hong Kong University of Science and Technology（香港科技大学）
针对RR-SGD最后迭代的步长限制问题，通过保留采样偏差消除1/n因子，建立了大步长下的最后迭代收敛界，其收敛率在对数因子内与平均迭代匹配。
2026-10-15 cs.LG math.OC stat.ML
Almost sure convergence rates for Stochastic Gradient Descent and Stochastic Heavy Ball
CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CREST（经济与统计研究中心）；ENSAE（巴黎高等经济商业学院）；Télécom ParisTech（巴黎高等电信学院）；IP Paris（巴黎理工学院）；Facebook AI Research（脸书人工智能研究院）
我们研究一般随机逼近问题的随机梯度下降（SGD）和随机重球方法（SHB，也称为动量方法）。对于SGD，在凸光滑的设置，我们提供了第一个\emph{almost sure}渐近收敛\emph{rates}的加权平均的迭代。更准确地说，我们表明，函数值的收敛速度是任意接近$o(1/\sqrt{k})$，正是$o(1/k)$在所谓的过参数化的情况下。我们发现，这些结果仍然持有时，使用随机线搜索和随机Polyak步长，从而给出了第一个证明这些方法的收敛性在非overparametrized制度。使用一个实质上不同的分析，我们表明，这些利率持有SHB以及，但在最后一年。这一区别很重要，因为它是SGD和SHB在实践中使用的最后一种。我们还证明了SHB的最后一阶收敛到极小值\emph{almost surely}。此外，我们证明了确定性HB的函数值收敛在一个$o(1/k)$率，这是比以前已知的$O(1/k)$更快。最后，在非凸的设置，我们证明了相似率的最低梯度模沿SGD的轨迹。
2021-02-05 cs.LG math.OC stat.ML
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm
UC Berkeley（加州大学伯克利分校）
本研究提出基于递归平均随机梯度的ROOT-SGD算法，可同时在非渐近和渐近层面达到强凸光滑无约束优化的最优性能，兼具精确有限样本风险界与最优渐近协方差特性。
2024-09-17 cs.LG math.OC stat.ML
Mixing of Stochastic Accelerated Gradient Descent
ETH Zurich（苏黎世联邦理工学院）
研究了随机加速梯度下降（SAGD）模型在最小二乘回归下的混合性质。首先，我们证明了随机梯度下降（SGD）和SAGD模拟相同的不变分布。受此启发，我们然后建立混合率SAGD迭代，并将其与SGD迭代进行比较。理论上，我们证明了链的SAGD迭代是几何遍历-使用适当的参数选择和输入分布的正则性假设。更具体地说，我们得到一个明确的混合率取决于前4个时刻的数据分布。通过实例证明了SAGD-BLM链的混合速度比SGD迭代链的混合速度快。此外，我们强调应用建立的混合率在SAGD的收敛性分析可实现的目标。所提出的分析是基于一种新的随机矩阵的产品的非渐近分析。这一理论结果得到了实验的证实和验证。
2019-10-31 cs.LG math.OC
Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
针对高斯混合模型上的单指标模型，在流式SGD下推导$\ell_2$-对抗训练学习动力学的确定性等价，分析两种学习率调度，揭示各向异性协方差和岭参数不匹配导致精确线搜索次优。
2026-07-02 cs.LG math.OC math.PR
The Power of Interpolation: Understanding the Effectiveness of SGD in Modern Over-parametrized Learning
The Ohio State University（俄亥俄州立大学）
在本文中，我们的目标是正式解释在现代机器学习中观察到的SGD快速收敛现象。关键的观察结果是，大多数现代学习架构都被过度参数化，并且通过将经验损失（分类和回归）驱动到接近零来训练数据插值。虽然目前还不清楚为什么这些插值的解决方案在测试数据上表现良好，但我们表明，这些制度允许SGD快速收敛，在迭代次数上与全梯度下降相当。对于凸损失函数，我们得到了一个指数收敛界的{ \it mini-batch} SGD平行于全梯度下降。我们证明了存在一个临界批量$m^*$，使得：（a）具有最小批量$m\leq m^*$的SGD迭代几乎等价于具有最小批量$1$的$m$迭代（\emph{linear scaling regime}）。(b)采用小批量$m> m^*$的SGD迭代几乎等价于完全梯度下降迭代（\emph{saturation regime}）。此外，对于二次损失，我们推导出明确的最佳小批量和步长的表达式，并明确描述了上述两个制度。临界小批量大小可以看作是有效小批量并行化的极限。它也几乎与数据大小无关，这意味着每单位计算的GD上的$O(n)$加速。我们给出了实验证据的真实数据，密切遵循我们的理论分析。最后，我们展示了我们的结果如何适应训练深度神经网络的最新发展，并讨论了SGD和方差减少的自适应率的关系。
2018-06-14 cs.LG stat.ML
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断，提出一种基于耦合的动态步长方案，通过监测耦合迭代距离检测平稳性，实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
Convergence of SGD with momentum in the nonconvex case: A time window-based analysis
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出基于时间窗口的分析方法，在非凸情形下建立了带动量随机梯度下降（SGDM）的迭代收敛性，并给出依赖于Łojasiewicz指数和步长方案的局部收敛速率。
2024-12-27 cs.LG math.OC
Obtaining Adjustable Regularization for Free via Iterate Averaging
Johns Hopkins University（约翰霍普金斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）
正则化优化是机器学习中避免过拟合的关键技术。为了获得最佳性能，我们通常通过调整正则化参数来训练模型。然而，当一轮培训需要大量时间时，成本就会很高。最近，Neu和Rosasco证明，如果我们在线性回归问题上运行随机梯度下降（SGD），然后通过适当地平均SGD迭代，我们获得正则化的解决方案。它留下了开放是否可以实现同样的现象，为其他优化问题和算法。在本文中，我们建立了一个平均计划，可证明转换的SGD迭代在一个任意的强凸和光滑的目标函数，其正则化对应的可调正则化参数。我们的方法也可以用于加速和预处理优化方法。我们进一步表明，相同的方法根据经验适用于更一般的优化目标，包括神经网络。总之，我们获得了可调整的正则化免费为一大类优化问题，并解决了一个开放的问题提出的Neu和Rosasco。
2020-08-15 cs.LG stat.ML
Demystifying the Myths and Legends of Nonconvex Convergence of SGD
University of Central Florida（中佛罗里达大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Southern Denmark（南丹麦大学）
本文研究了SGD在非凸函数上的收敛性，证明了在足够大的总迭代预算T下，其最终迭代中存在ε-平稳点，恢复了经典的O(1/√T)渐近速率，并澄清了相关误区。
2023-10-19 cs.LG cs.NA math.NA
Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression
MIT（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分院）
研究了深度神经网络行为克隆中由minibatch SGD噪声引起的长周期误差放大（GVA）问题，发现指数移动平均（EMA）能有效缓解该现象，并在连续控制和自回归语言生成中验证了其普遍性与理论依据。
2023-10-17 cs.LG math.OC stat.ML
Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods
Stern School of Business, New York University（纽约大学斯特恩商学院）
本文研究随机梯度方法的最后迭代收敛性，提出统一证明方法，适用于一般领域、复合目标、非欧几里得范数、Lipschitz条件、光滑性和强凸性，并扩展到重尾和亚Weibull噪声。
2026-03-19 cs.LG math.OC stat.ML
Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
在解决有限和最小化问题时，随机梯度下降（SGD）的两个常见替代方案具有理论上的优势，即随机重排（SGD-RR）和洗牌一次（SGD-SO），其中函数在循环中采样而不替换。在实验上成立的方便的随机噪声近似下，我们研究了SGD、SGD-RR和SGD-SO迭代的平稳方差，其首项按此顺序减少，并获得了简单的近似。为了得到我们的结果，我们研究了随机梯度噪声序列的功率谱密度。我们的分析扩展到SGD与动量和随机Nesterov的加速梯度法的SGD。我们在二次目标函数上进行实验，以检验我们的近似的有效性和我们的发现的正确性。
2022-06-01 cs.LG math.OC stat.ML
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Aiming towards the minimizers: fast convergence of SGD for overparametrized problems
Halicioğlu Data Science Institute, University of California San Diego（加州大学圣地亚哥分校哈利乔格鲁数据科学研究所）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
本文针对过参数化插值问题提出一种正则性条件，使SGD每次仅用单样本或小批量梯度即可达到与确定性梯度法相同的最坏情形迭代复杂度，并证明该条件适用于足够宽的线性输出层前馈神经网络。
2023-06-05 cs.LG math.OC stat.ML
On Uniform Boundedness Properties of SGD and its Momentum Variants
KTH - Royal Institute of Technology（KTH皇家理工学院）
随机梯度下降的一个理论问题，也是潜在的实际问题是轨迹可能逃逸到无穷大。本文研究了随机梯度下降算法及其重要的动量变量的迭代点和函数值沿轨迹的一致有界性。在光滑性和$R$ -损失函数的耗散性下，我们证明了广泛的步长家族，包括广泛使用的步进衰减和带有（或不带有）重新启动步长的余弦，会导致一致有界的迭代和函数值。几个重要的应用，满足这些假设，包括相位恢复问题，高斯混合模型，和一些神经网络分类器，进行了详细讨论。对于尾部增长慢于二次函数的函数，我们进一步推广了SGD及其动量变量在广义耗散性下的一致有界性。这包括一些有趣的应用，例如，贝叶斯逻辑回归和逻辑回归与$\ell_1$正则化。
2022-06-22 cs.LG math.OC
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research, Asia（微软研究院亚洲研究院（微软亚洲研究院））
深度学习的成功使得人们对随机梯度下降（SGD）方法的推广特性越来越感兴趣，稳定性是研究SGD方法的一种常用方法，已有的基于稳定性的研究工作研究了非凸损失函数，但只考虑了SGD方法的推广误差。在本文中，我们建立了各种推广误差界的概率保证的SGD。具体来说，对于一般的非凸损失函数和梯度主导损失函数，我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后，我们研究了具有强凸正则化的正则化风险最小化问题，得到了改进的推广误差界。利用强凸正则化子，我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界，即，概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago（芝加哥大学）；New York University（纽约大学）
随机梯度下降（SGD）算法被广泛应用于参数估计，特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率，量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是，我们提出了一个完全在线估计协方差阵的平均SGD迭代（ASGD）只使用从SGD迭代。我们正式建立我们的在线估计的一致性，并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果，构造了模型参数的渐近有效置信区间。在接收到新的观测值后，我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置，并充分利用SGD：计算和内存效率。
2021-06-22 cs.LG stat.ML
Making SGD Parameter-Free
本文提出一种无参数随机凸优化算法，通过新型 SGD 步长选择凭证与时间一致集中结果，使收敛速度仅比已知参数最优速度差双对数因子。
2024-03-01 cs.LG math.OC stat.ML
Strong Gaussian Approximation of Constant Learning Rate SGD: Bias and Trajectory Inference
University of Chicago（芝加哥大学）
本文针对重尾噪声下的常学习率SGD，构建KMT型强高斯近似，推导相关界与定理，提出Burn in方案和Richardson-Romberg外推法，将其应用于风险控制与同步推断并通过模拟验证。
2026-10-15 cs.LG stat.ML
It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss
University College London（伦敦大学学院）
本研究针对隐藏状态DP-SGD是否存在通用隐私放大的开放问题，通过构造反例从理论和实证层面证明，非凸等一般损失函数下最终迭代泄露信息量与全迭代序列相当，现有DP-SGD隐私分析是紧的，不存在普遍隐私放大效应。
2024-10-30 cs.CR cs.LG
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra（庞培法布拉大学）；Element AI（Element AI公司）；Mila（米拉实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
我们研究了流行的随机优化方法称为随机梯度下降（SGD）优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差，依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差（相对于数据分布）和目标函数沿SGD路径的局部平滑度，以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
On exponential convergence of SGD in non-convex over-parametrized learning
The Ohio State University（俄亥俄州立大学）
通过随机梯度下降（SGD）方法学习的大型过参数化模型已成为现代机器学习的关键要素。虽然SGD方法在实践中非常有效，但大多数SGD的理论分析表明收敛速度比经验观察到的要慢。在我们最近的工作[8]中，我们分析了在现代过参数化学习中常见的插值如何导致凸损失函数具有恒定步长的SGD的指数收敛。在本文中，我们将这些结果推广到更广泛的满足Polyak-Lojasiewicz（PL）条件的非凸函数类。机器学习中的一些重要的非凸问题，包括某些类的神经网络，最近已被证明满足PL条件。我们认为，PL条件为许多机器学习问题提供了一个相关的和有吸引力的设置，特别是在过度参数化的制度。
2018-11-06 cs.LG math.OC stat.ML
Accelerated SGD for Non-Strongly-Convex Least Squares
EPFL（洛桑联邦理工学院）
考虑非强凸情形下最小二乘回归问题的随机逼近。我们提出了第一个实用的算法，实现了最佳的预测出错率的依赖于噪声的问题，$O(d/t)$，同时加速忘记的初始条件$O(d/t^2)$。我们的新算法是基于一个简单的修改的加速梯度下降。我们提供了收敛结果的平均值和最后一次的算法。为了描述这些新的界限的紧密性，我们提出了一个匹配的下限在无噪声设置，从而显示我们的算法的最优性。
2022-03-03 cs.LG math.OC stat.ML
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Understanding SGD with Exponential Moving Average: A Case Study in Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）
本文以高维线性回归为案例，建立带 EMA 的在线 SGD 风险界，证明其方差误差更小且偏差误差在各特征子空间指数衰减，并提出适用于多种平均方案的证明技术。
2025-02-19 cs.LG math.OC stat.ML
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science（魏茨曼科学研究所）；University of Toronto（多伦多大学）
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性，证明了在无先验知识的情况下，无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression
Rutgers University（罗格斯大学）
针对高维重尾误差的鲁棒回归问题，提出可追踪GD、SGD及近端SGD迭代轨迹泛化误差的一致估计量，可用于确定最优停止迭代步，仿真验证了其有效性。
2024-11-03 cs.LG math.ST stat.ME
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
On the Convergence of mSGD and AdaGrad for Stochastic Optimization
Academy of Mathematics and Systems Science（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Notre Dame（圣母大学）
随机梯度下降（SGD）算法作为最基本的随机优化算法之一，在过去的十年中得到了广泛的发展，并在机器学习中得到了广泛的应用。已经有一些改进的SGD型算法，在许多竞赛和应用中，在收敛速度和精度方面优于SGD，例如基于动量的SGD（mSGD）和自适应梯度算法（AdaGrad）。尽管这些经验的成功，这些算法的理论特性还没有很好地建立，由于技术上的困难。有了这个动机，我们专注于收敛性分析的mSGD和AdaGrad的任何光滑（可能非凸）损失函数在随机优化。首先，我们证明了mSGD的迭代以概率1渐近收敛于一个连通的平稳点集，这比已有的关于子序列收敛或时间平均收敛的工作更一般.此外，我们还证明了mSGD的损失函数比SGD的损失函数以一定的速率衰减。此外，我们证明了AdaGrad的迭代是渐近收敛到一个连接的平稳点集的概率为1。同时，这个结果推广了文献中关于子序列收敛和时间平均收敛的结果。尽管上述收敛性结果具有一般性，但我们放宽了梯度噪声、损失函数的凸性以及迭代有界性的一些假设。
2022-01-26 cs.LG math.OC
Global Convergence and Stability of Stochastic Gradient Descent
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；University of Michigan – Ann Arbor（密歇根大学安娜堡分校）；The Ohio State University（俄亥俄州立大学）
在机器学习中，随机梯度下降（SGD）被广泛部署到训练模型中，使用高度非凸目标和同样复杂的噪声模型。不幸的是，SGD理论经常做出限制性的假设，无法捕捉实际问题的非凸性，并且几乎完全忽略了实践中存在的复杂噪声模型。在这项工作中，我们在这一缺陷上取得了实质性进展。首先，我们建立SGD的迭代将要么全局收敛到一个稳定点或发散下几乎任意的非凸性和噪声模型。在对非凸性和噪声模型的联合行为稍微限制性的假设下，我们证明了目标函数不能发散，即使迭代发散。由于我们的研究结果，SGD可以应用到更大范围的随机优化问题的信心，其全局收敛性和稳定性。
2022-10-10 cs.LG math.OC
Global Convergence of SGD On Two Layer Neural Nets
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；The University of Manchester（曼彻斯特大学）
本文证明了两层神经网络中SGD的全局收敛性，通过将正则化损失构建为Villani函数，适用于任意数据及多种激活函数，并给出连续时间SGD的指数收敛率。
2024-12-21 cs.LG math.OC stat.ML
Tight Analysis of Decentralized SGD: A Markov Chain Perspective
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工学院）
本文从马尔可夫链视角对DSGD算法进行紧分析，揭示其收敛性与去中心化、随机性之间的关系，并证明其在客户端数量上的线性加速特性。
2026-01-11 cs.LG
A Simplified Analysis of SGD for Linear Regression with Weight Averaging
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于简单线性代数的简化分析，恢复线性回归中SGD（含权重平均）的偏差-方差界，使分析更易理解，并有助于小批量与学习率调度的进一步研究。
2025-06-18 cs.LG math.OC stat.ML
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park（马里兰大学学院市分校）
随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Adaptive SGD with Polyak stepsize and Line-search: Robust Convergence and Variance Reduction
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
针对现有随机Polyak步长和随机线搜索SGD在非插值场景下收敛性差、人为降步长会拖慢收敛的问题，提出AdaSPS和AdaSLS两种变体，结合新型方差缩减技术提升了收敛效率，且易实现分析，经实验验证有效鲁棒。
2023-08-21 cs.LG math.OC stat.ML
Convergence and concentration properties of constant step-size SGD through Markov chains
本文通过马尔可夫链视角研究常数步长SGD的收敛性与集中性性质，证明其在总变差和Wasserstein-2距离下的收敛性，并推导出高置信度界和维度无关的偏差界。
2025-11-22 cs.LG math.OC stat.ML
Training Neural Networks for and by Interpolation
DeepMind；University of Oxford（牛津大学）
在现代监督学习中，许多深度神经网络能够插值数据：经验损失可以同时在所有样本上接近零。在这项工作中，我们明确地利用这种插值特性来设计一种新的深度学习优化算法，我们称之为自适应学习率插值（ALI-G）。ALI-G保留了随机梯度下降（SGD）的两个主要优点，即（i）每次迭代的计算成本低和（ii）在实践中具有良好的泛化性能。在每一次迭代中，ALI-G利用插值特性来计算封闭形式的自适应学习率。此外，ALI-G剪辑的学习率到一个最大值，我们证明是有益的非凸问题。重要的是，与SGD的学习速率相反，ALI-G的最大学习速率不需要衰减时间表，这使得它更容易调谐。我们提供收敛保证ALI-G在各种随机设置。值得注意的是，我们解决了现实的情况下，插值属性满足一定的公差。我们提供了各种架构和任务的实验：（i）学习可微神经计算机;（ii）在SVHN数据集上训练宽残差网络;（iii）在SNLI数据集上训练Bi-LSTM;以及（iv）在CIFAR数据集上训练宽残差网络和密集连接网络。ALI-G在自适应方法中产生了最先进的结果，甚至产生了与SGD相当的性能，SGD需要手动调整学习率调度。此外，ALI-G易于在任何标准深度学习框架中实现，并可用作现有代码的直接替代。
2020-08-01 cs.LG stat.ML
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
High-dimensional scaling limits and fluctuations of online least-squares SGD with smooth covariance
本文在光滑协方差且不假设高斯性的条件下，将在线最小二乘 SGD 视为相互作用粒子系统，建立其高维标度极限与涨落，揭示迭代随噪声方差从弹道、扩散到纯随机的三阶段相变，并刻画低噪声下的无穷维 SDE 涨落及极限方程解的存在唯一性。
2024-04-03 math.OC math.PR math.ST
Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models
University of Chicago（芝加哥大学）；University of Twente（特文特大学）
该研究建立了带Dropout正则化的SGD及平均SGD迭代的渐近理论，提出长期协方差在线估计器，实验验证大样本下置信区间接近标称覆盖概率。
2024-09-11 cs.LG math.ST stat.ML
Stochastic Gradient Descent for Nonconvex Learning without Bounded Gradient Assumptions
Southern University of Science and Technology（南方科技大学）；Wuhan University（武汉大学）
随机梯度下降（SGD）是一种流行且有效的方法，在训练深度神经网络和其他非凸模型方面具有广泛的应用。虽然SGD的行为在凸学习环境中得到了很好的理解，但将SGD应用于非凸目标函数的现有理论结果还远未成熟。例如，现有的结果需要对学习过程中遇到的所有迭代的梯度的一致有界性施加非平凡的假设，这在实际实现中很难验证。在本文中，我们建立了一个严格的理论基础，SGD在非凸学习表明，这种有界性假设可以删除，而不影响收敛速度。特别是，我们建立了几乎必然收敛的充分条件，以及适用于一般的非凸目标函数和梯度主导的目标函数的SGD的最佳收敛速度。在方差为零的情况下，进一步导出了线性收敛性。
2019-12-13 cs.LG math.OC stat.ML
