Incremental Gradient Descent with Small Epoch Counts is Surprisingly Slow on Ill-Conditioned Problems
本文研究增量梯度下降在小轮数病态问题上的收敛性，证明即使分量函数强凸也可能收敛极慢，并给出大轮数情形的紧上下界。
2025-06-04 cs.LG math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems
Princeton University（普林斯顿大学）；Weizmann Institute of Science（魏茨曼科学研究所）
最近，人们对研究无替换SGD的收敛速度很感兴趣，并证明在最坏情况下它比有替换SGD更快。然而，已知的下界忽略了问题的几何形状，包括它的条件数，而上界明确依赖于它。也许令人惊讶的是，我们证明了，当考虑到条件数，无替换SGD \emph{does not}显着改善与替换SGD在最坏情况下的界限，除非时代（通过数据）的数量大于条件数。由于机器学习和其他领域的许多问题都是病态的，并且涉及大型数据集，这表明对于现实的迭代预算，无替换不一定比有替换采样更好。我们表明这一点，提供新的下限和上限是紧（对数因子），二次问题与交换二次项，精确量化的依赖问题参数。
2021-12-03 cs.LG
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-03 cs.LG stat.ML
Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Pavia（帕维亚大学）
针对异步集中式分布式非凸随机优化中计算与通信异构的问题，提出基于无偏压缩的Shadowheart SGD，证明其时间复杂度优于现有集中式方法且在压缩通信集中式方法族中最优，同时拓展到双向场景给出对应方法。
2024-11-02 cs.LG math.OC
SGD: The Role of Implicit Regularization, Batch-size and Multiple-epochs
Google Research（谷歌研究院）；Cornell University（康奈尔大学）
多历元、小批量、随机梯度下降（SGD）一直是学习大型过参数化模型的首选方法。解释SGD在实践中运行良好的一个流行理论是，该算法具有隐式正则化，使其输出偏向好的解决方案。也许理论上最好理解的SGD学习设置是随机凸优化（SCO），其中众所周知SGD以$O(1/\sqrt{n})$的速率学习，其中$n$是样本的数量。在本文中，我们考虑的问题，SCO和探索的作用，隐式正则化，批量大小和多个时期的SGD。我们的主要贡献有三个方面：（a）我们证明了对于任何正则化器，都存在正则化经验风险最小化无法学习的SCO问题。这自动排除了SGD成功的任何基于隐式正则化的解释。(b)我们提供了SGD和学习之间的分离，通过梯度下降的经验损失（GD）的样本复杂性。我们证明了存在一个SCO问题，使得具有任何步长和迭代次数的GD只能以次优速率学习：至少$\widetildeΩ(1/n^{5/12})$。(c)我们提出了一个多时期的变体SGD在实践中常用的。我们证明，该算法至少是一样好的单通SGD在最坏的情况下。然而，对于某些SCO问题，在数据集上进行多次传递可以显著优于单次传递SGD。我们将我们的结果扩展到一般的学习设置，通过展示一个对于任何数据分布都是可学习的问题，并且对于这个问题，SGD对于任何正则化函数都严格优于RERM。最后，我们讨论了我们的结果对深度学习的影响，并展示了两层对角神经网络的SGD和ERM之间的…
2021-07-11 cs.AI cs.LG
Why Does Multi-Epoch Training Help?
Alibaba Group（阿里巴巴集团）
随机梯度下降（SGD）算法具有简单、每次更新计算量小、性能好等优点，已成为大规模深度神经网络训练中最具吸引力的优化方法。标准的超额风险界限表明，SGD只需要在训练数据上进行一次测试，更多的测试并不能帮助提高性能。根据经验，已经观察到，在训练数据上进行多于一遍的SGD（多遍SGD）比在训练数据上仅进行一遍的SGD（一遍SGD）具有好得多的超额风险界限性能。然而，如何从理论上解释这一现象，目前还不是很清楚。在本文中，我们提供了一些理论证据来解释为什么多遍的训练数据，可以帮助提高性能在某些情况下。具体来说，我们考虑光滑的风险最小化问题，其目标函数是非凸最小二乘损失。在Polyak-Lojasiewicz（PL）条件下，我们建立了多遍SGD比单遍SGD更快的超额风险界的收敛速度。
2021-05-13 cs.LG
On the Generalization of Stochastic Gradient Descent with Momentum
虽然基于动量的方法与随机梯度下降（SGD）结合在训练机器学习模型时被广泛使用，但对此类方法的泛化误差几乎没有理论理解。在这项工作中，我们首先表明，存在一个凸的损失函数的算法稳定性无法建立泛化保证时，SGD与标准重球动量（SGDM）运行多个时期。然后，对于光滑Lipschitz损失函数，我们分析了一种改进的基于动量的更新规则，即，SGD与早期动量（SGDEM），并表明它承认一个上限的泛化误差。因此，我们的研究结果表明，机器学习模型可以在SGDEM的多个时期进行训练，并保证泛化。最后，对于强凸损失函数的特殊情况，我们找到了一个动量范围，使得标准SGDM的多个时期，作为SGDEM的一种特殊形式，也是推广的。扩展我们在泛化方面的结果，我们还根据训练步骤的数量、训练集的大小和动量参数，开发了预期真实风险的上限。实验结果验证了数值结果与理论界的一致性以及SGDEM对光滑Lipschitz损失函数的有效性。
2021-09-23 cs.LG math.OC stat.ML
Accumulative SGD Influence Estimation for Data Attribution
University of Technology Sydney（悉尼科技大学）
现代以数据为中心的人工智能需要精确的每个样本影响力。标准SGD-IE通过对每个历元的替代项求和来近似留一效应，并忽略了跨历元的复合，这会使关键示例排名错误。我们提出了ACC-SGD-IE，这是一种具有容错性的估计器，它在训练过程中传播留一扰动，并在每一步更新累积影响状态。在光滑的强凸设置，它实现了几何误差收缩，在光滑的非凸制度，它收紧误差界，更大的小批量进一步减少常数。从经验上讲，在Adult，20 Newsgroups和MNIST上，在干净和损坏的数据以及凸和非凸训练下，ACC-SGD-IE产生更准确的影响力估计，特别是在长时期内。对于下游数据清理，它更可靠地标记噪声样本，生成在ACC-SGD-IE清理数据上训练的模型，其性能优于使用SGD-IE清理的模型。
2025-10-30 cs.AI cs.LG
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
Yandex Research（Yandex研究院）
本文提出自适应预条件SGD的统一收敛分析，恢复多种自适应梯度方法的最优结果，并首次证明利用Nesterov动量可加速AdaGrad等方法收敛，为Adam的效率提供理论解释。
2025-06-30 cs.LG math.OC
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
Yandex Research（Yandex研究院）
针对非欧几里得SGD（如SignSGD、Lion、Muon）在深度学习中成功但理论速率不如欧几里得SGD的问题，提出统一收敛分析，证明其能利用稀疏/低秩结构、受益于外推或动量方差缩减，并匹配AdaGrad等自适应算法的最优速率。
2026-06-23 cs.LG math.OC
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Vietnam Academy of Science and Technology（越南科学技术研究院）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
针对ReLU深度网络训练中SGD类优化器是否高概率收敛至全局极小点的开放问题，本文证明标准、加速及自适应SGD（含Adam等）随网络宽度或深度增加会以趋于1的概率不收敛。
2025-02-15 cs.LG cs.NA math.NA
Momentum Improves Normalized SGD
Google Research（谷歌研究院）
我们提供了一个改进的分析归一化SGD显示，增加动量可证明消除了对非凸目标的大批量的需要。然后，我们考虑的情况下，有界的二阶导数的目标，并表明，在这种情况下，一个小的调整的动量公式允许归一化SGD与动量找到一个$ε$ -临界点在$O(1/ε^{3.5})$迭代，匹配最知名的利率，而不产生任何对数因子或依赖于尺寸。我们还提供了一个自适应的方法，自动提高收敛速度时，在梯度的变化是小的。最后，我们证明了我们的方法在用于流行的大规模任务（如ResNet-50和BERT预训练）时是有效的，与用于在这两个任务上获得最先进结果的不同方法的性能相匹配。
2020-05-17 cs.LG math.OC stat.ML
Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections
Yahoo Research（雅虎研究院）；The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
本文研究了带复不等式约束的随机强凸优化问题。这种复杂的不等式约束可能导致在随机梯度下降~（SGD）方法的算法迭代中计算昂贵的投影。为了减少投影的计算量，我们提出了一种Epoch-Projection随机梯度下降~（Epro-SGD）方法。所提出的Epro-SGD方法由一系列的epochs组成;它在epochs内的每次迭代中将SGD应用于增强的目标函数，然后在每个epochs结束时执行投影。给定强凸优化和$T$迭代的总次数，Epro-SGD仅需要$\log(T)$投影，并且同时在期望和高概率中获得$O(1/T)$的最优收敛速率。为了利用优化问题的结构，我们提出了一个近似的变体Epro-SGD，即Epro-RDA，基于最优正则化对偶平均方法。我们将所提出的方法应用于实际应用中，实验结果证明了我们的方法的有效性。
2016-05-24 cs.LG stat.ML
SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（霍华德·米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院）；School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）
本文通过在线小批量 SGD 训练两层 ReLU 神经网络，首次端到端理论刻画了虚假特征学习，发现 SGD 优先且指数级快速地学习虚假特征，且优化动力学中虚假与信号特征耦合，强虚假成分抑制信号学习。
2026-07-07 cs.LG stat.ML
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park（马里兰大学学院市分校）
随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Adaptive Learning of the Optimal Batch Size of SGD
KAUST（阿卜杜拉国王科技大学）
SGD理论理解的最新进展导致了最佳批量大小的公式，该公式使有效数据通过的数量最小化，即，迭代次数乘以批量大小。然而，这个公式是没有实用价值的，因为它取决于在最佳的随机梯度的方差的知识。在本文中，我们设计了一个实用的SGD方法，能够学习的最佳批量大小自适应整个迭代强凸和光滑的功能。我们的方法可以证明这一点，并且在我们的实验中，合成和真实数据稳健地表现出接近最优的行为;也就是说，它的工作原理就像最优批量是先验已知的一样。此外，我们将我们的方法推广到几个新的批处理策略，在文献中没有考虑过，包括适合分布式实现的采样。
2021-11-19 cs.LG math.OC stat.ML
On the Convergence of AdaBound and its Connection to SGD
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
自适应梯度方法（如Adam）由于其在训练复杂神经网络方面的成功以及与SGD相比对超参数调整的敏感性较低而获得了极大的普及。然而，最近的研究表明，亚当可能无法收敛，并可能导致较差的泛化能力-这导致设计新的，复杂的自适应方法，试图在理论上可靠的同时很好地泛化。在本技术报告中，我们重点介绍AdaBound，这是一个最近提出的有前途的优化器。我们提出了一个随机凸问题，AdaBound可以证明需要任意长的时间才能收敛，这是Luo等人（2019）收敛速度保证中没有考虑的因素。我们提出了一个新的$O(\sqrt T)$遗憾保证在不同的假设下的约束函数，并提供CIFAR的实证结果表明，一个特定形式的动量SGD可以匹配AdaBound的性能，同时具有更少的超参数和更低的计算成本。
2019-12-10 cs.LG math.OC stat.ML
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich（苏黎世联邦理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩（1<p≤2）时，在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度，挑战重尾噪声使SGD失效的观点，确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Noisy Truncated SGD: Optimization and Generalization
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近关于应用于过度参数化深度学习的随机梯度下降（SGD）的实证研究表明，历元上的大多数梯度分量都很小。受到这些观察结果的启发，我们严格研究了截断的SGD（T-SGD）的特性，它将大多数小梯度分量截断为零。对于非凸优化问题，我们证明了T-SGD的收敛速度与vanilla SGD的收敛速度相当。我们还建立了T-SGD的泛化误差界。此外，我们提出了噪声截断SGD（NT-SGD），它增加了高斯噪声截断梯度。我们证明了NT-SGD与T-SGD对于非凸优化问题具有相同的收敛速度。我们证明，在噪声的帮助下，NT-SGD可以证明逃离鞍点，并需要更少的噪声相比，以前的相关工作。我们还证明了NT-SGD实现了更好的泛化误差界相比，T-SGD，因为噪声。我们的推广分析是基于一致稳定性，我们表明，在梯度更新的额外噪声可以提高稳定性。我们在各种基准数据集（MNIST，Fashion-MNIST，CIFAR-10和CIFAR-100）上使用各种网络（VGG和ResNet）进行的实验验证了NT-SGD的理论属性，即，NT-SGD与vanilla SGD的速度和准确性相匹配，同时有效地处理稀疏梯度，并且可以成功地摆脱糟糕的局部最小值。
2021-10-17 cs.LG
Understanding Gradient Clipping in Private SGD: A Geometric Perspective
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
深度学习模型在许多机器学习应用中越来越受欢迎，其中训练数据可能包含敏感信息。为了提供正式和严格的隐私保证，许多学习系统现在通过使用（差分）私有SGD训练其模型来合并差分隐私。每个私有SGD更新中的关键步骤是梯度裁剪，每当其L2范数超过某个阈值时，它就会缩小单个示例的梯度。我们首先演示了如何梯度裁剪可以防止SGD收敛到稳定点。然后，我们提供了一个理论分析，充分量化的裁剪偏差收敛的梯度分布和几何对称分布之间的差距措施。我们的实证评估进一步表明，沿着私人新元轨迹的梯度分布确实表现出有利于收敛的对称结构。总之，我们的研究结果提供了一个解释，为什么私人SGD与梯度裁剪仍然有效，在实践中，尽管其潜在的裁剪偏见。最后，我们开发了一种新的扰动为基础的技术，可以证明纠正裁剪偏置，即使是高度不对称的梯度分布的情况下。
2021-03-18 cs.CR cs.LG math.OC
AdaCliP: Adaptive Clipping for Private SGD
UC San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
隐私保护机器学习算法对于在用户数据上学习模型以保护敏感信息至关重要。受此启发，已经提出了用于训练机器学习模型的差分私有随机梯度下降（SGD）算法。在每一步，这些算法修改梯度并添加与修改的梯度的灵敏度成比例的噪声。在这个框架下，我们提出了AdaCliP，一个理论上激励差分私人SGD算法，可证明增加了更少的噪声相比，以前的方法，通过使用坐标明智的自适应裁剪的梯度。我们的经验表明，AdaCliP减少了增加的噪声量，并产生更好的准确性模型。
2019-10-23 cs.CR cs.LG stat.ML
Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院数学与信息网络教育部重点实验室）
本文研究了容错分布式随机梯度下降，分析了带和不带局部动量的变体，推导了非凸光滑目标和满足Polyak-Lojasiewicz条件的收敛速率，并给出了匹配下界以证明上界是紧的。
2026-04-11 cs.LG math.OC
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
Moniqua: Modulo Quantized Communication in Decentralized SGD
Cornell University（康奈尔大学）
以分散的方式运行随机梯度下降（SGD）已经显示出有希望的结果。在本文中，我们提出了Moniqua，一种允许分散式SGD使用量化通信的技术。我们在理论上证明，Moniqua通信可证明有界的位数每次迭代，而收敛在相同的渐近速率与原算法与全精度通信。Moniqua改进了以前的工作，因为它（1）需要零额外内存，（2）使用1位量化，（3）适用于各种分散算法。我们的经验表明，Moniqua收敛速度比其他量化的分散算法的挂钟时间。我们还表明，Moniqua对非常低的比特预算具有鲁棒性，在CIFAR10上训练ResNet20和ResNet110时，允许每个参数1比特的通信，而不会影响验证准确性。
2020-06-30 cs.LG stat.ML
On the Generalization of Stochastic Gradient Descent with Momentum
University of Oslo（奥斯陆大学）；Visual Intelligence Centre（视觉智能中心）；Integreat, Norwegian Centre for Knowledge-driven Machine Learning（Integreat，挪威知识驱动机器学习中心）；EPFL（洛桑联邦理工学院）；Laboratory for Information and Inference Systems (LIONS), EPFL（信息与推理系统实验室（LIONS），洛桑联邦理工学院）；University of Toronto（多伦多大学）
本文从稳定性角度研究带动量 SGD 的泛化性，证明标准 SGDM 在凸损失下稳定性差距可能无界，提出 SGDEM 并在广泛步长和强凸情形下给出泛化保证及真实风险上界，实验验证了理论结果。
2024-01-15 cs.LG stat.ML
An Alternative View: When Does SGD Escape Local Minima?
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）在机器学习中得到了广泛的应用。虽然通常被视为快速但不准确的梯度下降（GD）版本，但它总是比现代神经网络的GD找到更好的解决方案。为了理解这种现象，我们采取了另一种观点，即SGD正在研究损失函数的卷积（因此平滑）版本。我们证明了，即使函数$f$有许多坏的局部极小点或鞍点，只要对每个点$x$，其邻域梯度的加权平均值相对于期望解$x^*$是一个凸点，SGD将以恒定的概率接近并停留在$x^*$附近.更具体地说，SGD不会卡在具有小直径的“尖锐”局部最小值处，只要这些区域的邻域包含足够的梯度信息。邻域大小由步长和梯度噪声控制。我们的结果确定了一组函数，SGD可证明的作品，这是远远大于凸函数的集合。经验上，我们观察到神经网络的损失面局部具有良好的一点凸性，因此我们的定理有助于解释为什么SGD对神经网络如此有效。
2018-08-16 cs.LG
Anti-Correlated Noise in Epoch-Based Stochastic Gradient Descent: Implications for Weight Variances in Flat Directions
Institute for Theoretical Physics, University of Leipzig（理论物理研究所，莱比锡大学）
本研究揭示基于纪元的SGD噪声本质上为反相关，对平坦方向权重方差有显著影响，且反相关性可提升测试性能。
2025-12-22 cond-mat.dis-nn cs.LG
Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums
The Hong Kong University of Science and Technology（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；Google Research（谷歌研究院）
学习率优化器已被广泛用于训练深度神经网络。尽管它们具有重要的实际意义，但其实践与理论分析之间存在差异。例如，它是不知道什么时间表的SGD实现最佳收敛，即使是简单的问题，如优化二次目标。在本文中，我们提出了特征曲线，第一个家庭的学习率调度，可以实现极小极大最优收敛速度（常数）SGD二次目标时的特征值分布的基础海森矩阵是偏斜的。这种情况在实践中很常见。实验结果表明，特征曲线在CIFAR-10上的图像分类任务中，尤其是当epoch数较小时，性能明显优于阶跃衰减。此外，该理论启发了两个简单的学习率的实际应用，可以近似特征曲线。对于某些问题，所提出的最佳形状类似于余弦衰减，这揭示了余弦衰减在这种情况下的成功。对于其他情况，所提出的余弦衰减优于余弦衰减。
2022-06-14 cs.LG math.OC
Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails
Department of Electrical and Computer Engineering, The Ohio State University（俄亥俄州立大学电气与计算机工程系）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文揭示了Adam中的关键二阶矩归一化机制，并通过停止时间/鞅分析，在经典有界方差模型下，证明了Adam在高概率收敛行为上优于SGD，前者对置信参数δ的依赖为δ^{-1/2}，而SGD则至少为δ^{-1}。
2026-05-18 cs.AI cs.LG
APMSqueeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm
Microsoft（微软）；University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）
Adam是保证训练BERT和ImageNet等许多重要任务的效率和准确性的重要优化算法。然而，Adam通常与信息（梯度）压缩技术不兼容。因此，通信通常成为并行化Adam的瓶颈。本文提出了一种通过压缩梯度的误差补偿方法来提高通信效率的{ \bf A}DAM { \bf p}修正{ \bf M}动量SGD算法--APMSqueeze。所提出的算法实现了类似的收敛效率亚当的时期，但显着减少了每个时期的运行时间。在端到端性能方面（包括全精度预处理步骤），APMSqueeze能够提供{有时根据网络带宽，最高可达$2-10\times$的速度提升。}并对算法的收敛性和效率进行了理论分析。
2020-08-28 cs.DC cs.LG stat.ML
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond
KAIST（韩国科学技术院）；MIT（麻省理工学院）
在分布式学习中，局部SGD（也称为联邦平均）及其简单的基线小批量SGD是广泛研究的优化方法。这些方法的大多数现有的分析假设独立和无偏的梯度估计通过与替换抽样。相比之下，我们研究了基于洗牌的变体：minibatch和local Random Reshuffling，它们在没有替换的情况下绘制随机梯度，因此更接近实践。对于光滑函数满足Polyak-Jesojasiewicz条件，我们得到的收敛界（在大时代制度），这表明这些洗牌为基础的变种收敛速度比他们的替换同行。此外，我们证明了匹配下界表明我们的收敛性分析是紧的。最后，我们提出了一种算法修改称为同步洗牌，导致收敛速度快于我们的下限在近均匀设置。
2022-03-23 cs.LG math.OC stat.ML
Larger is Better: The Effect of Learning Rates Enjoyed by Stochastic Optimization with Progressive Variance Reduction
The Chinese University of Hong Kong（香港中文大学）
在本文中，我们提出了一个简单的变种，原来的随机方差减少梯度（SVRG），在下文中，我们称为方差减少随机梯度下降（VR-SGD）。与SVRG及其邻近变体Prox-SVRG中快照点和起始点的选择不同，VR-SGD中每个历元的两个向量分别设置为前一历元的平均值和最后一个历元。此设置允许我们使用比SVRG大得多的学习率或步长，例如，3/（7 L）的VR-SGD与1/（10 L）的SVRG，也使我们的收敛性分析更具挑战性。事实上，VR-SGD具有更大的学习率意味着其随机梯度估计器的方差更快地渐近接近零。与常见的随机方法，如SVRG和邻近随机方法，如Prox-SVRG，我们设计了两个不同的更新规则，光滑和非光滑的目标函数，分别。换句话说，VR-SGD可以直接解决非光滑和/或非强凸问题，而无需使用任何约简技术，如二次正则化器。此外，我们还分析了VR-SGD在强凸问题上的收敛性，结果表明VR-SGD具有线性收敛速度。对于非强凸问题，我们也给出了VR-SGD的收敛性保证。实验结果表明，VR-SGD的性能明显优于其同行，SVRG和Prox-SVRG，它也远远优于最知名的随机方法，喀秋莎。
2017-04-17 cs.AI cs.LG math.OC
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
ADASS: Adaptive Sample Selection for Training Acceleration
Nanjing University（南京大学）
随机梯度下降（SGD）及其变体，包括一些加速变体，已成为机器学习中的热门训练。然而，在所有现有的SGD及其变体中，训练的每个迭代~（epoch）中的样本量与整个训练集的大小相同。在本文中，我们提出了一种新的训练加速方法，称为\underline{ada} patient \underline{s} example \underline{s} election~（ADASS）。在不同的训练时期，ADASS只需要访问不同的训练子集，这些训练子集是根据样本损失函数的Lipschitz常数自适应地从整个训练集中选择的。这意味着在ADASS中，通过丢弃一些样本，每个训练时期的样本量可以小于整个训练集的大小。ADASS可以与现有的优化方法（如SGD和momentum SGD）无缝集成，以实现训练加速。理论结果表明，ADASS的学习精度与具有完整训练集的同行相当。此外，在浅模型和深模型上的实验结果也表明，ADASS可以在不牺牲精度的情况下加速现有方法的训练过程。
2019-09-17 cs.LG stat.ML
Scalable DP-SGD: Shuffling vs. Poisson Subsampling
Google Research（谷歌研究院）
本研究揭示了洗牌DP-SGD隐私下界与泊松子采样的差距，并提出大规模并行泊松子采样方法，以提升模型效用。
2024-11-06 cs.CR cs.DS cs.LG
On the Validity of Modeling SGD with Stochastic Differential Equations (SDEs)
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
人们普遍认为，与无穷小LR相比，有限学习率（LR）对于现实生活中的深度网络中的良好泛化是重要的。大多数尝试的解释提出用伊藤随机微分方程（PDE）近似有限LR SGD，但这种近似的正式理由（例如，(Li例如，2019））仅适用于具有微小LR的SGD。近似的实验验证在计算上似乎是不可行的。目前的文件澄清了图片与以下贡献：（a）一个有效的模拟算法SVAG，可证明收敛到传统使用的伊藤逼近。(b)一个理论上激发的可测试的必要条件，为近似和它的最著名的含义，线性缩放规则（戈亚尔等人，2017年），保持。(c)使用此模拟的实验证明，先前提出的ESTA近似可以有意义地捕获常见深度网络的训练和泛化特性。
2021-06-16 cs.LG stat.ML
High-Probability Convergence of SGD via Batched Updates
North Carolina State University（北卡罗来纳州立大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出批量SGD变体，通过分时期低方差梯度更新，在标准假设下为强凸和非凸目标建立近乎最优的高概率收敛速率，并首次为联邦学习提供高概率保证，实现对数通信复杂度和线性加速。
2026-09-14 cs.LG cs.SY eess.SY
A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond
Beijing University of Posts and Telecommunications（北京邮电大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文为基于排列的SGD提出统一收敛分析框架，涵盖含跨epoch依赖的排列类别，并将其扩展至联邦学习中的客户端排序。
2025-01-27 cs.LG
Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis
Meiji University（明治大学）
该研究基于李雅普诺夫分析扩展理论框架，研究SGDM在三种动态超参数调度下的收敛性，证明递增批量大小及同步递增批量与学习率可加速收敛，且动态调度SGDM及预热策略表现更优。
2026-07-31 cs.LG
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
Cornell University（康奈尔大学）
本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。
2026-07-27 cs.LG math.OC stat.ML
A Guide Through the Zoo of Biased SGD
KAUST（阿卜杜拉国王科技大学）
本文系统梳理了有偏随机梯度下降（BiasedSGD）的假设体系，提出更弱的新假设，并在凸与非凸设置下给出更优分析，同时通过示例和实验验证了有偏估计器的优势。
2023-05-25 cs.LG
Random Reshuffling Dominates Stochastic Gradient Descent
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对光滑凸优化中随机重排（RR）的收敛理论局限，本文首次证明在任意合理步长下，经过任意有限轮次后RR始终优于随机梯度下降（SGD），解决了长期悬而未决的问题。
2026-07-01 cs.LG math.OC stat.ML
The alignment property of SGD noise and how it helps select flat minima: A stability analysis
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降（SGD）有利于平坦极小值的现象在理解SGD的隐式正则化中发挥了关键作用。在本文中，我们通过将SGD的特定噪声结构与其\emph{linear stability}相关联来解释这一惊人现象（Wu等人，2018年）。具体来说，我们考虑训练具有平方损失的过参数化模型。我们证明了如果一个全局最小值$θ^*$对于SGD是线性稳定的，那么它必须满足$\|H(θ^*)\|_F\leq O(\sqrt{B}/η)$，其中$\|H(θ^*)\|_F, B,η$表示Hessian在$θ^*$，批量大小和学习率上的Frobenius范数。否则，SGD将快速从最小值\emph{exponentially}逃逸。因此，对于SGD可达到的最小值，锐度（由Hessian的Frobenius范数测量）受模型大小和样本量的\emph{independently}限制。获得这些结果的关键是利用SGD噪声的特殊结构：噪声集中在局部景观的尖锐方向，并且大小与损失值成正比。SGD噪声的这种对齐特性可证明适用于线性网络和随机特征模型（RFM），并在非线性网络中得到经验验证。此外，我们的理论研究结果的有效性和实际意义也证明了广泛的实验CIFAR-10数据集。
2022-10-17 cs.LG stat.ML
Biased Local SGD for Efficient Deep Learning on Heterogeneous Systems
Inha University（延世大学）；Mondrian AI（蒙德里安人工智能）
本研究提出有偏局部SGD方法，通过引入数据采样和模型聚合的偏差，提升异构系统中深度学习的训练效率，实现比同步SGD更快的训练速度和相近的准确性。
2026-02-23 cs.LG
On the Global Convergence of Training Deep Linear ResNets
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google（谷歌）
研究了梯度下降（GD）和随机梯度下降（SGD）算法训练$L$ -隐层线性残差网络（ResNets）的收敛性.我们证明了，对于在输入和输出层具有一定线性变换的深度残差网络（在整个训练过程中是固定的），在所有隐藏权重上具有零初始化的GD和SGD都可以收敛到训练损失的全局最小值。此外，当专门针对适当的高斯随机线性变换时，GD和SGD可证明优化了足够宽的深度线性ResNet。与GD用于训练标准深度线性网络的全局收敛结果（Du & Hu 2019）相比，我们对神经网络宽度的条件更尖锐$O(κL)$，其中$κ$表示训练数据协方差矩阵的条件数。我们进一步提出了一种改进的恒等输入和输出变换，并证明了一个$(d+k)$ -wide神经网络足以保证GD/SGD的全局收敛性，其中$d,k$分别是输入和输出维.
2020-03-02 cs.LG math.OC stat.ML
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Tighter Lower Bounds for Shuffling SGD: Random Permutations and Beyond
KAIST（韩国科学技术院）
该研究针对光滑凸有限和最小化问题，推导了无放回SGD加权平均迭代的更紧收敛下界，填补了强凸与凸情形的上下界差距，并改进了任意置换类SGD的下界使其匹配GraB算法的上界。
2023-06-09 cs.LG math.OC stat.ML
Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对洗牌SGD理论界过于悲观的问题，从原始-对偶视角分析线性预测器的经验风险最小化，提出依赖数据矩阵的细粒度复杂度界，预测收敛速度更快且实验验证更紧。
2024-02-07 cs.LG math.OC
A dynamic view of some anomalous phenomena in SGD
Department of Electrical Engineering, Indian Institute of Technology Bombay, Mumbai 400076, India（电子工程系，印度理工学院班加罗尔，孟买400076，印度）
本文通过双时间尺度随机逼近理论分析梯度动力学的连续时间极限，为过参数化神经网络中的双重下降和 grokking 等异常现象提供了合理解释与新视角。
2025-09-14 cs.LG math.OC
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
