A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
School of Mathematical Sciences（数学科学学院）；Peking University（北京大学）；Center for Machine Learning Research（机器学习研究中心）
本文针对小批量随机梯度下降的噪声几何结构开展理论研究，提出量化对齐强度的指标，证明过参数化模型中对齐特性的可保证性，揭示SGD逃离尖锐极小值的独特机制，并通过实验验证理论结论。
2024-02-01 cs.LG stat.ML
Dynamic of Stochastic Gradient Descent with State-Dependent Noise
Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）
随机梯度下降（SGD）及其变体是训练深度神经网络的主流方法。由于神经网络的非凸性，越来越多的工作研究SGD的动态行为及其对泛化能力的影响，特别是对局部极小值的逃逸效率。然而，这些工作采取了过于简化的假设，即SGD中噪声的协方差是常数（或可以是上界），尽管它实际上是状态相关的。在这项工作中，我们进行了正式的研究与状态依赖噪声的SGD的动力学行为。具体来说，我们表明，在局部极小值的局部区域的SGD噪声的协方差是一个状态的二次函数。因此，我们提出了一种新的幂律动力学与状态相关的扩散近似的SGD的动态。我们证明了幂律动力系统逃离尖锐极小点的速度比平坦极小点快，而以前的动力系统只能以多项式的速度逃离尖锐极小点。我们的实验很好地验证了我们的理论结果。受我们理论的启发，我们提出在（大批量）SGD中加入额外的状态相关噪声，以进一步提高其泛化能力。实验证明了该方法的有效性。
2020-10-12 cs.LG stat.ML
On the diffusion approximation of nonconvex stochastic gradient descent
Missouri University of Science and Technology（密苏里科技大学）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
从逼近扩散过程的角度研究了非凸优化问题的随机梯度下降（SGD）方法。我们严格证明了扩散过程可以用概率演化主方程的弱形式弱逼近SGD算法。在小步长范围和存在全向噪声的情况下，我们的弱近似扩散过程表明从局部最小值开始的SGD迭代的以下动态（分别为~鞍点）：它在多次迭代中以指数方式逃逸（分别为~几乎线性地）依赖于逆步长。结果是使用动力系统的随机扰动理论（局部极小值的大偏差理论和不稳定驻点的退出理论）得到的。此外，我们讨论了批量大小对深度神经网络的影响，我们发现小批量有助于SGD算法逃避不稳定的稳定点和尖锐的极小点。我们的理论表明，应该增加批量大小在后期的SGD被困在平坦极小更好的推广。
2018-03-03 cs.LG stat.ML
How Many Factors Influence Minima in SGD?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）
随机梯度下降（SGD）经常被应用于训练深度神经网络（DNN），并且研究工作一直致力于研究SGD的收敛动力学和由SGD发现的最小值。在文献中确定的影响因素包括学习率，批量大小，海森，和梯度协方差，和随机微分方程被用来模拟SGD和建立这些因素之间的关系，以表征最小发现SGD。已经发现，批量大小与学习率的比率是突出基本SGD动态的主要因素;然而，其他重要因素（例如Hessian和梯度协方差）的影响并不完全一致。本文介绍了在最近的文献中的因素和关系，并提出了数值结果的关系。特别是，它证实了Wang（2019）中获得的四因素和一般关系结果，而Jastrzobbski等人（2018）中发现的三因素和相关关系结果可能不适用于所考虑的特殊情况。
2020-09-24 cs.LG stat.ML
S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima
Seoul National University（首尔大学）
随机梯度下降（SGD）方法最广泛地用于深度神经网络（DNN）训练。然而，该方法并不总是收敛到一个平坦的最小值的损失表面，可以表现出高的泛化能力。权重噪声注入已被广泛研究，以寻找平坦的最小值使用SGD方法。我们设计了一种新的基于权重噪声注入的SGD方法，该方法将对称噪声添加到DNN权重中。使用对称噪声的训练评估两个相邻点处的损失表面，由此可以避免收敛到尖锐的最小值。添加固定幅度的对称噪声以最小化训练不稳定性。该方法与传统的SGD方法和以前的加权噪声注入算法使用卷积神经网络的图像分类进行了比较。特别是，在大批量训练的性能改进证明。与传统的SGD和加权噪声注入方法相比，无论批量大小和学习率调度算法如何，该方法都表现出优越的性能。
2020-09-05 cs.LG stat.ML
The alignment property of SGD noise and how it helps select flat minima: A stability analysis
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降（SGD）有利于平坦极小值的现象在理解SGD的隐式正则化中发挥了关键作用。在本文中，我们通过将SGD的特定噪声结构与其\emph{linear stability}相关联来解释这一惊人现象（Wu等人，2018年）。具体来说，我们考虑训练具有平方损失的过参数化模型。我们证明了如果一个全局最小值$θ^*$对于SGD是线性稳定的，那么它必须满足$\|H(θ^*)\|_F\leq O(\sqrt{B}/η)$，其中$\|H(θ^*)\|_F, B,η$表示Hessian在$θ^*$，批量大小和学习率上的Frobenius范数。否则，SGD将快速从最小值\emph{exponentially}逃逸。因此，对于SGD可达到的最小值，锐度（由Hessian的Frobenius范数测量）受模型大小和样本量的\emph{independently}限制。获得这些结果的关键是利用SGD噪声的特殊结构：噪声集中在局部景观的尖锐方向，并且大小与损失值成正比。SGD噪声的这种对齐特性可证明适用于线性网络和随机特征模型（RFM），并在非线性网络中得到经验验证。此外，我们的理论研究结果的有效性和实际意义也证明了广泛的实验CIFAR-10数据集。
2022-10-17 cs.LG stat.ML
Theory of Deep Learning IIb: Optimization Properties of SGD
Center for Brains, Minds, and Machines, McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院大脑、心智与机器中心，麦戈文脑科学研究所）；University of Pennsylvania（宾夕法尼亚大学）
在理论IIb中，我们用理论和实验的混合来表征深度卷积网络通过随机梯度下降的优化。本文的主要新结果为以下关于SGD的猜想提供了理论和实验证据：SGD集中在概率上-像经典的Langevin方程一样-在大体积，“平坦”极小值上，选择具有非常高概率的平坦极小值也是全局极小值
2018-01-07 cs.LG
A Unified Stability Analysis of SAM vs SGD: Role of Data Coherence and Emergence of Simplicity Bias
Purdue University（普渡大学）
本文通过线性稳定性框架分析SAM与SGD在两层ReLU网络中的行为，揭示数据一致性如何影响优化动态及学习解的稳定性。
2026-04-06 cs.LG
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich（苏黎世联邦理工学院）
本文回顾了所谓的消失梯度现象，这通常发生在深度随机初始化神经网络。利用对神经链的深入分析，我们首先证明，当网络宽度小于O（深度）时，即使使用流行的Xavier和He初始化初始化，也无法规避消失梯度。其次，我们扩展到二阶导数的分析，并表明，随机i.i.d.初始化也会产生Hessian矩阵，其特征谱随着网络深度的增长而消失。每当这种情况发生时，优化器都会在一个非常平坦的鞍点状高原中初始化，这是特别难以用随机梯度下降（SGD）逃脱的，因为它的逃脱时间与曲率成反比。我们认为，这一观察结果对于充分理解（a）使用香草SGD训练深度网络的历史困难，（b）自适应梯度方法的成功（自然适应曲率，从而快速逃离平坦高原）以及（c）现代架构组件（如剩余连接和归一化层）的有效性至关重要。
2021-06-07 cs.LG
Why (and When) does Local SGD Generalize Better than SGD?
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）
本地SGD是SGD的一种通信高效变体，用于大规模训练，其中多个GPU独立执行SGD并定期对模型参数进行平均。最近已经观察到，本地SGD不仅可以实现减少通信开销的设计目标，而且还导致比相应的SGD基线更高的测试准确度（Lin等人，2020 b），尽管这种情况发生的培训制度仍在争论中（Ortiz et al.，2021年）。本文旨在了解为什么（以及何时）局部SGD基于随机微分方程（Stochastic Differential Equation，简称SGD）近似更好地推广。本文的主要贡献包括：（i）在小学习率范围内捕获局部SGD的长期行为的噪声的推导，显示噪声如何驱动噪声漂移和扩散后，它已经达到接近局部最小值的流形，（ii）局部SGD和SGD的SDES之间的比较，显示局部SGD引起更强的漂移项，其可以导致更强的正则化效果，例如，锐度的更快降低，以及（iii）经验证据证实，具有小的学习率和足够长的训练时间能够实现相对于SGD的泛化改进，但是去除这两个条件中的任何一个都不会导致改进。
2023-03-09 cs.LG
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Eliminating Sharp Minima from SGD with Truncated Heavy-tailed Noise
Northwestern University（西北大学）；University of Washington（华盛顿大学）
深度学习的经验成功通常归因于SGD在损失情况下避免尖锐局部最小值的神秘能力，因为众所周知尖锐最小值会导致泛化能力差。最近，在许多深度学习任务中报告了重尾梯度噪声的经验证据，并且在Jumimekli（2019 a，b）中表明，SGD可以在这种重尾梯度噪声的存在下逃脱尖锐的局部极小值，为这个谜团提供了部分解决方案。在这项工作中，我们分析了SGD的一个流行的变体，其中梯度在固定阈值以上被截断。我们证明了它实现了更强的避免尖锐极小值的概念：它可以有效地从其训练轨迹中完全消除尖锐的局部极小值。我们描述了截断SGD的动力学驱动重尾噪声。首先，我们表明，截断阈值和宽度的吸引场决定的顺序的第一次退出时间从相关的局部最小值。此外，当目标函数满足适当的结构条件，我们证明，作为学习率降低，重尾截断SGD的动态非常类似于那些连续时间马尔可夫链，从来没有访问任何尖锐的最小值。深度学习的真实数据实验证实了我们的理论预测，即具有梯度裁剪的重尾SGD找到了“更平坦”的局部极小值，并实现了更好的泛化。
2022-05-10 cs.LG math.OC math.PR
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
SGD with a Constant Large Learning Rate Can Converge to Local Maxima
The University of Tokyo（东京大学）；ENS（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）；University of California, Berkeley（加州大学伯克利分校）
本文通过构造最坏情况优化问题，揭示了SGD在非标准条件下可能收敛到局部极大值、缓慢逃离鞍点、偏好尖锐极小值等异常行为，并强调需联合分析采样、更新规则与损失景观。
2023-05-27 cs.LG math.OC stat.ML
Bad Global Minima Exist and SGD Can Reach Them
Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（米拉））；Université de Montréal（蒙特利尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Athens（雅典大学）
几项工作旨在解释为什么过参数化神经网络在接受随机梯度下降（SGD）训练时能够很好地泛化。已经出现的共识解释将SGD的随机化性质归功于训练过程对低复杂度模型的偏见，因此也是隐式正则化。我们在具有常见深度神经网络架构的图像分类的背景下仔细研究这种解释。我们发现，如果我们不正则化\emph{explicitly}，那么SGD可以很容易地收敛到泛化能力差的高复杂度模型：它所需要的只是首先对数据进行随机标签的训练，然后再切换到正确的标签进行适当的训练。相比之下，我们发现在显式正则化的情况下，使用随机标签的预训练对SGD没有不利影响。我们相信，我们的研究结果证明，显式正则化在过度参数化神经网络的成功中发挥着比迄今为止所理解的更重要的作用。具体来说，通过惩罚复杂的模型，而不考虑它们与数据的拟合程度，正则化会影响训练动态，使其远离最优值，从而使拟合数据的简单模型可以通过局部方法（如SGD）很好地拟合。
2021-02-23 cs.LG stat.ML
Non-Asymptotic Analysis of Online Multiplicative Stochastic Gradient Descent
Purdue University（普渡大学）；University of Minnesota（明尼苏达大学）
过去的研究表明，通过miniatrix完成的随机梯度下降（SGD）误差的协方差在确定其正则化和逃离低电位点方面起着关键作用。在这一领域的一些新的研究的动机，我们证明了普遍性的结果表明，噪声类，具有相同的平均值和协方差结构的SGD通过miniphrase具有相似的属性。我们主要考虑乘法随机梯度下降（M-SGD）算法在以前的工作中介绍，它有一个更一般的噪声类比SGD算法通过miniatrics。我们建立了M-SGD算法在瓦瑟斯坦距离上的非渐近界。我们还表明，M-SGD误差近似是一个缩放的高斯分布，平均$0$在任何固定点的M-SGD算法。
2023-03-01 cs.LG math.ST stat.ML
Why is parameter averaging beneficial in SGD? An objective smoothing perspective
Agency for Science, Technology and Research（新加坡科技研究局）；Kyushu Institute of Technology（九州工业大学）；New York University（纽约大学）；Flatiron Institute（弗莱堡研究所）
本文从目标平滑角度证明平均SGD能优化平滑目标以避免尖锐局部最小值，并通过实验验证适当步长的参数平均显著提升SGD性能。
2024-05-26 cs.LG stat.ML
On Uniform Boundedness Properties of SGD and its Momentum Variants
KTH - Royal Institute of Technology（KTH皇家理工学院）
随机梯度下降的一个理论问题，也是潜在的实际问题是轨迹可能逃逸到无穷大。本文研究了随机梯度下降算法及其重要的动量变量的迭代点和函数值沿轨迹的一致有界性。在光滑性和$R$ -损失函数的耗散性下，我们证明了广泛的步长家族，包括广泛使用的步进衰减和带有（或不带有）重新启动步长的余弦，会导致一致有界的迭代和函数值。几个重要的应用，满足这些假设，包括相位恢复问题，高斯混合模型，和一些神经网络分类器，进行了详细讨论。对于尾部增长慢于二次函数的函数，我们进一步推广了SGD及其动量变量在广义耗散性下的一致有界性。这包括一些有趣的应用，例如，贝叶斯逻辑回归和逻辑回归与$\ell_1$正则化。
2022-06-22 cs.LG math.OC
Three Factors Influencing Minima in SGD
Ruhr-University Bochum（波鸿鲁尔大学）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Jagiellonian University（雅盖隆大学）；MILA, Université de Montréal（蒙特利尔大学蒙特利尔学习算法研究所）；Facebook AI Research（脸书人工智能研究院）
研究了应用于深度神经网络（DNN）的随机梯度下降（SGD）算法的动力学和收敛特性。描述学习率、批量大小和最终极小值的属性（如宽度或泛化）之间的关系仍然是一个悬而未决的问题。为了解决这个问题，我们研究了先前提出的随机微分方程（SGD）的近似。我们从理论上认为，三个因素-学习率，批量大小和梯度协方差-影响SGD发现的最小值。特别是，我们发现学习率与批量大小的比率是SGD动态和最终最小值宽度的关键决定因素，并且该比率的较高值会导致更宽的最小值，并且通常会导致更好的泛化。我们通过实验证实了这些发现。此外，我们包括实验表明，学习率调度的时间表可以取代批量大小的时间表和学习率批量大小的比例是一个重要的因素影响的记忆过程。
2018-09-13 cs.AI cs.CV cs.LG
Global Dynamics of Heavy-Tailed SGDs in Nonconvex Loss Landscape: Characterization and Control
Quantitative Economics, University of Amsterdam（阿姆斯特丹大学量化经济学）；Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学）
本文通过大偏差和亚稳定性分析，刻画了重尾SGD在非凸损失景观中的全局动力学，发现注入并截断重尾噪声可几乎完全避开尖锐极小值，提升泛化性能，实验验证了该理论。
2025-10-23 cs.LG math.PR
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
Decentralized SGD with Controlled Disagreement Finds Flatter Minima
Division of Decision and Control Systems（决策与控制系统系）；KTH Royal Institute of Technology（皇家理工学院）
提出DSGD-AC算法，通过自适应共识机制平衡分歧方向，使分布式训练找到更平坦的极小值，提升泛化性能。
2026-06-24 cs.DC cs.LG
Stability and Generalization for Distributed SGDA
School of Computer Science（计算机学院）；Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；School of Cyber Science and Technology（网络空间科学与技术学院）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Nanyang Technological University（南洋理工大学）
本文提出了Distributed-SGDA基于稳定性的泛化分析框架，统一了Local-SGDA和Local-DSGDA算法，全面分析了多种设置下的稳定性误差、泛化差距与总体风险，揭示了泛化与优化的权衡并给出超参数选择建议。
2024-11-14 cs.LG math.OC
Escaping mediocrity: how two-layer networks learn hard generalized linear models with SGD
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；École Normale Supérieure (ENS) - PSL（巴黎高等师范学院（PSL大学））；CNRS（法国国家科学研究中心）
本文研究两层网络用 SGD 学习含大量平坦方向的广义线性模型时的样本复杂度，通过低维随机过程及其确定性近似刻画逃逸时间，指出过参数化仅带来常数因子改进。
2024-03-01 cs.LG stat.ML
Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape
NYU（纽约大学）
在本文中，我们研究了局部最小值周围的深度学习（DL）损失景观的清晰度，以揭示DL模型泛化能力的系统机制。我们的分析是在不同的网络和优化器超参数上进行的，涉及到丰富的不同锐度度量。我们比较了这些措施，并表明，低通滤波器为基础的措施表现出最高的相关性与DL模型的泛化能力，具有较高的鲁棒性的数据和标签噪声，而且可以跟踪双下降行为的神经网络。接下来，我们推导出优化算法，依赖于低通滤波器（LPF），使用SGD类过程主动搜索DL优化景观中的平坦区域。所提出的算法的更新，我们称之为LPF-SGD，由滤波器内核与损失函数的卷积的梯度确定，并且可以使用MC采样有效地计算。我们的经验表明，我们的算法实现了优越的泛化性能相比，常见的DL训练策略。在理论方面，我们证明了LPF-SGD比SGD收敛到一个更好的最优点，并且具有更小的泛化误差。
2022-02-04 cs.LG
Shift-Curvature, SGD, and Generalization
Apple, Inc.（苹果公司）
一个长期的争论围绕着相关的假设，即低曲率最小值推广得更好，SGD不鼓励曲率。我们提供了一个更完整和细致入微的观点来支持两者。首先，我们通过两个新的机制，偏移曲率和偏置曲率，除了一个已知的参数协方差机制，曲率损害测试性能。这三个曲率介导的贡献测试性能的重新参数化不变，虽然曲率不是。偏移曲率的偏移是连接训练和测试局部最小值的线，其由于数据集采样或分布偏移而不同。尽管在训练时偏移是未知的，但仍然可以通过最小化总体曲率来减轻偏移曲率。其次，我们推导出一个新的，明确的SGD稳态分布表明，SGD优化有效的潜在的相关，但不同的训练损失，SGD噪声介导的权衡深与低曲率区域的这种有效的潜力。第三，结合我们的测试性能分析与SGD稳态表明，对于小SGD噪声，位移曲率可能是最显着的三种机制。我们的实验证实了位移曲率对测试损失的影响，并进一步探讨了SGD噪声和曲率之间的关系。
2022-07-27 cs.LG stat.ML
Unveiling High-Probability Generalization in Decentralized SGD
College of Computer Science and Technology（计算机科学与技术学院）
本文研究去中心化SGD的高概率泛化问题，通过改进学习理论，获得最优泛化界，并分析不同凸性设定下的稳定性及通信开销影响。
2026-05-11 cs.LG
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
最近，在深度神经网络的背景下理解随机梯度下降（SGD）的行为引起了很多关注。沿着这条线，我们研究了一般形式的基于梯度的优化动力学无偏噪声，它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学，我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上，建立了两个条件，以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件，从而有助于有效地逃离尖锐和贫穷的最小值，走向更稳定和平坦的最小值，通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处，与全梯度下降加各向同性扩散（即朗之万动力学）相比。
2019-06-10 cs.LG stat.ML
On the Trajectories of SGD Without Replacement
Princeton University（普林斯顿大学）
本文研究了无放回SGD的隐式正则化效应，证明其期望轨迹可解耦为高曲率方向的有放回SGD和平坦方向的噪声协方差迹正则化，从而更快穿越平坦区并逃离鞍点，且在视觉任务中鼓励Hessian谱稀疏性。
2024-04-20 cs.LG math.OC stat.ML
Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima
Gauhati University（高哈蒂大学）
针对SGD偏好平坦极小值但欧氏锐度不具重参数化不变性的问题，提出基于Fisher信息矩阵的黎曼锐度，证明其不变性，并导出SGD稳态分布集中于平坦极小值，PAC-Bayes界联系泛化性能。
2026-06-19 cs.CG cs.LG
A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization
School of Industrial and Systems Engineering at Georgia Tech（佐治亚理工学院工业与系统工程学院）
动量随机梯度下降（Momentum Stochastic Gradient Descent，MSGD）算法已被广泛应用于机器学习中的许多非凸优化问题，例如，训练深度神经网络，变分贝叶斯推理等。尽管它的经验成功，仍然缺乏对MGD收敛特性的理论理解。为了填补这一空白，我们建议分析的算法行为的MSGD扩散近似的非凸优化问题，严格的鞍点和孤立的局部最优。我们的研究表明，动量有助于逃离鞍点，但损害最优邻域内的收敛（如果没有步长退火或动量退火）。我们的理论发现部分证实了MSGD在训练深度神经网络方面的经验成功。
2021-03-06 cs.LG math.OC stat.ML
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research（微软研究院）
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值，使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说，它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$，只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降（SGD）算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程（SDES）。我们利用连续公式化的方法和Fokker-Planck方程的理论，对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是，我们发现，随机过程的解决方案往往收敛到平坦的最小值，无论批量大小的渐近制度。然而，收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
Exact Mean Square Linear Stability Analysis for SGD
Technion – Israel Institute of Technology（以色列理工学院）
本文推导 SGD 均方线性稳定性的精确闭式步长阈值，揭示批量大小的单调影响及与 GD 阈值的接近性，并通过 MNIST 实验验证。
2024-06-16 cs.LG
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial；Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计，改进了批量均值收敛速率并实现了最小最大最优性，通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能中心）
随机梯度下降（SGD）及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值，通常推广良好。但是，从数学上讲，深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题，我们发展了一个密度扩散理论（DDT）来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知，我们是第一个从理论上和经验上证明，受益于随机梯度噪声的海森相关的协方差，SGD有利于平坦的最小值指数比尖锐的最小值，而梯度下降（GD）与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现，无论是小学习率还是大批量训练，都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此，大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
On the Convergence of SGD Training of Neural Networks
Google, Inc.（谷歌公司）
神经网络通常通过某种形式的随机梯度下降（SGD）来训练。许多策略通常用于改进SGD优化，例如学习率调度、动量和时间。这些都是由关于局部极小值在不同尺度、谷值和目标函数中其他现象的发生的想法所激发的。这里给出的实证结果表明，这些现象在MLP相关目标函数的SGD优化中不是重要因素，并且这些问题中的随机梯度下降的行为更好地描述为许多基本上不相互作用的子问题以不同速率同时收敛
2015-08-12 cs.LG cs.NE
What Happens after SGD Reaches Zero Loss? --A Mathematical Framework
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
理解随机梯度下降（SGD）的隐式偏差是深度学习的关键挑战之一，特别是对于过参数化模型，其中损失函数$L$的局部最小值可以形成流形。直觉上，在足够小的学习速率$η$下，SGD跟踪梯度下降（GD），直到它接近这样的流形，其中梯度噪声阻止进一步收敛。在这种情况下，Blanc等人（2020）证明了具有标签噪声的SGD局部减少了正则化器类项，即损失的锐度$\mathrm{tr}[\nabla^2 L]$。本文通过采用Katzenberger（1991）的思想，为这种分析提供了一个总体框架。它原则上允许对围绕这种流形的SGD的正则化效应进行完整的表征-即，“隐式偏差”--使用描述参数的极限动力学的随机微分方程（RSDs），其由损失函数和噪声协方差共同确定。这产生了一些新的结果：（1）对$η^{-2}$步骤有效的隐式偏倚的全局分析，与仅对$η^{-1.6}$步骤有效的Blanc等人（2020）的局部分析相反，（2）允许任意噪声协方差。作为一个应用，我们显示了任意大的初始化，标签噪声SGD总是可以逃脱内核机制，并且只需要$O(κ\ln d)$样本来学习$\mathbb{R}^d$中的$κ$ -稀疏过参数化线性模型（Woodworth等人，2020），而在内核机制中初始化的GD需要$Ω(d)$样本。该上限是最小最大最优的，并且改进了先前的$\tilde{O}(κ^2)$上限（HaoChen等人，20…
2022-07-28 cs.LG stat.ML
SGD as Free Energy Minimization: A Thermodynamic View on Neural Network Training
Constructor University（Constructor大学）；Mila – Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
本文提出SGD在固定学习率下隐式最小化自由能$F=U-TS$的热力学视角，揭示了学习率影响收敛的机制，并在欠参数化与过参数化模型上验证了该框架。
2025-05-29 cs.LG
Using Mode Connectivity for Loss Landscape Analysis
Salesforce Research（赛富时研究院）
模式连通性是最近引入的框架，其通过在两个独立训练的模型之间找到高精度曲线来经验性地建立最小值的连通性。为了研究这种设置的局限性，我们研究了这种技术在输入模型被不同地训练或初始化的极端情况下的有效性。我们发现，该程序对这种变化具有弹性。鉴于这一发现，我们建议使用该框架来更普遍地分析损失表面和训练轨迹，并在这个方向上，使用余弦退火和重新启动（SGDR）来研究SGD。我们报告说，虽然SGDR移动的障碍，在其轨迹，主张它收敛到多个局部极小值，并逃离没有得到证实，我们的实证结果。
2018-06-18 cs.LG stat.ML
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
随机梯度下降（SGD）已被证明在许多深度学习应用中具有良好的推广性。在实践中，人们经常以几何衰减步长运行SGD，即，一个恒定的初始步长，然后是多个几何步长衰减，并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的（Ge等人，2019年）。然而，在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中，我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长，（过参数化）线性回归问题。特别是，对于最后一个具有（尾部）几何衰减步长的SGD，我们证明了几乎匹配的上限和下限的超额风险。此外，我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势，在一个实例的方式，这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
Understanding Short-Range Memory Effects in Deep Neural Networks
随机梯度下降（SGD）在深度学习中具有根本的重要性。尽管它简单，但阐明其功效仍然具有挑战性。传统上，SGD的成功归因于训练过程中产生的随机梯度噪声（SGN）。基于这一共识，SGD经常被视为由布朗或Levy稳定运动驱动的随机微分方程（SDEs）的Euler-Maruyama离散化。在这项研究中，我们认为SGN既不是高斯稳定的，也不是Levy稳定的。相反，受SGN系列中出现的短程相关性的启发，我们提出SGD可以被视为分数布朗运动（FBM）驱动的离散化。因此，SGD动态的不同收敛行为是有充分根据的。此外，近似地推导出了由FBM驱动的微扰的首次通过时间。结果表明，一个较低的逃逸率较大的赫斯特参数，因此SGD停留在平坦的最小值更长。这恰好与众所周知的现象相吻合，即SGD倾向于推广良好的平坦极小值。进行了大量的实验来验证我们的猜想，并且证明了短程记忆效应在各种模型架构，数据集和训练策略中持续存在。我们的研究开辟了一个新的视角，可能有助于更好地理解SGD。
2021-06-28 cs.LG stat.ML
SmoothOut: Smoothing Out Sharp Minima to Improve Generalization in Deep Learning
University of Pittsburgh（匹兹堡大学）；University of Nevada – Reno（内华达大学雷诺分校）；HP Labs（惠普实验室）
在深度学习中，随机梯度下降（SGD）由于其效率而通常被选择作为训练方法，然而，最近SGD中的一个问题引起了研究兴趣：深度神经网络（DNN）中的尖锐极小值具有较差的泛化能力，特别是，大批量SGD倾向于收敛到尖锐极小值。逃避尖锐极小值是否能提高泛化能力成为一个悬而未决的问题。为了回答这个问题，我们提出了SmoothOut框架来平滑DNN中的尖锐极小值，从而提高泛化能力。简而言之，SmoothOut通过噪声注入扰乱DNN的多个副本，并对这些副本进行平均。将噪声注入到SGD中在文献中被广泛使用，但SmoothOut在很多方面有所不同：（1）在参数更新之前应用去噪过程;（2）噪声强度适应滤波器范数;（3）从锐度和泛化的角度对噪声注入的优势进行另一种解释;（4）使用均匀噪声而不是高斯噪声。我们证明了SmoothOut可以消除尖锐极小点。训练多个DNN副本是低效的，我们进一步提出了一个无偏的随机SmoothOut，它只引入了每批噪声注入和去噪的开销。SmoothOut的自适应变体AdaSmoothOut也被提出来提高泛化能力。在各种实验中，SmoothOut和AdaSmoothOut在小批量和大批量训练中始终提高了最先进解决方案的泛化能力。
2018-12-02 cs.LG stat.ML
Anomalous diffusion dynamics of learning in deep neural networks
University of Sydney（悉尼大学）
深度神经网络（DNN）中的学习通过最小化高度非凸损失函数来实现，通常通过随机梯度下降（SGD）方法。这个学习过程可以有效地找到好的宽极小值，而不会陷入糟糕的局部极小值。我们提出了一个新颖的解释，说明这种有效的深度学习是如何通过SGD和损失景观的几何结构的相互作用而出现的。而不是一个正常的扩散过程（即布朗运动），因为经常假设，我们发现，SGD表现出丰富的，复杂的动态导航时，通过损失景观;最初，SGD表现出异常的超扩散，逐渐衰减，并在很长一段时间内达到的解决方案时，改变为亚扩散。这种学习动态普遍存在于不同的DNN中，如ResNet和VGG类网络，并且对批量大小和学习率不敏感。在初始学习阶段的异常超扩散过程表明，沿着损失景观的SGD的运动具有间歇性，大的跳跃，这种非平衡属性使SGD从尖锐的局部极小值逃脱。通过调整研究复杂物理系统中能量景观的方法，我们发现这种超扩散学习动态是由于SGD和损失景观的分形结构的相互作用。我们进一步开发了一个简单的模型来证明分形损失景观的机制作用，使SGD有效地找到全球最小值。因此，我们的研究结果从一个新的角度揭示了深度学习的有效性，并对设计高效的深度神经网络产生了影响。
2021-07-25 cs.LG stat.ML
Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
Departamento de Matemáticas, Universidad Autónoma de Madrid, ICMAT - Instituto de Ciencias Matemáticas, CSIC-UAM-UC3M-UCM（数学系，马德里自治大学，ICMAT数学科学研究所，CSIC-UAM-UC3M-UCM）
通过Fokker-Planck型抛物PDE分析SGD行为，区分漂移和扩散两个阶段，量化浓度现象并证明平均退出时间界限，为非凸损失和退化扩散矩阵下的渐近收敛提供新结果。
2026-06-12 cs.LG math.AP math.PR
Asymptotics of SGD in Sequence-Single Index Models and Single-Layer Attention Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；École Normale Supérieure, PSL（巴黎高等师范学院（PSL））；CNRS（法国国家科学研究中心）；University Rennes（雷恩大学）；Ensai（法国国立统计与信息分析学院）
针对序列单指标模型及简化单层注意力架构，推导总体损失闭式表达式并刻画高维SGD动力学，揭示两训练阶段及序列长度、位置编码对收敛的影响，为注意力模型学习提供可解释理论基础。
2025-06-03 cond-mat.dis-nn cs.LG stat.ML
Strength of Minibatch Noise in SGD
The University of Tokyo（东京大学）
随机梯度下降（SGD）中的噪声由小批量采样引起，尽管它在深度学习中具有实际重要性，但人们对其了解甚少。这项工作提出了第一个系统的研究SGD噪声和波动接近局部最小值。本文首先对线性回归中的SGD噪声进行了详细的分析，然后导出了在不同类型的极小值下近似SGD噪声的一般公式。对于应用，我们的结果（1）提供了对训练神经网络的稳定性的洞察，（2）表明大的学习率可以通过引入隐式正则化来帮助推广，（3）解释为什么线性学习率-批量缩放定律在大学习率或小批量时失败，以及（4）可以提供对离散程度的理解-SGD的时间性质影响了最近发现的SGD幂律现象。
2022-03-08 cs.LG stat.ML
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research（Salesforce研究院）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说，我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程（SDEs），因为一个算法和它的收敛行为相似。然后，我们建立这些SDES从当地盆地的逃逸时间。结果表明：（1）SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关，与梯度噪声的强弱呈负相关;（2）对于同一流域，SGD比ADAM具有更小的逃逸时间，主要是因为（a）ADAM中的几何适应~通过对各梯度坐标的自适应缩放，很好地消除了梯度噪声中的各向异性结构，使盆地的Radon测度增大;（b）ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定，并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值，通常比尖锐的极小值更好地推广，我们的结果解释了SGD优于ADAM的推广性能。最后，实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
Reinforced stochastic gradient descent for deep neural network learning
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
随机梯度下降（SGD）是在现代神经网络学习中最小化关于网络参数的训练误差的标准优化方法。然而，它通常遭受鞍点在高维参数空间中的扩散。因此，非常需要设计一种有效的算法来逃离这些鞍点，并达到更好的泛化能力的参数区域。在这里，我们提出了SGD的一个简单扩展，即增强SGD，它只是以随机的方式添加先前的一阶梯度，概率随学习时间而增加。在一个简单的合成数据集上验证，与原始SGD相比，该方法显著加快了学习速度。令人惊讶的是，即使与最先进的自适应学习算法-Adam相比，它也大大减少了过拟合效应。对于基准手写数字数据集，学习性能与Adam相当，但具有需要少一倍的计算机内存的额外优势。加强SGD也与固定或自适应的动量参数和Nesterov的动量SGD进行了比较，这表明所提出的框架能够以更少的计算成本达到类似的泛化精度。总的来说，我们的方法将随机记忆引入到梯度中，这在理解基于梯度的训练算法如何工作及其与深度网络泛化能力的关系方面发挥了重要作用。
2017-11-22 cs.LG cs.NE
Is Local SGD Better than Minibatch SGD?
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；EPFL（洛桑联邦理工学院）；University of Chicago（芝加哥大学）；Google（谷歌）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究本地SGD（也称为并行SGD和联邦平均），一种自然的和经常使用的随机分布式优化方法。它的理论基础目前缺乏，我们强调如何在凸设置所有现有的误差保证是由一个简单的基线，minibatch SGD为主。(1)对于二次型目标，我们证明了局部SGD严格优于minibatch SGD，并且对于二次型目标，加速局部SGD是minimax最优的：（2）对于一般凸目标，我们提供了第一个保证，至少有时优于minibatch SGD;（三）我们表明，确实本地SGD不占主导地位的minibatch SGD提出了一个下界的性能本地SGD是比minibatch SGD差保证.
2020-07-20 cs.LG math.OC stat.ML
Noise-Driven Exploration and Transient Freezing Select Flat Minima in Stochastic Gradient Descent
Peking University Chengdu Academy for Advanced Interdisciplinary Biotechnologies, Chengdu 610213, China；School of Physics, Peking University, Beijing 100871, China；Institute for Advanced Study in Physics, Zhejiang University, Hangzhou 310058, China；Center for Quantitative Biology, Peking University, Beijing 100871, China；Center for Computational Biology \& Center for Computational Neuroscience, Flatiron Institute, New York, NY 10010, USA
通过分析SGD学习动力学，发现非平衡机制驱动解选择：瞬态探索阶段逃离尖锐谷，噪声重塑势能稳定平坦解，冻结延迟增强泛化。
2026-06-17 cond-mat.dis-nn cs.LG
Implicit bias of SGD in $L_{2}$-regularized linear DNNs: One-way jumps from high to low rank
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
本文研究$L_2$正则化深度线性网络中SGD的秩选择隐式偏差，证明其可从高秩极小值单向跳向低秩吸收集且返回概率为零。
2023-09-29 cs.AI cs.LG stat.ML
On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD
Sch. of Computer Science and Zhiyuan College, Shanghai Jiao Tong University（上海交通大学计算机科学学院和智远学院）；Peking University（北京大学）；University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The Institute of Statistical Mathematics（统计数学研究所）；The University of Tokyo（东京大学）
研究揭示了带有标签噪声的两层线性网络学习动态的两阶段行为，展示了标签噪声在促进模型从懒惰范式向丰富范式过渡中的关键作用，并扩展至更广泛的优化算法。
2026-03-11 cs.AI cs.LG
