Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization
LinkedIn Corporation（领英公司）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
针对过参数化深度学习模型的泛化问题，本文提出微批次SAM（mSAM）变体，通过聚合小批次内多微批次的对抗扰动更新，理论与实验均证明其能找到比SAM更平坦的极小值，且可并行实现、计算成本无显著增加，泛化性能更优。
2023-10-01 cs.LG stat.ML
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
SmoothOut: Smoothing Out Sharp Minima to Improve Generalization in Deep Learning
University of Pittsburgh（匹兹堡大学）；University of Nevada – Reno（内华达大学雷诺分校）；HP Labs（惠普实验室）
在深度学习中，随机梯度下降（SGD）由于其效率而通常被选择作为训练方法，然而，最近SGD中的一个问题引起了研究兴趣：深度神经网络（DNN）中的尖锐极小值具有较差的泛化能力，特别是，大批量SGD倾向于收敛到尖锐极小值。逃避尖锐极小值是否能提高泛化能力成为一个悬而未决的问题。为了回答这个问题，我们提出了SmoothOut框架来平滑DNN中的尖锐极小值，从而提高泛化能力。简而言之，SmoothOut通过噪声注入扰乱DNN的多个副本，并对这些副本进行平均。将噪声注入到SGD中在文献中被广泛使用，但SmoothOut在很多方面有所不同：（1）在参数更新之前应用去噪过程;（2）噪声强度适应滤波器范数;（3）从锐度和泛化的角度对噪声注入的优势进行另一种解释;（4）使用均匀噪声而不是高斯噪声。我们证明了SmoothOut可以消除尖锐极小点。训练多个DNN副本是低效的，我们进一步提出了一个无偏的随机SmoothOut，它只引入了每批噪声注入和去噪的开销。SmoothOut的自适应变体AdaSmoothOut也被提出来提高泛化能力。在各种实验中，SmoothOut和AdaSmoothOut在小批量和大批量训练中始终提高了最先进解决方案的泛化能力。
2018-12-02 cs.LG stat.ML
On the Relation Between the Sharpest Directions of DNN Loss and the SGD Step Length
Jagiellonian University（雅盖隆大学）；Mila / University of Montreal（Mila / 蒙特利尔大学）；Facebook AI Research（Facebook人工智能研究院）；Ruhr University Bochum（波鸿鲁尔大学）；University of Edinburgh（爱丁堡大学）
具有大学习率或小批量的神经网络的基于随机梯度下降（SGD）的训练通常在权重空间的良好泛化的平坦区域中结束，如训练损失的Hessian的小特征值所指示的。然而，沿着SGD轨迹的曲率知之甚少。实证研究表明，初始SGD访问越来越尖锐的区域，达到最大的尖锐度决定的学习率和批量的SGD。当研究SGD动力学在这个初始阶段的最尖锐的方向，我们发现，SGD步骤是大的曲率相比，通常无法最大限度地减少损失沿最尖锐的方向。此外，在这些方向上使用降低的学习率可以提高训练速度，同时与vanilla SGD相比，可以获得更清晰和更好的泛化解决方案。总之，我们对SGD在最尖锐方向的子空间中的动态分析表明，它们影响SGD转向的区域（较大的学习率或较小的批量大小导致访问更广泛的区域），整体训练速度以及最终模型的泛化能力。
2019-12-23 cs.LG stat.ML
Batchless Normalization: How to Normalize Activations Across Instances with Minimal Memory Requirements
Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Universidad Autónoma de Yucatán（尤卡坦自治大学）
本文提出一种无批归一化方法，通过在损失函数中添加项以最小化高斯分布的负对数似然来跨实例归一化激活值，从而降低内存消耗并简化实现，助力AI研究民主化。
2024-07-25 cs.LG cs.NE
Towards Efficient and Scalable Sharpness-Aware Minimization
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
最近，连接损失景观和泛化的几何形状的Sharpness-Aware Minimization（SAM）在训练大规模模型（如视觉Transformer）方面表现出显着的性能提升。然而，SAM的更新规则在每一步需要两个顺序的（不可并行的）梯度计算，这可能使计算开销加倍。本文提出了一种新的算法LookSAM -只周期性地计算内部梯度上升，以显着降低SAM的额外训练成本。实证结果表明，LookSAM实现了与SAM相似的精度增益，同时速度更快-它具有与SGD或Adam等一阶优化器相当的计算复杂性。为了进一步评估LookSAM的性能和可扩展性，我们结合了逐层修改，并在大批量训练场景中进行实验，这更容易收敛到尖锐的局部极小值。我们是第一个在训练视觉Transformer（ViTs）时成功扩大批量的公司。凭借64 k的批量规模，我们能够在几分钟内从头开始训练ViT，同时保持竞争力。
2022-03-05 cs.AI cs.CV cs.LG
Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute（ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
本研究重新审视语言建模中Adam与SGD的优化器性能差距，通过全面调优的Transformer实验发现小批次下带动量的SGD调优后性能可接近Adam，并基于随机微分方程模型提出批次大小影响训练动态的新见解。
2025-06-14 cs.LG math.OC
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Exponential escape efficiency of SGD from sharp minima in non-stationary regime
University of Southern California（南加州大学）；The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所AIP中心）
我们发现，随机梯度下降（SGD）逃离尖锐的最小值指数快速甚至之前SGD达到平稳分布。SGD已经成为各种机器学习任务的事实标准训练算法。然而，仍然存在一个悬而未决的问题，为什么SGD发现高度概括的参数从非凸目标函数，如损失函数的神经网络。“逃逸效率”是解决这个问题的一个有吸引力的概念，它衡量SGD如何有效地从潜在的低泛化性能的尖锐极小值逃逸。尽管它很重要，但这个概念有一个局限性，即它只有在SGD经过足够的更新后达到稳定分布时才有效。本文通过引入动力系统的大偏差理论，发展了一种新的理论来研究具有高斯噪声的SGD的逃逸效率。在此基础上，我们证明了在非平稳条件下，系统会发生指数逃逸现象，即快速逃逸形式的锐极小值，并且它不仅对连续SGD成立，而且对离散SGD也成立。结果的一个关键概念是一个称为“陡度”的量，它描述了SGD在整个训练过程中的随机行为。我们的实验与我们的理论是一致的。
2022-03-18 cs.LG math.OC
Three Factors Influencing Minima in SGD
Ruhr-University Bochum（波鸿鲁尔大学）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Jagiellonian University（雅盖隆大学）；MILA, Université de Montréal（蒙特利尔大学蒙特利尔学习算法研究所）；Facebook AI Research（脸书人工智能研究院）
研究了应用于深度神经网络（DNN）的随机梯度下降（SGD）算法的动力学和收敛特性。描述学习率、批量大小和最终极小值的属性（如宽度或泛化）之间的关系仍然是一个悬而未决的问题。为了解决这个问题，我们研究了先前提出的随机微分方程（SGD）的近似。我们从理论上认为，三个因素-学习率，批量大小和梯度协方差-影响SGD发现的最小值。特别是，我们发现学习率与批量大小的比率是SGD动态和最终最小值宽度的关键决定因素，并且该比率的较高值会导致更宽的最小值，并且通常会导致更好的泛化。我们通过实验证实了这些发现。此外，我们包括实验表明，学习率调度的时间表可以取代批量大小的时间表和学习率批量大小的比例是一个重要的因素影响的记忆过程。
2018-09-13 cs.AI cs.CV cs.LG
A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能中心）
随机梯度下降（SGD）及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值，通常推广良好。但是，从数学上讲，深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题，我们发展了一个密度扩散理论（DDT）来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知，我们是第一个从理论上和经验上证明，受益于随机梯度噪声的海森相关的协方差，SGD有利于平坦的最小值指数比尖锐的最小值，而梯度下降（GD）与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现，无论是小学习率还是大批量训练，都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此，大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出去中心化随机双正则非凸强凹极小极大问题的方差缩减加速方法VRLM，通过拉格朗日乘子消除共识约束，实现最优样本与通信复杂度，并首次提供收敛保证。
2026-10-05 cs.LG math.OC
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial；Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计，改进了批量均值收敛速率并实现了最小最大最优性，通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
Eliminating Sharp Minima from SGD with Truncated Heavy-tailed Noise
Northwestern University（西北大学）；University of Washington（华盛顿大学）
深度学习的经验成功通常归因于SGD在损失情况下避免尖锐局部最小值的神秘能力，因为众所周知尖锐最小值会导致泛化能力差。最近，在许多深度学习任务中报告了重尾梯度噪声的经验证据，并且在Jumimekli（2019 a，b）中表明，SGD可以在这种重尾梯度噪声的存在下逃脱尖锐的局部极小值，为这个谜团提供了部分解决方案。在这项工作中，我们分析了SGD的一个流行的变体，其中梯度在固定阈值以上被截断。我们证明了它实现了更强的避免尖锐极小值的概念：它可以有效地从其训练轨迹中完全消除尖锐的局部极小值。我们描述了截断SGD的动力学驱动重尾噪声。首先，我们表明，截断阈值和宽度的吸引场决定的顺序的第一次退出时间从相关的局部最小值。此外，当目标函数满足适当的结构条件，我们证明，作为学习率降低，重尾截断SGD的动态非常类似于那些连续时间马尔可夫链，从来没有访问任何尖锐的最小值。深度学习的真实数据实验证实了我们的理论预测，即具有梯度裁剪的重尾SGD找到了“更平坦”的局部极小值，并实现了更好的泛化。
2022-05-10 cs.LG math.OC math.PR
Understanding Sharpness Dynamics in NN Training with a Minimalist Example: The Effects of Dataset Difficulty, Depth, Stochasticity, and More
KAIST AI（韩国科学技术院人工智能）；KAIST Math.（韩国科学技术院数学）
本文用每层单神经元的深度线性网络这一极简模型，理论并实证分析数据集、深度、优化器随机性和步长对渐进锐化的影响。
2025-06-07 cs.LG
Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity
ETH Zürich（苏黎世联邦理工学院）
梯度下降上升（GDA）是非凸极小极大优化的最简单的单循环算法，广泛应用于生成对抗网络（GANs）和对抗训练等实际应用中。虽然它的理想的简单性，最近的工作表明较差的收敛速度的GDA在理论上，即使假设强的收敛性的目标的一侧。本文建立了新的收敛性结果的两个可选的单循环算法-交替GDA和平滑GDA -在温和的假设下，目标满足Polyak-Lojasiewicz（PL）条件的一个变量。我们证明了，找到一个$ε$ -平稳点，（i）交替的GDA和它的随机变量（无小批量）分别需要$O(κ^{2} ε^{-2})$和$O(κ^{4} ε^{-4})$迭代，而（ii）平滑的GDA和它的随机变量（无小批量）分别需要$O(κε^{-2})$和$O(κ^{2} ε^{-4})$迭代。后者大大提高了香草GDA，并给出了迄今为止最知名的单循环算法在类似的设置下的复杂性结果。我们进一步展示了这些算法在训练GANs和鲁棒非线性回归方面的经验效率。
2021-12-10 cs.LG math.OC stat.ML
The Dynamics of Sharpness-Aware Minimization: Bouncing Across Ravines and Drifting Towards Wide Minima
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
本文分析了SAM在凸二次与非二次目标下的动力学，揭示其振荡行为等价于对Hessian谱范数做小步长梯度下降，从而促使参数向更宽极小值漂移。
2023-04-11 cs.LG math.OC stat.ML
Tensor-Based Backpropagation in Neural Networks with Non-Sequential Input
University of Edinburgh（爱丁堡大学）；AndPlus LLC（AndPlus有限责任公司）
神经网络已经能够在传统上被认为只有人类才能完成的任务上实现突破性的准确性。使用随机梯度下降，在许多维度上的优化是可能的，尽管计算成本相对较高。通过将训练数据拆分成批次，可以更有效地分布和训练网络，并且精度损失最小。我们已经探索了有效实现基于张量的批量反向传播算法背后的数学原理。批量训练的一种常见方法是逐个迭代批量项。使用张量操作来反向传播允许非线性地执行训练，从而提高计算效率。
2017-07-13 cs.LG
Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability
Tsinghua University（清华大学）
最近的研究结果（例如，arXiv：2103.00065）证明了通过全批梯度下降训练的现代神经网络通常会进入称为稳定边缘（EOS）的状态。在这种情况下，锐度，即，最大Hessian特征值首先增加到值2/（步长）（渐进锐化阶段），然后围绕该值振荡（EOS阶段）。本文旨在分析GD动力学和沿优化轨迹的锐度。我们的分析自然地将GD轨迹分为四个阶段，这取决于锐度的变化。我们凭经验确定输出层权重的范数作为锐度动态的有趣指标。基于这一经验观察，我们试图从理论和经验上解释导致EOS每个阶段锐度变化的各种关键量的动力学。此外，基于一定的假设，我们提供了一个理论证明的清晰度行为在EOS制度的两层全连接线性神经网络。我们还讨论了其他一些实证结果和我们的理论结果的局限性。
2022-11-03 cs.LG
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Inefficiency of K-FAC for Large Batch Size Training
University of California at Berkeley（加州大学伯克利分校）
在随机优化中，在训练期间使用大批量可以利用并行资源来产生更快的每个训练时期的挂钟训练时间。然而，对于训练损失和测试误差，最近分析大批量随机梯度下降（SGD）的结果发现，超过一定的临界批量大小，收益急剧递减。为了解决这一问题，已经提出，对于诸如神经网络优化的非凸机器学习问题，克罗内克因子近似曲率（\mbox{K-FAC}）方法允许对大批量的更大可扩展性，以及对模型超参数的变化的更大鲁棒性。在这里，我们对这两个假设的大批量训练%进行了详细的实证分析，对于\mbox{K-FAC}和SGD，从挂钟时间和总计算成本两个方面评估性能。我们的主要结果有两个方面：首先，我们发现\mbox{K-FAC}和SGD在超过特定批量大小时都不具有理想的可伸缩性行为，并且与SGD相比，\mbox{K-FAC}没有表现出改进的大批量可伸缩性行为;其次，我们发现\mbox{K-FAC}除了需要更多的超参数来调优之外，还遭受与SGD类似的超参数敏感性行为。我们讨论了使用ResNet和AlexNet分别对\mbox{CIFAR-10}和SVHN的广泛结果，以及我们的研究结果的更一般的含义。
2019-07-31 cs.LG stat.ML
A Scale Invariant Flatness Measure for Deep Network Minima
Johns Hopkins University（约翰斯·霍普金斯大学）；IBM Research（IBM研究院）；Google Brain（谷歌大脑）；Boston University（波士顿大学）
根据经验观察，从训练深度网络中获得的最小值的平坦性似乎与更好的泛化相关。然而，对于具有正齐次激活的深度网络，大多数锐度/平坦度的测量对于网络参数的重新缩放不是不变的，对应于相同的函数。这意味着平坦度/锐度的测量可以通过重新缩放尽可能小或尽可能大，从而使定量测量变得毫无意义。在本文中，我们表明，对于具有正齐次激活的深度网络，这些重新标度构成等价关系，并且这些等价关系在参数空间中诱导商流形结构。使用这种流形结构和一个适当的度量，我们提出了一个基于海森的平坦度，是不变的重新缩放的措施。我们使用这个新的措施，以确认命题，大批量SGD最小值确实比小批量SGD最小值更尖锐。
2019-02-06 cs.LG stat.ML
Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
本文提出Fisher-正交投影技术，用于在大规模批量训练中提升自然梯度下降的性能，实现更优的泛化能力和更快的收敛速度。
2026-02-08 cs.AI cs.LG
When and Why Momentum Accelerates SGD:An Empirical Study
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
该研究通过实证探究动量加速SGD的时机与原因，构建有效学习率比较框架发现其优势随学习率和批量大小变化，且动量通过阻止或推迟方向海森矩阵的突变锐化实现加速，深化了对动量机制的理解。
2023-06-15 cs.CV cs.LG
From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning
研究针对长尾学习中泛化差的问题，提出锐度引导平衡采样（SGS）方法，通过调整采样分布优化几何，结合累积类别计数和EMA锐度估计动态调整小批次，实验证明能提升准确率且训练时间短，还开辟了损失景观控制新途径。
2026-07-27 cs.AI cs.LG
Optimal Initialization of Batch Bayesian Optimization
Yeshiva University（叶史瓦大学）
本文提出一种名为最小终端方差（MTV）的批量设计采集函数，通过优化而非随机抽样设计批量贝叶斯优化的初始及后续批次，以最小化质量估计方差，数值实验表明其优于其他方法。
2024-04-27 cs.LG stat.ML
S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima
Seoul National University（首尔大学）
随机梯度下降（SGD）方法最广泛地用于深度神经网络（DNN）训练。然而，该方法并不总是收敛到一个平坦的最小值的损失表面，可以表现出高的泛化能力。权重噪声注入已被广泛研究，以寻找平坦的最小值使用SGD方法。我们设计了一种新的基于权重噪声注入的SGD方法，该方法将对称噪声添加到DNN权重中。使用对称噪声的训练评估两个相邻点处的损失表面，由此可以避免收敛到尖锐的最小值。添加固定幅度的对称噪声以最小化训练不稳定性。该方法与传统的SGD方法和以前的加权噪声注入算法使用卷积神经网络的图像分类进行了比较。特别是，在大批量训练的性能改进证明。与传统的SGD和加权噪声注入方法相比，无论批量大小和学习率调度算法如何，该方法都表现出优越的性能。
2020-09-05 cs.LG stat.ML
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Google Brain（谷歌大脑）
我们考虑机器学习的两个核心问题：我们如何预测最小值是否会推广到测试集，以及为什么随机梯度下降能找到推广良好的最小值？我们的工作是对Zhang et al.（2016）的回应，他表明深度神经网络可以很容易地记住随机标记的训练数据，尽管在相同输入的真实标签上泛化得很好。我们发现，同样的现象发生在小的线性模型。这些观察结果解释了贝叶斯证据，惩罚尖锐的最小值，但不变的模型参数化。我们还证明，当一个持有固定的学习率，有一个最佳的批量大小，最大限度地提高测试集的准确性。我们建议，小的小批量引入的噪声驱动器的参数朝向最小值的证据是大的。将随机梯度下降解释为随机微分方程，我们确定了“噪声尺度”$g = ε(\frac{N}{B} - 1) \approx εN/B$，其中$ε$是学习率，$N$是训练集大小，$B$是批量大小。因此，最佳批量大小与学习速率和训练集$B_{opt} \propto εN$的大小成比例。我们验证这些预测经验。
2018-02-14 cs.AI cs.LG stat.ML
How Many Factors Influence Minima in SGD?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）
随机梯度下降（SGD）经常被应用于训练深度神经网络（DNN），并且研究工作一直致力于研究SGD的收敛动力学和由SGD发现的最小值。在文献中确定的影响因素包括学习率，批量大小，海森，和梯度协方差，和随机微分方程被用来模拟SGD和建立这些因素之间的关系，以表征最小发现SGD。已经发现，批量大小与学习率的比率是突出基本SGD动态的主要因素;然而，其他重要因素（例如Hessian和梯度协方差）的影响并不完全一致。本文介绍了在最近的文献中的因素和关系，并提出了数值结果的关系。特别是，它证实了Wang（2019）中获得的四因素和一般关系结果，而Jastrzobbski等人（2018）中发现的三因素和相关关系结果可能不适用于所考虑的特殊情况。
2020-09-24 cs.LG stat.ML
On the Maximum Hessian Eigenvalue and Generalization
Carnegie Mellon University（卡内基梅隆大学）
本文质疑 Hessian 最大特征值 $λ_{max}$ 对神经网络泛化的解释力，通过多种训练干预实验发现泛化收益与 $λ_{max}$ 减小并非始终一致。
2023-05-23 cs.LG stat.ML
Extrapolation for Large-batch Training in Deep Learning
EPFL（洛桑联邦理工学院）
深度学习网络通常通过随机梯度下降（SGD）方法来训练，该方法通过估计训练数据的非常小的部分上的梯度来迭代地改进模型参数。当将批量大小增加到训练数据的相当大一部分以改善训练时间时，面临的主要障碍是性能的持续下降（泛化间隙）。为了解决这个问题，最近的工作建议在计算随机梯度时向模型参数添加小扰动，并报告由于平滑效应而提高的泛化性能。然而，人们对这种方法知之甚少;它通常需要特定于模型的噪声和微调。为了减轻这些缺点，我们建议使用计算效率高的外推（extragradiation）来稳定优化轨迹，同时仍然受益于平滑，以避免尖锐的最小值。从优化的角度来看，这种原则性的方法是有充分依据的，我们表明，在我们提出的统一框架中可以涵盖许多变化。我们证明了这种新方案的收敛性，并严格评估了其在ResNet，LSTM和Transformer上的经验性能。我们证明，在各种实验中，该计划允许扩展到比以前更大的批量，同时达到或超过SOTA的准确性。
2020-06-10 cs.LG stat.ML
Implicit Regularization and Generalization in Overparameterized Neural Networks
研究探讨了优化动态和隐式正则化在参数过量神经网络中促进泛化的角色，通过实验发现小批量大小和网络架构影响泛化性能。
2026-04-08 cs.LG
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
最近，在深度神经网络的背景下理解随机梯度下降（SGD）的行为引起了很多关注。沿着这条线，我们研究了一般形式的基于梯度的优化动力学无偏噪声，它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学，我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上，建立了两个条件，以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件，从而有助于有效地逃离尖锐和贫穷的最小值，走向更稳定和平坦的最小值，通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处，与全梯度下降加各向同性扩散（即朗之万动力学）相比。
2019-06-10 cs.LG stat.ML
Asymmetric Valleys: Beyond Sharp and Flat Local Minima
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；MIT（麻省理工学院）
尽管其损失函数具有非凸性质，但已知深度神经网络在使用随机梯度下降（SGD）优化时具有良好的泛化能力。最近的工作推测，具有适当配置的SGD能够找到宽且平坦的局部最小值，这被认为与良好的泛化性能相关。在本文中，我们观察到现代深度网络的局部极小值不仅仅是平坦或尖锐的。具体来说，在局部最小值处存在许多不对称方向，使得损耗沿着一侧突然增加，并且沿着相对侧缓慢增加-我们正式地将这种最小值定义为不对称谷。在温和的假设下，我们证明了，对于不对称的山谷，偏向于平坦的一面的解决方案推广比精确的极小。此外，我们表明，简单地平均沿着SGD轨迹的权重会产生这样的偏见的解决方案隐含。这为Izmailov等人（2018）观察到的有趣现象提供了理论解释。此外，我们的经验发现，批量归一化（BN）似乎是一个主要原因不对称的山谷。
2019-04-07 cs.LG stat.ML
Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima
Gauhati University（高哈蒂大学）
针对SGD偏好平坦极小值但欧氏锐度不具重参数化不变性的问题，提出基于Fisher信息矩阵的黎曼锐度，证明其不变性，并导出SGD稳态分布集中于平坦极小值，PAC-Bayes界联系泛化性能。
2026-06-19 cs.CG cs.LG
Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks
Physics, Chalmers University of Technology；University of Gothenburg；Ecole Normale Superieure, PSL \& CNRS；Engineering, Chalmers University of Technology；School of Computer Science；Applied Mathematics, University of the Witwatersrand
本文通过总结统计量精确刻画了高维两层ReLU神经网络损失景观中的局部极小值，并建立了与单次SGD的关联，揭示了过参数化对极小值稳定性和可达性的影响。
2026-05-29 cond-mat.dis-nn cs.LG stat.ML
Towards Sharper Risk Bounds for Minimax Problems
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京市大数据管理与分析方法重点实验室）
本文研究极小极大问题的泛化界，通过均匀局部收敛获得了非凸-强凹设定下更尖锐的高概率泛化误差界，并基于此推导出比现有结果快 n 倍的超额原风险界。
2024-10-11 cs.LG stat.ML
Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Tsinghua University（清华大学）
本文发现SAM主要在训练后期高效选择更平坦极小值，仅末尾数轮即可逼近全程SAM效果，并从理论两阶段动态解释该现象，进而推广至对抗训练。
2025-02-20 cs.LG stat.ML
The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks
AIST（产业技术综合研究所）；RIKEN CBS（理化学研究所脑科学中心）
规范化方法在提高深度学习性能方面发挥着重要作用，但其理论认识有限。为了从理论上阐明规范化的有效性，我们量化了由费舍尔信息矩阵（Fisher information matrix）确定的参数空间的几何形状，这也对应于在某些条件下损失景观的局部形状。我们分析了具有随机初始化的深度神经网络，当网络变得足够宽时，它会遭受病态的尖锐形状。我们发现，在最后一层的批量归一化有助于大幅降低这种病理锐度，如果宽度和样本数满足特定条件。相比之下，在许多设置中，中间隐藏层中的批量归一化难以减轻病理性锐度。我们还发现，层归一化也不能减轻病理性锐度。因此，我们可以得出结论，最后一层中的批量归一化显著有助于降低由噪声引起的锐度。
2019-10-28 cond-mat.dis-nn cs.LG stat.ML
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题，提出结合SAM对抗步骤与异步分布式采样的LSAM优化器，消除同步瓶颈、加快收敛且准确率更高，兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络通常是过度参数化的，可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化（SAM）算法进行对抗性权重扰动，鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手，并且可能导致更好的泛化性能，但它们的计算成本非常高，因此不可能在SAM中有效地使用每实例扰动。在本文中，我们解决了这个效率瓶颈，并提出了清晰度感知最小化与动态重新加权（delta-SAM）。我们的理论分析表明，有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权，作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
Revisiting LARS for Large Batch Training Generalization of Neural Networks
Hanoi University of Science and Technology（河内科学技术大学）；Pusan National University（釜山国立大学）；University of Warwick（华威大学）；University of Sydney（悉尼大学）
本文提出TVLARS算法，用可配置类sigmoid函数替代LARS的预热策略，解决早期陷入尖锐极小值问题，在分类和自监督学习中分别提升达2%和10%。
2024-08-27 cs.AI cs.LG
Data optimization for large batch distributed training of deep neural networks
Oak Ridge National Lab（橡树岭国家实验室）
随着数据和模型的增长，深度学习（DL）中的分布式训练是常见的做法。当前深度神经网络的分布式训练实践在大规模操作时面临通信瓶颈的挑战，并且随着全局批量大小的增加，模型准确性恶化。目前的解决方案集中在提高消息交换效率以及实现技术来调整训练过程中的批量大小和模型。训练精度的损失通常是因为损失函数陷入局部最小值。我们观察到损失景观最小化是由模型和训练数据塑造的，并提出了一种数据优化方法，该方法利用机器学习隐式地平滑损失景观，从而减少局部最小值。我们的方法过滤掉了对特征学习不太重要的数据点，使我们能够在更大的批量上加快模型的训练，以提高准确性。
2020-12-18 cs.LG
Sharp Minima Can Generalize: A Loss Landscape Perspective On Data
AI Leap
本文从损失景观视角揭示数据量对泛化的作用：尖锐极小值也能泛化，但体积小难以被发现，而增加数据会使其体积相对变大，从而更容易被找到。
2025-11-06 cs.LG
Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning
本文提出因果超图框架HGCNet，利用深度结构因果模型和do-演算揭示批大小通过梯度噪声与平坦极小值影响泛化的因果机制，并在多领域实验中优于强基线，为训练策略提供可操作解释。
2025-06-21 cs.AI cs.LG
Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
已知非凸矩阵恢复在具有足够小的RIP常数$δ$的限制等距性质（RIP）下不包含伪局部极小值。然而，如果$δ$太大，则已知存在包含伪局部最小值的反例。在本文中，我们介绍了一种证明技术，能够建立尖锐的阈值$δ$，以保证不存在虚假的局部极小值。使用该技术，我们证明了在秩为1的地面真值的情况下，RIP常数$δ<1/2$是必要的和充分的精确恢复从任何任意的初始点（如随机点）。我们还证明了一个局部恢复的结果：给定一个初始点$x_{0}$满足$f(x_{0})\le(1-δ)^{2}f(0)$，任何下降算法，收敛到二阶最优保证准确的恢复。
2019-06-13 cs.LG math.OC stat.ML
How to escape sharp minima with random perturbations
MIT（麻省理工学院）；Microsoft Research（微软研究院）；TU Munich（慕尼黑工业大学）
本文形式化定义了平坦极小值，并研究了寻找其的复杂度，提出了基于随机扰动梯度的算法及受锐度感知最小化启发的快速算法，以高效逃离尖锐极小值。
2024-05-25 cs.AI cs.LG math.OC
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient
DeepMind（深度思考）；Princeton University（普林斯顿大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种基于稀疏线性函数逼近的高维批量强化学习（RL）的统计分析方法。当有大量的候选特征时，我们的结果揭示了这样一个事实，即稀疏感知方法可以使批量RL更具样本效率。我们首先考虑政策外的政策评估问题。为了评估一个新的目标政策，我们分析了一个Lasso拟合Q-评价方法，并建立了一个有限样本的误差界，没有多项式依赖于周围的维度。为了减少Lasso偏差，我们进一步提出了一个后模型选择估计，通过组Lasso选择的功能，适用于拟合Q-评价。在一个额外的信号强度假设下，我们推导出一个更清晰的依赖于实例的误差界，该误差界依赖于测量目标策略的数据分布和占用度量之间的分布失配的发散函数。此外，我们研究了批量策略优化的Lasso拟合Q-迭代，并根据相关特征的数量与数据协方差的受限最小特征值之间的比率建立了有限样本误差界。最后，我们补充的结果与minimax下限批处理数据的政策评估/优化，几乎匹配我们的上限。结果表明，具有良好的条件下的数据是至关重要的稀疏批量策略学习。
2020-11-08 cs.LG math.ST stat.ML
The Best Optimizer Depends on Batch Size
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文挑战了优化器性能与批大小无关的假设，证明Muon缺乏普适缩放规则，且语言模型预训练的最佳优化器随批大小变化而改变。
2026-10-14 cs.LG stat.ML
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）
在使用大量GPU/TPU处理器训练神经网络时，大批量训练已成为一种常用技术。随着批量大小的增加，随机优化器往往收敛到尖锐的局部极小值，导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小，但我们发现数据增强的性能增益随着批量大小的增加而降低，并且数据增强在某个点之后变得不足。在本文中，我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择，但它尚未成功应用于大批量训练，因为它需要在每一步至少进行两次连续的梯度计算，即使使用大量处理器，与普通训练相比，这至少会使运行时间增加一倍。为了克服这个问题，我们提出了一种新的并发对抗学习（ConAdv）方法，该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明，ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小，同时保持高精度。特别是，我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率，批量大小为96 K，当将ConAdv与数据增强相结合时，准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Meituan, Beijing（美团（北京））；AI for Science Institute, Beijing（北京人工智能科学研究院）
本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。
2026-02-23 cs.LG math.OC stat.ML
