Choosing the Sample with Lowest Loss makes SGD Robust
UT Austin（德克萨斯大学奥斯汀分校）
离群值的存在可能会显著扭曲通过随机梯度下降（SGD）训练的机器学习模型的参数。在本文中，我们提出了简单SGD方法的一个简单变体：在每一步中，首先选择一组k个样本，然后从这些样本中选择具有最小电流损耗的样本，并使用所选样本进行类似SGD的更新。Vanilla SGD对应于k = 1，即没有选择; k >= 2表示一种新算法，但它有效地最小化了非凸代理损失。我们的主要贡献是理论分析的鲁棒性的这一想法的ML问题，这是凸损失的总和，这些都与线性回归和小规模神经网络实验备份
2020-01-10 cs.LG stat.ML
The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size
Stanford University（斯坦福大学）
我们在现代高维数值线性代数中应用最先进的工具来有效地近似现代深度网络的Hessian谱，具有数千万个参数，在真实数据上训练。我们的研究结果证实了以前的研究结果，基于小规模的网络，黑森表现出“尖峰”的行为，从一个连续的散装孤立的几个离群值。我们将Hessian分解为不同的分量，并分别研究每个术语的训练和样本大小的动态。
2019-06-03 cs.LG stat.ML
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
Contrastive Weight Regularization for Large Minibatch SGD
University of Utah（犹他大学）；Cornell University（康奈尔大学）
小批量随机梯度下降方法（SGD）由于其效率和可扩展性而被广泛应用于深度学习中，从而能够训练具有大量数据的深度网络。特别是在分布式环境中，SGD通常应用于大批量。然而，与小批量SGD相反，用大批量SGD训练的神经网络模型几乎不能很好地泛化，即，验证精度低。在这项工作中，我们引入了一种新的正则化技术，即独特的正则化（DReg），它复制了深度网络的某一层，并鼓励两层的参数是不同的。DReg技术引入了非常少的计算开销。此外，我们的经验表明，优化神经网络与DReg使用大批量SGD实现了显着提高收敛和提高泛化性能。我们还证明了DReg可以促进大批量SGD的收敛。我们相信DReg可以作为一个简单的正则化技巧来加速深度学习中的大批量训练。
2020-11-17 cs.LG stat.ML
A Bootstrap Perspective on Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；New York University（纽约大学）
本文从自助法视角探讨SGD的泛化优势，证明SGD通过隐式正则化梯度协方差矩阵的迹，提升模型对采样噪声的鲁棒性，从而改善泛化能力。
2025-12-08 cs.LG stat.ML
Neural Networks Efficiently Learn Low-Dimensional Representations with SGD
Université de Montréal（蒙特利尔大学）；Mila Institute（米拉研究所）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Korea University（高丽大学）；Saint Mary’s University（圣玛丽大学）
我们研究了使用随机梯度下降（SGD）训练任意宽度的两层神经网络（NN）的问题，其中输入$\boldsymbol{x}\in \mathbb{R}^d$是高斯的，目标$y \in \mathbb{R}$遵循多指标模型，即，具有噪声链路函数$g$的$y=g(\langle\boldsymbol{u_1},\boldsymbol{x}\rangle,...,\langle\boldsymbol{u_k},\boldsymbol{x}\rangle)$。我们证明了第一层的神经网络的权重收敛到$k$维主子空间的向量$\boldsymbol{u_1},...,\boldsymbol{u_k}$的真实模型，当使用在线SGD与重量衰减用于训练。当$k \ll d$。首先，通过在这个较小的子空间上采用一致收敛，我们建立了SGD的$T$迭代后的$O(\sqrt{{kd}/{T}})$的泛化误差界，它与神经网络的宽度无关。我们进一步证明，SGD训练的ReLU NN可以通过恢复主方向来学习形式为$y=f(\langle\boldsymbol{u},\boldsymbol{x}\rangle) + ε$的单索引目标，样本复杂度在$d$中呈线性（最多对数因子），其中$f$是最多多项式增长的单调函数，$ε$是噪声。这与已知的$d^{Ω(p)}$样本要求在核机制中学习任何次数的$p$多项式相反，并且它表明用SGD…
2023-03-15 cs.LG stat.ML
On the Generalization of Models Trained with SGD: Information-Theoretic Bounds and Implications
University of Ottawa（渥太华大学）
本文跟进Neu等人（2021）的最新工作，并提出了机器学习模型（如使用SGD训练的神经网络）的泛化误差的一些新的信息论上界。我们将这些界限应用于分析线性和双层ReLU网络的泛化行为。这些边界的实验研究为神经网络的SGD训练提供了一些启示。他们还指出了一个新的和简单的正则化方案，我们显示执行的最新技术水平。
2022-03-19 cs.IT cs.LG math.IT
SGD Learns One-Layer Networks in WGANs
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）是一种广泛使用的学习生成模型的框架。Wasserstein GANs（WGANs）是GANs最成功的变体之一，需要解决最小最大优化问题以达到全局最优，但在实践中使用随机梯度下降-上升成功训练。在本文中，我们证明了，当发电机是一个单层网络，随机梯度下降-上升收敛到一个整体解决方案与多项式时间和样本复杂性。
2020-07-02 cs.LG stat.ML
Is SGD a Bayesian sampler? Well, almost
University of Oxford（牛津大学）
过度参数化的深度神经网络（DNN）具有高度的表达能力，因此原则上可以生成几乎任何适合零误差训练数据集的函数。这些函数中的绝大多数在看不见的数据上表现不佳，但在实践中，DNN通常具有非常好的泛化能力。这一成功表明，经过训练的DNN必须对泛化误差低的函数具有很强的归纳偏见。在这里，我们通过计算一系列架构和数据集的概率$P_{SGD}(f\mid S)$来实证研究这种归纳偏差，该概率是用随机梯度下降（SGD）或其变体之一训练的过参数化DNN收敛于与训练集$S$一致的函数$f$。我们还使用高斯过程来估计贝叶斯后验概率$P_B(f\mid S)$，DNN表示$f$随机采样的参数，条件是$S$。我们的主要发现是，$P_{SGD}(f\mid S)$相关性非常好，与$P_B(f\mid S)$和$P_B(f\mid S)$是强烈偏向于低错误和低复杂性的功能。这些结果意味着参数函数映射（决定$P_B(f\mid S)$）中的强归纳偏差，而不是SGD的特殊属性，是DNN在过参数化机制中推广得如此之好的主要解释。虽然我们的研究结果表明，贝叶斯后$P_B(f\mid S)$是$P_{SGD}(f\mid S)$的一阶行列式，仍然存在对超参数调整敏感的二阶差异。基于$P_{SGD}(f\mid S)$和/或$P_B(f\mid S)$的函数概率图可以揭示架构或超参数设置（如批量大小、学习率和优化器选择）的…
2020-10-24 cs.LG stat.ML
Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-offs in Distributed SGD
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
分布式随机梯度下降（SGD）在以同步方式运行时，会在等待最慢的学习者（掉队者）时出现延迟。异步方法可以减少落伍者，但会导致梯度失效，从而对收敛产生不利影响。在这项工作中，我们提出了一个新的理论表征的异步方法提供的加速，通过分析训练模型中的错误和实际的训练运行时间（wallclock时间）之间的权衡。在我们的工作中的新颖之处在于，我们的运行时分析考虑随机离散延迟，这有助于我们设计和比较分布式SGD算法，在离散和陈旧之间取得平衡。我们还提出了一个新的异步SGD变量的收敛性分析，没有有界或指数延迟的假设，和一个新的学习率计划，以补偿梯度陈旧。
2018-05-09 cs.LG stat.ML
Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD
Paris Research Center, Huawei Technologies France（华为技术法国巴黎研发中心）；Boğaziçi University（博加齐大学）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
提出向SGD注入重尾噪声的修改方法，通过证明重尾随机微分方程的混沌传播及Euler离散化误差估计，从理论上保证过参数化神经网络输出的可压缩性，并在实验中验证了其提升压缩率与剪枝稳健性的效果。
2024-02-12 cs.LG math.PR stat.ML
Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
Tsinghua University（清华大学）；Lancaster University（兰卡斯特大学）
冗余在卷积神经网络（CNN）中被广泛认可，其使得能够从卷积层中移除不重要的滤波器，以便在可接受的性能下降的情况下精简网络。受卷积的线性和组合性质的启发，我们试图使一些滤波器越来越接近，最终相同的网络瘦身。为此，我们提出了向心SGD（C-SGD），一种新的优化方法，它可以训练多个过滤器崩溃到一个点的参数超空间。当训练完成时，删除相同的滤波器可以在没有性能损失的情况下修剪网络，因此不需要微调。通过这样做，我们已经部分解决了一个开放的问题，约束过滤器修剪CNN具有复杂的结构，其中一些层必须修剪后，其他。我们在CIFAR-10和ImageNet上的实验结果证明了基于C-SGD的过滤器修剪的有效性。此外，我们还为深度神经网络中的冗余有助于训练收敛的假设提供了经验证据，表明使用C-SGD训练的冗余CNN优于具有相同宽度的正常训练的对应物。
2019-04-08 cs.CV cs.LG stat.ML
Bad Global Minima Exist and SGD Can Reach Them
Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（米拉））；Université de Montréal（蒙特利尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Athens（雅典大学）
几项工作旨在解释为什么过参数化神经网络在接受随机梯度下降（SGD）训练时能够很好地泛化。已经出现的共识解释将SGD的随机化性质归功于训练过程对低复杂度模型的偏见，因此也是隐式正则化。我们在具有常见深度神经网络架构的图像分类的背景下仔细研究这种解释。我们发现，如果我们不正则化\emph{explicitly}，那么SGD可以很容易地收敛到泛化能力差的高复杂度模型：它所需要的只是首先对数据进行随机标签的训练，然后再切换到正确的标签进行适当的训练。相比之下，我们发现在显式正则化的情况下，使用随机标签的预训练对SGD没有不利影响。我们相信，我们的研究结果证明，显式正则化在过度参数化神经网络的成功中发挥着比迄今为止所理解的更重要的作用。具体来说，通过惩罚复杂的模型，而不考虑它们与数据的拟合程度，正则化会影响训练动态，使其远离最优值，从而使拟合数据的简单模型可以通过局部方法（如SGD）很好地拟合。
2021-02-23 cs.LG stat.ML
Robust Training of Neural Networks Using Scale Invariant Architectures
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
与SGD相比，像Adam这样的自适应梯度方法允许对现代深度网络进行鲁棒训练，特别是大语言模型。然而，自适应的使用不仅以额外内存为代价，而且还提出了一个基本问题：像SGD这样的非自适应方法是否可以享受类似的好处？在本文中，我们对这个问题提供了肯定的答案，建议通过以下通用配方实现鲁棒性和记忆效率的训练：（1）修改结构，使其具有尺度不变性，即参数的尺度不影响网络的输出;（2）采用SGD和权重衰减进行训练，以及可选地（3）与权重范数乘以$\sqrt{\tfrac{2λ}η}$成比例地裁剪全局梯度范数，其中$η$是学习率，而$λ$是权重衰减。我们表明，这种一般的方法是强大的参数和损失的重新调整，证明其收敛性只依赖于规模的初始化和损失，而标准的SGD甚至可能不会收敛许多初始化。按照我们的配方，我们设计了一个规模不变版本的BERT，称为SI BERT，当简单地用香草SGD训练时，它的性能与用自适应方法训练的BERT相当，比如亚当在下游任务上。
2022-07-18 cs.LG stat.ML
Using Mode Connectivity for Loss Landscape Analysis
Salesforce Research（赛富时研究院）
模式连通性是最近引入的框架，其通过在两个独立训练的模型之间找到高精度曲线来经验性地建立最小值的连通性。为了研究这种设置的局限性，我们研究了这种技术在输入模型被不同地训练或初始化的极端情况下的有效性。我们发现，该程序对这种变化具有弹性。鉴于这一发现，我们建议使用该框架来更普遍地分析损失表面和训练轨迹，并在这个方向上，使用余弦退火和重新启动（SGDR）来研究SGD。我们报告说，虽然SGDR移动的障碍，在其轨迹，主张它收敛到多个局部极小值，并逃离没有得到证实，我们的实证结果。
2018-06-18 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
NGD converges to less degenerate solutions than SGD
Cambridge AI Safety Hub（剑桥人工智能安全中心）
本研究针对模型复杂度衡量问题，基于奇异学习理论的学习系数，对比自然梯度下降与随机梯度下降训练模型的有效维度，发现NGD训练的模型有效维度更高、退化解更少。
2024-09-12 cs.LG stat.ML
Benign Oscillation of Stochastic Gradient Descent with Large Learning Rates
Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）；Harvard University（哈佛大学）；The University of Hong Kong（香港大学）
本文从理论上证明大学习率SGD引起的权重振荡有助于神经网络在强特征干扰下学习弱特征，从而提升泛化能力，并将该现象称为良性振荡。
2023-10-26 cs.LG math.OC stat.ML
Learning Curves for SGD on Structured Features
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Center for Brain Science（脑科学中心）；Harvard University（哈佛大学）
诸如神经网络的机器学习算法的泛化性能以非平凡的方式取决于数据分布的结构。为了分析数据结构对测试损失动态的影响，我们研究了一个精确可解的均方损失随机梯度下降（SGD）模型，该模型在训练具有任意协方差结构的特征时预测测试损失。我们精确地解决了高斯特征和任意特征的理论，并且我们证明了更简单的高斯模型可以准确地预测非线性随机特征模型和在真实数据集（如MNIST和CIFAR-10）上使用SGD训练的深度神经网络的测试损失。我们发现，在固定的计算预算的最佳批量大小通常很小，并取决于特征相关性结构，展示了小批量SGD的计算优势。最后，我们将我们的理论扩展到固定子采样训练集上更常见的随机梯度下降设置，表明在我们的框架中，训练和测试误差都可以在真实数据上准确预测。
2022-03-15 cs.LG stat.ML
Provable Generalization of Overparameterized Meta-learning Trained with SGD
Tsinghua University（清华大学）；The Ohio State University（俄亥俄州立大学）
尽管深度元学习在经验上取得了巨大成功，但对过度参数化元学习的理论理解仍然有限。本文研究了一种广泛使用的元学习方法，模型不可知元学习（MAML），其目的是找到一个良好的初始化快速适应新的任务。在混合线性回归模型下，我们分析了在过参数化机制下用SGD训练的MAML的泛化特性。我们提供了MAML的超额风险的上限和下限，它捕捉了SGD动态如何影响这些泛化界限。有了这些尖锐的特征，我们进一步探讨了各种学习参数如何影响过参数化MAML的泛化能力，包括明确识别典型的数据和任务分布，可以实现减少泛化误差与过参数化，并表征自适应学习率对过度风险和提前停止时间的影响。我们的理论研究结果得到了实验的进一步验证。
2022-06-18 cs.LG math.ST stat.TH
The Power of Interpolation: Understanding the Effectiveness of SGD in Modern Over-parametrized Learning
The Ohio State University（俄亥俄州立大学）
在本文中，我们的目标是正式解释在现代机器学习中观察到的SGD快速收敛现象。关键的观察结果是，大多数现代学习架构都被过度参数化，并且通过将经验损失（分类和回归）驱动到接近零来训练数据插值。虽然目前还不清楚为什么这些插值的解决方案在测试数据上表现良好，但我们表明，这些制度允许SGD快速收敛，在迭代次数上与全梯度下降相当。对于凸损失函数，我们得到了一个指数收敛界的{ \it mini-batch} SGD平行于全梯度下降。我们证明了存在一个临界批量$m^*$，使得：（a）具有最小批量$m\leq m^*$的SGD迭代几乎等价于具有最小批量$1$的$m$迭代（\emph{linear scaling regime}）。(b)采用小批量$m> m^*$的SGD迭代几乎等价于完全梯度下降迭代（\emph{saturation regime}）。此外，对于二次损失，我们推导出明确的最佳小批量和步长的表达式，并明确描述了上述两个制度。临界小批量大小可以看作是有效小批量并行化的极限。它也几乎与数据大小无关，这意味着每单位计算的GD上的$O(n)$加速。我们给出了实验证据的真实数据，密切遵循我们的理论分析。最后，我们展示了我们的结果如何适应训练深度神经网络的最新发展，并讨论了SGD和方差减少的自适应率的关系。
2018-06-14 cs.LG stat.ML
Balls-and-Bins Sampling for DP-SGD
Google（谷歌公司）
本文提出用于DP-SGD的球与箱采样方法，实现类似Shuffling的便捷实现，同时在实际参数范围内享有与Poisson子采样相似或更优的隐私放大效果与模型效用。
2025-03-31 cs.CR cs.DS cs.LG
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
理解通过随机梯度下降（SGD）训练的神经网络的属性是深度学习理论的核心。在这项工作中，我们采用平均场的观点，并考虑通过SGD训练的双层ReLU网络用于单变量正则化回归问题。我们的主要结果是SGD偏向于一个简单的解决方案：在收敛时，ReLU网络实现了输入的分段线性映射，以及“结”点的数量-即，ReLU网络估计器的切线在两个连续训练输入之间变化的点最多为三个。特别地，随着网络的神经元数量的增长，SGD动态被梯度流的解捕获，并且在收敛时，权重的分布接近具有吉布斯形式的相关自由能的唯一最小值。我们的主要技术贡献包括在分析的估计，从这个最小化：我们表明，其二阶导数消失无处不在，除了在一些特定的位置代表的“结”点。我们还提供了经验证据，结的位置不同的数据点可能会发生，我们的理论预测。
2022-04-29 cs.LG stat.ML
Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
Assessing Generalization of SGD via Disagreement
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们的经验表明，深度网络的测试误差可以通过简单地在相同的训练集上训练相同的架构，但使用不同的随机梯度下降（SGD）运行，并在未标记的测试数据上测量两个网络之间的不一致率来估计。这建立在-并且是一个更强大的版本-在Nakkiran & Bansal '20中的观察，这需要第二次运行在一个全新的训练集上。我们进一步从理论上证明了这种奇特的现象源于SGD训练模型的\emph{ensembles}的\emph{well-calibrated}性质。这一发现不仅提供了一个简单的经验措施，直接预测的测试误差使用未标记的测试数据，但也建立了一个新的概念之间的联系推广和校准。
2022-05-15 cs.AI cs.LG stat.ML
Minimax-Optimal Generalization Bounds for Smooth Deep Neural Networks Trained by (Stochastic) Gradient Descent
Mathematical Institute for Machine Learning and Data Science, Catholic University of Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-因戈尔施塔特天主教大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯斯莱特恩-兰道大学）；Department of Mathematics, The University of Hong Kong（数学系，香港大学）；School of Mathematics and Statistics, The University of Sydney（数学与统计学学院，悉尼大学）
本文建立了过参数化深度神经网络与核方法学习动力学的联系，证明了梯度下降和随机梯度下降在足够宽度下能达到极小化最优泛化误差。
2026-07-30 cs.AI cs.LG stat.ML
Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD
Carnegie Mellon University（卡内基梅隆大学）
分布式随机梯度下降（SGD）对于将机器学习算法扩展到大量计算节点是必不可少的。然而，基础设施的变化，如高通信延迟或随机节点减速极大地阻碍了分布式SGD算法的性能，特别是在无线系统或传感器网络。在本文中，我们提出了一种算法方法，名为重叠本地SGD（及其动量变体）重叠的通信和计算，以加快分布式训练过程。这种方法也有助于减轻离散效应。我们通过在每个节点上添加锚模型来实现这一点。在多次本地更新之后，本地训练的模型将被拉回到同步的锚模型，而不是与其他模型通信。在CIFAR-10数据集上训练深度神经网络的实验结果证明了Overlap-Local-SGD的有效性。我们还提供了一个非凸目标函数下的算法的收敛性保证。
2020-02-21 cs.DC cs.LG math.OC
Neural networks trained with SGD learn distributions of increasing complexity
Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；École Fédérale Polytechnique de Lausanne (EPFL)（洛桑联邦理工学院）；The Abdus Salam International Centre for Theoretical Physics (ICTP)（阿卜杜勒·萨拉姆国际理论物理中心）；International School of Advanced Studies (SISSA)（国际高等研究院）
本文提出分布简单性偏置（DSB），证明SGD训练的神经网络先利用低阶统计量、后利用高阶统计量进行分类，并在合成数据、CIFAR10及ImageNet预训练模型上验证了该现象。
2023-05-26 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Data Deletion for Linear Regression with Noisy SGD
本文针对线性回归中的1步noisy SGD提出完美删除点问题，利用信噪比选择删除点，在合成数据集上验证了算法有效性，并分析了其对训练性能和隐私预算的影响。
2024-10-12 cs.LG stat.ML
Stochastic Gradient Descent on Separable Data: Exact Convergence with a Fixed Learning Rate
Technion（以色列理工学院）；TTI Chicago（芝加哥丰田技术研究所）
随机梯度下降（SGD）是机器学习的核心工具。我们证明了SGD收敛到零损失，即使有一个固定的（非零）学习率-在特殊情况下的齐次线性分类器与光滑单调损失函数，优化线性可分离的数据。以前的作品假设要么消失的学习率，平均，或损失的假设，不适用于单调的损失函数用于分类，如逻辑损失。我们证明了我们的结果在一个固定的数据集，无论是采样或不替换。此外，对于逻辑损失（以及类似的指数尾损失），我们证明了对于几乎所有可分离的数据集，SGD的权重向量在$L_2$最大边缘向量的方向上收敛为$O(1/\log(t))$，并且损失收敛为$O(1/t)$ -类似于梯度下降。最后，我们研究了固定学习率与小批量大小成比例的情况。我们证明，在这种情况下，SGD（更换）的渐近收敛速度不依赖于小批量的大小在时代方面，如果支持向量跨度的数据。这些结果可以解释在使用SGD训练时在深度网络中观察到的类似行为。
2022-04-18 cs.LG stat.ML
On the Convergence of SGD Training of Neural Networks
Google, Inc.（谷歌公司）
神经网络通常通过某种形式的随机梯度下降（SGD）来训练。许多策略通常用于改进SGD优化，例如学习率调度、动量和时间。这些都是由关于局部极小值在不同尺度、谷值和目标函数中其他现象的发生的想法所激发的。这里给出的实证结果表明，这些现象在MLP相关目标函数的SGD优化中不是重要因素，并且这些问题中的随机梯度下降的行为更好地描述为许多基本上不相互作用的子问题以不同速率同时收敛
2015-08-12 cs.LG cs.NE
Catapults in SGD: spikes in the training loss and their impact on generalization through feature learning
UC San Diego（加州大学圣迭戈分校）；Halicioğlu Data Science Institute（哈利奇奥卢数据科学研究所）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）
本文揭示SGD训练损失尖峰本质上是低维子空间中的弹射现象，并证明弹射通过增强与AGOP的对齐促进特征学习，且小批量SGD能诱发更多弹射从而提升泛化性能。
2024-06-06 cs.LG math.OC stat.ML
On the Generalization of Stochastic Gradient Descent with Momentum
虽然基于动量的方法与随机梯度下降（SGD）结合在训练机器学习模型时被广泛使用，但对此类方法的泛化误差几乎没有理论理解。在这项工作中，我们首先表明，存在一个凸的损失函数的算法稳定性无法建立泛化保证时，SGD与标准重球动量（SGDM）运行多个时期。然后，对于光滑Lipschitz损失函数，我们分析了一种改进的基于动量的更新规则，即，SGD与早期动量（SGDEM），并表明它承认一个上限的泛化误差。因此，我们的研究结果表明，机器学习模型可以在SGDEM的多个时期进行训练，并保证泛化。最后，对于强凸损失函数的特殊情况，我们找到了一个动量范围，使得标准SGDM的多个时期，作为SGDEM的一种特殊形式，也是推广的。扩展我们在泛化方面的结果，我们还根据训练步骤的数量、训练集的大小和动量参数，开发了预期真实风险的上限。实验结果验证了数值结果与理论界的一致性以及SGDEM对光滑Lipschitz损失函数的有效性。
2021-09-23 cs.LG math.OC stat.ML
Dimension-adapted Momentum Outscales SGD
Mila - Quebec AI Institute & Université de Montréal（Mila - 魁北克人工智能研究所 & 蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；McGill University（麦吉尔大学）
研究随机动量算法在幂律随机特征模型下的标度律，揭示四种损失曲线形状，提出维度自适应Nesterov加速（DANA）通过缩放动量超参数超越SGD的标度指数，实验验证其有效性。
2025-05-22 cs.LG math.OC stat.ML
The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion
Stanford University（斯坦福大学）；NTT Research（NTT研究所）；Facebook AI Research（Facebook人工智能研究院）
本文通过推导SGD的连续时间模型和解析求解线性回归相空间动力学，揭示了修正损失与概率流导致的反常扩散机制，并在ResNet-18/ImageNet上验证了理论预测。
2023-12-28 cond-mat.stat-mech cs.LG q-bio.NC
Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Oxford（牛津大学）
本文首次提出DP-SGD的逐实例差分隐私分析，通过修改每步分析并引入新组合定理，证明常见数据集上许多数据点的隐私泄露远低于现有数据无关保证，从而解释隐私攻击失败原因。
2024-07-16 cs.AI cs.CR cs.LG
From high-dimensional & mean-field dynamics to dimensionless ODEs: A unifying approach to SGD in two-layers networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；École Normale Supérieure (ENS) - PSL（巴黎高等师范学院（PSL大学））；CNRS（法国国家科学研究中心）
本文研究了一个双层神经网络的单通道随机梯度下降（SGD）动力学，该神经网络是在高斯数据和由类似（但不一定相同）目标函数生成的标签上训练的。我们严格分析的限制动态通过一个确定性和低维的描述人口风险的充分统计量。我们的统一分析桥梁不同的制度的利益，如经典的梯度流制度的消失的学习率，高维制度的大输入尺寸，和overparameterized的“平均场”制度的大网络宽度，以及覆盖的中间制度，其中的限制动力学是由这些行为之间的相互作用。特别是，在高维极限，无限宽的动态被发现保持接近一个低维子空间跨越的目标主方向。因此，我们的研究结果提供了一个统一的图片与合成数据的限制SGD动态。
2023-02-12 cond-mat.dis-nn cs.LG stat.ML
The Rich and the Simple: On the Implicit Bias of Adam and SGD
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
本研究对比Adam与SGD的隐式偏差，发现Adam在训练神经网络时能产生更丰富特征，形成非线性决策边界，从而在分布偏移下获得更好的泛化性能。
2025-10-24 cs.LG math.OC stat.ML
Data Cleansing with Contrastive Learning for Vocal Note Event Annotations
Ircam（声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Spotify
数据清洗是一种用于清洗数据集中错误标签的策略，但在音乐信息检索中尚未得到广泛应用。以前提出的数据清洗模型不考虑结构化（例如，时变）标签，例如音乐数据常见的标签。我们提出了一种新的数据清洗模型的时变，结构化的标签，利用本地结构的标签，并证明其有用的声乐音符事件注释音乐。%我们的模型通过自动创建可能正确标签的局部变形，以对比学习方式进行训练。我们的模型以对比学习的方式进行训练，通过自动对比可能正确的标签对与它们的局部变形。我们证明，与使用原始数据集训练时的准确性相比，使用我们提出的策略训练时，转录模型的准确性大大提高。此外，我们使用我们的模型来估计DALI数据集中的注释出错率，并强调这种类型的模型的其他潜在用途。
2021-04-27 cs.IR cs.LG cs.SD
Neural network optimization strategies and the topography of the loss landscape
Department of Physics & Astronomy, Rutgers, The State University of New Jersey（物理与天文学系，罗格斯大学）
本文研究了SGD与准牛顿方法在神经网络训练中的表现差异，发现SGD能探索平滑吸引盆地，而准牛顿方法能发现更深孤立的最小值，但泛化能力较弱。
2026-02-24 cs.LG stat.ML
Scalable DP-SGD: Shuffling vs. Poisson Subsampling
Google Research（谷歌研究院）
本研究揭示了洗牌DP-SGD隐私下界与泊松子采样的差距，并提出大规模并行泊松子采样方法，以提升模型效用。
2024-11-06 cs.CR cs.DS cs.LG
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University（雅盖隆大学）
深度神经网络通常使用随机梯度下降（SGD）进行训练，该算法使用非常粗略的梯度近似来最小化目标函数，仅对实际梯度进行平均。标准的方法，如动量或ADAM只考虑一个方向，并不试图从极值模型的距离-忽略了有价值的信息，从计算的梯度序列，往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会，然而，除了遭受非常大的成本和数值不稳定性之外，由于忽略曲率的符号（作为Hessian的特征值），其中许多方法会吸引到次优点，如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力，并被证明可以通过这种方式对最终值提供本质的改进。然而，它忽略了噪声，而建模二阶行为，专注于Krylov子空间的数值原因，并需要昂贵的特征分解。在保持SFN优势的情况下，提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它，在这里的在线设置中：用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中，它可以通过缓慢地将所考虑的方向旋转到新的梯度，逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行：定期执行QR方法的步骤，以保持对角Hessian。在二阶建模子空间之外，我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
SGD-Net: Efficient Model-Based Deep Learning with Theoretical Guarantees
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
深度展开网络最近在解决成像逆问题的背景下越来越受欢迎。然而，传统的深度展开网络中的数据一致性层的计算和存储复杂性与测量的数量成比例，限制了它们对大规模成像逆问题的适用性。我们提出SGD-Net作为一种新的方法，通过数据一致性层的随机近似来提高深度展开的效率。我们的理论分析表明，SGD-Net可以训练成以任意精度近似批量深度展开网络。我们对强度衍射层析成像和稀疏视图计算机层析成像的数值结果表明，SGD-Net可以在训练和测试复杂度的一小部分下匹配批处理网络的性能。
2021-01-22 cs.LG eess.IV
DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM
University of California, Los Angeles（加州大学洛杉矶分校）
由差分私有随机梯度下降（DP-SGD）训练的机器学习（ML）模型的效用比非私有模型低得多。为了减轻这种退化，我们提出了一个DP拉普拉斯平滑SGD（DP-LSSGD）训练ML模型与差分隐私（DP）的保证。DP-LSSGD的核心是拉普拉斯平滑，它平滑掉高斯机制中使用的高斯噪声。在高斯机制中使用的相同数量的噪声下，DP-LSSGD获得了相同的DP保证，但在实践中，DP-LSSGD使凸和非凸ML模型的训练更加稳定，并使训练的模型能够更好地泛化。与DP-SGD算法相比，该算法实现简单，额外的计算复杂性和内存开销可以忽略不计。DP-LSSGD适用于训练各种ML模型，包括DNN。代码可在\url{https://github.com/BaoWangMath/DP-LSSGD}上获得。
2019-12-07 cs.CR cs.LG stat.ML
Separation of time scales and direct computation of weights in deep neural networks
Northeastern University（东北大学）；Northwestern University（西北大学）
人工智能正在以前所未有的速度彻底改变我们的生活。这场革命的核心是深度神经网络（DNN）的最新进展，学习执行复杂的高级任务。然而，训练DNN需要大量的数据，并且计算量非常大。获得对DNN找到的解决方案的分析理解可以帮助我们设计更有效的训练算法，取代常用的随机梯度下降（SGD）方法。我们分析了SGD的动态，并表明，实际上，直接计算的解决方案是可能的，在许多情况下。我们表明，DNN中使用的高性能设置在训练动态中引入了时间尺度的分离，允许SGD从最低（最接近输入）到最高的训练层。然后，我们表明，对于每一层，SGD发现的解决方案的分布可以估计使用基于类的主成分分析（PCA）层的输入。这一发现使我们能够完全放弃SGD，并使用这种基于类的PCA直接导出DNN参数，这可以使用比SGD少得多的数据进行很好的估计。我们在图像数据集MNIST，CIFAR10和CIFAR100上实现了这些结果，并发现，事实上，使用我们基于类的PCA导出的层与使用SGD训练的相同大小和架构的神经网络相当或更好。我们还确认，基于类的PCA通常使用SGD所需数据的一小部分即可收敛。因此，使用我们的方法，通过需要比SGD更少的训练数据，以及通过消除训练的昂贵的反向传播步骤中的层，可以减少训练时间。
2018-03-11 cs.LG physics.data-an stat.ML
Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks
Stanford University（斯坦福大学）
本文揭示SGD的隐式偏差，即噪声吸引动力学趋向简单子网络（随机坍缩），减少参数并提升泛化，并机制性解释大学习率早期训练的好处。
2024-05-29 cs.AI cs.LG stat.ML
Empirically explaining SGD from a line search perspective
University of Tübingen（蒂宾根大学）
深度学习中的优化主要由模糊的直觉和强假设指导，对这些在实践中如何以及为什么起作用的理解有限。为了更好地说明这一点，我们的工作提供了一些更深入的了解SGD的行为，从线搜索的角度通过经验分析SGD采取的轨迹。具体而言，从常用的模型训练CIFAR-10的子集上沿SGD轨迹的全批次损失的昂贵的定量分析。我们的核心结果包括，整批损失沿线更新步骤方向是高度抛物线。进一步，我们表明，存在一个学习率，SGD总是执行几乎精确的线搜索的全批损失。最后，我们提供了一个不同的视角，为什么增加批量大小与降低学习率的效果几乎相同。
2022-11-22 cs.LG math.OC
Gradient-based training of Gaussian Mixture Models for High-Dimensional Streaming Data
Fulda University of Applied Sciences（富尔达应用技术大学）
提出了一种利用非平稳、高维流数据通过随机梯度下降（SGD）有效训练高斯混合模型（GMM）的方法。我们的训练方案不需要数据驱动的参数初始化（例如，k均值），并且因此可以基于随机初始化来训练。此外，该方法允许小批量大小低至1，这对于流式数据设置是典型的。在这样的设置中的主要问题是不可取的局部最优值在早期的训练阶段和数值不稳定性，由于高的数据维度。我们引入了一个自适应退火过程来解决第一个问题，而数值不稳定性被消除，通过使用一个无指数近似的标准GMM对数似然。在各种视觉和非视觉基准测试上的实验表明，我们的SGD方法可以完全在没有基于k均值的质心初始化的情况下进行训练。它还可以与期望最大化（EM）-随机EM（sEM）的在线变体相媲美，对于非常高维的数据，它的表现要好得多。
2021-07-02 cs.LG stat.ML
SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（霍华德·米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院）；School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）
本文通过在线小批量 SGD 训练两层 ReLU 神经网络，首次端到端理论刻画了虚假特征学习，发现 SGD 优先且指数级快速地学习虚假特征，且优化动力学中虚假与信号特征耦合，强虚假成分抑制信号学习。
2026-11-09 cs.LG stat.ML
DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD
Intellifusion Inc.（Intellifusion公司）；Tsinghua University（清华大学）；Johns Hopkins University（约翰霍普金斯大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）
本文提出深度归一化 Transformer（DNT），通过在网络关键位置加入归一化来调节 Jacobian 矩阵并集中梯度分布，使普通 mSGDW 也能有效训练，且在 ViT 与 GPT 上表现更优。
2025-07-23 cs.CL cs.CV cs.LG
Exchangeability and Kernel Invariance in Trained MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
在机器学习模型的分析中，假设参数是IID通常是方便的。当通过诸如SGD的训练过程更新参数时，不满足该假设。IID条件的放松是一种概率对称，称为交换对称。我们显示的意义上，在MLP的权重是可交换的。这产生的结果是，在某些情况下，全连接层的逐层内核在训练期间保持近似恒定。我们确定了一个急剧变化的宏观行为的网络权重之间的协方差从零开始变化。
2018-10-27 cs.LG stat.ML
Closed-Form Bounds for DP-SGD against Record-level Inference
Microsoft Security Response Center（微软安全响应中心）；Microsoft Azure Research（微软Azure研究院）；Microsoft M365 Research（微软M365研究院）
本文针对DP-SGD训练模型的记录级成员推断和属性推断威胁，通过将DP-SGD建模为信息论信道，推导出简单闭式隐私界，在匹配最先进方法精度的同时大幅提升计算效率，并提出了数据依赖的属性推断界。
2024-02-22 cs.CR cs.LG
Towards understanding how momentum improves generalization in deep learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习架构。虽然众所周知，使用动量可以在各种设置中导致更快的收敛速度，但也观察到动量产生更高的泛化。先前的工作认为，动量在训练过程中稳定了SGD噪声，这导致了更高的泛化能力。在本文中，我们采用了另一种观点，并首次实证表明，在某些深度学习问题中，与梯度下降（GD）相比，动量梯度下降（GD+M）显着提高了泛化能力。从这个观察，我们正式研究动量如何提高泛化。我们设计了一个二进制分类设置，其中一个隐藏层（过参数化）卷积神经网络与GD+M训练证明推广优于相同的网络与GD训练，当这两种算法类似地初始化。我们分析中的关键见解是，动量在数据集中是有益的，其中示例共享一些特征，但它们的边际不同。与记忆小边缘数据的GD相反，GD+M仍然学习这些数据中的特征，这要归功于其历史梯度。最后，我们实证验证我们的理论研究结果。
2022-07-13 cs.LG stat.ML
An Analysis of Constant Step Size SGD in the Non-convex Regime: Asymptotic Normality and Bias
University of Toronto（多伦多大学）；Vector Institute（向量学院）；University of California, Davis（加州大学戴维斯分校）
结构化非凸学习问题是统计机器学习中经常遇到的一类问题，其临界点具有良好的统计性质。数学收敛和统计估计率是很好地理解这样的问题。然而，量化与底层训练算法相关的不确定性在非凸设置中没有得到很好的研究。为了解决这个缺点，在这项工作中，我们建立了一个渐近正态性结果的恒定步长随机梯度下降（SGD）算法-在实践中广泛使用的算法。特别地，基于SGD和马尔可夫链之间的关系[DDB 19]，我们证明了SGD迭代的平均值在其唯一不变分布的期望值周围渐近正态分布，只要非凸和非光滑的目标函数满足耗散性。我们还刻画了在各种局部正则条件下，期望值与目标函数临界点之间的偏差。总之，可以利用上述两个结果来构建使用SGD算法训练的非凸问题的置信区间。
2020-07-30 cs.LG math.OC math.ST
