Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Department of EECS, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运营研究系）
本文提出针对重尾噪声下的随机预条件SGD的最坏情况复杂性理论，证明归一化在收敛速率上优于裁剪，解释了大规模训练中归一化的偏好。
2026-02-13 cs.LG cs.NA math.NA
Batch Normalization Orthogonalizes Representations in Deep Random Networks
INRIA Paris（巴黎法国国家信息与自动化研究所）；ETH Zurich（苏黎世联邦理工学院）；INRIA-ENS-PSL Paris（巴黎法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学）
本文强调了批量归一化（BN）的一个微妙特性：使用随机线性变换的连续批量归一化使隐藏表示在深层神经网络的各个层之间越来越正交。我们建立了深度，宽度和深度表示的正交性之间的相互作用的非渐近表征。更确切地说，在一个温和的假设下，我们证明了从正交性的表示的偏差迅速衰减与深度成反比的网络宽度的一项。这个结果有两个主要的含义：1）理论上，随着深度的增加，表示的分布-在线性层之后-收缩到围绕各向同性高斯分布的Wasserstein-2球。此外，这个Wasserstein球的半径随着网络的宽度而缩小。2)在实际应用中，表示的正交性直接影响随机梯度下降（SGD）的性能。当表示最初对齐时，我们观察到SGD在分类之前浪费了许多迭代来正交化表示。然而，我们的实验表明，从正交表示开始优化足以加速SGD，而不需要BN。
2021-06-07 cs.AI cs.LG stat.ML
Data-Dependent Path Normalization in Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Microsoft Research（微软研究院）；University of Toronto（多伦多大学）
我们提出了一个统一的神经网络规范化，正则化和优化框架，其中包括Path-SGD和Batch-Normalization，并在两个不同的维度上进行插值。通过这个框架，我们调查的最优化，数据依赖性和自然梯度的连接的不变性问题。
2016-01-19 cs.LG
Preconditioner on Matrix Lie Group for SGD
GMEMS Technologies and Spectimbre（GMEMS技术和Spectimbre（公司））；Fairview Way, Milpitas, CA 95035（366 Fairview Way, Milpitas, CA 95035（地址，非机构））
我们研究了两种类型的预条件和预条件随机梯度下降（SGD）方法在一个统一的框架。第一种方法与Newton方法有密切的关系，我们称之为Newton型;第二种方法与费舍尔信息矩阵的逆有密切的关系，我们称之为Fisher型。这两个预条件可以从一个框架中导出，并使用自然或相对梯度下降最小化某些预条件估计标准在用户指定的任何矩阵李群上进行有效估计。许多现有的预处理器和方法，例如，RMSProp、Adam、KFAC、平衡SGD、批次标准化等，是Newton型或Fisher型的特例或与之密切相关。针对较大规模的机器学习问题，给出了相应的实验结果.
2018-12-25 cs.LG stat.ML
Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes
Preferred Networks, Inc.（Preferred Networks 公司）
我们证明了在ImageNet上训练ResNet-50 90个epoch可以在15分钟内使用1024个Tesla P100 GPU实现。这是通过使用32 k的大minibatch大小来实现的。为了保持这种大的小批量大小的准确性，我们采用了几种技术，如RMSprop预热，批量归一化没有移动平均值，和一个慢启动学习率调度。本文还详细介绍了实现上述性能所采用的系统硬件和软件。
2017-11-12 cs.CV cs.DC cs.LG
From Gradient Clipping to Normalization for Heavy Tailed SGD
ETH Zurich（苏黎世联邦理工学院）
针对重尾梯度噪声下梯度裁剪理论的缺陷，提出归一化SGD（NSGD），给出参数无关的采样复杂度并证明其最优性，同时实现高概率收敛。
2025-07-09 cs.LG math.OC stat.ML
Convergence Analysis of Randomized Subspace Normalized SGD under Heavy-Tailed Noise
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（前沿智能项目研究中心）
本文提出随机子空间归一化SGD方法，在重尾噪声下实现高概率收敛界，并优于全维度归一化SGD的oracle复杂度。
2026-01-29 cs.LG math.OC stat.ML
Equi-normalization of Neural Networks
Facebook AI Research（Facebook人工智能研究）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息科学与自动化研究所）
现代神经网络被过度参数化。特别地，每个整流线性隐藏单元可以通过调整输入和输出权重由乘法因子修改，而不改变网络的其余部分。受Sinkhorn-Knopp算法的启发，我们引入了一种快速的迭代法来最小化权值的L2范数，等价于权重衰减正则化器。它可以证明收敛到一个唯一的解。在训练过程中将我们的算法与SGD交叉使用可以提高测试精度。对于小批量，我们的方法提供了一种替代CIFAR-10和ImageNet上使用ResNet-18进行批量和组归一化的方法。
2019-02-27 cs.CV cs.LG
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong（香港城市大学）
在具有批量归一化的深度神经网络（BN-DNN）的训练实践中，权重衰减通常用于确保良好的泛化，其中由于归一化，一些卷积层对于权重重新缩放是不变的。在本文中，我们证明了权重衰减的实际使用仍然有一些未解决的问题，尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面，当使用非自适应学习率（例如，具有动量的SGD）时，有效学习率甚至在初始训练阶段之后继续增加，这导致许多神经架构中的过拟合效应。另一方面，在SGDM和自适应学习率优化器（如Adam）中，权重衰减对泛化的影响对超参数非常敏感。因此，找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用一个简单而有效的权重重新缩放（WRS）计划作为权重衰减的替代方案，规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数，这防止了梯度的大幅增加，但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中，与权重衰减、隐式权重重缩放（权重标准化）和梯度投影（AdamP）相比，WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究证明，在重尾噪声下，裁剪的去中心化随机梯度下降（DSGD）能实现阶最优收敛率并具有线性加速，与归一化方法形成对比，凸显了裁剪在保留幅度信息方面的优势。
2026-10-08 cs.LG cs.MA math.OC
A Solvable Model of Adaptive Learning Rate Rescaling: Acceleration, Stability & Scaling
Harvard University（哈佛大学）
本文通过可解模型研究归一化SGD中自适应学习率重缩放，揭示其加速与边际稳定性机制，并量化宽度和批量对资源缩放的影响。
2026-10-06 cond-mat.dis-nn cs.LG stat.ML
On the Double Descent of Random Features Models Trained with SGD
EPFL（洛桑联邦理工学院）；KU Leuven（鲁汶大学）
我们研究了随机特征（RF）回归在下/过参数化机制下通过随机梯度下降（SGD）优化的高维空间中的泛化特性。在这项工作中，我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置，并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化，标签噪声和数据采样（以及随机梯度）的多个随机性来源，而没有封闭形式的解决方案，并且也超越了常用的高斯/球形数据假设。我们的理论结果表明，使用SGD训练，RF回归仍然可以很好地推广插值学习，并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外，我们还证明了恒定步长的SGD设置时，收敛速度没有损失相比，精确的最小范数的最小值，作为一个理论上的理由，在实践中使用SGD。
2022-10-16 cs.LG stat.ML
An Exponential Learning Rate Schedule for Deep Learning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
有趣的经验证据表明，深度学习可以很好地与异国情调的时间表配合使用，以改变学习率。本文认为，这种现象可能是由于批量归一化或BN，这是无处不在的，并提供在所有标准体系结构的优化和推广的好处。以下是关于具有权重衰减和动量的BN的新结果（换句话说，在独立BN的早期理论分析中没有考虑的典型用例）。1.训练可以使用具有动量的SGD和指数增加的学习率调度来完成，即，对于某个$α>0$，学习率在每个时期中增加某个$(1 +α)$因子。（论文中的准确表述）据我们所知，这是第一次成功地使用这样的费率表，更不用说非常成功的架构了。正如预期的那样，这种训练会迅速提高网络权重，但由于归一化，网络保持良好的行为。2.上述速率表成功的数学解释：严格证明了它等同于BN + SGD + StandardRate Tuning +权重衰减+动量的标准设置。这种等价性也适用于其他规范化层，Group Normalization，LayerNormalization，Instance Norm等。一个说明上述超参数链接的玩具示例。单独使用权重衰减或BN达到全局最小值，但当两者都使用时，收敛失败。
2019-11-21 cs.LG stat.ML
Spherical Perspective on Learning with Normalization Layers
Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Département d’informatique de l’ENS, PSL（巴黎高等师范学院计算机系（巴黎文理研究大学））；Inria（法国国家信息与自动化研究所）
规范化层（Normalization Layers，NLs）广泛用于现代深度学习架构。尽管它们明显简单，但它们对优化的影响尚未完全理解。本文引入了一个球形框架，从几何角度研究了具有自然语言的神经网络的优化问题。具体地，参数组（例如卷积神经网络的滤波器）的径向不变性允许在$L_2$单位超球面上平移优化步骤。这个公式和相关的几何解释揭示了新的光的训练动态。首先推导了Adam的第一有效学习率表达式。然后证明，在存在NL的情况下，单独执行随机梯度下降（SGD）实际上相当于亚当约束到单位超球面的变体，源于该框架。最后，该分析概述了亚当以前的变体作用的现象，并通过实验验证了它们在优化过程中的重要性。
2022-05-19 cs.LG stat.ML
Shape Matters: Understanding the Implicit Bias of the Noise Covariance
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）中的噪声为训练过参数化模型提供了至关重要的隐式正则化效应。以前的理论工作主要集中在球形高斯噪声，而经验研究表明，参数相关的噪声-由小批量或标签扰动引起的-比高斯噪声更有效。本文从理论上描述了这种现象的二次参数化模型介绍Vaskevicius等人。和Woodworth et el.我们表明，在一个过参数化的设置，SGD标签噪声恢复稀疏地面真理与任意初始化，而SGD高斯噪声或梯度下降过拟合到稠密的解决方案与大的规范。我们的分析表明，参数相关的噪声引入了一个偏向局部极小值较小的噪声方差，而球面高斯噪声没有。我们项目的代码是公开的。
2020-06-18 cs.LG stat.ML
DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD
Intellifusion Inc.（Intellifusion公司）；Tsinghua University（清华大学）；Johns Hopkins University（约翰霍普金斯大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）
本文提出深度归一化 Transformer（DNT），通过在网络关键位置加入归一化来调节 Jacobian 矩阵并集中梯度分布，使普通 mSGDW 也能有效训练，且在 ViT 与 GPT 上表现更优。
2025-07-23 cs.CL cs.CV cs.LG
Truncated Kernel Stochastic Gradient Descent on Spheres
Fudan University（复旦大学）
受球面调和函数启发，提出截断核随机梯度下降算法，通过低维子空间投影实现动态正则化，在常数步长下达到最优收敛率并克服饱和问题，同时大幅降低计算与存储成本。
2025-07-16 cs.LG
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自定进度学习和硬示例挖掘重新加权训练实例，以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降（SGD）：方差预测概率的正确类跨迭代的小批量SGD，正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明，我们的方法可靠地提高了各种网络架构的准确性，包括在其他流行的训练技术（如残差学习、动量、ADAM、批量归一化、dropout和蒸馏）之上的额外增益。
2018-01-06 cs.LG stat.ML
Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Department of Mathematics, University of Bayreuth, Bayreuth 95440, Germany（拜鲁特大学数学系，拜鲁特95440，德国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学当代应用数学上海重点实验室，上海200433，中国）；Center for Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学应用数学中心，上海200433，中国）
本文提出了一种新的核随机梯度下降算法，通过创新的正则化策略提升效率和可扩展性，利用球面径向基函数的无穷级数展开将随机梯度投影到有限维假设空间，从而提升泛化性能。
2026-10-03 cs.LG
Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；InnoCORE LLM University（InnoCORE LLM大学）；University of California, Davis（加州大学戴维斯分校）
本文研究了SignSGD在在线性回归中的缩放规律，揭示其在特定条件下优于SGD的机制。
2026-09-22 cs.AI cs.LG math.OC
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
提出了一种权值相似性度量方法，可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性，我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值，该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法，研究了多层感知器（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）的权值相似性度量，发现用随机梯度下降（SGD）算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
通过确保学习算法中的差分隐私，可以严格地减轻大型模型记忆敏感训练数据的风险。在本文中，我们研究了两个算法，即，DP-SGD和DP-NSGD，它们首先剪切或归一化\textit{per-sample}梯度以限制灵敏度，然后添加噪声以混淆确切的信息。我们分析了这两个算法在非凸优化设置的两个共同的假设，并实现了率$\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}}\right)$的梯度范数的$d$维模型，$N$样本和$(ε,δ)$ -DP，这改善了以前的界限下弱得多的假设。具体来说，我们在DP-NSGD中引入了正则化因子，并表明它在收敛性证明中至关重要，并巧妙地控制了偏差和噪声的权衡。我们的证明特意处理了为私有设置指定的每个样本的梯度裁剪和标准化。从经验上讲，我们证明，这两种算法实现了类似的最佳精度，而DP-NSGD是比较容易调整比DP-SGD，因此可能有助于进一步节省隐私预算时，会计调整工作。
2022-06-27 cs.IT cs.LG math.IT
Asymmetric Valleys: Beyond Sharp and Flat Local Minima
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；MIT（麻省理工学院）
尽管其损失函数具有非凸性质，但已知深度神经网络在使用随机梯度下降（SGD）优化时具有良好的泛化能力。最近的工作推测，具有适当配置的SGD能够找到宽且平坦的局部最小值，这被认为与良好的泛化性能相关。在本文中，我们观察到现代深度网络的局部极小值不仅仅是平坦或尖锐的。具体来说，在局部最小值处存在许多不对称方向，使得损耗沿着一侧突然增加，并且沿着相对侧缓慢增加-我们正式地将这种最小值定义为不对称谷。在温和的假设下，我们证明了，对于不对称的山谷，偏向于平坦的一面的解决方案推广比精确的极小。此外，我们表明，简单地平均沿着SGD轨迹的权重会产生这样的偏见的解决方案隐含。这为Izmailov等人（2018）观察到的有趣现象提供了理论解释。此外，我们的经验发现，批量归一化（BN）似乎是一个主要原因不对称的山谷。
2019-04-07 cs.LG stat.ML
Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds
针对距离相关矩下的非凸SGD，证明了有限时域平稳性界并匹配BG-0下界，无需修改算法，并给出高概率界。
2026-10-08 cs.LG stat.ML
Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Novi Sad（诺维萨德大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出非线性SGD在重尾噪声下的高概率收敛速率分析，通过对称化方法改进非对称噪声处理，实现更优的收敛性能。
2026-02-10 cs.LG math.OC stat.ML
Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Sung Kyun Kwan University（顺天妇女大学）；New York University and Flatiron Institute（纽约大学和Flatiron研究所）；University of Southern California（南加州大学）
研究单索引学习中全批量GD与单次SGD的样本复杂度差异，发现通过截断激活函数，全批量GD在n≃d样本时实现弱恢复，优于单次SGD的n≳d log d样本需求。
2026-06-05 cs.LG stat.ML
Learning a Single Index Model from Anisotropic Data with vanilla Stochastic Gradient Descent
RIKEN AIP（理化学研究所人工智能项目（RIKEN AIP））；University of Tokyo（东京大学）
本文研究了在各向异性高斯输入下使用原始SGD训练神经元学习单指数模型（SIM）的问题，证明了原始SGD能自动适应协方差结构，并基于协方差结构决定的有效维度推导了样本复杂度的上下界。
2025-03-31 cs.LG stat.ML
AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights
Naver AI Lab（Naver人工智能实验室）；Naver Clova；Yonsei University（延世大学）
规范化技术是现代深度学习的福音。它们让权重更快地收敛，通常具有更好的泛化性能。有人认为，归一化引起的权重之间的尺度不变性为梯度下降（GD）优化器提供了有利的基础：有效步长随时间自动减小，稳定了整个训练过程。然而，经常被忽视的是，在GD优化器中额外引入动量会导致尺度不变权重的有效步长更快地减小，这种现象尚未被研究，并且可能在当前实践中引起不必要的副作用。这是一个至关重要的问题，因为可以说绝大多数现代深度神经网络由（1）基于动量的GD（例如SGD或Adam）和（2）尺度不变参数组成。在本文中，我们验证了这两种成分的广泛采用的组合导致有效步长和次优模型性能的过早衰减。我们提出了一个简单而有效的补救措施，SGDP和AdamP：在每个优化步骤中消除径向分量或范数增加方向。由于该方法具有尺度不变性，只改变有效步长而不改变有效更新方向，从而保持了GD算法原有的收敛特性。鉴于动量GD和尺度不变性在机器学习中的普遍存在，我们已经在13个基准上对我们的方法进行了评估。它们的范围从视觉任务，如分类（例如ImageNet），检索（例如CUB和SOP）和检测（例如COCO）到语言建模（例如WikiText）和音频分类（例如DCASE）任务。我们验证了我们的解决方案在这些基准测试中带来了一致的收益。源代码可在https://github.com/clovaai/AdamP上获得。
2021-01-18 cs.CV cs.LG stat.ML
The Break-Even Point on Optimization Trajectories of Deep Neural Networks
New York University（纽约大学）；Jagiellonian University（雅盖隆大学）；Stanford University（斯坦福大学）；Salesforce Research（Salesforce研究院）；Facebook AI Research（脸书人工智能研究院）
深度神经网络训练的早期阶段对于其最终性能至关重要。在这项工作中，我们研究了在训练的早期阶段使用的随机梯度下降（SGD）的超参数如何影响优化轨迹的其余部分。我们认为存在的“盈亏平衡”点上的轨迹，超过该曲率的损失表面和噪声的梯度是隐式正则化的SGD。特别是，我们证明了在多个分类任务中，在训练的初始阶段使用大的学习率降低了梯度的方差，并提高了梯度协方差的条件。从优化的角度来看，这些效果是有益的，并且在盈亏平衡点之后变得可见。补充以前的工作，我们还表明，使用低学习率的结果在不良条件下的损失表面，即使是神经网络与批量归一化层。简而言之，我们的工作表明，损失表面的关键属性在训练的早期阶段受到SGD的强烈影响。我们认为，研究所确定的效果对泛化的影响是一个很有前途的未来方向。
2020-02-21 cs.LG stat.ML
Fine-grained Optimization of Deep Neural Networks
在最近的研究中，理论上推导了深度神经网络（DNN）泛化误差的几个渐近上界。这些边界是DNN的权重的几个范数的函数，例如Frobenius范数和谱范数，并且它们是针对根据DNN的输入和输出通道分组的权重计算的。在这项工作中，我们推测，如果我们可以施加多重约束的权重DNN的上界的权重的范数，并训练的DNN与这些权重，那么我们可以获得经验的泛化误差更接近推导出的理论界，并提高DNN的准确性。为此，我们提出两个问题。首先，我们的目标是获得权重，其不同的范数都由一个常数（例如1.0）上界。为了实现这些界限，我们提出了一个两阶段的重正化过程;（i）根据界限中使用的不同规范对权重进行归一化，以及（ii）对归一化权重进行重新参数化，以设置其规范的恒定和有限的上限。在第二个问题中，我们考虑用这些重正化权重训练DNN。为此，我们首先提出了一种策略，根据DNN中的不同约束来构建权重的联合空间（流形）。接下来，我们提出了一种细粒度SGD算法（FG-SGD），用于优化权重流形，以训练DNN，并确保收敛到最小值。实验结果表明，使用FG-SGD可以提高基线DNN的图像分类精度。
2019-05-22 cs.CV cs.LG math.OC
Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps
研究热身 - 稳定 - 衰减学习率调度中冷却阶段效果，发现其取决于梯度噪声结构和优化器更新归一化。通过理论分析和模拟，揭示不同情况下冷却的作用机制，还在真实分类任务中验证噪声 regime 诊断，解释冷却是否有帮助。
2026-07-15 cs.LG
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化（SWN）和指数权重归一化（EWN），并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降，并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明，EWN的原因权重更新的方式，更喜欢渐近相对稀疏。对于EWN，我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张，即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA（英伟达）
我们提出了NovoGrad，自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中，它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外，NovoGrad（1）对学习率和权重初始化的选择具有鲁棒性，（2）在大批量设置中工作良好，（3）内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
A Theoretical Analysis of the Learning Dynamics under Class Imbalance
EPFL（洛桑联邦理工学院）；Eawag (ETH)（瑞士水科学与技术研究所（瑞士联邦理工学院关联机构））；University of Basel（巴塞尔大学）
本文从理论上分析了类别不平衡对学习动力学的影响，发现少数类和多数类的学习曲线遵循次优轨迹，并提出通过逐类梯度归一化可缓解全批量梯度下降中各类损失不降的问题，同时揭示了该方法在SGD中因少数类方向噪声增加而受限的原因。
2024-02-19 cs.LG stat.ML
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们研究了如何通过随机梯度下降找到的最终参数受到过参数化的影响。我们通过增加基础网络中的通道数量来生成模型族，然后执行大型超参数搜索以研究测试误差如何取决于学习率、批量大小和网络宽度。我们发现，最佳SGD超参数是由“归一化噪声尺度”，这是一个函数的批量大小，学习率，和初始化条件。在没有批量归一化的情况下，最佳归一化噪声尺度与宽度成正比。更宽的网络，具有更高的最佳噪声尺度，也可以实现更高的测试精度。这些观察结果适用于MLP，ConvNets和ResNets，以及两种不同的参数化方案（“标准”和“NTK”）。我们观察到ResNets的批量归一化也有类似的趋势。令人惊讶的是，由于最大稳定学习率是有界的，与最佳归一化噪声尺度一致的最大批量大小随着宽度的增加而减小。
2019-05-09 cs.AI cs.CV cs.LG
Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
Department of Computer Science, The University of Tokyo（东京大学计算机科学系）
通过梯度异质性分析，揭示Adam优化器优于SGD的原因，证明其与符号方法的关联，以及层归一化对异质性的影响。
2026-08-19 cs.AI cs.LG cs.NE
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich（苏黎世联邦理工学院）
本文回顾了所谓的消失梯度现象，这通常发生在深度随机初始化神经网络。利用对神经链的深入分析，我们首先证明，当网络宽度小于O（深度）时，即使使用流行的Xavier和He初始化初始化，也无法规避消失梯度。其次，我们扩展到二阶导数的分析，并表明，随机i.i.d.初始化也会产生Hessian矩阵，其特征谱随着网络深度的增长而消失。每当这种情况发生时，优化器都会在一个非常平坦的鞍点状高原中初始化，这是特别难以用随机梯度下降（SGD）逃脱的，因为它的逃脱时间与曲率成反比。我们认为，这一观察结果对于充分理解（a）使用香草SGD训练深度网络的历史困难，（b）自适应梯度方法的成功（自然适应曲率，从而快速逃离平坦高原）以及（c）现代架构组件（如剩余连接和归一化层）的有效性至关重要。
2021-06-07 cs.LG
REPAIR: REnormalizing Permuted Activations for Interpolation Repair
Hive AI；Google Research（谷歌研究院）；TU Graz（格拉茨技术大学）；CSH Vienna（维也纳复杂科学中心）
本文提出 REPAIR 方法，通过重整化插值网络的预激活值来缓解方差坍缩，从而显著降低 SGD 解之间线性插值的损失障碍，在多种架构和任务上实现 60%-100% 的相对障碍降低。
2023-09-25 cs.AI cs.CV cs.LG
Optimization for deep learning: theory and algorithms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
什么时候以及为什么神经网络可以成功训练？本文概述了训练神经网络的优化算法和理论。首先，我们讨论了梯度爆炸/消失的问题和更普遍的问题，不期望的频谱，然后讨论实际的解决方案，包括仔细的初始化和归一化方法。其次，我们回顾了用于训练神经网络的通用优化方法，如SGD，自适应梯度方法和分布式方法，以及这些算法的理论结果。第三，我们回顾了神经网络训练的全局问题的现有研究，包括坏局部极小，模式连通性，彩票假设和无限宽度分析的结果。
2019-12-19 cs.LG math.OC stat.ML
On the Maximum Hessian Eigenvalue and Generalization
Carnegie Mellon University（卡内基梅隆大学）
本文质疑 Hessian 最大特征值 $λ_{max}$ 对神经网络泛化的解释力，通过多种训练干预实验发现泛化收益与 $λ_{max}$ 减小并非始终一致。
2023-05-23 cs.LG stat.ML
How Important is Weight Symmetry in Backpropagation?
Center for Brains, Minds and Machines, McGovern Institute（麦戈文研究所脑、心智与机器中心）；Massachusetts Institute of Technology（麻省理工学院）
梯度反向传播（BP）需要对称的前馈和反馈连接--前向和后向传递必须使用相同的权重。这种“重量转移问题”（Grossberg 1987）被认为是怀疑BP生物相容性的主要原因之一。使用15个不同的分类数据集，我们系统地研究了BP在多大程度上真正依赖于权重对称性。在一项与Lillicrap等人的精神惊人相似的研究中，的示威（Lillicrap等人，2014年），但在其结果正交，我们的实验表明：（1）反馈权重的大小与性能无关（2）反馈权重的符号确实重要--前馈与其对应的反馈连接之间的符号越一致，越好（3）反馈权重具有随机大小和100%一致的符号，我们能够实现与SGD相同甚至更好的性能。(4)某些归一化/稳定化对于这种非对称BP的工作是必不可少的，即批量归一化（BN）（Ioffe和Szegedy 2015）和/或“批量曼哈顿”（BM）更新规则。
2016-02-04 cs.LG
How Does BN Increase Collapsed Neural Network Filters?
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
提高深度神经网络（DNN）的稀疏性对于网络压缩至关重要，并引起了广泛关注。在这项工作中，我们公开了一种称为过滤器崩溃的有害稀疏化过程，这在具有批量归一化（BN）和整流线性激活函数（例如ReLU，Leaky ReLU）的DNN中很常见。即使没有显式的稀疏诱导正则化，如$L_1$，它也会发生。这种现象是由BN的归一化效应引起的，它在参数空间中引入了不可训练区域，从而降低了网络容量。当网络用大的学习率（LR）或自适应LR训练器训练时，以及当网络被微调时，这种现象变得更加突出。我们分析证明，BN的参数趋于成为稀疏SGD更新与高梯度噪声和稀疏化的概率是成正比的平方学习率和成反比的尺度参数的平方BN。为了防止不期望的崩溃滤波器，我们提出了一种简单而有效的方法，称为后移位BN（psBN），它具有与BN相同的表示能力，同时能够自动使BN参数在训练期间饱和时再次可训练。使用psBN，我们可以恢复崩溃的过滤器并提高各种任务的模型性能，例如CIFAR-10上的分类和MS-COCO 2017上的目标检测。
2020-01-31 cs.LG stat.ML
Scaling Limits of Wide Neural Networks with Weight Sharing: Gaussian Process Behavior, Gradient Independence, and Neural Tangent Kernel Derivation
Microsoft Research AI（微软研究院AI）
机器学习理论和实践中的几个最新趋势，从最先进的高斯过程的设计到随机梯度下降（SGD）下深度神经网络（DNN）的收敛性分析，都发现研究宽随机神经网络是富有成效的。这些方法的核心是此类网络的某些扩展限制。我们统一这些结果通过引入一个直线\emph{tensor program}，可以表示大多数神经网络计算的概念，我们表征其缩放极限时，它的张量是大的和随机的。从我们的框架中得出（1）随机神经网络到高斯过程的收敛，用于诸如递归神经网络、卷积神经网络、残差网络、注意力及其任何组合的架构，具有或不具有批量归一化;（2）\emph{gradient independence assumption} --反向传播中的权重可以被假设为独立于正向传递中的权重--的条件，导致梯度动力学的正确计算，以及当其不正确时的校正;（3）神经切线核的收敛，该内核是最近提出的用于预测梯度下降下的神经网络的训练动力学的内核，在（1）中的所有架构的初始化时，没有批量归一化。在数学上，我们的框架是一般性的，足以重新推导经典的随机矩阵的结果，如循环和Marchenko-Pastur法律，以及最近的结果在神经网络雅可比奇异值。我们希望我们的工作为设计更强的高斯过程、避免梯度爆炸/消失的初始化方案以及更深入地理解现代架构中的SGD动态开辟了一条道路。
2020-04-04 cond-mat.dis-nn cs.LG cs.NE
Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）；IAS（高等研究院）
最近的作品（例如，(Li和Arora，2020））表明，在当今的深度学习中使用流行的归一化方案（包括批量归一化）可以使其远离传统的优化观点，例如，使用指数增长的学习率。本文强调了规范化网络的行为偏离传统观点的其他方式，然后通过对传统框架的适当调整，即通过适当的随机微分方程（STD）建模SGD诱导的训练轨迹，并通过捕获梯度噪声的噪声项，启动了一个正式的框架来研究它们的数学。这产生：（a）新的“固有学习率”参数，其是正常学习率和权重衰减因子的乘积。分析的有效学习速度的变化和平衡的内在LR的控制下，随着时间的推移。(b)通过理论和实验对流行的观点提出了挑战，即良好的泛化需要在训练开始时有很大的学习率。(c)由数学直觉支持的新实验表明，达到平衡（在函数空间中）的步骤数量与内在学习率成反比，而不是指数时间收敛边界。我们称之为快速平衡猜想，并建议它持有的关键，为什么批量归一化是有效的。
2020-10-06 cs.LG
Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling
Faculty of Technical Sciences, University of Novi Sad（技术科学学院，诺维萨德大学）；Faculty of Sciences, University of Novi Sad（科学学院，诺维萨德大学）
本文提出R-SGD-Mini方法，通过中位数小批量梯度采样处理重尾噪声，证明了在非凸设定下梯度范数收敛至零的速率，并在已知时间 horizon 时达到O(T^{-1/2})的收敛速度。
2026-05-08 cs.LG math.OC math.ST
Scalable Natural Gradient Langevin Dynamics in Practice
Department of Biomedical Engineering, Columbia University（哥伦比亚大学生物医学工程系）
随机梯度朗之万动力学（SGLD）是一种适用于大型数据集和模型的贝叶斯建模抽样方案。SGLD依赖于在随机梯度下降（SGD）更新的每一步注入高斯噪声。在该方案中，噪声向量中的每个分量都是独立的，并且具有相同的尺度，而我们试图估计的参数在尺度和显著的相关结构中表现出强烈的变化，导致收敛性差和混合时间。我们比较了不同的预处理方法对噪声向量的归一化，并根据以下标准对这些方法进行了基准测试：1）多变量参数向量的混合时间，2）对容易过拟合的小数据集的正则化效果，3）协变量偏移检测和4）抵抗对抗性示例。
2018-06-07 cs.AI cs.LG cs.NE
Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
Department of Electrical and Computer Engineering, University of Minnesota, USA（电气与计算机工程系，明尼苏达大学，美国）；School of Mathematics and Statistics, University of Sydney, Australia（数学与统计学学院，悉尼大学，澳大利亚）
本文研究了如何通过简单的优化器设计改进，使SGD在预训练中达到最先进的性能，提出了SCALE优化器，在内存使用上比Adam更高效，并在多个模型上表现优于现有内存高效的优化器。
2026-05-20 cs.AI cs.LG math.OC
Online Second Order Methods for Non-Convex Stochastic Optimizations
基于预条件随机梯度下降（PSGD）理论，提出了一类求解可能非凸随机最优化的在线二阶方法，该方法可以看作是一种增强的随机牛顿法，同时具有处理梯度噪声和非凸性的能力.我们以几种方式改进了原始PSGD的实现，例如，新形式的预条件，更精确的海森向量积计算，以及更好的数值稳定性与消失或病态海森，等等。我们还揭示了Kronecker乘积预处理器的特征归一化和PSGD之间的关系，这解释了Kronecker乘积预处理器在深度神经网络学习中的优异性能。提供了一个在Tensorflow中实现的软件包（https：//github.com/lixilinx/psgd_tf），用于在具有常用神经网络架构的各种基准问题上比较随机梯度下降（SGD）和PSGD的变化，卷积和递归神经网络。实验结果清楚地表明PSGD的泛化性能和收敛速度方面的优势。
2018-04-29 cs.LG stat.ML
Equivariance Breaks the Learning Rate
University of Stuttgart（斯图加特大学）；Bitdefender（比特 Defender（比特防御者））
本文发现等变网络中不可约表示块的梯度结构导致Adam学习率不匹配，提出块归一化方法，结合动量调整使Adam在势模型上媲美Muon。
2026-10-01 cs.AI cs.LG
Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺维萨德大学理学院）
该研究针对重尾噪声下的非线性随机梯度方法，以黑盒方式处理有界非线性函数，推导了非凸与强凸场景下的大偏差上界、最优MSE速率及几乎必然收敛速率，改进了现有结果。
2025-03-22 cs.LG math.OC math.PR
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras；Tesla（特斯拉）；Cerebras Systems, Inc（Cerebras Systems 公司）；Google（谷歌）
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发，探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中，我们评估使用小批量，细粒度的流水线反向传播，异步流水线并行训练算法，具有显着的硬件优势。我们介绍了两种方法，尖峰补偿和线性权重预测，有效地减轻了由流水线反向传播的并行性造成的缺点，并在我们的设置中优于现有技术。我们表明，适当的规范化和小批量也可以帮助训练。使用我们的方法，使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练，而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
Distribution of Classification Margins: Are All Data Equal?
Center for Brains, Minds + Machines（大脑、心智与机器中心）；MIT（麻省理工学院）；Brown University（布朗大学）
最近的理论结果表明，指数损失函数下的深度神经网络上的梯度下降局部最大化分类间隔，这相当于在间隔约束下最小化权重矩阵的范数。然而，解决方案的这个属性并不能完全表征泛化性能。我们从理论上激励和经验表明，训练集上的边际分布曲线下的面积实际上是一个很好的泛化措施。然后，我们表明，在实现数据分离后，可以动态减少训练集超过99%，而不会显着损失性能。有趣的是，所得到的“高容量”特征的子集在不同的训练运行中并不一致，这与理论上的主张一致，即在SGD下以及在存在批量归一化和权重衰减的情况下，所有训练点都应该收敛到相同的渐近裕度。
2021-07-21 cs.AI cs.LG stat.ML
Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；NTT Research（NTT研究院）；Peking University（北京大学）；The University of Tokyo（东京大学）
本文研究指数对称性下随机梯度下降的动力学，证明梯度噪声产生诺特流并收敛到唯一噪声均衡点，该机制可解释渐进锐化/平坦化及表征形成，并指导表征归一化与预热等技术。
2024-11-07 cs.LG math.OC stat.ML
Gradient-Based Feature Learning under Structured Data
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；New York University（纽约大学）；Flatiron Institute（弗莱泰伦研究所）；University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
研究结构化数据下基于梯度的特征学习，揭示各向异性设置中球面梯度动力学的缺陷，提出权重归一化缓解方案，并利用尖峰协方差与目标对齐改善样本复杂度。
2023-09-07 cs.LG stat.ML
