Batch size invariant Adam
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
针对分布式训练中 Adam 随 micro-batch 划分而改变更新尺度的问题，本文通过先平方后平均梯度构造 v 项，在无需梯度方差主导假设的情况下实现批量大小不变性。
2024-02-29 cs.LG
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia（不列颠哥伦比亚大学）；CIFAR（加拿大高等研究院）；Amii（阿尔伯塔机器智能研究所）
本文通过改变批量大小直至全批量来检验重尾噪声假设，证明随机性并非 Transformer 上 Adam 优于 SGD 的主因，并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes
Google Research（谷歌研究院）
最近，LARS和LAMB优化器已经被提出用于使用大批量更快地训练神经网络。LARS和LAMB分别为Heavy-ball momentum和Adam的更新规则添加了逐层规范化，并在著名的基准测试和深度学习库中流行。然而，如果没有与标准优化器进行公平的比较，LARS和LAMB是否比传统的通用算法有任何好处仍然是一个悬而未决的问题。在这项工作中，我们证明了标准的优化算法，如Nesterov动量和亚当可以匹配或超过LARS和LAMB在大批量的结果。我们的研究结果建立了新的，更强大的基线，为未来的比较，在这些批量大小，并揭示了比较优化的神经网络训练更普遍的困难。
2021-06-09 cs.LG stat.ML
Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学 Kempner 机构）；University of California, Berkeley（加州大学伯克利分校）
研究如何加速大语言模型预训练，提出Seesaw框架，通过平衡学习率和批量调度，在保留损失动态时减少串行步骤。理论上给出相关等效性证明并扩展，实验表明该框架能在相同浮点运算量下减少时钟时间，接近理论极限。
2026-07-28 cs.AI cs.LG math.OC
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
Tencent Hunyuan（腾讯混元）；Institute of Computational Social Science, Peking University（北京大学计算社会科学研究院）；University of Macau（澳门大学）
本文针对Adam风格优化器，理论推导并实验验证最优学习率随批量大小先升后降的激增缩放定律及其峰值随训练向大批量移动的规律。
2024-10-28 cs.LG
Online Batch Selection for Faster Training of Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络通常使用随机非凸优化过程进行训练，该过程由在数据集的分数（批次）上估计的梯度信息驱动。虽然人们普遍认为批量大小是离线调优的一个重要参数，但对在线选择批量的好处仍然知之甚少。我们调查在线批量选择策略的两个国家的最先进的方法的随机梯度为基础的优化，AdaDelta和亚当。由于整个数据集要最小化的损失函数是各个数据点的损失函数的聚合，直观地说，应该更频繁地考虑（批量选择）具有最大损失的数据点。然而，这种直觉的局限性和随着时间的推移对选择压力的适当控制是一个悬而未决的问题。我们提出了一个简单的策略，所有的数据点排名w.r.t.它们的最新已知损失值和被选择的概率作为等级的函数呈指数衰减。我们在MNIST数据集上的实验结果表明，选择批次可以将AdaDelta和Adam的速度提高约5倍。
2016-04-25 cs.LG cs.NE math.OC
Non-Convergence and Limit Cycles in the Adam optimizer
OTH Regensburg（雷根斯堡应用技术大学）
深度神经网络最流行的训练算法之一是由Kingma和Ba引入的自适应矩估计（Adam）。尽管它在许多应用中取得了成功，但没有令人满意的收敛性分析：在超参数的某些限制下，批处理模式只能显示局部收敛，增量模式存在反例。最近的研究结果表明，对于简单的二次目标函数，在批处理模式下存在周期为2的极限环，但仅限于非典型超参数，并且仅限于没有偏差校正的算法。更一般地，有几种更自适应的梯度方法，它们试图从训练数据中估计拟合学习率和/或搜索方向，以与具有固定学习率的纯梯度下降相比改进学习过程。我们扩展了亚当在批处理模式下的收敛性分析与偏差校正，并表明，即使是二次目标函数作为最简单的情况下凸函数2极限环存在，所有的超参数的选择。我们分析了这些极限环的稳定性，并与我们的分析，其他结果的近似收敛，但在额外的假设下，有界梯度不适用于二次函数。由于方程的复杂性，调查严重依赖于计算机代数的使用。
2022-10-05 cs.LG cs.NA math.NA
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Adam with Bandit Sampling for Deep Learning
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
Adam是一种广泛用于训练深度学习模型的优化方法。它计算不同参数的个体自适应学习率。在本文中，我们提出了一个推广亚当，称为亚当，使我们能够适应不同的训练样本的基础上，他们在模型的收敛的重要性。为了实现这一点，我们在所有的例子中保持一个分布，在每次迭代中根据这个分布进行采样，选择一个小批量，我们使用多臂强盗算法进行更新。这确保了对模型训练更有益的示例以更高的概率被采样。我们从理论上证明了Adambs在某些情况下提高了Adam- $O(\sqrt{\frac{\log n}{T} })$而不是$O(\sqrt{\frac{n}{T}})$的收敛速度。在各种模型和数据集上的实验证明了Adambs在实践中的快速收敛。
2020-10-24 cs.LG stat.ML
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT AI实验室）；A*STAR（新加坡科技研究局）
针对大语言模型微调中的内存瓶颈，提出快速零阶优化器FZOO，通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算，在准确率和收敛速度上显著优于MeZO，实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
Adam Converges Without Any Modification On Update Rules
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究证明Adam在适当的问题依赖超参数下可收敛，并揭示了Adam在不同超参数组合下的相变特性，为优化器调参提供了理论依据。
2026-03-02 cs.LG math.OC
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院，香港中文大学（深圳））；School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院和人工智能学院，香港中文大学（深圳））
针对强凸随机优化问题，证明了Adam优化器的收敛速率，并通过Adam对称性定理揭示了其收敛到全局最优解当且仅当数据对称分布，否则不收敛。
2026-06-23 cs.LG math.OC
Revisiting the Adam-SGD Gap in LLM Pre-Training: The Role of Large Effective Learning Rates
University of Minnesota（明尼苏达大学）
本文通过实证和理论分析，发现SGD在LLM预训练中表现较差的原因在于其无法维持与Adam相媲美的有效学习率，而大有效学习率需求源于小梯度范数和大权重-梯度比，且在大批次大小下更加明显。通过简单剪枝机制，SGD在大学习率下能恢复大部分Adam性能，实验显示验证损失差距从超过50%降至约3.5%。
2026-05-18 cs.LG
Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文证明全批量 AdamW 隐式执行参数 $\ell_\infty$ 范数约束优化，并在发散学习率部分和条件下收敛至对应 KKT 点。
2024-04-05 cs.LG math.OC stat.ML
APOLLO: SGD-like Memory, AdamW-level Performance
Meta
本文提出APOLLO优化器，用纯随机投影的低秩辅助状态近似AdamW学习率缩放，以近SGD内存达到AdamW级预训练性能，并显著提升吞吐量与可扩展性。
2025-02-17 cs.AI cs.LG cs.PF
A Theory on Adam Instability in Large-Scale Machine Learning
Meta AI
本文提出 Adam 优化器在大批量深度模型训练中可能因更新范数过大且与损失下降方向不相关而导致发散的理论，并通过 70亿至 5460亿参数模型的训练观察加以验证。
2023-04-25 cs.AI cs.LG math.OC
Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers
研究将高阶 RK 积分器用于神经网络优化器，构建 Adam 变体并在计算匹配协议下评估，发现其“适应性”虚幻，修复后训练损失降低但对初始步长敏感，未达测试精度，还证实梯度平均是隐式正则化器，高阶自适应积分优势不明显。
2026-07-17 cs.LG math.OC stat.ML
Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions
Department of Statistics Faculty of Mathematical Sciences（统计学系数学科学学院）；Division of Computer Science Department of Applied Mathematics Faculty of Mathematical Sciences（计算机科学系应用数学系数学科学学院）
本文提出SR-Adam算法，通过Stein规则收缩改进高维随机梯度估计，在大规模学习中实现更优的性能。
2026-02-06 cs.AI cs.LG math.ST
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA（英伟达）
我们提出了NovoGrad，自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中，它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外，NovoGrad（1）对学习率和权重初始化的选择具有鲁棒性，（2）在大批量设置中工作良好，（3）内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research（Salesforce研究院）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说，我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程（SDEs），因为一个算法和它的收敛行为相似。然后，我们建立这些SDES从当地盆地的逃逸时间。结果表明：（1）SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关，与梯度噪声的强弱呈负相关;（2）对于同一流域，SGD比ADAM具有更小的逃逸时间，主要是因为（a）ADAM中的几何适应~通过对各梯度坐标的自适应缩放，很好地消除了梯度噪声中的各向异性结构，使盆地的Radon测度增大;（b）ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定，并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值，通常比尖锐的极小值更好地推广，我们的结果解释了SGD优于ADAM的推广性能。最后，实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
Finite-Horizon Input-Output Dynamics of Minibatch Perturbations in AdamW
School of Future Technology, Xi’an Jiaotong University（西安交通大学未来技术学院）；National University of Singapore（新加坡国立大学）
该研究针对AdamW优化器，建立有限时域ISO系统模型，推导符号响应算子与多步误差分解，通过实验验证小批量扰动的延迟影响机制，为优化器动力学分析提供了理论与实证支撑。
2026-08-21 cs.AI cs.LG math.OC
Adam-mini: Use Fewer Learning Rates To Gain More
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Duke University（杜克大学）；Anthropic（Anthropic公司）；Stanford University（斯坦福大学）
Adam-mini通过按Hessian结构划分参数块并为每块分配单一学习率，减少Adam中99.9%以上学习率，内存减半，性能与AdamW相当或更优，并提升吞吐量。
2025-02-24 cs.AI cs.LG
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出 Adam Accumulation（AdamA）方法，通过将梯度直接整合进优化器状态并在微批次上累积，同时减少激活与梯度内存，在保持 Adam 收敛性的前提下实现高达 23% 的内存降低，并支持训练更大规模模型。
2023-05-31 cs.AI cs.LG
On the Principles Behind Neural Network Optimizers
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本论文为优化器Adam建立了有原则的基础，通过海森矩阵结构分析其在Transformer上优于SGD的原因，提出内存减半且性能不变的新优化器Adam-mini，还为其他NN优化器提供了新见解。
2026-08-18 cs.LG math.OC
A Sufficient Condition for Convergences of Adam and RMSProp
Tencent AI Lab（腾讯AI实验室）；Stony Brook University（石英布鲁克大学）
本文提出了一种易于检查的充分条件，该条件仅依赖于基础学习率参数和历史二阶矩量的组合，以保证通用的Adam/RMSProp算法在大规模非凸随机优化中的全局收敛性，并展示了几种Adam变体在非凸设置下的收敛性可由此条件直接推导。
2019-06-25 cs.CV cs.LG cs.NA
Scaling Distributed Training with Adaptive Summation
Microsoft Research（微软研究院）；Microsoft（微软）
随机梯度下降（SGD）是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们（例如，对每个批次的梯度求和，这不是顺序SGD将做的），并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum（自适应总和），收敛速度比以前的工作。Adasum易于实现，几乎与简单的梯度求和一样高效，并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum，然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究，以展示Adasum与多个框架（TensorFlow和PyTorch）一起工作，将多个优化器（Momentum-SGD，Adam和LAMB）扩展到更大的批量，同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之，Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例（没有MLPerf v0.5条目收敛超过16 K），Adam优化器在BERT-LARGE上通信之前达到64 K示例（之前的工作表明Adam在16 K时停止扩展），LAMB优化器在BERT-LARGE上通信之前扩展到128 K（先前的工作使用64 K），同时保持下游的准确性指标。最后，如果用户不需要扩展，我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong（香港城市大学）
在具有批量归一化的深度神经网络（BN-DNN）的训练实践中，权重衰减通常用于确保良好的泛化，其中由于归一化，一些卷积层对于权重重新缩放是不变的。在本文中，我们证明了权重衰减的实际使用仍然有一些未解决的问题，尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面，当使用非自适应学习率（例如，具有动量的SGD）时，有效学习率甚至在初始训练阶段之后继续增加，这导致许多神经架构中的过拟合效应。另一方面，在SGDM和自适应学习率优化器（如Adam）中，权重衰减对泛化的影响对超参数非常敏感。因此，找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用一个简单而有效的权重重新缩放（WRS）计划作为权重衰减的替代方案，规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数，这防止了梯度的大幅增加，但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中，与权重衰减、隐式权重重缩放（权重标准化）和梯度投影（AdamP）相比，WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
增加批量大小是加速神经网络训练的一种流行方法，但超过某些临界批量大小，更大的批量大小会产生收益递减。在这项工作中，我们研究了如何关键批量的基础上的优化算法，包括加速和预处理，通过两个不同的镜头的属性变化：大规模的实验，和一个简单的噪声二次模型（NQM）的分析。我们的实验表明，优化算法，采用预处理，特别是亚当和K-FAC，导致更大的临界批量比随机梯度下降的势头。我们还证明了NQM捕获了真实神经网络训练的许多基本特征，尽管使用起来非常简单。NQM使用预处理优化器预测我们的结果，使用加速梯度下降的先前结果，以及围绕最佳学习率和大批量训练的其他结果，使其成为生成有关神经网络优化的可测试预测的有用工具。
2019-10-28 cs.LG stat.ML
MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients
University of Maryland（马里兰大学）；Microsoft（微软）；Tsinghua University（清华大学）
自适应梯度方法如RMSProp和Adam使用平方梯度的指数移动估计来计算自适应步长，在面对噪声目标时实现比SGD更好的收敛性。然而，由于不稳定或极端的自适应学习率，Adam可能具有不期望的收敛行为。已经提出了AMSGrad和AdaBound等方法来稳定Adam在训练后期的自适应学习率，但在训练Transformers \cite{transformer}等实际任务中，它们并没有超过Adam。在本文中，我们提出了一个自适应学习率原则，其中亚当的梯度平方的运行平均值被替换为加权平均值，权重选择为最大化每个坐标的估计方差。这导致对局部梯度方差的更快适应，这导致比Adam更理想的经验收敛行为。我们证明了所提出的算法收敛非凸随机优化问题在温和的假设下，并证明了我们的自适应平均方法在机器翻译，自然语言理解和大批量预训练的BERT的改进功效。该代码可在https://github.com/zhuchen03/MaxVA上获得。
2021-07-04 cs.LG stat.ML
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures
Computer Science Department, UCLA（计算机科学系，加州大学洛杉矶分校）
提出CoLM方法，通过包含小数据源样本、梯度历史指数归一化和零阶方法稀疏化V投影矩阵梯度，解决LLM在数据混合物上小批量核心集训练的内存瓶颈，实现2倍内存降低且优于4倍大批量训练。
2025-05-28 cs.AI cs.CL cs.LG
The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers
本文识别并分析了Adam等自适应优化器训练中的纪元锯齿现象（ESP），揭示其源于二阶矩估计导致的自适应学习率调整及数据洗牌中的样本即时重曝光效应，并通过高维二次任务验证其普遍性。
2025-06-18 cs.AI cs.LG stat.ML
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg（雷根斯堡应用技术大学）
自适应矩估计（ADAM）是一种非常流行的深度神经网络训练算法，属于自适应梯度下降优化器家族。然而，据作者所知，没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法，给出了ADAM算法超参数的必要条件。由于参数的局部性质，目标函数可以是非凸的，但必须至少是两次连续可微的。然后，我们将这个过程应用到其他自适应梯度下降算法，并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Don't Decay the Learning Rate, Increase the Batch Size
Google Brain（谷歌大脑）
降低学习率是常见的做法。在这里，我们展示了通常可以在训练和测试集上获得相同的学习曲线，而不是在训练过程中增加批量大小。这个过程是成功的随机梯度下降（SGD），SGD与动量，Nesterov动量，亚当。它在相同数量的训练时期后达到相同的测试精度，但参数更新更少，导致更大的并行性和更短的训练时间。我们可以通过增加学习率$ε$和缩放批量大小$B \propto ε$来进一步减少参数更新的次数。最后，可以增加动量系数$m$和缩放$B \propto 1/(1-m)$，尽管这倾向于稍微降低测试精度。至关重要的是，我们的技术允许我们重新利用现有的训练计划进行大批量训练，而无需超参数调整。我们在ImageNet上对ResNet-50进行训练，使其在30分钟内达到$76.1\%$验证准确性。
2018-02-24 cs.CV cs.DC cs.LG
Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）
本文通过频谱分析揭示Muon优于Adam的机制，提出SAMuon及其简化版SAMuon-lite，在多规模modded-nanogpt模型上，二者均优于AdamW和Muon，且SAMuon可减少13.3%-24.0%训练令牌。
2026-08-27 cs.LG
Practical Efficiency of Muon for Pretraining
Essential AI
该研究证明二阶优化器Muon在预训练的计算-时间权衡上拓展了优于AdamW的帕累托前沿，结合muP实现高效超参数迁移，提出低开销伸缩算法，经40亿参数规模实验验证可实现更经济的大批量训练。
2025-05-20 cs.LG stat.ML
Adaptive Optimization with Examplewise Gradients
University College London（伦敦大学学院）
我们提出了一种新的，更一般的方法来设计随机梯度为基础的优化方法的机器学习。在这个新框架中，优化器假设每次迭代都可以访问一批梯度估计，而不是单个估计。这更好地反映了典型机器学习设置中实际可用的信息。为了证明这种广义方法的有用性，我们开发了夏娃，亚当优化器的适应，它使用示例梯度来获得更准确的二阶矩估计。我们提供了初步的实验，没有超参数调整，这表明新的优化器在小规模的基准测试中的性能略优于亚当，在大规模的基准测试中的性能相同或更差。需要进一步的工作来完善算法和调整超参数。
2021-11-30 cs.AI cs.LG cs.NE
Memory-Efficient Adaptive Optimization
Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）
Adagrad和Adam等基于梯度的自适应优化器对于在机器翻译和语言建模中实现最先进的性能至关重要。然而，这些方法维护每个参数的二阶统计量，从而引入了显著的内存开销，限制了所使用的模型的大小以及小批量中的示例数量。我们描述了一个有效的和灵活的自适应优化方法，大大减少了内存开销。我们的方法保留了每个参数自适应的优点，同时允许更大的模型和批量大小。我们给出了我们的方法的收敛保证，并证明了它的有效性，在训练非常大的翻译和语言模型与2倍的加速比的最先进的。
2019-09-11 cs.LG math.OC stat.ML
Adam or Gauss-Newton? A Comparative Study In Terms of Basis Alignment and SGD Noise
Kempner Institute at Harvard University（哈佛大学凯普纳研究所）；OpenAI（开放人工智能研究院）
本研究比较了Adam与Gauss-Newton对角预条件优化器，分析基选择与梯度噪声的影响，发现Adam在全批量下可优于GN，在随机机制下与GN^{-1/2}相似，并通过实验验证。
2026-09-29 cs.LG
Adaptive Gradient Methods at the Edge of Stability
Google Research, Brain Team（谷歌研究院大脑团队）
本文实证发现Adam等自适应梯度方法在训练中会达到“自适应稳定性边缘”，并能通过调整预条件器继续进入高曲率区域，区别于非自适应方法在稳定性边缘的行为，为理解其训练动力学奠定基础。
2024-04-15 cs.LG
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自定进度学习和硬示例挖掘重新加权训练实例，以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降（SGD）：方差预测概率的正确类跨迭代的小批量SGD，正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明，我们的方法可靠地提高了各种网络架构的准确性，包括在其他流行的训练技术（如残差学习、动量、ADAM、批量归一化、dropout和蒸馏）之上的额外增益。
2018-01-06 cs.LG stat.ML
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度，并基于 FSDP 实现，验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration
Apple（苹果公司）
本文提出了一种统一宽度、深度、批大小和持续时间缩放的参数化方法，实现了跨模块超参数的优化与转移，提升了大规模模型的训练效率。
2025-12-26 cs.AI cs.LG stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
The Effect of Different Optimization Strategies to Physics-Constrained Deep Learning for Soil Moisture Estimation
本文提出一种物理约束深度学习框架，通过整合水分运移物理原理重建土壤水分动态，并比较Adam、RMSprop和GD三种优化器，发现Adam在收敛性上表现最佳。
2024-03-13 cs.LG eess.SP
Promoting Exploration in Memory-Augmented Adam using Critical Momenta
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔理工学院）；Samsung SAIT AI Lab Montreal（三星SAIT人工智能实验室蒙特利尔分部）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文提出记忆增强型 Adam，通过临界动量项缓冲区促使优化器越过尖锐极小值并探索平坦解，在多类视觉、语言和在线学习任务上提升泛化性能。
2024-06-17 cs.AI cs.LG
Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究证明在浅层ReLU神经网络训练中，SGD类优化器（含Adam）以高概率不收敛于全局极小值，并构造了风险值不同的局部极小值层次结构，解释其训练成功的原因。
2024-02-07 cs.LG math.OC
SoftSignSGD(S3): An Enhanced Optimizer for Practical DNN Training and Loss Spikes Minimization Beyond Adam
Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）
提出S3优化器，通过灵活p阶动量、统一EMA系数和等效NAG模块，实现快速稳定收敛并最小化损失尖峰，在视觉和语言任务上超越AdamW。
2025-07-09 cs.AI cs.LG
Automated Learning Rate Scheduler for Large-batch Training
Kakao Brain
大批量训练对于在深度学习中利用大规模数据集和模型至关重要。虽然使用大批量在计算上是有益的，但它通常需要专门设计的学习率（LR）调度来实现与较小批量训练相当的性能水平。特别是，当训练时期的数量受到限制时，由于更新步骤的数量减少，使用大LR和预热策略在大批量训练的最终性能中是至关重要的。在这项工作中，我们提出了一个自动LR调度算法，这是有效的神经网络训练下，给定的历元预算大批量。具体来说，整个时间表由两个阶段组成：自适应预热和预定义衰减，其中LR增加，直到训练损失不再减少，并减少到零，直到训练结束。这里，训练损失是否已经达到最小值是通过高斯过程平滑以低计算负担的在线方式鲁棒地检查的。再加上自适应随机优化器，如AdamP和LAMB，所提出的调度成功地调整LR没有繁琐的超参数调整，并实现可比或更好的性能比调整基线上的各种图像分类基准和架构具有广泛的批量大小。
2021-07-13 cs.LG
Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training
AI Theory Lab（AI理论实验室）；Huawei（华为）；Machine Learning Research Group and Oxford-Man Institute for Quantitative Finance（机器学习研究组与牛津-曼量化金融研究所）；University of Oxford（牛津大学）
我们使用尖峰，场依赖随机矩阵理论研究了mini-bandwidth对深度神经网络损失景观的影响。我们证明了批量海森函数的极值的大小大于经验海森函数的极值。我们也得到了类似的结果广义高斯-牛顿矩阵近似的海森。作为我们的定理的结果，我们推导出作为批量大小的函数的最大学习率的解析表达式，为随机梯度下降（线性缩放）和自适应算法（如Adam（平方根缩放））提供实用的训练方案，用于平滑的非凸深度神经网络。虽然随机梯度下降的线性缩放已经在更严格的条件下推导出来，我们概括了自适应优化器的平方根缩放规则，据我们所知，是完全新颖的。对于随机二阶方法和自适应方法，我们推导出最小阻尼系数与学习率与批量大小之比成正比。我们在CIFAR- $100$和ImageNet数据集上验证了我们对VGG/WideResNet架构的声明。基于我们对子采样Hessian的研究，我们开发了一种基于飞行学习率和动量学习器的随机Lanczos求积，这避免了对这些关键超参数进行昂贵的多次评估的需要，并在CIFAR- $100$的预残差架构上显示了良好的初步结果。
2021-11-05 cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Supervised Batch Normalization
针对批量归一化在多样数据分布下失效的问题，提出监督批量归一化，通过预识别数据模式实现有效归一化，在CIFAR-100上提升15.13%准确率，并在域适应中优于BN。
2024-05-27 cs.LG
When Do Larger Batches Help Scale LLM Reinforcement Learning?
Tencent（腾讯）
该研究针对大语言模型强化学习，通过分离算法与系统效应，提出更大批次缩短目标时间的决策规则，结合GRPO、PPO实验验证了学习率调整与批次优化可缩短目标时间。
2026-09-01 cs.AI cs.LG
