Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer
Arizona State University（亚利桑那州立大学）
增加深度学习模型的批量大小是一项具有挑战性的任务。虽然它可能有助于在模型的训练阶段充分利用可用的系统内存，但它通常会导致测试准确性的显著损失。LARS通过为深度学习模型的每一层引入自适应学习率来解决这个问题。然而，人们对流行的分布式机器学习系统（如SystemML或MLlib）如何使用此优化器表示怀疑。在这项工作中，我们将LARS优化器应用于使用SystemML实现的深度学习模型。我们使用各种批量大小进行实验，并将LARS优化器的性能与\textit{Stochastic Gradient Descent}进行比较。我们的实验结果表明，LARS优化器的性能显着优于随机梯度下降大批量，即使与分布式机器学习框架，SystemML。
2021-02-05 cs.LG
Convergence Bound and Critical Batch Size of Muon Optimizer
Meiji University（立命经济大学）；Université de Montréal（蒙特利尔大学）；Mila（蒙特利尔人工智能研究院）
本文理论分析了Muon优化器在四种实际设置下的收敛性，证明权重衰减确保参数和梯度范数有界，并推导了临界批量大小的下界，揭示了超参数β和λ对其缩放的影响。
2026-06-08 cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
New York University（纽约大学）；Columbia University（哥伦比亚大学）
本研究发现小批量训练可稳定训练语言模型，优于大批次，且能使用普通SGD实现稳定训练，无需动量和优化器状态。
2025-12-15 cs.LG
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.（苹果公司）
与传统的基于梯度下降的优化算法相比，基于非线性共轭梯度（NLCG）的优化算法具有更好的损失收敛特性。然而，在深度神经网络（DNN）训练中，选择的主要优化算法仍然是随机梯度下降（SGD）及其变体。在这项工作中，我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现，非线性共轭梯度算法提高了DNN训练的收敛速度，特别是在大型小批量场景中，这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务，在超过65 k的超大型小批量时，NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务，在超过16 k的超大型小批量时，NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上，用于200个epoch。
2019-11-20 cs.LG stat.ML
Batch-Expansion Training: An Efficient Optimization Framework
UC Santa Cruz（加州大学圣克鲁兹分校）；Facebook Research（脸书研究院）；Microsoft Corporation（微软公司）
我们提出了批量扩展训练（BET），这是一个在逐渐扩展的数据集上运行批量优化器的框架。与随机方法相反，批次不需要重新采样i.i.d.。在每次迭代时，从而使BET在分布式设置中以及当磁盘访问受到约束时更有效地利用资源。此外，BET可以很容易地与大多数批量优化器配对，不需要任何参数调整，并与现有的随机和批量方法相媲美。我们表明，当批量大小与外部迭代次数呈指数增长时，BET实现了强凸目标的最佳$O(1/ε)$数据访问收敛速度。并行和分布式环境下的实验表明，BET比标准的批处理和随机方法更好。
2018-02-23 cs.LG
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University（明治大学）
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响，证明使用临界批量大小可最小化SFO复杂度，并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
本文提出通过解耦QN更新和批量调用获取函数，以提高贝叶斯优化的效率，减少计算开销。
2025-12-09 cs.AI cs.LG
Minibatching Offers Improved Generalization Performance for Second Order Optimizers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Washington State University（华盛顿州立大学）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）；University of Washington（华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
该研究针对深度神经网络训练成本高的问题，通过带交互项的双因素ANOVA实证分析批量大小对优化器性能的影响，发现小批量能提升二阶优化器的泛化性能，且其方差更低、调参需求更少。
2023-05-26 cs.LG
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
INRIA Lille（法国国家信息与自动化研究所里尔中心）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一种新的方法来自动确定批量大小的随机梯度下降方法。批量大小的选择导致梯度估计的准确性和每次更新的样本成本之间的权衡。我们建议通过优化下限到预期改进的线性或二次泰勒近似和用于估计梯度的样本数之间的比率来确定批量大小。所提出的方法的性能进行了实证比较与流行的分类任务的相关方法。这项工作是在NIPS研讨会上提出的优化优化。2016年，西班牙巴塞罗那。
2017-12-09 cs.LG stat.ML
CoRe Optimizer: An All-in-One Solution for Machine Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出CoRe优化器作为机器学习的一体化解决方案，通过在多种任务中与Adam等九种算法对比，证明其仅需调整一个超参数即可实现最佳或具竞争力的性能。
2024-02-18 cs.LG math.OC physics.comp-ph
Dynamic Batch Adaptation
"Alexandru Ioan Cuza" University（亚历山德鲁·伊万·库扎大学）
当前的深度学习自适应优化器方法通过改变每个参数使用的有效学习率来调整参数更新的步长。基于已知的批量大小和更新步长上的学习率之间的反比关系，我们引入了一种新的训练过程，该过程动态地决定当前更新步长的维度和组成。我们的程序，动态批量自适应（DBA）分析每个样本的梯度，并选择最能改善某些指标的子集，例如网络每层的梯度方差。我们目前的结果显示DBA显着提高了模型收敛的速度。此外，我们发现，DBA在数据稀缺的条件下使用时，除了收敛速度，它还显着提高了模型的泛化能力，管理训练一个网络与一个单一的完全连接的隐藏层使用只有1%的MNIST数据集，达到97.79%的测试准确度。在更极端的情况下，它可以达到97.44%的测试准确率，每个类只使用10个样本。与标准优化器随机梯度下降（SGD）和Adam相比，这些结果分别表示相对出错率降低了81.78%和88.07%。
2022-08-01 cs.AI cs.CV cs.LG
Blog: Survey of Optimizers
该综述梳理了2025-2026年神经网络优化的进展，沿四个轴组织相关方法，指出矩阵感知方法是进步但无AdamW的通用替代方案，需结合多因素评估优化器。
2026-08-31 cs.AI cs.LG
Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
增加批量大小是加速神经网络训练的一种流行方法，但超过某些临界批量大小，更大的批量大小会产生收益递减。在这项工作中，我们研究了如何关键批量的基础上的优化算法，包括加速和预处理，通过两个不同的镜头的属性变化：大规模的实验，和一个简单的噪声二次模型（NQM）的分析。我们的实验表明，优化算法，采用预处理，特别是亚当和K-FAC，导致更大的临界批量比随机梯度下降的势头。我们还证明了NQM捕获了真实神经网络训练的许多基本特征，尽管使用起来非常简单。NQM使用预处理优化器预测我们的结果，使用加速梯度下降的先前结果，以及围绕最佳学习率和大批量训练的其他结果，使其成为生成有关神经网络优化的可测试预测的有用工具。
2019-10-28 cs.LG stat.ML
FairBatch: Batch Selection for Model Fairness
KAIST（韩国科学技术院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
训练一个公平的机器学习模型对于防止人口差异至关重要。用于提高模型公平性的现有技术需要在数据预处理或模型训练中进行广泛的改变，使得它们难以被潜在的已经复杂的机器学习系统采用。我们通过双层优化的镜头来解决这个问题。在保持标准训练算法作为内部优化器的同时，我们引入了外部优化器，以便为内部问题提供额外的功能：自适应地选择minibatch大小，以提高模型的公平性。我们的批量选择算法，我们称之为FairBatch，实现了这种优化，并支持突出的公平性措施：平等机会，均衡赔率和人口均等。FairBatch具有显著的实现优势-它不需要对数据预处理或模型训练进行任何修改。例如，PyTorch代码的单行更改用于替换模型训练的批量选择部分，足以使用FairBatch。我们在合成和基准真实数据上进行的实验表明，FairBatch可以提供这些功能，同时实现与现有技术相当（甚至更高）的性能。此外，FairBatch可以通过微调轻松提高任何预训练模型的公平性。它还与现有的用于不同目的的批量选择技术兼容，例如更快的收敛，从而优雅地实现多个目的。
2021-06-02 cs.AI cs.LG stat.ML
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
GreedySnake: Accelerating SSD-Offloaded LLM Training with Efficient Scheduling and Optimizer Step Overlapping
Tsinghua University（清华大学）
GreedySnake通过高效调度和优化器步长重叠，显著提升了SSD卸载LLM训练的吞吐量，实验显示在不同规模的GPU上均取得显著性能提升。
2026-01-24 cs.AI cs.LG cs.PF
Immediate Derivatives Suffice for Online Recurrent Adaptation
Independent Researcher（独立研究者）
本文证明在线递归学习无需传播雅可比张量，通过即时导数实现与全RTRL相似的性能，展示了在不同优化器和网络结构下的有效性。
2026-04-26 cs.LG
Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves
Google Research, Brain Team（谷歌研究院，大脑团队）
就像用学习功能取代手工设计的功能彻底改变了我们解决感知任务的方式一样，我们相信学习算法将改变我们训练模型的方式。在这项工作中，我们专注于通用的学习优化器，能够训练各种各样的问题，没有用户指定的超参数。我们引入了一个新的，神经网络参数化，分层优化器，访问额外的功能，如验证损失，使自动正则化。大多数学习优化器只在单个任务或少量任务上进行训练。我们对数千个任务进行训练优化器，利用数量级更多的计算，从而使优化器更好地推广到看不见的任务。学习的优化器不仅表现良好，而且学习行为不同于现有的一阶优化器。例如，它们生成具有隐式正则化的更新步骤，并随着问题超参数（例如批量大小）或架构（例如神经网络宽度）的变化而适应。最后，这些学习的优化器显示出对分布任务有用的证据，例如从头开始训练自己。
2020-09-23 cs.LG cs.NE stat.ML
Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent
Université Laval（拉瓦尔大学）
研究随机梯度下降中的参数噪声注入，提出线性层逐样本噪声注入的高效方法，并实验证明简单各向同性噪声即可达到复杂方案的优化与泛化效果。
2026-06-11 cs.LG
Optimizer Dynamics at the Edge of Stability with Differential Privacy
Simon Fraser University（西蒙弗雷泽大学）
研究揭示了在差分隐私下，神经网络优化的边缘稳定性动态及隐私保护对优化过程的影响。
2025-12-22 cs.LG
StableGrad: Backward Scale Control without Batch Normalization
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）
本文提出StableGrad，一种在无需批量归一化的情况下通过优化器层面控制权重-梯度缩放来稳定深度神经网络训练的方法，特别适用于物理信息神经网络等场景。
2026-05-19 cs.AI cs.LG
Large Batch Optimization for Deep Learning: Training BERT in 76 minutes
Google Brain（谷歌大脑）；Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
在海量数据集上训练大型深度神经网络在计算上非常具有挑战性。最近，人们对使用大批量随机优化方法来解决这个问题的兴趣激增。在这一研究领域最突出的算法是LARS，它通过采用分层自适应学习率，在几分钟内在ImageNet上训练ResNet。然而，LARS对于像BERT这样的注意力模型表现不佳，这表明它的性能增益在不同任务之间并不一致。在本文中，我们首先研究了一种原则性的分层自适应策略，以加速使用大型小批量的深度神经网络的训练。使用这种策略，我们开发了一种新的分层自适应大批量优化技术，称为LAMB，然后我们提供LAMB以及LARS的收敛性分析，显示收敛到一个固定点在一般的非凸设置。我们的实证结果证明了LAMB在各种任务（如BERT和ResNet-50训练）中的卓越性能，并且几乎没有超参数调整。特别是，对于BERT训练，我们的优化器可以使用32868的超大批量，而不会降低性能。通过将批量大小增加到TPUv 3 Pod的内存限制，BERT训练时间可以从3天缩短到76分钟（表1）。LAMB实现可在https://github.com/tensorflow/addons/blob/master/tensorflow_addons/optimizers/lamb.py上获得
2020-01-03 cs.AI cs.CL cs.LG
Per-example gradients: a new frontier for understanding and improving optimizers
Google DeepMind（谷歌DeepMind）
本文通过每例梯度变换分析了signSGD和Adam预条件器，揭示了优化中的关键操作位置与参数选择对性能的影响。
2026-03-02 cs.LG
Task Attended Meta-Learning for Few-Shot Learning
Indian Institute of Technology, Ropar（印度理工学院罗巴尔分校）
元学习（ML）已经成为在诸如少样本学习之类的受限资源设置下的学习模型的一个有前途的方向。ML的流行方法要么通过情景训练来学习可泛化的初始模型，要么学习通用的参数优化器。前一种方法利用一批任务的知识来学习最优先验。在这项工作中，我们研究了一个批次的ML的重要性。具体来说，我们首先采用了一个批量情景训练方案，以提高通用参数优化器的学习。我们还假设，批量情景训练中的常见假设，即批量中的每个任务对学习最佳元模型的贡献相等，不一定是真的。我们建议根据任务在提高元模型学习中的“重要性”来对任务进行批量加权。为此，我们引入了一个由人类选择性聚焦激励的训练课程，称为任务参加元训练，以批量加权任务。任务注意力是一个独立的模块，可以与任何批量情景训练方案相结合。在miniImageNet和tieredImageNet等复杂数据集上将模型与非任务参与的模型进行比较，验证了其有效性。
2021-06-20 cs.AI cs.CV cs.LG
Non-Convergence and Limit Cycles in the Adam optimizer
OTH Regensburg（雷根斯堡应用技术大学）
深度神经网络最流行的训练算法之一是由Kingma和Ba引入的自适应矩估计（Adam）。尽管它在许多应用中取得了成功，但没有令人满意的收敛性分析：在超参数的某些限制下，批处理模式只能显示局部收敛，增量模式存在反例。最近的研究结果表明，对于简单的二次目标函数，在批处理模式下存在周期为2的极限环，但仅限于非典型超参数，并且仅限于没有偏差校正的算法。更一般地，有几种更自适应的梯度方法，它们试图从训练数据中估计拟合学习率和/或搜索方向，以与具有固定学习率的纯梯度下降相比改进学习过程。我们扩展了亚当在批处理模式下的收敛性分析与偏差校正，并表明，即使是二次目标函数作为最简单的情况下凸函数2极限环存在，所有的超参数的选择。我们分析了这些极限环的稳定性，并与我们的分析，其他结果的近似收敛，但在额外的假设下，有界梯度不适用于二次函数。由于方程的复杂性，调查严重依赖于计算机代数的使用。
2022-10-05 cs.LG cs.NA math.NA
PipeOptim: Ensuring Effective 1F1B Schedule with Optimizer-Dependent Weight Prediction
College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院）；School of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）
针对异步流水线训练中1F1B调度的权重不一致与陈旧问题，提出优化器依赖的权重预测策略PipeOptim，通过前向传播前预测权重保证参数一致性，实验证明其在吞吐量和学习效果上优于多款主流方法。
2025-02-15 cs.AI cs.LG
Exploring Landscapes for Better Minima along Valleys
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院过程工程研究所状态关键实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对深度学习中优化器易陷入局部极小值的问题，提出适配器“E”引导优化器沿损失景观山谷继续探索，以寻找更低且泛化更好的极小值，并在大批量训练中将基准优化器的测试准确率平均提升2.5%。
2025-10-31 cs.AI cs.LG math.OC
MERIT: Maximum-normalized Element-wise Ratio for Language Model Large-batch Training
School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院）
针对语言模型大批量训练中的注意力 logit 激增问题，本文提出 MERIT 优化器，利用最大范数和逐元素信任比率稳定更新，并在 GPT-2 上实现 6k 批量无性能下降。
2025-08-28 cs.AI cs.CL cs.LG
MuLoCo: Muon is a practical inner optimizer for DiLoCo
FAIR at Meta（Meta 的 FAIR 部门）；Mila；Université de Montréal（蒙特利尔大学）；Concordia University（康科迪亚大学）
本文提出 MuLoCo，将 Muon 作为 DiLoCo 的内部优化器，通过产生方向更准确的伪梯度，在多个工作节点下提升大语言模型训练性能，并兼容量化、流式处理和长同步间隔。
2026-06-02 cs.LG
Towards joint scaling laws with optimal batch size schedules
Meta
该研究从凸优化视角推导了适用于通用优化器和模型架构的损失联合表征，得到闭式最优批量大小调度与联合缩放律，其性能优于固定批量大小基线，凸显动态批量大小调度在大语言模型训练中的重要性。
2026-07-31 cs.AI cs.LG math.OC
MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
University of Toronto（多伦多大学）；Texas Advanced Computing Server（德克萨斯高级计算中心）；Rutgers University（罗格斯大学）
本研究提出基于秩1更新的动量克罗内克因子二阶优化器MKOR及其混合版本，降低计算与通信复杂度、提升更新频率，在BERT-Large-Uncased训练中显著优于主流一、二阶优化器。
2024-01-30 cs.AI cs.CV cs.LG
An Empirical Analysis of the Shift and Scale Parameters in BatchNorm
San Jose State University（圣何塞州立大学）
批量归一化（BatchNorm）是一种改进深度神经网络（尤其是卷积神经网络（CNN））训练的技术。经验证明，BatchNorm提高了性能、稳定性和准确性，尽管这种改进的原因尚不清楚。BatchNorm包括一个标准化步骤以及可训练的移位和缩放参数。在本文中，我们经验性地研究了归一化步骤对BatchNorm成功的相对贡献，与通过移位和缩放进行的重新参数化相比。为了进行我们的实验，我们在PyTorch中实现了两个新的优化器，即我们称为AffineLayer的BatchNorm版本，其中包括没有归一化的重新参数化步骤，以及仅具有归一化步骤的版本，我们称之为BatchNorm-minus。我们将AffineLayer和BatchNorm-minus实现的性能与标准BatchNorm进行了比较，并将其与未使用批量归一化的情况进行了比较。我们在标准图像数据集和多个批量大小上使用四种ResNet架构（ResNet 18，ResNet 34，ResNet 50和ResNet 101）进行实验。在其他研究结果中，我们提供了经验证据表明，BatchNorm的成功可能主要来自于改进的权重初始化。
2023-03-22 cs.LG
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg（雷根斯堡应用技术大学）
自适应矩估计（ADAM）是一种非常流行的深度神经网络训练算法，属于自适应梯度下降优化器家族。然而，据作者所知，没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法，给出了ADAM算法超参数的必要条件。由于参数的局部性质，目标函数可以是非凸的，但必须至少是两次连续可微的。然后，我们将这个过程应用到其他自适应梯度下降算法，并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Scaling Distributed Training with Adaptive Summation
Microsoft Research（微软研究院）；Microsoft（微软）
随机梯度下降（SGD）是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们（例如，对每个批次的梯度求和，这不是顺序SGD将做的），并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum（自适应总和），收敛速度比以前的工作。Adasum易于实现，几乎与简单的梯度求和一样高效，并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum，然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究，以展示Adasum与多个框架（TensorFlow和PyTorch）一起工作，将多个优化器（Momentum-SGD，Adam和LAMB）扩展到更大的批量，同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之，Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例（没有MLPerf v0.5条目收敛超过16 K），Adam优化器在BERT-LARGE上通信之前达到64 K示例（之前的工作表明Adam在16 K时停止扩展），LAMB优化器在BERT-LARGE上通信之前扩展到128 K（先前的工作使用64 K），同时保持下游的准确性指标。最后，如果用户不需要扩展，我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
研究揭示了Transformer训练中优化器诱导的低维漂移方向，分析了其在不同优化器下的稳定性及影响因素，强调累积更新动态的重要性。
2026-03-18 cs.AI cs.LG
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题，提出结合SAM对抗步骤与异步分布式采样的LSAM优化器，消除同步瓶颈、加快收敛且准确率更高，兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
BADM: Batch ADMM for Deep Learning
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文针对深度神经网络训练中随机梯度下降算法收敛缓慢的问题，基于交替方向乘子法（ADMM）框架提出了数据驱动的批量 ADMM（BADM）算法，通过将数据分批并细分为子批次以更新原对偶变量并聚合全局参数，在多种深度学习任务中实现了更快的收敛速度和更优的测试准确率。
2025-01-31 cs.LG
Ember: A Kilobyte-State Optimizer for Token Interfaces
发现嵌入表和LM头的梯度几何特性，提出轻量优化器Ember，在微调、强化学习和预训练中提升帕累托前沿，仅需KB级优化器状态。
2026-10-14 cs.AI cs.LG
Benchmarking Optimizers for Large Language Model Pretraining
EPFL（瑞士联邦理工学院）
针对大语言模型预训练优化方法缺乏统一对比标准的问题，该研究在标准化场景下系统调控变量开展全面评估，给出优化器选择指导，指明研究方向并公开可复现代码以支撑领域发展。
2025-09-01 cs.LG
SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
NVIDIA（英伟达）
研究针对高阶优化器在大规模语言模型预训练中的挑战，通过改进预处理梯度方法、统一实证研究不同优化器、引入分层分布式优化器及系统级改进，提升训练效果，最终发布含新兴优化算法的代码库。
2026-07-24 cs.AI cs.LG
FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer
Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong（信息工程系，香港中文大学）
FISMO优化器通过结合Fisher信息几何和正交化动量更新，在非凸优化中实现结构化预处理，提升训练效率和最终性能。
2026-01-29 cs.LG
PyLO: Towards Accessible Learned Optimizers in PyTorch
ICML
PyLO旨在通过PyTorch接口为更广泛的机器学习社区提供学习优化器，实现了小规模fc lopt和VeLO的CUDA加速版本，提升了训练效率。
2026-04-16 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training
Puch AI；Singapore Institute of Technology（新加坡理工大学）；Nanyang Technological University（南洋理工大学）；NVIDIA（英伟达）；IIIT-Delhi（德里印度理工学院）
提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。
2026-07-31 cs.LG
AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
该研究针对自适应梯度优化器提出AdAdaGrad及AdAdaGradNorm两种自适应批量大小方案，理论证明其收敛性，经图像分类实验验证，可提升大规模模型训练的效率与泛化性。
2026-08-26 cs.LG math.OC stat.ML
XGrad: Boosting Gradient-Based Optimizers With Weight Prediction
National University of Defense Technology（国防科技大学）
本文提出 XGrad 框架，通过依据优化器更新规则预测未来权重并用于前向与反向传播，提升多种梯度优化器训练 DNN 时的收敛性、泛化能力和准确率。
2024-04-07 cs.AI cs.LG
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong（香港城市大学）
在具有批量归一化的深度神经网络（BN-DNN）的训练实践中，权重衰减通常用于确保良好的泛化，其中由于归一化，一些卷积层对于权重重新缩放是不变的。在本文中，我们证明了权重衰减的实际使用仍然有一些未解决的问题，尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面，当使用非自适应学习率（例如，具有动量的SGD）时，有效学习率甚至在初始训练阶段之后继续增加，这导致许多神经架构中的过拟合效应。另一方面，在SGDM和自适应学习率优化器（如Adam）中，权重衰减对泛化的影响对超参数非常敏感。因此，找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用一个简单而有效的权重重新缩放（WRS）计划作为权重衰减的替代方案，规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数，这防止了梯度的大幅增加，但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中，与权重衰减、隐式权重重缩放（权重标准化）和梯度投影（AdamP）相比，WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学 Kempner 机构）；University of California, Berkeley（加州大学伯克利分校）
研究如何加速大语言模型预训练，提出Seesaw框架，通过平衡学习率和批量调度，在保留损失动态时减少串行步骤。理论上给出相关等效性证明并扩展，实验表明该框架能在相同浮点运算量下减少时钟时间，接近理论极限。
2026-07-28 cs.AI cs.LG math.OC
Automated Learning Rate Scheduler for Large-batch Training
Kakao Brain
大批量训练对于在深度学习中利用大规模数据集和模型至关重要。虽然使用大批量在计算上是有益的，但它通常需要专门设计的学习率（LR）调度来实现与较小批量训练相当的性能水平。特别是，当训练时期的数量受到限制时，由于更新步骤的数量减少，使用大LR和预热策略在大批量训练的最终性能中是至关重要的。在这项工作中，我们提出了一个自动LR调度算法，这是有效的神经网络训练下，给定的历元预算大批量。具体来说，整个时间表由两个阶段组成：自适应预热和预定义衰减，其中LR增加，直到训练损失不再减少，并减少到零，直到训练结束。这里，训练损失是否已经达到最小值是通过高斯过程平滑以低计算负担的在线方式鲁棒地检查的。再加上自适应随机优化器，如AdamP和LAMB，所提出的调度成功地调整LR没有繁琐的超参数调整，并实现可比或更好的性能比调整基线上的各种图像分类基准和架构具有广泛的批量大小。
2021-07-13 cs.LG
The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers
本文识别并分析了Adam等自适应优化器训练中的纪元锯齿现象（ESP），揭示其源于二阶矩估计导致的自适应学习率调整及数据洗牌中的样本即时重曝光效应，并通过高维二次任务验证其普遍性。
2025-06-18 cs.AI cs.LG stat.ML
Adaptive Batch Sizes for Active Learning A Probabilistic Numerics Approach
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）；University of Helsinki（赫尔辛基大学）；Amazon（亚马逊公司）
提出一种基于概率数值的自适应批量大小框架，将批量选择构建为求积任务以自动调整批量满足精度目标，显著提升了贝叶斯批量主动学习与优化的效率和灵活性。
2024-02-21 cs.AI cs.LG cs.NA
Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples
Key Laboratory of Data Engineering and Visual Computing, Chongqing University of Posts and Telecommunications（重庆邮电大学数据工程与视觉计算重点实验室）；School of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）
本文提出一种针对多标签深度学习的自适应批次选择算法，通过优先选择与少数标签相关的难样本并考虑标签相关性，在十三个基准数据集上验证了其比随机选择收敛更快且性能更优。
2024-03-27 cs.LG
Reducing Per-Sample Interference in Stochastic Optimization
Amadeus（阿马德乌斯）
研究随机优化中样本级危害问题，提出将参数更新形式化为优化问题，引入高效代理，通过降维、限制优化层等方法减少内存和速度瓶颈，集成到标准优化器，实验证明能减少样本干扰、提升泛化能力。
2026-08-13 cs.AI cs.LG stat.ML
