Improving Generalization Performance by Switching from Adam to SGD
Salesforce Research（Salesforce 研究院）
尽管训练结果优越，但与随机梯度下降（SGD）相比，Adam、Adagrad或RMSprop等自适应优化方法的泛化能力较差。这些方法往往在训练的初始阶段表现良好，但在训练的后期阶段被SGD优于。我们研究了一种混合策略，该策略以自适应方法开始训练，并在适当时切换到SGD。具体地说，我们提出了SWATS，一个简单的策略，从亚当到SGD时，触发条件得到满足。我们提出的条件涉及到亚当步骤的梯度子空间上的投影。通过设计，对这种情况的监视过程只会增加很少的开销，并且不会增加优化器中的超参数数量。我们报告了几个标准基准测试的实验，例如：CIFAR-10和CIFAR-100数据集的ResNet，SENet，DenseNet和PyramidNet，tiny-ImageNet数据集的ResNet以及PTB和WT 2数据集上使用递归网络的语言建模。结果表明，我们的策略能够在大多数任务上缩小SGD和Adam之间的泛化差距。
2017-12-20 cs.LG math.OC
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia（不列颠哥伦比亚大学）；CIFAR（加拿大高等研究院）；Amii（阿尔伯塔机器智能研究所）
本文通过改变批量大小直至全批量来检验重尾噪声假设，证明随机性并非 Transformer 上 Adam 优于 SGD 的主因，并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
Revisiting the Adam-SGD Gap in LLM Pre-Training: The Role of Large Effective Learning Rates
University of Minnesota（明尼苏达大学）
本文通过实证和理论分析，发现SGD在LLM预训练中表现较差的原因在于其无法维持与Adam相媲美的有效学习率，而大有效学习率需求源于小梯度范数和大权重-梯度比，且在大批次大小下更加明显。通过简单剪枝机制，SGD在大学习率下能恢复大部分Adam性能，实验显示验证损失差距从超过50%降至约3.5%。
2026-05-18 cs.LG
A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
针对Adam收敛性分析依赖比SGD更严苛假设的问题，提出全新综合分析框架，在SGD常用的L-光滑性与ABC不等式松弛假设下，证明了Adam的渐近收敛性并得到与SGD相近的非渐近样本复杂度界，弥合二者理论差距。
2025-05-19 cs.LG math.OC
Mixing ADAM and SGD: a Combined Optimization Method
University of Insubria（因苏布里亚大学）
在深度学习领域，优化方法（优化器）在神经网络的有效训练方面受到特别关注。在文献中，有许多论文比较了使用不同优化器训练的神经模型。每篇论文都证明，对于特定的问题，优化器比其他优化器更好，但随着问题的变化，这种结果不再有效，我们必须从头开始。在我们的论文中，我们建议使用两个非常不同的优化器的组合，但同时使用时，他们可以克服在非常不同的问题的单一优化器的性能。我们提出了一个新的优化称为MAS（混合ADAM和SGD），集成SGD和ADAM同时通过加权的贡献，通过分配恒定的权重。而不是试图改善SGD或ADAM，我们利用这两个在同一时间采取最好的两者。我们已经使用各种CNN对图像和文本文档分类进行了几次实验，并通过实验证明了所提出的MAS优化器比单一SGD或ADAM优化器具有更好的性能。实验的源代码和所有结果可在以下链接https：//gitlab.com/nicolalandro/multi\_optimizer上在线获得
2020-11-16 cs.LG math.OC
Muon Learns More Robust and Transferable Features than Adam
Yale University（耶鲁大学）；National University of Singapore（新加坡国立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, CAS（中国科学院数学与系统科学研究院）
本文通过鲁棒性和可迁移性视角，证明 Muon 优化器相比 Adam 和 SGD 能学习到更鲁棒、更可迁移的特征，并通过理论分析支持了经验发现。
2026-06-08 cs.AI cs.LG
On the Convergence of Adam under Non-uniform Smoothness: Separability from SGDM and Beyond
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Peking University（北京大学）；Chinese Academy of Science（中国科学院）；CUHK (Shenzhen)（香港中文大学（深圳））
本文明确了非均匀平滑性下Adam与SGDM在收敛率上的差异，证明Adam在确定性和随机环境中均能达到一阶优化器的下界，而SGDM存在无法收敛的情况，并引入停时技术进一步优化了收敛率分析。
2024-03-22 cs.LG math.OC
Beyond a Single Explanation of the Adam--SGD Gap
University of Luxembourg（卢森堡大学）；University of Basel（巴塞尔大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Tübingen（ELLIS蒂宾根）；Tübingen AI Center（蒂宾根人工智能中心）
通过跨视觉、语言、基因组和图形任务的受控实验，发现Adam与SGD的性能差距源于数据和架构的复杂交互，而非单一因素，并观察到随批量大小变化的交叉点。
2026-06-15 cs.LG
Normalized Direction-preserving Adam
University of Calgary（卡尔加里大学）；Wuhan University（武汉大学）；The University of Hong Kong（香港大学）
自适应优化算法，如Adam和RMSprop，在某些情况下表现出比随机梯度下降（SGD）更好的优化性能。然而，最近的研究表明，它们通常会导致比SGD更差的泛化性能，特别是在训练深度神经网络（DNN）时。在这项工作中，我们确定的原因，亚当概括比SGD差，并开发了一个变种的亚当，以消除泛化差距。所提出的方法，归一化的方向保持亚当（ND-Adam），使更新权重向量的方向和步长更精确的控制，从而显着提高泛化性能。遵循类似的原理，我们通过正则化softmax logits进一步提高分类任务的泛化性能。通过弥合SGD和Adam之间的差距，我们还希望阐明为什么某些优化算法比其他算法更好地推广。
2018-09-18 cs.LG stat.ML
In-Run Data Shapley for Adam Optimizer
Mohamed bin Zayed University of Artificial Intelligence（莫萨德·本·泽德人工智能大学）；University at Buffalo（布法罗大学）；King Abdullah University of Science and Technology（卡布斯国王科学与技术大学）
本研究提出Adam-aware运行中数据Shapley方法，通过线性化技术实现高精度数据归因，提升现代训练流程效率。
2026-07-23 cs.AI cs.LG
Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute（ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
本研究重新审视语言建模中Adam与SGD的优化器性能差距，通过全面调优的Transformer实验发现小批次下带动量的SGD调优后性能可接近Adam，并基于随机微分方程模型提出批次大小影响训练动态的新见解。
2025-06-14 cs.LG math.OC
APMSqueeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm
Microsoft（微软）；University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）
Adam是保证训练BERT和ImageNet等许多重要任务的效率和准确性的重要优化算法。然而，Adam通常与信息（梯度）压缩技术不兼容。因此，通信通常成为并行化Adam的瓶颈。本文提出了一种通过压缩梯度的误差补偿方法来提高通信效率的{ \bf A}DAM { \bf p}修正{ \bf M}动量SGD算法--APMSqueeze。所提出的算法实现了类似的收敛效率亚当的时期，但显着减少了每个时期的运行时间。在端到端性能方面（包括全精度预处理步骤），APMSqueeze能够提供{有时根据网络带宽，最高可达$2-10\times$的速度提升。}并对算法的收敛性和效率进行了理论分析。
2020-08-28 cs.DC cs.LG stat.ML
SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
Microsoft Research（微软研究院）
针对自适应优化器内存开销大的问题，提出无状态优化器SWAN，通过对SGD梯度做归一化和白化处理，在大语言模型训练中实现与Adam相当甚至更优的性能，同时大幅降低内存成本、提升训练速度。
2025-02-21 cs.AI cs.LG
Cumulative Learning Rate Adaptation: Revisiting Path-Based Schedules for SGD and Adam
Ruhr University Bochum（博德姆鲁尔大学）
本文重新审视2017年提出的累积路径学习率自适应方案，指出其对Adam存在概念不一致，提出修正变体，并通过基准测试评估SGD和Adam在有无自适应下的实际价值。
2025-08-07 cs.LG
DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction)
University of British Columbia（不列颠哥伦比亚大学）
针对DP-Adam因第二矩估计偏差导致性能下降的问题，提出DP-AdamBC算法消除偏差，在图像、文本和图节点分类任务中最终准确率提升高达3.5%。
2023-12-21 cs.CR cs.LG
Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW
本文针对大语言模型训练中传统SGD的局限，提出结合自适应采样的随机共轭次梯度方法，并配合AdamW类步长调整，在保持一阶方法优势的同时提升收敛速度与可扩展性。
2025-07-01 cs.AI cs.LG
Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
该研究揭示Adam在语言模型训练中优于SGD的核心原因是其利用了损失景观的ℓ∞几何特性，通过新收敛分析与实验验证了该结论，并将分析扩展至分块Adam。
2025-06-11 cs.LG
Adam Reduces a Unique Form of Sharpness: Theoretical Insights Near the Minimizer Manifold
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
本文证明Adam优化器隐式降低由其自适应更新塑造的独特锐度度量，在极小值流形附近表现出与SGD性质不同的优化行为，并在标签噪声和稀疏回归场景中展现出更好的稀疏性与泛化能力，为自适应梯度方法提供了统一分析视角。
2025-11-04 cs.LG
How to Fine-Tune Vision Models with SGD
Microsoft（微软）
本文发现微调视觉模型时，冻结嵌入层可使SGD在性能和内存上优于AdamW，并在五个分布偏移基准上达到最先进准确率。
2023-10-10 cs.CV cs.LG
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks
University of Padua（帕多瓦大学）；Università di Bologna（博洛尼亚大学）
随机梯度下降（SGD）是训练深度网络的主要方法：它通过在小批量上评估的损失梯度方向上迭代更新模型的参数来实现成本函数的最优值。已经提出了SGD的几种变体，以使每个参数的步长自适应（自适应梯度），并考虑到以前的更新（动量）。在SGD的几种替代方案中，最流行的是AdaGrad、AdaDelta、RMSProp和Adam，它们通过对过去梯度中的平方坐标进行某种形式的平均的平方根来缩放梯度的坐标，并在参数的基础上自动调整学习率。在这项工作中，我们比较亚当基于当前和过去的梯度之间的差异的基础上的变体，步长为每个参数进行调整。我们运行了几个测试基准提出的方法使用医学图像数据。实验采用ResNet50结构的神经网络进行。此外，我们还测试了网络的集成以及与使用随机梯度下降训练的ResNet 50的融合。为了组合ResNet50的集合，应用了简单求和规则。所提出的集成获得了非常高的性能，它获得了与现有技术相当或更好的精度。为了提高再现性和研究效率，用于本研究的MATLAB源代码可在GitHub上获得：www.example.com。
2021-03-26 cs.AI cs.LG
APOLLO: SGD-like Memory, AdamW-level Performance
Meta
本文提出APOLLO优化器，用纯随机投影的低秩辅助状态近似AdamW学习率缩放，以近SGD内存达到AdamW级预训练性能，并显著提升吞吐量与可扩展性。
2025-02-17 cs.AI cs.LG cs.PF
The Rich and the Simple: On the Implicit Bias of Adam and SGD
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
本研究对比Adam与SGD的隐式偏差，发现Adam在训练神经网络时能产生更丰富特征，形成非线性决策边界，从而在分布偏移下获得更好的泛化性能。
2025-10-24 cs.LG math.OC stat.ML
Non-convergence to the optimal risk for Adam and stochastic gradient descent optimization in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Vietnam Academy of Science and Technology（越南科学技术研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文证明了在训练任意全连接前馈深度神经网络时，包括Adam和标准SGD在内的一大类优化方法的真实风险在概率上不会收敛至最优真实风险值，而是可能收敛到严格次优的风险值。
2025-03-03 cs.LG cs.NA math.NA
Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究证明在浅层ReLU神经网络训练中，SGD类优化器（含Adam）以高概率不收敛于全局极小值，并构造了风险值不同的局部极小值层次结构，解释其训练成功的原因。
2024-02-07 cs.LG math.OC
Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization
Cornell University（康奈尔大学）
本文理论分析非平稳优化中Adam与SGD的权衡，揭示噪声-漂移权衡：噪声主导时Adam有利，漂移主导时SGD跟踪误差更小，并给出依赖超参数的显式界解释其稳定性。
2026-09-14 cs.LG stat.ML
Adam or Gauss-Newton? A Comparative Study In Terms of Basis Alignment and SGD Noise
Kempner Institute at Harvard University（哈佛大学凯普纳研究所）；OpenAI（开放人工智能研究院）
本研究比较了Adam与Gauss-Newton对角预条件优化器，分析基选择与梯度噪声的影响，发现Adam在全批量下可优于GN，在随机机制下与GN^{-1/2}相似，并通过实验验证。
2026-09-29 cs.LG
Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）；Microsoft（微软）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文针对现有Adam收敛分析依赖的L-光滑假设不适用于多数深度学习任务的问题，首次在$(L_0, L_1)$-光滑条件下证明了学习率递减的RR Adam的收敛性，并在相同设置下严谨对比证明Adam收敛速度优于SGD。
2024-06-24 cs.LG math.OC
ZO-AdaMU Optimizer: Adapting Perturbation by the Momentum and Uncertainty in Zeroth-order Optimization
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对零阶优化中MeZO存在的振荡、过拟合和收敛慢问题，提出ZO-AdaMU，通过在模拟扰动上应用动量自适应，提升收敛稳定性与速度，并在LLM微调中取得更好泛化。
2023-12-23 cs.LG
Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
Department of Computer Science, The University of Tokyo（东京大学计算机科学系）
通过梯度异质性分析，揭示Adam优化器优于SGD的原因，证明其与符号方法的关联，以及层归一化对异质性的影响。
2026-08-19 cs.AI cs.LG cs.NE
Quasi-hyperbolic momentum and Adam for deep learning
Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）
基于动量的随机梯度下降（SGD）加速广泛用于深度学习。我们提出了准双曲线动量算法（QHM）作为一个非常简单的动量SGD的变化，平均一个普通的SGD步骤与动量步骤。我们描述了许多连接和身份与其他算法，我们的特点是一套双态优化算法，QHM可以恢复。最后，我们提出了Adam的QH变体，称为QHAdam，并且我们根据经验证明，我们的算法在各种设置中显著改善了训练，包括WMT 16 EN-DE上的最新结果。我们希望这些实证结果，结合QHM和QHAdam的概念和实践的简单性，将激发从业者和研究人员的兴趣。代码立即可用。
2019-05-02 cs.LG stat.ML
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们重温经典的问题，找到一个近似的平稳点的平均$n$光滑和可能的非凸函数。随机一阶方法在单个函数的梯度评估的数量方面的最优复杂度是$\mathcal{O}\left(n + n^{1/2}\varepsilon^{-1}\right)$，例如，通过最优SGD方法$\small\sf\color{green}{SPIDER}$（arXiv：1807.01695）和$\small\sf\color{green}{PAGE}$（arXiv：2008.10898）获得，其中$\varepsilon$是误差容限。然而，i）大- $\mathcal{O}$符号隐藏了对与函数相关联的平滑常数的关键依赖性，并且ii）这些方法中的速率和理论假设了不提供任何灵活性的简单采样机制。在这项工作中，我们纠正了这种情况。首先，我们推广的$\small\sf\color{green}{PAGE}$算法，使它可以证明几乎任何（无偏）采样机制。这在联邦学习中特别有用，因为它允许我们构建和更好地理解客户端和数据采样策略的各种组合的影响。其次，我们的分析是尖锐的，因为我们明确使用某些新颖的不等式，捕捉光滑常数和采样过程之间的复杂的相互作用。事实上，我们的分析是更好的，即使是在$\small\sf\color{green}{PAGE}$文件中分析的简单的抽样程序。然而，这个已经改进的边界可以进一步锐化，我们提出了一个不同…
2022-06-05 cs.LG math.OC stat.ML
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster（明斯特大学数学随机学研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率，提出Adam向量场刻画其宏观行为，并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
A New Adaptive Gradient Method with Gradient Decomposition
Center for Data Science（数据科学中心）；Peking University（北京大学）；Key Lab. of Machine Perception (MOE)（机器感知教育部重点实验室）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
自适应梯度方法，特别是Adam类型的方法（如Adam，AMSGrad和AdaBound），已经被提出来加速训练过程，并在学习率上使用逐元素缩放项。然而，与随机梯度下降（SGD）及其加速方案（如带动量的SGD（SGDM））相比，它们的推广性较差。在本文中，我们提出了一种新的自适应方法，称为DecGD，同时实现良好的推广SGDM和获得快速收敛像亚当型方法。具体地，DecGD将当前梯度分解为包括替代梯度和基于损失的向量的两项的乘积。我们的方法调整学习率自适应根据当前的损失为基础的向量，而不是在亚当型方法中使用的平方梯度。DecGD的自适应学习率的直觉是，在一般情况下，一个好的优化器需要随着损失的减少而减少学习率，这类似于学习率衰减调度技术。因此，DecGD在训练的早期阶段获得快速收敛，并根据基于损失的向量来控制有效的学习率，这有助于导致更好的泛化。收敛性分析讨论了凸和非凸的情况下。最后，广泛使用的任务和模型的实证结果表明，DecGD表现出更好的泛化性能比SGDM和快速收敛像亚当类型的方法。
2021-07-18 cs.LG math.OC
Non-convergence of Adam and other adaptive stochastic gradient descent optimization methods for non-vanishing learning rates
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究针对学习率不消失时自适应SGD方法的收敛性问题，证明Adam等自适应优化器在学习率渐近有非零下界时无法收敛到随机极限点，并建立了一类加速自适应SGD方法的路径式先验界。
2024-07-11 cs.LG math.OC math.PR
Dual Averaging is Surprisingly Effective for Deep Learning Optimization
Facebook AI Research（脸书人工智能研究院）；Princeton University（普林斯顿大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
一阶随机优化方法是目前使用最广泛的一类用于训练深度神经网络的方法。但是，优化器的选择已经成为一个特殊的规则，它会显著影响性能。例如，具有动量的SGD（SGD+M）通常用于计算机视觉（CV），而Adam用于训练自然语言处理（NLP）的Transformer模型。使用错误的方法会导致性能显著下降。受双重平均算法的启发，我们提出了Modernized Dual Averaging（MDA），这是一种能够在CV中执行SGD+M以及在NLP中执行Adam的优化器。我们的方法不是自适应的，而且比亚当简单得多。我们发现，MDA诱导一个衰减的非中心$L_2$正则化相比，香草SGD+M和假设，这可以解释为什么它的工作在NLP问题SGD+M失败。
2020-10-20 cs.LG math.OC stat.ML
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）；Microsoft Research Asia（微软亚洲研究院）
自适应矩估计（Adam）结合了自适应学习率和动量，将是最受欢迎的随机优化器，用于加速深度神经网络的训练。然而，经验上已知，亚当通常比随机梯度下降（SGD）更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说，我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点，但不能选择平坦的极小SGD。相比之下，Momentum提供了一个漂移效应来帮助训练过程通过鞍点，并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD（带动量）的泛化能力更好，而Adam的泛化能力更差，但收敛速度更快。此外，在分析的基础上，我们设计了一个新的自适应优化框架Adaptive Inertia，它使用参数自适应惯性来加速训练，并可证明有利于平坦最小值和SGD。我们的大量实验表明，所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
Deconstructing What Makes a Good Optimizer for Language Models
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）
本研究比较多种优化器在语言模型中的表现，发现除SGD外性能相当，并剖析Adam简化版本，揭示最后一层和LayerNorm的适应性对性能与稳定性至关重要。
2025-02-28 cs.AI cs.LG
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Vietnam Academy of Science and Technology（越南科学技术研究院）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
针对ReLU深度网络训练中SGD类优化器是否高概率收敛至全局极小点的开放问题，本文证明标准、加速及自适应SGD（含Adam等）随网络宽度或深度增加会以趋于1的概率不收敛。
2025-02-15 cs.LG cs.NA math.NA
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Efficient Riemannian Optimization on the Stiefel Manifold via the Cayley Transform
School of EECS（EECS学院）；Oregon State University（俄勒冈州立大学）
在深度学习中，对参数矩阵严格执行正交规范性约束已显示出优势。这相当于Stiefel流形上的黎曼优化，然而，这在计算上是昂贵的。为了解决这一挑战，我们提出了两个主要的贡献：（1）一个新的有效的收缩映射的基础上迭代凯莱变换的优化更新，和（2）一个隐式的矢量传输机制的基础上的组合的投影的动量和凯莱变换的Stiefel流形。我们指定两个新的优化算法：凯莱SGD与动量，和凯莱亚当的Stiefel流形。从理论上分析了Cayley SGD的收敛性。我们对CNN训练的实验表明，这两种算法：（a）相对于强制CNN参数正交性的现有方法，每次迭代使用更少的运行时间;（b）实现比基线SGD和ADAM算法更快的收敛速度，而不影响CNN的性能。Cayley SGD和Cayley ADAM也被证明可以减少优化RNN中酉转移矩阵的训练时间。
2020-02-04 cs.LG stat.ML
Adam$^+$: A Stochastic Method with Adaptive Variance Reduction
Boston University（波士顿大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；University of Iowa（爱荷华大学）
Adam是一种广泛用于深度学习应用的随机优化方法。虽然实践者更喜欢Adam，因为它需要较少的参数调整，但从理论角度来看，它的使用是有问题的，因为它可能不会收敛。Adam的变体已经被提出，并具有可证明的收敛性保证，但它们在实际性能上往往不能与Adam竞争。在本文中，我们提出了一个新的方法命名为亚当$^+$（发音为亚当加）。Adam $^+$保留了Adam的一些关键组件，但也有几个明显的差异：（i）它不保持二阶矩估计的移动平均值，而是计算外推点处的一阶矩估计的移动平均值;（ii）它的自适应步长不是通过除以二阶矩估计的平方根，而是通过除以一阶矩估计的范数的根来形成。因此，Adam $^+$需要很少的参数调整，但它享有可证明的收敛保证。我们的分析进一步表明，亚当$^+$享有自适应方差减少，即，随机梯度估计器的方差随着算法收敛而减小，因此具有自适应收敛性。我们还提出了一个更一般的变体亚当$^+$不同的自适应步长，并建立其快速收敛速度。我们对各种深度学习任务（包括图像分类、语言建模和自动语音识别）的实证研究表明，Adam $^+$的性能明显优于Adam，并在最佳SGD和动量SGD的情况下实现了相当的性能。
2020-11-24 cs.LG math.OC
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT AI实验室）；A*STAR（新加坡科技研究局）
针对大语言模型微调中的内存瓶颈，提出快速零阶优化器FZOO，通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算，在准确率和收敛速度上显著优于MeZO，实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
On the Convergence of AdaBound and its Connection to SGD
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
自适应梯度方法（如Adam）由于其在训练复杂神经网络方面的成功以及与SGD相比对超参数调整的敏感性较低而获得了极大的普及。然而，最近的研究表明，亚当可能无法收敛，并可能导致较差的泛化能力-这导致设计新的，复杂的自适应方法，试图在理论上可靠的同时很好地泛化。在本技术报告中，我们重点介绍AdaBound，这是一个最近提出的有前途的优化器。我们提出了一个随机凸问题，AdaBound可以证明需要任意长的时间才能收敛，这是Luo等人（2019）收敛速度保证中没有考虑的因素。我们提出了一个新的$O(\sqrt T)$遗憾保证在不同的假设下的约束函数，并提供CIFAR的实证结果表明，一个特定形式的动量SGD可以匹配AdaBound的性能，同时具有更少的超参数和更低的计算成本。
2019-12-10 cs.LG math.OC stat.ML
Rethinking Adam: A Twofold Exponential Moving Average Approach
Northeastern University（东北大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
自适应梯度方法，例如\textsc{Adam}，在机器学习中取得了巨大的成功。通过某种形式的梯度的二阶矩估计，按元素缩放学习率，这种方法能够实现现代深度神经网络的快速训练。然而，观察到它们与随机梯度下降（\textsc{SGD}）相比具有受损的泛化能力，并且在训练期间的早期阶段往往被困在局部最小值中。有趣的是，我们发现用\textsc{Adam}中的动量化版本代替第二原始矩估计项中的梯度可以解决这个问题。直觉是，具有动量的梯度包含更准确的方向信息，因此其二阶矩估计比原始梯度的二阶矩估计对于学习率缩放是更有利的选择。因此，我们提出了\textsc{AdaMomentum}作为一个新的优化器，达到训练速度快，同时更好地推广的目标。我们进一步发展了一个理论来支持推广的改进，并在凸和非凸设置下提供收敛保证。在广泛的任务和模型上进行的大量实验表明，\textsc{AdaMomentum}始终表现出最先进的性能和卓越的训练稳定性。
2022-02-09 cs.AI cs.LG
Understanding Adam Requires Better Rotation Dependent Assumptions
Mila, Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Samsung SAIL Montreal（三星SAIL蒙特利尔分校）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Archimedes Unit, Athena Research Center（阿提卡研究中心阿基米德单位）
本文通过研究 Adam 对参数空间旋转的敏感性，指出传统旋转不变假设不足以解释其优势，并提出更新正交性可作为建立旋转依赖理论框架的关键指标。
2025-11-06 cs.AI cs.LG
1-bit Adam: Communication Efficient Large-Scale Training with Adam's Convergence Speed
Microsoft（微软）；University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）
大型模型（如BERT和GPT-3）的可扩展训练需要基于模型设计、架构和系统功能的仔细优化。从系统的角度来看，通信已经成为一个主要的瓶颈，特别是在具有标准TCP互连的商品系统上，这些标准TCP互连提供有限的网络带宽。通信压缩是减少此类系统上的训练时间的重要技术。最有效的方法之一是误差补偿压缩，即使在1位压缩下也能提供稳健的收敛速度。然而，最先进的误差补偿技术只适用于基本的优化器，如SGD和动量SGD，它们与梯度线性相关。它们不适用于像Adam这样的非线性基于梯度的优化器，后者为BERT等模型提供了最先进的收敛效率和准确性。在本文中，我们提出了1位亚当，减少通信量高达$5\times$，提供更好的可扩展性，并提供相同的收敛速度作为未压缩亚当。我们的关键发现是Adam的方差（非线性项）变得稳定（在预热阶段之后），并且可以用作其余训练（压缩阶段）的固定前提条件。在多达256个GPU上进行的实验表明，1位Adam可以为BERT-Large预训练提供高达$3.3\times$的吞吐量，并为SQuAD微调提供高达$2.9\times$的吞吐量。此外，我们为我们提出的工作提供了理论分析。
2021-06-29 cs.DC cs.LG
Decoupled Weight Decay Regularization
University of Freiburg（弗莱堡大学）
L $_2$正则化和权重衰减正则化对于标准的随机梯度下降是等价的（当通过学习率重新缩放时），但是正如我们所证明的，这是自适应梯度算法的\emph{not}情况，例如Adam。虽然这些算法的常见实现采用L $_2$正则化（通常称之为“权重衰减”，由于我们暴露的不等价性，可能会产生误导），但我们提出了一个简单的修改，以通过\emph{decoupling}从w.r.t.损失函数。我们提供的经验证据表明，我们提出的修改（i）从标准SGD和Adam的学习率设置中获得了权重衰减因子的最佳选择，（ii）大大提高了Adam的泛化性能，使其能够在图像分类数据集上与具有动量的SGD竞争（在此之前，后者通常优于前者）。我们提出的解耦权重衰减已经被许多研究人员采用，社区已经在TensorFlow和PyTorch中实现了它;我们实验的完整源代码可以在https://github.com/loshchil/AdamW-and-SGDW上获得
2019-01-04 cs.LG cs.NE math.OC
HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（模式分析与机器智能重点实验室）
本文提出 HomeAdam(W) 算法，通过有时返回动量 SGD 提高泛化能力，证明其泛化误差优于 Adam(W)-srf 并具有更快的收敛速度。
2026-03-03 cs.LG math.OC stat.ML
Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
School of Computing & Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）
首次从理论分析批次大小对Adam泛化的影响，揭示小批次变体可实现近零测试误差，并证明Adam有效权重衰减界严格小于AdamW。
2025-10-13 cs.AI cs.LG stat.ML
On the SDEs and Scaling Rules for Adaptive Gradient Algorithms
Princeton University（普林斯顿大学）
本文针对自适应梯度方法缺乏严格SDE近似的问题，推导了RMSprop和Adam的SDE近似并提供理论保证，还提出批量大小调整时的平方根缩放规则，经实验验证适用于大规模视觉与语言场景。
2024-11-01 cs.LG
