Amos: An Adam-style Optimizer with Adaptive Weight Decay towards Model-Oriented Scale
Google Research（谷歌研究院）
我们介绍了Amos，一种基于随机梯度的优化器，用于训练深度神经网络。它可以被看作是一个亚当优化理论支持，自适应学习率衰减和权重衰减。Amos背后的一个关键见解是，它利用特定于模型的信息来确定初始学习率和衰减时间表。当用于预训练BERT变体和T5时，Amos始终比AdamW的最新设置更快地收敛，在<=70%的训练步骤和时间内实现更好的验证损失，同时需要<=51%的插槽变量内存。我们的代码是开源的：https://github.com/google-research/jestimator
2022-11-21 cs.LG
A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes
Google Research（谷歌研究院）
最近，LARS和LAMB优化器已经被提出用于使用大批量更快地训练神经网络。LARS和LAMB分别为Heavy-ball momentum和Adam的更新规则添加了逐层规范化，并在著名的基准测试和深度学习库中流行。然而，如果没有与标准优化器进行公平的比较，LARS和LAMB是否比传统的通用算法有任何好处仍然是一个悬而未决的问题。在这项工作中，我们证明了标准的优化算法，如Nesterov动量和亚当可以匹配或超过LARS和LAMB在大批量的结果。我们的研究结果建立了新的，更强大的基线，为未来的比较，在这些批量大小，并揭示了比较优化的神经网络训练更普遍的困难。
2021-06-09 cs.LG stat.ML
Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers
School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）；Helen and John C. Hartmann Department of Electrical and Computer Engineering, New Jersey Institute of Technology（新泽西理工学院电气与计算机工程系）
通过结合Adam与逆Adam，DualAdam提升了深度学习优化器的泛化能力。
2026-03-07 cs.LG stat.ML
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster（明斯特大学数学随机学研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率，提出Adam向量场刻画其宏观行为，并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
Department of Computer Science and Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（计算机科学与应用数学系，魏茨曼科学研究院，以色列雷霍夫特）
研究动量优化器在光滑齐次模型上的隐式偏差，证明Muon、MomentumGD和Signum在衰减学习率下近似于最速下降轨迹，并偏向于对应边际最大化问题的KKT点，同时将分析扩展到Adam和混合范数优化器。
2026-05-24 cs.LG stat.ML
An Isometric Stochastic Optimizer
本文解释了Adam优化器成功的原因，据此提出参数更新范数不受输入输出线性变换影响的Iso优化器，以及可迁移Adam超参数的IsoAdam变体，实验显示IsoAdam训练小型Transformer的速度快于Adam。
2023-07-24 cs.LG
Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
MIT（麻省理工学院）；Microsoft Research（微软研究院）；Georgia Tech（佐治亚理工学院）；Tsinghua University（清华大学）
本研究基于在线学习视角揭示了Adam优化器等价于Follow-the-Regularized-Leader（FTRL）框架，从而阐明了其算法组件的重要性并提供了新的理论理解。
2024-05-30 cs.LG math.OC
SADAM: Stochastic Adam, A Stochastic Operator for First-Order Gradient-based Optimizer
University of California San Francisco（加州大学旧金山分校）；James Madison University（詹姆斯·麦迪逊大学）
在这项工作中，为了有效地帮助逃离平稳和鞍点，我们提出，分析和推广一个随机策略作为一阶梯度下降算法的操作符，以提高目标精度和减少时间消耗。与现有算法不同，所提出的随机策略不需要任何批处理和采样技术，从而能够有效地实现并保持初始一阶优化器的收敛速度，但在优化目标函数时提供了无与伦比的目标精度的提高。简而言之，所提出的策略被推广，应用于亚当，并通过使用深度矩阵拟合和另外四个同行优化器的生物医学信号的分解进行验证。验证结果表明，所提出的随机策略可以很容易地推广到一阶优化器，并有效地提高目标精度。
2022-05-20 cs.LG
Lipschitzness Effect of a Loss Function on Generalization Performance of Deep Neural Networks Trained by Adam and AdamW Optimizers
aut.ac.ir（德黑兰大学（注：此处aut.ac.ir为伊朗德黑兰大学的域名缩写，根据上下文推断为作者所属机构））
该研究理论证明损失函数的Lipschitz常数是影响Adam/AdamW训练的深度神经网络泛化误差的重要因素，结合跨分布年龄估计实验验证了低Lipschitz常数、低最大值的损失函数可提升模型泛化能力，为损失函数选择提供指导。
2023-08-22 cs.LG
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
CaAdam: Improving Adam optimizer using connection aware methods
Université Paris Dauphine - PSL（巴黎多芬大学 - 巴黎文理大学）；Institut Polytechnique de Paris（巴黎综合理工学院）；DRM；CREST
针对传统优化器未考虑神经网络架构特性的问题，提出连接感知优化算法CaAdam，基于层深度等结构属性动态调整学习率，在标准数据集上实现了比标准Adam更快的收敛和更高的准确率。
2024-10-31 cs.LG
DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning
Harvard University（哈佛大学）
针对私有深度学习中DP优化器性能与隐私难以兼顾的问题，研究DP-AdamW并提出DP-AdamW-BC，通过理论分析和多隐私预算下的实证，证明DP-AdamW优于现有DP优化器，而其偏差校正变体准确率反而下降。
2025-11-11 cs.LG
Mixing ADAM and SGD: a Combined Optimization Method
University of Insubria（因苏布里亚大学）
在深度学习领域，优化方法（优化器）在神经网络的有效训练方面受到特别关注。在文献中，有许多论文比较了使用不同优化器训练的神经模型。每篇论文都证明，对于特定的问题，优化器比其他优化器更好，但随着问题的变化，这种结果不再有效，我们必须从头开始。在我们的论文中，我们建议使用两个非常不同的优化器的组合，但同时使用时，他们可以克服在非常不同的问题的单一优化器的性能。我们提出了一个新的优化称为MAS（混合ADAM和SGD），集成SGD和ADAM同时通过加权的贡献，通过分配恒定的权重。而不是试图改善SGD或ADAM，我们利用这两个在同一时间采取最好的两者。我们已经使用各种CNN对图像和文本文档分类进行了几次实验，并通过实验证明了所提出的MAS优化器比单一SGD或ADAM优化器具有更好的性能。实验的源代码和所有结果可在以下链接https：//gitlab.com/nicolalandro/multi\_optimizer上在线获得
2020-11-16 cs.LG math.OC
TAdam: A Robust Stochastic Gradient Optimizer
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
机器学习算法的目标是从观测中发现模式，其中可能包括一些噪声，特别是在机器人领域。为了在这种噪声下也能表现良好，我们希望它们能够检测出异常值，并在需要时丢弃它们。因此，我们提出了一种新的随机梯度优化方法，其鲁棒性直接建立在算法中，使用强大的学生-t分布作为其核心思想。亚当，流行的优化方法，修改与我们的方法和由此产生的优化器，所谓的TAdam，被证明有效地优于亚当在不同的任务，从回归和分类的强化学习问题的噪声鲁棒性。我们的算法的实现可以在https://github.com/Mahoumaru/TAdam.git上找到
2020-03-03 cs.LG stat.ML
Decoupled Orthogonal Dynamics: Regularization for Deep Network Optimizers
Beijing University of Posts and Telecommunications（北京邮电大学）；Northwestern Polytechnical University（西北工业大学）
AdamO通过解耦幅度和方向的动力学，改进深度学习优化器的泛化和稳定性。
2026-02-04 cs.LG
The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers
本文识别并分析了Adam等自适应优化器训练中的纪元锯齿现象（ESP），揭示其源于二阶矩估计导致的自适应学习率调整及数据洗牌中的样本即时重曝光效应，并通过高维二次任务验证其普遍性。
2025-06-18 cs.AI cs.LG stat.ML
Optimizer-Induced Mode Connectivity: From AdamW to Muon
Stanford University（斯坦福大学）
研究探讨了优化器对模式连接的影响，发现不同优化器在不同宽度下形成连通集，并揭示了优化器依赖的结构特性。
2026-05-11 cs.AI cs.LG math.OC
AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳））；Shenzhen Loop Area Institute（深圳河套学院）
本文提出AdaMeZO，一种基于Adam风格的零阶优化器，通过估计一阶和二阶动量而不存储在内存中，有效减少GPU内存需求，同时在微调LLM时表现出色，比MeZO快70%。
2026-05-01 cs.AI cs.LG
Stabilizing Backpropagation in 16-bit Neural Training with Modified Adam Optimizer
Stony Brook University, Department of Computer Science, United States（石溪大学计算机科学系, 美国）；OpenNN Lab, MODULABS, Republic of Korea（开放神经网络实验室, MODULABS, 韩国）
本研究针对16位神经网络训练中Adam优化器存在的数值不稳定问题，发现epsilon超参数是主要诱因，提出微调epsilon的改进方法以稳定训练，为低精度计算下的可靠模型部署提供支撑。
2025-06-17 cs.LG
Central limit theorem for the averaged Adam optimizer
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文证明了平均化Adam优化器收敛到Adam向量场吸引零点的中心极限定理，收敛速度为n^{-1/2}，协方差由吸引子处的Adam算法性质决定。
2026-06-23 cs.LG math.PR math.ST
On the Principles Behind Neural Network Optimizers
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本论文为优化器Adam建立了有原则的基础，通过海森矩阵结构分析其在Transformer上优于SGD的原因，提出内存减半且性能不变的新优化器Adam-mini，还为其他NN优化器提供了新见解。
2026-08-18 cs.LG math.OC
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）；University of Washington（华盛顿大学）
本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks
JetBrains Research（JetBrains研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
用深度学习模型解决问题，需要研究人员用一定的优化方法对损失函数进行优化。研究界已经开发了100多种不同的优化器，但是关于优化器在各种任务中的性能的数据很少。特别是，没有一个基准测试测试优化器在源代码相关问题上的性能。然而，现有的基准数据表明，某些优化器可能对特定领域更有效。在这项工作中，我们在源代码的深度学习模型上测试了各种优化器的性能，并发现优化器的选择可能对模型质量产生重大影响，一些性能相对较好的优化器之间的得分差异高达两倍。我们还发现，RDam优化器（及其修改与前瞻性包络）是最好的优化器，几乎总是表现良好的任务，我们考虑。我们的研究结果表明，需要对代码相关任务中的优化器进行更广泛的研究，并表明ML4SE社区应该考虑使用RDam而不是Adam作为代码相关深度学习任务的默认优化器。
2023-03-06 cs.LG cs.SE
PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton（沃顿商学院）
PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。
2026-02-05 cs.LG math.OC stat.ML
A Langevin sampling algorithm inspired by the Adam optimizer
School of Mathematics University of Edinburgh（爱丁堡大学数学学院）；Department of Statistics ETH Zürich（苏黎世联邦理工学院统计系）
提出一种受Adam优化器启发的自适应步长Langevin采样算法，通过辅助变量动态调整步长，提升MCMC采样的数值稳定性与收敛速度，并在Neal's funnel和MNIST贝叶斯神经网络实验中验证了其精度与稳定性优势。
2025-05-26 cs.LG stat.CO stat.ML
Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach
Computational Science Laboratory（计算科学实验室）；Virginia Tech（弗吉尼亚理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California State University, Long Beach（加州州立大学长滩分校）
本研究发现经典Adam优化器对应极小学习率下的ODE一阶IMEX欧拉离散，通过高阶IMEX方法扩展Adam格式，提出的新优化算法在回归和分类任务上性能优于经典Adam。
2024-09-14 cs.CE cs.LG cs.NA
A Method for Enhancing Generalization of Adam by Multiple Integrations
School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对Adam泛化不足问题，提出集成多重积分项的MIAdam优化器，利用滤波效应引导平坦极小值，增强泛化与鲁棒性，并保持快速收敛，在基准上优于Adam及其变体。
2024-12-17 cs.LG
In-Run Data Shapley for Adam Optimizer
Mohamed bin Zayed University of Artificial Intelligence（莫萨德·本·泽德人工智能大学）；University at Buffalo（布法罗大学）；King Abdullah University of Science and Technology（卡布斯国王科学与技术大学）
本研究提出Adam-aware运行中数据Shapley方法，通过线性化技术实现高精度数据归因，提升现代训练流程效率。
2026-07-23 cs.AI cs.LG
Beyond Dense Adam States: Adaptive Log-Space Quantization for Memory-Efficient Optimizers
该研究针对内存高效优化器的状态异质性提出自适应对数空间量化，在AdamW、CAME等模型的语言模型预训练实验中，可显著降低优化器存储并保持良好困惑度表现。
2026-09-02 cs.LG
An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis
Beihang University（北京航空航天大学）；School of Cyber Science and Technology（网络空间安全学院）
从大规模不完备矩阵中挖掘出潜在的信息是一个具有挑战性的关键问题。对潜在因素分析模型进行了深入研究，分析了潜在信息。近年来，与群体智能相关的LFA模型被提出并被广泛采用，以提高LFA的优化过程的效率，即，粒子群优化（PSO）-LFA模型。然而，PSO-LFA模型的超参数必须手动调整，这不利于广泛采用，并且限制了学习率为固定值。为了解决这个问题，我们提出了一个亚当增强的层次PSO-LFA模型，它细化的潜在因素与序贯亚当调整超参数PSO算法。首先，我们为粒子设计了亚当增量向量，构造了粒子的亚当增强演化过程。其次，我们细化的目标矩阵的所有潜在因素，我们提出了亚当增强粒子群算法的过程。在四个真实数据集上的实验结果表明，我们提出的模型具有更高的预测精度。
2023-02-23 cs.LG cs.NE
WarpAdam: A new Adam optimizer based on Meta-Learning approach
Beijing University of Chemistry Technology（北京化工大学）；Hohai University（河海大学）；FuZhou University（福州大学）
本文提出 WarpAdam，将元学习的扭曲梯度下降概念引入 Adam，通过可学习矩阵 P 线性变换梯度，以提升跨数据分布的适应性、优化性能与泛化能力。
2024-09-06 cs.AI cs.IR cs.LG
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences（数据与决策科学部）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of Maryland（马里兰大学）；Department of Mechanical Engineering（机械工程系）
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM，证明其收敛性，并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
Generalizing Adam to Manifolds for Efficiently Training Transformers
Max-Planck-Institut für Plasmaphysik（马克斯·普朗克等离子物理研究所）；Technische Universität München（慕尼黑技术大学）
本文提出一种利用齐性空间全局切空间表示将Adam优化器推广到流形的方法，无需投影步骤，并在Transformer和辛自编码器训练中验证其优于现有方法。
2026-09-17 cs.LG math.DG
A Physics-Inspired Optimizer: Velocity Regularized Adam
University of Oxford（牛津大学）
本文提出VRAdam优化器，通过引入速度正则化技术，结合Adam的参数缩放，提升训练稳定性与收敛速度，理论分析显示其在非凸目标下的收敛速率为O(√(lnN)/√N)。
2026-06-11 cs.AI cs.LG quant-ph
Effectiveness of Optimization Algorithms in Deep Image Classification
亚当被广泛应用于训练神经网络。不同类型的亚当方法具有不同的特征。最近两个新的adam优化器，AdaBelief和Padam被引入社区。我们分析了这两个亚当优化器，并将它们与其他传统的优化器（亚当，SGD +动量）在图像分类的情况下进行了比较。我们使用EMNIST数据集在AlexNet和简化版本的VGGNet，ResNet上评估这些优化算法的性能。（基准算法可在\hyperref [https：//github.com/chuiyunjun/projectCSC413]{https：//github.com/chuiyunjun/projectCSC413}获得）。
2021-10-04 cs.CV cs.LG math.OC
Benchmarking Optimizers for MLPs in Tabular Deep Learning
Yandex；HSE University（俄罗斯高等经济学院）
本文对15种优化器在17个表格数据集上进行基准测试，发现Muon优化器在标准监督学习设置下优于AdamW，同时发现模型权重指数移动平均技术能提升AdamW性能。
2026-04-17 cs.LG
Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
ADAM优化器在深度学习社区中非常受欢迎。通常它工作得很好，有时它不。为什么？为什么？我们将ADAM解释为两个方面的组合：对于每个权重，更新方向由随机梯度的符号确定，而更新幅度由其相对方差的估计确定。我们解开这两个方面，并孤立地分析它们，深入了解ADAM的机制。这种分析也扩展了最近的结果对ADAM的泛化的不利影响，隔离的标志方面的问题之一。将方差自适应转移到SGD产生了一种新的方法，完成了ADAM失败的问题的实践者工具箱。
2020-12-13 cs.LG stat.ML
An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training
University of Waterloo（滑铁卢大学）
本文通过360次实验分析了八种优化器在三个基准数据集上的能效与性能，发现AdamW和NAdam一致高效，SGD在复杂数据集上性能更优但排放较高，为平衡性能与可持续性提供了见解。
2025-09-16 cs.LG
FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information
Google LLC（谷歌公司）
本文从黎曼与信息几何角度证明 Adam 是使用对角经验 Fisher 信息的自然梯度优化器，揭示原始算法缺陷并提出修正，改进后的 FAdam 在 LLM、ASR 和 VQ-VAE 上表现优异，ASR 达最优水平。
2024-09-03 cs.AI cs.IT cs.LG
LaProp: Separating Momentum and Adaptivity in Adam
University of Tokyo（东京大学）；RIKEN Center for Emergent Matter Science（理化学研究所涌现物质科学中心）
我们确定了一个迄今尚未认识到的亚当式优化问题，这是由于动量和自适应之间不必要的耦合。当动量和自适应参数不匹配时，耦合会导致不稳定和发散。在这项工作中，我们提出了一种方法，Laprop，它在亚当式的方法中的动量和自适应性。我们表明，解耦导致更大的灵活性，在超参数，并允许一个简单的插值之间的有符号的梯度方法和自适应梯度方法。我们的实验表明，Laprop一直在提高速度和稳定性超过亚当在各种任务。我们还将Laprop的遗憾限制在一个凸问题上，并表明我们的限制与Adam的限制相差一个关键因素，这表明了它的优势。
2021-06-13 cs.LG stat.ML
PsiLogic: Chaos-Aware Active Cancellation for Adam with a Fair Cross-Domain Benchmark
研究针对自适应优化器在不同训练阶段更新规则相同的问题，提出PsiLogic优化器，通过双指数移动平均控制主动抵消项，经FairBench基准测试，在多个领域表现优异，还发布开源实现等支持验证。
2026-07-21 cs.LG
Optimizing the optimizer for data driven deep neural networks and physics informed neural networks
CSIRO Data61（联邦科学与工业研究组织Data61）；College of Engineering and Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）；Defence Science and Technology Group, Department of Defence（国防部国防科学与技术集团）
我们调查的作用，优化器在确定质量的模型适合神经网络与一个小到中等数量的参数。我们研究亚当，一阶梯度优化算法，使用自适应动量，Levenberg和Marquardt（LM）算法的二阶方法，Broyden，弗莱彻，Goldfarb和Shanno算法（BFGS）的二阶方法和LBFGS，低内存版本的BFGS的性能。使用这些优化器，我们使用具有几个参数的神经网络拟合函数y = sinc（10 x）。该函数具有可变幅度和恒定频率。我们观察到，函数的较高振幅分量首先拟合，而Adam、BFGS和LBFGS努力拟合函数的较低振幅分量。我们还解决了Burgers方程使用物理告知神经网络（PINN）与BFGS和LM优化。对于我们的示例问题，具有小到中等数量的权重，我们发现LM算法能够快速收敛到机器精度，比其他优化器具有显着的优势。我们进一步研究了Adam优化器的一系列模型，发现Adam优化器需要更深的模型，其中包含大量隐藏单元，包含多达26倍的参数，以便实现LM优化器所实现的模型拟合。LM优化器的结果表明，可以用更少的参数来构建模型。我们已经在Keras和TensorFlow 2中实现了所有方法。
2022-05-16 cs.LG
ADAM Optimization with Adaptive Batch Selection
Seoul National University（首尔国立大学）
本文提出AdamCB，结合组合老虎机技术改进ADAM优化器，提升收敛速度和理论保证，实验证明其优于现有方法。
2025-12-07 cs.LG stat.ML
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出 Adam Accumulation（AdamA）方法，通过将梯度直接整合进优化器状态并在微批次上累积，同时减少激活与梯度内存，在保持 Adam 收敛性的前提下实现高达 23% 的内存降低，并支持训练更大规模模型。
2023-05-31 cs.AI cs.LG
Lookahead optimizer improves the performance of Convolutional Autoencoders for reconstruction of natural images
自编码器是近年来受到广泛关注的一类人工神经网络。使用自动编码器的编码器块，输入图像可以被压缩成有意义的表示。然后，解码器被用来将压缩表示重构回看起来像输入图像的版本。它在数据压缩和去噪等领域有着广泛的应用。存在另一种版本的自动编码器（AE），称为变分AE（VAE），其充当类似于GAN的生成模型。最近，引入了一种称为前瞻优化器的优化器，该优化器显著增强了Adam和SGD的性能。在本文中，我们实现了卷积自动编码器（CAE）和卷积变分自编码器（CVAE）与前瞻优化器（亚当），并将它们与亚当（只有）优化器同行。为此，我们使用了一个电影数据集，包括自然图像的前一种情况和CIFAR100的后一种情况。我们表明，前瞻优化器（与Adam一起）提高了CAE重建自然图像的性能。
2020-12-03 cs.AI cs.CV cs.GR
Training Algorithm Matters for the Performance of Neural Network Potential: A Case Study of Adam and the Kalman Filter Optimizers
Uppsala University（乌普萨拉大学）
开发神经网络潜力（NNPs）的一个隐藏但重要的问题是选择训练算法。在这里，我们比较了两种流行的训练算法，自适应矩估计算法（亚当）和扩展卡尔曼滤波算法（EKF）的性能，使用Behler-Parrinello神经网络（BPNN）和两个公开访问的数据集的液态水[Proc.Natl. Acad. Sci. U.S.A. 2016，113，8368-8373和Proc. Natl. Acad. Sci. U.S.A. 2019，116，1110-1115]。这是通过在TensorFlow中实现EKF来实现的。研究发现，与Adam相比，用EKF训练的NNPs更具可转移性，对学习率的值不太敏感。在这两种情况下，验证集的错误度量并不总是作为NNPs实际性能的良好指标。相反，我们表明，它们的性能相关性以及基于Fisher信息的相似性度量。
2021-11-09 cs.LG physics.chem-ph physics.comp-ph
MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
Amazon Web Services（亚马逊网络服务）；Technion – Israel Institute of Technology（以色列理工学院）；University of Minnesota（明尼苏达大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出统一元自适应优化器框架 MADA，通过超梯度下降在参数化优化器空间中动态选择，并引入 AVGrad；实验显示其在视觉、语言及 GPT-2 任务中稳定优于 Adam。
2024-06-17 cs.LG math.OC
Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers
研究将高阶 RK 积分器用于神经网络优化器，构建 Adam 变体并在计算匹配协议下评估，发现其“适应性”虚幻，修复后训练损失降低但对初始步长敏感，未达测试精度，还证实梯度平均是隐式正则化器，高阶自适应积分优势不明显。
2026-07-17 cs.LG math.OC stat.ML
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院，香港中文大学（深圳））；School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院和人工智能学院，香港中文大学（深圳））
针对强凸随机优化问题，证明了Adam优化器的收敛速率，并通过Adam对称性定理揭示了其收敛到全局最优解当且仅当数据对称分布，否则不收敛。
2026-06-23 cs.LG math.OC
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
Tencent Hunyuan（腾讯混元）；Institute of Computational Social Science, Peking University（北京大学计算社会科学研究院）；University of Macau（澳门大学）
本文针对Adam风格优化器，理论推导并实验验证最优学习率随批量大小先升后降的激增缩放定律及其峰值随训练向大批量移动的规律。
2024-10-28 cs.LG
An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
1 Department of Computer Science \& Engineering, Indian Institute of Technology Indore, India.；3 National Remote Sensing Centre, Indian Space Research Organisation, India.
本文提出了一种改进的自适应PID优化器IAdaPID-ADG，通过引入非递增有效学习率和基于梯度差的调制因子来解决AdaPID在收敛性和稳定性方面的不足，实验表明其在多个数据集上表现优异。
2026-05-21 cs.LG
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg（雷根斯堡应用技术大学）
自适应矩估计（ADAM）是一种非常流行的深度神经网络训练算法，属于自适应梯度下降优化器家族。然而，据作者所知，没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法，给出了ADAM算法超参数的必要条件。由于参数的局部性质，目标函数可以是非凸的，但必须至少是两次连续可微的。然后，我们将这个过程应用到其他自适应梯度下降算法，并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Ranger21: a synergistic deep learning optimizer
National Energy Research Scientific Computing Center（国家能源研究科学计算中心）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
由于优化器对神经网络的性能至关重要，因此每年都有大量关于该主题的创新论文发表。然而，虽然大多数这些出版物提供增量改进现有的算法，他们往往是新的优化，而不是组合算法。因此，许多有价值的改进很少看到他们的首次出版。利用这一未开发的潜力，我们介绍了Ranger21，一个新的优化器，它结合了AdamW与八个组件，经过审查和测试的想法，从文献中精心挑选。我们发现，由此产生的优化器提供了显着提高的验证精度和训练速度，更平滑的训练曲线，甚至能够在没有批量归一化层的情况下在ImageNet2012上训练ResNet50。AdamW系统地停留在一个糟糕的初始状态的问题。
2021-08-07 cs.LG
Beyond Adam: SOAP and Muon for Faster, Label-Efficient Training of Machine Learning Interatomic Potentials
本文实现并系统比较了Muon、SOAP及混合SOAP-Muon等矩阵结构化优化器，用于训练NequIP和Allegro MLIP模型，发现这些优化器在收敛速度和最终精度上显著优于Adam，尤其在部分力监督下改进更为明显。
2026-07-03 cs.AI cs.LG physics.chem-ph
