Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
MIT(麻省理工学院);Microsoft Research(微软研究院);Georgia Tech(佐治亚理工学院);Tsinghua University(清华大学)
本研究基于在线学习视角揭示了Adam优化器等价于Follow-the-Regularized-Leader(FTRL)框架,从而阐明了其算法组件的重要性并提供了新的理论理解。
2024-05-30 cs.LG math.OC
EAdam Optimizer: How $ε$ Impact Adam
Tianjin University(天津大学)
在深度学习中已经提出并使用了许多自适应优化方法,其中Adam被视为默认算法,广泛应用于许多深度学习框架中。近年来,人们提出了Adabaround、RDam和Adabelief等Adam的变体,它们的性能都优于Adam。然而,这些变种主要集中在改变步长的梯度或平方it.Motivated的事实,适当的阻尼是重要的成功的强大的二阶优化,我们讨论了亚当在本文中的常数$ε$的影响。令人惊讶的是,我们可以获得更好的性能比亚当简单地改变$ε$的位置。基于这一发现,我们提出了一种新的亚当变体,称为EAdam,它不需要额外的超参数或计算成本。我们还讨论了我们的方法和亚当之间的联系和区别。最后,我们对各种流行的任务和模型进行了广泛的实验。实验结果表明,与Adam方法相比,该方法能带来显著的改进.我们的代码可在https://github.com/yuanwei2019/EAdam-optimizer上获得。
2020-11-04 cs.LG stat.ML
Does Adam optimizer keep close to the optimal point?
KAIST(韩国科学技术院)
用于训练神经网络的自适应优化器不断发展以克服先前提出的自适应方法的局限性。最近的研究发现了罕见的反例,亚当不能收敛到最优点。这些反例揭示了亚当的扭曲,这是由于一个小梯度产生的小的第二动量。与以往的研究不同,我们证明了当有效学习率超过一定的界限时,亚当不仅不能保持更接近最优点的反例,而且也不能保持更接近最优点的一般凸区域。随后,我们提出了一个算法,克服亚当的限制,并确保它可以达到并停留在最佳点区域。
2019-11-01 cs.LG stat.ML
A Method for Enhancing Generalization of Adam by Multiple Integrations
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院)
针对Adam泛化不足问题,提出集成多重积分项的MIAdam优化器,利用滤波效应引导平坦极小值,增强泛化与鲁棒性,并保持快速收敛,在基准上优于Adam及其变体。
2024-12-17 cs.LG
Beyond Dense Adam States: Adaptive Log-Space Quantization for Memory-Efficient Optimizers
该研究针对内存高效优化器的状态异质性提出自适应对数空间量化,在AdamW、CAME等模型的语言模型预训练实验中,可显著降低优化器存储并保持良好困惑度表现。
2026-09-02 cs.LG
Mixing ADAM and SGD: a Combined Optimization Method
University of Insubria(因苏布里亚大学)
在深度学习领域,优化方法(优化器)在神经网络的有效训练方面受到特别关注。在文献中,有许多论文比较了使用不同优化器训练的神经模型。每篇论文都证明,对于特定的问题,优化器比其他优化器更好,但随着问题的变化,这种结果不再有效,我们必须从头开始。在我们的论文中,我们建议使用两个非常不同的优化器的组合,但同时使用时,他们可以克服在非常不同的问题的单一优化器的性能。我们提出了一个新的优化称为MAS(混合ADAM和SGD),集成SGD和ADAM同时通过加权的贡献,通过分配恒定的权重。而不是试图改善SGD或ADAM,我们利用这两个在同一时间采取最好的两者。我们已经使用各种CNN对图像和文本文档分类进行了几次实验,并通过实验证明了所提出的MAS优化器比单一SGD或ADAM优化器具有更好的性能。实验的源代码和所有结果可在以下链接https://gitlab.com/nicolalandro/multi\_optimizer上在线获得
2020-11-16 cs.LG math.OC
An improvement of the convergence proof of the ADAM-Optimizer
Ostbayerische Technische Hochschule (OTH) Regensburg(雷根斯堡东巴伐利亚技术大学)
训练神经网络的一种常用方法是反向传播。该算法包括一个梯度下降方法,它需要一个自适应的步长。在神经网络领域,ADAM优化器是最流行的自适应步长方法之一。它是由Kingma和Ba在\cite{Kingma.2015}发明的。$5865$在短短三年内的引用也表明了给定论文的重要性。我们发现,给定的收敛性证明的优化包含一些错误,使证明将是错误的。在本文中,我们给出了一个改进的收敛性证明的亚当优化。
2018-04-27 cs.AI cs.LG stat.ML
AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong-Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
本文提出AdaMeZO,一种基于Adam风格的零阶优化器,通过估计一阶和二阶动量而不存储在内存中,有效减少GPU内存需求,同时在微调LLM时表现出色,比MeZO快70%。
2026-05-01 cs.AI cs.LG
PsiLogic: Chaos-Aware Active Cancellation for Adam with a Fair Cross-Domain Benchmark
研究针对自适应优化器在不同训练阶段更新规则相同的问题,提出PsiLogic优化器,通过双指数移动平均控制主动抵消项,经FairBench基准测试,在多个领域表现优异,还发布开源实现等支持验证。
2026-07-21 cs.LG
Optimizing the optimizer for data driven deep neural networks and physics informed neural networks
CSIRO Data61(联邦科学与工业研究组织Data61);College of Engineering and Computer Science, The Australian National University(澳大利亚国立大学工程与计算机科学学院);Defence Science and Technology Group, Department of Defence(国防部国防科学与技术集团)
我们调查的作用,优化器在确定质量的模型适合神经网络与一个小到中等数量的参数。我们研究亚当,一阶梯度优化算法,使用自适应动量,Levenberg和Marquardt(LM)算法的二阶方法,Broyden,弗莱彻,Goldfarb和Shanno算法(BFGS)的二阶方法和LBFGS,低内存版本的BFGS的性能。使用这些优化器,我们使用具有几个参数的神经网络拟合函数y = sinc(10 x)。该函数具有可变幅度和恒定频率。我们观察到,函数的较高振幅分量首先拟合,而Adam、BFGS和LBFGS努力拟合函数的较低振幅分量。我们还解决了Burgers方程使用物理告知神经网络(PINN)与BFGS和LM优化。对于我们的示例问题,具有小到中等数量的权重,我们发现LM算法能够快速收敛到机器精度,比其他优化器具有显着的优势。我们进一步研究了Adam优化器的一系列模型,发现Adam优化器需要更深的模型,其中包含大量隐藏单元,包含多达26倍的参数,以便实现LM优化器所实现的模型拟合。LM优化器的结果表明,可以用更少的参数来构建模型。我们已经在Keras和TensorFlow 2中实现了所有方法。
2022-05-16 cs.LG
On the Principles Behind Neural Network Optimizers
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
本论文为优化器Adam建立了有原则的基础,通过海森矩阵结构分析其在Transformer上优于SGD的原因,提出内存减半且性能不变的新优化器Adam-mini,还为其他NN优化器提供了新见解。
2026-08-18 cs.LG math.OC
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);School of Artificial Intelligence(人工智能学院);University of Washington(华盛顿大学)
本文通过折扣到动态的还原方法,改进了FTRL相关问题的动态后悔界,并应用于曲面损失和Adam优化器,获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks
JetBrains Research(JetBrains研究院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
用深度学习模型解决问题,需要研究人员用一定的优化方法对损失函数进行优化。研究界已经开发了100多种不同的优化器,但是关于优化器在各种任务中的性能的数据很少。特别是,没有一个基准测试测试优化器在源代码相关问题上的性能。然而,现有的基准数据表明,某些优化器可能对特定领域更有效。在这项工作中,我们在源代码的深度学习模型上测试了各种优化器的性能,并发现优化器的选择可能对模型质量产生重大影响,一些性能相对较好的优化器之间的得分差异高达两倍。我们还发现,RDam优化器(及其修改与前瞻性包络)是最好的优化器,几乎总是表现良好的任务,我们考虑。我们的研究结果表明,需要对代码相关任务中的优化器进行更广泛的研究,并表明ML4SE社区应该考虑使用RDam而不是Adam作为代码相关深度学习任务的默认优化器。
2023-03-06 cs.LG cs.SE
Central limit theorem for the averaged Adam optimizer
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文证明了平均化Adam优化器收敛到Adam向量场吸引零点的中心极限定理,收敛速度为n^{-1/2},协方差由吸引子处的Adam算法性质决定。
2026-06-23 cs.LG math.PR math.ST
HyperAdam: A Learnable Task-Adaptive Adam for Network Training
传统上,深度神经网络使用人类设计的随机优化算法(如SGD和Adam)进行训练。近年来,学习优化网络参数的方法已成为一个很有前途的研究课题。然而,这些学习的黑盒优化器有时并没有充分利用人类设计的优化器的经验,因此在泛化能力方面存在局限性。在本文中,一个新的优化器,被称为\textit{HyperAdam},提出了结合“学习优化”的思想和传统的亚当优化器。给定一个用于训练的网络,HyperAdam生成的每次迭代中的参数更新是Adam生成的具有不同衰减率的多个更新的自适应组合。HyperAdam中的组合权重和衰减率根据任务自适应学习。HyperAdam被建模为具有AdamCell,WeightCell和StateCell的递归神经网络。它被证明是各种网络训练的最新技术,如多层感知器,CNN和LSTM。
2018-11-22 cs.LG stat.ML
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
Tencent Hunyuan(腾讯混元);Institute of Computational Social Science, Peking University(北京大学计算社会科学研究院);University of Macau(澳门大学)
本文针对Adam风格优化器,理论推导并实验验证最优学习率随批量大小先升后降的激增缩放定律及其峰值随训练向大批量移动的规律。
2024-10-28 cs.LG
An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
1 Department of Computer Science \& Engineering, Indian Institute of Technology Indore, India.;3 National Remote Sensing Centre, Indian Space Research Organisation, India.
本文提出了一种改进的自适应PID优化器IAdaPID-ADG,通过引入非递增有效学习率和基于梯度差的调制因子来解决AdaPID在收敛性和稳定性方面的不足,实验表明其在多个数据集上表现优异。
2026-05-21 cs.LG
Ranger21: a synergistic deep learning optimizer
National Energy Research Scientific Computing Center(国家能源研究科学计算中心);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
由于优化器对神经网络的性能至关重要,因此每年都有大量关于该主题的创新论文发表。然而,虽然大多数这些出版物提供增量改进现有的算法,他们往往是新的优化,而不是组合算法。因此,许多有价值的改进很少看到他们的首次出版。利用这一未开发的潜力,我们介绍了Ranger21,一个新的优化器,它结合了AdamW与八个组件,经过审查和测试的想法,从文献中精心挑选。我们发现,由此产生的优化器提供了显着提高的验证精度和训练速度,更平滑的训练曲线,甚至能够在没有批量归一化层的情况下在ImageNet2012上训练ResNet50。AdamW系统地停留在一个糟糕的初始状态的问题。
2021-08-07 cs.LG
In-Run Data Shapley for Adam Optimizer
Mohamed bin Zayed University of Artificial Intelligence(莫萨德·本·泽德人工智能大学);University at Buffalo(布法罗大学);King Abdullah University of Science and Technology(卡布斯国王科学与技术大学)
本研究提出Adam-aware运行中数据Shapley方法,通过线性化技术实现高精度数据归因,提升现代训练流程效率。
2026-07-23 cs.AI cs.LG
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster(明斯特大学数学随机学研究所);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率,提出Adam向量场刻画其宏观行为,并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院LUMIA实验室);National University of Singapore(新加坡国立大学)
AF-Muon提出免AdamW的Muon扩展,针对权重共享词汇表采用有限容量线性最小化预言机,在九种设置中优于混合Muon和Sign,节省约20%状态内存。
2026-10-02 cs.LG
An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis
Beihang University(北京航空航天大学);School of Cyber Science and Technology(网络空间安全学院)
从大规模不完备矩阵中挖掘出潜在的信息是一个具有挑战性的关键问题。对潜在因素分析模型进行了深入研究,分析了潜在信息。近年来,与群体智能相关的LFA模型被提出并被广泛采用,以提高LFA的优化过程的效率,即,粒子群优化(PSO)-LFA模型。然而,PSO-LFA模型的超参数必须手动调整,这不利于广泛采用,并且限制了学习率为固定值。为了解决这个问题,我们提出了一个亚当增强的层次PSO-LFA模型,它细化的潜在因素与序贯亚当调整超参数PSO算法。首先,我们为粒子设计了亚当增量向量,构造了粒子的亚当增强演化过程。其次,我们细化的目标矩阵的所有潜在因素,我们提出了亚当增强粒子群算法的过程。在四个真实数据集上的实验结果表明,我们提出的模型具有更高的预测精度。
2023-02-23 cs.LG cs.NE
Adam Reduces a Unique Form of Sharpness: Theoretical Insights Near the Minimizer Manifold
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences(交叉信息研究院)
本文证明Adam优化器隐式降低由其自适应更新塑造的独特锐度度量,在极小值流形附近表现出与SGD性质不同的优化行为,并在标签噪声和稀疏回归场景中展现出更好的稀疏性与泛化能力,为自适应梯度方法提供了统一分析视角。
2025-11-04 cs.LG
Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach
Computational Science Laboratory(计算科学实验室);Virginia Tech(弗吉尼亚理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);California State University, Long Beach(加州州立大学长滩分校)
本研究发现经典Adam优化器对应极小学习率下的ODE一阶IMEX欧拉离散,通过高阶IMEX方法扩展Adam格式,提出的新优化算法在回归和分类任务上性能优于经典Adam。
2024-09-14 cs.CE cs.LG cs.NA
Generalizing Adam to Manifolds for Efficiently Training Transformers
Max-Planck-Institut für Plasmaphysik(马克斯·普朗克等离子物理研究所);Technische Universität München(慕尼黑技术大学)
本文提出一种利用齐性空间全局切空间表示将Adam优化器推广到流形的方法,无需投影步骤,并在Transformer和辛自编码器训练中验证其优于现有方法。
2026-09-17 cs.LG math.DG
WarpAdam: A new Adam optimizer based on Meta-Learning approach
Beijing University of Chemistry Technology(北京化工大学);Hohai University(河海大学);FuZhou University(福州大学)
本文提出 WarpAdam,将元学习的扭曲梯度下降概念引入 Adam,通过可学习矩阵 P 线性变换梯度,以提升跨数据分布的适应性、优化性能与泛化能力。
2024-09-06 cs.AI cs.IR cs.LG
A Physics-Inspired Optimizer: Velocity Regularized Adam
University of Oxford(牛津大学)
本文提出VRAdam优化器,通过引入速度正则化技术,结合Adam的参数缩放,提升训练稳定性与收敛速度,理论分析显示其在非凸目标下的收敛速率为O(√(lnN)/√N)。
2026-06-11 cs.AI cs.LG quant-ph
Effectiveness of Optimization Algorithms in Deep Image Classification
亚当被广泛应用于训练神经网络。不同类型的亚当方法具有不同的特征。最近两个新的adam优化器,AdaBelief和Padam被引入社区。我们分析了这两个亚当优化器,并将它们与其他传统的优化器(亚当,SGD +动量)在图像分类的情况下进行了比较。我们使用EMNIST数据集在AlexNet和简化版本的VGGNet,ResNet上评估这些优化算法的性能。(基准算法可在\hyperref [https://github.com/chuiyunjun/projectCSC413]{https://github.com/chuiyunjun/projectCSC413}获得)。
2021-10-04 cs.CV cs.LG math.OC
Explore the Loss space with Hill-ADAM
Department of Computer Science and Engineering UC San Diego(计算机科学与工程系 UC San Diego);Department of Computer Science and Engineering UC Santa Cruz(计算机科学与工程系 UC Santa Cruz)
针对ADAM优化器易陷入局部极小值的问题,本文提出Hill-ADAM优化器,通过确定性的误差最小化与最大化交替策略探索损失空间以寻找全局极小值,经5个损失函数及12个图像色彩校正实例验证了其效果。
2025-10-04 cs.LG stat.ML
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
本文提出 Adam Accumulation(AdamA)方法,通过将梯度直接整合进优化器状态并在微批次上累积,同时减少激活与梯度内存,在保持 Adam 收敛性的前提下实现高达 23% 的内存降低,并支持训练更大规模模型。
2023-05-31 cs.AI cs.LG
A Trainable Optimizer
Industrial Engineering and Management Sciences, Northwestern University, Evanston, IL, USA, 60201(西北大学工业工程与管理科学学院)
本文提出可训练优化器,通过联合训练梯度估计器和模型权重,实现比ADAM更快的收敛速度,并在强凸和非凸设置中表现出色。
2026-01-29 cs.LG
MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
Amazon Web Services(亚马逊网络服务);Technion – Israel Institute of Technology(以色列理工学院);University of Minnesota(明尼苏达大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出统一元自适应优化器框架 MADA,通过超梯度下降在参数化优化器空间中动态选择,并引入 AVGrad;实验显示其在视觉、语言及 GPT-2 任务中稳定优于 Adam。
2024-06-17 cs.LG math.OC
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院,香港中文大学(深圳));School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院和人工智能学院,香港中文大学(深圳))
针对强凸随机优化问题,证明了Adam优化器的收敛速率,并通过Adam对称性定理揭示了其收敛到全局最优解当且仅当数据对称分布,否则不收敛。
2026-06-23 cs.LG math.OC
FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information
Google LLC(谷歌公司)
本文从黎曼与信息几何角度证明 Adam 是使用对角经验 Fisher 信息的自然梯度优化器,揭示原始算法缺陷并提出修正,改进后的 FAdam 在 LLM、ASR 和 VQ-VAE 上表现优异,ASR 达最优水平。
2024-09-03 cs.AI cs.IT cs.LG
Scaling Exponents Across Parameterizations and Optimizers
Google DeepMind(谷歌DeepMind);MIT(麻省理工学院)
本文提出参数化新视角,放宽假设并涵盖更多优化器,发现所有参数化均可实现超参数迁移,且提出的逐层学习率方案优于muP,并推出Adam-atan2消除epsilon超参数。
2024-07-16 cs.LG
Tune My Adam, Please!
University of Freiburg(弗赖堡大学);Meta;ELLIS Institute(ELLIS研究所);Prior Labs(Prior实验室)
本文针对 Adam 超参数调优成本高的问题,提出基于 TaskSet 学习曲线预训练的 Adam-PFN 代理模型及 CDF-augment 增强方法,以提升 Freeze-thaw BO 的外推、优化速度与 OOD 表现。
2025-08-28 cs.LG
Training Algorithm Matters for the Performance of Neural Network Potential: A Case Study of Adam and the Kalman Filter Optimizers
Uppsala University(乌普萨拉大学)
开发神经网络潜力(NNPs)的一个隐藏但重要的问题是选择训练算法。在这里,我们比较了两种流行的训练算法,自适应矩估计算法(亚当)和扩展卡尔曼滤波算法(EKF)的性能,使用Behler-Parrinello神经网络(BPNN)和两个公开访问的数据集的液态水[Proc.Natl. Acad. Sci. U.S.A. 2016,113,8368-8373和Proc. Natl. Acad. Sci. U.S.A. 2019,116,1110-1115]。这是通过在TensorFlow中实现EKF来实现的。研究发现,与Adam相比,用EKF训练的NNPs更具可转移性,对学习率的值不太敏感。在这两种情况下,验证集的错误度量并不总是作为NNPs实际性能的良好指标。相反,我们表明,它们的性能相关性以及基于Fisher信息的相似性度量。
2021-11-09 cs.LG physics.chem-ph physics.comp-ph
Tom: Leveraging trend of the observed gradients for faster convergence
PES University(PES大学)
深度学习的成功可以归因于各种因素,例如计算能力的增加,大数据集,深度卷积神经网络,优化器等,特别是优化器的选择影响泛化,收敛速度和训练稳定性。随机梯度下降(SGD)是一个一阶迭代优化器,它对所有参数均匀地更新梯度。这种统一的更新可能不适合整个训练阶段。对此的基本解决方案是采用微调的学习率调度器,其根据迭代来降低学习率。为了消除对学习率调整器的依赖性,自适应梯度优化器(诸如AdaGrad、AdaDelta、RMSProp、Adam)采用用于学习率的参数式缩放项,该参数式缩放项是梯度本身的函数。我们提出了Tom(趋势超过动量)优化器,这是Adam的一个新变体,它考虑了神经网络遍历的损失景观中的梯度所观察到的趋势。在建议的汤姆优化器,一个额外的平滑方程,以解决在优化过程中观察到的趋势。为趋势引入的平滑参数不需要调整,可以使用默认值。在CIFAR-10、CIFAR-100和CINIC-10图像数据集上的实验结果表明,Tom算法在精度和收敛速度上均优于Adagrad、Adadelta、RMSProp和Adam算法。源代码可在https://github.com/AnirudhMaiya/Tom上公开获取
2021-09-07 cs.LG
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University(西安交通大学);SGIT AI Lab(SGIT AI实验室);A*STAR(新加坡科技研究局)
针对大语言模型微调中的内存瓶颈,提出快速零阶优化器FZOO,通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算,在准确率和收敛速度上显著优于MeZO,实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
Evolving Deep Learning Optimizers
Sas.upenn.edu(宾夕法尼亚大学)
本文通过进化算法发现优于Adam的深度学习优化器,其结合符号梯度项和自适应矩估计,提升模型性能并揭示不同设计原则。
2025-12-05 cs.LG cs.NE
Lookahead optimizer improves the performance of Convolutional Autoencoders for reconstruction of natural images
自编码器是近年来受到广泛关注的一类人工神经网络。使用自动编码器的编码器块,输入图像可以被压缩成有意义的表示。然后,解码器被用来将压缩表示重构回看起来像输入图像的版本。它在数据压缩和去噪等领域有着广泛的应用。存在另一种版本的自动编码器(AE),称为变分AE(VAE),其充当类似于GAN的生成模型。最近,引入了一种称为前瞻优化器的优化器,该优化器显著增强了Adam和SGD的性能。在本文中,我们实现了卷积自动编码器(CAE)和卷积变分自编码器(CVAE)与前瞻优化器(亚当),并将它们与亚当(只有)优化器同行。为此,我们使用了一个电影数据集,包括自然图像的前一种情况和CIFAR100的后一种情况。我们表明,前瞻优化器(与Adam一起)提高了CAE重建自然图像的性能。
2020-12-03 cs.AI cs.CV cs.GR
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg(雷根斯堡应用技术大学)
自适应矩估计(ADAM)是一种非常流行的深度神经网络训练算法,属于自适应梯度下降优化器家族。然而,据作者所知,没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法,给出了ADAM算法超参数的必要条件。由于参数的局部性质,目标函数可以是非凸的,但必须至少是两次连续可微的。然后,我们将这个过程应用到其他自适应梯度下降算法,并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Deconstructing What Makes a Good Optimizer for Language Models
Harvard University(哈佛大学);Kempner Institute at Harvard University(哈佛大学肯普纳研究所)
本研究比较多种优化器在语言模型中的表现,发现除SGD外性能相当,并剖析Adam简化版本,揭示最后一层和LayerNorm的适应性对性能与稳定性至关重要。
2025-02-28 cs.AI cs.LG
Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);Helen and John C. Hartmann Department of Electrical and Computer Engineering, New Jersey Institute of Technology(新泽西理工学院电气与计算机工程系)
通过结合Adam与逆Adam,DualAdam提升了深度学习优化器的泛化能力。
2026-03-07 cs.LG stat.ML
The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers
本文识别并分析了Adam等自适应优化器训练中的纪元锯齿现象(ESP),揭示其源于二阶矩估计导致的自适应学习率调整及数据洗牌中的样本即时重曝光效应,并通过高维二次任务验证其普遍性。
2025-06-18 cs.AI cs.LG stat.ML
EvE: An Alternate Optimizer to Adam
The University of Alabama(阿拉巴马大学)
EvE是一种结合差分进化与针对性Adam回退的优化器,在预算受限的搜索场景中比Adam快数倍,且排名一致性相当,但最终质量略有损失。
2026-09-29 cs.LG cs.NE
On Suppressing Range of Adaptive Stepsizes of Adam to Improve Generalisation Performance
School of Electrical and Data Engineering, University of Technology, Sydney(悉尼科技大学电气与数据工程学院)
本研究针对Adam泛化性能问题,提出SET-Adam算法,通过对二阶动量v_t执行逐层向下缩放、epsilon嵌入、向下平移三项操作抑制自适应步长范围,在多个NLP、图像分类及生成任务上优于或匹配现有自适应优化器性能。
2024-07-12 cs.LG
Beyond Adam: SOAP and Muon for Faster, Label-Efficient Training of Machine Learning Interatomic Potentials
本文实现并系统比较了Muon、SOAP及混合SOAP-Muon等矩阵结构化优化器,用于训练NequIP和Allegro MLIP模型,发现这些优化器在收敛速度和最终精度上显著优于Adam,尤其在部分力监督下改进更为明显。
2026-07-03 cs.AI cs.LG physics.chem-ph
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences(数据与决策科学部);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of Maryland(马里兰大学);Department of Mechanical Engineering(机械工程系)
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM,证明其收敛性,并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
AdamL: A fast adaptive gradient method incorporating loss function
Eindhoven University of Technology(埃因霍温理工大学);Università di Pisa(比萨大学)
本文提出AdamL,一种融合损失函数信息的Adam优化器变体,在Polyak-Lojasiewicz条件下保证线性收敛,并在基准函数及多种深度学习任务中优于Adam、EAdam和AdaBelief,且无需手动调整学习率。
2023-12-23 cs.LG math.OC stat.ML
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
Department of Computer Science and Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel(计算机科学与应用数学系,魏茨曼科学研究院,以色列雷霍夫特)
研究动量优化器在光滑齐次模型上的隐式偏差,证明Muon、MomentumGD和Signum在衰减学习率下近似于最速下降轨迹,并偏向于对应边际最大化问题的KKT点,同时将分析扩展到Adam和混合范数优化器。
2026-05-24 cs.LG stat.ML
ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training
Peking University(北京大学);Kling Team(Kling 团队)
ORCA通过在训练早期施加临时软正交正则化后移除,使权重先受益于宽谱再自由适应,在多种LLM上比Muon取得更低验证损失,且无需架构改动、开销极小。
2026-11-03 cs.LG
Anon: Extrapolating Adaptivity Beyond SGD and Adam
Wuhan University(武汉大学);University of Macau(澳门大学);University of Calgary(卡尔加里大学)
Anon优化器突破SGD与Adam的插值限制,实现全实数谱的自适应性外推,通过增量延迟更新保证稳定性,在图像分类、扩散和语言建模任务中性能优异。
2026-09-24 cs.AI cs.LG
GWT: Scalable Optimizer State Compression for Large Language Model Training
National Key Laboratory of Parallel and Distributed Computing(并行与分布式计算国家重点实验室);National University of Defense Technology(国防科技大学);Center for Machine Learning Research(机器学习研究中心)
本文提出GWT,一种基于小波变换的优化器状态压缩方法,有效减少内存开销,同时保持模型精度,适用于大规模预训练和任务微调。
2026-08-25 cs.AI cs.LG