An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
1 Department of Computer Science \& Engineering, Indian Institute of Technology Indore, India.；3 National Remote Sensing Centre, Indian Space Research Organisation, India.
本文提出了一种改进的自适应PID优化器IAdaPID-ADG，通过引入非递增有效学习率和基于梯度差的调制因子来解决AdaPID在收敛性和稳定性方面的不足，实验表明其在多个数据集上表现优异。
2026-05-21 cs.LG
HVAdam: A Full-Dimension Adaptive Optimizer
HVAdam提出一种具有连续可调自适应性的新型优化器，通过增量延迟更新机制提升收敛性与鲁棒性，在多种任务中超越现有优化器。
2025-12-22 cs.AI cs.LG
Momentum Centering and Asynchronous Update for Adaptive Gradient Methods
Yale University（耶鲁大学）；University of Central Florida（中佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了ACProp（Asynchronous-centering-Prop），一种自适应优化器，它结合了第二动量的中心和异步更新（例如，对于$t$ -th更新，分母使用直到步骤$t-1$的信息，而分子使用$t$ -th步骤的梯度）。ACProp具有很强的理论特性和经验性能。通过Reddi等人（2018）的例子，我们表明异步优化器（例如AdaShift，ACProp）的收敛条件比同步优化器（例如Adam，RMSProp，AdaBelief）弱;在异步优化器中，我们表明第二动量的中心进一步削弱了收敛条件。我们证明了ACProp具有$O(\frac{1}{\sqrt{T}})$的收敛速度的随机非凸的情况下，它匹配的预言率和优于$O(\frac{logT}{\sqrt{T}})$率的RMSProp和亚当。我们在广泛的实证研究中验证了ACProp：ACProp在使用CNN进行图像分类时优于SGD和其他自适应优化器，并且在各种GAN模型、强化学习和Transformers的训练中优于调优的自适应优化器。综上所述，ACProp具有良好的理论性质，包括弱收敛条件和最佳收敛速度，以及强大的经验性能，包括像SGD一样良好的推广性和像Adam一样的训练稳定性。我们在https://github.com/juntang-zhuang/ACProp-Optimizer上提供实现。
2021-12-01 cs.LG math.OC
Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function
Chinese University of Hong Kong（香港中文大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Ohio State University（俄亥俄州立大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Berkeley（加州大学伯克利分校）
针对深度学习优化器的泛化与振荡问题，提出基于 Sigmoid 和 Tanh 函数自适应摩擦系数的 sigSignGrad 与 tanhSignGrad 优化器，利用短期梯度信息提升收敛与平滑度，实验证明其在准确率和训练时间上表现优越。
2024-08-07 cs.AI cs.LG
Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks
Massachusetts Institute of Technology（麻省理工学院）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Hon Hai Research Institute（鸿海研究院）
本文提出Frankenstein优化器，通过动态调整一阶和二阶动量系数融合多种自适应算法优势，在多个领域实验中收敛速度和泛化性能均优于现有自适应算法与SGD。
2025-05-04 cs.LG
AdaInject: Injection Based Adaptive Gradient Descent Optimizers for Convolutional Neural Networks
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）；PathPartner Technology Pvt. Ltd.（PathPartner科技私人有限公司）；Indian Statistical Institute（印度统计研究所）；Techno India University（Techno印度大学）
通常使用基于随机梯度下降（SGD）的优化技术来训练卷积神经网络（CNN）。现有的SGD优化器通常遭受最小值的过冲和最小值附近的振荡。在本文中，我们提出了一种新的方法，以下简称AdaInject，通过注入二阶矩到一阶矩的梯度下降优化。具体地，参数的短期变化被用作权重以在更新规则中注入二阶矩。AdaInject优化器控制参数更新，避免最小值的过冲并减少最小值附近的振荡。所提出的方法本质上是通用的，可以与任何现有的SGD优化器集成。AdaInject优化器的有效性通过一些简单的例子得到直观的解释。我们还展示了所提出的基于注入的优化的收敛性。此外，我们描述了AdaInject方法的有效性，通过广泛的实验结合最先进的优化器，即AdamInject，diffGradInject，RadamInject和AdaBeliefInject在四个基准数据集。实验中使用了不同的CNN模型。在CIFAR10数据集上使用具有ResNeXt29模型的diffGradInject优化器观察到$16.54\%$的前1分类出错率的最高改善。总的来说，我们观察到非常有前途的现有优化器的性能改进与建议的AdaInject方法。该代码可在：\url{https://github.com/shivram1987/AdaInject} .
2022-09-18 cs.LG math.OC
AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix
Ant Group（蚂蚁集团）
本研究提出利用逐步梯度差构造预处理矩阵的AGD优化器，搭配自动切换功能可在SGD与自适应模式间动态切换，在NLP、CV、RecSys任务上性能优于现有SOTA优化器。
2024-12-09 cs.DC cs.LG math.OC
AOS: Adaptive Optimizer Switching via Training-State Signals for Faster Convergence and Better Generalization
AOS-R通过监测6种梯度空间信号切换AdamW等优化器，在8组基准测试中6组获最佳准确率，收敛速度较AdamW提升0.80倍且精度平均提高0.4个百分点。
2026-08-04 cs.LG
Dynamic Memory Based Adaptive Optimization
本文提出回顾性学习律修正方法 RLLC，通过动态组合多个记忆单元提升优化器性能，实验表明其优于 SGD、动量和 Adam 等经典优化器。
2024-02-23 cs.AI cs.LG math.OC
The Slingshot Mechanism: An Empirical Study of Adaptive Optimizers and the Grokking Phenomenon
Apple（苹果公司）
Power等人（arXiv：2201.02177）报道的Grokking现象是指一种长时间的过拟合之后似乎突然过渡到完美泛化的状态。在本文中，我们试图通过一系列的实证研究来揭示Grokking的基础。具体来说，我们发现了一个优化异常，它在训练的最后阶段隐藏了自适应优化器，称为弹弓机制。弹弓机制的一个突出的伪影可以通过稳定和不稳定训练机制之间的循环相变来测量，并且可以通过最后一层权重的范数的循环行为来容易地监测。我们根据经验观察到，如果没有明确的正则化，Grokking（arXiv：2201.02177）几乎只发生在弹弓开始时，没有它就不存在。虽然弹弓机制在更一般的设置中很常见并且很容易重现，但它并不遵循我们所知道的任何已知的优化理论，并且如果没有深入研究，很容易被忽略。我们的工作指出了自适应梯度优化器在训练后期的一个令人惊讶和有用的归纳偏差，需要对其起源进行修订的理论分析。
2022-06-13 cs.LG math.OC
An improvement of the convergence proof of the ADAM-Optimizer
Ostbayerische Technische Hochschule (OTH) Regensburg（雷根斯堡东巴伐利亚技术大学）
训练神经网络的一种常用方法是反向传播。该算法包括一个梯度下降方法，它需要一个自适应的步长。在神经网络领域，ADAM优化器是最流行的自适应步长方法之一。它是由Kingma和Ba在\cite{Kingma.2015}发明的。$5865$在短短三年内的引用也表明了给定论文的重要性。我们发现，给定的收敛性证明的优化包含一些错误，使证明将是错误的。在本文中，我们给出了一个改进的收敛性证明的亚当优化。
2018-04-27 cs.AI cs.LG stat.ML
A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization
The University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出理论框架分析自适应优化器在浮点量化下的收敛性，揭示Adam和Muon在不同量化下的表现差异，通过实验验证理论结果。
2026-03-01 cs.AI cs.LG stat.ML
MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates
MT-DAO通过多时间尺度动量解决分布式自适应优化器在不频繁通信下的性能差距，消除与DDP的差距，减少训练时间并支持跨数据中心训练。
2025-10-06 cs.AI cs.LG
Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本研究探讨优化器选择对深度神经网络群体公平性的影响，发现自适应优化器（如RMSProp）比SGD更易收敛到公平解，并通过理论和实验验证其公平性优势。
2025-10-24 cs.CV cs.LG stat.ML
Hindsight-Guided Momentum (HGM) Optimizer: An Approach to Adaptive Learning Rate
Indian Institute of Technology Bombay（印度理工学院孟买）
提出HGM优化器，通过后见机制评估当前梯度与累积动量的余弦相似度来自适应缩放学习率，在保持计算效率的同时加速收敛并增强稳定性。
2025-06-22 cs.AI cs.LG math.OC
Scaling Distributed Training with Adaptive Summation
Microsoft Research（微软研究院）；Microsoft（微软）
随机梯度下降（SGD）是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们（例如，对每个批次的梯度求和，这不是顺序SGD将做的），并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum（自适应总和），收敛速度比以前的工作。Adasum易于实现，几乎与简单的梯度求和一样高效，并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum，然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究，以展示Adasum与多个框架（TensorFlow和PyTorch）一起工作，将多个优化器（Momentum-SGD，Adam和LAMB）扩展到更大的批量，同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之，Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例（没有MLPerf v0.5条目收敛超过16 K），Adam优化器在BERT-LARGE上通信之前达到64 K示例（之前的工作表明Adam在16 K时停止扩展），LAMB优化器在BERT-LARGE上通信之前扩展到128 K（先前的工作使用64 K），同时保持下游的准确性指标。最后，如果用户不需要扩展，我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
A second-order-like optimizer with adaptive gradient scaling for deep learning
Toulouse School of Economics（图卢兹经济学院）；Université de Toulouse（图卢兹大学）；Thales LAS France（泰雷兹法国LAS公司）
该研究提出结合INNA方法与RMSprop自适应梯度缩放的优化算法INNAprop，在维持标准深度学习方法内存需求的同时，多数据集多模型场景下训练速度和准确率持平或优于AdamW，且超参数调优成本低。
2024-12-12 cs.AI cs.LG math.OC
On Empirical Comparisons of Optimizers for Deep Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；DeepMind（深度思维）；Institute for Advanced Study（普林斯顿高等研究院）
选择优化器是当代深度学习管道的核心步骤。在本文中，我们证明了优化器比较超参数调整协议的敏感性。我们的研究结果表明，超参数搜索空间可能是最重要的一个因素，解释最近的实证比较文献中获得的排名。事实上，我们表明，这些结果可以矛盾时，超参数搜索空间的变化。随着调优工作的无限制增长，更一般的优化器不应该表现得比它们可以近似的优化器差（即，亚当的表现永远不会比动量差），但是最近比较优化器的尝试要么假设这些包含关系实际上不相关，要么以破坏包含关系的方式限制超参数。在我们的实验中，我们发现优化器之间的包含关系在实践中很重要，并且总是预测优化器的比较。特别是，我们发现流行的自适应梯度方法从来没有落后于动量或梯度下降。我们还报告了关于调整自适应梯度方法的经常被忽视的超参数的实用技巧，并提出了对神经网络训练的基准优化器的关注。
2020-06-16 cs.LG stat.ML
Decoupled Orthogonal Dynamics: Regularization for Deep Network Optimizers
Beijing University of Posts and Telecommunications（北京邮电大学）；Northwestern Polytechnical University（西北工业大学）
AdamO通过解耦幅度和方向的动力学，改进深度学习优化器的泛化和稳定性。
2026-02-04 cs.LG
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences（数据与决策科学部）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of Maryland（马里兰大学）；Department of Mechanical Engineering（机械工程系）
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM，证明其收敛性，并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
Selecting the Best Optimizers for Deep Learning based Medical Image Segmentation
Volastra Therapeutics（沃拉斯特拉治疗公司）；Health Sciences University（健康科学大学）；Northwestern University（西北大学）
这项工作的目标是在心脏图像分割的背景下识别深度学习的最佳优化器，并为如何设计具有有效优化策略的分割网络提供指导。自适应学习通过从较大的学习率（LR）开始并逐渐降低它来帮助快速收敛。动量优化器在加速方案类别中快速优化神经网络时特别有效。通过揭示这两种类型的算法（LR和动量优化器或简称为动量率（MR））之间的潜在相互作用，在本文中，我们将在单个设置中探索SGD算法的两种变体。我们建议使用循环学习作为基础优化器，并整合学习率和动量率的最佳值。我们研究了LR和MR的关系下的一个重要问题的医学图像分割的心脏结构的MRI和CT扫描。我们使用来自MICCAI 2017的ACDC挑战的心脏成像数据集进行了实验，四种不同的架构被证明可以成功解决心脏图像分割问题。我们的综合评估表明，所提出的优化器在单对象和多对象分割设置中取得了比深度学习文献中的其他优化器更好的结果（骰子度量提高了2%以上），具有相似或更低的计算成本。我们假设，加速和自适应优化方法的组合可以在医学图像分割性能产生巨大的影响。为此，我们提出了一种新的循环优化方法（\textit{CLMR}）来解决基于深度学习的医学图像分割的效率和准确性问题。所提出的策略产生了更好的推广相比，自适应优化。
2023-02-05 cs.CV cs.LG eess.IV
DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）
DP-MicroAdam是一种高效的差分隐私优化算法，通过自适应方法在训练和微调中实现更高的性能和稳定性。
2025-11-28 cs.LG
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
AdaFisher: Adaptive Second Order Optimization via Fisher Information
Concordia University（康考迪亚大学）；IPSA Toulouse（图卢兹IPSA学院）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
AdaFisher通过Fisher信息矩阵的对角块Kronecker近似实现自适应二阶优化，在图像分类和语言建模任务中兼顾收敛性能与计算效率，并在准确率和收敛速度上超越现有SOTA优化器。
2025-03-10 cs.LG math.OC
Towards Practical Second-Order Optimizers in Deep Learning: Insights from Fisher Information Analysis
Concordia University（康考迪亚大学）
本文提出AdaFisher，一种基于Fisher信息矩阵对角块Kronecker近似的新型自适应二阶优化器，旨在平衡二阶方法的收敛优势与计算效率，在图像分类和语言建模任务中展现出优于Adam和SGD的准确率、收敛速度及稳定性。
2025-04-26 cs.LG math.OC
Domain-independent Dominance of Adaptive Methods
TTI-Chicago（芝加哥技术研究所）；University of Chicago（芝加哥大学）
从自适应方法的简化分析中，我们推导出AvaGrad，这是一种新的优化器，当其适应性得到适当调整时，它在视觉任务上的性能优于SGD。我们观察到，我们的方法的力量部分解释了解耦的学习率和适应性，大大简化了超参数搜索。根据这一观察，我们证明，与传统的智慧，亚当也可以优于SGD的视觉任务，只要考虑到它的学习率和适应性之间的耦合。在实践中，AvaGrad可以匹配任何现有优化器（SGD或自适应）在图像分类（CIFAR，ImageNet）和字符级语言建模（Penn Treebank）任务中提供的最佳结果（以泛化准确性衡量）。
2020-03-17 cs.LG stat.ML
Adaptive Online Learning for Gradient-Based Optimizers
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
随着对在线凸优化的应用需求的加速，设计同时覆盖一大类凸函数并施加尽可能低的遗憾的新方法的需求正在急剧上升。已知的在线优化方法通常仅在特定设置中表现良好，并且它们的性能高度依赖于决策空间和成本函数的几何形状。然而，在实践中，缺乏这样的几何信息导致在使用适当的算法的混乱。为了解决这个问题，已经提出了一些自适应的方法，专注于自适应学习参数，如步长，Lipschitz常数，和强凸系数，或特定的参数家庭，如二次正则化。在这项工作中，我们概括了这些方法，并提出了一个框架，在一个家庭的专家算法的最佳算法竞争。我们的框架包括许多著名的自适应方法，包括MetaGrad，MetaGrad+C和Ader。我们还介绍了第二个算法，计算优于我们的第一个算法，最多一个常数的因素增加遗憾。最后，作为我们所提出的算法的一个代表性的应用，我们研究了从一个家庭的正则化在线镜像下降学习的最佳正则化的问题。从经验上讲，我们支持我们的理论研究结果在学习问题的最佳正则化的单纯形和$l_2$球在多类学习问题。
2019-06-01 cs.AI cs.LG math.OC
Grams: Gradient Descent with Adaptive Momentum Scaling
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
本文提出新型优化算法Grams，通过解耦参数更新方向与动量幅度实现更快的损失下降与全局收敛，在训练大型语言模型时展现出优于Adam等优化器的收敛与泛化性能。
2025-03-05 cs.AI cs.DS cs.LG
The Unified Balance Theory of Second-Moment Exponential Scaling Optimizers in Visual Tasks
本文提出二阶矩指数缩放（SMES）方法，通过引入优化平衡理论，将SGD与自适应优化器统一在广义一阶优化公式下，并在经典数据集与网络上验证了不同平衡系数对训练过程的影响。
2024-05-28 cs.CV cs.LG
FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity
University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Gusu Laboratory of Materials（姑苏材料实验室）
AdaBelief是目前最好的优化器之一，通过观察所观察到的梯度的指数移动平均值，与流行的Adam算法相比，它表现出了卓越的泛化能力。AdaBelief在理论上是吸引人的，因为当目标函数是凸的时，它具有数据依赖的$O(\sqrt{T})$后悔界，其中$T$是时间范围。然而，它仍然是一个悬而未决的问题，是否可以进一步提高收敛速度，而不牺牲其推广能力。%，如何利用强凸性，进一步提高AdaBelief的收敛速度。为此，我们在这项工作中进行了第一次尝试，并设计了一种新的优化算法称为FastAdaBelief，旨在利用其强凸性，以实现更快的收敛速度。特别是，通过调整步长，更好地考虑强凸性和防止波动，我们提出的FastAdaBelief表现出良好的泛化能力以及优越的收敛性。作为一个重要的理论贡献，我们证明了FastAdaBelief达到了一个数据依赖的$O(\log T)$遗憾界，这是大大低于AdaBelief。在实证方面，我们验证了我们的理论分析与广泛的实验在两个场景的强和非强凸性三个流行的基线模型。实验结果是非常令人鼓舞的：FastAdaBelief收敛速度最快的所有主流算法相比，同时保持了良好的泛化能力，在强或非强凸的情况下。FastAdaBelief因此被假定为研究界的新基准模型。
2022-05-25 cs.LG stat.ML
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Tensor Programs IVb: Adaptive Optimization in the Infinite-Width Limit
xAI；Apple（苹果公司）
本文提出张量程序语言 NEXORT 和 bra-ket 记号，将无限宽度极限下的特征学习与核行为二分法推广到 Adam 等自适应优化器，并推导出任意架构的神经切线和最大更新极限。
2023-08-07 cond-mat.dis-nn cs.LG cs.NE
Why Adaptive Optimizers Underestimate Rare Tokens
Presidency University, Kolkata（加尔各答总统大学）
本文分析自适应优化器（如Adam、RMSProp）对稀有词元产生低估偏差的机制，指出其归一化更新导致训练不动点偏移，并推导出偏差的闭式表达式，实验验证了该现象。
2026-09-30 cs.LG stat.ML
Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization
New York University（纽约大学）
本文提出一种自适应动量机制，通过动态调整动量系数提升深度学习优化性能，适用于多种学习任务。
2026-05-10 cs.LG
AdaLomo: Low-memory Optimization with Adaptive Learning Rate
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai AI Laboratory（上海人工智能实验室）
AdaLomo通过为每个参数引入自适应学习率、用非负矩阵分解压缩二阶矩状态并采用分组更新归一化，在保持低内存的同时达到AdamW水平的训练性能。
2024-06-06 cs.CL cs.LG
CProp: Adaptive Learning Rate Scaling from Past Gradient Conformity
Chulalongkorn University（朱拉隆功大学）
包括随机梯度下降（SGD）及其自适应梯度导数的大多数优化器面临相同的问题，其中训练期间的有效学习率差异很大。学习率调度，主要是调整的手，通常在实践中使用。在本文中，我们提出了CProp，梯度缩放方法，它作为第二级学习率适应整个训练过程的基础上，从过去的梯度一致性线索。当过去的梯度在方向上一致时，CProp保持原始的学习率。相反，如果梯度方向不一致，CProp会根据梯度的不确定性按比例缩小梯度。由于它通过缩放来工作，因此它可以应用于任何现有的优化器，以扩展其学习率调度能力。我们对CProp进行了一系列测试，显示SGD和Adam等自适应梯度方法的训练速度都有显着提高。代码可在https://github.com/phizaz/cprop上获得。
2019-12-24 cs.LG stat.ML
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks
University of Science and Technology of China（中国科学技术大学）；Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）
已广泛探索了共享感知最小化（SAM）优化器，因为它可以通过引入额外的扰动步骤来平坦化深度学习模型的景观，从而更好地泛化用于训练深度神经网络。将SAM与自适应学习率和动量加速相结合，称为AdaSAM，已经被经验地探索用于训练大规模深度神经网络，而没有理论保证，这是由于在分析耦合的扰动步长、自适应学习率和动量步长时存在三重困难。本文在随机非凸情形下分析了AdaSAM的收敛速度。我们理论上表明，AdaSAM承认一个$\mathcal{O}(1/\sqrt{bT})$收敛速度，实现线性加速性能的小批量大小$b$。具体地说，解耦的随机梯度步骤与自适应学习率和扰动梯度，我们引入延迟二阶动量项分解它们，使它们独立，同时采取的期望在分析过程中。然后我们通过显示自适应学习率具有有限的范围来约束它们，这使得我们的分析可行。据我们所知，我们是第一个提供非平凡的收敛速度SAM与自适应学习率和动量加速。最后，我们在几个NLP任务上进行了实验，实验结果表明，AdaSAM与SGD，AMSGrad和SAM优化器相比，可以获得更好的性能。
2023-03-01 cs.DC cs.LG math.OC
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster（明斯特大学数学随机学研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率，提出Adam向量场刻画其宏观行为，并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
A block coordinate descent optimizer for classification problems exploiting convexity
Sandia National Laboratories（桑迪亚国家实验室）
二阶优化器对于深度学习具有有趣的潜力，但与基于梯度的方法相比，二阶优化器具有增加的成本和对损失表面的非凸性的敏感性。我们引入了一种坐标下降方法来训练用于分类任务的深度神经网络，该方法利用线性层权重中交叉熵损失的全局凸性。我们的混合牛顿/梯度下降（NGD）的方法是一致的解释隐藏层提供一个自适应的基础和线性层提供一个最佳的适合的基础数据。通过交替使用二阶方法找到线性层的全局最优参数和梯度下降来训练隐藏层，我们确保了自适应基在整个训练过程中与数据的最佳拟合。二阶步长中Hessian的大小仅与线性层中的权重数有关，而与隐藏层的深度和宽度无关;此外，该方法适用于任意隐藏层结构。以前的工作应用这种自适应基础的角度回归问题证明了显着的改进，在降低训练成本的准确性，这项工作可以被视为这种方法的扩展分类问题。我们首先证明了所得到的Hessian矩阵是对称半定的，并且牛顿步实现了全局极小。通过研究制造的二维点云数据的分类，我们证明了使用NGD训练时，验证误差的改善和隐藏层中编码的基函数的显着质的差异。应用于密集和卷积架构的图像分类基准测试表明，训练精度有所提高，表明二阶方法可能优于梯度下降。
2020-06-17 cs.LG stat.ML
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Do Sharpness-based Optimizers Improve Generalization in Medical Image Analysis?
University of Idaho（爱达荷大学）
本文综述并在乳腺超声图像上评估SAM及其锐度优化变体，发现仅原始SAM能持续提升医学图像分析泛化，Adaptive SAM仅改善CNN，其他变体效果不一致。
2024-08-09 cs.CV cs.LG eess.IV
Extending $μ$P: Spectral Conditions for Feature Learning Across Optimizers
Purdue University（普渡大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出了一种新的框架，用于推导更广泛优化器类别的μP，实现了跨优化器的零样本学习率转移和深度缩放参数化。
2026-02-24 cs.LG
Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling
HSE University（莫斯科国立高等经济学院）；Yandex Research（Yandex研究院）；BRAIn Lab（BRAIn实验室）；SB AI Lab（SB人工智能实验室）；Innopolis University（因诺波利斯大学）
提出SoftSignum和SoftMuon优化器，通过温度控制的软符号变换替代硬符号映射，结合自适应分位数温度调度，解决基于符号的优化器在参数异质性和终端收敛上的问题，并在随机非凸设置下证明收敛性，实验表明在多种深度学习任务（包括大语言模型预训练）中优于硬符号优化器和AdamW。
2026-05-29 cs.LG
Schattor: Schatten-family methods for deep learning optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Department of Mathematics, Linköping University（利乌波德大学数学系）
提出基于Schatten范数的自适应一阶方法族Schattor，统一SGD与Muon，通过矩阵鞅矩界实现无维数平稳性保证，并开发多块扩展以自适应平衡块优化。
2026-06-16 cs.LG math.OC
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法：（1）自适应学习率方案，如AdaGrad和Adam，以及（2）加速方案，如重球和Nesterov动量。在本文中，我们提出了一个新的优化算法，前瞻性，这是正交的这些以前的方法和迭代更新两套权重。直观地说，该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明，前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明，Lookahead可以显著提高SGD和Adam的性能，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
Adaptive Hierarchical Hyper-gradient Descent
The University of Sydney（悉尼大学）
在这项研究中，我们研究学习率自适应在不同级别的超梯度下降框架的基础上，提出了一种方法，自适应学习优化器参数相结合的多层次的学习率与层次结构。同时，我们展示了正则化过参数化学习率和在不同层次上建立自适应学习率组合之间的关系。在前馈网络、LeNet-5和ResNet-18/34等多种网络架构上的实验表明，所提出的多级自适应方法在各种情况下都能优于基线自适应方法。
2021-05-11 cs.LG cs.NE
Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn Lab））；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（人工智能 Mohamed bin Zayed 大学）；Innopolis University（Innopolis 大学）
本文提出一种统一框架，通过预条件矩阵范数概括了最速下降、拟牛顿和自适应方法，系统研究了仿射和尺度不变性，并引入了MuAdam和MuAdam-SANIA两种新方法，实验表明其在某些情况下优于现有方法。
2026-05-16 cs.LG math.OC
Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension
Microsoft Research（微软研究院）
本研究从结构化Fisher信息矩阵近似视角出发，提出两项大语言模型高效优化器设计策略，推导了RACS和Alice两种新型低内存优化器，在LLaMA预训练实验中实现了优于现有基线的收敛速度与内存效率。
2025-02-20 cs.AI cs.LG stat.ML
Non-Convergence and Limit Cycles in the Adam optimizer
OTH Regensburg（雷根斯堡应用技术大学）
深度神经网络最流行的训练算法之一是由Kingma和Ba引入的自适应矩估计（Adam）。尽管它在许多应用中取得了成功，但没有令人满意的收敛性分析：在超参数的某些限制下，批处理模式只能显示局部收敛，增量模式存在反例。最近的研究结果表明，对于简单的二次目标函数，在批处理模式下存在周期为2的极限环，但仅限于非典型超参数，并且仅限于没有偏差校正的算法。更一般地，有几种更自适应的梯度方法，它们试图从训练数据中估计拟合学习率和/或搜索方向，以与具有固定学习率的纯梯度下降相比改进学习过程。我们扩展了亚当在批处理模式下的收敛性分析与偏差校正，并表明，即使是二次目标函数作为最简单的情况下凸函数2极限环存在，所有的超参数的选择。我们分析了这些极限环的稳定性，并与我们的分析，其他结果的近似收敛，但在额外的假设下，有界梯度不适用于二次函数。由于方程的复杂性，调查严重依赖于计算机代数的使用。
2022-10-05 cs.LG cs.NA math.NA
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）；University of Washington（华盛顿大学）
本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
FOAL: Fast Online Adaptive Learning for Cardiac Motion Estimation
United Imaging Intelligence（联影智能）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
心脏MRI视频的运动估计对于评价人体心脏解剖和功能具有重要意义。最近的研究表明，基于深度学习的方法取得了可喜的成果。然而，在临床部署中，由于训练和测试数据集之间的分布不匹配，它们的性能会急剧下降，这在临床环境中很常见。另一方面，可以说不可能收集所有代表性数据集并在部署之前训练通用跟踪器。在这种情况下，我们提出了一种新的快速在线自适应学习（FOAL）框架：一个在线的基于梯度下降的优化器，优化的元学习器。元学习器使在线优化器能够执行快速且强大的自适应。我们通过在两个公共临床数据集上进行广泛的实验来评估我们的方法。结果表明，FOAL在准确性方面优于离线训练的跟踪方法。平均而言，FOAL只需要$0.4$秒就可以完成每个视频的在线优化。
2020-08-14 cs.AI cs.CV cs.LG
Anon: Extrapolating Adaptivity Beyond SGD and Adam
Wuhan University（武汉大学）；University of Macau（澳门大学）；University of Calgary（卡尔加里大学）
Anon优化器突破SGD与Adam的插值限制，实现全实数谱的自适应性外推，通过增量延迟更新保证稳定性，在图像分类、扩散和语言建模任务中性能优异。
2026-09-24 cs.AI cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
