DeepOBS: A Deep Learning Optimizer Benchmark Suite
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
由于优化器的选择和调优会影响速度，并最终影响深度学习的性能，因此过去和最近在这一领域都有重要的研究。然而，也许令人惊讶的是，对于深度学习的优化策略的定量和可重复评估，并没有普遍认可的协议。我们建议随机优化的例程和基准，特别关注深度学习的独特方面，如随机性，可调性和泛化。作为主要贡献，我们提出了DeepOBS，一个深度学习优化基准的Python包。该软件包解决了随机优化器定量评估中的关键挑战，并自动化了大多数基准测试步骤。该库包括一组广泛且可扩展的现成现实优化问题，例如在ImageNet或字符级语言预测模型上训练用于图像分类的残差网络，以及MNIST和CIFAR-10等流行经典。该软件包还为这些测试问题上最受欢迎的优化器提供了现实的基线结果，确保在对新优化器进行基准测试时与竞争对手进行公平的比较，并且不必运行昂贵的实验。它带有输出后端，可以直接生成LaTeX代码，以包含在学术出版物中。它支持TensorFlow，并且是开源的。
2019-03-13 cs.LG stat.ML
Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
Meiji University（东邦大学）
本研究改进了Muon优化器的收敛速率，通过简化分析方法提供了更精确的理论保证，适用于更广泛的问题设置。
2026-03-05 cs.LG math.OC
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Optimal Control Theoretic Neural Optimizer: From Backpropagation to Dynamic Programming
FAIR, Meta（FAIR、Meta）；the School of Aerospace Engineering, Georgia Institute of Technology（航空航天工程学院、佐治亚理工学院）；Apple MLR
本文提出最优控制理论神经优化器（OCNOpt），利用反向传播与动态规划的算法相似性，通过高阶Bellman方程展开实现高效鲁棒的深度网络优化，支持逐层反馈和连续时间模型训练。
2025-10-15 cs.LG stat.ML
Learning with Differentiable Perturbed Optimizers
Google Research（谷歌研究院）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
机器学习流水线通常依赖于优化过程来做出离散决策（例如，排序、挑选最近的邻居或最短路径）。虽然这些离散决策很容易计算，但它们破坏了计算图的反向传播。为了扩大学习问题的范围，可以解决一个端到端的方式，我们提出了一个系统的方法来转换优化器到操作是可微的，从来没有局部常数。我们的方法依赖于随机扰动优化器，可以很容易地与现有的求解器一起使用。它们的导数可以被有效地评估，并且通过所选择的噪声幅度来调整平滑度。我们还展示了这个框架如何可以连接到一个家庭的结构化预测中开发的损失，并为他们在学习任务中的使用提供理论保证。我们通过实验证明了我们的方法在各种任务上的性能。
2020-06-09 cs.LG math.OC stat.ML
Momentum Streams for Optimizer-Inspired Transformers
Carnegie Mellon University（卡内基梅隆大学）
提出一类优化器启发的Transformer（如三重动量TMMFormer），通过将残差更新解释为优化器步骤，发现动量是性能提升的关键，能收敛到更平坦的极小值，减少遗忘并改善泛化。
2026-05-23 cs.AI cs.CL cs.LG
When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study
IT College, Shanghai Ocean University（上海海洋大学信息学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；SEIE, Suzhou University of Science and Technology（苏州科技大学SEIE学院）；DP Tech（DP科技）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文通过理论和实证研究，探讨Muon优化器（基于近似极分解的正交化更新）在对抗训练中的效果，发现其能限制矩阵更新的谱范数增长，在CNN和ViT上优于AdamW，与SGD竞争力相当。
2026-05-29 cs.LG
Optimizer choice matters for the emergence of Neural Collapse
University of Basel（巴塞尔大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究院）
本文研究了优化器选择对神经崩溃（NC）出现的影响，提出NC0指标证明解耦权重衰减抑制NC，并展示了动量对NC的加速作用。
2026-08-25 cs.LG
Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs)
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒阿齐兹大学科学与技术学院）
针对现有LMO类LLM优化器理论与实践脱节的问题，提出Gluon方法和精细广义平滑模型，匹配按层实现逻辑，理论步长贴合实证微调值，经实验验证弥合了理论实践鸿沟。
2025-05-19 cs.LG math.OC stat.ML
Black-box Optimizer with Implicit Natural Gradient
Australian Artificial Intelligence Institute（澳大利亚人工智能研究院）；University of Technology Sydney（悉尼科技大学）
黑箱优化是非常重要的许多计算密集型应用，包括强化学习（RL），机器人控制等。本文提出了一种新的理论框架黑箱优化，在我们的方法进行随机更新的指数族分布的隐式自然梯度。理论上，我们证明了我们的框架的收敛速度与凸函数的全矩阵更新。我们的理论结果也适用于连续不可微的黑盒函数。我们的方法是非常简单的，包含更少的超参数比CMA-ES \cite{hansen2006cma}。经验上，我们的方法与完整的矩阵更新达到竞争力的性能相比，一个国家的最先进的方法CMA-ES的基准测试问题。此外，我们的方法可以在一些具有挑战性的测试函数（例如，$l_1$ -范数椭球检验问题和Levy检验问题），而具有显式自然梯度的方法，即，IGO \cite{ollivier2017information}无法更新完整矩阵。这表明了我们方法的有效性。
2020-09-09 cs.LG stat.ML
Reverse engineering learned optimizers reveals known and novel mechanisms
Google Research, Brain Team（谷歌研究院大脑团队）；Meta Reality Labs（Meta现实实验室）
学习优化器是一种算法，它本身可以被训练来解决优化问题。与使用从理论原理导出的简单更新规则的基线优化器（如动量或亚当）相比，学习优化器使用灵活的，高维的，非线性参数化。虽然这可以在某些设置中带来更好的性能，但它们的内部工作原理仍然是一个谜。一个学习过的优化器是如何超越一个调好的基线的？它是学会了现有优化技术的复杂组合，还是实现了全新的行为？在这项工作中，我们通过仔细分析和可视化学习优化来解决这些问题。我们研究了在三个不同的任务上从头开始训练的学习优化器，发现他们已经学会了可解释的机制，包括：动量，梯度裁剪，学习率调度，以及一种新形式的学习率适应。此外，我们展示了学习优化器的动态如何实现这些行为。我们的研究结果有助于阐明以前模糊的理解如何学习优化的工作，并建立解释未来学习优化的工具。
2021-12-07 cs.LG cs.NE stat.ML
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences（数据与决策科学部）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of Maryland（马里兰大学）；Department of Mechanical Engineering（机械工程系）
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM，证明其收敛性，并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Cautious Optimizers: Improving Training with One Line of Code
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过一行代码改进优化器，提升Transformer预训练和图像分类性能
2026-02-15 cs.AI cs.CL cs.CV
On Local Optimizers of Acquisition Functions in Bayesian Optimization
Pohang University of Science and Technology（浦项科技大学）；BARO AI（巴罗人工智能公司）
贝叶斯优化是一种样本效率高的方法，用于找到一个昂贵的评估黑箱函数的全局最优解。通过累积一对查询点及其函数值来找到全局解，重复这两个过程：（i）建模代理函数;（ii）最大化获取函数以确定下一个查询的位置。收敛保证仅在每轮都找到采集函数的全局优化器并将其选为下一个查询点时才有效。然而，在实践中，也使用采集函数的局部优化器，因为搜索全局优化器通常是不平凡或耗时的任务。在本文中，我们考虑三个流行的采集功能，PI，EI，和GP-UCB诱导的高斯过程回归。然后，我们提出了一个性能分析的行为，这些采集功能的局部优化，在{ \em瞬时遗憾}全局优化。我们还介绍了一个分析，允许从多个不同的初始条件的局部优化方法。数值实验证实了我们的理论分析的有效性。
2020-06-16 cs.LG stat.ML
Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
选择优化器被认为是深度学习中最关键的设计决策之一，这并不容易。越来越多的文献现在列出了数百种优化方法。在缺乏明确的理论指导和确凿的经验证据的情况下，决策往往是基于轶事。在这项工作中，我们的目标是取代这些轶事，如果没有一个结论性的排名，那么至少有证据支持的证据。为此，我们对15种特别流行的深度学习优化器进行了广泛的标准化基准测试，同时简要概述了各种可能的选择。分析多个$50,000$单独运行，我们贡献了以下三点：（i）优化器性能在不同任务之间差异很大。(ii)我们观察到，使用默认参数评估多个优化器的效果与调整单个固定优化器的超参数大致相同。(iii)虽然我们无法辨别出在所有测试任务中明显占主导地位的优化方法，但我们确定了一个显着减少的特定优化器和参数选择的子集，这些优化器和参数选择通常会在我们的实验中产生竞争性结果：亚当仍然是一个强有力的竞争者，新的方法未能显著和持续地优于它。我们的开源结果具有挑战性，调整基线，对新型优化方法进行更有意义的评估，而无需任何进一步的计算工作。
2021-08-10 cs.LG stat.ML
DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；Shenzhen Loop Area Institute（深圳河套学院）；Zhejiang University（浙江大学）；Rutgers University-New Brunswick（罗格斯大学新布朗斯维尔回声分校）；Shanghai AI Laboratory（上海人工智能实验室）；Jiangxing Intelligence Technology Inc.（江行智能科技有限公司）
本文提出DyGRO-VLA，一种通过动态分组残差优化实现跨任务视觉-语言-动作模型扩展的两阶段优化框架，旨在提升模型的泛化能力。
2026-05-17 cs.LG cs.RO
A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization
The University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出理论框架分析自适应优化器在浮点量化下的收敛性，揭示Adam和Muon在不同量化下的表现差异，通过实验验证理论结果。
2026-03-01 cs.AI cs.LG stat.ML
Amos: An Adam-style Optimizer with Adaptive Weight Decay towards Model-Oriented Scale
Google Research（谷歌研究院）
我们介绍了Amos，一种基于随机梯度的优化器，用于训练深度神经网络。它可以被看作是一个亚当优化理论支持，自适应学习率衰减和权重衰减。Amos背后的一个关键见解是，它利用特定于模型的信息来确定初始学习率和衰减时间表。当用于预训练BERT变体和T5时，Amos始终比AdamW的最新设置更快地收敛，在<=70%的训练步骤和时间内实现更好的验证损失，同时需要<=51%的插槽变量内存。我们的代码是开源的：https://github.com/google-research/jestimator
2022-11-21 cs.LG
PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）
PowerStep是一种内存高效的自适应优化器，通过非线性变换直接作用于动量缓冲区实现坐标自适应，无需存储二阶统计量，具有最优收敛速度和更低的内存消耗。
2026-09-30 cs.AI cs.CL cs.LG
A survey of deep learning optimizers -- first and second order methods
Indian Institute of Science（印度科学学院）
本文综述深度学习中 14 种常用一阶和二阶优化方法，并结合优化理论分析高维损失最小化面临的鞍点、局部极小值、Hessian 病态及算力限制等问题。
2023-09-27 cs.CV cs.LG math.OC
SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning
McGill University（麦吉尔大学）；California Institute of Technology（加州理工学院）；Aarhus University（奥胡斯大学）；University of Copenhagen（哥本哈根大学）
该研究针对物理信息神经网络的病态目标问题，提出SS-ESOAP优化方法，在8个PDE基准中多数取得最低残差，在Boussinesq问题上优于Adam，为刚性高精度物理信息训练提供可扩展选项。
2026-09-01 cs.AI cs.LG math.OC
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
IBM Research AI（IBM人工智能研究院）
深度神经网络（DNN）在未来计算平台（提供100 TeraOps/s的计算能力）上的高度分布式训练预计将受到严重的通信约束。为了克服这一限制，需要新的梯度压缩技术，这些技术在计算上是友好的，适用于深度神经网络中看到的各种各样的层，并适应网络架构及其超参数的变化。在本文中，我们介绍了一种新的技术-自适应残差梯度压缩（AdaComp）计划。AdaComp基于梯度残差的局部选择，并根据局部活动自动调整压缩率。我们在多个领域（视觉，语音，语言），数据集（MNIST，CIFAR 10，ImageNet，BN 50，Shakespeare），优化器（SGD with momentum，Adam）和网络参数（学习者数量，minibatch-size等）的各种最先进的深度学习模型上展示了出色的结果。利用稀疏性和量化，我们证明了全连接和递归层的端到端压缩率约为200倍，卷积层约为40倍，模型精度没有任何明显的下降。
2017-12-07 cs.LG stat.ML
M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation
The Ohio State University（俄亥俄州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习优化（L2 O）已引起越来越多的关注，因为它往往显着加快复杂任务的优化过程中“过拟合”特定的任务类型，导致性能增强相比，分析优化器。通常，L2 O开发了参数化优化方法（即，"optimizer”）通过解决示例问题进行学习。这种数据驱动的过程产生了L2 O，可以有效地解决类似于训练中看到的问题，即从相同的“任务分布”中提取。然而，当新的测试问题与训练任务分布有很大的偏差时，这种学习优化器经常会遇到困难。本文研究了一个潜在的解决方案，这个开放的挑战，通过元训练L2 O优化器，可以执行快速测试时间自适应的分布任务，只有几个步骤。我们从理论上描述了L2 O的泛化，并进一步表明，我们提出的框架（称为M-L2 O）可证明有利于快速任务自适应定位适应良好的初始点的优化权重。对LASSO和Quadratic等几个经典任务的经验观察表明，M-L2 O的收敛速度明显快于vanilla L2 O，只需$5$调整步骤，与我们的理论结果相呼应。代码可在https://github.com/VITA-Group/M-L2O上找到。
2023-02-28 cs.LG stat.ML
Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文研究了在重尾梯度噪声下，基于符号的优化器如SignSGD和Lion相较于传统自适应方法的优越性，通过理论分析和实验验证，证明其在处理重尾噪声时的高效性。
2026-05-08 cs.CL cs.LG math.OC
On residual network depth
Google Research（谷歌研究）
本研究通过残差展开定理证明增加残差网络深度等价于扩大隐式集成规模，并揭示组合爆炸导致归一化需求，提出缩放残差模块作为原则性解决方案并具有隐式正则化效果。
2025-10-07 cs.LG stat.ML
Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization
University of California Berkeley（加州大学伯克利分校）
机器学习和控制中的传统优化方法严重依赖于一阶更新规则。为特定任务选择正确的方法和超参数通常涉及试错或从业者的直觉，这激发了元学习领域。我们提出了一个元学习框架，其中的内循环优化步骤涉及到解决可微凸优化（DCO），概括了广泛的家庭预先存在的更新规则。我们说明了这种方法的理论吸引力，它使一个家庭的线性最小二乘问题的一步优化，元学习者有足够的曝光类似的任务。DCO更新规则的各种实例化在一系列说明性实验设置上与常规优化器进行比较。
2023-03-29 cs.AI cs.LG math.OC
Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings
本研究提出了一种基于残差循环网络的可逆句子嵌入模型，通过回归输出层重建词向量并结合ADAM优化器、残差连接与“match drop”技术，实现了高精度与快速训练，为需要高质量句子嵌入的自然语言处理应用提供了新方法。
2023-04-06 cs.CL cs.LG
Permutation Randomization on Nonsmooth Nonconvex Optimization: A Theoretical and Experimental Study
School of Computer and Cyber Sciences（计算机与电子科学学院）；Augusta University（奥古斯塔大学）；Department of Graduate Psychology（研究生心理学系）；James Madison University（詹姆斯·麦迪逊大学）；School of Computing（计算学院）；University of Georgia（佐治亚大学）
本文研究无维度依赖的非光滑非凸优化中随机化的作用，证明置换随机化可打破收缩、保持收敛速率并促进全局收敛，且通过深度网络和含噪目标实验验证其有效性。
2025-05-16 cs.LG
Challenges in Training PINNs: A Loss Landscape Perspective
Stanford University（斯坦福大学）；ICME, Stanford University（斯坦福大学ICME（管理科学与工程学院））；Yale University（耶鲁大学）
本文从损失景观视角研究PINNs的训练挑战，指出微分算子导致的病态问题，提出新型二阶优化器NNCG并证明Adam+L-BFGS组合的优越性，为求解偏微分方程提供更优策略。
2024-06-03 cs.LG math.OC stat.ML
FOAM: Blocked State Folding for Memory-Efficient LLM Training
National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室）；College of Computer Science and Technology（计算机科学与技术学院）；National University of Defense Technology（国防科技大学）
FOAM通过计算块级梯度均值压缩优化器状态，并引入残差校正以恢复丢失信息，从而减少内存开销并加速收敛。
2026-05-13 cs.AI cs.LG
Residual-based attention in physics-informed neural networks
EPFL（洛桑联邦理工学院）；Brown University（布朗大学）
本研究针对物理信息神经网络（PINNs）收敛性与准确性的可靠性挑战，提出基于演化累积残差的无梯度注意力机制，可加速收敛、提升精度，在基准测试及脑周血管空间Navier-Stokes逆问题中表现优异，或成为PINNs快速训练的关键要素。
2026-08-25 cs.LG physics.comp-ph
On the Convergence Analysis of Muon
University of Virginia（弗吉尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）；Meta；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文分析了Muon优化器的收敛性，对比了其与梯度下降法的性能，揭示了Muon在低秩Hessian结构下的优势。
2026-07-29 cs.IT cs.LG math.IT
Theoretical properties of the global optimizer of two layer neural network
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们研究的问题优化的两层人工神经网络，最适合的训练数据集。我们在参数数量大于采样点数量的设置中查看这个问题。我们发现，对于广泛的一类可微的激活函数（这类涉及“几乎”所有的功能，不是分段线性），我们有一阶最优解满足全局最优性提供的隐藏层是非奇异的。我们的结果可以很容易地扩展到由方阵的平坦矩阵给出的隐藏层。结果是适用的，即使网络有一个以上的隐藏层提供的所有隐藏层满足非奇异性，所有的激活是从给定的“好”类的可微函数和优化只针对最后一个隐藏层。我们还研究了目标函数的光滑性，并表明它实际上是Lipschitz光滑的，即，其梯度不会急剧变化。我们使用光滑性质，以保证渐近收敛的O（1/迭代次数）的一阶最优解。我们还表明，我们的算法将保持非奇异性的隐藏层的任何有限数量的迭代。
2017-10-30 cs.LG
Effective Quantization of Muon Optimizer States
本文提出8位穆登优化器，通过分块量化技术在保持性能的同时显著减少优化器状态内存占用。
2026-02-22 cs.LG
Outer-Momentum Restarting in High-Dimensional Two-Phase Optimization
New York University（纽约大学）
本文研究在分布式优化中周期性重启外动量以控制外存效应，通过理论分析、玩具实验和语言模型预训练验证其能扩大稳定范围。
2026-05-27 cs.LG
The Slingshot Mechanism: An Empirical Study of Adaptive Optimizers and the Grokking Phenomenon
Apple（苹果公司）
Power等人（arXiv：2201.02177）报道的Grokking现象是指一种长时间的过拟合之后似乎突然过渡到完美泛化的状态。在本文中，我们试图通过一系列的实证研究来揭示Grokking的基础。具体来说，我们发现了一个优化异常，它在训练的最后阶段隐藏了自适应优化器，称为弹弓机制。弹弓机制的一个突出的伪影可以通过稳定和不稳定训练机制之间的循环相变来测量，并且可以通过最后一层权重的范数的循环行为来容易地监测。我们根据经验观察到，如果没有明确的正则化，Grokking（arXiv：2201.02177）几乎只发生在弹弓开始时，没有它就不存在。虽然弹弓机制在更一般的设置中很常见并且很容易重现，但它并不遵循我们所知道的任何已知的优化理论，并且如果没有深入研究，很容易被忽略。我们的工作指出了自适应梯度优化器在训练后期的一个令人惊讶和有用的归纳偏差，需要对其起源进行修订的理论分析。
2022-06-13 cs.LG math.OC
The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers
National University of Defense and Technology（中国人民解放军国防科技大学）；Academy of Military Science（中国人民解放军军事科学院）；Hefei Institute of Technology（合肥理工学院）
本文提出MDCS方法，通过衰减步长提升基于符号优化器的攻击稳定性和可迁移性，理论证明其收敛率最优。
2026-03-02 cs.LG
Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本研究探讨优化器选择对深度神经网络群体公平性的影响，发现自适应优化器（如RMSProp）比SGD更易收敛到公平解，并通过理论和实验验证其公平性优势。
2025-10-24 cs.CV cs.LG stat.ML
Riemannian Lyapunov Framework: Optimization as Closed Loop Control on Riemannian Manifolds
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；University of Florida（佛罗里达大学）
Riemannian Lyapunov Optimizer通过控制理论框架统一优化算法，提供稳定有效的优化器设计方法。
2026-10-30 cs.LG
Towards Robust Scaling Laws for Optimizers
Institute of Science and Technology Austria (ISTA)（科学与技术奥地利研究所）；Lancaster University（兰卡斯特大学）
本文研究了不同优化器的稳健缩放定律，提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律，并通过理论分析证明了Chinchilla式缩放定律的自然产生。
2026-02-24 cs.LG
On Design Principles for Private Adaptive Optimizers
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
本文研究差分隐私训练中自适应优化器的设计原则，指出追求梯度二阶矩无偏估计的直觉有误，并提出“先缩放后私有化”技术具有更优理论与实证表现。
2025-07-01 cs.CR cs.LG
A Variational Framework for Residual-Based Adaptivity in Neural PDE Solvers and Operator Learning
Division of Applied Mathematics, Brown University（应用数学系，布朗大学）；School of Engineering, Brown University（工程学院，布朗大学）
本文提出统一变分框架，通过残差凸变换形式化自适应加权，连接离散化与误差度量，提升神经PDE求解器及算子学习的性能。
2025-09-25 cs.LG cs.NA math.NA
Learning Identity Mappings with Residual Gates
Federal University of Rio de Janeiro（里约热内卢联邦大学）
我们提出了一种新的层设计，通过添加一个线性门控机制的快捷连接。通过使用一个标量参数来控制每个门，我们提供了一种方法来学习身份映射优化只有一个参数。我们建立在残差网络背后的动机之上，其中一个层被重新制定，以便使学习身份映射对优化器来说问题较少。增强每层仅引入一个额外的参数，并通过使退化为恒等映射更简单来提供更容易的优化。我们提出了一个新的模型，门控残差网络，这是增强残差网络时的结果。实验结果表明，增强层提供了更好的优化，提高了性能，和更多的层独立性。我们使用全连接网络在MNIST上评估了我们的方法，表明经验表明我们的增强有助于深度模型的优化，并且它对完全层删除提供了高容忍度：即使在一半的层被随机删除后，模型仍保留了90%以上的性能。我们还使用宽门ResNets在CIFAR-10和CIFAR-100上评估了我们的模型，分别实现了3.65%和18.27%的误差。
2016-12-29 cs.CV cs.LG
Bridging Spherical Black-Box Optimizers
The University of Tokyo（东京大学）
将进化策略、共识优化和积分优化统一为理论框架，通过引入混合优化器控制平坦偏好和模态，在连续控制和语言模型合并任务中提升性能与鲁棒性。
2026-06-25 cs.LG math.OC
Optimization Geometrodynamics: Variational Reduction and Interaction Curvature
Xidian University（西安电子科技大学）
研究提出优化几何动力学框架，将优化视为参数轨迹等的耦合演化，分离不变障碍与可改善的几何不匹配，引入动态几何复杂度，分析多种相关流和可观测量，为比较自适应优化器提供理论基准。
2026-07-14 cs.LG math.DG math.OC
On the Optimizer Dependence of Neural Scaling Laws
Department of Computer Science and Engineering, Indian Institute of Technology Delhi（计算机科学与工程系，印度理工学院德里）
通过随机特征回归实验，发现优化器类型系统性地影响神经缩放定律中的缩放指数α，预条件优化器产生更陡峭的缩放，并提供了光谱诊断预测高级优化器的收益。
2026-05-28 cs.AI cs.LG stat.ML
DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction
University of Southern California（南加州大学）；Amazon AI（亚马逊人工智能）；Google DeepMind（谷歌DeepMind）；University of Minnesota（明尼苏达大学）；Google Research（谷歌研究）
本文提出DiSK框架，利用简化卡尔曼滤波对差分隐私优化器的梯度进行去噪，在降低计算开销的同时显著提升了大规模训练的模型性能，并在理论和实验上均证明了其优于现有方法。
2025-04-29 cs.CR cs.LG stat.ML
NAG-GS: A Semi-Implicit Stochastic Optimizer with Large-Step Stability
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI；Sber AI Lab（Sber AI实验室）
该研究提出基于类Nesterov加速SDE与半隐式高斯-赛德尔离散化的NAG-GS随机优化器，推导了二次函数下的最优稳定学习率，且在多类模型训练任务中性能对标主流最优优化器。
2026-10-28 cs.LG cs.NA math.NA
The Quantization Benefits of Residual-Free Transformers
Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）；DATA61, CSIRO（DATA61，CSIRO）
本文通过对比残差与无残差Transformer，发现残差连接导致激活值非高斯性增强，从而增加量化误差；而无残差Transformer通过正交初始化等技术保持近高斯激活值，显著提升低比特量化鲁棒性，揭示了精度与可压缩性之间的权衡。
2026-11-06 cs.LG
REG: A Regularization Optimizer for Robust Training Dynamics
Huawei Noah’s Ark Lab（华为诺亚实验室）
针对结构感知优化器Muon训练不稳定、与AdamW预训练模型微调不兼容的问题，提出基于行列缩放算子的REG优化器，在LLM训练中性能和稳定性优于AdamW且适配其训练范式。
2025-10-04 cs.AI cs.LG
Convergence of optimizers implies eigenvalues filtering at equilibrium
Univ. Grenoble Alpes, CNRS, LJK（格勒诺布尔-阿尔卑斯大学，法国国家科学研究中心，让·昆兹曼实验室）
本文假设优化器收敛并指出其等效于特征值滤波，据此提出两种增强滤波的新算法以寻找更宽极小值，并利用广义Hadamard--Perron定理证明了其适用性。
2025-10-10 cs.LG math.DS math.OC
Compressing Gradient Optimizers via Count-Sketches
Rice University（莱斯大学）；Amazon Search（亚马逊搜索）
许多流行的一阶优化方法（例如，Momentum，AdaGrad，Adam）加速了深度学习模型的收敛速度。然而，这些算法需要辅助参数，这需要与模型中的参数数量成比例的额外存储器。随着深度学习模型不断变大，以便从复杂的大规模数据集中学习，这个问题变得越来越严重。我们提出的解决方案是保持线性草图来压缩辅助变量。我们证明了我们的技术具有与全尺寸基线相同的性能，同时使用更少的辅助变量空间。理论上，我们证明了计数草图优化保持SGD收敛速度，同时优雅地减少大型模型的内存使用。在大规模的10亿字数据集上，我们通过压缩嵌入和Softmax层中的Adam优化器节省了训练期间使用的25%的内存（8.6 GB而不是11.7 GB），精度和性能损失可以忽略不计。对于超过4950万个类的Amazon极端分类任务，我们还通过使用我们的计数草图优化器将小批量大小增加3.5倍，将训练时间减少了38%。
2019-02-26 cs.DS cs.LG stat.ML
Lipschitzness Effect of a Loss Function on Generalization Performance of Deep Neural Networks Trained by Adam and AdamW Optimizers
aut.ac.ir（德黑兰大学（注：此处aut.ac.ir为伊朗德黑兰大学的域名缩写，根据上下文推断为作者所属机构））
该研究理论证明损失函数的Lipschitz常数是影响Adam/AdamW训练的深度神经网络泛化误差的重要因素，结合跨分布年龄估计实验验证了低Lipschitz常数、低最大值的损失函数可提升模型泛化能力，为损失函数选择提供指导。
2023-08-22 cs.LG
