Towards Practical Second-Order Optimizers in Deep Learning: Insights from Fisher Information Analysis
Concordia University（康考迪亚大学）
本文提出AdaFisher，一种基于Fisher信息矩阵对角块Kronecker近似的新型自适应二阶优化器，旨在平衡二阶方法的收敛优势与计算效率，在图像分类和语言建模任务中展现出优于Adam和SGD的准确率、收敛速度及稳定性。
2025-04-26 cs.LG math.OC
VeLO: Training Versatile Learned Optimizers by Scaling Up
Google Research（谷歌研究院）
虽然深度学习模型已经在许多领域取代了手工设计的功能，但这些模型仍然是用手工设计的优化器训练的。在这项工作中，我们利用深度学习成功背后的相同缩放方法来学习通用优化器。我们训练了一个深度学习优化器，它本身就是一个小型神经网络，可以吸收梯度并输出参数更新。我们的优化器在各种优化任务上进行了大约4000个TPU月的元训练，不仅表现出令人信服的性能，而且以有趣和意想不到的方式进行优化。它不需要超参数调优，而是自动适应正在优化的问题的细节。我们在velo-code.github.io上开源了我们学到的优化器、元训练代码、相关的训练和测试数据，以及一个广泛的优化器基准测试套件。
2022-11-17 cs.LG math.OC stat.ML
Selecting the Best Optimizers for Deep Learning based Medical Image Segmentation
Volastra Therapeutics（沃拉斯特拉治疗公司）；Health Sciences University（健康科学大学）；Northwestern University（西北大学）
这项工作的目标是在心脏图像分割的背景下识别深度学习的最佳优化器，并为如何设计具有有效优化策略的分割网络提供指导。自适应学习通过从较大的学习率（LR）开始并逐渐降低它来帮助快速收敛。动量优化器在加速方案类别中快速优化神经网络时特别有效。通过揭示这两种类型的算法（LR和动量优化器或简称为动量率（MR））之间的潜在相互作用，在本文中，我们将在单个设置中探索SGD算法的两种变体。我们建议使用循环学习作为基础优化器，并整合学习率和动量率的最佳值。我们研究了LR和MR的关系下的一个重要问题的医学图像分割的心脏结构的MRI和CT扫描。我们使用来自MICCAI 2017的ACDC挑战的心脏成像数据集进行了实验，四种不同的架构被证明可以成功解决心脏图像分割问题。我们的综合评估表明，所提出的优化器在单对象和多对象分割设置中取得了比深度学习文献中的其他优化器更好的结果（骰子度量提高了2%以上），具有相似或更低的计算成本。我们假设，加速和自适应优化方法的组合可以在医学图像分割性能产生巨大的影响。为此，我们提出了一种新的循环优化方法（\textit{CLMR}）来解决基于深度学习的医学图像分割的效率和准确性问题。所提出的策略产生了更好的推广相比，自适应优化。
2023-02-05 cs.CV cs.LG eess.IV
Memory Augmented Optimizers for Deep Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
在数据驱动的学习中，最小化损失的流行方法通常涉及抽象或显式保留梯度的历史，以进行有效的参数更新。即使在任何给定步骤的梯度没有信息时，梯度的聚合历史也会在正确的方向上推动参数更新。尽管在元参数中总结的或明确地存储在存储器中的梯度的历史在理论和实践中已经被证明是有效的，但是在决定参数更新时，历史中的梯度的$all$或仅子集是否足够的问题仍然没有答案。在本文中，我们提出了一个框架的内存增强的梯度下降优化，保留在其内部存储器的梯度历史的有限的看法。这样的优化器可以很好地扩展到大型现实数据集，我们的实验表明，标准优化器的内存增强扩展在我们考虑的大多数计算机视觉和语言任务上都可以加速收敛并提高性能。此外，我们证明了所提出的一类优化与固定大小的内存收敛强凸性的假设下，无论梯度被选择或它们是如何线性组合，形成更新步骤。
2021-06-20 cs.LG math.OC
Benchmarking Optimizers for MLPs in Tabular Deep Learning
Yandex；HSE University（俄罗斯高等经济学院）
本文对15种优化器在17个表格数据集上进行基准测试，发现Muon优化器在标准监督学习设置下优于AdamW，同时发现模型权重指数移动平均技术能提升AdamW性能。
2026-04-17 cs.LG
Ranger21: a synergistic deep learning optimizer
National Energy Research Scientific Computing Center（国家能源研究科学计算中心）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
由于优化器对神经网络的性能至关重要，因此每年都有大量关于该主题的创新论文发表。然而，虽然大多数这些出版物提供增量改进现有的算法，他们往往是新的优化，而不是组合算法。因此，许多有价值的改进很少看到他们的首次出版。利用这一未开发的潜力，我们介绍了Ranger21，一个新的优化器，它结合了AdamW与八个组件，经过审查和测试的想法，从文献中精心挑选。我们发现，由此产生的优化器提供了显着提高的验证精度和训练速度，更平滑的训练曲线，甚至能够在没有批量归一化层的情况下在ImageNet2012上训练ResNet50。AdamW系统地停留在一个糟糕的初始状态的问题。
2021-08-07 cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
DeepOBS: A Deep Learning Optimizer Benchmark Suite
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
由于优化器的选择和调优会影响速度，并最终影响深度学习的性能，因此过去和最近在这一领域都有重要的研究。然而，也许令人惊讶的是，对于深度学习的优化策略的定量和可重复评估，并没有普遍认可的协议。我们建议随机优化的例程和基准，特别关注深度学习的独特方面，如随机性，可调性和泛化。作为主要贡献，我们提出了DeepOBS，一个深度学习优化基准的Python包。该软件包解决了随机优化器定量评估中的关键挑战，并自动化了大多数基准测试步骤。该库包括一组广泛且可扩展的现成现实优化问题，例如在ImageNet或字符级语言预测模型上训练用于图像分类的残差网络，以及MNIST和CIFAR-10等流行经典。该软件包还为这些测试问题上最受欢迎的优化器提供了现实的基线结果，确保在对新优化器进行基准测试时与竞争对手进行公平的比较，并且不必运行昂贵的实验。它带有输出后端，可以直接生成LaTeX代码，以包含在学术出版物中。它支持TensorFlow，并且是开源的。
2019-03-13 cs.LG stat.ML
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University（香港理工大学）
本文提出复合优化器 SGD-PH，对逐通道参数使用可精确提取的对角部分 Hessian，其余参数采用 SGD 更新，从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
On Empirical Comparisons of Optimizers for Deep Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；DeepMind（深度思维）；Institute for Advanced Study（普林斯顿高等研究院）
选择优化器是当代深度学习管道的核心步骤。在本文中，我们证明了优化器比较超参数调整协议的敏感性。我们的研究结果表明，超参数搜索空间可能是最重要的一个因素，解释最近的实证比较文献中获得的排名。事实上，我们表明，这些结果可以矛盾时，超参数搜索空间的变化。随着调优工作的无限制增长，更一般的优化器不应该表现得比它们可以近似的优化器差（即，亚当的表现永远不会比动量差），但是最近比较优化器的尝试要么假设这些包含关系实际上不相关，要么以破坏包含关系的方式限制超参数。在我们的实验中，我们发现优化器之间的包含关系在实践中很重要，并且总是预测优化器的比较。特别是，我们发现流行的自适应梯度方法从来没有落后于动量或梯度下降。我们还报告了关于调整自适应梯度方法的经常被忽视的超参数的实用技巧，并提出了对神经网络训练的基准优化器的关注。
2020-06-16 cs.LG stat.ML
AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning
AdaCubic通过自适应调整立方项权重，改进了牛顿法中的立方正则化，实验显示其在计算机视觉、自然语言处理和信号处理任务中优于或竞争于主流优化器，且无需超参数调优。
2026-04-10 cs.LG
Evolving Deep Learning Optimizers
Sas.upenn.edu（宾夕法尼亚大学）
本文通过进化算法发现优于Adam的深度学习优化器，其结合符号梯度项和自适应矩估计，提升模型性能并揭示不同设计原则。
2025-12-05 cs.LG cs.NE
Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
选择优化器被认为是深度学习中最关键的设计决策之一，这并不容易。越来越多的文献现在列出了数百种优化方法。在缺乏明确的理论指导和确凿的经验证据的情况下，决策往往是基于轶事。在这项工作中，我们的目标是取代这些轶事，如果没有一个结论性的排名，那么至少有证据支持的证据。为此，我们对15种特别流行的深度学习优化器进行了广泛的标准化基准测试，同时简要概述了各种可能的选择。分析多个$50,000$单独运行，我们贡献了以下三点：（i）优化器性能在不同任务之间差异很大。(ii)我们观察到，使用默认参数评估多个优化器的效果与调整单个固定优化器的超参数大致相同。(iii)虽然我们无法辨别出在所有测试任务中明显占主导地位的优化方法，但我们确定了一个显着减少的特定优化器和参数选择的子集，这些优化器和参数选择通常会在我们的实验中产生竞争性结果：亚当仍然是一个强有力的竞争者，新的方法未能显著和持续地优于它。我们的开源结果具有挑战性，调整基线，对新型优化方法进行更有意义的评估，而无需任何进一步的计算工作。
2021-08-10 cs.LG stat.ML
Structured Sparsity Inducing Adaptive Optimizers for Deep Learning
Mila（米拉研究所）；Universite de Montreal（蒙特利尔大学）
神经网络的参数自然地被组织成组，其中一些可能对其整体性能没有贡献。为了删除不重要的参数组，我们可以在目标函数中包含一些不可微的惩罚，并使用近似梯度方法将其最小化。在本文中，我们推导出加权邻近算子，这是一个必要的组成部分，这些邻近的方法，两个结构稀疏诱导处罚。此外，它们可以有效地近似与数值求解器，尽管这种近似，我们证明了现有的收敛保证时，这些运营商被集成为一个通用的自适应邻近方法的一部分。最后，我们表明，这种自适应的方法，加上加权邻近算子在这里得到的，确实是能够找到解决方案的结构，在其稀疏模式，从计算机视觉和自然语言处理的代表性例子。
2023-01-05 cs.LG math.OC
Towards Deep Robot Learning with Optimizer applicable to Non-stationary Problems
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出了一种新的深度学习优化器，名为d-AmsGrad。在真实世界的数据中，噪声和离群值不能从用于学习机器人技能的数据集中排除。对于那些通过实时的收集数据来学习的机器人来说，这个问题尤其突出，而这些数据是无法手动分类的。因此，已经开发了几种噪声鲁棒优化器来解决这个问题，其中一种名为AmsGrad的优化器是Adam优化器的变体，它证明了它的收敛性。然而，在实践中，它并没有提高机器人场景中的学习性能。这个原因被假设为大多数机器人学习问题是非平稳的，但是AmsGrad假设学习期间的最大二阶动量是平稳给定的。为了适应非定常问题，提出了一种使最大二阶动量缓慢衰减的改进方案。所提出的优化器具有相同的能力，达到全局最优的基线，其性能优于基线的机器人问题。
2020-07-31 cs.LG cs.RO stat.ML
Optimizing the optimizer for data driven deep neural networks and physics informed neural networks
CSIRO Data61（联邦科学与工业研究组织Data61）；College of Engineering and Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）；Defence Science and Technology Group, Department of Defence（国防部国防科学与技术集团）
我们调查的作用，优化器在确定质量的模型适合神经网络与一个小到中等数量的参数。我们研究亚当，一阶梯度优化算法，使用自适应动量，Levenberg和Marquardt（LM）算法的二阶方法，Broyden，弗莱彻，Goldfarb和Shanno算法（BFGS）的二阶方法和LBFGS，低内存版本的BFGS的性能。使用这些优化器，我们使用具有几个参数的神经网络拟合函数y = sinc（10 x）。该函数具有可变幅度和恒定频率。我们观察到，函数的较高振幅分量首先拟合，而Adam、BFGS和LBFGS努力拟合函数的较低振幅分量。我们还解决了Burgers方程使用物理告知神经网络（PINN）与BFGS和LM优化。对于我们的示例问题，具有小到中等数量的权重，我们发现LM算法能够快速收敛到机器精度，比其他优化器具有显着的优势。我们进一步研究了Adam优化器的一系列模型，发现Adam优化器需要更深的模型，其中包含大量隐藏单元，包含多达26倍的参数，以便实现LM优化器所实现的模型拟合。LM优化器的结果表明，可以用更少的参数来构建模型。我们已经在Keras和TensorFlow 2中实现了所有方法。
2022-05-16 cs.LG
Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks
JetBrains Research（JetBrains研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
用深度学习模型解决问题，需要研究人员用一定的优化方法对损失函数进行优化。研究界已经开发了100多种不同的优化器，但是关于优化器在各种任务中的性能的数据很少。特别是，没有一个基准测试测试优化器在源代码相关问题上的性能。然而，现有的基准数据表明，某些优化器可能对特定领域更有效。在这项工作中，我们在源代码的深度学习模型上测试了各种优化器的性能，并发现优化器的选择可能对模型质量产生重大影响，一些性能相对较好的优化器之间的得分差异高达两倍。我们还发现，RDam优化器（及其修改与前瞻性包络）是最好的优化器，几乎总是表现良好的任务，我们考虑。我们的研究结果表明，需要对代码相关任务中的优化器进行更广泛的研究，并表明ML4SE社区应该考虑使用RDam而不是Adam作为代码相关深度学习任务的默认优化器。
2023-03-06 cs.LG cs.SE
Resetting the Optimizer in Deep RL: An Empirical Study
Amazon（亚马逊）；Technion（以色列理工学院）
本研究针对深度强化学习中优化器内部参数因损失函数变化而受污染的问题，提出重置优化器内部参数的简单方法，并与Rainbow算法结合，在Atari基准上显著提升了性能。
2023-11-15 cs.AI cs.LG
An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
1 Department of Computer Science \& Engineering, Indian Institute of Technology Indore, India.；3 National Remote Sensing Centre, Indian Space Research Organisation, India.
本文提出了一种改进的自适应PID优化器IAdaPID-ADG，通过引入非递增有效学习率和基于梯度差的调制因子来解决AdaPID在收敛性和稳定性方面的不足，实验表明其在多个数据集上表现优异。
2026-05-21 cs.LG
Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function
Chinese University of Hong Kong（香港中文大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Ohio State University（俄亥俄州立大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Berkeley（加州大学伯克利分校）
针对深度学习优化器的泛化与振荡问题，提出基于 Sigmoid 和 Tanh 函数自适应摩擦系数的 sigSignGrad 与 tanhSignGrad 优化器，利用短期梯度信息提升收敛与平滑度，实验证明其在准确率和训练时间上表现优越。
2024-08-07 cs.AI cs.LG
NOVAK: Unified adaptive optimizer for deep neural networks
Interregional Academy of Personnel Management（跨地区人事管理学院）
NOVAK是一种统一的自适应优化器，结合多种优化技术，实现深度神经网络的高效训练和高鲁棒性。
2026-01-11 cs.AI cs.LG math.OC
BagNet: Berkeley Analog Generator with Layout Optimizer Boosted with Deep Neural Networks
University of California Berkeley（加州大学伯克利分校）
在模拟设计中，由于布局寄生效应的影响，布局后仿真结果和原理图仿真结果之间的差异不断扩大。这种范式转变迫使设计师采用设计方法，将布局效果无缝集成到标准设计流程中。因此，任何基于仿真的优化框架都应该考虑耗时的布局后仿真结果。这项工作提出了一个学习框架，该框架在运行模拟之前，使用区分生成样本的DNN来学习减少基于进化的组合优化器的模拟次数。使用这种方法，对于包括光链路接收器布局的几个大型电路示例，该方法实现了采样效率的至少两个数量级的改进。
2019-07-23 cs.LG cs.NE eess.SP
A second-order-like optimizer with adaptive gradient scaling for deep learning
Toulouse School of Economics（图卢兹经济学院）；Université de Toulouse（图卢兹大学）；Thales LAS France（泰雷兹法国LAS公司）
该研究提出结合INNA方法与RMSprop自适应梯度缩放的优化算法INNAprop，在维持标准深度学习方法内存需求的同时，多数据集多模型场景下训练速度和准确率持平或优于AdamW，且超参数调优成本低。
2024-12-12 cs.AI cs.LG math.OC
KAISA: An Adaptive Second-Order Optimizer Framework for Deep Neural Networks
University of Chicago（芝加哥大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Texas Advanced Computing Center（得克萨斯高级计算中心）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Argonne National Laboratory（阿贡国家实验室）
最近，Kronecker因子近似曲率（K-FAC）在深度神经网络（DNN）训练中的收敛速度比随机梯度下降（SGD）更快;然而，K-FAC较大的内存占用阻碍了其对大型模型的适用性。我们提出了KAISA，一个K-FAC启用，适应性强，改进和可扩展的二阶优化器框架，它适应特定模型和硬件的内存占用，通信和计算，以提高性能并增加可扩展性。我们量化了内存和通信成本之间的权衡，并在大型模型上评估KAISA，包括ResNet-50，Mask R-CNN，U-Net和BERT，最多128个NVIDIA A100 GPU。与原始优化器相比，KAISA在相同全局批量大小的应用程序中收敛速度快18.1-36.3%。在固定的内存预算下，KAISA在ResNet-50和BERT-Large中的收敛速度分别提高了32.5%和41.6%。KAISA可以平衡内存和通信，以实现等于或优于基线优化器的扩展效率。KAISA是开源的，可在https://github.com/gpauloski/kfac_pytorch上获得。
2021-09-20 cs.DC cs.LG
Heart Disease Prediction: A Comparative Study of Optimisers Performance in Deep Neural Networks
University of Nigeria（尼日利亚大学）；SAIL Innovation Lab（SAIL创新实验室）
本研究比较10种优化器在Kaggle心脏病数据集上训练多层感知器的性能，发现RMSProp在精确率、召回率、AUC和训练时间上表现均衡，为优化器选择提供科学依据。
2025-09-10 cs.LG
Navigating LLM Valley: From AdamW to Memory-Efficient and Matrix-Based Optimizers
Center for Applied Scientific Computing（应用科学计算中心）
本文探讨了大语言模型优化器的发展，从传统方法到内存高效和矩阵优化器，强调了在大规模训练中优化器的统计有效性、计算和内存效率。
2026-08-05 cs.AI cs.LG math.OC
Do Sharpness-based Optimizers Improve Generalization in Medical Image Analysis?
University of Idaho（爱达荷大学）
本文综述并在乳腺超声图像上评估SAM及其锐度优化变体，发现仅原始SAM能持续提升医学图像分析泛化，Adaptive SAM仅改善CNN，其他变体效果不一致。
2024-08-09 cs.CV cs.LG eess.IV
AdaSwarm: Augmenting Gradient-Based optimizers in Deep Learning with Swarm Intelligence
Center for AstroInformatics (Astrirg)（天文信息学中心（Astrirg））；BITS Pilani（pilani比拉斯科技学院）；CINVESTAV-IPN（国家理工学院高级研究中心）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；Ikerbasque（巴斯克科学基金会）；ML Square；Indian Institute of Technology Patna（巴特那印度理工学院）
AdaSwarm是一种无梯度优化器，通过提出的EMPSO近似梯度，性能媲美Adam，能处理多种损失函数，包括MAE。
2021-05-19 cs.LG cs.NE stat.ML
Decoupled Orthogonal Dynamics: Regularization for Deep Network Optimizers
Beijing University of Posts and Telecommunications（北京邮电大学）；Northwestern Polytechnical University（西北工业大学）
AdamO通过解耦幅度和方向的动力学，改进深度学习优化器的泛化和稳定性。
2026-02-04 cs.LG
Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method
Shell International Exploration & Production, Inc.（壳牌国际勘探与生产公司）
监督式深度学习中的训练在计算上要求很高，并且收敛行为通常不被完全理解。我们介绍并研究了二阶随机拟高斯-牛顿（SQGN）优化方法，该方法结合了随机拟牛顿方法，高斯-牛顿方法和方差缩减的思想来解决这个问题。SQGN提供了出色的准确性，而不需要实验许多超参数配置，考虑到组合的数量和每个训练过程的成本，这通常在计算上是禁止的。我们讨论了SQGN与TensorFlow的实现，并将其收敛性和计算性能与使用MNIST基准和地球科学大规模地震层析成像应用程序的一阶方法进行了比较。
2020-06-30 cs.LG stat.ML
Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
Meiji University（东邦大学）
本研究改进了Muon优化器的收敛速率，通过简化分析方法提供了更精确的理论保证，适用于更广泛的问题设置。
2026-03-05 cs.LG math.OC
CaAdam: Improving Adam optimizer using connection aware methods
Université Paris Dauphine - PSL（巴黎多芬大学 - 巴黎文理大学）；Institut Polytechnique de Paris（巴黎综合理工学院）；DRM；CREST
针对传统优化器未考虑神经网络架构特性的问题，提出连接感知优化算法CaAdam，基于层深度等结构属性动态调整学习率，在标准数据集上实现了比标准Adam更快的收敛和更高的准确率。
2024-10-31 cs.LG
Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks
Google Research（谷歌研究院）
深度学习的进展因训练大型模型所需的数天或数周时间而放缓。使用更多硬件的自然解决方案受到收益递减的限制，并导致额外资源的低效使用。在本文中，我们提出了一个大批量，随机优化算法，这是既快于广泛使用的算法，固定的计算量，也扩大了更好地为更多的计算资源变得可用。我们的算法隐式计算每个小批量的逆Hessian产生下降方向，我们这样做没有明确的近似Hessian或Hessian向量产品。我们通过成功训练大型ImageNet模型（Inception-V3，Resnet-50，Resnet-101和Inception-Resnet-V2）来证明我们算法的有效性，小批量大小高达32000，相对于当前基线，验证误差没有损失，总步骤数没有增加。在较小的小批量时，我们的优化器将这些模型中的验证误差提高了0.8- 0.9%。或者，我们可以权衡这种准确性，以减少大约10- 30%的训练步骤。我们的工作是实用的，易于使用的其他人-只有一个超参数（学习率）需要调整，而且，该算法是作为常用的亚当优化计算便宜。
2017-12-08 cs.LG stat.ML
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Scalable Deep Unfolding of Conic Optimizers
Georgia Institute of Technology（佐治亚理工学院）
提出矩阵自由隐式微分和基于Dalečkii-Krein的PSD锥反向传播规则，解决深度展开应用于大规模半定规划时的内存和数值稳定性问题，实现轻量级超参数策略和热启动学习，在多种问题上取得高达50倍加速。
2026-11-10 cs.LG math.OC
PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training
King Abdullah University of Science and Technology（卡布斯大学）；University of Strathclyde（斯特拉思克莱德大学）
提出PILOT在线优化器，通过梯度方向一致性信号动态调整动量、归一化和符号更新的组合，在FashionMNIST和CIFAR-10上实现更高准确率。
2026-05-23 cs.AI cs.CV cs.LG
Join Query Optimization with Deep Reinforcement Learning Algorithms
Zurich University of Applied Sciences（苏黎世应用科技大学）
连接查询优化是一项复杂的任务，是查询处理性能的核心。实际上它属于NP难问题。传统的查询优化器使用动态规划（DP）方法结合一组规则和限制，以避免穷举所有可能的连接顺序。然而，DP方法是非常资源密集的。此外，由于简化假设的属性独立性，传统的查询优化依赖于错误的成本估计，这可能会导致次优的查询计划。深度强化学习（DRL）最近的成功为查询优化领域解决上述问题创造了新的机会。在本文中，我们提出了我们的DRL为基础的完全观察优化（FOOP），这是一个通用的查询优化框架，使插件在不同的机器学习算法。FOOP的主要思想是使用一个数据自适应学习查询优化器，它避免了连接顺序的穷举，因此比基于动态规划的传统方法快得多。特别是，我们评估各种DRL算法，并表明，近端策略优化显着优于Q-学习算法。最后，我们展示了集成学习技术结合DRL可以进一步提高查询优化器。
2019-11-26 cs.AI cs.DB cs.LG
Mixing ADAM and SGD: a Combined Optimization Method
University of Insubria（因苏布里亚大学）
在深度学习领域，优化方法（优化器）在神经网络的有效训练方面受到特别关注。在文献中，有许多论文比较了使用不同优化器训练的神经模型。每篇论文都证明，对于特定的问题，优化器比其他优化器更好，但随着问题的变化，这种结果不再有效，我们必须从头开始。在我们的论文中，我们建议使用两个非常不同的优化器的组合，但同时使用时，他们可以克服在非常不同的问题的单一优化器的性能。我们提出了一个新的优化称为MAS（混合ADAM和SGD），集成SGD和ADAM同时通过加权的贡献，通过分配恒定的权重。而不是试图改善SGD或ADAM，我们利用这两个在同一时间采取最好的两者。我们已经使用各种CNN对图像和文本文档分类进行了几次实验，并通过实验证明了所提出的MAS优化器比单一SGD或ADAM优化器具有更好的性能。实验的源代码和所有结果可在以下链接https：//gitlab.com/nicolalandro/multi\_optimizer上在线获得
2020-11-16 cs.LG math.OC
XGrad: Boosting Gradient-Based Optimizers With Weight Prediction
National University of Defense Technology（国防科技大学）
本文提出 XGrad 框架，通过依据优化器更新规则预测未来权重并用于前向与反向传播，提升多种梯度优化器训练 DNN 时的收敛性、泛化能力和准确率。
2024-04-07 cs.AI cs.LG
Lipschitzness Effect of a Loss Function on Generalization Performance of Deep Neural Networks Trained by Adam and AdamW Optimizers
aut.ac.ir（德黑兰大学（注：此处aut.ac.ir为伊朗德黑兰大学的域名缩写，根据上下文推断为作者所属机构））
该研究理论证明损失函数的Lipschitz常数是影响Adam/AdamW训练的深度神经网络泛化误差的重要因素，结合跨分布年龄估计实验验证了低Lipschitz常数、低最大值的损失函数可提升模型泛化能力，为损失函数选择提供指导。
2023-08-22 cs.LG
How Do the Architecture and Optimizer Affect Representation Learning? On the Training Dynamics of Representations in Deep Neural Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文研究深度神经网络在过参数化设置下的表示训练动态，通过CKA相似度和线性分类器探针分析发现，训练阶段在SGD和ViT中更易区分，且ViT各层具有同步的表示学习动态。
2025-02-03 cs.LG
Deep Maxout Network-based Feature Fusion and Political Tangent Search Optimizer enabled Transfer Learning for Thalassemia Detection
Wenzhou-Kean University（温州肯恩大学）；Sulaimani Polytechnic University（苏莱曼尼理工大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出PTSO_TL方法，结合深度Maxout网络特征融合、过采样数据增强和迁移学习，用于地中海贫血检测，取得约94.3%精确率、96.1%召回率和95.2%F值。
2024-06-28 cs.LG
Omnivore: An Optimizer for Multi-device Deep Learning on CPUs and GPUs
Stanford University（斯坦福大学）；ETH Zurich（苏黎世联邦理工学院）
我们研究了多设备深度学习系统中影响训练时间的因素。给定卷积神经网络的规格，我们的目标是最小化在商品CPU和GPU集群上训练此模型的时间。我们首先关注单节点设置，并表明通过使用标准的并行和数据并行技术，吞吐量可以提高至少5.5倍，超过最先进的CPU系统。这确保了端到端训练速度与设备的吞吐量成正比，而不管其底层硬件如何，从而允许将群集中的每个节点视为黑盒。我们的第二个贡献是在多设备环境中影响端到端训练时间的权衡的理论和实证研究。我们确定的异步并行化的程度作为一个关键因素，影响硬件和统计效率。我们可以看到，可以把它看作是引入了动量项。我们的研究结果意味着，调整动量是关键的异步并行配置，并建议尚未完全调整公布的结果可能会报告次优性能的一些配置。对于我们的第三个贡献，我们使用我们的新的理解系统和优化动态之间的相互作用，提供一个有效的超参数优化器。我们的优化器包含一个预测模型，用于预测收敛的总时间，并选择资源分配以最小化该时间。我们证明了最流行的分布式深度学习系统在我们的权衡空间内，但没有在空间内优化。通过这种优化，我们的原型运行速度比最快的最先进系统快1.9倍到12倍。
2016-10-19 cs.DC cs.LG
In Defense of the Unitary Scalarization for Deep Multi-Task Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；New York University（纽约大学）
最近的多任务学习研究反对单一标量化，即训练只是最小化任务损失的总和。几个ad-hoc多任务优化算法已经被提出，受到关于是什么使得多任务设置困难的各种假设的启发。这些优化器中的大多数都需要每个任务的梯度，并引入了大量的内存，运行时和实现开销。我们表明，酉标量化，再加上标准的正则化和稳定化技术，从单任务学习，匹配或提高复杂的多任务优化器在流行的监督和强化学习设置的性能。然后，我们提出了一个分析，表明许多专门的多任务优化器可以部分解释为正则化的形式，可能解释我们令人惊讶的结果。我们相信我们的研究结果要求对该领域最近的研究进行批判性的重新评估。
2023-03-08 cs.AI cs.CV cs.LG
Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading
Rochester Institute of Technology（罗切斯特理工学院）；Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）
本文提出深度优化状态技术，通过交错卸载优化器状态到主机内存，提升GPU和CPU的利用效率，实验显示比现有方法快2.5倍。
2026-04-13 cs.AI cs.DC cs.ET
DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning
Harvard University（哈佛大学）
针对私有深度学习中DP优化器性能与隐私难以兼顾的问题，研究DP-AdamW并提出DP-AdamW-BC，通过理论分析和多隐私预算下的实证，证明DP-AdamW优于现有DP优化器，而其偏差校正变体准确率反而下降。
2025-11-11 cs.LG
Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks
Massachusetts Institute of Technology（麻省理工学院）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Hon Hai Research Institute（鸿海研究院）
本文提出Frankenstein优化器，通过动态调整一阶和二阶动量系数融合多种自适应算法优势，在多个领域实验中收敛速度和泛化性能均优于现有自适应算法与SGD。
2025-05-04 cs.LG
Optimizer Benchmarking Needs to Account for Hyperparameter Tuning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
优化器的性能，特别是在深度学习中，在很大程度上取决于它们所选择的超参数配置。优化器的有效性通常是在接近最优的问题特定的超参数下研究的，并且对于从业者来说，找到这些设置可能代价高昂。在这项工作中，我们认为，一个公平的评估优化器的性能必须考虑超参数调整的计算成本，即，使用自动超参数搜索找到好的超参数配置是多么容易。在一组广泛的标准数据集和架构上评估各种优化器，我们的结果表明Adam是最实用的解决方案，特别是在低预算的情况下。
2020-08-15 cs.LG stat.ML
Understanding Optimization in Deep Learning with Central Flows
Carnegie Mellon University（卡内基梅隆大学）；Flatiron Institute（弗拉提伦研究所）；Princeton University（普林斯顿大学）；U.C. Berkeley（加州大学伯克利分校）
本文提出中心流理论，通过时间平均轨迹刻画深度学习优化器在稳定性边缘的动态，预测长时轨迹并解释梯度下降进展与自适应优化器行为。
2025-09-25 cs.AI cs.LG math.OC
Deep Reinforcement Learning for Join Order Enumeration
Brandeis University（布兰迪斯大学）
连接顺序选择在查询性能中起着重要的作用。但是，现代查询优化器通常使用静态连接枚举算法，这些算法不会接收有关结果计划质量的任何反馈。因此，优化者经常重复选择相同的坏计划，因为他们没有“从错误中学习”的机制。在本文中，我们认为现有的深度强化学习技术可以应用于解决这一挑战。这些技术由人工神经网络驱动，可以通过整合成功和失败的反馈来自动改进决策。为了实现这一目标，我们提出了ReJOIN，一个概念验证连接枚举器，并提出了初步的结果表明，ReJOIN可以匹配或优于PostgreSQL优化器的计划质量和连接枚举效率。
2018-03-12 cs.DB cs.LG
Training Aware Sigmoidal Optimizer
Centro de Informática (CIn), Universidade Federal de Pernambuco (UFPE)（伯南布哥联邦大学信息中心（CIn））
深度神经网络的适当优化是一个开放的研究问题，因为在整个训练过程中改变学习率的最佳过程仍然未知。手动定义学习率调度涉及麻烦的耗时试错过程以确定超参数，诸如学习率衰减时期和学习率衰减率。尽管自适应学习率优化器自动化了这个过程，但最近的研究表明，与微调的学习率调度相比，它们可能会产生过度补偿并降低性能。考虑到深度神经网络损失函数呈现的景观比局部最小值具有更多的鞍点，我们提出了训练感知Sigmoidal优化器（TASO），它由两个阶段的自动学习率调度组成。第一阶段使用高学习率快速遍历众多的鞍点，第二阶段使用低学习率缓慢逼近局部极小点的中心，并与Adam、RMSProp和Adagrad等常用的自适应学习率调度算法进行了比较.我们的实验表明，TASO在两个最优（即，执行超参数验证）和次优（即，使用默认超参数）场景。
2021-02-17 cs.LG
EAdam Optimizer: How $ε$ Impact Adam
Tianjin University（天津大学）
在深度学习中已经提出并使用了许多自适应优化方法，其中Adam被视为默认算法，广泛应用于许多深度学习框架中。近年来，人们提出了Adabaround、RDam和Adabelief等Adam的变体，它们的性能都优于Adam。然而，这些变种主要集中在改变步长的梯度或平方it.Motivated的事实，适当的阻尼是重要的成功的强大的二阶优化，我们讨论了亚当在本文中的常数$ε$的影响。令人惊讶的是，我们可以获得更好的性能比亚当简单地改变$ε$的位置。基于这一发现，我们提出了一种新的亚当变体，称为EAdam，它不需要额外的超参数或计算成本。我们还讨论了我们的方法和亚当之间的联系和区别。最后，我们对各种流行的任务和模型进行了广泛的实验。实验结果表明，与Adam方法相比，该方法能带来显著的改进.我们的代码可在https://github.com/yuanwei2019/EAdam-optimizer上获得。
2020-11-04 cs.LG stat.ML
Balsa: Learning a Query Optimizer Without Expert Demonstrations
UC Berkeley（加州大学伯克利分校）
查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性，优化器需要专家几个月的时间来编写，几年的时间来完善。在这项工作中，我们第一次证明，学习优化查询，而不从专家优化器学习是可能的和有效的。我们介绍了Balsa，一个由深度强化学习构建的查询优化器。Balsa首先从一个简单的、与环境无关的模拟器中学习基本知识，然后在实际执行中进行安全学习。在Join Order Benchmark测试中，Balsa在两个小时的学习时间内，与两个开源和商业的专家查询优化器的性能相匹配，并且在几个小时后的工作负载运行时间内，其性能超过它们高达2.8 $\times$。因此，Balsa开启了在未来不存在专家设计的优化器的计算环境中自动学习优化的可能性。
2022-05-03 cs.DB cs.LG
When Do Flat Minima Optimizers Work?
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）
最近，平坦最小值优化器（flat-minima optimizers）试图在低损失邻域中找到参数，已被证明可以提高神经网络的泛化性能，优于随机和自适应梯度优化器。有两种方法由于其可扩展性而受到了极大的关注：1。随机加权平均（SWA），2。清晰度感知最小化（SAM）。然而，对它们的性质进行了有限的调查，并且没有在不同领域对它们进行系统的基准测试。我们通过比较用每种方法训练的模型的损失表面，并通过跨计算机视觉，自然语言处理和图形表示学习任务的广泛基准测试来填补这一空白。我们从这些结果中发现了一些令人惊讶的发现，我们希望这些发现将有助于研究人员进一步改进深度学习优化器，并帮助从业者为他们的问题确定正确的优化器。
2023-01-27 cs.LG stat.ML
