SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University（香港理工大学）
本文提出复合优化器 SGD-PH，对逐通道参数使用可精确提取的对角部分 Hessian，其余参数采用 SGD 更新，从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
Process-Tensor Tomography of SGD: Measuring Non-Markovian Memory via Back-Flow of Distinguishability
Athena RC University Campus（阿塔尼亚RC大学校园）
本文提出通过可区分性回流测量SGD训练中的非马尔可夫记忆，提供了一个模型无关的见证方法，展示了优化器状态记忆对训练过程的影响。
2026-01-23 cs.AI cs.LG
No More Adam: Learning Rate Scaling at Initialization is All You Need
University of Warwick（华威大学）；Collov Labs（科洛弗实验室）
本文提出 SGD-SaI，一种在初始化时按梯度信噪比缩放学习率的简单 SGD 增强方法，无需自适应动量，内存减半，并在 Transformer 任务中匹配或超越 AdamW。
2024-12-17 cs.AI cs.LG
HVAdam: A Full-Dimension Adaptive Optimizer
HVAdam提出一种具有连续可调自适应性的新型优化器，通过增量延迟更新机制提升收敛性与鲁棒性，在多种任务中超越现有优化器。
2025-12-22 cs.AI cs.LG
Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration
Google DeepMind（谷歌DeepMind）；Apple（苹果公司）；Chi Jin
本文研究了局部SGD中外优化器的作用，证明了调整外学习率可平衡优化误差与噪声方差，并改进收敛率。
2025-12-11 cs.LG math.OC stat.ML
Generalization and Optimization of SGD with Lookahead
Department of Mathematics University of Hong Kong（香港大学数学系）
本文对带minibatch SGD的Lookahead优化器进行稳定性与泛化分析，在不依赖全局Lipschitz假设下为凸和强凸问题推导泛化界，并证明凸情形下随批量大小线性加速。
2025-09-19 cs.LG stat.ML
ZO-AdaMU Optimizer: Adapting Perturbation by the Momentum and Uncertainty in Zeroth-order Optimization
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对零阶优化中MeZO存在的振荡、过拟合和收敛慢问题，提出ZO-AdaMU，通过在模拟扰动上应用动量自适应，提升收敛稳定性与速度，并在LLM微调中取得更好泛化。
2023-12-23 cs.LG
Dynamic Momentum Recalibration in Online Gradient Learning
Shenyang University of Chemical Technology（沈阳化工大学）；University of Louisville（路易斯维尔大学）；Northeastern University（东北大学）
SGDF通过动态调整动量系数优化梯度估计，提升深度学习优化性能。
2026-03-06 cs.LG
Dynamic Memory Based Adaptive Optimization
本文提出回顾性学习律修正方法 RLLC，通过动态组合多个记忆单元提升优化器性能，实验表明其优于 SGD、动量和 Adam 等经典优化器。
2024-02-23 cs.AI cs.LG math.OC
Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
研究揭示了Transformer训练中优化器诱导的低维漂移方向，分析了其在不同优化器下的稳定性及影响因素，强调累积更新动态的重要性。
2026-03-18 cs.AI cs.LG
Orthogonalized SGD and Nested Architectures for Anytime Neural Networks
University of Chicago（芝加哥大学）
我们提出了一种新的SGD变体，用于训练支持随时行为的网络架构：这种网络随着时间的推移产生一系列越来越准确的输出。这些网络的有效架构设计集中在重用内部状态;子网络必须产生与即时预测以及后续网络阶段的细化相关的表示。我们考虑传统的分支网络以及一类新的递归嵌套网络。我们的新优化器，归一化SGD，在训练多任务网络时动态地重新平衡特定于任务的梯度。在随时架构的上下文中，该优化器将来自较晚输出的梯度投影到参数子空间上，该参数子空间不会干扰来自较早输出的梯度。实验表明，使用归一化SGD进行训练可以显著提高任意时刻网络的泛化精度。
2020-08-15 cs.LG stat.ML
Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
Department of Electrical and Computer Engineering, University of Minnesota, USA（电气与计算机工程系，明尼苏达大学，美国）；School of Mathematics and Statistics, University of Sydney, Australia（数学与统计学学院，悉尼大学，澳大利亚）
本文研究了如何通过简单的优化器设计改进，使SGD在预训练中达到最先进的性能，提出了SCALE优化器，在内存使用上比Adam更高效，并在多个模型上表现优于现有内存高效的优化器。
2026-05-20 cs.AI cs.LG math.OC
Deconstructing What Makes a Good Optimizer for Language Models
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）
本研究比较多种优化器在语言模型中的表现，发现除SGD外性能相当，并剖析Adam简化版本，揭示最后一层和LayerNorm的适应性对性能与稳定性至关重要。
2025-02-28 cs.AI cs.LG
Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension
Microsoft Research（微软研究院）
本研究从结构化Fisher信息矩阵近似视角出发，提出两项大语言模型高效优化器设计策略，推导了RACS和Alice两种新型低内存优化器，在LLaMA预训练实验中实现了优于现有基线的收敛速度与内存效率。
2025-02-20 cs.AI cs.LG stat.ML
APOLLO: SGD-like Memory, AdamW-level Performance
Meta
本文提出APOLLO优化器，用纯随机投影的低秩辅助状态近似AdamW学习率缩放，以近SGD内存达到AdamW级预训练性能，并显著提升吞吐量与可扩展性。
2025-02-17 cs.AI cs.LG cs.PF
Randomness and Interpolation Improve Gradient Descent
Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University, Suzhou 21523, China tabular
本文提出基于SGD的两种优化器IAGD（利用牛顿插值加速收敛）和NRSGD（引入噪声正则化防过拟合），在CIFAR数据集上验证了其优于经典优化器的潜力。
2025-10-14 cs.AI cs.LG
AdaInject: Injection Based Adaptive Gradient Descent Optimizers for Convolutional Neural Networks
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）；PathPartner Technology Pvt. Ltd.（PathPartner科技私人有限公司）；Indian Statistical Institute（印度统计研究所）；Techno India University（Techno印度大学）
通常使用基于随机梯度下降（SGD）的优化技术来训练卷积神经网络（CNN）。现有的SGD优化器通常遭受最小值的过冲和最小值附近的振荡。在本文中，我们提出了一种新的方法，以下简称AdaInject，通过注入二阶矩到一阶矩的梯度下降优化。具体地，参数的短期变化被用作权重以在更新规则中注入二阶矩。AdaInject优化器控制参数更新，避免最小值的过冲并减少最小值附近的振荡。所提出的方法本质上是通用的，可以与任何现有的SGD优化器集成。AdaInject优化器的有效性通过一些简单的例子得到直观的解释。我们还展示了所提出的基于注入的优化的收敛性。此外，我们描述了AdaInject方法的有效性，通过广泛的实验结合最先进的优化器，即AdamInject，diffGradInject，RadamInject和AdaBeliefInject在四个基准数据集。实验中使用了不同的CNN模型。在CIFAR10数据集上使用具有ResNeXt29模型的diffGradInject优化器观察到$16.54\%$的前1分类出错率的最高改善。总的来说，我们观察到非常有前途的现有优化器的性能改进与建议的AdaInject方法。该代码可在：\url{https://github.com/shivram1987/AdaInject} .
2022-09-18 cs.LG math.OC
Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对现有优化器在参数维度曲率变化大时适应性差的问题，提出一种动态p值的ℓp范数方案，并融入SGD和SGDM，得到LPSGD和LPSGDM优化器，通过早期大p抑制高曲率方向、后期余弦退火减小p实现稳定更新，理论证明非凸情形下O(T^{-1/2})收敛率，在CIFAR和ImageNet数据集上验证了泛化性能提升。
2026-06-01 cs.LG
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法：（1）自适应学习率方案，如AdaGrad和Adam，以及（2）加速方案，如重球和Nesterov动量。在本文中，我们提出了一个新的优化算法，前瞻性，这是正交的这些以前的方法和迭代更新两套权重。直观地说，该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明，前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明，Lookahead可以显著提高SGD和Adam的性能，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；Shanghai Jiao Tong University（上海交通大学）
结合优化器的后向与前瞻特性，提出基于双重指数移动平均和动态lookahead策略的Admeta优化器框架，及其变体AdmetaR和AdmetaS，实验与理论证明其优于基础优化器且具收敛性。
2023-07-02 cs.LG math.OC
SGD momentum optimizer with step estimation by online parabola model
Jagiellonian University（雅盖隆大学）
在随机梯度下降中，特别是在神经网络训练中，目前主要的一阶方法是：不将局部距离建模为最小。最佳步长所需的这些信息由二阶方法提供，然而，它们有许多困难，从具有系数维数平方的全Hessian开始。本文提出了一个从成功的一阶动量法到二阶动量法的最小步骤：单方向在线抛物线建模：动量法的归一化$\hat{v}$。通过估计$\hat{v}$方向上的梯度$\vec{g}=\nabla F(\vecθ)$的线性趋势来完成：使得$g(\vecθ_\bot+θ\hat{v})\approx λ(θ-p)$用于$θ= \vecθ\cdot \hat{v}$、$g= \vec{g}\cdot \hat{v}$、$\vecθ_\bot=\vecθ-θ\hat{v}$。使用线性回归，$λ$、$p$是通过在所考虑的方向上仅更新四个平均值（$g$、$θ$、$gθ$、$θ^2$）来估计的MSE。指数移动平均线允许在这里进行廉价的在线估计，削弱了旧梯度的贡献。控制曲率的符号$λ$，我们可以从鞍排斥，而不是在标准牛顿方法中的吸引。在其余的方向：在二阶模型中不考虑，我们可以同时执行例如梯度下降。还讨论了其学习率近似为$μ=σ_θ/ σ_g$，允许例如自适应SGD -对于每个参数分别优化（二阶）学习率。
2019-12-09 cs.LG stat.ML
AOS: Adaptive Optimizer Switching via Training-State Signals for Faster Convergence and Better Generalization
AOS-R通过监测6种梯度空间信号切换AdamW等优化器，在8组基准测试中6组获最佳准确率，收敛速度较AdamW提升0.80倍且精度平均提高0.4个百分点。
2026-08-04 cs.LG
Water Quality Data Imputation via A Fast Latent Factorization of Tensors with PID-based Optimizer
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文针对水质数据缺失值插补中标准SGD张量隐因子分解收敛慢的问题，提出结合非线性PID控制器的快速张量隐因子分解模型FLFT，利用预测误差的历史、当前和未来信息加速收敛，并在真实数据集上验证了其更优的收敛速率和精度。
2025-03-10 cs.LG
Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
New York University（纽约大学）；Columbia University（哥伦比亚大学）
本研究发现小批量训练可稳定训练语言模型，优于大批次，且能使用普通SGD实现稳定训练，无需动量和优化器状态。
2025-12-15 cs.LG
Jorge: Approximate Preconditioning for GPU-efficient Second-order Optimization
University of Maryland（马里兰大学）
Jorge通过近似预条件计算消除矩阵求逆瓶颈，在GPU上实现兼具二阶收敛速度与一阶计算效率的优化器，并支持从SGD基线直接确定超参数，在多个模型上超越SGD、AdamW和Shampoo。
2023-10-27 cs.AI cs.DC cs.LG
Reducing Bias in Deep Learning Optimization: The RSGDM Approach
Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong（香港中文大学）；University of California, Irvine（加州大学欧文分校）；Illinois Institute of Technology（伊利诺伊理工学院）；Southern Methodist University（南卫理公会大学）
本文针对SGDM等优化器使用指数移动平均估计梯度存在偏差和滞后的问题，提出基于微分校正的RSGDM算法，实验证明其在CIFAR数据集上的收敛精度优于SGDM。
2024-09-05 cs.LG
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT AI实验室）；A*STAR（新加坡科技研究局）
针对大语言模型微调中的内存瓶颈，提出快速零阶优化器FZOO，通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算，在准确率和收敛速度上显著优于MeZO，实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
XGrad: Boosting Gradient-Based Optimizers With Weight Prediction
National University of Defense Technology（国防科技大学）
本文提出 XGrad 框架，通过依据优化器更新规则预测未来权重并用于前向与反向传播，提升多种梯度优化器训练 DNN 时的收敛性、泛化能力和准确率。
2024-04-07 cs.AI cs.LG
Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks
Massachusetts Institute of Technology（麻省理工学院）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Hon Hai Research Institute（鸿海研究院）
本文提出Frankenstein优化器，通过动态调整一阶和二阶动量系数融合多种自适应算法优势，在多个领域实验中收敛速度和泛化性能均优于现有自适应算法与SGD。
2025-05-04 cs.LG
An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training
University of Waterloo（滑铁卢大学）
本文通过360次实验分析了八种优化器在三个基准数据集上的能效与性能，发现AdamW和NAdam一致高效，SGD在复杂数据集上性能更优但排放较高，为平衡性能与可持续性提供了见解。
2025-09-16 cs.LG
Balancing Utility and Privacy: Dynamically Private SGD with Random Projection
Department of Mechanical Engineering（机械工程系）；Translational AI Center（转化人工智能中心）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Iowa State University（爱荷华州立大学）；Department of Energy and Power Engineering（能源与动力工程系）；Tsinghua University（清华大学）
针对DPSGD静态噪声影响性能及大模型学习困难的问题，提出D2P2-SGD优化器，结合自动梯度裁剪的动态差分隐私与随机投影，动态调整效用与隐私，实现次线性收敛并显著提升准确率。
2025-09-12 cs.LG
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster（明斯特大学数学随机学研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率，提出Adam向量场刻画其宏观行为，并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge（剑桥大学）
提出了一种利用贝叶斯优化来调整分布式随机梯度下降（SGD）系统参数的优化器。给定特定的上下文，我们的目标是快速找到有效的配置，适当地平衡可用机器之间的负载，以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型，不太适合这种高维域。为了减少收敛时间，我们利用现有的结构。我们设计了一个概率模型，模拟分布式SGD的行为，并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明，该优化算法在10次迭代内收敛到有效的配置，优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
$\mathcal{C}^k$-continuous Spline Approximation with TensorFlow Gradient Descent Optimizers
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
在这项工作中，我们提出了一个“开箱即用”的应用程序的机器学习（ML）优化的工业优化问题。我们介绍了一个分段多项式模型（样条）拟合的$\mathcal{C}^k$连续函数，它可以部署在凸轮近似设置。然后，我们使用机器学习框架TensorFlow提供的梯度下降优化上下文来优化近似质量和$\mathcal{C}^k$连续性方面的模型参数，并评估可用的优化器。我们的实验表明，使用TensorFlow梯度磁带解决问题是可行的，AMSGrad和SGD在可用的TensorFlow优化器中显示出最佳结果。此外，我们引入了一种新的正则化方法来提高SGD收敛性。虽然实验表明，剩余的不连续性优化后很小，我们可以消除这些错误，使用所提出的算法，只影响受影响的衍生物在局部样条段。
2023-03-22 cs.LG
Signal Processing Meets SGD: From Momentum to Filter
Shenyang University of Chemical Technology（沈阳化工大学）；University of Louisville（路易斯维尔大学）；Northeastern University（东北大学）；University of Macau（澳门大学）
本文从信号处理视角分析SGD梯度更新中的偏差与方差平衡问题，提出基于维纳滤波原理的SGDF方法，通过最小化均方误差获得最优时变增益，实现更优的收敛性与泛化性能。
2025-03-07 cs.LG eess.SP
Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本研究探讨优化器选择对深度神经网络群体公平性的影响，发现自适应优化器（如RMSProp）比SGD更易收敛到公平解，并通过理论和实验验证其公平性优势。
2025-10-24 cs.CV cs.LG stat.ML
Exploiting Explainable Metrics for Augmented SGD
University of New Brunswick（新不伦瑞克大学）；University of Toronto（多伦多大学）
解释深度学习的泛化特性是高级机器学习中的一个新兴课题。关于随机优化下的学习如何真正起作用以及为什么某些策略比其他策略更好，有几个问题没有得到解答。在本文中，我们解决了以下问题：\textit{can we probe intermediate layers of a deep neural network to identify and quantify the learning quality of each layer?}考虑到这个问题，我们提出了新的可解释性指标，测量冗余信息的网络层使用低秩分解框架和量化的复杂性措施，是高度相关的泛化性能的一个给定的优化器，网络和数据集。随后，我们利用这些指标来增强随机梯度下降（SGD）优化器，自适应地调整每一层的学习率，以提高泛化性能。我们的增强SGD -被称为RMSGD -与SOTA方法相比，引入了最小的计算开销，并通过在应用程序，架构和数据集上表现出强大的泛化特性来超越它们。
2022-03-31 cs.CV cs.LG
Domain-independent Dominance of Adaptive Methods
TTI-Chicago（芝加哥技术研究所）；University of Chicago（芝加哥大学）
从自适应方法的简化分析中，我们推导出AvaGrad，这是一种新的优化器，当其适应性得到适当调整时，它在视觉任务上的性能优于SGD。我们观察到，我们的方法的力量部分解释了解耦的学习率和适应性，大大简化了超参数搜索。根据这一观察，我们证明，与传统的智慧，亚当也可以优于SGD的视觉任务，只要考虑到它的学习率和适应性之间的耦合。在实践中，AvaGrad可以匹配任何现有优化器（SGD或自适应）在图像分类（CIFAR，ImageNet）和字符级语言建模（Penn Treebank）任务中提供的最佳结果（以泛化准确性衡量）。
2020-03-17 cs.LG stat.ML
DES-LOC: Desynced Low Communication Adaptive Optimizers for Training Foundation Models
University of Cambridge（剑桥大学）；Flower Labs；Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Warwick（华威大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出DES-LOC优化器系列，通过为参数和动量分配独立同步周期，在保持收敛性的同时显著降低通信成本，比DDP少170倍，比Local ADAM少2倍，并具备容错能力。
2025-05-28 cs.LG
Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）
本文研究了谱优化器在关联记忆问题中的性能，发现Muon的存储容量显著超过SGD，且在仅使用一阶信息时可与牛顿法匹配。通过实验验证了预测的扩展规律，为更实际的语言建模任务提供了理论基础。
2026-04-28 cs.LG stat.ML
Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个基于种群的进化随机梯度下降（ESGD）框架，用于优化深度神经网络。ESGD结合SGD和无梯度进化算法作为一个框架中的互补算法，其中优化交替之间的SGD步骤和进化步骤，以提高人口的平均适应度。通过在SGD步骤中的退避策略和在进化步骤中的精英策略，它保证了种群中的最佳适应度永远不会下降。此外，在SGD步骤中使用不同的超参数的各种基于SGD的优化器优化的群体中的个体被认为是协同进化设置中的竞争物种，使得优化器的互补性也被考虑在内。ESGD的有效性在包括语音识别、图像识别和语言建模在内的多个应用中得到了证明，使用了具有各种深度架构的网络。
2018-10-16 cs.LG cs.NE stat.ML
Dual Averaging is Surprisingly Effective for Deep Learning Optimization
Facebook AI Research（脸书人工智能研究院）；Princeton University（普林斯顿大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
一阶随机优化方法是目前使用最广泛的一类用于训练深度神经网络的方法。但是，优化器的选择已经成为一个特殊的规则，它会显著影响性能。例如，具有动量的SGD（SGD+M）通常用于计算机视觉（CV），而Adam用于训练自然语言处理（NLP）的Transformer模型。使用错误的方法会导致性能显著下降。受双重平均算法的启发，我们提出了Modernized Dual Averaging（MDA），这是一种能够在CV中执行SGD+M以及在NLP中执行Adam的优化器。我们的方法不是自适应的，而且比亚当简单得多。我们发现，MDA诱导一个衰减的非中心$L_2$正则化相比，香草SGD+M和假设，这可以解释为什么它的工作在NLP问题SGD+M失败。
2020-10-20 cs.LG math.OC stat.ML
Local SGD: Unified Theory and New Efficient Methods
MIPT（莫斯科物理技术学院）；Yandex（Yandex公司）；Sirius（天狼星）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个统一的框架，用于分析局部SGD方法在凸和强凸制度的分布式/联邦训练的监督机器学习模型。我们恢复了几种已知的方法作为我们的通用框架的特殊情况，包括Local-SGD/FedAvg，SCAFFOLD和几种最初不是为联邦学习设计的SGD变体。我们的框架涵盖了相同和异构的数据设置，支持随机和确定性数量的本地步骤，并可以与广泛的本地随机梯度估计，包括移位估计，能够调整本地迭代的不动点，以加快收敛。作为我们的框架的应用程序，我们开发了多个新的FL优化，优于现有的方法。特别是，我们开发了第一个线性收敛的本地SGD方法，不需要任何数据的同质性或其他强假设。
2020-11-03 cs.LG
MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates
MT-DAO通过多时间尺度动量解决分布式自适应优化器在不频繁通信下的性能差距，消除与DDP的差距，减少训练时间并支持跨数据中心训练。
2025-10-06 cs.AI cs.LG
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
Tencent Hunyuan（腾讯混元）；Institute of Computational Social Science, Peking University（北京大学计算社会科学研究院）；University of Macau（澳门大学）
本文针对Adam风格优化器，理论推导并实验验证最优学习率随批量大小先升后降的激增缩放定律及其峰值随训练向大批量移动的规律。
2024-10-28 cs.LG
Adam Reduces a Unique Form of Sharpness: Theoretical Insights Near the Minimizer Manifold
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
本文证明Adam优化器隐式降低由其自适应更新塑造的独特锐度度量，在极小值流形附近表现出与SGD性质不同的优化行为，并在标签噪声和稀疏回归场景中展现出更好的稀疏性与泛化能力，为自适应梯度方法提供了统一分析视角。
2025-11-04 cs.LG
The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition
本研究通过合成任务考察浅层MLP在拟合训练数据与学习高阶规则之间的分离，发现优化器与干扰权重学习显著影响高阶交互规则的实现。
2026-10-05 cs.LG
FlashOptim: Optimizers for Memory-Efficient Training
Databricks AI Research（Databricks AI研究院）
FlashOptim通过减少每参数内存消耗50%以上，同时保持模型质量和API兼容性，显著提升内存高效训练性能。
2026-03-11 cs.AI cs.LG
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms
George Mason University（乔治梅森大学）
本文提出基于多条优化轨迹估计平稳分布的统计基准方法，系统比较 SGD、平坦极小值优化器及新型 Basin Hopping 算法，揭示优化与泛化关系，并以半数梯度评估达到与 SAM 相当的性能。
2024-03-01 cs.LG
Optimizer choice matters for the emergence of Neural Collapse
University of Basel（巴塞尔大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究院）
本文研究了优化器选择对神经崩溃（NC）出现的影响，提出NC0指标证明解耦权重衰减抑制NC，并展示了动量对NC的加速作用。
2026-08-25 cs.LG
On the Convergence of Adam under Non-uniform Smoothness: Separability from SGDM and Beyond
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Peking University（北京大学）；Chinese Academy of Science（中国科学院）；CUHK (Shenzhen)（香港中文大学（深圳））
本文明确了非均匀平滑性下Adam与SGDM在收敛率上的差异，证明Adam在确定性和随机环境中均能达到一阶优化器的下界，而SGDM存在无法收敛的情况，并引入停时技术进一步优化了收敛率分析。
2024-03-22 cs.LG math.OC
When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文通过分析ℓ1范数站稳性、ℓ∞光滑性和可分离噪声模型，揭示SignSGD在稀疏噪声下比SGD更高效的原因，并证明其在矩阵域中的最优性。
2026-05-07 cs.AI cs.CL cs.LG
DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）
DP-MicroAdam是一种高效的差分隐私优化算法，通过自适应方法在训练和微调中实现更高的性能和稳定性。
2025-11-28 cs.LG
Momentum Centering and Asynchronous Update for Adaptive Gradient Methods
Yale University（耶鲁大学）；University of Central Florida（中佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了ACProp（Asynchronous-centering-Prop），一种自适应优化器，它结合了第二动量的中心和异步更新（例如，对于$t$ -th更新，分母使用直到步骤$t-1$的信息，而分子使用$t$ -th步骤的梯度）。ACProp具有很强的理论特性和经验性能。通过Reddi等人（2018）的例子，我们表明异步优化器（例如AdaShift，ACProp）的收敛条件比同步优化器（例如Adam，RMSProp，AdaBelief）弱;在异步优化器中，我们表明第二动量的中心进一步削弱了收敛条件。我们证明了ACProp具有$O(\frac{1}{\sqrt{T}})$的收敛速度的随机非凸的情况下，它匹配的预言率和优于$O(\frac{logT}{\sqrt{T}})$率的RMSProp和亚当。我们在广泛的实证研究中验证了ACProp：ACProp在使用CNN进行图像分类时优于SGD和其他自适应优化器，并且在各种GAN模型、强化学习和Transformers的训练中优于调优的自适应优化器。综上所述，ACProp具有良好的理论性质，包括弱收敛条件和最佳收敛速度，以及强大的经验性能，包括像SGD一样良好的推广性和像Adam一样的训练稳定性。我们在https://github.com/juntang-zhuang/ACProp-Optimizer上提供实现。
2021-12-01 cs.LG math.OC
