Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method
Shell International Exploration & Production, Inc.(壳牌国际勘探与生产公司)
监督式深度学习中的训练在计算上要求很高,并且收敛行为通常不被完全理解。我们介绍并研究了二阶随机拟高斯-牛顿(SQGN)优化方法,该方法结合了随机拟牛顿方法,高斯-牛顿方法和方差缩减的思想来解决这个问题。SQGN提供了出色的准确性,而不需要实验许多超参数配置,考虑到组合的数量和每个训练过程的成本,这通常在计算上是禁止的。我们讨论了SQGN与TensorFlow的实现,并将其收敛性和计算性能与使用MNIST基准和地球科学大规模地震层析成像应用程序的一阶方法进行了比较。
2020-06-30 cs.LG stat.ML
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering
University of Toronto(多伦多大学);Vector Institute(向量学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
标准的一阶随机优化算法仅基于平均小批量梯度进行更新,并且已经表明跟踪曲率等附加量可以帮助降低常见超参数的敏感性。基于这种直觉,我们探索使用精确的每样本海森向量乘积和梯度来构造自调整和无超参数的优化器。基于动态模型的梯度,我们推导出一个过程,导致曲率校正,噪声自适应在线梯度估计。我们更新的平滑性使其更适合简单的步长选择方案,我们也基于我们的估计量。我们证明了我们的基于模型的过程收敛于嘈杂的二次设置。虽然我们在深度学习任务中没有看到类似的收益,但我们可以匹配调优优化器的性能,最终,这是构建自调优优化器的有趣步骤。
2020-11-09 cs.LG
SPI-Optimizer: an integral-Separated PI Controller for Stochastic Optimization
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学深圳国际研究生院-伯克利深圳学院(清华大学));Graduate School at Shenzhen, Tsinghua University(清华大学深圳国际研究生院)
为了克服经典的基于动量的优化器中的振荡问题,最近的工作将其与比例积分(PI)控制器相关联,并人为地添加D项产生PID控制器。它以引入额外的超参数为代价来抑制振荡。本文首先分析了动量法为什么会在最优点附近振荡?并回答说:涨落问题与积分(I)项的滞后效应有关。受经典控制社会中条件积分思想的启发,我们提出了SPI-Optimizer,这是一种基于积分分离PI控制器的优化器,无需引入额外的超参数。当当前梯度方向与历史梯度方向不一致时,自适应地分离动量项。大量的实验表明,SPIOptimizer推广流行的网络架构,以消除振荡,并具有竞争力的性能,更快的收敛速度(高达40%的epoch减少率)和更准确的分类结果MNIST,CIFAR10,和CIFAR100(高达27.5%的错误减少率)比国家的最先进的方法。
2019-01-25 cs.LG stat.ML
Amos: An Adam-style Optimizer with Adaptive Weight Decay towards Model-Oriented Scale
Google Research(谷歌研究院)
我们介绍了Amos,一种基于随机梯度的优化器,用于训练深度神经网络。它可以被看作是一个亚当优化理论支持,自适应学习率衰减和权重衰减。Amos背后的一个关键见解是,它利用特定于模型的信息来确定初始学习率和衰减时间表。当用于预训练BERT变体和T5时,Amos始终比AdamW的最新设置更快地收敛,在<=70%的训练步骤和时间内实现更好的验证损失,同时需要<=51%的插槽变量内存。我们的代码是开源的:https://github.com/google-research/jestimator
2022-11-21 cs.LG
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology(埃因霍温理工大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
针对梯度不确定性建模需求,提出结合自适应梯度方法与概率框架的VSGD优化器,通过概率模型与随机变分推断推导更新规则,实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
深度CCA是最近提出的对传统典型相关分析(CCA)的深度神经网络扩展,并且已经在多个领域中成功地用于多视图表示学习。然而,深度CCA目标的随机优化并不简单,因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法,要么是使用大型小批量的随机优化,这可能会占用很高的内存。在本文中,我们解决了随机优化的问题,深CCA与小minibatches,基于迭代解决方案的CCA目标,并表明,我们可以实现良好的性能,因为以前的优化,从而减轻内存需求。
2015-10-07 cs.LG
When Do Flat Minima Optimizers Work?
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
最近,平坦最小值优化器(flat-minima optimizers)试图在低损失邻域中找到参数,已被证明可以提高神经网络的泛化性能,优于随机和自适应梯度优化器。有两种方法由于其可扩展性而受到了极大的关注:1。随机加权平均(SWA),2。清晰度感知最小化(SAM)。然而,对它们的性质进行了有限的调查,并且没有在不同领域对它们进行系统的基准测试。我们通过比较用每种方法训练的模型的损失表面,并通过跨计算机视觉,自然语言处理和图形表示学习任务的广泛基准测试来填补这一空白。我们从这些结果中发现了一些令人惊讶的发现,我们希望这些发现将有助于研究人员进一步改进深度学习优化器,并帮助从业者为他们的问题确定正确的优化器。
2023-01-27 cs.LG stat.ML
ZO-AdaMU Optimizer: Adapting Perturbation by the Momentum and Uncertainty in Zeroth-order Optimization
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
针对零阶优化中MeZO存在的振荡、过拟合和收敛慢问题,提出ZO-AdaMU,通过在模拟扰动上应用动量自适应,提升收敛稳定性与速度,并在LLM微调中取得更好泛化。
2023-12-23 cs.LG
Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能中心);National University of Singapore(新加坡国立大学);Beijing Institute of Big Data Research(北京大数据研究院)
众所周知,随机梯度噪声(SGN)作为深度学习的隐式正则化,对于深度网络的优化和泛化都至关重要。一些作品试图通过注入随机噪声来人工模拟SGN,以改善深度学习。然而,事实证明,注入的简单随机噪声不能像SGN那样工作,SGN是各向异性和参数依赖的。为了以低计算成本模拟SGN,并且不改变学习率或批量大小,我们提出了正负动量(PNM)方法,该方法是经典优化器中传统动量的强大替代方案。引入的PNM方法保持了两个近似独立的动量项。然后,我们可以通过调整动量差来显式地控制SGN的大小。我们从理论上证明了PNM的收敛保证和推广优势,随机梯度下降(SGD)。通过将PNM结合到两个传统的优化器,SGD与动量和亚当,我们的广泛的实验经验验证了显着的优势,基于PNM的变体相应的传统的基于动量的优化器。
2022-08-30 cs.LG
Isometric Gaussian Process Latent Variable Model for Dissimilarity Data
University of Oxford(牛津大学);Technical University of Denmark(丹麦技术大学)
我们提出了一个概率模型,其中的潜变量尊重建模数据的距离和拓扑结构。该模型利用生成流形的黎曼几何赋予潜在空间一个定义良好的随机距离测度,该测度在局部建模为Nakagami分布。这些随机距离被寻求尽可能类似于通过删失过程沿着邻域图观察到的距离。该模型是由基于成对距离的观测值的变分推断来推断的。我们演示了新模型如何在学习的流形中编码不变性。
2021-06-08 cs.LG stat.ML
A Statistical Analysis for Per-Instance Evaluation of Stochastic Optimizers: Avoiding Unreliable Conclusions
QB Information Technologies (1QBit)(1QB信息科技(1QBit));Hewlett Packard Labs, Hewlett Packard Enterprise(惠普实验室,惠普企业)
本文研究了随机优化器性能评估中重复次数对统计精度的影响,提出统计分析方法和实验设计指南,以提高评估的可靠性和准确性。
2026-05-14 cs.ET cs.LG math.ST
OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
Independent Researcher(独立研究者)
OptiRoulette通过动态选择优化器提升模型收敛速度,达到5.3倍更快的收敛性能。
2026-03-10 cs.AI cs.CV cs.LG
DeepOBS: A Deep Learning Optimizer Benchmark Suite
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
由于优化器的选择和调优会影响速度,并最终影响深度学习的性能,因此过去和最近在这一领域都有重要的研究。然而,也许令人惊讶的是,对于深度学习的优化策略的定量和可重复评估,并没有普遍认可的协议。我们建议随机优化的例程和基准,特别关注深度学习的独特方面,如随机性,可调性和泛化。作为主要贡献,我们提出了DeepOBS,一个深度学习优化基准的Python包。该软件包解决了随机优化器定量评估中的关键挑战,并自动化了大多数基准测试步骤。该库包括一组广泛且可扩展的现成现实优化问题,例如在ImageNet或字符级语言预测模型上训练用于图像分类的残差网络,以及MNIST和CIFAR-10等流行经典。该软件包还为这些测试问题上最受欢迎的优化器提供了现实的基线结果,确保在对新优化器进行基准测试时与竞争对手进行公平的比较,并且不必运行昂贵的实验。它带有输出后端,可以直接生成LaTeX代码,以包含在学术出版物中。它支持TensorFlow,并且是开源的。
2019-03-13 cs.LG stat.ML
Minibatching Offers Improved Generalization Performance for Second Order Optimizers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Washington State University(华盛顿州立大学);Rutgers, The State University of New Jersey(罗格斯新泽西州立大学);University of Washington(华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究针对深度神经网络训练成本高的问题,通过带交互项的双因素ANOVA实证分析批量大小对优化器性能的影响,发现小批量能提升二阶优化器的泛化性能,且其方差更低、调参需求更少。
2023-05-26 cs.LG
MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University of Advanced Technology(深圳理工大学);Pengcheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出MGUP机制,通过按固定比例选择参数施加大步长、其余参数用小步长,增强动量优化器,理论保证收敛,实验表明提升训练效率与稳定性。
2026-06-17 cs.LG
Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach
Computational Science Laboratory(计算科学实验室);Virginia Tech(弗吉尼亚理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);California State University, Long Beach(加州州立大学长滩分校)
本研究发现经典Adam优化器对应极小学习率下的ODE一阶IMEX欧拉离散,通过高阶IMEX方法扩展Adam格式,提出的新优化算法在回归和分类任务上性能优于经典Adam。
2024-09-14 cs.CE cs.LG cs.NA
A Tale of Two Geometries: Adaptive Optimizers and Non-Euclidean Descent
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of California, San Diego(加州大学圣地亚哥分校);University of Chicago(芝加哥大学)
本文探讨了自适应优化器与非欧几里得下降在非凸优化中的收敛性,并引入自适应平滑性与自适应梯度方差以提升收敛性能。
2025-11-25 cs.LG
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge(剑桥大学)
提出了一种利用贝叶斯优化来调整分布式随机梯度下降(SGD)系统参数的优化器。给定特定的上下文,我们的目标是快速找到有效的配置,适当地平衡可用机器之间的负载,以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型,不太适合这种高维域。为了减少收敛时间,我们利用现有的结构。我们设计了一个概率模型,模拟分布式SGD的行为,并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明,该优化算法在10次迭代内收敛到有效的配置,优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster(明斯特大学数学随机学研究所);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率,提出Adam向量场刻画其宏观行为,并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
Department of Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程系);Department of Computer Science and Technology, University of Cambridge(剑桥大学计算机科学与技术系)
本研究探讨优化器选择对深度神经网络群体公平性的影响,发现自适应优化器(如RMSProp)比SGD更易收敛到公平解,并通过理论和实验验证其公平性优势。
2025-10-24 cs.CV cs.LG stat.ML
Batch-Expansion Training: An Efficient Optimization Framework
UC Santa Cruz(加州大学圣克鲁兹分校);Facebook Research(脸书研究院);Microsoft Corporation(微软公司)
我们提出了批量扩展训练(BET),这是一个在逐渐扩展的数据集上运行批量优化器的框架。与随机方法相反,批次不需要重新采样i.i.d.。在每次迭代时,从而使BET在分布式设置中以及当磁盘访问受到约束时更有效地利用资源。此外,BET可以很容易地与大多数批量优化器配对,不需要任何参数调整,并与现有的随机和批量方法相媲美。我们表明,当批量大小与外部迭代次数呈指数增长时,BET实现了强凸目标的最佳$O(1/ε)$数据访问收敛速度。并行和分布式环境下的实验表明,BET比标准的批处理和随机方法更好。
2018-02-23 cs.LG
Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers
Fastino Labs(Fastino实验室)
本文研究了预条件优化器中随机更新规则的有限样本偏差问题,提出了一种单批次偏差校正框架,通过交叉拟合预条件估计和方差校正逆运算来减少梯度-预条件器耦合偏差和逆运算偏差,从而提升预条件优化器的性能。
2026-05-20 cs.AI cs.LG math.OC
Stochastic Unrolled Federated Learning
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
提出随机展开联邦学习(SURF),将算法展开引入联邦学习,通过随机小批量与下降约束保证收敛,利用GNN展开DGD保留去中心化,理论证明近最优收敛,实验验证图像分类协作训练有效。
2024-02-06 cs.LG eess.SP
NAG-GS: A Semi-Implicit Stochastic Optimizer with Large-Step Stability
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI;Sber AI Lab(Sber AI实验室)
该研究提出基于类Nesterov加速SDE与半隐式高斯-赛德尔离散化的NAG-GS随机优化器,推导了二次函数下的最优稳定学习率,且在多类模型训练任务中性能对标主流最优优化器。
2026-10-28 cs.LG cs.NA math.NA
Gefen: Optimized Stochastic Optimizer
Reichman University(赖希曼大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
提出Gefen优化器,通过共享二阶矩估计和量化一阶矩,将AdamW内存占用减少约8倍,同时保持相同性能,支持更大批量和吞吐量。
2026-10-27 cs.AI cs.CL cs.CV
Overshoot: Taking advantage of future gradients in momentum-based stochastic optimization
Kempelen Institute of Intelligent Technologies, Slovakia(斯洛伐克肯佩伦智能技术研究所);Brno University of Technology, Czechia(捷克布尔诺理工大学)
提出Overshoot优化方法,通过在沿动量方向平移后的权重处计算梯度来利用未来梯度,可融入SGD与Adam并实现至少15%的平均步数节省。
2025-01-16 cs.LG
Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling
HSE University(莫斯科国立高等经济学院);Yandex Research(Yandex研究院);BRAIn Lab(BRAIn实验室);SB AI Lab(SB人工智能实验室);Innopolis University(因诺波利斯大学)
提出SoftSignum和SoftMuon优化器,通过温度控制的软符号变换替代硬符号映射,结合自适应分位数温度调度,解决基于符号的优化器在参数异质性和终端收敛上的问题,并在随机非凸设置下证明收敛性,实验表明在多种深度学习任务(包括大语言模型预训练)中优于硬符号优化器和AdamW。
2026-05-29 cs.LG
Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
South China University of Technology(华南理工大学);JD Explore Academy(京东探索研究院);Sun Yat-sen University(中山大学);University of Sydney(悉尼大学)
针对大语言模型微调中零阶优化器全参数扰动与更新耗时过长的问题,提出逐层稀疏的LeZO优化器,在无额外内存开销下实现超过3倍加速且不损失性能。
2024-10-13 cs.CL cs.LG
An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
1 Department of Computer Science \& Engineering, Indian Institute of Technology Indore, India.;3 National Remote Sensing Centre, Indian Space Research Organisation, India.
本文提出了一种改进的自适应PID优化器IAdaPID-ADG,通过引入非递增有效学习率和基于梯度差的调制因子来解决AdaPID在收敛性和稳定性方面的不足,实验表明其在多个数据集上表现优异。
2026-05-21 cs.LG
Preconditioned Inexact Stochastic ADMM for Deep Model
School of Mathematics and Statistics, Beijing Jiaotong University, China(北京交通大学数学与统计学院,中国);ITP Lab, Department of EEE, Imperial College London, UK(帝国理工学院伦敦分校电子工程系ITP实验室,英国);National Mobile Communications Research Laboratory, Southeast University, China(东南大学国家移动通信研究实验室,中国)
本文提出PISA算法,通过预条件技术解决分布式数据异质性问题,提升深度模型训练效率。
2026-07-05 cs.LG
Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training
Stanford University(斯坦福大学)
本文提出可扩展二阶优化器 Sophia,通过低频估计对角 Hessian、移动平均预条件和逐元素裁剪,在 125M–1.5B GPT 上较 Adam 实现约 2 倍训练加速。
2024-03-05 cs.CL cs.LG math.OC
Adaptive Optimizers with Sparse Group Lasso for Neural Networks in CTR Prediction
Ant Group(蚂蚁集团)
本文提出将稀疏group lasso融入多种自适应优化器的框架并给出收敛保证,实验表明其在CTR预测中可实现高稀疏度并提升或保持模型性能。
2024-12-05 cs.LG
Convergence Bound and Critical Batch Size of Muon Optimizer
Meiji University(立命经济大学);Université de Montréal(蒙特利尔大学);Mila(蒙特利尔人工智能研究院)
本文理论分析了Muon优化器在四种实际设置下的收敛性,证明权重衰减确保参数和梯度范数有界,并推导了临界批量大小的下界,揭示了超参数β和λ对其缩放的影响。
2026-06-08 cs.LG
WSBD: Freezing-Based Optimizer for Quantum Neural Networks
Florida International University(佛罗里达国际大学);Rice University(Rice大学)
WSBD 是一种基于冻结的量子神经网络优化器,通过动态参数冻结策略提升训练效率,比 Adam 快 63.9% 收敛。
2026-02-11 cs.LG quant-ph
Large-scale empirical tuning and comparison of default optimizers for variational inference
Department of Statistics, UBC(统计学系,不列颠哥伦比亚大学);Department of Mathematics & Statistics, Boston University(数学与统计学系,波士顿大学);Faculty of Computing & Statistics, Boston University(计算与统计学学院,波士顿大学);Department of Computer and Information Science, UPenn(计算机与信息科学系,宾夕法尼亚大学)
通过大规模实验(56种优化器、1092个问题、55万次运行)评估变分推断中的自适应优化器,发现无单一方法最优,但5种算法组合可接近最佳性能。
2026-11-05 cs.LG stat.CO stat.ML
SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
Microsoft Research(微软研究院)
针对自适应优化器内存开销大的问题,提出无状态优化器SWAN,通过对SGD梯度做归一化和白化处理,在大语言模型训练中实现与Adam相当甚至更优的性能,同时大幅降低内存成本、提升训练速度。
2025-02-21 cs.AI cs.LG
Tom: Leveraging trend of the observed gradients for faster convergence
PES University(PES大学)
深度学习的成功可以归因于各种因素,例如计算能力的增加,大数据集,深度卷积神经网络,优化器等,特别是优化器的选择影响泛化,收敛速度和训练稳定性。随机梯度下降(SGD)是一个一阶迭代优化器,它对所有参数均匀地更新梯度。这种统一的更新可能不适合整个训练阶段。对此的基本解决方案是采用微调的学习率调度器,其根据迭代来降低学习率。为了消除对学习率调整器的依赖性,自适应梯度优化器(诸如AdaGrad、AdaDelta、RMSProp、Adam)采用用于学习率的参数式缩放项,该参数式缩放项是梯度本身的函数。我们提出了Tom(趋势超过动量)优化器,这是Adam的一个新变体,它考虑了神经网络遍历的损失景观中的梯度所观察到的趋势。在建议的汤姆优化器,一个额外的平滑方程,以解决在优化过程中观察到的趋势。为趋势引入的平滑参数不需要调整,可以使用默认值。在CIFAR-10、CIFAR-100和CINIC-10图像数据集上的实验结果表明,Tom算法在精度和收敛速度上均优于Adagrad、Adadelta、RMSProp和Adam算法。源代码可在https://github.com/AnirudhMaiya/Tom上公开获取
2021-09-07 cs.LG
PADAM: Parallel averaged Adam reduces the error for stochastic optimization in scientific machine learning
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
提出并行平均ADAM(PADAM)优化器,通过并行计算不同平均变体并动态选择最小误差变体,在13个科学机器学习问题中实现接近最小的优化误差。
2025-05-28 cs.LG cs.NA math.NA
ZENITH: Automated Gradient Norm Informed Stochastic Optimization
提出ZENITH优化器,利用梯度范数的时间演化自动调整学习率,在图像分类、目标检测等任务中实现更高精度和更快速度,且兼容正则化。
2026-07-03 cs.CV cs.LG
Stochastic Gradient Optimization with Model-Assisted Sampling
University of Turku, Department of Computing(图尔库大学计算机系)
提出模型辅助采样框架,结合调查抽样理论降低随机梯度方差,与现有优化器兼容,在71-86%实验中提升性能,尤其对中等规模输入空间和AdamW优化器效果显著。
2026-06-26 cs.LG stat.ME
Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics
University College London(伦敦大学学院);King’s College London(伦敦国王学院)
在本文中,我们描述了随机梯度的噪声,并分析了基于梯度的优化器在训练深度神经网络过程中噪声引起的动力学。具体来说,我们首先证明了随机梯度噪声具有有限的方差,因此经典的中心极限定理(CLT)适用,这表明梯度噪声是渐近高斯。这样的渐近结果验证了广泛接受的高斯噪声假设。我们澄清,最近观察到的现象中的梯度噪声重尾可能不是内在的属性,但不够的小批量的后果;梯度噪声,这是一个有限的i.i.d.随机变量,尚未达到CLT的渐进状态,因此偏离高斯分布。我们定量地测量了高斯近似噪声的优良性,这支持了我们的结论。其次,我们使用Langevin方程分析了随机梯度下降的噪声诱导动力学,并对优化器中的动量超参数给予了物理解释。然后,我们继续证明存在的稳态分布的随机梯度下降和近似的分布在一个小的学习率。
2021-09-20 cs.AI cs.LG
Central limit theorem for the averaged Adam optimizer
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文证明了平均化Adam优化器收敛到Adam向量场吸引零点的中心极限定理,收敛速度为n^{-1/2},协方差由吸引子处的Adam算法性质决定。
2026-06-23 cs.LG math.PR math.ST
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院,香港中文大学(深圳));School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院和人工智能学院,香港中文大学(深圳))
针对强凸随机优化问题,证明了Adam优化器的收敛速率,并通过Adam对称性定理揭示了其收敛到全局最优解当且仅当数据对称分布,否则不收敛。
2026-06-23 cs.LG math.OC
Channel-Directed Gradients for Optimization of Convolutional Neural Networks
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们介绍了卷积神经网络的优化方法,可以用来改善现有的基于梯度的优化方面的泛化误差。该方法只需要简单处理现有的随机梯度,可以与任何优化器结合使用,并且与随机梯度的计算相比,只有线性开销(在参数的数量上)。该方法通过计算损失函数相对于输出通道定向的重新加权L2或Sobolev度量的梯度来工作,这具有在参数张量的某个方向上平滑梯度分量的效果。我们表明,定义沿输出通道方向的梯度会导致性能提升,而其他方向可能是有害的。我们提出了这种梯度的连续理论,它的离散化,以及在深度网络中的应用。在基准数据集、多个网络和基线优化器上的实验表明,优化器可以通过简单地计算输出通道定向度量的随机梯度来改善泛化误差。
2020-08-25 cs.AI cs.CV cs.LG
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
绝大多数成功的深度神经网络都是使用随机梯度下降(SGD)算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法:(1)自适应学习率方案,如AdaGrad和Adam,以及(2)加速方案,如重球和Nesterov动量。在本文中,我们提出了一个新的优化算法,前瞻性,这是正交的这些以前的方法和迭代更新两套权重。直观地说,该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明,前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明,Lookahead可以显著提高SGD和Adam的性能,即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);School of Artificial Intelligence(人工智能学院);University of Washington(华盛顿大学)
本文通过折扣到动态的还原方法,改进了FTRL相关问题的动态后悔界,并应用于曲面损失和Adam优化器,获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
SDEs for Minimax Optimization
University of Basel(巴塞尔大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);MPI for Intelligent Systems Tübingen(蒂宾根智能系统马克斯·普朗克研究所);AI Center(人工智能中心);Yahoo! Research(雅虎研究院);University of Oslo(奥斯陆大学)
本文首次用随机微分方程对极小极大优化器进行建模分析,为随机梯度下降-上升、随机外梯度和随机哈密顿梯度下降建立可证明近似的SDE模型,并基于Itô微积分推导收敛条件与闭式解。
2024-02-19 cs.LG math.OC
HyperAdam: A Learnable Task-Adaptive Adam for Network Training
传统上,深度神经网络使用人类设计的随机优化算法(如SGD和Adam)进行训练。近年来,学习优化网络参数的方法已成为一个很有前途的研究课题。然而,这些学习的黑盒优化器有时并没有充分利用人类设计的优化器的经验,因此在泛化能力方面存在局限性。在本文中,一个新的优化器,被称为\textit{HyperAdam},提出了结合“学习优化”的思想和传统的亚当优化器。给定一个用于训练的网络,HyperAdam生成的每次迭代中的参数更新是Adam生成的具有不同衰减率的多个更新的自适应组合。HyperAdam中的组合权重和衰减率根据任务自适应学习。HyperAdam被建模为具有AdamCell,WeightCell和StateCell的递归神经网络。它被证明是各种网络训练的最新技术,如多层感知器,CNN和LSTM。
2018-11-22 cs.LG stat.ML
Provable Benefit of SignGD: A Minimal Model Under Heavy-Tailed Class Imbalance
Toyota Technological Institute at Chicago(丰田技术研究所)
本文研究了在重尾类不平衡数据下,符号下降算法相较于GD的收敛优势,通过最小模型证明其有效性。
2026-10-01 cs.AI cs.LG
KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches
Shanghai Jiao Tong University(上海交通大学)
本文提出KO优化器,基于动力学理论和PDE模拟,通过BTE数值方案模拟参数更新,缓解参数凝聚,提升图像和文本分类准确率。
2026-10-07 cs.AI cs.LG
Extreme Tensoring for Low-Memory Preconditioning
Google AI Princeton(谷歌人工智能普林斯顿);Department of Computer Science, Princeton University(普林斯顿大学计算机科学系)
最先进的模型现在使用数十亿个参数进行训练,在内存消耗方面达到了硬件极限。这就产生了对内存高效优化器的需求。为此,我们调查的限制和性能权衡的内存高效的自适应预处理梯度方法。我们提出了高维随机优化的极端张量,表明优化器需要很少的内存来受益于自适应预处理。我们的技术适用于任意模型(不一定具有张量形状的参数),并伴随着遗憾和收敛保证,这揭示了预处理器质量和表现力之间的权衡。在大规模NLP模型上,我们将优化器的内存开销降低了三个数量级,而不会降低性能。
2019-02-12 cs.LG stat.ML
In-Run Data Shapley for Adam Optimizer
Mohamed bin Zayed University of Artificial Intelligence(莫萨德·本·泽德人工智能大学);University at Buffalo(布法罗大学);King Abdullah University of Science and Technology(卡布斯国王科学与技术大学)
本研究提出Adam-aware运行中数据Shapley方法,通过线性化技术实现高精度数据归因,提升现代训练流程效率。
2026-07-23 cs.AI cs.LG
An Empirical Comparison of Optimizers for Quantum Machine Learning with SPSA-based Gradients
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所 IIS)
针对VQC参数移位梯度采样开销大的问题,本文将SPSA近似梯度接入先进基于梯度的经典优化器,并在回归任务中验证其收敛、误差及抗噪优势。
2023-04-27 cs.LG quant-ph
Learning to Assess the Reliability of Number-of-Runs Estimation in Stochastic Optimization
Jožef Stefan Institute(乔泽夫·斯蒂凡研究所)
针对随机优化中运行次数估计的可靠性问题,提出一种基于学习的扩展方法,利用统计和形状特征训练分类器预测估计可靠性,在内部配置场景下实现高少数类召回率。
2026-05-27 cs.LG cs.NE