XGrad: Boosting Gradient-Based Optimizers With Weight Prediction
National University of Defense Technology(国防科技大学)
本文提出 XGrad 框架,通过依据优化器更新规则预测未来权重并用于前向与反向传播,提升多种梯度优化器训练 DNN 时的收敛性、泛化能力和准确率。
2024-04-07 cs.AI cs.LG
HVAdam: A Full-Dimension Adaptive Optimizer
HVAdam提出一种具有连续可调自适应性的新型优化器,通过增量延迟更新机制提升收敛性与鲁棒性,在多种任务中超越现有优化器。
2025-12-22 cs.AI cs.LG
An Empirical Comparison of Optimizers for Quantum Machine Learning with SPSA-based Gradients
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所 IIS)
针对VQC参数移位梯度采样开销大的问题,本文将SPSA近似梯度接入先进基于梯度的经典优化器,并在回归任务中验证其收敛、误差及抗噪优势。
2023-04-27 cs.LG quant-ph
Utility-based Perturbed Gradient Descent: An Optimizer for Continual Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
针对持续学习中的灾难性遗忘与可塑性衰退问题,提出UPGD在线优化器,依据权重或特征效用保护有用部分并扰动低效用部分,实验表明其可减少遗忘并维持可塑性。
2023-04-27 cs.AI cs.LG
Momentum Centering and Asynchronous Update for Adaptive Gradient Methods
Yale University(耶鲁大学);University of Central Florida(中佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了ACProp(Asynchronous-centering-Prop),一种自适应优化器,它结合了第二动量的中心和异步更新(例如,对于$t$ -th更新,分母使用直到步骤$t-1$的信息,而分子使用$t$ -th步骤的梯度)。ACProp具有很强的理论特性和经验性能。通过Reddi等人(2018)的例子,我们表明异步优化器(例如AdaShift,ACProp)的收敛条件比同步优化器(例如Adam,RMSProp,AdaBelief)弱;在异步优化器中,我们表明第二动量的中心进一步削弱了收敛条件。我们证明了ACProp具有$O(\frac{1}{\sqrt{T}})$的收敛速度的随机非凸的情况下,它匹配的预言率和优于$O(\frac{logT}{\sqrt{T}})$率的RMSProp和亚当。我们在广泛的实证研究中验证了ACProp:ACProp在使用CNN进行图像分类时优于SGD和其他自适应优化器,并且在各种GAN模型、强化学习和Transformers的训练中优于调优的自适应优化器。综上所述,ACProp具有良好的理论性质,包括弱收敛条件和最佳收敛速度,以及强大的经验性能,包括像SGD一样良好的推广性和像Adam一样的训练稳定性。我们在https://github.com/juntang-zhuang/ACProp-Optimizer上提供实现。
2021-12-01 cs.LG math.OC
AlphaGrad: Non-Linear Gradient Normalization Optimizer
Collins Aerospace (RTX)(柯林斯航空航天公司)
AlphaGrad是一种内存高效的非线性梯度归一化优化器,通过双曲正切变换实现尺度不变性,在PPO中表现优越,在TD3中需调参,为内存受限场景提供替代方案。
2025-04-23 cs.AI cs.LG cs.NE
Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning
Festo SE & Co. KG(费斯托两合公司)
本文提出在基于群体的训练(PBT)中同时使用一阶和二阶优化器,通过TD3算法在MuJoCo环境中的实验证明K-FAC与Adam混合种群可提升最高10%性能并增强训练稳定性。
2024-09-04 cs.AI cs.LG
Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods
Stanford University(斯坦福大学);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学);Facebook(脸书)
最近对某些梯度下降优化方法的分析表明,性能在某些设置中可能会下降-例如随机性或隐式动量。在深度强化学习(Deep RL)中,这种优化方法通常用于通过时间差异误差或策略梯度来训练神经网络。随着代理随时间的推移而改进,优化目标会发生变化,因此损失景观(和局部最优值)也会发生变化。由于这些方法的失败模式,Deep RL优化器的理想选择仍然不清楚。因此,我们提供了一个实证分析的影响,广泛的梯度下降优化器和他们的超参数对策略梯度方法,深度RL算法的子集,基准连续控制任务。我们发现,自适应优化有一个狭窄的窗口有效的学习率,发散在其他情况下,和动量的有效性取决于环境的属性。我们的分析表明,环境的动态和Deep RL算法属性之间存在显着的相互作用,而传统的自适应梯度方法不一定能解释这些特性。根据我们的研究结果,我们为当前方法的最佳设置和进一步的研究提供了建议。
2018-10-05 cs.AI cs.LG stat.ML
MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates
MT-DAO通过多时间尺度动量解决分布式自适应优化器在不频繁通信下的性能差距,消除与DDP的差距,减少训练时间并支持跨数据中心训练。
2025-10-06 cs.AI cs.LG
Optimizer Amalgamation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Michigan State University(密歇根州立大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
为给定的问题选择合适的优化器是研究人员和实践者的主要兴趣。许多分析优化已经提出了使用各种理论和经验的方法,但是,没有一个可以提供一个普遍的优势,比其他竞争性的优化。因此,我们的动机是研究一个新的问题,名为优化合并:我们如何才能最好地结合到一个单一的“学生”优化器,可以有更强的问题特定的性能的“老师”优化池?在本文中,我们从“学习优化”领域中得到启示,使用一个可学习的融合目标。首先,我们定义了三个可微合并机制合并池的分析优化梯度下降。然后,为了减少融合过程的方差,我们还探索了通过扰动融合目标来稳定融合过程的方法。最后,我们提出的实验表明,我们的合并优化器相比,其合并组件和学习优化基线的优越性,以及我们的方差减少扰动的功效。我们的代码和预训练模型可在http://github.com/VITA-Group/OptimizerAmalgamation上公开获取。
2022-03-15 cs.LG
Data-Driven Performance Guarantees for Classical and Learned Optimizers
Princeton University(普林斯顿大学)
我们提出数据驱动框架,利用统计学习理论为经典和学习型优化器构建泛化保证,通过PAC-Bayes上界训练,实验显示界限更紧且优于非学习方法。
2025-10-06 cs.LG math.OC
FOAM: Blocked State Folding for Memory-Efficient LLM Training
National Key Laboratory of Parallel and Distributed Computing(并行与分布式计算国家重点实验室);College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学)
FOAM通过计算块级梯度均值压缩优化器状态,并引入残差校正以恢复丢失信息,从而减少内存开销并加速收敛。
2026-05-13 cs.AI cs.LG
Backward-Friendly Optimization: Training Large Language Models with Approximate Gradients under Memory Constraints
Sun Yat-sen University(中山大学)
针对LLM全参数微调内存瓶颈,提出反向友好优化器GradLite,通过低秩雅可比近似和误差反馈校正放宽精确梯度要求,减少高达50%内存且性能不降。
2025-10-26 cs.AI cs.LG
Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
本文提出通过解耦QN更新和批量调用获取函数,以提高贝叶斯优化的效率,减少计算开销。
2025-12-09 cs.AI cs.LG
Leveraging Second-Order Curvature for Efficient Learned Image Compression: Theory and Empirical Evidence
Elmore Family School of Electrical and Computer Engineering, Purdue University(埃洛姆家族电气与计算机工程学院,普渡大学)
本文提出使用二阶拟牛顿优化器SOAP提升学习图像压缩的训练效率和性能,并揭示其在部署中的鲁棒性优势。
2026-01-29 cs.LG eess.IV
A second-order-like optimizer with adaptive gradient scaling for deep learning
Toulouse School of Economics(图卢兹经济学院);Université de Toulouse(图卢兹大学);Thales LAS France(泰雷兹法国LAS公司)
该研究提出结合INNA方法与RMSprop自适应梯度缩放的优化算法INNAprop,在维持标准深度学习方法内存需求的同时,多数据集多模型场景下训练速度和准确率持平或优于AdamW,且超参数调优成本低。
2024-12-12 cs.AI cs.LG math.OC
A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization
The University of Hong Kong(香港大学);Renmin University of China(中国人民大学)
本文提出理论框架分析自适应优化器在浮点量化下的收敛性,揭示Adam和Muon在不同量化下的表现差异,通过实验验证理论结果。
2026-03-01 cs.AI cs.LG stat.ML
Permutation Randomization on Nonsmooth Nonconvex Optimization: A Theoretical and Experimental Study
School of Computer and Cyber Sciences(计算机与电子科学学院);Augusta University(奥古斯塔大学);Department of Graduate Psychology(研究生心理学系);James Madison University(詹姆斯·麦迪逊大学);School of Computing(计算学院);University of Georgia(佐治亚大学)
本文研究无维度依赖的非光滑非凸优化中随机化的作用,证明置换随机化可打破收缩、保持收敛速率并促进全局收敛,且通过深度网络和含噪目标实验验证其有效性。
2025-05-16 cs.LG
SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
Microsoft Research(微软研究院)
针对自适应优化器内存开销大的问题,提出无状态优化器SWAN,通过对SGD梯度做归一化和白化处理,在大语言模型训练中实现与Adam相当甚至更优的性能,同时大幅降低内存成本、提升训练速度。
2025-02-21 cs.AI cs.LG
Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks
Massachusetts Institute of Technology(麻省理工学院);National Yang Ming Chiao Tung University(国立阳明交通大学);Hon Hai Research Institute(鸿海研究院)
本文提出Frankenstein优化器,通过动态调整一阶和二阶动量系数融合多种自适应算法优势,在多个领域实验中收敛速度和泛化性能均优于现有自适应算法与SGD。
2025-05-04 cs.LG
MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
Amazon Web Services(亚马逊网络服务);Technion – Israel Institute of Technology(以色列理工学院);University of Minnesota(明尼苏达大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出统一元自适应优化器框架 MADA,通过超梯度下降在参数化优化器空间中动态选择,并引入 AVGrad;实验显示其在视觉、语言及 GPT-2 任务中稳定优于 Adam。
2024-06-17 cs.LG math.OC
Jorge: Approximate Preconditioning for GPU-efficient Second-order Optimization
University of Maryland(马里兰大学)
Jorge通过近似预条件计算消除矩阵求逆瓶颈,在GPU上实现兼具二阶收敛速度与一阶计算效率的优化器,并支持从SGD基线直接确定超参数,在多个模型上超越SGD、AdamW和Shampoo。
2023-10-27 cs.AI cs.DC cs.LG
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University(西安交通大学);SGIT AI Lab(SGIT AI实验室);A*STAR(新加坡科技研究局)
针对大语言模型微调中的内存瓶颈,提出快速零阶优化器FZOO,通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算,在准确率和收敛速度上显著优于MeZO,实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);School of Software Technology, Zhejiang University(浙江大学软件学院);School of Data Science, Fudan University(复旦大学数据科学学院)
本文研究了在重尾梯度噪声下,基于符号的优化器如SignSGD和Lion相较于传统自适应方法的优越性,通过理论分析和实验验证,证明其在处理重尾噪声时的高效性。
2026-05-08 cs.CL cs.LG math.OC
An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training
University of Waterloo(滑铁卢大学)
本文通过360次实验分析了八种优化器在三个基准数据集上的能效与性能,发现AdamW和NAdam一致高效,SGD在复杂数据集上性能更优但排放较高,为平衡性能与可持续性提供了见解。
2025-09-16 cs.LG
Anon: Extrapolating Adaptivity Beyond SGD and Adam
Wuhan University(武汉大学);University of Macau(澳门大学);University of Calgary(卡尔加里大学)
Anon优化器突破SGD与Adam的插值限制,实现全实数谱的自适应性外推,通过增量延迟更新保证稳定性,在图像分类、扩散和语言建模任务中性能优异。
2026-09-24 cs.AI cs.LG
Extending $μ$P: Spectral Conditions for Feature Learning Across Optimizers
Purdue University(普渡大学);Argonne National Laboratory(阿贡国家实验室)
本文提出了一种新的框架,用于推导更广泛优化器类别的μP,实现了跨优化器的零样本学习率转移和深度缩放参数化。
2026-02-24 cs.LG
Generalization Bounds using Lower Tail Exponents in Stochastic Optimizers
ICSI(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Purdue University(普渡大学)
尽管机器学习中普遍使用随机最优化算法,但这些算法及其动态对现实非凸设置中泛化性能的精确影响仍然知之甚少。虽然最近的工作已经揭示了广义和重尾行为之间的联系,在随机最优化,这项工作主要依赖于连续时间近似,和严格的处理原始离散时间迭代尚未执行。为了弥合这一差距,我们提出了新的边界链接泛化到较低的尾部指数的过渡内核与优化器周围的局部最小值,在离散和连续时间设置。为了实现这一目标,我们首先证明了一个数据和算法依赖的泛化界的著名的Fernique-Talagrand功能的轨迹的优化。然后,我们专门利用马尔可夫结构的随机优化这一结果,并推导出其(数据依赖)的过渡内核的界限。我们支持我们的理论与经验的结果,从各种神经网络,泛化误差和下尾指数之间的相关性。
2022-07-11 cs.LG stat.ML
Directional Consistency as a Complementary Optimization Signal: The GONO Framework
Department of Artificial Intelligence(人工智能系);Anurag University(安拉格大学)
GONO框架通过引入方向一致性信号改进优化器,通过调整动量系数提升梯度方向一致性,实验证明其在多个数据集上表现优异。
2026-05-07 cs.AI cs.LG
Stochastic Average Gradient : A Simple Empirical Investigation
Université de Montréal(蒙特利尔大学)
本文对比了随机平均梯度(SAG)与标准优化器,并提出SAG与动量及Adam的组合,在简单问题和病态条件下均展现出更快的收敛速度和更优性能。
2023-07-27 cs.LG math.OC
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
绝大多数成功的深度神经网络都是使用随机梯度下降(SGD)算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法:(1)自适应学习率方案,如AdaGrad和Adam,以及(2)加速方案,如重球和Nesterov动量。在本文中,我们提出了一个新的优化算法,前瞻性,这是正交的这些以前的方法和迭代更新两套权重。直观地说,该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明,前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明,Lookahead可以显著提高SGD和Adam的性能,即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
Optimizer choice matters for the emergence of Neural Collapse
University of Basel(巴塞尔大学);Warsaw University of Technology(华沙理工大学);IDEAS Research Institute(IDEAS研究院)
本文研究了优化器选择对神经崩溃(NC)出现的影响,提出NC0指标证明解耦权重衰减抑制NC,并展示了动量对NC的加速作用。
2026-08-25 cs.LG
Escher-Loop: Mutual Evolution by Closed-Loop Self-Referential Optimization
Shenzhen X-Institute(深圳X研究所);Soochow University(苏州大学);Shenzhen Loop Area Institute(深圳河套学院);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
提出Escher-Loop框架,通过任务代理和优化代理的闭环共同进化及动态基准机制,实现超越静态基线的持续性能提升。
2026-05-27 cs.AI
Empirical Risk Minimization for Losses without Variance
Fudan University(复旦大学);Baidu Research(百度研究院);Cornell University(康奈尔大学)
本文研究重尾数据(仅有 $p$ 阶矩,$p \in (1,2)$)下的实证风险最小化问题,提出利用 Catoni 方法稳健估计风险值并以此选择优化器,通过广义通用链式方法建立超额风险上界,实验证明其优于基于截断数据的基线方法。
2023-09-07 cs.LG stat.ML
Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany(德国维尔茨堡大学计算机视觉实验室,CAIDAS & IFI)
本文系统研究了六种优化器与三种损失函数的18种组合在异构架构上的表现,发现交叉熵与Adam/AdamW组合最鲁棒,NGL损失仅在自适应优化器下有效,为NNGPT框架提供了损失-优化器选择指导。
2026-06-23 cs.LG
Learning to be Global Optimizer
Xi’an Jiaotong University(西安交通大学)
人工智能的发展给优化算法的发展带来了新的启示。提出了一种求解光滑非凸函数的两阶段(包括极小化阶段和逃逸阶段)全局优化算法。对于最小化阶段,开发了模型驱动的深度学习方法来学习凸函数的下降方向的更新规则,该规则被形式化为历史信息的非线性组合。我们证明了所提出的自适应方向的算法保证凸函数的收敛性。实验结果表明,该算法的性能明显优于梯度下降、共轭下降和BFGS等经典优化算法,且对不适定函数有较好的处理效果.从局部最优的逃逸阶段被建模为一个马尔可夫决策过程与一个固定的逃逸策略。我们进一步提出了通过强化学习来学习最优逃逸策略。通过优化合成函数和训练用于CIFAR图像分类的深度神经网络验证了逃逸策略的有效性。学习的两阶段全局优化算法在一些基准函数和机器学习任务上表现出很好的全局搜索能力。
2020-03-10 cs.AI cs.LG math.OC
Convergence of optimizers implies eigenvalues filtering at equilibrium
Univ. Grenoble Alpes, CNRS, LJK(格勒诺布尔-阿尔卑斯大学,法国国家科学研究中心,让·昆兹曼实验室)
本文假设优化器收敛并指出其等效于特征值滤波,据此提出两种增强滤波的新算法以寻找更宽极小值,并利用广义Hadamard--Perron定理证明了其适用性。
2026-11-10 cs.LG math.DS math.OC
Optimizers Qualitatively Alter Solutions And We Should Leverage This
Google DeepMind(谷歌DeepMind);Mila, Québec AI Institute(魁北克AI研究院);Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所);Technische Universität Berlin(柏林技术大学);BIFOLD Berlin(柏林BIFOLD);Red Hat AI(红帽AI);Cambridge University(剑桥大学);Politechnique Montreal(蒙特利尔理工学院)
本文指出优化器不仅影响DNN的收敛速率,还定性地改变解的归纳偏置与有效表达性,呼吁社区理解现有优化器偏置并设计能主动诱导特定解属性的新优化器。
2025-07-16 cs.LG
FOSI: Hybrid First and Second Order Optimization
Technion(以色列理工学院);York University(约克大学)
针对高维下二阶优化曲率计算难的问题,提出元算法FOSI,通过正交子空间拆分结合一、二阶优化,在理论上分析了收敛性,实验中提升了一阶优化器性能且优于现有二阶方法。
2024-03-07 cs.LG
Grams: Gradient Descent with Adaptive Momentum Scaling
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
本文提出新型优化算法Grams,通过解耦参数更新方向与动量幅度实现更快的损失下降与全局收敛,在训练大型语言模型时展现出优于Adam等优化器的收敛与泛化性能。
2025-03-05 cs.AI cs.DS cs.LG
DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
DP-MicroAdam是一种高效的差分隐私优化算法,通过自适应方法在训练和微调中实现更高的性能和稳定性。
2025-11-28 cs.LG
Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
University of Basel(巴塞尔大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出基于动量的NGN步长方法NGN-M,在更宽松假设下达到标准收敛速率,并显著提升优化器对步长超参数选择的鲁棒性。
2025-08-20 cs.LG math.OC stat.ML
Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);New York University(纽约大学);Flatiron Institute(Flatiron研究所)
本文研究了谱优化器在关联记忆问题中的性能,发现Muon的存储容量显著超过SGD,且在仅使用一阶信息时可与牛顿法匹配。通过实验验证了预测的扩展规律,为更实际的语言建模任务提供了理论基础。
2026-04-28 cs.LG stat.ML
Adaptive Online Learning for Gradient-Based Optimizers
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
随着对在线凸优化的应用需求的加速,设计同时覆盖一大类凸函数并施加尽可能低的遗憾的新方法的需求正在急剧上升。已知的在线优化方法通常仅在特定设置中表现良好,并且它们的性能高度依赖于决策空间和成本函数的几何形状。然而,在实践中,缺乏这样的几何信息导致在使用适当的算法的混乱。为了解决这个问题,已经提出了一些自适应的方法,专注于自适应学习参数,如步长,Lipschitz常数,和强凸系数,或特定的参数家庭,如二次正则化。在这项工作中,我们概括了这些方法,并提出了一个框架,在一个家庭的专家算法的最佳算法竞争。我们的框架包括许多著名的自适应方法,包括MetaGrad,MetaGrad+C和Ader。我们还介绍了第二个算法,计算优于我们的第一个算法,最多一个常数的因素增加遗憾。最后,作为我们所提出的算法的一个代表性的应用,我们研究了从一个家庭的正则化在线镜像下降学习的最佳正则化的问题。从经验上讲,我们支持我们的理论研究结果在学习问题的最佳正则化的单纯形和$l_2$球在多类学习问题。
2019-06-01 cs.AI cs.LG math.OC
Understanding Sharpness Dynamics in NN Training with a Minimalist Example: The Effects of Dataset Difficulty, Depth, Stochasticity, and More
KAIST AI(韩国科学技术院人工智能);KAIST Math.(韩国科学技术院数学)
本文用每层单神经元的深度线性网络这一极简模型,理论并实证分析数据集、深度、优化器随机性和步长对渐进锐化的影响。
2025-06-07 cs.LG
Accumulated Gradient Normalization
Liège University(列日大学);Maastricht University(马斯特里赫特大学)
这项工作解决了异步数据并行优化的不稳定性。它通过引入一种新的分布式优化器,能够有效地优化通信约束下的集中式模型。优化器通过将一阶梯度的归一化序列推送到参数服务器来实现这一点。这意味着与累积梯度相比,工作者增量的大小更小,并且与一阶梯度相比,提供了更好的朝向最小值的方向,这反过来也迫使可能的隐式动量波动更加对齐,因为我们假设所有工作者都有助于实现单个最小值。因此,我们的方法更有效地缓解了参数陈旧问题,因为陈旧的momentum诱导(隐式)动量,并实现了更好的收敛速度相比,其他优化,如异步EASGD和DynSGD,我们的经验表明。
2017-10-06 cs.DC cs.LG stat.ML
ensmallen: a flexible C++ library for efficient function optimization
Delhi Technological University(德里理工大学);RelationalAI(RelationalAI公司);Free University of Berlin(柏林自由大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所);University of Queensland(昆士兰大学)
我们提出了ensmallen,一个快速,灵活的C++库的数学优化的任意用户提供的功能,它可以应用于许多机器学习问题。支持几种类型的优化,包括可微,可分离,约束和分类目标函数。该库提供了许多预构建的优化器(包括SGD和拟牛顿优化器的许多变体)以及用于实现新优化器和目标函数的灵活框架。实现一个新的优化器只需要一个方法,而一个新的目标函数通常需要一个或两个C++函数。这可以帮助快速实现和原型化新的机器学习算法。由于使用C++模板元编程,ensmallen能够支持编译器优化,提供快速运行时。经验比较表明,ensmallen能够优于其他优化框架(如Julia和SciPy),有时甚至可以大幅提高。该库在BSD许可证下分发,并准备在生产环境中使用。
2018-12-10 cs.LG cs.MS math.OC
Guarantees for Tuning the Step Size using a Learning-to-Learn Approach
Duke University(杜克大学)
为优化算法选择正确的参数往往是其在实践中成功的关键。使用学习到学习的方法解决这个问题-基于优化器生成的轨迹在元目标上使用元梯度下降-最近被证明是有效的。然而,元优化问题是困难的。特别是,元梯度经常会爆炸/消失,如果元目标没有仔细选择,学习的优化器可能不会有良好的泛化性能。在本文中,我们给元优化保证学习的学习方法上一个简单的问题,调整步长的二次损失。我们的研究结果表明,天真的目标遭受亚梯度爆炸/消失问题。虽然有一种方法可以设计元目标,使得元梯度保持多项式有界,但直接使用反向传播计算元梯度会导致数值问题。我们还描述了何时需要在单独的验证集上计算元目标,以确保学习优化器的泛化性能。最后,我们验证了我们的研究结果的经验,并表明,类似的现象出现,即使是更复杂的学习优化参数化的神经网络。
2021-06-11 cs.LG stat.ML
Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network
SBA Research gGmbH(SBA研究有限责任公司);University of Vienna(维也纳大学)
该研究在统一实验框架下实证探究分数阶优化器与分形激活函数的配对效果,发现正则化式分数缩放与选定分形激活函数适配性较好,自适应记忆优于普通记忆替换,可控分数阶记忆具研究潜力。
2026-08-18 cs.AI cs.LG
Understanding Optimization in Deep Learning with Central Flows
Carnegie Mellon University(卡内基梅隆大学);Flatiron Institute(弗拉提伦研究所);Princeton University(普林斯顿大学);U.C. Berkeley(加州大学伯克利分校)
本文提出中心流理论,通过时间平均轨迹刻画深度学习优化器在稳定性边缘的动态,预测长时轨迹并解释梯度下降进展与自适应优化器行为。
2025-09-25 cs.AI cs.LG math.OC
Muon is Not That Special: Random or Inverted Spectra Work Just as Well
University of Cambridge(剑桥大学);University of Tübingen(图宾根大学);University of Oxford(牛津大学)
本文挑战了非欧几里得优化中几何结构的重要性,通过Freon和Kaon等优化器展示,证明精确几何并非关键,而局部对齐和下降潜力控制性能。
2026-05-11 cs.AI cs.LG cs.NA
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性,证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点,并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective
City University of Hong Kong (CityUHK)(香港城市大学);University of Pennsylvania(宾夕法尼亚大学);Shanghai University of Finance and Economics(上海财经大学)
提出混合尖峰矩阵感知模型,从河流-山谷视角分析Muon优化器在早期加速收敛但后期易振荡的机制,并建议在最后阶段切换为GD类优化器。
2026-06-23 cs.LG
FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity
University of Science and Technology of China(中国科学技术大学);Duke Kunshan University(昆山杜克大学);Edinburgh Napier University(爱丁堡龙比亚大学);Gusu Laboratory of Materials(姑苏材料实验室)
AdaBelief是目前最好的优化器之一,通过观察所观察到的梯度的指数移动平均值,与流行的Adam算法相比,它表现出了卓越的泛化能力。AdaBelief在理论上是吸引人的,因为当目标函数是凸的时,它具有数据依赖的$O(\sqrt{T})$后悔界,其中$T$是时间范围。然而,它仍然是一个悬而未决的问题,是否可以进一步提高收敛速度,而不牺牲其推广能力。%,如何利用强凸性,进一步提高AdaBelief的收敛速度。为此,我们在这项工作中进行了第一次尝试,并设计了一种新的优化算法称为FastAdaBelief,旨在利用其强凸性,以实现更快的收敛速度。特别是,通过调整步长,更好地考虑强凸性和防止波动,我们提出的FastAdaBelief表现出良好的泛化能力以及优越的收敛性。作为一个重要的理论贡献,我们证明了FastAdaBelief达到了一个数据依赖的$O(\log T)$遗憾界,这是大大低于AdaBelief。在实证方面,我们验证了我们的理论分析与广泛的实验在两个场景的强和非强凸性三个流行的基线模型。实验结果是非常令人鼓舞的:FastAdaBelief收敛速度最快的所有主流算法相比,同时保持了良好的泛化能力,在强或非强凸的情况下。FastAdaBelief因此被假定为研究界的新基准模型。
2022-05-25 cs.LG stat.ML