我们表明,对于具有任意时刻衰减参数β₁,β₂∈[0,1)的在线优化,投影Adam的平均遗憾值可能有界远离零。2018年Reddi - Kale - Kumar的类似结果要求β₁<√β₂。与他们的结果类似,我们在[-1,1]上使用具有斜率c, -1, -1的三周期线性函数序列,不过我们使用的c略大于2。这个非零平均遗憾值结果扩展到Adam变体,如AdamW、RMSProp、NAdam、Adan、AdaMax、Muon,以及Adam斜率的独立同分布三周期序列变体。
英文摘要:
We show that projected Adam for online optimization with arbitrary moment decay parameters $β_1,β_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $β_1<\sqrt{β_2}$. Similar to their result, we use a three-periodic sequence of linear functions on $[-1,1]$ with slopes $c,-1,-1$, though we use $c$ slightly larger than $2$. This nonzero average regret result extends to Adam variants such as AdamW, RMSProp, NAdam, Adan, AdaMax, Muon, and to an i.i.d. variant of the three-periodic sequence of slopes for Adam.
Adam revisited: a weighted past gradients perspective
University of Science and Technology of China(中国科学技术大学);Zhejiang Cainiao Supply Chain Management Co. Ltd(浙江菜鸟供应链管理有限公司);Advanced Digital Sciences Center(先进数字科学中心)
On the Convergence of A Class of Adam-Type Algorithms for Non-Convex Optimization
University of Minnesota - Twin Cities(明尼苏达大学双城分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Calibrating the Adaptive Learning Rate to Improve Convergence of ADAM
University of Connecticut(康涅狄格大学)
自适应梯度方法(AGM)在深度学习领域的非凸优化问题中得到了广泛的应用。我们重新审视AGM,并确定AGM使用的自适应学习率(A-LR)在不同时期的问题维度上变化很大(即,各向异性尺度),这可能导致收敛和泛化方面的问题。所有现有的修改后年度股东大会实际上都代表了修改A-LR的努力。在理论上,我们提供了一种新的方法来分析AGM的收敛性,并证明了\textsc{Adam}的收敛速度也依赖于它的超参数$ε$,这是以前被忽视的。基于这两个事实,我们提出了一个新的AGM校准A-LR与激活({ \em softplus})功能,导致\textsc{Sadam}和\textsc{SAMSGrad}方法\footnote{Code is available at https://github.com/neilliang90/Sadam.git.}。我们进一步证明了这些算法在非凸、非强凸和Polyak-Projojasiewicz条件下比\textsc{Adam}具有更好的收敛速度。实证研究支持我们对各向异性A-LR的观察,并表明所提出的方法优于现有的AGM,并且在多个深度学习任务中比S-Momentum更好地推广。
On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions
Center for Data Science and School of Mathematical Sciences, Zhejiang University(浙江大学数据科学中心与数学科学学院);Center for Data Science, Zhejiang University(浙江大学数据科学中心)
Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
Institute of Operations Research and Analytics(运筹学与分析研究所);National University of Singapore(新加坡国立大学);School of Computer and Computing Science(计算机与计算科学学院);Hangzhou City University(杭州城市大学);State Key Laboratory of Scientific and Engineering Computing(科学与工程计算国家重点实验室);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Department of Mathematics(数学系)
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院,香港中文大学(深圳));School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院和人工智能学院,香港中文大学(深圳))
On the Convergence of Adam under Non-uniform Smoothness: Separability from SGDM and Beyond
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Peking University(北京大学);Chinese Academy of Science(中国科学院);CUHK (Shenzhen)(香港中文大学(深圳))
Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Peking University(北京大学);Chinese Academy of Mathematics and Systems Science(中国科学院数学与系统科学研究院);Microsoft(微软);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
A Theoretical and Empirical Study on the Convergence of Adam with an "Exact" Constant Step Size in Non-Convex Settings
Robert Bosch Centre for Cyber-Physical Systems(罗伯特·博世网络物理系统中心);Indian Institute of Science(印度科学学院);Netaji Subhas University of Technology(纳塔吉·苏巴斯·技术大学);TCS Research(塔塔咨询服务公司研究中心)
本文研究非凸优化中 Adam 的固定步长收敛问题,推导并实现“精确”恒定步长,给出确定性与随机版本的收敛保证及运行时间界,并通过分类实验验证其降低梯度范数的效果。
Towards Simple and Provable Parameter-Free Adaptive Gradient Methods
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);School of Computing and Data Science, the University of Hong Kong(香港大学计算科学与数据科学学院);Bytedance Inc(字节跳动公司)
提出 AdaGrad++ 和 Adam++ 两种简单无参数自适应梯度方法,在无需预设学习率的情况下实现与 AdaGrad 和 Adam 相当的收敛保证。
Nostalgic Adam: Weighting more of the past gradients when designing the adaptive learning rate
Peking University(北京大学);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Center for Data Science, Peking University(北京大学数据科学中心);Beijing Institute of Big Data Research(北京大数据研究院)
一阶优化算法已被证明在深度学习中非常突出。特别是RMSProp和Adam等算法非常受欢迎。然而,最近的工作指出,缺乏“长期记忆“的亚当类算法,这可能会妨碍他们的性能,并导致分歧。在我们的研究中,我们观察到,在设计自适应学习率时,加权更多的过去梯度是有好处的。因此,我们提出了一种算法,称为怀旧亚当(NosAdam),理论上保证在最佳已知的收敛速度收敛。NosAdam可以被认为是对Adam的非收敛问题的修复,以替代[Reddi et al.,2018年]。我们的初步数值实验表明,NosAdam是一个有前途的替代算法亚当。证明,代码和其他补充材料可以在匿名共享链接中找到。
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
Moscow Institute of Physics and Technology, Russia(莫斯科物理技术学院);Ivannikov Institute for System Programming RAS, Russia(伊万诺夫系统编程研究所);Sber AI Lab, Russia(俄罗斯Sber人工智能实验室);Innopolis University, Russia(因诺波利斯大学);The Russian Presidential Academy of National Economy and Public Administration, Russia(俄罗斯总统经济与公共行政学院);Skolkovo Institute of Science and Technology, Russia(斯克沃尔佐夫科学与技术研究所);Mohamed bin Zayed University of Artificial Intelligence, UAE(穆罕默德·本·扎耶德人工智能大学);Machine Learning and Optimization Laboratory (MLO), EPFL, Lausanne, Switzerland(机器学习与优化实验室(MLO),EPFL,拉瓦尔普勒斯,瑞士)
Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences(数据与决策科学部);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of Maryland(马里兰大学);Department of Mechanical Engineering(机械工程系)
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM,证明其收敛性,并在图像分类和语言建模任务上验证其泛化与收敛优势。
Unified convergence analysis for gradient descent optimization methods in the training of deep neural networks
Applied Mathematics: Institute for Analysis and Numerics, University of Münster, Germany(应用数学:分析与数值研究所,穆尔斯特大学,德国);School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen), China(数据科学学院和人工智能学院,香港中文大学(深圳)(CUHK-Shenzhen),中国)
A New Adaptive Gradient Method with Gradient Decomposition
Center for Data Science(数据科学中心);Peking University(北京大学);Key Lab. of Machine Perception (MOE)(机器感知教育部重点实验室);School of EECS, Peking University(北京大学电子工程与计算机科学学院);Peng Cheng Laboratory(鹏城实验室)