arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2607.03519cs.LGmath.OCstat.ML
收藏

再谈Adam算法的收敛性

On the Convergence of Adam, Revisited

Department of Mathematics, University of Southern California(南加州大学数学系)

Steven Heilman, Sampad Mohanty

AI总结:

研究在线优化中投影Adam算法,通过特定线性函数序列证明任意时刻衰减参数下平均遗憾值有界非零,结果扩展到多种Adam变体及相关序列。

摘要:

我们表明,对于具有任意时刻衰减参数β₁,β₂∈[0,1)的在线优化,投影Adam的平均遗憾值可能有界远离零。2018年Reddi - Kale - Kumar的类似结果要求β₁<√β₂。与他们的结果类似,我们在[-1,1]上使用具有斜率c, -1, -1的三周期线性函数序列,不过我们使用的c略大于2。这个非零平均遗憾值结果扩展到Adam变体,如AdamW、RMSProp、NAdam、Adan、AdaMax、Muon,以及Adam斜率的独立同分布三周期序列变体。

英文摘要:

We show that projected Adam for online optimization with arbitrary moment decay parameters $β_1,β_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $β_1<\sqrt{β_2}$. Similar to their result, we use a three-periodic sequence of linear functions on $[-1,1]$ with slopes $c,-1,-1$, though we use $c$ slightly larger than $2$. This nonzero average regret result extends to Adam variants such as AdamW, RMSProp, NAdam, Adan, AdaMax, Muon, and to an i.i.d. variant of the three-periodic sequence of slopes for Adam.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑