arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2308.00720cs.LG
收藏

固定步长 ADAM 算法的发散:一个(非常)简单的例子

Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example

Namur Center for Complex Systems (naXys)(那慕尔复杂系统中心(naXys));University of Namur(那慕尔大学)

Ph. L. Toint

AI总结:

本文构造了一个具有 Lipschitz 连续梯度的简单一维函数,证明了在无梯度噪声下,从原点出发的固定步长 ADAM 算法在最小化该函数时必然发散,且与参数选择无关。

摘要:

构造了一个具有 Lipschitz 连续梯度的极简单一维函数,使得在无梯度噪声下,从原点出发、采用固定步长的 ADAM 算法在最小化该函数时发生发散。无论方法参数如何选择,发散均会发生。

英文摘要:

A very simple unidimensional function with Lipschitz continuous gradient is constructed such that the ADAM algorithm with constant stepsize, started from the origin, diverges when applied to minimize this function in the absence of noise on the gradient. Divergence occurs irrespective of the choice of the method parameters.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑