发表机构
Nanjing University of Science and Technology; Nanjing University（南京理工大学; 南京大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文在无平均光滑性假设下，通过构造辅助序列，证明了STORM算法在非凸、凸和强凸目标上分别达到最优收敛速率，并给出了相应的迭代界。
AI 中文摘要
随机递归动量（STORM）通过方差缩减效应在非凸优化中实现快速收敛，但现有分析依赖于强平均光滑性假设。本文研究了在没有平均光滑性的情况下，针对不同目标函数的STORM收敛性。我们首先回顾了平均光滑性下的结果，对于非凸目标获得了$O(T^{-1/3})$的界，在$\u03bc$-Polyak--Łojasiewicz (PL)条件下，对于最后迭代输出获得了$O(\u03c3^2/(\u03bc T))$的界。在没有平均光滑性的情况下，我们设计了一个辅助序列，并在分析中将STORM更新与它进行比较。借助该序列，我们证明了STORM对于非凸目标仍然达到$O(T^{-1/4})$的速率，这在标准光滑性下是最优的。对于凸和$\u03bb$-强凸目标，我们进一步证明了平均和最后迭代的界，分别具有最优速率$O(\u03c3 R/\u221aT)$和$O(\u03c3^2/(\u03bb T))$。所有获得的结果都使用相同的STORM递归，但超参数选择不同。
英文摘要
Stochastic recursive momentum (STORM) achieves fast convergence for nonconvex optimization via the variance reduction effect, but existing analyses rely on the strong average smoothness assumption. In this paper, we study the convergence of STORM for different objectives without average smoothness. We first revisit the results under average smoothness, obtaining the $O(T^{-1/3})$ bound for nonconvex objectives and the $O(σ^2/(μT))$ bound for last-iterate output under the $μ$-Polyak--Łojasiewicz~(PL) condition. Without average smoothness, we design an auxiliary sequence and compare the STORM update with it in the analysis. With the help of this sequence, we prove that STORM still attains an $O(T^{-1/4})$ rate for nonconvex objectives, which is optimal under standard smoothness. For convex and $λ$-strongly convex objectives, we further prove averaged and last-iterate bounds with optimal rates of $O(σR/\sqrt T)$ and $O(σ^2/(λT))$, respectively. All the obtained results use the same STORM recursion with different hyperparameter choices.
