发表机构
Tsinghua University（清华大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对光滑凸目标，证明经典Heavy-Ball方法即使采用任意依赖时间范围的参数调度，也无法保证Nesterov的O(T^{-2})最后迭代速率，并给出下界Omega(1/(T^alpha log T))。
AI 中文摘要
经典 Heavy-Ball 方法，若预先选择任意依赖于时间范围的参数，能否在每个光滑凸目标上达到 Nesterov 的 $O(T^{-2})$ 最后迭代速率？我们给出否定答案。对于每个时间范围 $T\ge2$ 和每个预先设定的非负步长及动量在 $[0,1)$ 内的调度，存在一个凸的 $1$-光滑目标，其初始化距离至多为 1 且初始速度为零，使得 Heavy-Ball 方法的最后迭代满足 \\[ f(x_T)-f^\star=\Omega\\!\left(\frac{1}{T^\alpha\log T}\right), \qquad \alpha=\frac{1+\sqrt5}{2}. \\] 因此，即使完全非平稳且依赖于时间范围的调参，也无法为经典 Heavy-Ball 方法在光滑凸类上提供 Nesterov 速率的保证。
英文摘要
Can the classical Heavy-Ball method, with arbitrary horizon-dependent parameters chosen in advance, achieve Nesterov's $O(T^{-2})$ last-iterate rate on every smooth convex objective? We provide a negative answer. For every horizon $T\ge2$ and every predetermined schedule with nonnegative step sizes and momenta in $[0,1)$, there exists a convex $1$-smooth objective, with initialization distance at most one and zero initial velocity, for which the last iterate of the Heavy-Ball method satisfies \[ f(x_T)-f^\star=Ω\!\left(\frac{1}{T^α\log T}\right), \qquad α=\frac{1+\sqrt5}{2}. \] Thus even fully nonstationary, horizon-dependent tuning cannot give the classical Heavy-Ball method a Nesterov-rate guarantee on the smooth convex class.
