发表机构
Virginia Tech（弗吉尼亚理工大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
该研究分析带随机重排的SGD的收敛速率，推导最后一轮的精确速率，扩展至Hölder连续平均Hessian情形，并给出复合ProxRR的收敛界与下界。
AI 中文摘要
我们针对有限和 \\( F(x)=\frac1n\sum_{i=1}^n f_i(x) \\) 研究带随机重排的随机梯度下降（SGD）。对于采用恒定分量步长的新鲜重排，若每个 \\( f_i \\) 具有 \\( L \\)-Lipschitz梯度，且平均函数 \\( F \\) 是 \\( \mu \\)-强凸的并具有Lipschitz连续Hessian，我们证明最后一轮的速率为 \\( \mathbb E[F(y_K)-F(x_\star)] = \widetilde O\left(T^{-2}+n^2T^{-3}\right) \\)（其中 \\( T=nK \\)），其对 \\( (n,K) \\) 的依赖关系与已知的二次下界匹配。分量函数可以是非凸的，且不需要逐分量Hessian连续性或单独的有界迭代假设。更一般地，\\( \nu \\)-Hölder连续的平均Hessian仅增加 \\( \widetilde O(n^{1+\nu}T^{-2-2\nu}) \\)，因此每个 \\( \nu\ge 1/2 \\) 都能保持二次速率。在分量函数为凸的情况下，递减步长的结果消除了对大轮次的要求，且当 \\( nK \\) 超过条件数尺度时，恢复相同的两项尺度。我们还分析了针对 \\( \mathcal P=F+\psi \\) 的逐轮ProxRR。记 \\( x^\dagger \\) 为复合极小值点，\\( \beta_\star=\\|\nabla F(x^\dagger)\\| \\)，我们证明 \\( \mathbb E\\|y_K-x^\dagger\\|^2 = \widetilde O\left( \frac{\beta_\star^2}{K^2} +T^{-2}+n^2T^{-3} +n^{1+\nu}T^{-2-2\nu} \right) \\)。对于 \\( \nu\ge 1/2 \\)，我们表明 \\( \beta_\star^2/K^2 \\) 这一拆分项是不可避免的，并在所述恒定步长 regime 中获得了对数因子内的匹配下界。
英文摘要
We study stochastic gradient descent with random reshuffling for finite sums \[ F(x)=\frac1n\sum_{i=1}^n f_i(x). \] For fresh reshuffling with a constant component stepsize, if each $f_i$ has an $L$-Lipschitz gradient and the average $F$ is $μ$-strongly convex with a Lipschitz-continuous Hessian, we prove the last-epoch rate \[ \mathbb E[F(y_K)-F(x_\star)] =\widetilde O\!\left(T^{-2}+n^2T^{-3}\right), \qquad T=nK, \] matching the known quadratic lower bound in its $(n,K)$-dependence. The components may be nonconvex, and no componentwise Hessian continuity or separate bounded-iterate assumption is required. More generally, a $ν$-Hölder-continuous average Hessian adds only $\widetilde O(n^{1+ν}T^{-2-2ν})$, so every $ν\ge 1/2$ preserves the quadratic rate. Under convex components, a decreasing-stepsize result removes the large-epoch requirement and recovers the same two-term scale once $nK$ exceeds the condition-number scale. We also analyze epoch-wise ProxRR for $\mathcal P=F+ψ$. Writing $x^\dagger$ for the composite minimizer and $β_\star=\|\nabla F(x^\dagger)\|$, we prove \[ \mathbb E\|y_K-x^\dagger\|^2 =\widetilde O\!\left( \frac{β_\star^2}{K^2} +T^{-2}+n^2T^{-3} +n^{1+ν}T^{-2-2ν} \right). \] For $ν\ge 1/2$, we show that the $β_\star^2/K^2$ splitting term is unavoidable and obtain a matching lower bound up to logarithms in the stated constant-stepsize regime.
