Hessian-Lipschitz 非凸优化中随机一阶方法的匹配下界

中文摘要 AI 辅助

我们为非凸函数寻找 ε-驻点（即满足 ‖∇f(x)‖≤ε）建立了一个随机一阶下界，其中初始差距至多为 Δ，梯度满足 L1-Lipschitz 条件，Hessian 满足 L2-Lipschitz 条件。每次 oracle 调用返回精确的函数值和梯度。令 Q_{rand,FO}^{∞}(ε;Δ,L1,L2) 表示在有限维度上最大化的极小极大调用次数，适用于任意自适应随机算法，且每个实例的成功概率至少为 2/3。在 ε≲L1^2/L2 且 ΔL2^{1/2}ε^{-3/2}≳1 的范围内，我们证明 Q_{rand,FO}^{∞}(ε;Δ,L1,L2) ≥ c ΔL1^{1/2}L2^{1/4}ε^{-7/4}，其中 c>0 是一个绝对常数。这一结果与 Li 和 Lin (2023) 的确定性重启加速梯度上界相匹配，并将 Zhou (2026) 的尖锐确定性下界扩展到不受限制的随机算法。因此，随机化并不能改善高维最坏情况下的查询速率。该构造在保持二次曲率可见的同时，顺序揭示强制方向。大特征空间限制了预处理，而计划披露耦合使得每个新方向都产生单独的成本。

英文摘要

We establish a randomized first-order lower bound for finding an $ε$-stationary point, $\|\nabla f(x)\|\le ε$, of a nonconvex function with initial gap at most $Δ$, $L_1$-Lipschitz gradient, and $L_2$-Lipschitz Hessian. Each oracle call returns the exact function value and gradient. Let $Q_{\mathrm{rand},\mathrm{FO}}^{\infty}(ε;Δ,L_1,L_2)$ denote the minimax number of calls, maximized over finite dimensions, for arbitrary adaptive randomized algorithms with per-instance success probability at least $2/3$. In the regime $ε\lesssim L_1^2/L_2$ and $ΔL_2^{1/2}ε^{-3/2}\gtrsim 1$, we prove $ Q_{\mathrm{rand},\mathrm{FO}}^{\infty}(ε;Δ,L_1,L_2) \ge c\,ΔL_1^{1/2}L_2^{1/4}ε^{-7/4}, $ where $c>0$ is an absolute constant. This matches the deterministic restarted accelerated-gradient upper bound of Li and Lin (2023) and extends the sharp deterministic lower bound of Zhou (2026) to unrestricted randomized algorithms. Thus, randomization does not improve the high-dimensional worst-case query rate. The construction keeps quadratic curvature visible while revealing the forcing directions sequentially. Large eigenspaces limit preprocessing, and a scheduled-disclosure coupling makes each fresh direction incur a separate cost.

发表机构

• Peking University（北京大学）

机构由 AI 辅助整理，请以论文原文为准。