随机非凸-强凸双层优化一阶预言机的 $\Omega(\kappa_y^8\epsilon^{-6})$ 下界
An $Ω(κ_y^8ε^{-6})$ Lower Bound for Stochastic NC-SC Bilevel Optimization with First-order Oracles
浏览论文内容
中文总结 AI 辅助
本文证明随机一阶算法求解非凸-强凸双层优化问题达到ε-稳定点所需查询次数的下界为Ω(Δκ_y^8σ²ε⁻⁶)，确立了ε⁻⁶依赖的最优性。
中文摘要 AI 辅助
我们研究了寻找光滑双层优化问题的 $\epsilon$-稳定点的预言机复杂度，其中上层目标是非凸的，下层问题是强凸的。我们考虑一个随机一阶预言机，它返回上层和下层目标的无偏随机梯度，方差以 $\sigma^2$ 为界。我们证明，对于任何初始最优性间隙 $\Delta>0$ 和所有足够小的 $\epsilon>0$，每个自适应随机一阶算法需要 $\Omega\\!\left(\Delta \kappa_y^2 \epsilon^{-2}\max\{1,\sigma^2\kappa_y^6\epsilon^{-4}\}\right)$ 次预言机查询才能找到其超目标函数的 $\epsilon$-稳定点，其中 $\kappa_y$ 表示下层问题的条件数。特别地，在噪声主导的情况下，下界为 $\Omega\\!\left(\Delta\sigma^2\kappa_y^8\epsilon^{-6}\right)$。这确立了已知最佳一阶随机方法所达到的 $\epsilon^{-6}$ 依赖性的最优性。
英文摘要
We study the oracle complexity of finding $ε$-stationary points of smooth bilevel optimization problems with a nonconvex upper-level objective and a strongly convex lower-level problem. We consider a stochastic first-order oracle that returns unbiased stochastic gradients of both the upper- and lower-level objectives, with variance bounded by $σ^2$. We prove that, for any initial optimality gap $Δ>0$ and all sufficiently small $ε>0$, every adaptive randomized first-order algorithm requires $Ω\!\left(Δκ_y^2 ε^{-2}\max\{1,σ^2κ_y^6ε^{-4}\}\right)$ oracle queries to find an $ε$-stationary point of its hyper-objective function, where $κ_y$ denotes the condition number of the lower-level problem. In particular, in the noise-dominated regime, the lower bound is $Ω\!\left(Δσ^2κ_y^8ε^{-6}\right)$. This establishes the optimality of the $ε^{-6}$ dependence achieved by the best-known first-order stochastic methods.
发表机构
- The Pennsylvania State University（宾夕法尼亚州立大学）
- The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
机构由 AI 辅助整理，请以论文原文为准。
