非凸-凹极小极大优化的下界

中文摘要 AI 辅助

我们研究了光滑非凸-凹极小极大优化的一阶预言机复杂度的下界。我们考虑目标函数 $f$ 在原始变量和对偶变量 $(x,y)$ 上联合 $L$-光滑，关于 $y$ 是凹的，并且其原始值函数 $\Phi(x):= \max_{y\in\mathcal Y} f(x,y)$ 满足初始间隙条件 $\Phi(0)-\inf_{x\in\mathcal X}\Phi(x)\le \Delta_\Phi$，其中对偶域有界且满足 $\operatorname{diam}(\mathcal Y)\le D_{\mathcal Y}$。我们通过参数为 $1/(2L)$ 的 $\Phi+\iota_{\mathcal X}$ 的 Moreau 包络的梯度范数来衡量平稳性。我们证明，任何确定性的零尊重一阶算法需要 $\Omega\left(L^2D_{\mathcal Y}\Delta_\Phi\epsilon^{-3}\right)$ 次预言机评估才能找到 $\epsilon$-平稳点。在具有有界方差的无偏随机一阶预言机下，任何随机零尊重算法需要 $\Omega\left(L^3D_{\mathcal Y}^2\Delta_\Phi\epsilon^{-6}\right)$ 次预言机评估。当 $\Delta_\Phi$ 被初始原始-对偶间隙 $\mathcal G_0$ 替换时，相同的下界成立。这些确定性和随机下界分别与 [14] 和 [29] 的相应上界匹配，在确定性设置中相差一个对数因子。

英文摘要

We study lower bounds on the first-order oracle complexity of smooth nonconvex-concave minimax optimization. We consider objectives $f$ that are jointly $L$-smooth in the primal and dual variables $(x,y)$, concave in $y$, and whose primal value function $Φ(x) := \max_{y\in\mathcal Y} f(x,y)$ satisfies the initial-gap condition $Φ(0)-\inf_{x\in\mathcal X}Φ(x)\le Δ_Φ$, with a bounded dual domain satisfying $\operatorname{diam}(\mathcal Y)\le D_{\mathcal Y}$. We measure stationarity by the norm of the gradient of the Moreau envelope of $Φ+ι_{\mathcal X}$ with parameter $1/(2L)$. We prove that any deterministic zero-respecting first-order algorithm requires $Ω\left(L^2D_{\mathcal Y}Δ_Φε^{-3}\right)$ oracle evaluations to find an $ε$-stationary point. Under an unbiased stochastic first-order oracle with bounded variance, any stochastic zero-respecting algorithm requires $Ω\left(L^3D_{\mathcal Y}^2Δ_Φε^{-6}\right)$ oracle evaluations. The same lower bounds hold when $Δ_Φ$ is replaced by the initial primal-dual gap $\mathcal G_0$. These deterministic and stochastic lower bounds match the corresponding upper bounds of [14] and [29], respectively, up to a logarithmic factor in the deterministic setting.

发表机构

• The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
• The Pennsylvania State University（宾夕法尼亚州立大学）

机构由 AI 辅助整理，请以论文原文为准。