一种面向去中心化非凸-强凹极小极大优化的高效随机算法

中文摘要 AI 辅助

本文研究多智能体网络下的随机非凸-强凹极小极大优化问题。我们提出了一种名为Decentralized Recursive gradient descEnt Ascent Method（DREAM，去中心化递归梯度下降上升法）的高效算法，该算法在寻找ε-平稳点方面达到了目前已知的最优理论保证。具体而言，它需要O(min(κ³ε⁻³, κ²√N ε⁻²))次随机一阶预言机（SFO）调用以及Õ(κ²ε⁻²)轮通信，其中κ为条件数，N为个体函数的总数量。我们的数值实验也验证了DREAM相较于现有方法的优越性。

英文摘要

This paper studies the stochastic nonconvex-strongly-concave minimax optimization over a multi-agent network. We propose an efficient algorithm, called Decentralized Recursive gradient descEnt Ascent Method (DREAM), which achieves the best-known theoretical guarantee for finding the $ε$-stationary points. Concretely, it requires $\mathcal{O}(\min (κ^3ε^{-3},κ^2 \sqrt{N} ε^{-2} ))$ stochastic first-order oracle (SFO) calls and $\tilde{\mathcal{O}}(κ^2 ε^{-2})$ communication rounds, where $κ$ is the condition number and $N$ is the total number of individual functions. Our numerical experiments also validate the superiority of DREAM over previous methods.

发表机构

• SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）
• School of Data Science, Fudan University（复旦大学数据科学学院）
• Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）

机构由 AI 辅助整理，请以论文原文为准。