Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文首次给出双时间尺度GDA求解非凸-凹极小极大问题的非渐近复杂度分析，证明其能高效找到函数Φ的稳定点，解释了该算法在训练GANs等实际应用中的优越表现。
2024-05-03 cs.LG math.OC stat.ML
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出了双时间尺度梯度下降上升（TTGDA）算法的统一分析，用于解决非凸-凹极小极大优化问题，高效找到平稳点并建立复杂度理论界限，首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC
Universal Gradient Descent Ascent Method for Nonconvex-Nonconcave Minimax Optimization
CUHK（香港中文大学）；Stanford University（斯坦福大学）
本文提出双重平滑梯度下降上升方法（DS-GDA），以统一超参数求解具有单侧KŁ性质的非凸-非凹极小极大问题，并在无正则性条件下也能避免极限环，是首个在多个挑战性问题上收敛的一阶算法。
2023-10-30 cs.LG math.OC stat.ML
An Optimal Multistage Stochastic Gradient Method for Minimax Problems
Massachusetts Institute of Technology（麻省理工学院）
本文研究了在光滑和强凸-强凹条件下，当梯度估计具有噪声时的极小极大最优化问题。特别地，我们首先分析了具有常数步长的随机梯度下降上升（GDA）方法，并证明了它收敛到极大极小问题的解的邻域。我们进一步提供了紧界上的收敛速度和这个邻域的大小。接下来，我们提出了一个多阶段的变体随机GDA（M-GDA），运行在多个阶段与一个特定的学习率衰减时间表，并收敛到精确解的极大极小问题。我们表明，M-GDA实现的下界的噪声依赖性方面，没有任何假设的噪声特性的知识。我们还表明，M-GDA获得的线性衰减率的误差的依赖于初始误差，虽然依赖于条件数是次优的。为了改善这种依赖性，我们应用多级机制的随机乐观梯度下降上升（OGDA）算法，并提出了M-OGDA算法，也实现了最佳的线性衰减率相对于初始误差。据我们所知，该方法是第一个同时达到最佳的依赖于噪声特性以及初始误差和条件数。
2020-02-13 cs.LG math.OC stat.ML
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
On the Stability and Generalization of First-order Bilevel Minimax Optimization
College of Informatics（信息学院）；School of Artificial Intelligence（人工智能学院）
本文研究了一阶双层极小极大优化算法的稳定性和泛化能力，通过算法稳定性分析，推导出三种代表性算法的细粒度泛化界，并通过实验证实理论结果。
2026-04-22 cs.AI cs.LG stat.ML
On Convergence of Gradient Descent Ascent: A Tight Local Analysis
MIT（麻省理工学院）；CUHK（香港中文大学）；MIT-IBM AI Lab（麻省理工学院-IBM人工智能实验室）；IBM Research（IBM研究院）
梯度下降上升（GDA）方法是生成对抗网络（GANs）中最小最大优化的主流算法。GDA的收敛性在最近的文献中引起了极大的兴趣。具体地，对于其中$f$在$\mathbf{y}$中是强凹的并且在$\mathbf{x}$中可能是非凸的$\min_{\mathbf{x}} \max_{\mathbf{y}} f(\mathbf{x};\mathbf{y})$，（Lin等人，2020）证明了具有步长比$η_{\mathbf{y}}/η_{\mathbf{x}}=Θ(κ^2)$的GDA的收敛性，其中$η_{\mathbf{x}}$和$η_{\mathbf{y}}$是$\mathbf{x}$和$\mathbf{y}$的步长，$κ$是$\mathbf{y}$的条件数。虽然这个步长比表明小玩家的训练很慢，但实际的GAN算法通常对两个变量采用类似的步长，这表明理论和经验结果之间存在很大差距。在本文中，我们的目标是弥合这一差距，通过分析一般的\emph{nonconvex-nonconcave}极大极小问题的\emph{local convergence}。我们证明了一个步长比$Θ(κ)$是必要的和充分的局部收敛的GDA的Stackelberg均衡，其中$κ$是局部条件数$\mathbf{y}$。我们证明了一个几乎紧收敛速度与匹配的下限。我们进一步将收敛保证推广到随机GDA和超梯度方法.最后，我们进行了一…
2022-07-03 cs.LG math.OC stat.ML
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
在本文中，我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用，极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升（\texttt{ZO-GDA}）算法，并提供了改进的结果相比，现有的作品，在预言复杂度。我们还提出了零阶梯度下降多步上升（\texttt{ZO-GDMSA}）算法，显着提高了\texttt{ZO-GDA}的预言复杂度。然后，我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA}，处理随机非凸极大极小问题。对于这种情况，我们提供了两个假设下的随机梯度的预言复杂性结果：（i）一致有界方差假设，这是常见的传统随机最优化，和（ii）强增长条件（SGC），这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下，随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
Two-timescale Extragradient for Finding Local Minimax Points
KAIST（韩国科学技术院）
针对极小极大问题优化难题，提出双时间尺度外梯度法，在温和条件下证明其能收敛至局部极小极大点，并消除了Hessian矩阵非退化假设，改进了已有结果。
2024-04-22 cs.LG math.OC
Towards Sharper Risk Bounds for Minimax Problems
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京市大数据管理与分析方法重点实验室）
本文研究极小极大问题的泛化界，通过均匀局部收敛获得了非凸-强凹设定下更尖锐的高概率泛化误差界，并基于此推导出比现有结果快 n 倍的超额原风险界。
2024-10-11 cs.LG stat.ML
Minimax Alternating Regret for the Experts Problem and Online Convex Optimization
University of Iowa（爱荷华大学）
本文解决了专家问题与一般在线凸优化（OCO）中极大极小交替遗憾率的开放问题，给出了匹配的上下界，提出修正Hedge算法等技术，显著优于现有结果。
2026-11-02 cs.LG stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
Train simultaneously, generalize better: Stability of gradient-based minimax learners
Massachusetts Institute of Technology（麻省理工学院）
已经观察到生成对抗网络（GANs）的极大极小学习问题的成功取决于用于其训练的极大极小优化算法。这种依赖性通常归因于底层优化算法的收敛速度和鲁棒性。在本文中，我们证明了优化算法在训练的Minimax模型的泛化性能中也起着关键作用。为此，我们分析了标准的梯度下降上升（GDA）和邻近点法（PPM）算法的推广性能，通过透镜的算法稳定性下凸凹和非凸非凹极大极小设置。虽然GDA算法不能保证有一个消失的超额风险在凹凸问题，我们的PPM算法享有一个有界的超额风险在相同的设置。对于非凸非凹问题，我们比较了随机GDA和GDmax算法的推广性能，后者在每次迭代时完全解决了最大化子问题。我们的推广分析表明GDA的优越性，提供的最小化和最大化子问题，同时解决类似的学习率。我们讨论了几个数值结果表明的作用，优化算法的学习极大极小模型的推广。
2020-10-23 cs.LG math.OC stat.ML
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Optimality and Stability in Non-Convex Smooth Games
School of Computer Science（计算机科学学院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
收敛到鞍点的凹凸函数已经研究了几十年，而近年来已经看到了激增的兴趣，非凸（零和）光滑游戏，其最近的广泛应用的动机。如何定义局部最优点以及哪种算法能够收敛到局部最优点仍然是一个有趣的研究挑战。一个有趣的概念被称为局部极小极大点，它与广为人知的梯度下降上升算法密切相关。本文的目的是提供一个全面的分析局部极小极大点，如它们与其他解决方案的概念和最优性条件的关系。我们发现，局部鞍点可以被视为一种特殊类型的局部极大极小点，称为一致局部极大极小点，在温和的连续性假设。在（非凸）二次博弈中，我们证明了局部极大极小点（在某种意义上）等价于全局极大极小点。最后，我们研究了梯度算法在局部极小极大点附近的稳定性。虽然梯度算法在非退化情况下可以收敛到局部/全局极小极大点，但在一般情况下它们往往会失败。这意味着在非凸光滑博弈中，需要新的算法或超越鞍点和极大极小点的概念。
2022-02-03 cs.LG math.OC stat.ML
What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization?
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
极大极小优化在现代机器学习中有着广泛的应用，例如生成对抗网络（GANs），对抗训练和多智能体强化学习。由于大多数应用都涉及连续的非凸-非凹公式，因此出现了一个非常基本的问题--“局部最优解的正确定义是什么？”“大多数以前的工作回答这个问题使用经典的概念，均衡从同时游戏，其中最小的球员和最大的球员同时行动。相比之下，机器学习中的大多数应用，包括GANs和对抗训练，都对应于顺序游戏，其中玩家首先行动的顺序至关重要（因为由于问题的非凸-非凹性质，minimax通常不等于maximin）。本文的主要贡献是给出了局部最优性的数学定义--局部极小极大，并给出了它的性质和存在性结果。最后，我们建立了一个强连接到一个基本的局部搜索算法-梯度下降上升（GDA）：在温和的条件下，所有稳定的极限点GDA是正是当地的minimax点，直到一些退化点。
2020-08-15 cs.LG math.OC stat.ML
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Mirror Descent-Ascent for mean-field min-max problems
Center for Advanced Intelligence Project, RIKEN（日本东京RIKEN先进智能项目中心）；School of Mathematical and Computer Sciences, Heriot-Watt University（赫里奥特-瓦特大学数学与计算机科学学院）；Maxwell Institute for Mathematical Sciences, Edinburgh, UK（爱丁堡数学科学研究所）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究了用于解决测度空间上极小-极大问题的镜像下降-上升算法的两种变体，分析了其收敛性，并提出了统一的理论基础。
2026-05-07 cs.LG math.OC math.PR
Fundamental Benefit of Alternating Updates in Minimax Optimization
KAIST AI（韩国科学技术院人工智能学院）
针对极小极大优化中同步与交替GDA算法性能差距缺乏理论解释的问题，本文通过细粒度收敛分析证明Alt-GDA收敛更快，并提出涵盖两类算法的Alex-GDA框架，其迭代复杂度更低且在双线性问题上可线性收敛。
2024-07-15 cs.LG math.OC
Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity
ETH Zürich（苏黎世联邦理工学院）
梯度下降上升（GDA）是非凸极小极大优化的最简单的单循环算法，广泛应用于生成对抗网络（GANs）和对抗训练等实际应用中。虽然它的理想的简单性，最近的工作表明较差的收敛速度的GDA在理论上，即使假设强的收敛性的目标的一侧。本文建立了新的收敛性结果的两个可选的单循环算法-交替GDA和平滑GDA -在温和的假设下，目标满足Polyak-Lojasiewicz（PL）条件的一个变量。我们证明了，找到一个$ε$ -平稳点，（i）交替的GDA和它的随机变量（无小批量）分别需要$O(κ^{2} ε^{-2})$和$O(κ^{4} ε^{-4})$迭代，而（ii）平滑的GDA和它的随机变量（无小批量）分别需要$O(κε^{-2})$和$O(κ^{2} ε^{-4})$迭代。后者大大提高了香草GDA，并给出了迄今为止最知名的单循环算法在类似的设置下的复杂性结果。我们进一步展示了这些算法在训练GANs和鲁棒非线性回归方面的经验效率。
2021-12-10 cs.LG math.OC stat.ML
What is a Good Metric to Study Generalization of Minimax Learners?
Massachusetts Institute of Technology（麻省理工学院）
极大极小优化已经成为许多机器学习（ML）问题的核心。虽然优化算法的收敛行为在极大极小设置中已经被广泛研究，但是它们在随机极大极小优化问题中的推广保证，即，在经验数据上训练的解决方案如何在看不见的测试数据上执行，已经相对地探索不足。一个基本的问题仍然是难以捉摸的：什么是一个很好的指标来研究推广的极大极小学习者？在本文中，我们的目的是回答这个问题，首先表明，原始风险，一个普遍的度量研究推广的最小化问题，最近也被采用研究推广的极大极小的，失败在简单的例子。因此，我们提出了一个新的度量来研究推广的极小极大学习者：原始差距，定义为原始风险之间的差异，其最小的所有模型，以规避问题。接下来，我们推导出非凹凸设置的原始间隙的推广误差界。作为我们分析的副产品，我们还解决了两个悬而未决的问题：建立原始风险和原始-对偶风险的泛化误差界，另一个现有的度量只有在全局鞍点存在时才有明确的定义，在强意义上，即，没有强约束或假设最大化和期望可以互换，而文献中需要这两个假设之一。最后，我们利用这个新的度量比较两个流行的算法-梯度下降上升（GDA）和梯度下降最大（GDMax）在随机极大极小优化的泛化行为。
2022-06-20 cs.LG math.OC stat.ML
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning
Northwestern University（西北大学）
针对联邦极小极大优化通信频繁、Local SGDA 恒定步长下难以精确收敛的问题，提出基于梯度跟踪的 FedGDA-GT，在强凸强凹条件下实现 O(log(1/ε)) 通信复杂度的线性收敛，并实验验证其优于 Local SGDA。
2023-06-06 cs.DC cs.LG
Effective Bilevel Optimization via Minimax Reformulation
HKUST（香港科技大学）
针对双层优化嵌套结构导致的计算成本高的问题，本研究将其重构为等价的极小极大问题以解耦内外层依赖，提出带收敛保证的多阶段GDA算法，在提升性能的同时大幅降低计算成本。
2024-11-04 cs.LG math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks
UCLA（加州大学洛杉矶分校）；UCSD（加州大学圣地亚哥分校）；NYU（纽约大学）
本文在孤立点模型假设下通过线性化非线性动力系统，分析了基于核判别器的GAN训练中梯度下降-上升方法的局部收敛性，揭示了学习率、正则化和核带宽对收敛、振荡或发散相变的影响，并用数值模拟验证了理论结果。
2023-05-29 cs.LG stat.ML
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）
许多重要的机器学习应用都是解决极大极小优化问题，在许多情况下无法访问梯度信息，而只能访问函数值。在本文中，我们关注这样一个梯度自由设置，并考虑非凸-强-凹极大极小随机优化问题。在文献中，各种零阶（即，梯度自由）极大极小方法已经提出，但他们都没有达到潜在的可行的计算复杂性的$\mathcal{O}(ε^{-3})$建议的随机非凸最小化定理。本文采用方差缩减技术设计了一种新的零阶方差缩减梯度下降上升（ZO-VRGDA）算法。我们表明，ZO-VRGDA算法实现了最好的查询复杂度的$\mathcal{O}(κ(d_1 + d_2)ε^{-3})$，这优于所有以前的复杂度的数量级，其中$d_1$和$d_2$表示的优化变量的尺寸和$κ$表示的条件数。特别是，我们开发了一种新的分析技术，我们的结果不依赖于现有方法中通常需要的递减或精度依赖的步长。据我们所知，这是第一次研究零阶极小极大优化与方差减少。在黑盒分布鲁棒优化问题上的实验结果表明了新算法的优越性能。
2021-03-22 cs.LG math.OC stat.ML
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
An Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization
SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）
针对多智能体网络下的随机非凸-强凹极小极大优化问题，提出DREAM算法，在寻找ε-平稳点上取得最优理论复杂度，且数值实验验证其优于现有方法。
2024-05-14 cs.LG math.OC
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization
University of Pittsburgh（匹兹堡大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了一类用于非凸极小优化和极小极大优化的加速零阶和一阶动量方法。具体来说，我们提出了一个新的加速零阶动量（ACC-ZOM）的黑盒小优化方法，只有功能值可以获得。此外，我们证明了我们的Acc-ZOM方法实现了较低的查询复杂度为$\tilde{O}(d^{3/4}ε^{-3})$寻找一个$ε$ -平稳点，这提高了最好的已知结果的一个因素的$O(d^{1/4})$，其中$d$表示的可变尺寸。特别是，我们的Acc-ZOM不需要在现有的零阶随机算法所需的大批量。同时，我们提出了一个加速零阶动量下降上升（ACC-ZOMDA）方法的黑箱极小极大优化，其中只有函数值可以得到。我们的Acc-ZOMDA获得了低查询复杂度的$\tilde{O}((d_1+d_2)^{3/4}κ_y^{4.5}ε^{-3})$，而不需要大批量寻找一个$ε$ -平稳点，其中$d_1$和$d_2$表示可变尺寸和$κ_y$是条件数。此外，我们提出了一个加速的一阶动量下降上升（Acc-MDA）方法的极小极大优化，其显式梯度是可访问的。我们的Acc-MDA实现了$\tilde{O}(κ_y^{4.5}ε^{-3})$的低梯度复杂性，而不需要大批量来寻找$ε$ -稳定点。特别是，我们的Acc-MDA可以获得具有批量大小$O(κ_y^4)$的$\tilde{O}(κ_y^{2.5}ε^{-3})$的较低梯度复杂度，这将…
2022-01-17 cs.CV cs.LG math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
针对可分离双线性耦合极小极大问题，论文提出 AG-OG Descent Ascent，将 Nesterov 加速与乐观梯度结合并辅以重启，在确定性和随机设置下均实现最优收敛速率。
2023-08-14 cs.GT cs.LG math.OC
GDA-AM: On the effectiveness of solving minimax optimization via Anderson Acceleration
Emory University（埃默里大学）；University of Minnesota（明尼苏达大学）
许多现代机器学习算法，如生成对抗网络（GANs）和对抗训练，都可以用极小极大优化来表示。梯度下降上升（GDA）由于其简单性而成为最常用的算法。然而，GDA可以收敛到非最优极大极小点。我们提出了一个新的极小极大优化框架，GDA-AM，将GDAdjunctions视为一个固定点迭代，并使用Anderson Mixing来解决它，以收敛到局部极小极大。它解决了同步GDA的发散问题，加速了交替GDA的收敛。在理论上证明了该算法在较弱的条件下对双线性问题具有全局收敛性。我们还实证表明，GDA-AM解决了各种极大极小问题，并改善了几个数据集上的GAN训练
2022-06-29 cs.LG cs.NA math.NA
Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）
一个动力系统被定义为一个支付函数的梯度。动力学变量有两种类型，上升和下降。上升变量沿梯度方向移动，而下降变量沿相反方向移动。这种形式的动力系统或非常相似的形式已经在不同的领域，如对策论，优化，神经网络和人口生物学进行了研究。梯度下降-上升被近似为保持总能量的牛顿动力系统，总能量被定义为动能和与支付函数成比例的势能的总和。近似的误差是违反能量守恒的残余力。如果剩余力是纯粹耗散的，那么能量作为李雅普诺夫函数，有界轨迹收敛到稳定状态是有保证的。由于Kose和Uzawa以前的收敛定理要求支付函数在下降变量中是凸的，在上升变量中是凹的。这里的假设是放松的，所以支付函数只需要在上升变量中比在下降变量中全局地“更不凸”或“更凹”。这样的相对凸性条件允许存在多个稳态，不同于凹凸假设。当结合充分条件，意味着存在一个极大极小均衡，有界的轨迹也保证。
2019-03-05 cs.GT cs.LG cs.NE
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture
Woodruff School of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院伍德拉夫机械工程学院）
数据稀疏性是训练机器学习工具（例如用于工程和科学应用的神经网络）的常见问题，其中实验和模拟是昂贵的。最近，物理约束的神经网络（PCNN）的发展，以减少所需的训练数据的量。然而，在PCNN中，根据数据和物理约束的不同损失的权重根据经验进行调整。本文提出了一种新的具有极大极小结构的物理约束神经网络（PCNN-MM），它可以系统地调整不同损失的权值。PCNN-MM的训练是搜索目标函数的高阶鞍点。提出了一种新的鞍点搜索算法--Dual-Dimer方法。它表明，双二聚体方法是计算效率比梯度下降上升方法的非凸非凹函数，并提供额外的特征值信息，以验证搜索结果。一个热传导的例子也表明，PCNN-NN的收敛速度比传统的PCNN。
2021-01-01 cs.LG stat.ML
SDEs for Minimax Optimization
University of Basel（巴塞尔大学）；ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）；MPI for Intelligent Systems Tübingen（蒂宾根智能系统马克斯·普朗克研究所）；AI Center（人工智能中心）；Yahoo! Research（雅虎研究院）；University of Oslo（奥斯陆大学）
本文首次用随机微分方程对极小极大优化器进行建模分析，为随机梯度下降-上升、随机外梯度和随机哈密顿梯度下降建立可证明近似的SDE模型，并基于Itô微积分推导收敛条件与闭式解。
2024-02-19 cs.LG math.OC
Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对数据分布于多节点且满足PL条件的非凸-非凹极小极大问题，提出分散式动量梯度下降上升DM-GDA，并证明其达到O(ε^-3)近最优梯度复杂度。
2023-04-21 cs.LG math.OC
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度，并表明，对于许多这样的算法，采样的数据点没有更换导致更快的收敛速度相比，放回抽样更换。对于光滑和强凸-强凹的设置，我们考虑梯度下降上升和近点方法，并提出了一个统一的分析两个流行的无替换采样策略，即随机重排（RR），洗牌的数据，每一个时代，和单洗牌或洗牌一次（SO），洗牌只在开始。我们获得了紧收敛速度RR和SO，并证明这些策略导致更快的收敛速度比均匀采样。超越凸性，我们得到了类似的结果，光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后，我们证明了我们的技术是足够一般的数据排序攻击，其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率，其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本研究挑战了凸优化中可复现性与收敛速度必须权衡的观点，提出基于正则化的算法在多种易错预言机设置下，同时实现了最优可复现性和近最优梯度复杂度。
2024-01-09 cs.LG math.OC stat.ML
K-Beam Minimax: Efficient Optimization for Deep Adversarial Learning
The Ohio State University（俄亥俄州立大学）；Seoul National University（首尔国立大学）
极大极小优化在机器学习算法的对抗性训练中起着关键作用，例如学习生成模型，领域自适应，隐私保护和鲁棒学习。在本文中，我们证明了交替梯度下降在极大极小优化问题的失败，由于内部极大值的解的不连续性。为了解决这个问题，我们提出了一个新的ε-次梯度下降算法，通过同时跟踪K个候选解决方案来解决这个问题。实际上，该算法可以找到解决方案，以前的鞍点算法不能找到，只有一个次线性增加的复杂性K。我们详细分析了算法收敛到真解的条件。在简单的典型问题、GAN训练和领域自适应问题中，观察到算法的稳定性和收敛速度的显著改善。
2018-06-07 cs.LG stat.ML
Controlled-Minimax: Stabilizing Adversarial Optimization via Control Theory
Tsinghua University（清华大学）
本文针对极小极大优化的稳定性问题，提出受控极小极大（Controlled-Minimax）框架，通过推导反馈控制器实现局部指数稳定，在多个基准及StyleGAN2-ada图像合成任务中有效抑制振荡并保障快速鲁棒收敛。
2026-10-12 cs.LG
Stability and Generalization of Stochastic Gradient Methods for Minimax Problems
University of Birmingham（伯明翰大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）；The University of Iowa（爱荷华大学）
许多机器学习问题可以被公式化为极大极小问题，例如生成对抗网络（GANs），AUC最大化和鲁棒估计，仅举几例。大量的研究致力于研究其随机梯度型算法的收敛行为。相比之下，关于其推广的工作相对较少，即，从训练样本构建的学习模型在测试样本上的表现如何。在本文中，我们提供了一个全面的推广分析的随机梯度方法的极大极小问题的凸-凹和非凸-非凹的情况下，通过镜头的算法稳定性。我们建立了稳定性和几个推广措施的期望和高概率之间的定量联系。对于凹凸设置，我们的稳定性分析表明，随机梯度下降上升达到最佳的推广边界光滑和非光滑极大极小问题。我们还建立了推广的弱凸弱凹和梯度控制问题的界限。
2021-07-12 cs.AI cs.LG
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标准的联邦优化方法成功地应用于单级结构的随机问题。然而，许多当代机器学习问题-包括对抗鲁棒性，超参数调整和演员-评论家-都属于嵌套双层编程，其中包含极大极小和组合优化。在这项工作中，我们提出了\fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下，并介绍了双层，极大极小和组合优化的变化。\fedblo引入了多项创新，包括联合超梯度计算和方差减少，以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化，证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
HessianFR: An Efficient Hessian-based Follow-the-Ridge Algorithm for Minimax Optimization
The University of Hong Kong（香港大学）
可微二人序列游戏的广泛应用（例如，由GANs生成图像）已经引起了研究人员对研究高效和快速算法的兴趣和关注。现有的大多数算法都是基于同时博弈的良好性质开发的，即，凹凸支付函数，但不适用于解决不同设置的序列博弈。一些传统的梯度下降上升算法在理论上和数值上都无法找到同时博弈的局部纳什均衡或局部极小极大（即，局部Stackelberg均衡）的序列博弈。在本文中，我们提出了HessianFR，一个有效的基于Hessian的Follow-the-Ridge算法与理论保证。此外，利用随机算法的收敛性和Hessian逆的逼近性来提高算法的效率。在合成和真实世界的大规模图像数据集（例如MNIST，CIFAR-10和CelebA）上进行了一系列训练生成对抗网络（GANs）的实验。实验结果表明，所提出的HessianFR在收敛性和图像生成质量方面优于基线。
2022-05-23 cs.LG cs.NA math.NA
Worst-case generation via minimax optimization in Wasserstein space
Department of Mathematics, Duke University（杜克大学数学系）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文提出了一种基于Wasserstein空间的minimax优化框架，通过神经网络参数化传输映射，实现高效的最坏情况生成方法。
2025-12-09 cs.LG math.OC stat.ML
