Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems
现代极大极小问题，如生成对抗网络和对抗训练，通常是在非凸-非凹设置下，开发一个有效的方法，这样的设置是感兴趣的。最近，在这个方向上研究了两种变体的超梯度（EG）方法。首先，在光滑结构的非凸-非凹条件下，提出了EG的双时间尺度变体EG+，其中$k$表示迭代次数，在平方梯度范数上具有缓慢的$\mathcal{O}(1/k)$速率.其次，EG的另一种变体与锚定技术，命名为额外锚定梯度（EAG），在光滑的凹凸设置下进行了研究，产生一个快速的$\mathcal{O}(1/k^2)$率的平方梯度范数。本文在EG+和EAG的基础上，提出了一种具有锚定的双时标EG，称为快速外梯度（FEG），它对光滑结构的非凸-非凹问题具有快速的$\mathcal{O}(1/k^2)$速度，相应的鞍梯度算子满足负共单调性条件.本文进一步发展了其回溯线搜索版本，命名为FEG-A，在问题参数不可用的情况下。并对FEG进行了随机分析。
2021-11-19 math.OC
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次，我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络（GANs），其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Adaptive Stochastic Gradient Descent Ascent Algorithm for Nonconvex Minimax Problems with Decision-Dependent Distributions
本文研究了具有决策依赖分布的非凸极小极大问题，提出了自适应随机梯度下降上升算法（ASGDA）及其交替版本（AASGDA），动态学习分布映射并优化目标，在多种非凸设置下证明了收敛复杂度，并通过数值实验验证了有效性。
2025-09-14 math.OC
High-probability complexity guarantees for nonconvex minimax problems
本文首次为双变量满足PL条件的非凸/PL极小极大问题提供了高概率复杂度保证，证明平滑交替GDA方法在轻尾随机梯度下能以高概率计算稳定点，并通过合成与真实数据实验验证了理论。
2024-11-14 math.OC
Preconditioned Three-Term Conjugate Gradient Framework for Nonconvex Finite Minimax Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出一种基于双曲主导化的预处理三项共轭梯度框架，用于非凸有限极小极大优化，通过解析对称正定度量同时实现曲率吸收、预处理和线搜索，保证充分下降、全局收敛并收敛到 Clarke 稳定点。
2026-09-15 math.OC
Optimal Deterministic First-Order Oracle Complexity for Nonconvex-Concave Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；RIKEN AIP（理化学研究所 AI中心）
该研究确定了非凸-凹极小极大优化中确定性一阶算法的下界，并提出了达到最优复杂度的Tracked-FOAM方法。
2026-10-23 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part II: Convergence and Performance Analyses
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院电气与微电子研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Kuwait University（科威特大学）
本研究提出DAMA算法，通过统一加速梯度估计器GRACE，提升去中心化非凸极小极大优化的收敛性和性能。
2025-12-15 math.OC
Tight Lower Bounds for Stochastic Nonconvex-Strongly-Concave Minimax Optimization
Nanjing University（南京大学）；the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文针对光滑非凸-强凹极小极大优化，建立了随机一阶预言机复杂度的紧下界，改进了条件数依赖，并首次给出平均光滑性下界，证明基于二次提升构造。
2026-09-29 math.OC
Smoothing Meets Perturbation: Unified and Tight Analysis for Nonconvex-Concave Minimax Optimization
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Ivey Business School, University of Western Ontario（韦仕敦大学 Ivey 商学院）
本文研究了光滑非凸-凹极小极大优化问题，提出两种加速机制：双扰动和平滑。通过分析游戏平稳性和优化平稳性，证明平滑加速两者收敛，而双扰动仅提升游戏平稳性。提出扰动平滑GDA方法，提升游戏平稳性效率并保持优化平稳性最优率。
2026-04-29 math.OC
Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
本文提出面向非凸-线性与非凸-强凹极小极大问题的洗牌梯度方法，建立最优已知预言机复杂度，并通过实验验证其性能可与 SGD 相当。
2024-10-29 math.OC stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Line-search and Adaptive Step Sizes for Nonconvex-strongly-concave Minimax Optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种非凸强凹极小极大优化的新方法，通过改写问题并结合梯度下降-上升算法与自适应步长，实现了高效的全局收敛性和数值性能。
2026-01-15 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part I: Algorithm Development and Results
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院电气与微电子研究所）；Kuwait University（科威特大学）
DAMA是一种用于去中心化非凸极小极大优化的统一加速方法，整合了多种去中心化学习策略和加速梯度技术，实现了更灵活的框架和更优的性能界限。
2025-12-15 math.OC
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University（复旦大学）
本文研究了约束随机非光滑极小极大优化问题，提出Goldstein saddle stationary点概念，并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题，无需额外假设。
2026-04-23 math.OC
Doubly Smoothed Optimistic Gradients: A Universal Approach for Smooth Minimax Problems
本文提出单循环通用算法 DS-OGDA，用同一套参数求解凸-凹到满足单侧 KL 性质的非凸-非凹光滑极小极大问题，并取得最优或已知最佳保证。
2025-06-09 math.OC
A Scenario Approach to the Robustness of Nonconvex-Nonconcave Minimax Problems
KTH Royal Institute of Technology（皇家理工学院）；School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（电气工程和计算机科学学院）；Southeast University（东南大学）；School of Automation, Southeast University（自动化学院）
本文通过场景方法研究非凸-非凹极小极大问题的概率鲁棒性，建立ε- stationary点的概率鲁棒性保证，并在非凸策略集情况下提出更宽松的有效界。
2026-05-13 cs.GT math.OC
Lower Bounds for Nonconvex-PŁ Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）
该研究针对非凸-PŁ极小极大优化，证明确定性一阶方法寻找满足梯度范数不超过ε的平稳点时，预言机查询下界为Ω(ℓΔκ/ε²)，且该下界与已知上界匹配，确定了κ的线性依赖不可避免。
2026-08-28 math.OC
Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对数据分布于多节点且满足PL条件的非凸-非凹极小极大问题，提出分散式动量梯度下降上升DM-GDA，并证明其达到O(ε^-3)近最优梯度复杂度。
2023-04-21 cs.LG math.OC
Alternating proximal-gradient steps for (stochastic) nonconvex-concave minimax problems
本文针对非凸-凹极小极大问题，为随机交替梯度下降上升法证明了新的全局收敛速率，部分填补了该方法在非凸-凹设定下缺乏理论保证的空白。
2023-04-13 math.OC
Obtaining Game-Stationary Points for Smooth Nonconvex-Nonconcave Minimax Problems via First-Order Methods
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Minnesota–Twin Cities（明尼苏达大学双城分校）
针对一般非凸-非凹极小极大问题，提出一种在局部逆Lipschitz正则性条件下仅需一阶迭代即可找到ε-驻点的方法，复杂度为Õ(ε⁻²)，无需全局最优性或PL/KL/Minty型条件，扩展了可处理问题类别。
2026-09-30 math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
A sequential smoothing majorant stochastic approximation method for nonconvex nonconcave minimax problems
提出序贯平滑主化随机逼近（SMSA）方法求解非凸非凹极小极大问题，通过新主化逼近实现$O(\beta_N^2)$精度，并证明稳定点一致性与数值优势。
2026-09-11 math.OC
Two trust region type algorithms for solving nonconvex-strongly concave minimax problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新Touch数学中心）
本文提出 MINIMAX-TR 和 MINIMAX-TRACE 两种信赖域算法求解非凸-强凹极小极大问题，均能在 O(ε^{-1.5}) 次迭代内找到 (ε, √ε)-二阶稳定点，匹配已知最佳迭代复杂度。
2024-02-15 cs.LG math.OC stat.ML
Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems
我们开发了一种新的单循环方差缩减算法来解决一类涉及非凸线性目标函数的随机非凸-凸Minimax问题，该问题在机器学习和鲁棒优化等不同领域有着广泛的应用。这类问题由于其非光滑性、非凸性、非线性和目标函数的不可分离性而具有若干计算挑战。我们的方法依赖于最近的想法，包括平滑和混合偏方差减少技术的新组合。我们的算法和它的变种可以实现$\mathcal{O}(T^{-2/3})$ -收敛速度和最佳已知的预言复杂度在标准的假设下，其中$T$是迭代计数器。与现有的方法相比，它们具有一些计算上的优势，例如简单的实现和较少的参数调整要求。他们也可以与单样本或小批量的衍生估计，并与恒定或递减步长。我们通过两个数值例子，包括一个非光滑和非凸-非强凹极大极小模型，证明了我们的算法优于现有方法的优点。
2020-10-26 math.OC stat.ML
Optimality Conditions for Constrained Minimax Optimization
极大极小优化问题既源于现代机器学习，包括生成对抗网络、对抗训练和多智能体强化学习，也源于传统研究领域，如鞍点问题、数值偏微分方程和等式约束优化的最优性条件。对于无约束连续非凸-非凹情形，Jin，Netrapalli和Jordan（2019）仔细考虑了非常基本的问题：什么是极小极大最优化问题的局部最优解的适当定义，并提出了局部极小极大的局部最优性的适当定义。我们将局部极大极小点的定义推广到约束非凸-非凹极大极小最优化问题。通过分析下层极大化问题的Jacobian唯一性条件和极大化问题的Karush-Kuhn-Tucker条件的强正则性，给出了约束极小极大最优化问题局部极小极大点的最优性条件和充分最优性条件.
2020-04-21 math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Decentralized Riemannian Algorithm for Nonconvex Minimax Problems
University of Pittsburgh（匹兹堡大学）
黎曼流形（可能是非凸约束）上的极大极小优化已被积极应用于解决许多问题，如鲁棒降维和带正交权值的深度神经网络（Stiefel流形）。虽然许多极大极小问题的优化算法都是在欧几里得环境下发展起来的，但是很难将它们转化为黎曼情形，而非凸约束的极大极小问题的算法更是凤毛麟角。另一方面，为了应对大数据挑战，最近出现了分散式（无服务器）训练技术，因为它们可以减少通信开销并避免服务器节点上的瓶颈问题。然而，分散黎曼极大极小问题的算法还没有被研究。本文研究了Stiefel流形上的分布式非凸-强-凹极大极小优化问题，提出了确定性极大极小方法和随机极大极小方法。Steifel流形是一个非凸集。全局函数表示为局部函数的有限和。对于确定性的设置，我们提出DRGDA和证明，我们的确定性方法实现梯度复杂度$O( ε^{-2})$在温和的条件下。对于随机设置，我们提出了DRSGDA，并证明我们的随机方法实现了梯度复杂度$O(ε^{-4})$。DRGDA和DRSGDA是第一个具有精确收敛性的非凸约束分布式极大极小优化算法。在Stiefel流形上进行深度神经网络（DNN）训练的大量实验结果证明了我们算法的有效性。
2023-02-19 cs.DC cs.LG math.OC
A Riemannian Alternating Descent Ascent Algorithmic Framework for Nonconvex-Linear Minimax Problems on Riemannian Manifolds
ICMSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Ministry of Education Key Laboratory of NSLSCS, School of Mathematical Sciences, Nanjing Normal University（南京师范大学数学科学学院）；Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）
本文提出了一种在黎曼流形上求解非凸-线性极小极大问题的高效算法框架，通过交替梯度下降和上升步骤，在O(ε^{-3})次迭代内达到最优复杂度，并在多个应用中验证了其优越性能。
2026-02-11 math.OC
A Minimization Approach for Minimax Optimization with Coupled Constraints
本文针对带耦合约束的非凸-强凹极小极大问题，通过引入对偶变量和部分前向-后向包络将其转化为等价的最小化问题，从而可直接应用高效最小化方法求解。
2024-08-30 math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems
Shanghai University（上海大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的许多研究工作已被定向到开发有效的算法来解决极大极小问题的理论收敛保证，由于这些问题的相关性，一些紧急的应用程序。本文提出了求解光滑非凸-（强）凹和（强）凸-非凹极大极小问题的一个统一的单循环交替梯度投影（AGP）算法。AGP采用简单的梯度投影步骤，在每次迭代中交替更新原始变量和对偶变量。证明了它能在$\mathcal{O}\left( \varepsilon ^{-2} \right)$中找到目标函数的一个$\varepsilon$ -平稳点（分别为. $\mathcal{O}\left( \varepsilon ^{-4} \right)$）迭代在非凸-强凹（分别为非凸-凹）设置。此外，其获得目标函数的$\varepsilon$ -稳定点的梯度复杂度由$\mathcal{O}\left( \varepsilon ^{-2} \right)$（分别地，$\mathcal{O}\left( \varepsilon ^{-4} \right)$）在强凸-非凹（分别，凸-非凹）设置。据我们所知，这是第一次，一个简单的和统一的单循环算法，解决非凸-（强）凹和（强）凸-非凹极大极小问题。此外，解决后者（强）凸-非凹极大极小问题的复杂性的结果从来没有得到以前的文献。数值结果表明了AGP算法的有效性。此外，我们提出了一个块交替邻近梯度（BAPG）算法求解更一般的多块非光滑非凸-（强）凹和（…
2023-01-15 cs.LG math.OC
Calm local optimality for couple-constrained minimax problems
本文将平静局部极小极大点概念推广到内层可行集依赖外层变量的耦合约束非光滑非凸非凹问题，给出一阶、二阶充要条件，并涵盖集合、不等式与等式约束，在更弱假设下统一现有表述。
2025-10-04 math.OC
Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
The Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管乐观梯度下降算法（OGDA）和超梯度算法（EG）对于凸-凹极大极小问题的收敛性理论已经建立，但是对于这些算法在非凸情形下的理论保证却知之甚少。为了弥补这一差距，本文首次建立了OGDA和EG方法的收敛性下的非凸-强-凹（NC-SC）和非凸-凹（NC-C）设置通过提供一个统一的分析，通过镜头的单调用额外的梯度方法。我们进一步建立了GDA/OGDA/EG收敛的下界，揭示了我们分析的紧密性。我们还进行实验支持我们的理论结果。我们相信，我们的研究结果将促进对OGDA和EG方法解决复杂的非凸极大极小现实问题的理论理解，例如，生成对抗网络（GANs）或强大的神经网络训练。
2022-10-17 cs.LG math.OC stat.ML
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
A Homogeneous Second-Order Descent Ascent Algorithm for Nonconvex-Strongly Concave Minimax Problems
Shanghai University（上海大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出HSDA算法用于非凸-强凹极小极大优化，通过同质特征值子问题计算下降方向，确保在近正半定Hessian区域中具有足够负曲率，从而提升逃逸鞍点的能力，并在大规模应用中通过IHSDA实现高效计算。
2026-02-15 math.OC
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
Efficient Single-Loop Stochastic Algorithms for Nonconvex-Concave Minimax Optimization
针对非凸-凹有限和极小极大问题，提出概率方差缩减的PVR-SGDA单循环随机算法，达到O(ε⁻⁴)迭代复杂度，并进一步提出无需全梯度的ZeroSARAH-SGDA算法，降低梯度复杂度，数值实验验证有效性。
2025-10-13 math.OC
AGDA+: Proximal Alternating Gradient Descent Ascent Method with a Nonmonotone Adaptive Step-Size Search for Nonconvex Minimax Problems
针对双正则化非凸-强凹极小极大问题，提出自适应非单调步长的近端交替梯度下降上升法AGDA+，无需全局参数即可达到最优迭代复杂度，且每次回溯迭代平均仅需3次梯度调用。
2025-01-29 math.OC
A variance reduced framework for (non)smooth nonconvex-nonconcave stochastic minimax problems with extended Kurdyka-Lojasiewicz property
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种适用于非凸-非凹随机博弈问题的方差减少框架，结合弱凸性、扩展KL性质和方差减少技术，实现了高效的样本复杂度。
2026-02-23 math.OC
Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution under Random Designs
Princeton University（普林斯顿大学）
研究了凸松弛和非凸优化在两种不同设计（即$~$（一种随机Fourier设计）和Gauss设计）下求解双线性方程组的有效性.尽管这两种范式具有广泛的适用性，但在存在随机噪声的情况下，对这两种范式的理论理解仍然很不充分。本文证明了两点贡献：（1）两阶段非凸算法在对数迭代次数内达到极小极大最优精度。(2)凸松弛还实现了相对于随机噪声的最小最大最优统计精度。这两个结果显着改善后，国家的最先进的理论保证。
2021-07-13 cs.IT cs.LG eess.SP
Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems
KU Leuven（鲁汶大学）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
对一类非凸非凹极大极小问题提出了一种新的外梯度型算法。众所周知，寻找一般极小极大问题的局部解在计算上是困难的。这一观察最近激发了研究的结构足以收敛的一阶方法在更一般的设置变分不等式时，所谓的弱明蒂变分不等式（MVI）举行。这个问题类捕获非平凡的结构，我们证明了与例子，其中一个大家庭的现有算法证明收敛到极限环。我们的研究结果需要一个更少的限制性参数范围内的弱MVI相比，以前已知的，从而扩展我们的计划的适用性。该算法适用于约束和正则化问题，并涉及一个自适应步长允许潜在的更大的步长。我们的计划也收敛全球甚至在设置的基础运营商表现出极限环。
2023-02-20 cs.LG math.OC
A first-order method for nonconvex-strongly-concave constrained minimax optimization
University of Minnesota（明尼苏达大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出了一种用于非凸-强凹约束极小极大优化问题的一阶方法，通过利用强凹结构实现了更高效的运算复杂度。
2026-01-05 cs.LG cs.NA math.NA
An Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization
SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）
针对多智能体网络下的随机非凸-强凹极小极大优化问题，提出DREAM算法，在寻找ε-平稳点上取得最优理论复杂度，且数值实验验证其优于现有方法。
2024-05-14 cs.LG math.OC
What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization?
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
极大极小优化在现代机器学习中有着广泛的应用，例如生成对抗网络（GANs），对抗训练和多智能体强化学习。由于大多数应用都涉及连续的非凸-非凹公式，因此出现了一个非常基本的问题--“局部最优解的正确定义是什么？”“大多数以前的工作回答这个问题使用经典的概念，均衡从同时游戏，其中最小的球员和最大的球员同时行动。相比之下，机器学习中的大多数应用，包括GANs和对抗训练，都对应于顺序游戏，其中玩家首先行动的顺序至关重要（因为由于问题的非凸-非凹性质，minimax通常不等于maximin）。本文的主要贡献是给出了局部最优性的数学定义--局部极小极大，并给出了它的性质和存在性结果。最后，我们建立了一个强连接到一个基本的局部搜索算法-梯度下降上升（GDA）：在温和的条件下，所有稳定的极限点GDA是正是当地的minimax点，直到一些退化点。
2020-08-15 cs.LG math.OC stat.ML
Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新触数学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
针对一般光滑与分块非光滑非凸-凹极小极大问题，提出ZO-AGP和ZO-BAPG两种零阶算法，给出O(ε^-4)迭代复杂度，并通过数据投毒和分布式稀疏PCA验证有效性。
2024-01-25 cs.LG math.OC stat.ML
Lagrangian duality for nonconvex optimization problems with abstract convex functions
研究了非凸最优化问题的拉格朗日对偶。为此，我们利用$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理.给出了零对偶间隙和强对偶的条件。在函数类中，我们的对偶结果可以应用到，是近有界函数，DC函数，弱凸函数和仿凸函数。
2020-11-18 math.OC
The Landscape of the Proximal Point Method for Nonconvex-Nonconcave Minimax Optimization
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；University of Chicago（芝加哥大学）
极大极小优化已经成为机器学习的核心工具，在鲁棒优化、强化学习、GANs等方面都有应用。这些应用通常是非凸-非凹的，但现有的理论无法识别和处理这带来的根本困难。本文研究了经典的邻近点方法（PPM）在非凸-非凹极大极小问题中的应用。我们发现，经典的概括莫罗信封Attouch和韦茨提供了关键的见解。关键是，我们表明，这个信封不仅平滑的目标，但可以凸和凹的基础上存在的最小化和最大化的变量之间的相互作用的水平。由此，我们确定了三个不同的区域的非凸非凹问题。当相互作用足够强时，我们得到全局线性收敛保证。相反，当相互作用是相当弱的，我们得到一个适当的初始化的局部线性收敛保证。在这两个设置之间，我们表明PPM可能发散或收敛到一个极限环。
2021-04-01 cs.LG math.OC stat.ML
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
Completely Parameter-Free Single-Loop Algorithms for Nonconvex-Concave Minimax Problems
Newtouch Center for Mathematics of Shanghai University（上海大学数学新触中心）
本文提出三种完全无参数的单循环算法（PF-AGP-NSC、PF-AGP-NC、PF-AGP-NL），分别求解非凸-强凹、非凸-凹和非凸-线性极小极大问题，无需先验参数，并给出梯度复杂度上界，数值实验验证了效率。
2025-06-21 cs.LG math.OC stat.ML
