Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题，在实际中被广泛采用多步梯度下降上升（MGDA）方法来解决。然而，它的收敛保证是有限的。在本文中，受原始-对偶混合梯度法的启发，我们提出了一种新的半锚定（SA）技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点，其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法，命名为SA-MGDA，是建立在Bregman近点法。我们进一步发展其回溯线搜索版本，其非欧版本的平滑适应功能。数值实验，包括公平的分类训练，提供。
2022-06-09 math.OC
Sensitivity analysis of the maximal value function with applications in nonconvex minimax programs
在本文中，我们进行灵敏度分析的最大值函数，这是最优值函数的参数最大化问题。我们的目的是研究最大值函数的各种次微分。利用一些灵敏度分析技巧，我们详细地得到了最大值函数的Fréchet次微分、极限次微分和水平次微分的上估计.导出的上估计只依赖于所有解的并集，而不依赖于其凸包或解集中的一个解。最后，我们将所得结果应用于非凸极大极小问题的一些新的最优性必要条件最优性条件。在非凹凸条件下，我们的Wolfe对偶方法与一阶方法相比，其必要条件更尖锐，约束规格更弱。
2023-03-02 math.OC
Stochastic Approximation Proximal Subgradient Method for Stochastic Convex-Concave Minimax Optimization
本文针对随机凸-凹极小极大优化提出SAPS方法，并在有界次梯度条件不成立时进一步提出LSAAL方法，证明了两种算法均具有O(N^{-1/2})期望收敛速率及相应的高概率界。
2024-03-29 math.OC
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
First-Order Methods for Solving Convex (Strongly) Concave Minimax Problems with Functional Constraints
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对带函数约束的凸-(强)凹极小极大问题，利用强对偶性将约束融入目标，提出近端增广拉格朗日方法(PALM)，通过非精确加速近端梯度法求解子问题，在凸-强凹情形下达到~O(ε^{-1})的复杂度。
2026-06-18 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和，其中单个项相对简单，但是复合目标函数只能用迭代算法来优化。本文主要研究F（Kx）+ G（x）形式的最优化问题，其中K是固定的线性变换，F和G是非凸和/或不可微的函数.特别是，如果任何一项是非凸的，现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA（镜像凸/凹）算法，一个原始/对偶优化方法，需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描（CT）成像中出现的最优化问题的启发，该算法可以处理一系列非凸的复合最优化问题，并在整个问题近似凸（即，一项中的任何凸性被另一项中的凸性抵消）时提供收敛的理论保证。实验结果表明，几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Concave tents: a new tool for constructing concave reformulations of a large class of nonconvex optimization problems
本文提出“凹帐篷”概念，通过锥优化问题的最优值函数为一大类非凸优化问题构造凹近似与凹重构，并提出双重提升策略及原始启发式方法，数值实验表明其作为分支定界算法的上界过程具有优势。
2025-09-17 math.OC
Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems
现代极大极小问题，如生成对抗网络和对抗训练，通常是在非凸-非凹设置下，开发一个有效的方法，这样的设置是感兴趣的。最近，在这个方向上研究了两种变体的超梯度（EG）方法。首先，在光滑结构的非凸-非凹条件下，提出了EG的双时间尺度变体EG+，其中$k$表示迭代次数，在平方梯度范数上具有缓慢的$\mathcal{O}(1/k)$速率.其次，EG的另一种变体与锚定技术，命名为额外锚定梯度（EAG），在光滑的凹凸设置下进行了研究，产生一个快速的$\mathcal{O}(1/k^2)$率的平方梯度范数。本文在EG+和EAG的基础上，提出了一种具有锚定的双时标EG，称为快速外梯度（FEG），它对光滑结构的非凸-非凹问题具有快速的$\mathcal{O}(1/k^2)$速度，相应的鞍梯度算子满足负共单调性条件.本文进一步发展了其回溯线搜索版本，命名为FEG-A，在问题参数不可用的情况下。并对FEG进行了随机分析。
2021-11-19 math.OC
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次，我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络（GANs），其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中，我们的目标是解决一个凹凸鞍点问题，凹凸耦合函数是光滑的一个变量和非光滑的，并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法，该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成，并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代，我们得到（弱）收敛，收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $，分别。在函数值方面，我们分别得到了$ \mathcal{O}(\frac{1}{K}) $，$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题，多核支持向量机的训练和分类问题，将极大极小组公平。
2021-08-06 math.OC
Adaptive Stochastic Gradient Descent Ascent Algorithm for Nonconvex Minimax Problems with Decision-Dependent Distributions
本文研究了具有决策依赖分布的非凸极小极大问题，提出了自适应随机梯度下降上升算法（ASGDA）及其交替版本（AASGDA），动态学习分布映射并优化目标，在多种非凸设置下证明了收敛复杂度，并通过数值实验验证了有效性。
2025-09-14 math.OC
High-probability complexity guarantees for nonconvex minimax problems
本文首次为双变量满足PL条件的非凸/PL极小极大问题提供了高概率复杂度保证，证明平滑交替GDA方法在轻尾随机梯度下能以高概率计算稳定点，并通过合成与真实数据实验验证了理论。
2024-11-14 math.OC
Preconditioned Three-Term Conjugate Gradient Framework for Nonconvex Finite Minimax Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出一种基于双曲主导化的预处理三项共轭梯度框架，用于非凸有限极小极大优化，通过解析对称正定度量同时实现曲率吸收、预处理和线搜索，保证充分下降、全局收敛并收敛到 Clarke 稳定点。
2026-09-15 math.OC
Optimal Deterministic First-Order Oracle Complexity for Nonconvex-Concave Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；RIKEN AIP（理化学研究所 AI中心）
该研究确定了非凸-凹极小极大优化中确定性一阶算法的下界，并提出了达到最优复杂度的Tracked-FOAM方法。
2026-10-23 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part II: Convergence and Performance Analyses
本研究提出DAMA算法，通过统一加速梯度估计器GRACE，提升去中心化非凸极小极大优化的收敛性和性能。
2025-12-15 math.OC
Tight Lower Bounds for Stochastic Nonconvex-Strongly-Concave Minimax Optimization
Nanjing University（南京大学）；the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文针对光滑非凸-强凹极小极大优化，建立了随机一阶预言机复杂度的紧下界，改进了条件数依赖，并首次给出平均光滑性下界，证明基于二次提升构造。
2026-09-29 math.OC
Smoothing Meets Perturbation: Unified and Tight Analysis for Nonconvex-Concave Minimax Optimization
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Ivey Business School, University of Western Ontario（韦仕敦大学 Ivey 商学院）
本文研究了光滑非凸-凹极小极大优化问题，提出两种加速机制：双扰动和平滑。通过分析游戏平稳性和优化平稳性，证明平滑加速两者收敛，而双扰动仅提升游戏平稳性。提出扰动平滑GDA方法，提升游戏平稳性效率并保持优化平稳性最优率。
2026-04-29 math.OC
Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
本文提出面向非凸-线性与非凸-强凹极小极大问题的洗牌梯度方法，建立最优已知预言机复杂度，并通过实验验证其性能可与 SGD 相当。
2024-10-29 math.OC stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Line-search and Adaptive Step Sizes for Nonconvex-strongly-concave Minimax Optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种非凸强凹极小极大优化的新方法，通过改写问题并结合梯度下降-上升算法与自适应步长，实现了高效的全局收敛性和数值性能。
2026-01-15 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part I: Algorithm Development and Results
DAMA是一种用于去中心化非凸极小极大优化的统一加速方法，整合了多种去中心化学习策略和加速梯度技术，实现了更灵活的框架和更优的性能界限。
2025-12-15 math.OC
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University（复旦大学）
本文研究了约束随机非光滑极小极大优化问题，提出Goldstein saddle stationary点概念，并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题，无需额外假设。
2026-04-23 math.OC
Doubly Smoothed Optimistic Gradients: A Universal Approach for Smooth Minimax Problems
本文提出单循环通用算法 DS-OGDA，用同一套参数求解凸-凹到满足单侧 KL 性质的非凸-非凹光滑极小极大问题，并取得最优或已知最佳保证。
2025-06-09 math.OC
A Scenario Approach to the Robustness of Nonconvex-Nonconcave Minimax Problems
KTH Royal Institute of Technology（皇家理工学院）；School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（电气工程和计算机科学学院）；Southeast University（东南大学）；School of Automation, Southeast University（自动化学院）
本文通过场景方法研究非凸-非凹极小极大问题的概率鲁棒性，建立ε- stationary点的概率鲁棒性保证，并在非凸策略集情况下提出更宽松的有效界。
2026-05-13 cs.GT math.OC
Lower Bounds for Nonconvex-PŁ Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）
该研究针对非凸-PŁ极小极大优化，证明确定性一阶方法寻找满足梯度范数不超过ε的平稳点时，预言机查询下界为Ω(ℓΔκ/ε²)，且该下界与已知上界匹配，确定了κ的线性依赖不可避免。
2026-08-28 math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对数据分布于多节点且满足PL条件的非凸-非凹极小极大问题，提出分散式动量梯度下降上升DM-GDA，并证明其达到O(ε^-3)近最优梯度复杂度。
2023-04-21 cs.LG math.OC
Concave Quadratic Cuts for Mixed-Integer Quadratic Problems
利用半定规划（SDP）松弛技术可以得到非凸二次约束二次规划（QCQP）最优值的非平凡界。我们探讨凹二次不等式，在整数格${\bf Z}^n$中的任何向量，并表明，将这些不等式添加到一个混合整数非凸QCQP可以提高基于SDP的界上的最优值。该方案是测试使用几个数值问题的最大割问题和整数最小二乘问题的实例。
2016-09-28 math.OC
Obtaining Game-Stationary Points for Smooth Nonconvex-Nonconcave Minimax Problems via First-Order Methods
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Minnesota–Twin Cities（明尼苏达大学双城分校）
针对一般非凸-非凹极小极大问题，提出一种在局部逆Lipschitz正则性条件下仅需一阶迭代即可找到ε-驻点的方法，复杂度为Õ(ε⁻²)，无需全局最优性或PL/KL/Minty型条件，扩展了可处理问题类别。
2026-09-30 math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
A sequential smoothing majorant stochastic approximation method for nonconvex nonconcave minimax problems
提出序贯平滑主化随机逼近（SMSA）方法求解非凸非凹极小极大问题，通过新主化逼近实现$O(\beta_N^2)$精度，并证明稳定点一致性与数值优势。
2026-09-11 math.OC
Two trust region type algorithms for solving nonconvex-strongly concave minimax problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新Touch数学中心）
本文提出 MINIMAX-TR 和 MINIMAX-TRACE 两种信赖域算法求解非凸-强凹极小极大问题，均能在 O(ε^{-1.5}) 次迭代内找到 (ε, √ε)-二阶稳定点，匹配已知最佳迭代复杂度。
2024-02-15 cs.LG math.OC stat.ML
Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems
我们开发了一种新的单循环方差缩减算法来解决一类涉及非凸线性目标函数的随机非凸-凸Minimax问题，该问题在机器学习和鲁棒优化等不同领域有着广泛的应用。这类问题由于其非光滑性、非凸性、非线性和目标函数的不可分离性而具有若干计算挑战。我们的方法依赖于最近的想法，包括平滑和混合偏方差减少技术的新组合。我们的算法和它的变种可以实现$\mathcal{O}(T^{-2/3})$ -收敛速度和最佳已知的预言复杂度在标准的假设下，其中$T$是迭代计数器。与现有的方法相比，它们具有一些计算上的优势，例如简单的实现和较少的参数调整要求。他们也可以与单样本或小批量的衍生估计，并与恒定或递减步长。我们通过两个数值例子，包括一个非光滑和非凸-非强凹极大极小模型，证明了我们的算法优于现有方法的优点。
2020-10-26 math.OC stat.ML
Optimality Conditions for Constrained Minimax Optimization
极大极小优化问题既源于现代机器学习，包括生成对抗网络、对抗训练和多智能体强化学习，也源于传统研究领域，如鞍点问题、数值偏微分方程和等式约束优化的最优性条件。对于无约束连续非凸-非凹情形，Jin，Netrapalli和Jordan（2019）仔细考虑了非常基本的问题：什么是极小极大最优化问题的局部最优解的适当定义，并提出了局部极小极大的局部最优性的适当定义。我们将局部极大极小点的定义推广到约束非凸-非凹极大极小最优化问题。通过分析下层极大化问题的Jacobian唯一性条件和极大化问题的Karush-Kuhn-Tucker条件的强正则性，给出了约束极小极大最优化问题局部极小极大点的最优性条件和充分最优性条件.
2020-04-21 math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Decentralized Riemannian Algorithm for Nonconvex Minimax Problems
University of Pittsburgh（匹兹堡大学）
黎曼流形（可能是非凸约束）上的极大极小优化已被积极应用于解决许多问题，如鲁棒降维和带正交权值的深度神经网络（Stiefel流形）。虽然许多极大极小问题的优化算法都是在欧几里得环境下发展起来的，但是很难将它们转化为黎曼情形，而非凸约束的极大极小问题的算法更是凤毛麟角。另一方面，为了应对大数据挑战，最近出现了分散式（无服务器）训练技术，因为它们可以减少通信开销并避免服务器节点上的瓶颈问题。然而，分散黎曼极大极小问题的算法还没有被研究。本文研究了Stiefel流形上的分布式非凸-强-凹极大极小优化问题，提出了确定性极大极小方法和随机极大极小方法。Steifel流形是一个非凸集。全局函数表示为局部函数的有限和。对于确定性的设置，我们提出DRGDA和证明，我们的确定性方法实现梯度复杂度$O( ε^{-2})$在温和的条件下。对于随机设置，我们提出了DRSGDA，并证明我们的随机方法实现了梯度复杂度$O(ε^{-4})$。DRGDA和DRSGDA是第一个具有精确收敛性的非凸约束分布式极大极小优化算法。在Stiefel流形上进行深度神经网络（DNN）训练的大量实验结果证明了我们算法的有效性。
2023-02-19 cs.DC cs.LG math.OC
A Riemannian Alternating Descent Ascent Algorithmic Framework for Nonconvex-Linear Minimax Problems on Riemannian Manifolds
ICMSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Ministry of Education Key Laboratory of NSLSCS, School of Mathematical Sciences, Nanjing Normal University（南京师范大学数学科学学院）；Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）
本文提出了一种在黎曼流形上求解非凸-线性极小极大问题的高效算法框架，通过交替梯度下降和上升步骤，在O(ε^{-3})次迭代内达到最优复杂度，并在多个应用中验证了其优越性能。
2026-02-11 math.OC
A Minimization Approach for Minimax Optimization with Coupled Constraints
本文针对带耦合约束的非凸-强凹极小极大问题，通过引入对偶变量和部分前向-后向包络将其转化为等价的最小化问题，从而可直接应用高效最小化方法求解。
2024-08-30 math.OC
Malitsky-Tam forward-reflected-backward splitting method for nonconvex minimization problems
将求解单调算子包含问题的Malitsky-Tam前向反射后向（FRB）分裂方法推广到非凸极小化问题.通过假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz（KL）性质，证明了FRB方法全局收敛于目标函数的一个稳定点，并具有有限长性质.我们的方法的锋利度是保证凭借与广义凹KL属性相关的确切模量。数值实验表明，FRB是竞争力相比，道格拉斯-Rachford方法和Bosnia-Csetnek惯性Tseng的方法。
2021-11-17 math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems
Shanghai University（上海大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的许多研究工作已被定向到开发有效的算法来解决极大极小问题的理论收敛保证，由于这些问题的相关性，一些紧急的应用程序。本文提出了求解光滑非凸-（强）凹和（强）凸-非凹极大极小问题的一个统一的单循环交替梯度投影（AGP）算法。AGP采用简单的梯度投影步骤，在每次迭代中交替更新原始变量和对偶变量。证明了它能在$\mathcal{O}\left( \varepsilon ^{-2} \right)$中找到目标函数的一个$\varepsilon$ -平稳点（分别为. $\mathcal{O}\left( \varepsilon ^{-4} \right)$）迭代在非凸-强凹（分别为非凸-凹）设置。此外，其获得目标函数的$\varepsilon$ -稳定点的梯度复杂度由$\mathcal{O}\left( \varepsilon ^{-2} \right)$（分别地，$\mathcal{O}\left( \varepsilon ^{-4} \right)$）在强凸-非凹（分别，凸-非凹）设置。据我们所知，这是第一次，一个简单的和统一的单循环算法，解决非凸-（强）凹和（强）凸-非凹极大极小问题。此外，解决后者（强）凸-非凹极大极小问题的复杂性的结果从来没有得到以前的文献。数值结果表明了AGP算法的有效性。此外，我们提出了一个块交替邻近梯度（BAPG）算法求解更一般的多块非光滑非凸-（强）凹和（…
2023-01-15 cs.LG math.OC
Calm local optimality for couple-constrained minimax problems
本文将平静局部极小极大点概念推广到内层可行集依赖外层变量的耦合约束非光滑非凸非凹问题，给出一阶、二阶充要条件，并涵盖集合、不等式与等式约束，在更弱假设下统一现有表述。
2025-10-04 math.OC
Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
The Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管乐观梯度下降算法（OGDA）和超梯度算法（EG）对于凸-凹极大极小问题的收敛性理论已经建立，但是对于这些算法在非凸情形下的理论保证却知之甚少。为了弥补这一差距，本文首次建立了OGDA和EG方法的收敛性下的非凸-强-凹（NC-SC）和非凸-凹（NC-C）设置通过提供一个统一的分析，通过镜头的单调用额外的梯度方法。我们进一步建立了GDA/OGDA/EG收敛的下界，揭示了我们分析的紧密性。我们还进行实验支持我们的理论结果。我们相信，我们的研究结果将促进对OGDA和EG方法解决复杂的非凸极大极小现实问题的理论理解，例如，生成对抗网络（GANs）或强大的神经网络训练。
2022-10-17 cs.LG math.OC stat.ML
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
Near Optimal Stochastic Algorithms for Finite-Sum Unbalanced Convex-Concave Minimax Optimization
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文考虑了求解$\min_{\bf x}\max_{\bf y}f(\bf x, \bf y)$型凸-凹极大极小问题的随机一阶算法，其中$\min_{\bf x}\max_{\bf y}f(\bf x, \bf y)$可以由$n$各个分量的平均值表示，这些分量是$L$ -平均光滑的.对于$μ_x$ -强凸- $μ_y$ -强凹的情形，提出了一种新的方法，该方法可以在$\tilde{\mathcal O} \big(\sqrt{n(\sqrt{n}+κ_x)(\sqrt{n}+κ_y)}\log(1/\varepsilon)\big)$随机一阶复杂度下找到问题的一个$\varepsilon$ -鞍点，其中$κ_x\triangleq L/μ_x$和$κ_y\triangleq L/μ_y$ .该上限同时相对于$\varepsilon$、$n$、$κ_x$和$κ_y$接近最优。此外，该算法易于实现，在实际应用中效果良好.我们的方法可以扩展到解决更一般的不平衡凸凹极大极小问题，相应的上复杂性界也接近最优。
2022-01-30 cs.LG math.OC
Projection-Free Algorithms for Minimax Problems
Cornell University（康奈尔大学）；The University of Sydney（悉尼大学）
本文提出统一的对偶动态平滑框架，设计高效单循环算法，解决约束光滑鞍点问题，适用于非凸-非凹和非凸强凹情形，并提供无时间限制的收敛保证。
2026-04-01 math.OC
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
A Homogeneous Second-Order Descent Ascent Algorithm for Nonconvex-Strongly Concave Minimax Problems
Shanghai University（上海大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出HSDA算法用于非凸-强凹极小极大优化，通过同质特征值子问题计算下降方向，确保在近正半定Hessian区域中具有足够负曲率，从而提升逃逸鞍点的能力，并在大规模应用中通过IHSDA实现高效计算。
2026-02-15 math.OC
Efficient Parameter-Free First-Order Methods for Nonsmooth Composite Minimax Optimization
Hong Kong University of Science and Technology（香港科技大学）
本文提出非光滑复合极小极大优化的一阶方法，含强凸-强凹与无参数变体，以$O(\epsilon^{-5/2})$复杂度找到$\epsilon$-稳定点，优于现有界。
2026-09-23 math.OC
Minimax theorems for convex functions
本文给出了广义$Φ$ -凸函数的极大极小相等的充分必要条件。作为应用，我们建立了凹凸函数极大极小相等的充分条件和必要条件。
2017-01-10 math.OC
Solutions of Two-stage Stochastic Minimax Problems
本文研究一类两阶段随机极小极大问题，通过建立第二阶段函数性质、应用样本平均近似（SAA）证明KKT点收敛性，并提出非精确并行近端梯度下降上升算法进行有效求解。
2025-11-05 math.OC
