The Complexity of Nonconvex-Strongly-Concave Minimax Optimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文研究了在一般和平均光滑有限和条件下非凸-强凹（NC-SC）光滑极大极小问题的近似稳定点的求解复杂性。我们分别建立了两种情况下$Ω(\sqrtκΔLε^{-2})$和$Ω(n+\sqrt{nκ}ΔLε^{-2})$的非平凡复杂性下界，其中$κ$是条件数，$L$是平滑常数，$Δ$是初始间隙.我们的结果揭示了这些限制和最著名的上界在文献中的差距。为了缩小这些差距，我们引入了一个通用的加速方案，部署现有的基于梯度的方法来解决一系列精心制作的强凸强凹子问题。在一般情况下，我们提出的算法的复杂性几乎匹配的下界，特别是，它消除了额外的多对数依赖于精度存在于以前的作品。在平均光滑有限和设置，我们提出的算法改进了以前的算法，提供了一个近乎紧密的依赖于条件数。
2021-03-29 cs.LG math.OC stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
The Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管乐观梯度下降算法（OGDA）和超梯度算法（EG）对于凸-凹极大极小问题的收敛性理论已经建立，但是对于这些算法在非凸情形下的理论保证却知之甚少。为了弥补这一差距，本文首次建立了OGDA和EG方法的收敛性下的非凸-强-凹（NC-SC）和非凸-凹（NC-C）设置通过提供一个统一的分析，通过镜头的单调用额外的梯度方法。我们进一步建立了GDA/OGDA/EG收敛的下界，揭示了我们分析的紧密性。我们还进行实验支持我们的理论结果。我们相信，我们的研究结果将促进对OGDA和EG方法解决复杂的非凸极大极小现实问题的理论理解，例如，生成对抗网络（GANs）或强大的神经网络训练。
2022-10-17 cs.LG math.OC stat.ML
Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
本文提出面向非凸-线性与非凸-强凹极小极大问题的洗牌梯度方法，建立最优已知预言机复杂度，并通过实验验证其性能可与 SGD 相当。
2024-10-29 math.OC stat.ML
A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems
Shanghai University（上海大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的许多研究工作已被定向到开发有效的算法来解决极大极小问题的理论收敛保证，由于这些问题的相关性，一些紧急的应用程序。本文提出了求解光滑非凸-（强）凹和（强）凸-非凹极大极小问题的一个统一的单循环交替梯度投影（AGP）算法。AGP采用简单的梯度投影步骤，在每次迭代中交替更新原始变量和对偶变量。证明了它能在$\mathcal{O}\left( \varepsilon ^{-2} \right)$中找到目标函数的一个$\varepsilon$ -平稳点（分别为. $\mathcal{O}\left( \varepsilon ^{-4} \right)$）迭代在非凸-强凹（分别为非凸-凹）设置。此外，其获得目标函数的$\varepsilon$ -稳定点的梯度复杂度由$\mathcal{O}\left( \varepsilon ^{-2} \right)$（分别地，$\mathcal{O}\left( \varepsilon ^{-4} \right)$）在强凸-非凹（分别，凸-非凹）设置。据我们所知，这是第一次，一个简单的和统一的单循环算法，解决非凸-（强）凹和（强）凸-非凹极大极小问题。此外，解决后者（强）凸-非凹极大极小问题的复杂性的结果从来没有得到以前的文献。数值结果表明了AGP算法的有效性。此外，我们提出了一个块交替邻近梯度（BAPG）算法求解更一般的多块非光滑非凸-（强）凹和（…
2023-01-15 cs.LG math.OC
A first-order method for nonconvex-strongly-concave constrained minimax optimization
University of Minnesota（明尼苏达大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出了一种用于非凸-强凹约束极小极大优化问题的一阶方法，通过利用强凹结构实现了更高效的运算复杂度。
2026-01-05 cs.LG cs.NA math.NA
Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems
我们开发了一种新的单循环方差缩减算法来解决一类涉及非凸线性目标函数的随机非凸-凸Minimax问题，该问题在机器学习和鲁棒优化等不同领域有着广泛的应用。这类问题由于其非光滑性、非凸性、非线性和目标函数的不可分离性而具有若干计算挑战。我们的方法依赖于最近的想法，包括平滑和混合偏方差减少技术的新组合。我们的算法和它的变种可以实现$\mathcal{O}(T^{-2/3})$ -收敛速度和最佳已知的预言复杂度在标准的假设下，其中$T$是迭代计数器。与现有的方法相比，它们具有一些计算上的优势，例如简单的实现和较少的参数调整要求。他们也可以与单样本或小批量的衍生估计，并与恒定或递减步长。我们通过两个数值例子，包括一个非光滑和非凸-非强凹极大极小模型，证明了我们的算法优于现有方法的优点。
2020-10-26 math.OC stat.ML
Single-Loop Stochastic Projected Damped Extragradient Methods for Nonconvex--(Strongly) Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环随机投影阻尼外梯度方法及其方差缩减变体，用于求解随机非凸--（强）凹极小极大问题，在博弈和优化平稳性下均达到最佳已知的随机一阶预言复杂度。
2026-10-14 cs.LG math.OC stat.ML
A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Department of ISE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校工业与系统工程系）
针对非凸-凹极小-极大问题中GDA算法易振荡的问题，提出平滑GDA算法，在两类问题上取得最优迭代复杂度，并扩展至多块情形，在鲁棒训练中验证了效率。
2025-03-20 cs.LG math.OC
Lower Bounds for Stochastic First-Order Algorithms with Variance Reduction in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文为非凸-凹极小极大优化中允许方差缩减的随机一阶算法建立了复杂度下界，量化了精度、对偶域半径和噪声的影响，并补充了强凹情形下的下界。
2026-11-03 cs.LG math.OC stat.ML
An Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization
SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）
针对多智能体网络下的随机非凸-强凹极小极大优化问题，提出DREAM算法，在寻找ε-平稳点上取得最优理论复杂度，且数值实验验证其优于现有方法。
2024-05-14 cs.LG math.OC
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Facebook, Inc.（Facebook公司）；Northwestern University（西北大学）
基于非线性光滑函数逼近的时域差分学习方法在现代强化学习中取得了巨大的成功。结果表明，该问题可以转化为随机非凸-强-凹优化问题，而单纯的随机梯度下降-上升算法收敛速度慢，这是一个具有挑战性的问题.现有的方法是基于两个时间尺度或双环随机梯度算法，这也可能需要采样大批量数据。然而，在实践中，单时标单循环随机算法是首选，因为它的简单性，也因为它的步长更容易调整。在本文中，我们提出了两个单时标单循环算法，每一步只需要一个数据点。我们的第一个算法实现动量更新的原始和对偶变量实现了$O(\varepsilon^{-4})$样本的复杂性，这表明在获得一个单时标算法的重要作用的动量。我们的第二个算法改进了第一个应用方差减少的势头，这符合最有名的$O(\varepsilon^{-3})$样本复杂度在现有的作品。此外，我们的方差减少算法不需要一个大批量的检查点。此外，我们的理论结果，这两个算法表示在一个更紧密的形式，同时原始和对偶侧收敛。
2020-08-23 cs.LG math.OC stat.ML
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems
Department of Mathematics, College of Sciences, Shanghai University, Shanghai 200444, P.R.China（数学系，科学学院，上海大学，上海200444，中华人民共和国）；Center for Intelligent Computing, Great Bay Institute for Advanced Study, Dongguan, 523000, People's Republic of China（智能计算中心，大亚湾先进研究院，东莞，523000，中华人民共和国）
针对非凸-强凹极小极大问题，提出GRTR和LMNegCur两种梯度范数正则化二阶算法，证明其迭代复杂度达现有最优水平，且非精确变体在高概率下仍能达到对应精度并降低计算开销。
2025-06-15 cs.LG math.OC stat.ML
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics（上海财经大学）
提出了一种新的坐标下降（CD）方法来最小化由三项组成的非凸函数：（i）连续可微项，（ii）简单凸项，（iii）凹连续项.首先，通过扩展随机CD到非光滑非凸设置，我们开发了一个坐标次梯度方法，通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下，以证明的次线性收敛速度渐近收敛到临界点。其次，我们开发了一个随机置换CD方法，它有两个交替的步骤：线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三，我们扩展加速坐标下降（ACD）的非光滑和非凸优化，开发一种新的随机邻近DC算法，我们解决子问题不精确的ACD。对于每个DC子问题，最多只需要几次ACD迭代就可以保证收敛，并建立了收敛复杂度来确定一些近似的临界点。第四，我们进一步发展了第三种方法来最小化某些病态的非凸函数：具有高Lipschitz常数与负曲率比的弱凸函数。我们表明，在特定的标准下，ACD为基础的随机化方法具有优越的复杂性相比，传统的梯度法。最后，稀疏诱导学习模型的实证研究表明，CD方法优于基于梯度的方法，某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和，其中单个项相对简单，但是复合目标函数只能用迭代算法来优化。本文主要研究F（Kx）+ G（x）形式的最优化问题，其中K是固定的线性变换，F和G是非凸和/或不可微的函数.特别是，如果任何一项是非凸的，现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA（镜像凸/凹）算法，一个原始/对偶优化方法，需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描（CT）成像中出现的最优化问题的启发，该算法可以处理一系列非凸的复合最优化问题，并在整个问题近似凸（即，一项中的任何凸性被另一项中的凸性抵消）时提供收敛的理论保证。实验结果表明，几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Tight Stochastic Condition-Number Dependence in Nonconvex-Strongly-Concave Minimax Optimization
本文证明非凸-强凹极小极大优化中SAPD+的随机复杂度对条件数呈线性依赖，并给出匹配下界，揭示该依赖的必然性。
2026-09-28 cs.LG math.OC
Concave tents: a new tool for constructing concave reformulations of a large class of nonconvex optimization problems
本文提出“凹帐篷”概念，通过锥优化问题的最优值函数为一大类非凸优化问题构造凹近似与凹重构，并提出双重提升策略及原始启发式方法，数值实验表明其作为分支定界算法的上界过程具有优势。
2025-09-17 math.OC
Iterative Minimax Games with Coupled Linear Constraints
Department of Mathematics, Shanghai University, Shanghai 200444, People’s Republic of China（上海大学数学系）；LSEC, ICMSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, Beijing 100190, China（中国科学院数学与系统科学研究院）；Newtouch Center for Mathematics of Shanghai University, Shanghai 200444, People’s Republic of China（上海大学数学中心）
本文提出原始-对偶交替近端梯度算法，解决非凸非光滑且带耦合线性约束的迭代极小极大博弈，给出强凹与凹情形下的首次迭代复杂度界。
2025-06-24 cs.LG math.OC stat.ML
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Alternating proximal-gradient steps for (stochastic) nonconvex-concave minimax problems
本文针对非凸-凹极小极大问题，为随机交替梯度下降上升法证明了新的全局收敛速率，部分填补了该方法在非凸-凹设定下缺乏理论保证的空白。
2023-04-13 math.OC
Optimal Deterministic First-Order Oracle Complexity for Nonconvex-Concave Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；RIKEN AIP（理化学研究所 AI中心）
该研究确定了非凸-凹极小极大优化中确定性一阶算法的下界，并提出了达到最优复杂度的Tracked-FOAM方法。
2026-10-23 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
Smoothing Meets Perturbation: Unified and Tight Analysis for Nonconvex-Concave Minimax Optimization
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Ivey Business School, University of Western Ontario（韦仕敦大学 Ivey 商学院）
本文研究了光滑非凸-凹极小极大优化问题，提出两种加速机制：双扰动和平滑。通过分析游戏平稳性和优化平稳性，证明平滑加速两者收敛，而双扰动仅提升游戏平稳性。提出扰动平滑GDA方法，提升游戏平稳性效率并保持优化平稳性最优率。
2026-04-29 math.OC
Line-search and Adaptive Step Sizes for Nonconvex-strongly-concave Minimax Optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种非凸强凹极小极大优化的新方法，通过改写问题并结合梯度下降-上升算法与自适应步长，实现了高效的全局收敛性和数值性能。
2026-01-15 math.OC
Finding Second-Order Stationary Points in Nonconvex-Strongly-Concave Minimax Optimization
Fudan University（复旦大学）；Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Nanyang Technological University（南洋理工大学）
研究了光滑极大极小优化问题$\min_{\bf x}\max_{\bf y} f({\bf x},{\bf y})$，其中$f$是$\ell$ -光滑的，在${\bf y}$中是强凹的，但在${\bf x}$中可能是非凸的.现有的工作大多集中在寻找函数$f({\bf x},{\bf y})$或其原函数$P({\bf x})\triangleq \max_{\bf y} f({\bf x},{\bf y})$的一阶平稳点上，而很少有人关注二阶平稳点的获得。本文提出了一种新的极小极大优化方法--极小极大立方牛顿法（Minimax Cubic Newton，MCN），该方法通过调用二阶预言机的${\mathcal O}\big(κ^{1.5}\sqrtρ\varepsilon^{-1.5}\big)$次和一阶预言机的$\tilde{\mathcal O}\big(κ^{2}\sqrtρ\varepsilon^{-1.5}\big)$次来找到$P({\bf x})$的$\big(\varepsilon,κ^{1.5}\sqrt{ρ\varepsilon}\,\big)$ -二阶稳定点，其中$κ$是条件数，$ρ$是$f({\bf x},{\bf y})$的Hessian的Lipschitz连续常数.此外，我们提出了一个不精确的变形MCN高维问题，以避免调用昂贵的二阶预言机。相反，我们的方法通…
2022-11-09 cs.LG math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
Concave Quadratic Cuts for Mixed-Integer Quadratic Problems
利用半定规划（SDP）松弛技术可以得到非凸二次约束二次规划（QCQP）最优值的非平凡界。我们探讨凹二次不等式，在整数格${\bf Z}^n$中的任何向量，并表明，将这些不等式添加到一个混合整数非凸QCQP可以提高基于SDP的界上的最优值。该方案是测试使用几个数值问题的最大割问题和整数最小二乘问题的实例。
2016-09-28 math.OC
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出了双时间尺度梯度下降上升（TTGDA）算法的统一分析，用于解决非凸-凹极小极大优化问题，高效找到平稳点并建立复杂度理论界限，首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC
Tight Lower Bounds for Stochastic Nonconvex-Strongly-Concave Minimax Optimization
Nanjing University（南京大学）；the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文针对光滑非凸-强凹极小极大优化，建立了随机一阶预言机复杂度的紧下界，改进了条件数依赖，并首次给出平均光滑性下界，证明基于二次提升构造。
2026-09-29 math.OC
Near-Optimal Complexity of Finite-Sum Nonconvex-Strongly-Concave Minimax Optimization
本研究刻画了有限和非凸-强凹优化的极小极大查询复杂度，提出递归近端下降-上升算法，在均方平均光滑性下达到近最优上界，并证明匹配下界。
2026-10-06 cs.LG math.OC
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Malitsky-Tam forward-reflected-backward splitting method for nonconvex minimization problems
将求解单调算子包含问题的Malitsky-Tam前向反射后向（FRB）分裂方法推广到非凸极小化问题.通过假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz（KL）性质，证明了FRB方法全局收敛于目标函数的一个稳定点，并具有有限长性质.我们的方法的锋利度是保证凭借与广义凹KL属性相关的确切模量。数值实验表明，FRB是竞争力相比，道格拉斯-Rachford方法和Bosnia-Csetnek惯性Tseng的方法。
2021-11-17 math.OC
Matching Multi-Loop Complexities with a Single Loop: Optimal Optimization Stationarity and Best-Known Game Stationarity in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环投影阻尼外梯度算法，在非凸-凹极小极大优化中同时达到优化与博弈平稳性的最佳已知复杂度，并证明预热版本在优化平稳性上最优。
2026-09-17 cs.LG math.OC stat.ML
Shuffling Gradient Descent-Ascent with Variance Reduction for Nonconvex-Strongly Concave Smooth Minimax Problems
针对有限和光滑极小极大问题，提出结合洗牌采样与方差缩减的单环随机GDA算法，在非凸-强凹场景下达到与最优有放回采样及确定性双时间尺度GDA相当的复杂度，实验表现更优。
2024-10-07 cs.GT math.OC
Near-Optimal Algorithms for Minimax Optimization
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文解决了一个长期悬而未决的问题，关于光滑和强凸-强凹极大极小问题的近优一阶算法的设计。当前最先进的一阶算法使用$\tilde{O}(κ_{\mathbf x}+κ_{\mathbf y})$或$\tilde{O}(\min\{κ_{\mathbf x}\sqrt{κ_{\mathbf y}}, \sqrt{κ_{\mathbf x}}κ_{\mathbf y}\})$梯度评估来找到近似纳什均衡，其中$κ_{\mathbf x}$和$κ_{\mathbf y}$是用于强凸性和强凸性假设的条件数。这些结果与现有的最佳下界$\tildeΩ(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$之间仍然存在差距。本文提出了第一个算法与$\tilde{O}(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$梯度复杂度，匹配的下界对数因子。我们的算法设计的基础上，加速邻近点方法和加速求解器的极大极小邻近步骤。它可以很容易地推广到强凸-凹、凸-凹、非凸-强凹和非凸-凹函数的设定。本文还提出了算法，匹配或优于所有现有的方法在这些设置中的梯度复杂性，对数因子。
2021-07-26 cs.LG math.OC stat.ML
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University（复旦大学）
本文研究了约束随机非光滑极小极大优化问题，提出Goldstein saddle stationary点概念，并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题，无需额外假设。
2026-04-23 math.OC
Single-loop Projection-free and Projected Gradient-based Algorithms for Nonconvex-concave Saddle Point Problems with Bilevel Structure
本文提出单循环无投影和投影梯度算法，用于求解具有双层结构的非凸-凹鞍点问题，分别达到ε-稳定解，并在鲁棒多任务回归中优于现有方法。
2025-03-28 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
A Homogeneous Second-Order Descent Ascent Algorithm for Nonconvex-Strongly Concave Minimax Problems
Shanghai University（上海大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出HSDA算法用于非凸-强凹极小极大优化，通过同质特征值子问题计算下降方向，确保在近正半定Hessian区域中具有足够负曲率，从而提升逃逸鞍点的能力，并在大规模应用中通过IHSDA实现高效计算。
2026-02-15 math.OC
SAPD+: An Accelerated Stochastic Method for Nonconvex-Concave Minimax Problems
本文提出加速随机方法SAPD+求解非凸-凹极小极大问题，在强凹与仅凹情形下均取得已知最佳预言机复杂度，并首次为弱凸-强凹设定建立带方差缩减的最佳复杂度上界。
2024-10-13 math.OC
Adaptive Stochastic Gradient Descent Ascent Algorithm for Nonconvex Minimax Problems with Decision-Dependent Distributions
本文研究了具有决策依赖分布的非凸极小极大问题，提出了自适应随机梯度下降上升算法（ASGDA）及其交替版本（AASGDA），动态学习分布映射并优化目标，在多种非凸设置下证明了收敛复杂度，并通过数值实验验证了有效性。
2025-09-14 math.OC
Efficient Single-Loop Stochastic Algorithms for Nonconvex-Concave Minimax Optimization
针对非凸-凹有限和极小极大问题，提出概率方差缩减的PVR-SGDA单循环随机算法，达到O(ε⁻⁴)迭代复杂度，并进一步提出无需全梯度的ZeroSARAH-SGDA算法，降低梯度复杂度，数值实验验证有效性。
2025-10-13 math.OC
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出去中心化随机双正则非凸强凹极小极大问题的方差缩减加速方法VRLM，通过拉格朗日乘子消除共识约束，实现最优样本与通信复杂度，并首次提供收敛保证。
2026-10-05 cs.LG math.OC
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文首次解决在两个变量上均含凸非光滑项的去中心化复合非凸强凹极小极大问题，通过引入乘子吸收对偶一致性约束的新颖重构，实现了更激进的对偶更新与更大的原始步长，获得了更低复杂度并在分布式鲁棒逻辑回归实验中验证了性能。
2023-04-05 cs.LG cs.NA math.NA
Lower Bounds for Nonconvex-Concave Minimax Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Pennsylvania State University（宾夕法尼亚州立大学）
本文为非凸-凹极小极大优化建立一阶预言机复杂度下界，确定性情形为Ω(L²D_YΔ_Φε⁻³)，随机情形为Ω(L³D_Y²Δ_Φε⁻⁶)，并匹配现有上界。
2026-09-15 math.OC
MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
School of Mathematical Sciences, Beihang University, Beijing 100191, China（北京航空航天大学数学学院）；School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China（中山大学计算机科学与工程学院）
提出MoSSP算法，一种基于动量的单环随机惩罚方法，用于解决具有非凸约束和DC正则化的随机优化问题，实现了O(ε^{-4})和O(ε^{-3})的oracle复杂度。
2026-05-28 cs.LG math.OC
Sharp Fresh-Gradient Complexity of Nonconvex-Strongly-Concave Minimax Optimization
Peking University（北京大学）
本文刻画了非凸-强凹极小极大优化的新鲜梯度复杂度，给出匹配上下界，并证明全局随机成本中线性条件数依赖的必要性及统计精炼成本的存在。
2026-10-20 math.OC
Doubly Smoothed Optimistic Gradients: A Universal Approach for Smooth Minimax Problems
本文提出单循环通用算法 DS-OGDA，用同一套参数求解凸-凹到满足单侧 KL 性质的非凸-非凹光滑极小极大问题，并取得最优或已知最佳保证。
2025-06-09 math.OC
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题，提出包络三次正则化牛顿法（ECRN），其复杂度在对数因子内最优，改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
Matching Full-Hessian Oracle Complexity for Nonconvex--Strongly-Concave Minimax Optimization
Peking University（北京大学）
该研究刻画了非凸-强凹极小极大优化的全海森神谕复杂度，建立了匹配的确定性上界与随机下界，明确了复杂度对精度等参数的依赖关系及改进情况。
2026-10-20 math.OC
