A note on the convergence of RED algorithms under minimal hypotheses and open questions
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251（波尔多大学，波尔多理工学院，法国国家科学研究中心，数学研究所）
本文在最简假设下研究了改进RED算法的收敛性，并提出了关于其收敛性的开放问题。
2026-03-02 math.OC
Convergence Analysis of Randomized SGDA under NC-PL Condition for Stochastic Minimax Optimization Problems
本文提出新分析框架，在NC-PL条件下改进RSGDA算法收敛性结果，并引入加速策略，在合成与真实数据上验证效率。
2023-07-26 math.OC
A Nesterov type algorithm with double Tikhonov regularization: fast convergence of the function values and strong convergence to the minimal norm solution
本文研究带双重Tikhonov正则化的Nesterov型算法，证明其强收敛到光滑凸函数最小范数解，且保持$\mathcal{O}(n^{-2})$最优收敛速率，并给出离散速度与梯度估计。
2023-08-09 math.OC
Global convergence of the gradient method for functions definable in o-minimal structures
针对实域o-极小结构中可定义且具局部Lipschitz梯度的函数，研究变步长梯度法的全局收敛性，证明轨迹有界时的收敛性、步长大于正常数时的梯度范数衰减速率，及梯度连续可微等附加条件下步长恒定时的几乎必然局部极小收敛性。
2024-11-29 math.OC
On the Linear Convergence of Extra-Gradient Methods for Nonconvex-Nonconcave Minimax Problems
最近，极大极小优化由于在机器学习、鲁棒优化和强化学习中的现代应用而重新受到关注。这些应用的规模自然导致使用一阶方法。然而，在这些问题中存在的nonconvexities和nonconcavities，防止应用典型的梯度下降上升，这是已知的发散，即使在双线性问题。最近，它被证明是近似点方法（PPM）线性收敛的一族非凸-非凹问题。在本文中，我们研究了阻尼版本的额外梯度法（EGM），避免了潜在的昂贵的邻近计算，只依赖于梯度评估的收敛性。我们证明了EGM对于光滑极小极大最优化问题线性收敛，该问题满足PPM所要求的非凸-非凹条件。
2023-03-05 math.OC
Asymptotic proximal point methods: finding the global minima with linear convergence for a class of multiple minima problems
我们提出并分析了渐近邻近点（APP）方法，以找到一类非凸，非光滑，甚至不连续的多个极小函数的全局极小。该方法是基于非凸近似点的渐近表示，使它可以找到全局极小而不会被困在鞍点，局部极小，甚至不连续。我们的主要结果表明，该方法对这类函数具有全局线性收敛性。此外，该方法是无导数的，并且其每次迭代成本，即，函数求值的数量也是有界的，因此它具有复杂性界$\mathcal{O}(\log\frac{1}ε)$，用于找到一个点，使得该点与全局最小值之间的间隙小于$ε>0$。从$2$到$500$的不同维数的数值实验和比较证明了该方法的优点。
2020-12-22 cs.NA math.NA math.OC
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Linear Convergence of Resolvent Splitting with Minimal Lifting and its Application to a Primal-Dual Algorithm
本文证明最小提升预解分裂算法在有限个极大单调算子求零问题上的线性收敛，并推广至含下确界卷积的凸优化对偶原始算法，数值实验验证于图像去噪。
2024-12-17 math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University（复旦大学）
本文研究了约束随机非光滑极小极大优化问题，提出Goldstein saddle stationary点概念，并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题，无需额外假设。
2026-04-23 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part II: Convergence and Performance Analyses
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院电气与微电子研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Kuwait University（科威特大学）
本研究提出DAMA算法，通过统一加速梯度估计器GRACE，提升去中心化非凸极小极大优化的收敛性和性能。
2025-12-15 math.OC
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
On Distributed Stochastic Gradient Algorithms for Global Optimization
研究了光滑非凸最优化问题全局极小点的网络计算问题。众所周知，分布式梯度下降型算法可以通过添加缓慢衰减的高斯噪声以逃避局部极小值来实现收敛到全局极小值的集合。然而，据以确定会出现趋同的技术假设在实践中可能具有限制性。特别是，在已知的收敛结果中，代理所拥有的局部目标函数需要满足高度限制性的有界梯度相异度条件。本文证明了收敛到全局极小值集，同时放松这一关键假设。
2019-10-23 cs.MA math.OC
Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems
KU Leuven（鲁汶大学）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
对一类非凸非凹极大极小问题提出了一种新的外梯度型算法。众所周知，寻找一般极小极大问题的局部解在计算上是困难的。这一观察最近激发了研究的结构足以收敛的一阶方法在更一般的设置变分不等式时，所谓的弱明蒂变分不等式（MVI）举行。这个问题类捕获非平凡的结构，我们证明了与例子，其中一个大家庭的现有算法证明收敛到极限环。我们的研究结果需要一个更少的限制性参数范围内的弱MVI相比，以前已知的，从而扩展我们的计划的适用性。该算法适用于约束和正则化问题，并涉及一个自适应步长允许潜在的更大的步长。我们的计划也收敛全球甚至在设置的基础运营商表现出极限环。
2023-02-20 cs.LG math.OC
Active manifolds, stratifications, and convergence to local minima in nonsmooth optimization
Cornell University（康奈尔大学）
我们表明，次梯度法收敛时，只适用于通用Lipschitz连续和subdifferentially正则函数，是在O-最小结构中定义的局部极小。在高层次上，我们提出的论点是吸引人的透明：我们解释的非光滑动力学作为一个近似的黎曼梯度法在一定的杰出的子流形，捕捉非光滑活动的功能。在这个过程中，我们开发了新的规则性条件，在非光滑分析平行的分层条件的惠特尼，郭，和Verdier和扩展随机过程技术的Pemantle。
2023-01-09 cs.LG math.OC
Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization
University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）；Northeastern University（东北大学）
光滑极小极大博弈通常通过同时或交替的梯度更新来进行。虽然交替更新算法在实践中被广泛使用，但为了便于分析，现有的理论分析大多集中在并发算法上。本文研究了极大极小对策中的交替梯度下降-上升（Alt-GDA）算法，并证明了Alt-GDA算法在许多情况下优于其同步算法~（Sim-GDA）。我们证明了Alt-GDA实现了一个接近最优的局部收敛速度强凸-强凹（SCSC）问题，而Sim-GDA收敛速度要慢得多。据我们所知，这是任何设置的\emph{first}结果，表明Alt-GDA比Sim-GDA收敛快一个常数以上。我们进一步适应积分二次约束（IQC）的理论，并表明Alt-GDA达到相同的速度\emph{globally}的一个子类的SCSC极大极小问题。从经验上讲，我们证明了交替更新可以显着加快GAN训练，并且乐观的使用只对同步算法有帮助。
2022-02-13 cs.LG math.OC stat.ML
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Dual Acceleration for Minimax Optimization: Linear Convergence Under Relaxed Assumptions
针对双线性耦合极小极大优化问题，本文提出PDPG和iDAPG两种方法，在更弱假设下实现线性收敛，且iDAPG在部分场景中理论性能更优。
2025-05-24 cs.SY eess.SY math.OC
A Bregman forward-backward linesearch algorithm for nonconvex composite optimization: superlinear convergence to nonisolated local minima
针对两个非凸函数之和的最小化问题，提出基于Bregman前后包络的线搜索算法Bella，可在KL条件下全局收敛到平稳点，且在非孤立极小点处也能实现超线性收敛。
2020-05-01 math.OC
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
A proximal-gradient inertial algorithm with Tikhonov regularization: strong convergence to the minimal norm solution
本文研究带两个Tikhonov正则项的近端梯度惯性算法的强收敛性，证明合适参数下序列收敛到$f+g$的最小范数解，得到目标值等的快速收敛，以及另一种参数下势能的$\text{O}(k^{-2})$最优收敛速率。
2024-07-14 cs.NA math.NA math.OC
