Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
本文分析双时间尺度梯度下降上升算法在有限维和平均场设置下的收敛性，通过次相干性方法和混合同步-反射耦合技术，分别证明了近准静态区域和有限尺度比值下的收敛结果。
2025-10-10 cs.LG cs.NA math.NA
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Randomized Stochastic Gradient Descent Ascent
越来越多的机器学习问题，例如现有算法的鲁棒或对抗性变体，需要最小化本身被定义为最大值的损失函数。在（内部）最大化问题上执行随机梯度上升（SGA）步骤的循环，然后在（外部）最小化问题上执行SGD步骤，称为历元随机梯度\textit{Descent Ascent}（ESGDA）。虽然在实践中取得了成功，但ESGDA的理论分析仍然具有挑战性，对于内环尺寸的选择以及内外步长之间的相互作用没有明确的指导。我们提出了RSGDA（随机SGDA），一个变体的ESGDA随机循环大小与一个简单的理论分析。RSGDA在非凸最小值/强凹最大值设置上使用时具有第一个（SGDA算法中）几乎肯定的收敛速度。RSGDA可以使用最佳循环大小进行参数化，以保证SGDA已知的最佳收敛速度。我们在玩具和更大规模的问题上测试RSGDA，使用分布式鲁棒优化和单细胞数据匹配，使用最佳运输作为测试平台。
2021-11-25 cs.LG math.OC stat.ML
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia（弗吉尼亚大学）；Meta AI；MIT（麻省理工学院）
本文提出联邦随机平滑梯度下降上升法（FESS-GDA），将平滑技术引入联邦极小极大优化，统一解决多类问题并证明新的收敛结果，在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University（耶鲁大学）
单调变分不等式是数学规划中的一个中心问题，它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久，但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式，超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少？我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题，该收敛速度与Golowich等人的下限相匹配。[2020 a，b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差，它可以被看作是一个适应的范数的运营商，考虑到当地的约束。我们使用切线残差（或切线残差的微小变化）作为势函数来分析额外梯度算法（或乐观梯度下降-上升算法），并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Mirror Descent-Ascent for mean-field min-max problems
Center for Advanced Intelligence Project, RIKEN（日本东京RIKEN先进智能项目中心）；School of Mathematical and Computer Sciences, Heriot-Watt University（赫里奥特-瓦特大学数学与计算机科学学院）；Maxwell Institute for Mathematical Sciences, Edinburgh, UK（爱丁堡数学科学研究所）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究了用于解决测度空间上极小-极大问题的镜像下降-上升算法的两种变体，分析了其收敛性，并提出了统一的理论基础。
2026-11-06 cs.LG math.OC math.PR
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）
针对极小极大优化中GDA的振荡不稳定性，提出耗散GDA（DGDA）方法，通过引入耗散项抑制振荡，在双线性和强凸-强凹设置中实现线性收敛，并超越GDA、EG和乐观GDA等基线方法。
2024-03-14 cs.LG math.OC
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Zeroth-Order Alternating Gradient Descent Ascent Algorithms for a Class of Nonconvex-Nonconcave Minimax Problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学纽崔克数学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文针对满足内层 PL 条件的非凸-非凹极小极大问题，提出 ZO-AGDA 和 ZO-VRAGDA 两种零阶算法，并首次给出其迭代复杂度保证。
2023-05-27 cs.LG math.OC stat.ML
Soft ascent-descent as a stable and flexible alternative to flooding
Osaka University（大阪大学）
本文提出SoftAD软上升-下降机制，通过逐点降权边界样本和离群点，在无额外计算开销下保留淹没法效果，实现与flooding和SAM相当的分类准确率，同时显著缩小损失泛化差距和模型范数。
2024-10-22 cs.LG stat.ML
Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization
University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）；Northeastern University（东北大学）
光滑极小极大博弈通常通过同时或交替的梯度更新来进行。虽然交替更新算法在实践中被广泛使用，但为了便于分析，现有的理论分析大多集中在并发算法上。本文研究了极大极小对策中的交替梯度下降-上升（Alt-GDA）算法，并证明了Alt-GDA算法在许多情况下优于其同步算法~（Sim-GDA）。我们证明了Alt-GDA实现了一个接近最优的局部收敛速度强凸-强凹（SCSC）问题，而Sim-GDA收敛速度要慢得多。据我们所知，这是任何设置的\emph{first}结果，表明Alt-GDA比Sim-GDA收敛快一个常数以上。我们进一步适应积分二次约束（IQC）的理论，并表明Alt-GDA达到相同的速度\emph{globally}的一个子类的SCSC极大极小问题。从经验上讲，我们证明了交替更新可以显着加快GAN训练，并且乐观的使用只对同步算法有帮助。
2022-02-13 cs.LG math.OC stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了一个广泛的非凸非凹极大极小博弈，推广了标准的双线性零和对策。在这个类中，玩家控制一个光滑函数的输入，该函数的输出被应用于一个双线性零和对策。这类游戏的动机是生成对抗网络中竞争的间接性质，其中玩家控制神经网络的参数，而实际竞争发生在生成器和神经网络捕获的分布之间。我们从理论上建立，根据问题的具体情况，梯度下降上升动力学可以表现出各种行为对立的收敛到游戏理论上有意义的最小-最大的解决方案。具体来说，不同形式的递归行为（包括周期性和庞加莱递归）是可能的，以及收敛到虚假的（非最小-最大）平衡的初始条件的积极措施。在技术层面上，我们的分析结合了优化理论，对策论和动力系统的工具。
2019-10-28 cs.GT cs.LG math.OC
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal（蒙特利尔大学 Mila 与 DIRO）
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等人，2017年]。已知SGDA收敛到特定类别游戏的稳定点，但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们引入了期望的互补性条件，解释它的好处，并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时，他们使用恒定的步长，我们提出了有见地的步长切换规则，以保证收敛到精确的解决方案。此外，我们的收敛性保证下的任意采样范式，因此，我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
Gradient Descent-Ascent Provably Converges to Strict Local Minmax Equilibria with a Finite Timescale Separation
University of Washington（华盛顿大学）
研究了有限时标分离参数$τ$对两人非凸非凹零和博弈中梯度下降-上升的作用，其中参与人1的学习率用$γ_1$表示，参与人2的学习率定义为$γ_2=τγ_1$ .现有的工作分析的作用，时间尺度分离的梯度下降-上升主要集中在边缘情况下的球员共享的学习率（$τ=1$）和最大化的球员之间的最小化球员（$τ\rightarrow \infty$）的每次更新近似收敛。对于参数选择的$τ=1$，它是已知的，学习动态不能保证收敛到一个游戏理论上有意义的均衡一般。相比之下，Jin等人（2020）表明梯度下降-上升的稳定临界点与严格局部极小极大均衡集一致，如$τ\rightarrow\infty$。在这项工作中，我们弥合了过去的工作之间的差距，通过显示存在一个有限的时标分离参数$τ^{\ast}$，$x^{\ast}$是一个稳定的临界点梯度下降-上升的所有$τ\in (τ^{\ast}, \infty)$当且仅当它是一个严格的本地极大极小均衡。此外，我们提供了一个明确的结构计算$τ^{\ast}$以及相应的收敛速度和结果下确定性和随机梯度反馈。我们提出的收敛性结果是补充的非收敛性结果：给定一个临界点$x^{\ast}$，这不是一个严格的局部极小极大平衡，那么存在一个有限的时标分离$τ_0$，$x^{\ast}$是不稳定的所有$τ\in (τ_0, \infty)$。最后，我们在CIFAR-10和Cele…
2020-09-30 cs.GT cs.LG cs.SY
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods
Innopolis University（Innopolis 大学）；HSE University（俄罗斯国立高等经济大学）；Yandex（Yandex 公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Mila（米拉研究所）；DIRO, Université de Montréal（蒙特利尔大学 DIRO 学院）；AMS and MINDS, Johns Hopkins University（约翰斯·霍普金斯大学 AMS 与 MINDS 研究中心）
随机梯度下降-上升算法（Stochastic Gradient Descent-Ascent，SGDA）是求解最小最大优化和变分不等式（VIP）问题的最重要算法之一。该方法的成功导致了经典SGDA的几个高级扩展，包括任意采样的变量，方差减少，坐标随机化和压缩的分布式变量，这些变量在文献中得到了广泛的研究，特别是在过去几年中。在本文中，我们提出了一个统一的收敛分析，涵盖了各种各样的随机梯度下降上升的方法，到目前为止，需要不同的直觉，有不同的应用程序，并已分别在各个社区开发。我们的统一框架的关键是随机估计的参数假设。通过我们的一般理论框架，我们要么恢复已知的特殊情况下的最尖锐的已知利率或收紧。此外，为了说明我们的方法的灵活性，我们开发了几种新的SGDA变体，如新的方差减少方法（L-SVRGDA），新的分布式压缩方法（QSGDA，DIANA-SGDA，VR-DIANA-SGDA），以及一种新的坐标随机化方法（SEGA-SGDA）。虽然新方法的变体已知用于解决最小化问题，但它们从未被考虑或分析用于解决最小-最大问题和VIP。我们还通过大量的数值实验证明了新方法的最重要的性能。
2023-03-08 cs.LG math.OC
Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks
UCLA（加州大学洛杉矶分校）；UCSD（加州大学圣地亚哥分校）；NYU（纽约大学）
本文在孤立点模型假设下通过线性化非线性动力系统，分析了基于核判别器的GAN训练中梯度下降-上升方法的局部收敛性，揭示了学习率、正则化和核带宽对收敛、振荡或发散相变的影响，并用数值模拟验证了理论结果。
2023-05-29 cs.LG stat.ML
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出了双时间尺度梯度下降上升（TTGDA）算法的统一分析，用于解决非凸-凹极小极大优化问题，高效找到平稳点并建立复杂度理论界限，首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC
Solving Min-Max Optimization with Hidden Structure via Gradient Descent Ascent
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
许多最近的AI架构都受到了零和对策的启发，然而，它们的动态行为仍然没有得到很好的理解。受此启发，我们研究标准梯度下降上升（GDA）动力学在一个特定的类的非凸非凹零和对策，我们称之为隐藏的零和对策。在这个类中，玩家控制平滑但可能非线性函数的输入，其输出被用作凹凸游戏的输入。与一般的零和对策不同，这些博弈有一个定义明确的解的概念;实现“隐藏”凹凸博弈的冯-诺依曼均衡的结果。我们证明，如果隐藏的游戏是严格凸凹然后香草GDA收敛不仅是当地的纳什，但通常的冯诺依曼解决方案。如果博弈缺乏严格的凸性，GDA可能无法收敛到任何均衡，然而，通过应用标准的正则化技术，我们可以证明收敛到一个轻微扰动的零和对策的冯诺依曼解决方案。我们的收敛保证是非局部的，据我们所知，这是第一个非凸非凹游戏的结果。最后，我们讨论了我们的框架与生成对抗网络的联系。
2021-01-13 cs.GT cs.LG math.OC
Variational Principles for Mirror Descent and Mirror Langevin Dynamics
Columbia University（哥伦比亚大学）；University of Illinois（伊利诺伊大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
镜像下降法是由Nemirovski和Yudin在20世纪70年代提出的一种原始-对偶凸优化方法，它可以通过选择强凸势函数来适应当前最优化问题的几何形状。它在各种应用中作为基本的原语出现，包括大规模优化，机器学习和控制。本文提出了一种变分形式的镜像下降及其随机变量，镜像朗之万动力学。受Brezis和Ekeland关于梯度流的变分原理的经典工作的启发，本文的主要思想是证明镜像下降是作为某个最优控制问题的闭环解出现的，而Bellman值函数是由初始条件和目标函数的全局极小值之间的Bregman发散给出的。
2023-03-16 cs.LG math.OC
On Convergence of Gradient Descent Ascent: A Tight Local Analysis
MIT（麻省理工学院）；CUHK（香港中文大学）；MIT-IBM AI Lab（麻省理工学院-IBM人工智能实验室）；IBM Research（IBM研究院）
梯度下降上升（GDA）方法是生成对抗网络（GANs）中最小最大优化的主流算法。GDA的收敛性在最近的文献中引起了极大的兴趣。具体地，对于其中$f$在$\mathbf{y}$中是强凹的并且在$\mathbf{x}$中可能是非凸的$\min_{\mathbf{x}} \max_{\mathbf{y}} f(\mathbf{x};\mathbf{y})$，（Lin等人，2020）证明了具有步长比$η_{\mathbf{y}}/η_{\mathbf{x}}=Θ(κ^2)$的GDA的收敛性，其中$η_{\mathbf{x}}$和$η_{\mathbf{y}}$是$\mathbf{x}$和$\mathbf{y}$的步长，$κ$是$\mathbf{y}$的条件数。虽然这个步长比表明小玩家的训练很慢，但实际的GAN算法通常对两个变量采用类似的步长，这表明理论和经验结果之间存在很大差距。在本文中，我们的目标是弥合这一差距，通过分析一般的\emph{nonconvex-nonconcave}极大极小问题的\emph{local convergence}。我们证明了一个步长比$Θ(κ)$是必要的和充分的局部收敛的GDA的Stackelberg均衡，其中$κ$是局部条件数$\mathbf{y}$。我们证明了一个几乎紧收敛速度与匹配的下限。我们进一步将收敛保证推广到随机GDA和超梯度方法.最后，我们进行了一…
2022-07-03 cs.LG math.OC stat.ML
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization
Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文在平均场机制下分析两层神经网络的函数式极小极大优化，证明随机梯度下降-上升对应的 Wasserstein 梯度流具有次线性全局收敛率并刻画表示变化，且应用于多类估计问题。
2024-10-24 cs.LG math.OC stat.ML
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文首次给出双时间尺度GDA求解非凸-凹极小极大问题的非渐近复杂度分析，证明其能高效找到函数Φ的稳定点，解释了该算法在训练GANs等实际应用中的优越表现。
2024-05-03 cs.LG math.OC stat.ML
Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization
University of Iowa（爱荷华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent AI Lab（腾讯人工智能实验室）
历元梯度下降法（也称为Hazan和Kale（2011）提出的Epoch-GD）被认为是随机强凸最小化的突破，其实现了$O(1/T)$的最优收敛速度，其中对于{ \it目标间隙}具有$T$迭代更新。然而，它的扩展，以解决强凸性和强凸性的随机极大极小问题仍然是开放的，它仍然是不清楚的快速$O(1/T)$的{ \it对偶间隙}是可实现的强凸性和强凸性下的随机极大极小优化。虽然最近的一些研究已经提出了具有快速收敛速度的随机算法来解决最小-最大问题，但它们需要对问题进行额外的假设，例如，光滑，双线性结构等，在本文中，我们提供了一个尖锐的分析逐时随机梯度下降上升方法（简称为时代-GDA）解决强凸强凹（SCSC）最小最大值问题，而不施加任何额外的假设光滑或功能的结构。据我们所知，我们的结果是第一个，显示时代-GDA可以达到最优率的$O(1/T)$的对偶间隙一般SCSC最小-最大问题。我们强调，这种推广的时代-GD强凸最小化问题的时代-GDA的SCSC最小-最大问题是不平凡的，需要新的技术分析。此外，我们注意到，关键引理也可以用于证明弱凸强凹极小极大问题的Epoch-GDA的收敛性，从而在不诉诸光滑性或其他结构条件的情况下获得接近最优的复杂性。
2020-06-17 cs.LG math.OC stat.ML
A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Department of ISE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校工业与系统工程系）
针对非凸-凹极小-极大问题中GDA算法易振荡的问题，提出平滑GDA算法，在两类问题上取得最优迭代复杂度，并扩展至多块情形，在鲁棒训练中验证了效率。
2025-03-20 cs.LG math.OC
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université（索邦大学）
随机梯度下降朗之万动力学（SGLD）算法，它添加噪声到经典的梯度下降，是已知的，以改善神经网络的训练，在某些情况下，神经网络是非常深的。在本文中，我们研究了训练加速的可能性，通过梯度下降的数值分辨率的随机控制问题，其中控制参数化的神经网络。如果在许多离散化时间应用控制，则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明，朗之万算法提高了训练的各种随机控制问题，如对冲和资源管理，并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
本研究证明在非凸-PL 极小极大博弈中，随机梯度下降上升法（SGDA）的复杂度下界与现有上界匹配，且在小时间尺度比例下可能失败，凸显其局限性并支持替代方法。
2026-10-14 cs.GT cs.LG stat.ML
Negative Stepsizes Make Gradient-Descent-Ascent Converge
UPenn（宾夕法尼亚大学）
本文提出负学习率调度策略，通过非传统时间变化、不对称和周期性负学习率实现梯度下降-上升算法在经典反例中的收敛，突破传统观点。
2026-06-28 cs.DS cs.LG math.OC
Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning
Department of Electrical and Computer Engineering（电气与计算机工程系）；Georgia Institute of Technology（佐治亚理工学院）；Department of Mathematics（数学系）；Massachusetts Institute of Technology（麻省理工学院）
针对机器遗忘，提出基于噪声梯度下降的 Langevin 遗忘框架，统一 DP 学习与隐私认证遗忘，支持非凸问题、节省复杂度并实现顺序和批量遗忘。
2025-09-24 cs.LG
Stochastic Approximate Gradient Descent via the Langevin Algorithm
Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）；Department of Statistics, Purdue University（普渡大学统计系）
我们引入了一种新的和有效的算法称为随机近似梯度下降（SAGD），作为替代的随机梯度下降的情况下，无偏随机梯度不能平凡地获得。传统的方法，这样的问题依赖于通用的采样技术，如马尔可夫链蒙特卡罗，这通常需要手动干预调整参数，并没有有效地在实践中工作。相反，SAGD利用Langevin算法来构造随机梯度，这些随机梯度在有限步中有偏，但渐近精确，使我们能够从理论上建立SAGD的收敛保证。在理论分析的启发下，我们也为它的实际实施提供了有用的指导。最后，我们表明，SAGD在流行的统计和机器学习问题，如期望最大化算法和变分自编码器实验表现良好。
2020-02-13 cs.LG stat.CO stat.ML
Riemannian ascent--descent for nonconvex nonconcave minimax landscapes: convergence to basin saddle points and applications to distributionally robust optimization
UC San Diego（加州大学圣地亚哥分校）
针对非凸非凹极小极大景观，提出盆地鞍点概念及黎曼梯度上升多步下降迭代的收敛框架，应用于高斯分布鲁棒优化，获得线性或多项式收敛速率。
2026-09-15 cs.LG math.OC stat.ML
Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients
Sogang University（西江大学）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
利用随机梯度下降（SGD）最小化包含的Kullback-Leibler（KL）发散是具有挑战性的，因为其梯度被定义为后验上的积分。最近，已经提出了多种方法来运行SGD从马尔可夫链获得的有偏梯度估计。本文通过建立它们的混合率和梯度方差，首次给出了这些方法的非渐近收敛性分析。要做到这一点，我们证明，这些方法，我们统称为马尔可夫链得分上升（MCSA）的方法，可以铸造的马尔可夫链梯度下降框架的特殊情况。此外，通过利用这种新的理解，我们开发了一种新的MCSA方案，并行MCSA（pMCSA），实现了更严格的约束的梯度方差。我们证明，这种改进的理论结果转化为优越的经验性能。
2022-10-13 cs.AI cs.LG stat.ML
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系，本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
IBM Research AI, IBM Thomas J. Watson Research Center（IBM研究院AI部，IBM托马斯·J·沃森研究中心）
针对目标与不等式约束均可非凸的光滑泛函约束优化，本文提出仅用一阶信息、只需调节两个步长的单循环原始-对偶 GDPA 算法，并证明其 KKT 点收敛速率，实验优于现有方法。
2024-12-03 cs.AI cs.LG cs.NA
Universal Gradient Descent Ascent Method for Nonconvex-Nonconcave Minimax Optimization
CUHK（香港中文大学）；Stanford University（斯坦福大学）
本文提出双重平滑梯度下降上升方法（DS-GDA），以统一超参数求解具有单侧KŁ性质的非凸-非凹极小极大问题，并在无正则性条件下也能避免极限环，是首个在多个挑战性问题上收敛的一阶算法。
2023-10-30 cs.LG math.OC stat.ML
Provable Compressed Sensing with Generative Priors via Langevin Dynamics
Iowa State University（爱荷华州立大学）；New York University（纽约大学）
深度生成模型已经成为压缩感知、相位恢复和超分辨率等各种逆问题中信号的一类强大先验。在这里，我们假设一个未知信号位于某个预先训练的生成模型的范围内。一种流行的信号恢复方法是通过低维潜在空间中的梯度下降。虽然梯度下降已经取得了很好的经验性能，但其理论行为还没有得到很好的理解。在本文中，我们介绍了使用随机梯度朗之万动力学（SGLD）的压缩感知与生成先验。在生成模型的适当假设下，我们证明了SGLD收敛于真实信号。我们还证明了竞争力的经验性能标准梯度下降。
2021-02-25 cs.LG stat.ML
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；Huaiyin Normal University（淮阴师范学院）；Nanjing Normal University（南京师范大学）；University of Alberta（阿尔伯塔大学）
生成对抗网络（GANs）以学习复杂的底层数据分布的能力而闻名，然而，众所周知，在训练过程中是棘手的，这可能会导致模式坍塌或性能恶化。目前处理GANs问题的方法几乎都是利用一些实用的训练技术来进行正则化，这在另一方面破坏了GAN的收敛性和理论合理性。在本文中，我们提出了稳定GAN训练通过一种新的基于粒子的变分推理-朗之万斯坦变分梯度下降（LSVGD），它不仅继承了原始SVGD的灵活性和效率，但旨在解决其不稳定性问题，通过将额外的干扰到更新动态。我们进一步证明，通过适当地调整噪声方差，LSVGD模拟Langevin过程，其平稳分布正是目标分布。我们还表明，LSVGD动力学有一个隐式正则化，这是能够提高粒子的扩散和多样性。最后，我们提出了一种有效的方法，适用于一般的GAN的训练过程中，无论损失函数采用基于粒子的变分推理。在一个合成数据集和三个流行的基准数据集Cifar-10、Tiny-ImageNet和CelebA上的实验结果验证了LSVGD可以显著提高各种GAN模型的性能和稳定性。
2020-04-22 cs.CV cs.LG stat.ML
Mean-field Langevin System, Optimal Control and Deep Neural Networks
Université Paris-Dauphine, PSL Research University（巴黎文理研究大学巴黎多芬纳大学）
本文研究了正则松弛最优控制问题，特别是当控制变量是大维数时，我们所关心的问题。我们引入了一个平均场Langevin方程组，在较弱的条件下证明了其不变测度是初始问题的最优控制。因此，这个过程系统可以看作是计算最优控制的连续时间数值算法。作为一个应用，这一结果支持了随机梯度下降算法对广泛的一类深度神经网络的可解性。
2019-10-03 cs.LG math.OC math.PR
Variance reduction for Random Coordinate Descent-Langevin Monte Carlo
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Mathematics（数学系）；Madison, WI 53706（威斯康星州麦迪逊市 53706（注：该地址非机构，此处仅按要求提取原文中明确出现的机构相关内容））
对数凹分布函数的抽样问题是贝叶斯统计和机器学习中的一个核心问题。虽然大多数无梯度方法具有缓慢的收敛速度，但提供快速收敛的Langevin蒙特卡罗（LMC）需要计算梯度。在实践中，人们使用有限差分近似作为替代，该方法在高维中是昂贵的。减少每次迭代中的计算成本的自然策略是利用随机梯度近似，诸如随机坐标下降（RCD）或同时扰动随机逼近（SPSA）。我们通过一个反例表明，盲目地应用RCD并不能在最一般的环境中实现目标。由随机性引起的高方差意味着需要更大数量的迭代，并且这平衡了每次迭代中的节省。然后，我们引入了一个新的方差减少的方法，称为随机坐标平均下降（RCAD），并将其与过阻尼和欠阻尼LMC。这两种方法分别称为RCAD-O-LMC和RCAD-U-LMC。该方法仍然处于随机梯度近似框架中，因此每次迭代的计算成本很低。然而，通过采用RCAD，方差减小，因此该方法在与经典过阻尼和欠阻尼LMC相同的迭代次数内收敛。这导致总体上的计算节省。
2020-10-22 cs.LG math.ST stat.ML
Ergodicity of the underdamped mean-field Langevin dynamics
Université Paris-Saclay（巴黎萨克雷大学）；Université Paris-Dauphine, PSL（巴黎多芬大学，PSL大学）；The Chinese University of Hong Kong（香港中文大学）；Vienna University of Technology（维也纳工业大学）
本文研究欠阻尼平均场朗之万方程的遍历性，给出一般收敛与指数收敛速率结果，并将其应用于过参数化优化中哈密顿梯度下降算法及GAN训练。
2023-11-25 cs.LG math.OC math.PR
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University（庆应义塾大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方（KNLMS）算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
Columbia University（哥伦比亚大学）
本文针对对数凹测度下坐标上升变分推断（CAVI）收敛性不明确的问题，借助最优传输中的位移凸性性质，证明了CAVI的收敛性，并分别给出了对数凹密度带Lipschitz梯度及强对数凹情形下的线性与指数收敛速率。
2024-04-12 cs.LG math.OC math.PR
Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Electrical and Computer Engineering Department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
本文研究了通过超参数调优实现学习学习的问题，提出兰格文梯度下降算法，并证明其在平方损失下达到贝叶斯最优解，同时给出了泛化保证和经验验证。
2026-09-11 cs.LG stat.ML
