The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization
College of Computer Science and Technology（计算机科学与技术学院）；College of Computer and Data Science（计算机与数据科学学院）；College of Information Engineering（信息工程学院）；School of Science（科学学院）；Shandong Provincial Key Laboratory of Network Based Intelligent Computing（网络基于智能计算的山东省重点实验室）
本文从几何角度解释了变量消除算法如何通过重塑临界点结构将原始公式中的鞍点转化为简化景观中的局部极大值，从而有效解决非凸优化中的鞍点障碍，并在深度网络训练中显著提升稳定性与收敛效果。
2025-11-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Efficiently Escaping Saddle Points in Bilevel Optimization
University of California, Davis（加州大学戴维斯分校）；University at Buffalo（纽约州立大学布法罗分校）；Rice University（莱斯大学）
本文提出扰动AID和iNEON算法，以高效逃离双层优化中的鞍点并找到局部最小值，同时首次给出扰动GDmax的非渐近分析。
2023-05-10 cs.LG
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems
Department of Electrical and Computer Engineering, University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）
研究了求解凸-凹无约束Min-Max问题鞍点的乐观梯度下降-上升（OGDA）方法和额外梯度（EG）方法的迭代复杂性。要做到这一点，我们首先表明，OGDA和EG可以被解释为近似的变种的近点法。这类似于[Nemirovski，2004]中所采取的方法，该方法将EG分析为“概念镜像”的近似。在本文中，我们强调如何梯度使用OGDA和EG试图近似的近点法的梯度。然后，我们利用这种解释表明，这两种算法产生的迭代，保持在一个有界集。我们进一步表明，这两种算法产生的平均迭代的原始对偶间隙收敛率为$\mathcal{O}(1/k)$。我们的理论分析是有趣的，因为它提供了第一个收敛速度估计OGDA在一般的凹凸设置。此外，它提供了一个简单的收敛性分析EG算法的函数值，而不使用紧性假设。
2020-09-29 cs.LG math.OC stat.ML
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Escaping Saddle Points in Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文研究了凸集约束下光滑非凸优化问题$\mathcal{C}$的鞍点逃逸问题。我们提出了一个通用的框架，产生收敛到二阶稳定点的问题，如果凸集$\mathcal{C}$是简单的二次目标函数。具体来说，我们的结果保持，如果可以找到一个$ρ$ -近似解的二次规划受$\mathcal{C}$在多项式时间，其中$ρ<1$是一个正常数，取决于结构的集合$\mathcal{C}$。在此条件下，我们表明，所提出的框架产生的迭代序列达到$(ε,γ)$ -二阶稳定点（SOSP）在最多$\mathcal{O}(\max\{ε^{-2},ρ^{-3}γ^{-3}\})$迭代。当凸集$\mathcal{C}$可以写成一组二次约束且目标函数Hessian在凸集$\mathcal{C}$上具有特定结构时，我们进一步刻画了达到SOSP的整体复杂性.最后，我们将我们的结果扩展到随机设置和随机梯度和Hessian评估的数量，以达到一个$(ε,γ)$ -SOSP。
2018-10-09 cs.LG math.OC stat.ML
Federated Composite Saddle Point Optimization
Purdue University（普渡大学）
针对联邦学习中鞍点问题现有方法难以处理约束与非光滑正则化的不足，提出首个涵盖鞍点优化与复合目标的联邦对偶外推算法FeDualEx，验证其有效性并给出串行版随机复合鞍点场景的全新收敛速率。
2023-05-25 cs.LG math.OC stat.ML
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Boston University（波士顿大学）
提出GenFlow算法及其动量变体，基于固定时间稳定性理论设计加速优化框架，在固定时间内收敛至满足PL不等式的最优解，并一致有界地快速逃离非退化鞍点，解决极小极大问题。
2023-10-22 cs.AI cs.LG cs.SY
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
Efficiently avoiding saddle points with zero order methods: No gradients required
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们考虑非凸优化的无导数算法的情况，也称为零级算法，其仅使用函数求值而不是梯度。对于各种各样的梯度逼近器的基础上有限差分，我们建立渐近收敛二阶稳定点使用一个精心定制的应用程序的稳定流形定理。在效率方面，我们引入了一种噪声零阶方法，该方法收敛到二阶稳定点，即避免了鞍点。我们的算法只使用$\tilde{\mathcal{O}}(1 / ε^2)$近似梯度计算，因此，它匹配的收敛速度保证其精确的梯度对应常数。与以前的工作相比，我们的收敛速度分析避免了施加额外的尺寸依赖于非凸零级优化所需的迭代次数减慢。
2019-10-29 cs.LG math.OC stat.ML
Optimality and Stability in Non-Convex Smooth Games
School of Computer Science（计算机科学学院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
收敛到鞍点的凹凸函数已经研究了几十年，而近年来已经看到了激增的兴趣，非凸（零和）光滑游戏，其最近的广泛应用的动机。如何定义局部最优点以及哪种算法能够收敛到局部最优点仍然是一个有趣的研究挑战。一个有趣的概念被称为局部极小极大点，它与广为人知的梯度下降上升算法密切相关。本文的目的是提供一个全面的分析局部极小极大点，如它们与其他解决方案的概念和最优性条件的关系。我们发现，局部鞍点可以被视为一种特殊类型的局部极大极小点，称为一致局部极大极小点，在温和的连续性假设。在（非凸）二次博弈中，我们证明了局部极大极小点（在某种意义上）等价于全局极大极小点。最后，我们研究了梯度算法在局部极小极大点附近的稳定性。虽然梯度算法在非退化情况下可以收敛到局部/全局极小极大点，但在一般情况下它们往往会失败。这意味着在非凸光滑博弈中，需要新的算法或超越鞍点和极大极小点的概念。
2022-02-03 cs.LG math.OC stat.ML
Inertial Newton Algorithms Avoiding Strict Saddle Points
CNRS（法国国家科学研究中心）；IRIT（信息科学与技术研究院）；Université de Toulouse（图卢兹大学）
本文研究了非凸环境下混合牛顿法与惯性梯度下降的二阶算法的渐近行为，证明其几乎总能逃离严格鞍点，并揭示了超参数在临界点附近定性行为中的作用，理论结果得到了数值实例支持。
2024-02-12 cs.LG math.OC
Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points
UC Berkeley（加州大学伯克利分校）；Meta AI
研究了过参数化在求解非凸优化问题中的作用。重点是一类重要的低秩矩阵传感，我们提出了一个无限层次的非凸问题，通过提升技术和Burer-Monteiro分解。这与现有的过参数化技术形成对比，在现有的过参数化技术中，搜索秩受到矩阵的维度的限制，并且它不允许任意程度的丰富的过参数化。我们表明，虽然虚假的解决方案的问题仍然通过层次的固定点，他们将被转化为严格的鞍点（在某些技术条件下），并可以逃脱通过本地搜索法。这是文献中的第一个结果，表明过参数化创建一个负曲率逃避虚假的解决方案。我们还推导出一个界限上有多少过参数化requited，使消除虚假的解决方案。
2023-02-15 cs.LG math.OC
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Never Saddle for Reparameterized Steepest Descent as Mirror Flow
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文通过引入最速镜像流理论，揭示了最速下降法在微调中优于SGD的原因，主要在于其促进鞍点逃逸和特征学习的双重机制。
2026-03-02 cs.LG
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization
University of Washington（华盛顿大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；UC Berkeley（加州大学伯克利分校）
考虑光滑凹凸双线性耦合鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}~F(\mathbf{x}) + H(\mathbf{x},\mathbf{y}) - G(\mathbf{y})$，其中可以得到$F$，$G$以及双线性耦合函数$H$的随机一阶预言.基于变分不等式的标准随机外梯度分析，我们提出了一个随机\emph{accelerated gradient-extragradient (AG-EG)}下降上升算法，结合外梯度和Nesterov的加速一般随机设置。该算法利用预定的重新启动，承认细粒度的非渐近收敛速度，匹配已知的下限由\citet{ibrahim2020linear}和\citet{zhang2021lower}在其相应的设置，加上一个额外的统计误差项有界随机噪声是最佳的常数前因子。这是第一个结果，实现了这样一个相对成熟的鞍点优化的最优性的表征。
2022-08-12 cs.CC cs.GT cs.LG
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations
University of California, Berkeley（加州大学伯克利分校）
本文采用流体动力学中的高分辨率微分方程（HRDEs）为多种鞍点优化方法建模，证明该模型能区分不同方法的收敛特征，并证明OGDA在一般单调变分不等式下具有末次迭代收敛性。
2023-07-31 cs.LG math.OC stat.ML
Review Non-convex Optimization Method for Machine Learning
本文综述了机器学习中非凸优化的关键方法与应用，重点分析其通过稀疏正则化、逃离鞍点、随机梯度下降及模型剪枝压缩等手段降低计算成本并提升模型性能的路径，同时展望了可扩展性与泛化性等未来研究方向。
2024-10-02 cs.AI cs.LG
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
Quasi-Newton Methods for Saddle Point Problems and Beyond
University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）
研究求解强凸-强凹鞍点问题的拟牛顿法。我们提出了贪婪和随机Broyden族更新的SPP，它具有显式的局部超线性收敛速率${\mathcal O}\big(\big(1-\frac{1}{nκ^2}\big)^{k(k-1)/2}\big)$，其中$n$是问题的维数，$κ$是条件数，$k$是迭代次数。该算法的设计和分析基于对不定Hessian矩阵平方的估计，这与经典的凸优化拟牛顿法不同。我们还提出了两个具体的Broyden家族算法与BFGS型和SR 1型更新，享受更快的局部收敛速度的$\mathcal O\big(\big(1-\frac{1}{n}\big)^{k(k-1)/2}\big)$。此外，我们将算法推广到求解一般的非线性方程组，并证明了它具有相似的收敛速度。
2022-04-10 cs.LG math.OC
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
School of Bioengineering, Qilu University of Technology (Shandong Academy of Sciences)（青岛科技大学生物工程学院）；Shandong Provincial Key Laboratory of Biophysics, Institute of Biophysics, Dezhou University（山东省生物物理重点实验室，生物物理研究所，德州市大学）；Shandong Provincial Hospital, Shandong First Medical University（山东省人民医院，山东第一医科大学）
本文借鉴分子动力学中的Dimer曲率探测思想，提出仅用梯度近似Hessian最小特征方向并正交投影梯度的DEO框架，以帮助神经网络训练逃离鞍点和平坦区域。
2025-07-26 cs.AI cs.LG stat.ML
Gradient Descent Can Take Exponential Time to Escape Saddle Points
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Southern California（南加利福尼亚大学）
尽管梯度下降（GD）几乎总是渐近地逃离鞍点[Lee等人，2016]，这篇论文表明，即使有相当自然的随机初始化方案和非病态函数，GD也可以通过鞍点显着减慢，需要指数时间才能逃脱。另一方面，具有扰动的梯度下降[Ge等人，2015，Jin等人，2017]不会因为鞍点而变慢--它可以在多项式时间内找到一个近似的局部最小值。这一结果意味着GD本质上比扰动GD慢，并且证明了添加扰动对于有效的非凸优化的重要性。虽然我们的重点是理论，我们也提出了实验，说明我们的理论研究结果。
2017-11-05 cs.LG math.OC stat.ML
Proximal methods avoid active strict saddles of weakly convex functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
我们引入了非光滑函数的一个几何透明严格鞍性质。这个性质保证了弱凸问题的简单近似算法在随机初始化时只收敛到局部极小。我们认为，严格鞍性质可能是一个现实的假设，在应用中，因为它可证明为一般的半代数最优化问题成立。
2021-02-16 cs.LG math.OC stat.ML
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$，其中$f$是光滑凸的，$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时，即使$f$不是强凸的，vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作，要么要求$f$和$g$是二次函数，或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术，在每次迭代中使用“鬼”更新作为参考，并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧，我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度（SVRG）方法。
2019-02-03 cs.LG math.OC stat.ML
Perturbed Proximal Descent to Escape Saddle Points for Non-convex and Non-smooth Objective Functions
研究了非凸非光滑优化问题中的局部极小点问题。在严格鞍点的假设下，一阶方法得到了正结果。我们提出了第一个已知的结果的非光滑的情况下，这需要不同的分析和不同的算法。
2019-01-24 cs.LG math.OC stat.ML
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis（加州大学戴维斯分校电气与计算机工程系）；Simon Business School, University of Rochester（罗切斯特大学西蒙商学院）
本文提出扰动近端算法，用于逃离非光滑弱凸函数的严格鞍点，并证明在标准假设下可在O(ε^{-2}log(d)^4)次迭代内找到ε-近似局部最小值。
2025-07-19 cs.LG math.OC
Conic Blackwell Algorithm: Parameter-Free Convex-Concave Saddle-Point Solving
HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）
我们开发了新的无参数和无标度的算法来解决凹凸鞍点问题。我们的结果是基于一个新的简单的遗憾最小化，圆锥Blackwell算法$^+$（CBA $^+$），它达到$O(1/\sqrt{T})$平均遗憾。直观地说，我们的方法推广到其他决策集的利益的想法，从反事实遗憾最小化（CFR $^+$）算法，这有很强的实际性能，解决序列游戏的单纯形。我们将展示如何实现CBA $^+$的单纯形，$\ell_{p}$规范球，椭圆形的置信区域的单纯形，我们提出了解决矩阵游戏和分布鲁棒优化问题的数值实验。我们的实证结果表明，CBA $^+$是一个简单的算法，优于国家的最先进的方法对合成数据和真实数据实例，而不需要任何选择的步长或其他算法参数。
2021-10-14 cs.GT cs.LG
Distributed saddle point problems for strongly concave-convex functions
Tufts University（塔夫茨大学）
在本文中，我们提出了GT-GDA，分布式最优化方法来解决鞍点问题的形式：$\min_{\mathbf{x}} \max_{\mathbf{y}} \{F(\mathbf{x},\mathbf{y}) :=G(\mathbf{x}) + \langle \mathbf{y}, \overline{P} \mathbf{x} \rangle - H(\mathbf{y})\}$，其中的功能$G(\cdot)$，$H(\cdot)$，和耦合矩阵$\overline{P}$分布在一个强连接的网络节点。GT-GDA是一种一阶方法，它使用梯度跟踪来消除节点之间的异构数据分布所造成的不相似性。在最一般的形式中，GT-GDA包括在局部耦合矩阵上的共识，以实现最佳（唯一）鞍点，然而，以增加通信为代价。为了避免这种情况，我们提出了一个更有效的变种GT-GDA-Lite，不会引起额外的通信，并分析其在各种情况下的收敛。证明了当$G(\cdot)$光滑且凸，$H(\cdot)$光滑且强凸，全局耦合矩阵$\overline{P}$具有满列秩秩时，GT-GDA线性收敛于唯一的鞍点解.我们进一步描述的制度下，GT-GDA表现出网络拓扑无关的收敛行为。接下来，我们展示了GT-GDA线性收敛到唯一鞍点周围的误差，当耦合成本${\langle \mathbf y, \overline{P} \mathbf x \ra…
2022-07-01 cs.LG cs.MA math.OC
Local Saddle Point Optimization: A Curvature Exploitation Approach
ETH Zurich（苏黎世联邦理工学院）
基于遗传算法的优化方法是寻找经典极小化和鞍点问题局部最优解的最流行的选择。在这里，我们强调了一个系统性的问题，梯度动力学出现鞍点问题，即存在不需要的稳定的稳定点，没有局部最优。我们提出了一种新的优化方法，利用曲率信息，以逃避这些不需要的固定点。我们证明了不同的优化方法，包括梯度法和Adagrad，配备曲率开发可以逃避非最优的稳定点。我们还提供了经验结果，共同的鞍点问题，证实了使用曲率开发的优势。
2019-02-14 cs.LG math.OC stat.ML
On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms
Yandex Research（Yandex研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对光滑凸-凹双线性耦合鞍点问题中非强凸函数情形，首次建立了统一的复杂度下界，并提出实现复杂度分离的最优线性收敛算法，同时达到最优梯度评估与矩阵-向量乘法复杂度。
2024-11-21 cs.LG math.OC
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems
Huawei（华为）；Technion, IIT（以色列理工学院）
针对大规模鞍点问题，提出了一种新的序列子空间最优化方法。它迭代地解决了一系列的辅助鞍点问题的低维子空间，跨越的方向来自一阶信息的原始\emph{and}对偶变量。近端正则化被进一步部署以稳定优化过程。实验结果表明，相对于流行的一阶方法显着更好的收敛性。我们分析了子空间对算法收敛性的影响，并评估了其在各种确定性优化场景中的性能，如双线性游戏，基于ADMM的约束优化和生成对抗网络。
2020-08-20 cs.LG math.OC stat.ML
Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
Ivannikov Institute for System Programming of the RAS（俄罗斯科学院伊万尼科夫系统编程研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Artificial Intelligence Research Institute（人工智能研究所）；Institute for Information Transmission Problems of the RAS（俄罗斯科学院信息传输问题研究所）
本文研究分布式随机鞍点问题，提出下界与近最优算法，并设计新联邦算法Extra Step Local SGD，通过分布式训练GAN验证其有效性。
2025-04-25 cs.DC cs.LG math.OC
A Decentralized Proximal Point-type Method for Saddle Point Problems
Zhejiang University（浙江大学）；UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了一类约束非凸非凹鞍点问题的网络节点分散求解问题。具体来说，我们假设每个节点都可以访问一个全局目标函数的被加数，并且节点只允许与它们的邻居节点交换信息。我们提出了一个分散的变种的近点法来解决这个问题。当目标函数为$ρ$ -弱凸-弱凹时，迭代收敛到近似平稳，收敛速度为$\mathcal{O}(1/\sqrt{T})$，近似误差线性依赖于$\sqrtρ$ .我们进一步表明，当目标函数满足明蒂VI条件（推广的凹凸情况下），我们得到收敛到平稳率为$\mathcal{O}(1/\sqrt{T})$。据我们所知，我们提出的方法是第一个分散的算法与理论保证解决非凸非凹分散鞍点问题。我们以分散的方式训练一般对抗网络（GAN）的数值结果与我们的理论保证相匹配。
2019-10-31 cs.LG math.OC stat.ML
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University（康奈尔大学）
最近的工作表明，随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化，通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是，各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是，典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Faster saddle-point optimization for solving large-scale Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑平均报酬马尔可夫决策过程中计算最优策略的问题。这个经典问题可以被公式化为直接服从鞍点最优化方法的线性规划，尽管具有在状态数上是线性的多个变量。为了解决这个问题，最近的工作已经考虑了一个线性松弛的版本所产生的鞍点问题。我们的工作旨在实现更好地理解这个放松的最优化问题的特征收敛到最优策略的必要条件，并设计一个优化算法享受快速的收敛速度，是独立的状态空间的大小。值得注意的是，我们的表征指出了以前工作的一些潜在问题。
2020-01-10 cs.LG math.OC stat.ML
Quantization Avoids Saddle Points in Distributed Optimization
Clemson University（克莱姆森大学）
该研究提出一种随机量化方案，利用量化过程使分布式非凸优化逃离鞍点并收敛至二阶稳定点，同时通过可调量化粒度降低通信开销，实验验证其有效性。
2024-03-15 cs.LG math.OC
Stochastic Variance Reduction Methods for Saddle-Point Problems
INRIA - Ecole Normale Supérieure, Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）
我们考虑凹凸鞍点问题的目标函数可能会被分裂成许多组件，并扩展最近的随机方差减少方法（如SVRG或SAGA）提供第一个大规模的线性收敛算法，这是常见的机器学习这类问题。虽然算法扩展很简单，但它带来了挑战和机遇：（a）凸最小化分析不适用，我们使用单调算子的概念来证明收敛性，特别表明相同的算法适用于更大类的问题，例如变分不等式，（b）有两个分裂的概念，根据函数，或根据偏导数，（c）分割确实需要用凸-凹项来完成，（d）非均匀采样在理论和实践上都是有效算法的关键，以及（e）这些增量算法可以使用“催化剂”框架的简单扩展来容易地加速，从而产生总是优于加速的批处理算法的算法。
2016-11-03 cs.LG math.OC
Generalized Optimistic Methods for Convex-Concave Saddle Point Problems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文基于近端点近似视角提出广义乐观方法，处理复合约束鞍点问题，采用Bregman距离与回溯线搜索，实现一阶至高阶方法的最优复杂度并易于实现。
2024-01-10 cs.LG math.OC stat.ML
Efficient Uncoupled Learning Dynamics with $\tilde{O}\!\left(T^{-1/4}\right)$ Last-Iterate Convergence in Bilinear Saddle-Point Problems over Convex Sets under Bandit Feedback
University of Washington（华盛顿大学）；University of California, Irvine（加州大学尔湾分校）
本文提出了一种高效的解耦学习算法，在双线性鞍点问题中实现$\tilde{O}(T^{-1/4})$的最后迭代收敛性，通过结合实验设计和FTRL框架，利用定制正则化函数以高概率收敛到纳什均衡。
2026-08-12 cs.GT cs.LG stat.ML
Contractivity and linear convergence in bilinear saddle-point problems: An operator-theoretic approach
ETH Zürich（苏黎世联邦理工学院）
针对凸凹双线性鞍点问题，本文利用单调算子理论系统证明多种一阶原始-对偶算法（含Chambolle-Pock）的压缩性与线性收敛，获得更紧的收敛界。
2025-04-21 cs.LG math.OC
Stochastic Saddle-Point Optimization for Wasserstein Barycenters
HSE University（俄罗斯高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
我们考虑人口Wasserstein重心问题的随机概率测度支持上的有限集的点和在线数据流产生的。这导致了一个复杂的随机最优化问题，其中的目标是作为一个随机最优化问题的解决方案给出的函数的期望。我们采用的结构的问题，并获得一个凹凸随机鞍点重新制定这个问题。在随机概率测度分布为离散分布的情况下，提出了一种随机最优化算法，并估计了算法的复杂度。第二个结果，基于核方法，将前一个结果推广到任意分布的随机概率测度。此外，在许多情况下，这种新算法的总复杂度优于随机逼近方法与Sinkhorn算法相结合。我们还说明了我们的发展由一系列的数值实验。
2021-12-02 cs.LG math.OC stat.ML
