Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
One-Point Gradient-Free Methods for Smooth and Non-Smooth Saddle-Point Problems
本文研究了随机鞍点问题$\min_{x}\max_{y} φ(x, y)$的单点反馈无梯度方法。对于非光滑和光滑的情况下，我们提出了分析在一个一般的几何设置与任意Bregman分歧。对于高阶光滑的问题，分析只在欧几里德的情况下进行。我们得到的估计重复目前已知的最好的无梯度方法的估计与一点反馈的问题，想象一个凸或强凸函数。本文使用三种主要方法通过有限差分来恢复梯度：随机方向的标准，以及其修改与内核和残差反馈。我们还提供了实验来比较这些方法的矩阵对策。
2021-02-27 math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne（墨尔本大学）
针对非凸分布式资源分配问题，本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸，证明了二阶收敛性，实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Linear Regularizers Enforce the Strict Saddle Property
严格鞍点性质的满足已经成为非凸优化中的一个标准假设，它保证了许多一阶优化算法几乎总是能逃离鞍点。然而，在机器学习中存在不满足此属性的函数，例如具有至少两个隐藏层的神经网络的损失函数。诸如梯度下降的一阶方法可以收敛到这样的函数的非严格鞍点，并且目前不存在可靠地逃离非严格鞍点的任何一阶方法。为了满足这一需求，我们证明了用线性项正则化函数会强制执行严格的鞍点性质，并且我们提供了仅局部正则化的理由，即，当梯度的范数低于某个阈值时。我们分析了这种形式的正则化可能导致的分叉，然后我们提供了一个正则化的选择规则，只依赖于一个目标函数的梯度。这一规则是为了保证梯度下降将逃脱附近的一个广泛的类的非严格的鞍点，这种行为证明了在优化文献中常见的非严格的鞍点的数值例子。
2022-08-19 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法，用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题，并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中，如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题，其中复合项的强凸性和强凸性参数（对应于最小变量和最大变量）以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机：确定性（回报梯度）和随机（回报无偏随机梯度）。我们的方法在这两种情况下都有效，并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Gradient-Free Optimization for Non-Smooth Saddle Point Problems under Adversarial Noise
我们考虑非光滑鞍点最优化问题。为了解决这些问题，我们提出了一个零阶方法下有界或Lipschitz连续噪声，可能的对抗。与现有的算法相比，我们的算法在两个标准方面都是最优的：Oracle调用复杂度和允许噪声的最大值。所提出的方法是简单的，易于实现，因为它是建立在零阶版本的随机镜像下降。给出了平均和概率意义下的收敛性分析。我们还特别注意的二元间隙$r$ -增长条件$(r\geq 1)$，我们提供了一个修改我们的算法使用重新启动技术。我们还评论无限噪声方差和上界的情况下，Lipschitz噪声。所得结果不仅对鞍点问题，而且对凸优化也有重要意义。
2023-03-25 math.OC
Saddle-point dynamics: conditions for asymptotic stability of saddle points
本文考虑两个向量变量的连续可微函数具有（可能是连续的）最小-最大鞍点。我们研究了相应的鞍点动力学的渐近收敛性质（第一个变量是梯度下降的，第二个变量是梯度上升的）。我们确定了一套互补的条件下，一组鞍点是渐近稳定的鞍点动力学。我们的第一组结果是基于定义鞍点动力学的函数的凸性，以建立收敛保证。对于不享受这一功能的功能，我们的第二组结果依赖于性能的线性化的动力学，功能沿近端法线的鞍集，和线性的功能在一个变量。我们还提供了全球版本的渐近收敛的结果。各种例子说明了我们的讨论。
2016-11-02 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of Computational Biology, Helmholtz Munich（亥姆霍兹慕尼黑计算生物学研究所）；Center for Computational Mathematics, Flatiron Institute（熨斗研究所计算数学中心）
本文提出一种框架，通过Hadamard过参数化实现稀疏正则化的平滑优化，避免了非光滑问题的特殊求解器，兼容深度学习中的梯度下降方法。
2026-04-08 cs.LG math.OC stat.ML
Adaptive primal dual hybrid gradient algorithms based on average spectrum for saddle point problems
Harbin Institute of Technology（哈尔滨工业大学）；Nanjing University（南京大学）
本文提出了一种基于平均谱的自适应对偶混合梯度算法，用于解决鞍点问题，通过预测-校正框架实现加速并提高数值性能。
2026-02-28 math.OC
Acceleration of saddle-point methods in smooth cases
基于乘子交替方向法（ADMM）与超松弛原对偶混合梯度（oPDHG）算法的等价性，提出了一种新的ADMM算法的收敛性分析方法.我们考虑光滑的情况，这对应于目标函数可以分解为一个可微的Lipschitz连续梯度部分和一个强凸部分的情况。ADMM的一个加速变体也提出了，这是线性收敛与相同的速率的oPDHG。
2017-01-18 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算，应用于某些结构化凸规划（CP）问题。为此，我们首先提出了一个加速梯度滑动（AGS）方法，用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明，AGS方法可以跳过梯度计算这些光滑的组件之一，而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐，特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题，其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术，我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算，同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Escaping saddle points without Lipschitz smoothness: the power of nonlinear preconditioning
本文提出涵盖$(L_0,L_1)$-光滑性与各向异性光滑性的新充分条件，证明非线性预条件化（含梯度裁剪）在无Lipschitz光滑性假设下仍能规避鞍点，并以对数维度依赖高效达到二阶平稳性。
2025-09-19 math.OC
Distributed Gradient Descent: Nonconvergence to Saddle Points and the Stable-Manifold Theorem
本文研究了一个分布式梯度下降（DGD）过程，并认为在非凸最优化问题，DGD通常收敛到局部极小点，而不是鞍点的问题。本文考虑光滑目标函数的无约束极小化问题。在集中式的设置中，证明梯度下降（和变体）的鞍点不收敛的问题通常通过经典动力系统理论的稳定流形定理来处理。然而，经典的稳定流形定理是不适用于分布式设置。本文发展了一个适当的稳定流形定理DGD表明，收敛到鞍点可能只发生在一个低维稳定流形。在适当的假设下（例如，但是，这个结果意味着DGD通常收敛到局部最小值而不是鞍点。
2019-10-23 cs.MA math.OC
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为，特别关注它们在严格鞍点附近的行为。加速方法是迭代法，其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明，通过稳定的流形定理，重球方法是不可能收敛到严格的鞍点，这是点的目标的梯度为零，但Hessian至少有一个负特征值。然后，我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为，表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
Simba: A Scalable Bilevel Preconditioned Gradient Method for Fast Evasion of Flat Areas and Saddle Points
提出可扩展预条件梯度方法Simba，通过梯度的移动平均外积构造预条件矩阵并结合多层次优化降低计算成本，有效逃离平坦区域和鞍点，在标准基准上实现良好泛化且具有线性收敛速率。
2023-09-11 math.OC
Comment on "First-order methods almost always avoid strict saddle points"
流形优化中黎曼梯度下降法的全局稳定性分析（即，它避免了几乎所有初始化的严格鞍点）。176：311-337）已更正。此外，新引入的收缩L-光滑的性质，提出了一个明确的限制的步长。
2022-04-01 math.OC
The role of convexity on saddle-point dynamics: Lyapunov function and robustness
本文研究了与一个凹凸函数相关联的投影鞍点动力学，我们称之为鞍函数。动态由对应于凸性的变量中的鞍函数的梯度下降和对应于凸性的变量中的（投影）梯度上升组成。我们研究的作用，局部和/或全局性质的凸性-凸性的鞍函数发挥保证收敛性和鲁棒性的动态。在假设鞍函数是两次连续可微的情况下，我们用Hessian的对角块给出了该动力学的轨道的ω极限集的一个新的刻画.利用这一特征，我们建立了在鞍函数的局部强凸性下动力学的全局渐近收敛。当强凸性全局成立时，我们建立了三个结果。首先，我们确定了一个李雅普诺夫函数（沿轨迹严格减少）的投影鞍点动态时，鞍函数对应于一般的约束凸优化问题的拉格朗日。其次，当鞍函数是一个等式约束最优化问题的拉格朗日函数时，我们通过提供一个ISS李雅普诺夫函数证明了鞍点动态的输入-状态稳定性。第三，我们使用后者的结果来设计一个机会主义的状态触发的实施的动态。各种例子说明了我们的结果。
2017-05-01 math.OC
Curvature-Adaptive Perturbation and Subspace Descent for Robust Saddle Point Escape in High-Dimensional Optimization
针对高维非凸优化的鞍点逃逸难题，提出结合随机扰动、自适应学习率与随机子空间下降的曲率自适应框架，理论上证明其逃逸效率优势，实验验证其在速度、鲁棒性和运行时间上优于标准一、二阶方法。
2025-09-03 math.OC
An Envelope for Davis-Yin Splitting and Strict Saddle Point Avoidance
基于前向-后向分裂（FBS）、Douglas-Rachford分裂（DRS）和Davis-Yin分裂（DYS）的算子分裂方法在适当的凸性和光滑性假设下将困难的最优化问题分解为较简单的子问题。在本文中，我们确定了一个包络（一个目标函数），其梯度下降迭代下的可变度量与DYS迭代一致。这一结果推广了Moreau包络的邻近点迭代和包络的FBS和DRS的Patrinos，斯特拉，和Themelis确定的迭代。基于新的包络和稳定中心流形定理，我们进一步证明了当FBS或DRS迭代从随机点开始时，它们以概率1避开所有严格鞍点。这一结果将Lee等人的类似结果从梯度下降法推广到分裂法。
2018-05-05 math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
Accelerated methods for composite non-bilinear saddle point problem
基于G. Lan的加速梯度滑动和函数在勒让德变换下的光滑性与强凸性参数之间的一般关系，证明了在相当一般的条件下，双线性凹凸光滑复合鞍点问题的最佳已知界对非双线性凹凸光滑复合鞍点问题也成立.此外，我们描述的情况下，界限不同，并解释的差异的性质。
2020-01-01 math.OC
A Unified Distributed Method for Constrained Networked Optimization via Saddle-Point Dynamics
本文将最优一致性与非相同集合约束资源分配问题统一为鞍点框架，提出基于 OGDA 和 EG 的投影原始-对偶分布式算法，证明 O(1/k) 遍历收敛并通过数值算例验证。
2023-07-14 math.OC
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流（DGF）。DGF是分布式梯度下降的连续时间近似，通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先，本文考虑非光滑，非凸目标函数的优化。结果表明，在这种情况下，DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的，则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果，本文证明了DGF的稳定流形定理，这是一个独立的兴趣的基本贡献。在配套文件中，类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
The Mirror-Prox Sliding Method for Non-smooth decentralized saddle-point problems
本文提出一种基于惩罚和滑动技术的Mirror-Prox方法，用于求解非光滑分布式鞍点问题，并在通信轮数和梯度调用次数上达到下界。
2023-12-29 math.OC
Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；NTT Research（NTT研究院）；Université Paris Cité（巴黎西岱大学）；RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）
本文将神经网络鞍点分为两类，指出第二类鞍点因梯度噪声消失而难以逃离，并用随机矩阵乘积、概率稳定性与Lyapunov指数刻画SGD动力学，划分出四种相。
2024-07-02 cs.LG math.OC physics.data-an
Complexity of Multiblock Convex-Concave Saddle-Point Problems with General Smooth Coupling
MIRIAI；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University, MIRIAI, IITP（因诺波利斯大学，MIRIAI，俄罗斯科学院信息传输问题研究所）
针对带一般光滑耦合的多块凸-凹鞍点问题，提出随机提升额外梯度方法，在强凸性下实现线性收敛，非强凸性下给出受限间隙保证，实验验证其在目标条件差场景下的性能提升。
2026-11-13 math.OC
A generic adaptive restart scheme with applications to saddle point algorithms
我们提供了一个简单和通用的自适应重启计划凸优化，能够实现最坏情况下的边界匹配（常数乘法因子）的最佳重启计划，需要知识的问题特定的常数。每当基于距离的势函数充分减少时，该方案就会触发重新启动。这个势函数总是可计算的。我们应用该计划，以获得第一个自适应重新启动算法的鞍点算法，包括原始-对偶混合梯度（PDHG）和extragradiation。该方法改进了双线性对策PDHG的最坏情况界，并对二次指派问题和矩阵对策进行了数值实验，结果表明该方法在获得高精度解方面有显著的改进.此外，对于加速梯度下降（AGD），该方案获得了最坏情况下的边界内的60%的（未知的）最佳重新启动期时，需要高精度的界限。在实践中，该方案与O 'Donoghue和Candes（2015）的启发式竞争。
2020-08-14 math.OC
Convergence Analysis of Stochastic Saddle Point Mirror Descent Algorithm -- A Projected Dynamical View Point
本文从投影动力学视角提出非欧域连续时间鞍点动力学，证明其稳定性，并据此建立 SSPMD 的几乎必然收敛及零阶 SZSPMD 的邻域收敛性。
2024-04-07 math.OC
Single-loop Projection-free and Projected Gradient-based Algorithms for Nonconvex-concave Saddle Point Problems with Bilevel Structure
本文提出单循环无投影和投影梯度算法，用于求解具有双层结构的非凸-凹鞍点问题，分别达到ε-稳定解，并在鲁棒多任务回归中优于现有方法。
2025-03-28 math.OC
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数，但也包含非凸函数，这不仅允许解决最优化问题，而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法，达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables
本文致力于发展的算法方法，确保有效的复杂性边界的情况下，当一组变量是高维的强凸-凹鞍点问题，和其他相对低维（高达100）。所提出的技术基于将此类问题简化为最小化其中一个变量中的凸（最大化凹）泛函的问题，对于该问题，可以使用辅助优化子问题以所需的精度找到任意点处的近似梯度另一个变量。在这种情况下，椭球方法用于低维问题（如果需要，使用不精确的$δ$ -次梯度），加速梯度法用于高维问题。对于一个非常小的维度的情况下的一组变量（最多5），一种方法的基础上的一个新版本的多维模拟的余。E. Nesterov的方法的平方（多维二分法）提出的可能性，使用不精确值的梯度的目标功能。
2022-10-25 math.OC
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Primal-Dual Coordinate Descent for Nonconvex-Nonconcave Saddle Point Problems Under the Weak MVI Assumption
本文提出两种原始-对偶算法（NC-PDHG和NC-SPDHG）解决弱MVI假设下的非凸非凹鞍点问题，利用PEPit工具推导收敛性，实验验证了其高效性和线性收敛。
2025-06-18 math.OC
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Gradient Descent Can Take Exponential Time to Escape Saddle Points
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Southern California（南加利福尼亚大学）
尽管梯度下降（GD）几乎总是渐近地逃离鞍点[Lee等人，2016]，这篇论文表明，即使有相当自然的随机初始化方案和非病态函数，GD也可以通过鞍点显着减慢，需要指数时间才能逃脱。另一方面，具有扰动的梯度下降[Ge等人，2015，Jin等人，2017]不会因为鞍点而变慢--它可以在多项式时间内找到一个近似的局部最小值。这一结果意味着GD本质上比扰动GD慢，并且证明了添加扰动对于有效的非凸优化的重要性。虽然我们的重点是理论，我们也提出了实验，说明我们的理论研究结果。
2017-11-05 cs.LG math.OC stat.ML
On the Geometry and Linear Convergence of Primal-Dual Dynamics
提出了一种基于变分不等式的原-对偶动力学模型，该模型具有全局指数稳定的鞍点解，可用于求解线性不等式约束最优化问题.提出了一个黎曼几何框架，其中我们开始框架中的纤维束设置赋予黎曼度量，捕捉几何的梯度（拉格朗日函数）的动态。在黎曼流形上利用自然梯度自适应得到了一个强单调梯度向量场。李雅普诺夫稳定性分析证明，这种适应导致一个全局指数稳定的鞍点解。此外，数值模拟，我们表明，缩放的黎曼度量的结果在加速收敛到鞍点解的关键参数。
2020-10-05 math.OC
Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
本文针对一阶方法难快速逃离鞍点邻域的问题，用矩阵扰动理论对严格鞍点邻域内的梯度下降做几何分析，得出可生成近似梯度轨迹的结论并推导出线性退出时间解。
2023-10-06 cs.LG cs.SY eess.SY
Second-order Properties of Noisy Distributed Gradient Descent
针对非凸分布式优化问题，提出带随机扰动的固定步长噪声分布式梯度下降算法，证明其收敛到局部极小点邻域，并通过实验验证该算法能更快逃离鞍点。
2023-07-20 math.OC
Randomized coordinate gradient descent almost surely escapes strict saddle points
本文分析了非凸优化中随机坐标梯度下降的行为，通过将其表述为非线性随机动力系统并利用中心稳定流形定理，证明了迭代在标准假设下几乎必然逃离严格鞍点。
2025-08-11 cs.NA math.DS math.NA
A Randomized Block-Coordinate Primal-Dual Method for Large-scale Stochastic Saddle Point Problems
本文针对高维随机凸-凹鞍点问题提出随机块坐标原始-对偶方法，通过随机更新变量块降低计算成本，在确定性设置下将复杂度从O(max{m,n}²/ε)改进为O(mn/ε)，并证明了随机设置下的加速复杂度及几乎必然收敛性。
2025-09-27 math.OC
Escaping Saddle Points with Stochastically Controlled Stochastic Gradient Methods
随机控制随机梯度（SCSG）方法已被证明能有效地收敛到一阶稳定点，但在非凸优化问题中，这些稳定点可能是鞍点。已经观察到随机梯度下降（SGD）步骤在深度学习和非凸半空间学习问题的鞍点周围引入各向异性噪声，这表明SGD满足这些问题的相关负曲率（CNC）条件。因此，我们建议使用一个单独的SGD步骤，以帮助SCSG方法摆脱严格的鞍点，从而在CNC-SCSG方法。SGD阶跃的作用类似于噪声注入，但更稳定。我们证明了所得到的算法收敛到一个二阶稳定点的收敛速度为$\tilde{O}( ε^{-2} log( 1/ε))$，其中$ε$是预先指定的误差容限。该算法的收敛速度与问题维数无关，比CNC-SGD算法收敛速度快。一个更一般的框架进一步设计，将建议CNC-SCSG到任何一阶方法的方法，以逃避鞍点。仿真研究表明，该算法可以逃脱鞍点在更少的时期比梯度下降法扰动的噪声注入或SGD步骤。
2021-04-23 cs.LG math.OC stat.ML
Escaping Saddle Points with the Successive Convex Approximation Algorithm
优化非凸函数在绝大多数机器学习算法中是至关重要的。尽管已经研究了许多基于梯度下降的算法，但是最近经验表明基于连续凸近似的算法收敛得更快。然而，这种基于连续凸近似的算法可能会卡在一阶稳定点。为了避免这种情况，我们提出了一种算法，在适当的迭代稍微扰动优化变量。除了实现相同的收敛速度的结果作为非扰动的版本，我们表明，该算法收敛到一个二阶稳定点。因此，所提出的算法有效地逃离鞍点，并且不会卡在一阶鞍点。
2019-03-05 math.OC
Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
本文提出扰动 Wasserstein 梯度流（PWGF），通过高斯过程噪声沿 Wasserstein Hessian 最小特征值方向扰动，使非凸概率测度优化逃离鞍点并达到二阶最优性，且在严格良性目标下具有多项式时间全局收敛保证。
2025-09-21 math.OC stat.ML
Lower Bounds For Gradient-Free Convex Optimization And Convex-Concave Saddle-Point Problems
AI Institute MSU（莫斯科国立大学人工智能研究所）；HSE University（高等经济大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Innopolis University（因诺波利斯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
该研究针对精确标量值信息下的凸优化与凸-凹鞍点问题，证明了自适应随机化算法的查询复杂度下界，并扩展到强凸、双线性博弈及混合访问场景。
2026-10-02 math.OC
Escaping Saddles with Stochastic Gradients
ETH（苏黎世联邦理工学院）
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差，并表明随机梯度沿这些方向表现出很强的分量。此外，我们表明，-相反的情况下，各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察，我们提出了一个新的假设下，我们表明，显式的，各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点，在一些迭代，是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
An implicit gradient-descent procedure for minimax problems
提出了一种基于对策论的求解函数鞍点的方法。虽然显式下降法已知具有严重的收敛问题，但隐式方法在对抗环境中是自然的，因为它们考虑了其他玩家的最优策略。所提出的隐格式格式具有自适应的学习率，使其在鞍点附近过渡到牛顿法。收敛性通过局部分析，并在非凹凸设置，在最优输运和线性规划彻底的数值例子。提出了一种适用于高维问题的自组织拟牛顿法，该方法需要对目标函数的Hessian函数进行反演，计算量大.
2019-06-01 math.OC
Efficient Dictionary Learning with Gradient Descent
随机初始化的一阶优化算法是解决机器学习中许多高维非凸问题的首选方法，但一般的理论保证不能排除收敛到目标值较差的临界点。然而，对于一些高度结构化的非凸问题，梯度下降的成功可以通过研究目标的几何形状来理解。我们研究了这样一个问题--完全正交字典学习，并提供了随机初始化梯度下降到全局最优值邻域的收敛保证。即使目标具有指数数量的鞍点，所得到的速率在维度上也按低阶多项式缩放。这种有效的收敛可以被看作是负曲率正常的稳定流形与鞍点的结果，我们提供的证据表明，这一功能是共享的其他非凸问题的重要性。
2018-09-27 math.OC
Gradient Descent and the Power Method: Exploiting their connection to find the leftmost eigen-pair and escape saddle points
这项工作表明，应用梯度下降（GD）与一个固定的步长，以最小化（可能非凸）二次函数是等效的梯度上运行的功率方法（PM）。因此，建立了具有固定步长的GD与具有和不具有固定动量的PM之间的联系。因此，有价值的本征信息是通过GD。最近的例子表明，GD与一个固定的步长，适用于局部二次非凸函数，可以采取指数时间逃逸鞍点（西蒙S。放大图片作者：Li Jin，Jason D.迈克尔·李Jordan，Aarti Singh和Barnabas Poczos：“梯度下降可能需要指数级时间来逃离鞍点“; S。Paternain，A. Mokhtari和A. Ribeiro：“A Newton-based method for nonconvex optimization with fast evasion of鞍点“）。在这里，这些例子被重新审视，它表明，本征值信息丢失，使例子可能无法提供一个完整的图片的潜在的实际行为的GD。因此，正在进行的调查GD的非凸函数的行为，可能与\emph{adaptive}或\emph{variable}步长，是有道理的。结果表明，在$R^2$中二次型的特殊情况下，若特征值已知，则具有固定步长的GD将在两次迭代中收敛，并可实现完全的特征分解.通过考虑梯度和迭代的动态性，提出了新的步长策略，以提高GD的实际性能。几个数值例子，这表明利用GD-PM连接的优点。
2022-11-02 cs.LG math.OC
