Gradient Descent Can Take Exponential Time to Escape Saddle Points
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Southern California（南加利福尼亚大学）
尽管梯度下降（GD）几乎总是渐近地逃离鞍点[Lee等人，2016]，这篇论文表明，即使有相当自然的随机初始化方案和非病态函数，GD也可以通过鞍点显着减慢，需要指数时间才能逃脱。另一方面，具有扰动的梯度下降[Ge等人，2015，Jin等人，2017]不会因为鞍点而变慢--它可以在多项式时间内找到一个近似的局部最小值。这一结果意味着GD本质上比扰动GD慢，并且证明了添加扰动对于有效的非凸优化的重要性。虽然我们的重点是理论，我们也提出了实验，说明我们的理论研究结果。
2017-11-05 cs.LG math.OC stat.ML
Gradient Descent and the Power Method: Exploiting their connection to find the leftmost eigen-pair and escape saddle points
这项工作表明，应用梯度下降（GD）与一个固定的步长，以最小化（可能非凸）二次函数是等效的梯度上运行的功率方法（PM）。因此，建立了具有固定步长的GD与具有和不具有固定动量的PM之间的联系。因此，有价值的本征信息是通过GD。最近的例子表明，GD与一个固定的步长，适用于局部二次非凸函数，可以采取指数时间逃逸鞍点（西蒙S。放大图片作者：Li Jin，Jason D.迈克尔·李Jordan，Aarti Singh和Barnabas Poczos：“梯度下降可能需要指数级时间来逃离鞍点“; S。Paternain，A. Mokhtari和A. Ribeiro：“A Newton-based method for nonconvex optimization with fast evasion of鞍点“）。在这里，这些例子被重新审视，它表明，本征值信息丢失，使例子可能无法提供一个完整的图片的潜在的实际行为的GD。因此，正在进行的调查GD的非凸函数的行为，可能与\emph{adaptive}或\emph{variable}步长，是有道理的。结果表明，在$R^2$中二次型的特殊情况下，若特征值已知，则具有固定步长的GD将在两次迭代中收敛，并可实现完全的特征分解.通过考虑梯度和迭代的动态性，提出了新的步长策略，以提高GD的实际性能。几个数值例子，这表明利用GD-PM连接的优点。
2022-11-02 cs.LG math.OC
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们考虑逃逸鞍点的非凸问题，只有功能评估可以访问。虽然已经提出了各种各样的作品，他们中的大多数需要二阶或一阶信息，只有少数人利用零阶方法，特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白，在本文中，我们提出了两个零阶负曲率寻找框架，可以取代海森向量积计算，而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD，ZO-SGD，ZO-SCSG，ZO-SPIDER，并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点，与以前的零阶工作相比，具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC
Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations
UC Berkeley（加州大学伯克利分校）；Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
基于统计物理学中自排斥随机游动的超扩散性，本文提出了一种新的优化算法扰动机制。在这种机制中，扰动通过占据时间的概念适应于状态的历史。将该机制引入扰动梯度下降（PGD）和扰动加速梯度下降（PAGD）框架，提出了两种新的算法：适应占用时间的扰动梯度下降（PGDOT）及其加速算法（PAGDOT）. PGDOT和PAGDOT收敛到二阶稳定点至少一样快PGD和PAGD，分别，因此，他们保证避免陷入非退化鞍点。理论分析证实了实证研究中，新的算法始终逃脱鞍点和超越不仅是他们的同行，PGD和PAGD，但也包括其他流行的替代品，随机梯度下降，亚当，AMSGrad，和RMSProp。
2022-03-27 cs.LG math.OC
Escaping Saddle Points with Stochastically Controlled Stochastic Gradient Methods
随机控制随机梯度（SCSG）方法已被证明能有效地收敛到一阶稳定点，但在非凸优化问题中，这些稳定点可能是鞍点。已经观察到随机梯度下降（SGD）步骤在深度学习和非凸半空间学习问题的鞍点周围引入各向异性噪声，这表明SGD满足这些问题的相关负曲率（CNC）条件。因此，我们建议使用一个单独的SGD步骤，以帮助SCSG方法摆脱严格的鞍点，从而在CNC-SCSG方法。SGD阶跃的作用类似于噪声注入，但更稳定。我们证明了所得到的算法收敛到一个二阶稳定点的收敛速度为$\tilde{O}( ε^{-2} log( 1/ε))$，其中$ε$是预先指定的误差容限。该算法的收敛速度与问题维数无关，比CNC-SGD算法收敛速度快。一个更一般的框架进一步设计，将建议CNC-SCSG到任何一阶方法的方法，以逃避鞍点。仿真研究表明，该算法可以逃脱鞍点在更少的时期比梯度下降法扰动的噪声注入或SGD步骤。
2021-04-23 cs.LG math.OC stat.ML
Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
本文针对一阶方法难快速逃离鞍点邻域的问题，用矩阵扰动理论对严格鞍点邻域内的梯度下降做几何分析，得出可生成近似梯度轨迹的结论并推导出线性退出时间解。
2023-10-06 cs.LG cs.SY eess.SY
Escaping Saddles with Stochastic Gradients
ETH（苏黎世联邦理工学院）
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差，并表明随机梯度沿这些方向表现出很强的分量。此外，我们表明，-相反的情况下，各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察，我们提出了一个新的假设下，我们表明，显式的，各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点，在一些迭代，是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
Efficiently avoiding saddle points with zero order methods: No gradients required
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们考虑非凸优化的无导数算法的情况，也称为零级算法，其仅使用函数求值而不是梯度。对于各种各样的梯度逼近器的基础上有限差分，我们建立渐近收敛二阶稳定点使用一个精心定制的应用程序的稳定流形定理。在效率方面，我们引入了一种噪声零阶方法，该方法收敛到二阶稳定点，即避免了鞍点。我们的算法只使用$\tilde{\mathcal{O}}(1 / ε^2)$近似梯度计算，因此，它匹配的收敛速度保证其精确的梯度对应常数。与以前的工作相比，我们的收敛速度分析避免了施加额外的尺寸依赖于非凸零级优化所需的迭代次数减慢。
2019-10-29 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST（韩国科学技术院）；Natural Science Research Institute（自然科学研究所）；Department of Mathematical Sciences（数学科学系）
研究非凸优化中无调度方法，通过李雅普诺夫分析给出最坏情况收敛速率分析，还将无调度梯度下降建模为非自治动力系统，证明其在微小扰动下可避免严格鞍点，解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Escape saddle points by a simple gradient-descent based algorithm
Tsinghua University（清华大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
逃逸鞍点是非凸优化问题的一个重要研究课题。在本文中，我们提出了一个简单的基于梯度的算法，使一个光滑函数$f\colon\mathbb{R}^n\to\mathbb{R}$，它输出一个$ε$ -近似二阶稳定点在$\tilde{O}(\log n/ε^{1.75})$迭代。与Jin等人的$\tilde{O}((\log n)^{4}/ε^{2})$或$\tilde{O}((\log n)^{6}/ε^{1.75})$迭代算法相比，我们的算法在$\log n$方面多项式更好，并且在$1/ε$方面与它们的复杂性相匹配。对于随机设置，我们的算法输出一个$ε$ -近似二阶平稳点在$\tilde{O}((\log n)^{2}/ε^{4})$迭代。在技术上，我们的主要贡献是实现一个强大的海森功率方法只使用梯度的想法，它可以找到负曲率附近的鞍点和实现多项式加速相比，扰动梯度下降方法在$\log n$。最后，我们还进行了数值实验，支持我们的结果。
2021-11-28 cs.LG math.OC stat.ML
Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
Moirai；University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Iliad
研究深度线性网络中随机梯度下降在鞍点到鞍点区域的动力学，推导出各模式下的随机微分方程分解，并分析SGD噪声对特征学习的影响。
2026-04-07 cs.LG stat.ML
Escaping Saddle Points with Adaptive Gradient Methods
MIT EECS（麻省理工学院电子工程与计算机科学系）；Google Research, New York（谷歌研究院纽约分部）
Adam和RMSProp等自适应方法广泛用于深度学习，但尚未得到很好的理解。在本文中，我们寻求一个清晰的，干净的和精确的表征他们的行为在非凸设置。为此，我们首先提供了一个新的自适应方法预处理SGD，其中预条件估计在线的方式。通过研究预处理器本身，我们阐明了它的目的：它重新调整随机梯度噪声在平稳点附近是各向同性的，这有助于逃离鞍点。此外，我们表明，自适应方法可以有效地估计上述预条件。通过粘合在一起，这两个组件，我们提供了第一（据我们所知）的二阶收敛结果的任何自适应方法。从我们的分析中得出的关键见解是，与SGD相比，自适应方法更快地逃离鞍点，并且可以更快地整体收敛到二阶稳定点。
2020-02-03 cs.LG math.OC stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Boundary Conditions for Linear Exit Time Gradient Trajectories Around Saddle Points: Analysis and Algorithm
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
与线性相关的一阶方法已经成为大规模数值最优化问题的主力。这些问题中的许多涉及非凸目标函数与多个鞍点，这需要了解的行为的离散轨迹的一阶方法在这些功能的几何景观。本文研究了一阶离散方法收敛于非凸最优化问题的局部极小值的问题，该问题包含几何景观中的严格鞍点。为此，重点分析了鞍点邻域附近的离散梯度轨迹，导出了这些轨迹在线性时间内逃离严格鞍点邻域的充分条件，探讨了这些轨迹在严格鞍点邻域内的收缩和扩张动力学，这些邻域的特征是具有中等大小的梯度，描述了这些轨迹的非弯曲性质，并强调了这些轨迹在离开严格鞍点之后不能重新进入它们周围的邻域。基于这些见解和分析，本文然后提出了一个简单的变种香草梯度下降算法，称为曲率条件正则梯度下降（CCRGD）算法，它利用检查初始边界条件，以确保其轨迹可以逃脱严格的鞍邻域在线性时间。文中还对CCRGD算法的收敛性进行了分析，包括其收敛到局部极小值的收敛速率。数值实验，然后提供了一个检验函数以及低秩矩阵分解问题，以评估所提出的算法的有效性。
2022-03-09 cs.LG cs.SY eess.SY
Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems
Department of Electrical and Computer Engineering, University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）
研究了求解凸-凹无约束Min-Max问题鞍点的乐观梯度下降-上升（OGDA）方法和额外梯度（EG）方法的迭代复杂性。要做到这一点，我们首先表明，OGDA和EG可以被解释为近似的变种的近点法。这类似于[Nemirovski，2004]中所采取的方法，该方法将EG分析为“概念镜像”的近似。在本文中，我们强调如何梯度使用OGDA和EG试图近似的近点法的梯度。然后，我们利用这种解释表明，这两种算法产生的迭代，保持在一个有界集。我们进一步表明，这两种算法产生的平均迭代的原始对偶间隙收敛率为$\mathcal{O}(1/k)$。我们的理论分析是有趣的，因为它提供了第一个收敛速度估计OGDA在一般的凹凸设置。此外，它提供了一个简单的收敛性分析EG算法的函数值，而不使用紧性假设。
2020-09-29 cs.LG math.OC stat.ML
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
HOUDINI: Escaping from Moderately Constrained Saddles
Indiana University（印第安纳大学）；George Mason University（乔治梅森大学）
本文提出 HOUDINI，证明常规与随机（含噪）梯度下降可在对数数量不等式约束下逃离高维鞍点，首次在不依赖 NP 预言机的情况下取得多项式时间进展。
2023-04-20 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的自适应随机梯度Langevin动力学（ASGLD）算法框架和它的两个专门版本，即自适应随机梯度（ASG）和自适应梯度Langevin动力学（AGLD），非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点，这几乎是无量纲的。此外，我们表明，ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外，具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值，迭代以$O(\log d/ε^2)$为界，这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Efficiently escaping saddle points on manifolds
Princeton University（普林斯顿大学）
黎曼流形上的光滑、非凸优化问题由于正交性、秩或正性约束而出现在机器学习中。一阶和二阶必要最优性条件规定黎曼梯度必须为零，黎曼海森必须是半正定的。Jin et al.最近关于线性空间优化的扰动梯度下降（PGD）的工作[如何有效地逃离鞍点（2017），随机梯度下降有效地逃离鞍点（2019）]，我们提出了一个版本的扰动黎曼梯度下降（PRGD），以表明可以以高概率近似满足必要的最优性条件，而无需评估Hessian。具体地说，对于一个任意的黎曼流形$\mathcal{M}$的尺寸$d$，一个足够光滑（可能非凸）的目标函数$f$，并在较弱的条件下，选择收回移动的流形上，以高概率，我们的版本的PRGD产生一个点的梯度小于$ε$和Hessian内的$\sqrtε$是半正定的$O((\log{d})^4 / ε^{2})$梯度查询。这与欧几里德情况下的PGD的复杂性相匹配。重要的是，对维度的依赖性很低。这对于包括PCA和低秩矩阵完成在内的大规模应用很重要，它们都允许流形上的自然公式。其关键技术思想是推广PRGD，区分两种类型的梯度步骤：“流形上的步骤”和“流形切空间中的扰动步骤”。“最终，这种区别使得有可能延长金等人。的分析天衣无缝。
2019-10-23 cs.CC cs.LG math.OC
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
How to Escape Saddle Points Efficiently
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Microsoft Research, India（微软研究院（印度））；University of Washington（华盛顿大学）
本文证明了扰动形式的梯度下降在仅与维数多项式相关的迭代次数内收敛于二阶稳定点（即，它几乎是“无量纲的”）。该过程的收敛速度与众所周知的梯度下降到一阶稳定点的收敛速度相匹配，直到对数因子。当所有鞍点都是非退化的时，所有的二阶稳定点都是局部极小点，我们的结果表明扰动梯度下降几乎可以自由地逃离鞍点。我们的结果可以直接应用于许多机器学习应用，包括深度学习。作为这种应用的一个特定具体例子，我们表明我们的结果可以直接用于建立矩阵因式分解的尖锐全局收敛率。我们的结果依赖于鞍点周围的几何形状，这可能是独立的兴趣，非凸优化社区的一种新的表征。
2017-03-02 cs.LG math.OC stat.ML
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
A Deterministic Gradient-Based Approach to Avoid Saddle Points
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Utah（犹他大学）
具有大量鞍点的损失函数是有效训练现代机器学习模型的主要障碍之一。梯度下降等一阶方法通常是训练机器学习模型的首选方法。然而，这些方法收敛到鞍点的初始猜测的某些选择。在本文中，我们提出了最近提出的拉普拉斯平滑梯度下降的修改[Osher等人，arXiv：1806.06317]，称为修改的拉普拉斯平滑梯度下降（mLSGD），并证明其潜力，以避免鞍点，而不牺牲收敛速度。我们的分析是基于吸引区域，所考虑的数值方案收敛到鞍点的所有起始点。我们研究的吸引区域的尺寸分析和数值。对于一个规范类的二次函数，我们表明，吸引区域的mLSGD的维数是地板（（n-1）/2），因此它是显着小于梯度下降，其维数为n-1。
2020-09-28 cs.LG cs.NA math.DS
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Competitive Gradient Optimization
Purdue University（普渡大学）
本文研究了零和对策的稳定点收敛问题。我们提出了竞争梯度优化（CGO），一个基于梯度的方法，结合了零和对策优化更新的两个球员之间的相互作用。我们提供了连续时间分析CGO及其收敛特性，同时表明，在连续极限，CGO前辈退化到他们的梯度下降上升（GDA）的变种。我们提供了一个收敛到稳定点的速度，并进一步提出了一个广义类的$α$ -相干函数，我们提供了收敛性分析。我们证明了对于严格$α$ -相干函数，我们的算法收敛到一个鞍点。此外，我们提出了乐观CGO（OCGO），一个乐观的变种，我们证明了收敛速度鞍点的$α$ -连贯类的功能。
2022-05-27 cs.LG math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Inertial Newton Algorithms Avoiding Strict Saddle Points
CNRS（法国国家科学研究中心）；IRIT（信息科学与技术研究院）；Université de Toulouse（图卢兹大学）
本文研究了非凸环境下混合牛顿法与惯性梯度下降的二阶算法的渐近行为，证明其几乎总能逃离严格鞍点，并揭示了超参数在临界点附近定性行为中的作用，理论结果得到了数值实例支持。
2024-02-12 cs.LG math.OC
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Saddle-to-Saddle Dynamics Explains A Simplicity Bias Across Neural Network Architectures
该研究通过鞍点到鞍点动力学理论解释了神经网络架构中简洁性偏倚的成因，揭示了不同网络结构在学习过程中复杂度增加的机制。
2026-03-10 cs.LG
Escaping Saddle Points with Compressed SGD
Indiana University（印第安纳大学）
随机梯度下降（SGD）是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分，但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题，最近的工作表明，SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中，我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点（$\varepsilon$ -SOSP），这是尽我们所知的第一个结果，这种类型。此外，我们表明，当随机梯度不是Lipschitz时，具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人，2021]（JACM），同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信，其中$d$是优化问题的维度。我们提出了额外的结果的情况下，压缩机是任意的，当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
Heavy-ball Algorithms Always Escape Saddle Points
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
具有随机初始值的非凸优化算法近年来受到了广泛的关注。已有的研究表明，许多一阶方法总是避免随机起点的鞍点。本文回答了一个问题：随机初始化的非凸重球算法能否避免鞍点？答案是肯定的！由于重球算法的每次迭代都由当前点和最后点组成，直接使用现有的证明技术是困难的。不可能将算法公式化为在某个映射g下的迭代，如xk+1= g（xk）。为此，我们设计了一个新的映射在一个新的空间。对于某些传输，重球算法可以被解释为在此映射之后的迭代。从理论上证明了重球梯度下降算法比梯度下降算法具有更大的步长。同时考虑了重球邻近点法，证明了该算法总是能逃脱鞍点。
2019-07-23 cs.LG math.OC stat.ML
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Boston University（波士顿大学）
提出GenFlow算法及其动量变体，基于固定时间稳定性理论设计加速优化框架，在固定时间内收敛至满足PL不等式的最优解，并一致有界地快速逃离非退化鞍点，解决极小极大问题。
2023-10-22 cs.AI cs.LG cs.SY
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Escaping Saddle Points via Curvature-Calibrated Perturbations: A Complete Analysis with Explicit Constants and Empirical Validation
Lightcap；Bahçeşehir University（巴赫切塞希尔大学）
本文提出具有显式常数的扰动鞍点逃离下降算法PSD，严格区分下降与逃离阶段，证明其以高概率找到近似二阶稳定点并给出梯度评估复杂度上界，实验验证了对数维度依赖性和每回合函数下降，并提供PSD-Probe与PSGD扩展。
2025-08-22 cs.LG math.OC stat.ML
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
First-order Methods Almost Always Avoid Saddle Points
USC（南加州大学）；MIT（麻省理工学院）；SUTD（新加坡科技设计大学）；UC Berkeley（加州大学伯克利分校）
我们建立了一阶方法避免鞍点几乎所有的初始化。我们的结果适用于各种各样的一阶方法，包括梯度下降，块坐标下降，镜像下降及其变体。连接线程是这样的算法可以从动力系统的角度进行研究，其中适当的稳定流形定理的实例允许全局稳定性分析。因此，既不需要访问二阶导数信息，也不需要初始化之外的随机性来可证明地避免鞍点。
2017-10-20 cs.LG math.OC stat.ML
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations
University of California, Berkeley（加州大学伯克利分校）
本文采用流体动力学中的高分辨率微分方程（HRDEs）为多种鞍点优化方法建模，证明该模型能区分不同方法的收敛特征，并证明OGDA在一般单调变分不等式下具有末次迭代收敛性。
2023-07-31 cs.LG math.OC stat.ML
Quantum algorithms for escaping from saddle points
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Mathematics and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学数学系及量子信息与计算机科学联合中心）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Computer Science and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学计算机科学系及量子信息与计算机科学联合中心）
我们开始研究具有可证明保证的逃离鞍点的量子算法。给定一个函数$f\colon\mathbb{R}^{n}\to\mathbb{R}$，我们的量子算法使用对量子评估oracle的$\tilde{O}(\log^{2} (n)/ε^{1.75})$查询输出一个$ε$近似二阶稳定点（即，零阶Oracle）。与Jin等人提出的经典最新算法相比，使用$\tilde{O}(\log^{6} (n)/ε^{1.75})$查询梯度预言（即，一阶预言机），我们的量子算法在$\log n$方面多项式更好，并且在$1/ε$方面与其复杂度相匹配。从技术上讲，我们的主要贡献是通过模拟量子波动方程来取代梯度下降方法中的经典扰动，这构成了对量子查询复杂度的改进，其中包含用于逃离鞍点的$\log n$因子。我们还展示了如何使用量子梯度计算算法，由于约旦取代经典的梯度查询量子评估查询具有相同的复杂性。最后，我们还进行了数值实验，支持我们的理论研究结果。
2021-08-19 cs.DS cs.LG math.OC
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
On Learning Gaussian Multi-index Models with Gradient Flow
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Center for Computational Mathematics, Flatiron Institute（熨斗研究所计算数学中心）
本文研究高维高斯多索引回归中的梯度流，提出双时间尺度非参数学习框架，证明 Grassmannian 总体动力学全局收敛并刻画鞍点动力学，同时揭示 planted 情形存在高概率困陷的粗糙景观。
2023-11-02 cs.LG math.OC stat.ML
On the saddle point problem for non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的能力的困难的主要来源是具有比全局最小值高得多的误差的局部最小值的扩散。在这里，我们认为，统计物理，随机矩阵理论和神经网络理论的结果的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的算法，鞍无牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度神经网络训练，并为其优越的性能提供了初步的数值证据。
2014-05-28 cs.LG cs.NE
Dimension-Free Saddle-Point Escape in Muon
xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港理工大学（广州））
本文分析了穆隆优化器的鞍点逃离动态，证明其通过非线性谱形变机制避免维度诅咒，实现无维度的确定性逃离。
2026-05-10 cs.LG
Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity
EPFL（洛桑联邦理工学院 (EPFL)）
深度线性网络（DLN）的动态特性受到初始化$θ_0$时参数方差$σ^2$的显著影响。对于宽度为$w$的DLN，我们给出了一个相变w.r.t.方差$σ^2=w^{-γ}$的缩放$γ$为$w\to\infty$：对于大方差（$γ<1$），$θ_0$非常接近全局最小值但远离任何鞍点，而对于小方差（$γ>1$），$θ_0$接近鞍点且远离任何全局最小值。虽然第一种情况与研究充分的NTK制度相对应，但第二种情况却不太清楚。这激发了对案例$γ\to +\infty$的研究，在该案例中，我们推测了一个鞍到鞍动态：在整个训练过程中，梯度下降访问一系列鞍的邻域，每个鞍对应于秩递增的线性映射，直到达到稀疏的全局最小值。我们支持这一猜想的前两个鞍之间的动力学定理，以及一些数值实验。
2022-01-31 cs.LG stat.ML
Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
EPFL Lausanne（日内瓦联邦理工学院拉沃斯分校）；UC Berkeley（伯克利大学）；Courant Institute, NYU（纽约大学Courant研究所）
该研究聚焦深度ReLU网络小权重初始化时梯度下降从原点鞍点逃逸的方向，证明最优逃逸方向深层存在低秩偏差，还提出网络呈现鞍点到鞍点的动力学，即梯度下降会依次访问瓶颈秩递增的鞍点。
2026-04-20 cs.AI cs.LG stat.ML
