Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
本文针对一阶方法难快速逃离鞍点邻域的问题，用矩阵扰动理论对严格鞍点邻域内的梯度下降做几何分析，得出可生成近似梯度轨迹的结论并推导出线性退出时间解。
2023-10-06 cs.LG cs.SY eess.SY
Gradient Descent and the Power Method: Exploiting their connection to find the leftmost eigen-pair and escape saddle points
这项工作表明，应用梯度下降（GD）与一个固定的步长，以最小化（可能非凸）二次函数是等效的梯度上运行的功率方法（PM）。因此，建立了具有固定步长的GD与具有和不具有固定动量的PM之间的联系。因此，有价值的本征信息是通过GD。最近的例子表明，GD与一个固定的步长，适用于局部二次非凸函数，可以采取指数时间逃逸鞍点（西蒙S。放大图片作者：Li Jin，Jason D.迈克尔·李Jordan，Aarti Singh和Barnabas Poczos：“梯度下降可能需要指数级时间来逃离鞍点“; S。Paternain，A. Mokhtari和A. Ribeiro：“A Newton-based method for nonconvex optimization with fast evasion of鞍点“）。在这里，这些例子被重新审视，它表明，本征值信息丢失，使例子可能无法提供一个完整的图片的潜在的实际行为的GD。因此，正在进行的调查GD的非凸函数的行为，可能与\emph{adaptive}或\emph{variable}步长，是有道理的。结果表明，在$R^2$中二次型的特殊情况下，若特征值已知，则具有固定步长的GD将在两次迭代中收敛，并可实现完全的特征分解.通过考虑梯度和迭代的动态性，提出了新的步长策略，以提高GD的实际性能。几个数值例子，这表明利用GD-PM连接的优点。
2022-11-02 cs.LG math.OC
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
Moirai；University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Iliad
研究深度线性网络中随机梯度下降在鞍点到鞍点区域的动力学，推导出各模式下的随机微分方程分解，并分析SGD噪声对特征学习的影响。
2026-04-07 cs.LG stat.ML
Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST（韩国科学技术院）；Natural Science Research Institute（自然科学研究所）；Department of Mathematical Sciences（数学科学系）
研究非凸优化中无调度方法，通过李雅普诺夫分析给出最坏情况收敛速率分析，还将无调度梯度下降建模为非自治动力系统，证明其在微小扰动下可避免严格鞍点，解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh（爱丁堡大学）
考虑一类具有可分结构的一般凸凹鞍点问题，这种形式涵盖了广泛的机器学习应用。在这种问题结构下，我们遵循鞍点问题的原始-对偶更新框架，并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明，我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比，现有的方法。此外，由于我们可以选择“小批量”块坐标更新，我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化，并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
Escape saddle points by a simple gradient-descent based algorithm
Tsinghua University（清华大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
逃逸鞍点是非凸优化问题的一个重要研究课题。在本文中，我们提出了一个简单的基于梯度的算法，使一个光滑函数$f\colon\mathbb{R}^n\to\mathbb{R}$，它输出一个$ε$ -近似二阶稳定点在$\tilde{O}(\log n/ε^{1.75})$迭代。与Jin等人的$\tilde{O}((\log n)^{4}/ε^{2})$或$\tilde{O}((\log n)^{6}/ε^{1.75})$迭代算法相比，我们的算法在$\log n$方面多项式更好，并且在$1/ε$方面与它们的复杂性相匹配。对于随机设置，我们的算法输出一个$ε$ -近似二阶平稳点在$\tilde{O}((\log n)^{2}/ε^{4})$迭代。在技术上，我们的主要贡献是实现一个强大的海森功率方法只使用梯度的想法，它可以找到负曲率附近的鞍点和实现多项式加速相比，扰动梯度下降方法在$\log n$。最后，我们还进行了数值实验，支持我们的结果。
2021-11-28 cs.LG math.OC stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
How to Escape Saddle Points Efficiently
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Microsoft Research, India（微软研究院（印度））；University of Washington（华盛顿大学）
本文证明了扰动形式的梯度下降在仅与维数多项式相关的迭代次数内收敛于二阶稳定点（即，它几乎是“无量纲的”）。该过程的收敛速度与众所周知的梯度下降到一阶稳定点的收敛速度相匹配，直到对数因子。当所有鞍点都是非退化的时，所有的二阶稳定点都是局部极小点，我们的结果表明扰动梯度下降几乎可以自由地逃离鞍点。我们的结果可以直接应用于许多机器学习应用，包括深度学习。作为这种应用的一个特定具体例子，我们表明我们的结果可以直接用于建立矩阵因式分解的尖锐全局收敛率。我们的结果依赖于鞍点周围的几何形状，这可能是独立的兴趣，非凸优化社区的一种新的表征。
2017-03-02 cs.LG math.OC stat.ML
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
A Deterministic Gradient-Based Approach to Avoid Saddle Points
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Utah（犹他大学）
具有大量鞍点的损失函数是有效训练现代机器学习模型的主要障碍之一。梯度下降等一阶方法通常是训练机器学习模型的首选方法。然而，这些方法收敛到鞍点的初始猜测的某些选择。在本文中，我们提出了最近提出的拉普拉斯平滑梯度下降的修改[Osher等人，arXiv：1806.06317]，称为修改的拉普拉斯平滑梯度下降（mLSGD），并证明其潜力，以避免鞍点，而不牺牲收敛速度。我们的分析是基于吸引区域，所考虑的数值方案收敛到鞍点的所有起始点。我们研究的吸引区域的尺寸分析和数值。对于一个规范类的二次函数，我们表明，吸引区域的mLSGD的维数是地板（（n-1）/2），因此它是显着小于梯度下降，其维数为n-1。
2020-09-28 cs.LG cs.NA math.DS
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Saddle-to-Saddle Dynamics Explains A Simplicity Bias Across Neural Network Architectures
该研究通过鞍点到鞍点动力学理论解释了神经网络架构中简洁性偏倚的成因，揭示了不同网络结构在学习过程中复杂度增加的机制。
2026-03-10 cs.LG
HOUDINI: Escaping from Moderately Constrained Saddles
Indiana University（印第安纳大学）；George Mason University（乔治梅森大学）
本文提出 HOUDINI，证明常规与随机（含噪）梯度下降可在对数数量不等式约束下逃离高维鞍点，首次在不依赖 NP 预言机的情况下取得多项式时间进展。
2023-04-20 cs.LG math.OC stat.ML
Heavy-ball Algorithms Always Escape Saddle Points
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
具有随机初始值的非凸优化算法近年来受到了广泛的关注。已有的研究表明，许多一阶方法总是避免随机起点的鞍点。本文回答了一个问题：随机初始化的非凸重球算法能否避免鞍点？答案是肯定的！由于重球算法的每次迭代都由当前点和最后点组成，直接使用现有的证明技术是困难的。不可能将算法公式化为在某个映射g下的迭代，如xk+1= g（xk）。为此，我们设计了一个新的映射在一个新的空间。对于某些传输，重球算法可以被解释为在此映射之后的迭代。从理论上证明了重球梯度下降算法比梯度下降算法具有更大的步长。同时考虑了重球邻近点法，证明了该算法总是能逃脱鞍点。
2019-07-23 cs.LG math.OC stat.ML
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
Escaping Saddle Points via Curvature-Calibrated Perturbations: A Complete Analysis with Explicit Constants and Empirical Validation
Lightcap；Bahçeşehir University（巴赫切塞希尔大学）
本文提出具有显式常数的扰动鞍点逃离下降算法PSD，严格区分下降与逃离阶段，证明其以高概率找到近似二阶稳定点并给出梯度评估复杂度上界，实验验证了对数维度依赖性和每回合函数下降，并提供PSD-Probe与PSGD扩展。
2025-08-22 cs.LG math.OC stat.ML
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Escaping Saddle Points with Stochastically Controlled Stochastic Gradient Methods
随机控制随机梯度（SCSG）方法已被证明能有效地收敛到一阶稳定点，但在非凸优化问题中，这些稳定点可能是鞍点。已经观察到随机梯度下降（SGD）步骤在深度学习和非凸半空间学习问题的鞍点周围引入各向异性噪声，这表明SGD满足这些问题的相关负曲率（CNC）条件。因此，我们建议使用一个单独的SGD步骤，以帮助SCSG方法摆脱严格的鞍点，从而在CNC-SCSG方法。SGD阶跃的作用类似于噪声注入，但更稳定。我们证明了所得到的算法收敛到一个二阶稳定点的收敛速度为$\tilde{O}( ε^{-2} log( 1/ε))$，其中$ε$是预先指定的误差容限。该算法的收敛速度与问题维数无关，比CNC-SGD算法收敛速度快。一个更一般的框架进一步设计，将建议CNC-SCSG到任何一阶方法的方法，以逃避鞍点。仿真研究表明，该算法可以逃脱鞍点在更少的时期比梯度下降法扰动的噪声注入或SGD步骤。
2021-04-23 cs.LG math.OC stat.ML
Inertial Newton Algorithms Avoiding Strict Saddle Points
CNRS（法国国家科学研究中心）；IRIT（信息科学与技术研究院）；Université de Toulouse（图卢兹大学）
本文研究了非凸环境下混合牛顿法与惯性梯度下降的二阶算法的渐近行为，证明其几乎总能逃离严格鞍点，并揭示了超参数在临界点附近定性行为中的作用，理论结果得到了数值实例支持。
2024-02-12 cs.LG math.OC
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Efficiently escaping saddle points on manifolds
Princeton University（普林斯顿大学）
黎曼流形上的光滑、非凸优化问题由于正交性、秩或正性约束而出现在机器学习中。一阶和二阶必要最优性条件规定黎曼梯度必须为零，黎曼海森必须是半正定的。Jin et al.最近关于线性空间优化的扰动梯度下降（PGD）的工作[如何有效地逃离鞍点（2017），随机梯度下降有效地逃离鞍点（2019）]，我们提出了一个版本的扰动黎曼梯度下降（PRGD），以表明可以以高概率近似满足必要的最优性条件，而无需评估Hessian。具体地说，对于一个任意的黎曼流形$\mathcal{M}$的尺寸$d$，一个足够光滑（可能非凸）的目标函数$f$，并在较弱的条件下，选择收回移动的流形上，以高概率，我们的版本的PRGD产生一个点的梯度小于$ε$和Hessian内的$\sqrtε$是半正定的$O((\log{d})^4 / ε^{2})$梯度查询。这与欧几里德情况下的PGD的复杂性相匹配。重要的是，对维度的依赖性很低。这对于包括PCA和低秩矩阵完成在内的大规模应用很重要，它们都允许流形上的自然公式。其关键技术思想是推广PRGD，区分两种类型的梯度步骤：“流形上的步骤”和“流形切空间中的扰动步骤”。“最终，这种区别使得有可能延长金等人。的分析天衣无缝。
2019-10-23 cs.CC cs.LG math.OC
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）
针对极小极大优化中GDA的振荡不稳定性，提出耗散GDA（DGDA）方法，通过引入耗散项抑制振荡，在双线性和强凸-强凹设置中实现线性收敛，并超越GDA、EG和乐观GDA等基线方法。
2024-03-14 cs.LG math.OC
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations
University of California, Berkeley（加州大学伯克利分校）
本文采用流体动力学中的高分辨率微分方程（HRDEs）为多种鞍点优化方法建模，证明该模型能区分不同方法的收敛特征，并证明OGDA在一般单调变分不等式下具有末次迭代收敛性。
2023-07-31 cs.LG math.OC stat.ML
On the saddle point problem for non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的能力的困难的主要来源是具有比全局最小值高得多的误差的局部最小值的扩散。在这里，我们认为，统计物理，随机矩阵理论和神经网络理论的结果的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的算法，鞍无牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度神经网络训练，并为其优越的性能提供了初步的数值证据。
2014-05-28 cs.LG cs.NE
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology（麻省理工学院）
我们提供了一种理论算法，用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回：局部极小值值，二阶稳定点，或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域，这使得分析变得困难。通过利用多面体几何，我们减少了总的计算到一个凸二次规划（QP）为每个隐藏节点，$O(M)$（在）平等测试，和一个（或几个）非凸QP。对于最后的QP，我们表明，我们的具体问题可以有效地解决，尽管非凸性。在良性的情况下，我们解决了一个等式约束QP，我们证明了投影梯度下降解决它的指数快速。在坏的情况下，我们必须解决更多的不等式约束QP，但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明，无论是良性的情况下，或坏的情况下，很少的不等式约束发生，这意味着我们的算法是有效的，在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
Constant Step Size Stochastic Gradient Descent for Probabilistic Modeling
INRIA - ENS（法国国家信息与自动化研究所 - 巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
随机梯度方法可以从大量数据中学习概率模型。虽然大的步长（学习率）已被证明是最好的最小二乘（例如，高斯噪声）一旦与参数平均相结合，这些通常不会导致收敛算法。本文考虑广义线性模型，即基于指数族的条件模型。我们提出了平均矩参数，而不是自然参数的恒定步长的随机梯度下降。对于有限维模型，我们表明，这有时可以（令人惊讶地）导致更好的预测比最好的线性模型。对于无限维模型，我们证明了它总是收敛到最优预测，而平均自然参数永远不会。我们说明了我们的研究结果与模拟的合成数据和经典的基准与许多观察。
2018-11-21 cs.LG math.OC stat.ML
Boundary Conditions for Linear Exit Time Gradient Trajectories Around Saddle Points: Analysis and Algorithm
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
与线性相关的一阶方法已经成为大规模数值最优化问题的主力。这些问题中的许多涉及非凸目标函数与多个鞍点，这需要了解的行为的离散轨迹的一阶方法在这些功能的几何景观。本文研究了一阶离散方法收敛于非凸最优化问题的局部极小值的问题，该问题包含几何景观中的严格鞍点。为此，重点分析了鞍点邻域附近的离散梯度轨迹，导出了这些轨迹在线性时间内逃离严格鞍点邻域的充分条件，探讨了这些轨迹在严格鞍点邻域内的收缩和扩张动力学，这些邻域的特征是具有中等大小的梯度，描述了这些轨迹的非弯曲性质，并强调了这些轨迹在离开严格鞍点之后不能重新进入它们周围的邻域。基于这些见解和分析，本文然后提出了一个简单的变种香草梯度下降算法，称为曲率条件正则梯度下降（CCRGD）算法，它利用检查初始边界条件，以确保其轨迹可以逃脱严格的鞍邻域在线性时间。文中还对CCRGD算法的收敛性进行了分析，包括其收敛到局部极小值的收敛速率。数值实验，然后提供了一个检验函数以及低秩矩阵分解问题，以评估所提出的算法的有效性。
2022-03-09 cs.LG cs.SY eess.SY
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Escaping Saddles with Stochastic Gradients
ETH（苏黎世联邦理工学院）
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差，并表明随机梯度沿这些方向表现出很强的分量。此外，我们表明，-相反的情况下，各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察，我们提出了一个新的假设下，我们表明，显式的，各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点，在一些迭代，是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
Escaping from saddle points on Riemannian manifolds
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们考虑黎曼流形$\mathcal{M}$上的非凸光滑函数$f$的极小化问题.我们表明，扰动版本的黎曼梯度下降算法收敛到一个二阶稳定点（因此能够逃脱鞍点上的流形）。收敛速率取决于$1/ε^2$的准确性$ε$，它匹配的速度只为无约束光滑最小化。收敛速度与流形维数$d$成多项式关系，因此几乎是无量纲的。速率也具有多项式依赖于描述流形的曲率和函数的光滑度的参数。虽然无约束的问题（欧几里德设置）是很好的研究，我们的结果是第一次证明这样的非凸，流形约束问题的速度。
2019-06-18 cs.LG math.OC stat.ML
Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity
EPFL（洛桑联邦理工学院 (EPFL)）
深度线性网络（DLN）的动态特性受到初始化$θ_0$时参数方差$σ^2$的显著影响。对于宽度为$w$的DLN，我们给出了一个相变w.r.t.方差$σ^2=w^{-γ}$的缩放$γ$为$w\to\infty$：对于大方差（$γ<1$），$θ_0$非常接近全局最小值但远离任何鞍点，而对于小方差（$γ>1$），$θ_0$接近鞍点且远离任何全局最小值。虽然第一种情况与研究充分的NTK制度相对应，但第二种情况却不太清楚。这激发了对案例$γ\to +\infty$的研究，在该案例中，我们推测了一个鞍到鞍动态：在整个训练过程中，梯度下降访问一系列鞍的邻域，每个鞍对应于秩递增的线性映射，直到达到稀疏的全局最小值。我们支持这一猜想的前两个鞍之间的动力学定理，以及一些数值实验。
2022-01-31 cs.LG stat.ML
Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
EPFL Lausanne（日内瓦联邦理工学院拉沃斯分校）；UC Berkeley（伯克利大学）；Courant Institute, NYU（纽约大学Courant研究所）
该研究聚焦深度ReLU网络小权重初始化时梯度下降从原点鞍点逃逸的方向，证明最优逃逸方向深层存在低秩偏差，还提出网络呈现鞍点到鞍点的动力学，即梯度下降会依次访问瓶颈秩递增的鞍点。
2026-04-20 cs.AI cs.LG stat.ML
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Are Saddles Good Enough for Deep Learning?
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，人们对从优化角度理解深度神经网络的兴趣越来越大。现在可以理解的是，收敛到低成本的局部最小值足以使这些模型在实践中变得有效。但是，在这项工作中，我们基于最近的理论发现和实证研究提出了一个新的假设，即深度神经网络模型实际上会收敛到具有高度退化的鞍点。我们从这项工作中获得的发现是新的，并且可以对基于梯度下降的深度网络训练方法的发展产生重大影响。我们使用对标准数据集（如MNIST和CIFAR-10）的广泛实验评估验证了我们的假设，并且还表明，最近试图逃离马鞍的努力最终收敛到具有高简并性的马鞍，我们将其定义为“好马鞍”。我们还验证了著名的维格纳半圆定律在我们的实验结果。
2017-06-07 cs.LG cs.NE stat.ML
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization
University of Washington（华盛顿大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；UC Berkeley（加州大学伯克利分校）
考虑光滑凹凸双线性耦合鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}~F(\mathbf{x}) + H(\mathbf{x},\mathbf{y}) - G(\mathbf{y})$，其中可以得到$F$，$G$以及双线性耦合函数$H$的随机一阶预言.基于变分不等式的标准随机外梯度分析，我们提出了一个随机\emph{accelerated gradient-extragradient (AG-EG)}下降上升算法，结合外梯度和Nesterov的加速一般随机设置。该算法利用预定的重新启动，承认细粒度的非渐近收敛速度，匹配已知的下限由\citet{ibrahim2020linear}和\citet{zhang2021lower}在其相应的设置，加上一个额外的统计误差项有界随机噪声是最佳的常数前因子。这是第一个结果，实现了这样一个相对成熟的鞍点优化的最优性的表征。
2022-08-12 cs.CC cs.GT cs.LG
Probabilistic Line Searches for Stochastic Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在确定性优化中，线搜索是确保稳定性和效率的标准工具。在只有随机梯度可用的情况下，到目前为止还没有直接等价的公式，因为不确定的梯度不允许一个严格的决策序列折叠搜索空间。我们构建了一个概率线搜索，结合现有的确定性方法的结构与贝叶斯优化的概念。我们的方法保留了一个高斯过程代理的单变量优化目标，并使用概率相信沃尔夫条件，以监测下降。该算法具有计算量小、无需用户控制参数等优点。实验表明，它有效地消除了需要定义一个学习率的随机梯度下降。
2016-01-18 cs.LG math.OC stat.ML
Gradient Descent Only Converges to Minimizers: Non-Isolated Critical Points and Invariant Regions
Georgia Institute of Technology（佐治亚理工学院）；Singapore University of Technology & Design（新加坡科技设计大学）
给定一个非凸的二次可微费用函数f，我们证明了使梯度下降收敛到鞍点的初始条件集，其中\nabla^2 f至少有一个严格负的特征值具有（勒贝格）测度为零，即使费用函数f具有非孤立的临界点，回答了[Lee，Simchowitz，Jordan，Recht，COLT 2016]中的一个公开问题。此外，这个结果扩展到前向不变的凸子空间，允许弱（非全局Lipschitz）光滑性假设。最后，我们给出了允许步长的上界。
2016-06-07 cs.LG math.DS
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University（普林斯顿大学）
通过提出一种新的初始化方法：零非对称（ZAS）初始化，分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下，对于任意目标矩阵，梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点，该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化（Xavier或近似恒等式）的$\exp(Ω(L))$收敛时间[Shamir，2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性，特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Convergence to minima for the continuous version of Backtracking Gradient Descent
Universitetet i Oslo（奥斯陆大学）
本文的主要结果是：{PDMATHAMM定理。}设$f:\mathbb{R}^k\rightarrow \mathbb{R}$是一个$C^{1}$函数，使得$\nabla f$是局部Lipschitz连续的。此外，假设$f$在其广义鞍点附近是$C^2$。修正实数$δ_0>0$和$0<α<1$。然后存在光滑函数$h:\mathbb{R}^k\rightarrow (0,δ_0]$，使得由$H(x)=x-h(x)\nabla f(x)$定义的映射$H:\mathbb{R}^k\rightarrow \mathbb{R}^k$具有以下性质：（i）对于所有$x\in \mathbb{R}^k$，我们有$f(H(x)))-f(x)\leq -αh(x)||\nabla f(x)||^2$。(ii)对于每个$x_0\in \mathbb{R}^k$，序列$x_{n+1}=H(x_n)$或者满足$\lim_{n\rightarrow\infty}||x_{n+1}-x_n||=0$或者满足$ \lim_{n\rightarrow\infty}||x_n||=\infty$。$\{x_n\}$的每个聚类点都是$f$的一个临界点。此外，如果$f$具有至多可数个临界点，则$\{x_n\}$或者收敛到$f$的临界点，或者收敛到$\lim_{n\rightarrow\infty}||x_n||=\infty…
2019-11-13 cs.LG cs.NA math.NA
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
