Escaping Saddle Points with Adaptive Gradient Methods
MIT EECS（麻省理工学院电子工程与计算机科学系）；Google Research, New York（谷歌研究院纽约分部）
Adam和RMSProp等自适应方法广泛用于深度学习，但尚未得到很好的理解。在本文中，我们寻求一个清晰的，干净的和精确的表征他们的行为在非凸设置。为此，我们首先提供了一个新的自适应方法预处理SGD，其中预条件估计在线的方式。通过研究预处理器本身，我们阐明了它的目的：它重新调整随机梯度噪声在平稳点附近是各向同性的，这有助于逃离鞍点。此外，我们表明，自适应方法可以有效地估计上述预条件。通过粘合在一起，这两个组件，我们提供了第一（据我们所知）的二阶收敛结果的任何自适应方法。从我们的分析中得出的关键见解是，与SGD相比，自适应方法更快地逃离鞍点，并且可以更快地整体收敛到二阶稳定点。
2020-02-03 cs.LG math.OC stat.ML
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们考虑逃逸鞍点的非凸问题，只有功能评估可以访问。虽然已经提出了各种各样的作品，他们中的大多数需要二阶或一阶信息，只有少数人利用零阶方法，特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白，在本文中，我们提出了两个零阶负曲率寻找框架，可以取代海森向量积计算，而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD，ZO-SGD，ZO-SCSG，ZO-SPIDER，并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点，与以前的零阶工作相比，具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC
Escaping Saddle Points in Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文研究了凸集约束下光滑非凸优化问题$\mathcal{C}$的鞍点逃逸问题。我们提出了一个通用的框架，产生收敛到二阶稳定点的问题，如果凸集$\mathcal{C}$是简单的二次目标函数。具体来说，我们的结果保持，如果可以找到一个$ρ$ -近似解的二次规划受$\mathcal{C}$在多项式时间，其中$ρ<1$是一个正常数，取决于结构的集合$\mathcal{C}$。在此条件下，我们表明，所提出的框架产生的迭代序列达到$(ε,γ)$ -二阶稳定点（SOSP）在最多$\mathcal{O}(\max\{ε^{-2},ρ^{-3}γ^{-3}\})$迭代。当凸集$\mathcal{C}$可以写成一组二次约束且目标函数Hessian在凸集$\mathcal{C}$上具有特定结构时，我们进一步刻画了达到SOSP的整体复杂性.最后，我们将我们的结果扩展到随机设置和随机梯度和Hessian评估的数量，以达到一个$(ε,γ)$ -SOSP。
2018-10-09 cs.LG math.OC stat.ML
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology（麻省理工学院）
我们提供了一种理论算法，用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回：局部极小值值，二阶稳定点，或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域，这使得分析变得困难。通过利用多面体几何，我们减少了总的计算到一个凸二次规划（QP）为每个隐藏节点，$O(M)$（在）平等测试，和一个（或几个）非凸QP。对于最后的QP，我们表明，我们的具体问题可以有效地解决，尽管非凸性。在良性的情况下，我们解决了一个等式约束QP，我们证明了投影梯度下降解决它的指数快速。在坏的情况下，我们必须解决更多的不等式约束QP，但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明，无论是良性的情况下，或坏的情况下，很少的不等式约束发生，这意味着我们的算法是有效的，在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
Escaping Saddle Points via Curvature-Calibrated Perturbations: A Complete Analysis with Explicit Constants and Empirical Validation
Lightcap；Bahçeşehir University（巴赫切塞希尔大学）
本文提出具有显式常数的扰动鞍点逃离下降算法PSD，严格区分下降与逃离阶段，证明其以高概率找到近似二阶稳定点并给出梯度评估复杂度上界，实验验证了对数维度依赖性和每回合函数下降，并提供PSD-Probe与PSGD扩展。
2025-08-22 cs.LG math.OC stat.ML
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD（加州大学圣迭戈分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UC Berkeley（加州大学伯克利分校）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
Efficiently Escaping Saddle Points in Bilevel Optimization
University of California, Davis（加州大学戴维斯分校）；University at Buffalo（纽约州立大学布法罗分校）；Rice University（莱斯大学）
本文提出扰动AID和iNEON算法，以高效逃离双层优化中的鞍点并找到局部最小值，同时首次给出扰动GDmax的非渐近分析。
2023-05-10 cs.LG
Escaping Saddle Points with Compressed SGD
Indiana University（印第安纳大学）
随机梯度下降（SGD）是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分，但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题，最近的工作表明，SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中，我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点（$\varepsilon$ -SOSP），这是尽我们所知的第一个结果，这种类型。此外，我们表明，当随机梯度不是Lipschitz时，具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人，2021]（JACM），同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信，其中$d$是优化问题的维度。我们提出了额外的结果的情况下，压缩机是任意的，当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations
UC Berkeley（加州大学伯克利分校）；Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
基于统计物理学中自排斥随机游动的超扩散性，本文提出了一种新的优化算法扰动机制。在这种机制中，扰动通过占据时间的概念适应于状态的历史。将该机制引入扰动梯度下降（PGD）和扰动加速梯度下降（PAGD）框架，提出了两种新的算法：适应占用时间的扰动梯度下降（PGDOT）及其加速算法（PAGDOT）. PGDOT和PAGDOT收敛到二阶稳定点至少一样快PGD和PAGD，分别，因此，他们保证避免陷入非退化鞍点。理论分析证实了实证研究中，新的算法始终逃脱鞍点和超越不仅是他们的同行，PGD和PAGD，但也包括其他流行的替代品，随机梯度下降，亚当，AMSGrad，和RMSProp。
2022-03-27 cs.LG math.OC
Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method
Johns Hopkins University（约翰斯·霍普金斯大学）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个迭代算法低秩矩阵完成，可以被解释为一个迭代加权最小二乘（IRLS）算法和鞍逃逸平滑牛顿法适用于一个非凸秩代理目标。它结合了以前的IRLS方法的有利的数据效率与几个数量级的改进的可扩展性。我们的方法达到了本地平方收敛速率已经为样本个数接近信息理论极限。我们在数值实验中表明，与许多国家的最先进的方法，我们的方法是能够完成非常病态矩阵的条件数高达$10^{10}$从几个样本。
2020-09-07 cs.IT cs.LG math.IT
Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
School of Bioengineering, Qilu University of Technology (Shandong Academy of Sciences)（青岛科技大学生物工程学院）；Shandong Provincial Key Laboratory of Biophysics, Institute of Biophysics, Dezhou University（山东省生物物理重点实验室，生物物理研究所，德州市大学）；Shandong Provincial Hospital, Shandong First Medical University（山东省人民医院，山东第一医科大学）
本文借鉴分子动力学中的Dimer曲率探测思想，提出仅用梯度近似Hessian最小特征方向并正交投影梯度的DEO框架，以帮助神经网络训练逃离鞍点和平坦区域。
2025-07-26 cs.AI cs.LG stat.ML
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Quantum algorithms for escaping from saddle points
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Mathematics and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学数学系及量子信息与计算机科学联合中心）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Computer Science and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学计算机科学系及量子信息与计算机科学联合中心）
我们开始研究具有可证明保证的逃离鞍点的量子算法。给定一个函数$f\colon\mathbb{R}^{n}\to\mathbb{R}$，我们的量子算法使用对量子评估oracle的$\tilde{O}(\log^{2} (n)/ε^{1.75})$查询输出一个$ε$近似二阶稳定点（即，零阶Oracle）。与Jin等人提出的经典最新算法相比，使用$\tilde{O}(\log^{6} (n)/ε^{1.75})$查询梯度预言（即，一阶预言机），我们的量子算法在$\log n$方面多项式更好，并且在$1/ε$方面与其复杂度相匹配。从技术上讲，我们的主要贡献是通过模拟量子波动方程来取代梯度下降方法中的经典扰动，这构成了对量子查询复杂度的改进，其中包含用于逃离鞍点的$\log n$因子。我们还展示了如何使用量子梯度计算算法，由于约旦取代经典的梯度查询量子评估查询具有相同的复杂性。最后，我们还进行了数值实验，支持我们的理论研究结果。
2021-08-19 cs.DS cs.LG math.OC
Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST（韩国科学技术院）；Natural Science Research Institute（自然科学研究所）；Department of Mathematical Sciences（数学科学系）
研究非凸优化中无调度方法，通过李雅普诺夫分析给出最坏情况收敛速率分析，还将无调度梯度下降建模为非自治动力系统，证明其在微小扰动下可避免严格鞍点，解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Power-EF算法，通过误差反馈压缩通信，首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点，且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
Escaping Saddle Points Faster with Stochastic Momentum
Georgia Institute of Technology（佐治亚理工学院）
具有随机动量的随机梯度下降（SGD）在非凸随机优化中很受欢迎，特别是用于深度神经网络的训练。在标准SGD中，参数是通过在一批示例上沿着当前梯度的路径进行改进来更新的，其中添加“动量”项使更新偏向于先前参数变化的方向。在非随机凸优化中，可以证明动量调整在许多设置中可证明地减少收敛时间，但这样的结果在随机和非凸设置中是难以捉摸的。与此同时，一个广泛观察到的经验现象是，在训练深度网络时，随机动量似乎显着改善了收敛时间，它的变体在其他流行更新方法的发展中蓬勃发展，例如ADAM [KB 15]，AMSGrad [RKK 18]等。在本文中，我们提出了一个答案：随机动量改进了深度网络训练，因为它修改了SGD以更快地逃离鞍点，从而更快地找到二阶稳定点。我们的理论结果也揭示了如何选择理想的动量参数的相关问题-我们的分析表明，$β\in [0,1)$应该是大的（接近1），这与经验发现相符。我们还提供了进一步验证这些结论的实验结果。
2021-06-05 cs.LG
Escaping Saddle-Points Faster under Interpolation-like Conditions
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Management Sciences, University of Waterloo（滑铁卢大学管理科学系）；Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系）；University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
在本文中，我们表明，在过参数化的几个标准的随机最优化算法逃脱鞍点和收敛到局部极小更快。过参数化模型的一个基本方面是它们能够插值训练数据。我们表明，在插值样的假设下，满足随机梯度在过参数化设置，一阶预言复杂性的扰动随机梯度下降（PSGD）算法达到$ε$ -本地最小，匹配相应的确定性率的$\tilde{\mathcal{O}}(1/ε^{2})$。接下来我们分析了类插值条件下的随机三次正则牛顿（SCRN）算法，并证明了在类插值条件下达到$ε$ -局部极小的预言复杂度为$\tilde{\mathcal{O}}(1/ε^{2.5})$ .虽然这种获得的复杂度优于PSGD或SCRN的相应复杂度，没有类似插值的假设，它不匹配的速度$\tilde{\mathcal{O}}(1/ε^{1.5})$对应于确定性的立方正则牛顿方法。似乎进一步基于海森的插值假设是必要的，以弥补这一差距。我们还讨论了相应的零阶设置的改进的复杂性。
2020-09-28 cs.LG math.OC math.ST
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Efficiently escaping saddle points on manifolds
Princeton University（普林斯顿大学）
黎曼流形上的光滑、非凸优化问题由于正交性、秩或正性约束而出现在机器学习中。一阶和二阶必要最优性条件规定黎曼梯度必须为零，黎曼海森必须是半正定的。Jin et al.最近关于线性空间优化的扰动梯度下降（PGD）的工作[如何有效地逃离鞍点（2017），随机梯度下降有效地逃离鞍点（2019）]，我们提出了一个版本的扰动黎曼梯度下降（PRGD），以表明可以以高概率近似满足必要的最优性条件，而无需评估Hessian。具体地说，对于一个任意的黎曼流形$\mathcal{M}$的尺寸$d$，一个足够光滑（可能非凸）的目标函数$f$，并在较弱的条件下，选择收回移动的流形上，以高概率，我们的版本的PRGD产生一个点的梯度小于$ε$和Hessian内的$\sqrtε$是半正定的$O((\log{d})^4 / ε^{2})$梯度查询。这与欧几里德情况下的PGD的复杂性相匹配。重要的是，对维度的依赖性很低。这对于包括PCA和低秩矩阵完成在内的大规模应用很重要，它们都允许流形上的自然公式。其关键技术思想是推广PRGD，区分两种类型的梯度步骤：“流形上的步骤”和“流形切空间中的扰动步骤”。“最终，这种区别使得有可能延长金等人。的分析天衣无缝。
2019-10-23 cs.CC cs.LG math.OC
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems
Massachusetts Institute of Technology（麻省理工学院）
本文研究光滑凹凸鞍点问题。具体地说，我们分析了最后一个收敛性的Extragradiation（EG）算法。众所周知，EG的遍历（平均）迭代以$O(1/T)$的速率收敛（Nemirovski，2004）。在本文中，我们证明了EG的最后一个收敛速度为$O(1/\sqrt{T})$。据我们所知，这是第一个文件，以提供一个收敛速度保证的最后一次搜索的EG光滑凹凸鞍点问题。此外，我们证明了这个速度是紧的，证明了一个下界的$Ω(1/\sqrt{T})$的最后一个。因此，这个下界显示了二次分离的遍历和最后的迭代光滑凹凸鞍点问题的收敛速度。
2020-07-07 cs.LG math.OC stat.ML
A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization
College of Computer Science and Technology（计算机科学与技术学院）；College of Computer and Data Science（计算机与数据科学学院）；College of Information Engineering（信息工程学院）；School of Science（科学学院）；Shandong Provincial Key Laboratory of Network Based Intelligent Computing（网络基于智能计算的山东省重点实验室）
本文从几何角度解释了变量消除算法如何通过重塑临界点结构将原始公式中的鞍点转化为简化景观中的局部极大值，从而有效解决非凸优化中的鞍点障碍，并在深度网络训练中显著提升稳定性与收敛效果。
2025-11-03 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Linear Speedup in Saddle-Point Escape for Decentralized Non-Convex Optimization
School of Engineering, \' E cole Polytechnique F\' e d\' e rale de Lausanne
在适当的合作协议和参数选择下，完全分散的随机优化解决方案已被证明与集中式解决方案的性能相匹配，并导致在强凸设置中相对于非合作方法的线性加速（在代理数量上）。最近，这些结果已被扩展到追求一阶平稳点在非凸环境。在这项工作中，我们详细研究了依赖于二阶收敛保证的谱性质的组合政策的非凸多智能体优化。我们建立了线性加速鞍点逃逸时间的对称组合策略的代理数量，并研究了进一步改进的潜力，采用不对称的组合权重。结果表明，线性加速可以预期在追求二阶稳定点，其中排除局部最大值以及严格的鞍点，并对应于在许多重要的学习设置中的局部甚至全局最小值。
2019-10-30 cs.LG cs.MA math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University（希伯来大学）
我们得出的经验风险最小化（ERM）的背景下，最小化非凸风险，承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明，这些有效的算法是统计稳定的，也推广得很好。特别是，我们得到快速的利率类似的界限，往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Escape saddle points by a simple gradient-descent based algorithm
Tsinghua University（清华大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
逃逸鞍点是非凸优化问题的一个重要研究课题。在本文中，我们提出了一个简单的基于梯度的算法，使一个光滑函数$f\colon\mathbb{R}^n\to\mathbb{R}$，它输出一个$ε$ -近似二阶稳定点在$\tilde{O}(\log n/ε^{1.75})$迭代。与Jin等人的$\tilde{O}((\log n)^{4}/ε^{2})$或$\tilde{O}((\log n)^{6}/ε^{1.75})$迭代算法相比，我们的算法在$\log n$方面多项式更好，并且在$1/ε$方面与它们的复杂性相匹配。对于随机设置，我们的算法输出一个$ε$ -近似二阶平稳点在$\tilde{O}((\log n)^{2}/ε^{4})$迭代。在技术上，我们的主要贡献是实现一个强大的海森功率方法只使用梯度的想法，它可以找到负曲率附近的鞍点和实现多项式加速相比，扰动梯度下降方法在$\log n$。最后，我们还进行了数值实验，支持我们的结果。
2021-11-28 cs.LG math.OC stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
梯度下降是一种流行的优化算法，其在凸设置中的性能大多是很好理解的。在非凸设置，它已被证明，梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明，扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人，2015，Ge et. 2017]。在本文中，我们证明了一个否定的结果：梯度下降可能需要指数时间来逃离鞍点，非病态的二维函数。虽然我们的重点是理论，我们也进行实验验证我们的理论结果。通过我们的分析，我们表明，随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University（康奈尔大学）
最近的工作表明，随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化，通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是，各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是，典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems
Department of Electrical and Computer Engineering, University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）
研究了求解凸-凹无约束Min-Max问题鞍点的乐观梯度下降-上升（OGDA）方法和额外梯度（EG）方法的迭代复杂性。要做到这一点，我们首先表明，OGDA和EG可以被解释为近似的变种的近点法。这类似于[Nemirovski，2004]中所采取的方法，该方法将EG分析为“概念镜像”的近似。在本文中，我们强调如何梯度使用OGDA和EG试图近似的近点法的梯度。然后，我们利用这种解释表明，这两种算法产生的迭代，保持在一个有界集。我们进一步表明，这两种算法产生的平均迭代的原始对偶间隙收敛率为$\mathcal{O}(1/k)$。我们的理论分析是有趣的，因为它提供了第一个收敛速度估计OGDA在一般的凹凸设置。此外，它提供了一个简单的收敛性分析EG算法的函数值，而不使用紧性假设。
2020-09-29 cs.LG math.OC stat.ML
On the saddle point problem for non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的能力的困难的主要来源是具有比全局最小值高得多的误差的局部最小值的扩散。在这里，我们认为，统计物理，随机矩阵理论和神经网络理论的结果的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的算法，鞍无牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度神经网络训练，并为其优越的性能提供了初步的数值证据。
2014-05-28 cs.LG cs.NE
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points
UC Berkeley（加州大学伯克利分校）；Meta AI
研究了过参数化在求解非凸优化问题中的作用。重点是一类重要的低秩矩阵传感，我们提出了一个无限层次的非凸问题，通过提升技术和Burer-Monteiro分解。这与现有的过参数化技术形成对比，在现有的过参数化技术中，搜索秩受到矩阵的维度的限制，并且它不允许任意程度的丰富的过参数化。我们表明，虽然虚假的解决方案的问题仍然通过层次的固定点，他们将被转化为严格的鞍点（在某些技术条件下），并可以逃脱通过本地搜索法。这是文献中的第一个结果，表明过参数化创建一个负曲率逃避虚假的解决方案。我们还推导出一个界限上有多少过参数化requited，使消除虚假的解决方案。
2023-02-15 cs.LG math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Efficiently avoiding saddle points with zero order methods: No gradients required
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们考虑非凸优化的无导数算法的情况，也称为零级算法，其仅使用函数求值而不是梯度。对于各种各样的梯度逼近器的基础上有限差分，我们建立渐近收敛二阶稳定点使用一个精心定制的应用程序的稳定流形定理。在效率方面，我们引入了一种噪声零阶方法，该方法收敛到二阶稳定点，即避免了鞍点。我们的算法只使用$\tilde{\mathcal{O}}(1 / ε^2)$近似梯度计算，因此，它匹配的收敛速度保证其精确的梯度对应常数。与以前的工作相比，我们的收敛速度分析避免了施加额外的尺寸依赖于非凸零级优化所需的迭代次数减慢。
2019-10-29 cs.LG math.OC stat.ML
Optimality and Stability in Non-Convex Smooth Games
School of Computer Science（计算机科学学院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
收敛到鞍点的凹凸函数已经研究了几十年，而近年来已经看到了激增的兴趣，非凸（零和）光滑游戏，其最近的广泛应用的动机。如何定义局部最优点以及哪种算法能够收敛到局部最优点仍然是一个有趣的研究挑战。一个有趣的概念被称为局部极小极大点，它与广为人知的梯度下降上升算法密切相关。本文的目的是提供一个全面的分析局部极小极大点，如它们与其他解决方案的概念和最优性条件的关系。我们发现，局部鞍点可以被视为一种特殊类型的局部极大极小点，称为一致局部极大极小点，在温和的连续性假设。在（非凸）二次博弈中，我们证明了局部极大极小点（在某种意义上）等价于全局极大极小点。最后，我们研究了梯度算法在局部极小极大点附近的稳定性。虽然梯度算法在非退化情况下可以收敛到局部/全局极小极大点，但在一般情况下它们往往会失败。这意味着在非凸光滑博弈中，需要新的算法或超越鞍点和极大极小点的概念。
2022-02-03 cs.LG math.OC stat.ML
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Escaping the Local Minima via Simulated Annealing: Optimization of Approximately Convex Functions
The Fuqua School of Business, Duke University（德克萨斯大学福克商学院）；Department of Statistics, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计系）；Department of Statistics and Department of Mathematics, University of Washington（华盛顿大学统计系和数学系）
本文研究了如何通过模拟退化方法优化近似凸函数，提出了一种基于Hit-and-Run方法的采样算法，能够有效避免局部极小值问题，并在零阶随机凸优化中实现了高效的ε-极小值求解。
2015-06-15 cs.LG cs.NA math.NA
Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
本文提出了一种确定性框架，通过模拟提升方法在非凸矩阵感知中证明性地逃离虚假局部极小值，无需实际提升计算，且具有最小的计算成本。
2026-08-20 cs.LG math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis（加州大学戴维斯分校电气与计算机工程系）；Simon Business School, University of Rochester（罗切斯特大学西蒙商学院）
本文提出扰动近端算法，用于逃离非光滑弱凸函数的严格鞍点，并证明在标准假设下可在O(ε^{-2}log(d)^4)次迭代内找到ε-近似局部最小值。
2025-07-19 cs.LG math.OC
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Boston University（波士顿大学）
提出GenFlow算法及其动量变体，基于固定时间稳定性理论设计加速优化框架，在固定时间内收敛至满足PL不等式的最优解，并一致有界地快速逃离非退化鞍点，解决极小极大问题。
2023-10-22 cs.AI cs.LG cs.SY
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
A Generic Approach for Escaping Saddle points
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute for Technology（麻省理工学院）；Ecole Normale Superieure（巴黎高等师范学院）；Amazon Web Services（亚马逊云科技）
使用一阶方法优化非凸问题的一个主要挑战是鞍点的存在。一阶方法经常卡在鞍点上，大大降低了它们的性能。一般来说，要想摆脱鞍形，必须使用二阶方法。然而，大多数关于二阶方法的工作广泛依赖于昂贵的基于Hessian的计算，使得它们在大规模设置中不切实际。为了应对这一挑战，我们引入了一个通用的框架，最大限度地减少海森计算，同时可证明收敛到二阶临界点。我们的框架仔细地在一阶和二阶子程序之间交替使用，仅在鞍点附近使用后者，并产生与最先进技术相竞争的收敛结果。实证结果表明，我们的策略也具有良好的实际性能。
2017-09-05 cs.AI cs.LG
Inertial Newton Algorithms Avoiding Strict Saddle Points
CNRS（法国国家科学研究中心）；IRIT（信息科学与技术研究院）；Université de Toulouse（图卢兹大学）
本文研究了非凸环境下混合牛顿法与惯性梯度下降的二阶算法的渐近行为，证明其几乎总能逃离严格鞍点，并揭示了超参数在临界点附近定性行为中的作用，理论结果得到了数值实例支持。
2024-02-12 cs.LG math.OC
Review Non-convex Optimization Method for Machine Learning
本文综述了机器学习中非凸优化的关键方法与应用，重点分析其通过稀疏正则化、逃离鞍点、随机梯度下降及模型剪枝压缩等手段降低计算成本并提升模型性能的路径，同时展望了可扩展性与泛化性等未来研究方向。
2024-10-02 cs.AI cs.LG
Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data
Indian Institute of Science（印度科学学院）
真实世界的数据集表现出不同类型和程度的不平衡。基于重新加权和损失的边际调整的几种技术经常被用来提高神经网络的性能，特别是在少数类上。在这项工作中，我们分析类不平衡的学习问题，通过检查损失景观的神经网络训练与重新加权和基于边缘的技术。具体来说，我们研究了类间损失的Hessian谱密度，通过该谱密度，我们观察到网络权重收敛到少数类损失景观中的鞍点。根据这一观察，我们还发现，设计用于逃离鞍点的优化方法可以有效地用于提高少数类的泛化能力。我们进一步从理论上和经验上证明，夏普意识最小化（SAM），最近的技术，鼓励收敛到一个平坦的最小值，可以有效地用于逃避鞍点少数类。使用SAM导致少数类的准确性比最先进的矢量缩放损失增加6.2%，导致不平衡数据集的总体平均增加4%。该代码可从以下网址获得：https://github.com/val-iisc/Saddle-LongTail。
2022-12-28 cs.CV cs.LG
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
