An implicit gradient-descent procedure for minimax problems
提出了一种基于对策论的求解函数鞍点的方法。虽然显式下降法已知具有严重的收敛问题，但隐式方法在对抗环境中是自然的，因为它们考虑了其他玩家的最优策略。所提出的隐格式格式具有自适应的学习率，使其在鞍点附近过渡到牛顿法。收敛性通过局部分析，并在非凹凸设置，在最优输运和线性规划彻底的数值例子。提出了一种适用于高维问题的自组织拟牛顿法，该方法需要对目标函数的Hessian函数进行反演，计算量大.
2019-06-01 math.OC
Distributed coordination for nonsmooth convex optimization via saddle-point dynamics
本文考虑连续时间协调算法的代理网络，寻求集体解决一般类的非光滑凸优化问题与固有的分布式结构。我们的算法设计建立在非光滑凸规划的解作为增广拉格朗日量的鞍点的特征上。我们表明，相关的鞍点动力学是渐近正确的，但在一般情况下，不分布，因为存在一个全球罚参数。这促使设计一个不连续的鞍点样算法，享有相同的收敛性能，是完全服从分布式实现。我们的收敛性证明依赖于一个新的全球李雅普诺夫函数的鞍点动态识别。这种新颖性也使我们能够确定温和的凸性和正则性条件的目标函数，保证指数收敛速度的凸优化问题的等式约束的算法。各种例子说明了我们的讨论。
2017-05-16 math.OC
Distributed Asynchronous Mixed-Integer Linear Programming with Feasibility Guarantees
本文提出一种分布式异步鞍点计算方法求解混合整数线性规划，通过线性规划松弛、正则化Lagrangian及并行算法，保证解的可行性且对异步通信具有容忍度。
2024-09-27 math.OC
High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method
本文研究随机强凸-强凹鞍点问题，为SAPD建立高概率收敛保证、极限协方差公式与紧下界，并从CVaR、EVaR和$χ^2$-散度角度分析风险规避权衡。
2023-07-14 math.OC
Alternating Proximity Mapping Method for Strongly Convex-Strongly Concave Saddle-Point Problems
本文将交替邻近映射方法从凸-凹鞍点问题扩展到强凸-强凹鞍点问题，给出保证迭代序列及函数值序列线性收敛的充分条件。
2023-10-31 math.OC
Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST（韩国科学技术院）；Natural Science Research Institute（自然科学研究所）；Department of Mathematical Sciences（数学科学系）
研究非凸优化中无调度方法，通过李雅普诺夫分析给出最坏情况收敛速率分析，还将无调度梯度下降建模为非自治动力系统，证明其在微小扰动下可避免严格鞍点，解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
Linear Regularizers Enforce the Strict Saddle Property
严格鞍点性质的满足已经成为非凸优化中的一个标准假设，它保证了许多一阶优化算法几乎总是能逃离鞍点。然而，在机器学习中存在不满足此属性的函数，例如具有至少两个隐藏层的神经网络的损失函数。诸如梯度下降的一阶方法可以收敛到这样的函数的非严格鞍点，并且目前不存在可靠地逃离非严格鞍点的任何一阶方法。为了满足这一需求，我们证明了用线性项正则化函数会强制执行严格的鞍点性质，并且我们提供了仅局部正则化的理由，即，当梯度的范数低于某个阈值时。我们分析了这种形式的正则化可能导致的分叉，然后我们提供了一个正则化的选择规则，只依赖于一个目标函数的梯度。这一规则是为了保证梯度下降将逃脱附近的一个广泛的类的非严格的鞍点，这种行为证明了在优化文献中常见的非严格的鞍点的数值例子。
2022-08-19 math.OC
The role of convexity on saddle-point dynamics: Lyapunov function and robustness
本文研究了与一个凹凸函数相关联的投影鞍点动力学，我们称之为鞍函数。动态由对应于凸性的变量中的鞍函数的梯度下降和对应于凸性的变量中的（投影）梯度上升组成。我们研究的作用，局部和/或全局性质的凸性-凸性的鞍函数发挥保证收敛性和鲁棒性的动态。在假设鞍函数是两次连续可微的情况下，我们用Hessian的对角块给出了该动力学的轨道的ω极限集的一个新的刻画.利用这一特征，我们建立了在鞍函数的局部强凸性下动力学的全局渐近收敛。当强凸性全局成立时，我们建立了三个结果。首先，我们确定了一个李雅普诺夫函数（沿轨迹严格减少）的投影鞍点动态时，鞍函数对应于一般的约束凸优化问题的拉格朗日。其次，当鞍函数是一个等式约束最优化问题的拉格朗日函数时，我们通过提供一个ISS李雅普诺夫函数证明了鞍点动态的输入-状态稳定性。第三，我们使用后者的结果来设计一个机会主义的状态触发的实施的动态。各种例子说明了我们的结果。
2017-05-01 math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne（墨尔本大学）
针对非凸分布式资源分配问题，本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸，证明了二阶收敛性，实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Gradient-free algorithm for saddle point problems under overparametrization
本文研究过参数化且梯度计算不可行时的随机鞍点问题，通过推广Same-sample Stochastic Extra-gradient算法至有偏预言机，提出基于梯度近似的无梯度算法，并分析了对抗性噪声最大容许水平与最佳迭代次数。
2024-06-04 math.OC
Proximal methods avoid active strict saddles of weakly convex functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
我们引入了非光滑函数的一个几何透明严格鞍性质。这个性质保证了弱凸问题的简单近似算法在随机初始化时只收敛到局部极小。我们认为，严格鞍性质可能是一个现实的假设，在应用中，因为它可证明为一般的半代数最优化问题成立。
2021-02-16 cs.LG math.OC stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Second-order Guarantees of Distributed Gradient Algorithms
本文考虑网络上的分布光滑非凸无约束优化问题，网络模型为连通图。我们研究了分布式基于梯度的算法在严格鞍点附近的行为。具体来说，我们建立，（i）著名的分布式梯度下降（DGD）算法可能收敛到一个二阶平稳（SoS）解决方案的邻域;和（ii）最近的一类分布式算法的基础上梯度跟踪-实现也有向图-可能收敛到确切的SoS解决方案，从而避免（严格）鞍点。此外，对后一类算法建立了新的一阶临界点的收敛速度结果。
2020-05-25 cs.DC math.OC
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Dealing with unbounded gradients in stochastic saddle-point optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文针对凸-凹鞍点优化中梯度无界导致的不稳定问题，提出一种简单有效的正则化技术以稳定迭代并获得性能保证，并将其应用于平均奖励MDP中以在无偏差跨度先验知识下寻找近最优策略。
2024-06-07 cs.LG math.OC stat.ML
Decentralized Nonconvex Optimization with Guaranteed Privacy and Accuracy
Clemson University（克莱姆森大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
隐私保护和非凸性是涉及敏感数据的分散优化和学习中两个具有挑战性的问题。尽管最近取得了一些进展，分别解决这两个问题，没有结果已经报告说，有理论保证的隐私保护和鞍/最大避免分散非凸优化。我们提出了一个新的算法，分散的非凸优化，可以使严格的差分隐私和鞍/最大避免性能。新算法允许将持久的加性噪声，使严格的差分隐私的数据样本，梯度和中间优化变量，而不会失去可证明的收敛性，从而规避交易的隐私精度在差分隐私设计的困境。更有趣的是，该算法在理论上被证明能够有效地{通过避免}收敛到局部极大值和鞍点，这在分散非凸优化的文献中还没有报道过。该算法在通信（每次迭代中只共享一个变量）和计算（无干扰）方面都是高效的，因此对于大规模非凸优化和涉及高维优化参数的学习是有希望的。分散估计问题和独立分量分析（ICA）问题的数值实验证实了所提出的方法的有效性。
2022-12-14 cs.LG math.OC
Escaping saddle points without Lipschitz smoothness: the power of nonlinear preconditioning
本文提出涵盖$(L_0,L_1)$-光滑性与各向异性光滑性的新充分条件，证明非线性预条件化（含梯度裁剪）在无Lipschitz光滑性假设下仍能规避鞍点，并以对数维度依赖高效达到二阶平稳性。
2025-09-19 math.OC
Complexity of Multiblock Convex-Concave Saddle-Point Problems with General Smooth Coupling
MIRIAI；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University, MIRIAI, IITP（因诺波利斯大学，MIRIAI，俄罗斯科学院信息传输问题研究所）
针对带一般光滑耦合的多块凸-凹鞍点问题，提出随机提升额外梯度方法，在强凸性下实现线性收敛，非强凸性下给出受限间隙保证，实验验证其在目标条件差场景下的性能提升。
2026-10-12 math.OC
Splitting Methods for Nonconvex Optimisation: Convergence and Saddle Point Avoidance Through Shadow Sequences
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（数学建模中心（CNRS IRL2807），智利大学）
本文提出阴影Davis-Yin三操作数分割方法用于非凸优化，通过效用函数分析和数值实验，实现了对弱凸半代数优化问题中严格鞍点的避免保证。
2026-10-01 math.OC
Efficient Dictionary Learning with Gradient Descent
随机初始化的一阶优化算法是解决机器学习中许多高维非凸问题的首选方法，但一般的理论保证不能排除收敛到目标值较差的临界点。然而，对于一些高度结构化的非凸问题，梯度下降的成功可以通过研究目标的几何形状来理解。我们研究了这样一个问题--完全正交字典学习，并提供了随机初始化梯度下降到全局最优值邻域的收敛保证。即使目标具有指数数量的鞍点，所得到的速率在维度上也按低阶多项式缩放。这种有效的收敛可以被看作是负曲率正常的稳定流形与鞍点的结果，我们提供的证据表明，这一功能是共享的其他非凸问题的重要性。
2018-09-27 math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University（康奈尔大学）
本文针对非光滑随机凸-凹鞍点问题，提出模块化单循环无投影算法，利用线性最小化预言机直接处理非光滑性，达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
New Q-Newton's method meets Backtracking line search: good convergence guarantee, saddle points avoidance, quadratic rate of convergence, and easy implementation
University of Oslo（奥斯陆大学）
在最近的合作工作中，作者发展了一种改进的牛顿法，称为新Q-牛顿法，它可以避免鞍点，并具有二次收敛速率。虽然良好的理论收敛保证尚未建立这种方法，小规模的问题上的实验表明，该方法的作品非常有竞争力的其他众所周知的修改牛顿法，如自适应立方正则化和BFGS，以及一阶方法，如无界双向回溯梯度下降。在本文中，我们解决了收敛保证问题，提出了一个修改的新Q-牛顿法，命名为新Q-牛顿法回溯，它结合了一个更复杂的使用超参数和回溯线搜索。这种新方法有很好的理论保证，对于{ \bf Morse函数}产生以下结果（这对于新Q-牛顿法是未知的）：{ \bf定理}。设$f:\mathbb{R}^m\rightarrow \mathbb{R}$是Morse函数，即它的所有临界点都具有可逆的Hessian。然后，对于从随机初始点$x_0$用新Q-牛顿法回溯构造的序列$\{x_n\}$，我们有以下两种选择：i）$\lim_{n\rightarrow\infty}||x_n||=\infty$，或ii）$\{x_n\}$收敛到$f$的一个{ \bf局部极小}点$x_{\infty}$，且其收敛速率为{ \bf二次型}.此外，如果$f$具有紧凑的子能级，则只发生情况ii）。据我们所知，对于Morse函数，这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模的实验中测试了新Q-牛顿法回溯的一些进一步简化版本，发现新方…
2021-08-23 cs.LG cs.NA math.DS
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Primal-Dual First-Order Methods for Affinely Constrained Multi-Block Saddle Point Problems
研究了凸凹鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}Φ(\mathbf{x},\mathbf{y})$，其中决策变量$\mathbf{x}$和/或$\mathbf{y}$具有多块结构和仿射耦合约束，且$Φ(\mathbf{x},\mathbf{y})$具有一定的可分结构.虽然这类问题的最小化对应已经在ADMM的主题下得到了广泛的研究，但这类极大极小问题却很少被研究。本文提出了$ε$ -鞍点的概念，并在此基础上分析了几种算法的收敛速度。当$\mathbf{x}$和$\mathbf{y}$中只有一个具有多块和仿射约束时，提出了ADMM的几种自然扩展来解决这个问题。根据块的数量和平滑的程度，$\mathcal{O}(1/T)$或$\mathcal{O}(1/\sqrt{T})$收敛速度推导出我们的算法。当$\mathbf{x}$和$\mathbf{y}$都有多个块和仿射约束时，提出了一种新的算法--乘子的外梯度法（EGMM）。在期望的平滑条件下，可以保证$\mathcal{O}(1/T)$收敛速率，而不管$\mathbf{x}$和$\mathbf{y}$中的块的数量。在多块最优化问题中，对EGMM（完全原-对偶方法）和ADMM（近似对偶方法）进行了深入的比较，以说明EGMM的优越性。
2023-03-16 math.OC
A Decentralized Proximal Point-type Method for Saddle Point Problems
Zhejiang University（浙江大学）；UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了一类约束非凸非凹鞍点问题的网络节点分散求解问题。具体来说，我们假设每个节点都可以访问一个全局目标函数的被加数，并且节点只允许与它们的邻居节点交换信息。我们提出了一个分散的变种的近点法来解决这个问题。当目标函数为$ρ$ -弱凸-弱凹时，迭代收敛到近似平稳，收敛速度为$\mathcal{O}(1/\sqrt{T})$，近似误差线性依赖于$\sqrtρ$ .我们进一步表明，当目标函数满足明蒂VI条件（推广的凹凸情况下），我们得到收敛到平稳率为$\mathcal{O}(1/\sqrt{T})$。据我们所知，我们提出的方法是第一个分散的算法与理论保证解决非凸非凹分散鞍点问题。我们以分散的方式训练一般对抗网络（GAN）的数值结果与我们的理论保证相匹配。
2019-10-31 cs.LG math.OC stat.ML
Gradient descent avoids strict saddles with a simple line-search method too
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种改进的线搜索方法，证明梯度下降在特定条件下能避免严格鞍点，并扩展至黎曼流形设置。
2026-09-23 cs.NA math.DS math.NA
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
A Stochastic Proximal Point Algorithm for Saddle-Point Problems
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
考虑目标函数为$n$强凸凹单个分支平均的鞍点问题。最近，研究人员利用方差缩减方法来解决这些问题，并实现线性收敛保证。然而，当问题的条件数很大时，这些方法收敛速度很慢。本文提出了一种随机邻近点算法，它加速了求解鞍点问题的方差缩减算法SAGA。与催化剂框架相比，我们的算法减少了一个对数项的条件数的迭代复杂度。我们采用我们的算法的政策评估和实证结果表明，我们的方法是更有效的比国家的最先进的方法。
2019-09-13 cs.LG math.OC stat.ML
Learning-based Robust Optimization: Procedures and Statistical Guarantees
鲁棒优化（Robust optimization，RO）是求解不确定约束最优化问题的一种常用方法。在本文中，我们研究了一个统计框架，将数据集成到RO中，基于使用与已建立的RO工具兼容的几何形状（组合）学习预测集，以及实现有限样本非参数统计保证可行性的简单数据分割验证步骤。我们证明了我们所需的样本量，以实现在给定的置信水平的可行性是独立的决策空间和概率空间的随机性的尺寸，并讨论了一些方法来提高客观性能，同时保持这些无量纲的统计可行性保证。
2020-03-01 math.OC
Escaping High-order Saddles in Policy Optimization for Linear Quadratic Gaussian (LQG) Control
一阶策略优化在强化学习中有着广泛的应用。它保证了状态反馈线性二次型调节器（LQR）的最优策略。然而，政策优化的性能仍然不清楚的线性二次高斯（LQG）控制的LQG成本有虚假的次优平稳点。在本文中，我们引入了一种新的扰动策略梯度（PGD）方法，以逃避一大类坏的稳定点（包括高阶鞍）。特别是，基于LQG的特定结构，我们引入了一种新的重新参数化过程，将高阶鞍点转换为严格鞍点，从而有效地逃避PGD中的标准随机扰动。我们进一步刻画了高阶鞍，可以逃脱我们的算法。
2022-04-02 cs.SY eess.SY math.DS
Riemannian stochastic optimization methods avoid strict saddle points
ETH Zürich（苏黎世联邦理工学院）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，国家信息与自动化研究所，格勒诺布尔国立综合理工学院，格勒诺布尔信息学实验室）
该研究针对黎曼流形上非测地凸最小化问题的鞍点规避难题，分析一类基于收缩的随机黎曼优化方法，证明其在温和假设下能以概率1避开严格鞍点，为流形梯度方法的应用提供了理论保障。
2023-11-04 cs.LG math.OC
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数，但也包含非凸函数，这不仅允许解决最优化问题，而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法，达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations
UC Berkeley（加州大学伯克利分校）；Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
基于统计物理学中自排斥随机游动的超扩散性，本文提出了一种新的优化算法扰动机制。在这种机制中，扰动通过占据时间的概念适应于状态的历史。将该机制引入扰动梯度下降（PGD）和扰动加速梯度下降（PAGD）框架，提出了两种新的算法：适应占用时间的扰动梯度下降（PGDOT）及其加速算法（PAGDOT）. PGDOT和PAGDOT收敛到二阶稳定点至少一样快PGD和PAGD，分别，因此，他们保证避免陷入非退化鞍点。理论分析证实了实证研究中，新的算法始终逃脱鞍点和超越不仅是他们的同行，PGD和PAGD，但也包括其他流行的替代品，随机梯度下降，亚当，AMSGrad，和RMSProp。
2022-03-27 cs.LG math.OC
Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems
Massachusetts Institute of Technology（麻省理工学院）
本文研究光滑凹凸鞍点问题。具体地说，我们分析了最后一个收敛性的Extragradiation（EG）算法。众所周知，EG的遍历（平均）迭代以$O(1/T)$的速率收敛（Nemirovski，2004）。在本文中，我们证明了EG的最后一个收敛速度为$O(1/\sqrt{T})$。据我们所知，这是第一个文件，以提供一个收敛速度保证的最后一次搜索的EG光滑凹凸鞍点问题。此外，我们证明了这个速度是紧的，证明了一个下界的$Ω(1/\sqrt{T})$的最后一个。因此，这个下界显示了二次分离的遍历和最后的迭代光滑凹凸鞍点问题的收敛速度。
2020-07-07 cs.LG math.OC stat.ML
Lower complexity bounds of first-order methods for convex-concave bilinear saddle-point problems
在求解凸凹双线性鞍点问题时，已有许多工作研究一阶方法的复杂性结果。这些结果都是关于复杂度上限的，它可以确定最多需要多少努力才能保证获得所需精度的解决方案。在本文中，我们追求相反的方向，推导出较低的复杂性界的一阶方法在大规模的SPP。我们的研究结果适用于迭代的方法是在线性跨度的过去的一阶信息，以及更一般的方法，以任意方式产生的迭代的基础上的一阶信息。我们首先研究了仿射约束光滑凸优化，它是SPP的一个特例。与无约束问题的梯度法不同，我们证明了仿射约束问题的一阶方法一般不能从已知的收敛速度$O(1/t)$加速到$O(1/t^2)$，而且对于凸问题，$O(1/t)$是最优的.此外，我们证明了对于强凸问题，$O(1/t^2)$是最好的可能收敛速度，而已知梯度法在无约束问题上具有线性收敛.然后我们将这些结果推广到一般的SPPs。事实证明，我们的低复杂性界匹配的几个建立在文献中的复杂性上界，因此，他们是紧的，并表明现有的几个一阶方法的最优性。
2018-08-08 math.OC
Convergence of the Lasserre Hierarchy of SDP Relaxations for Convex Polynomial Programs without Compactness
半定规划（SDP）松弛的Lasserre层次是一个有效的计划，寻找计算上可行的多项式优化的SDP近似紧半代数集。在本文中，我们表明，凸多项式优化，Lasserre层次与一个稍微扩展的二次模总是渐近收敛，即使在面对非紧的半代数可行集。我们这样做，利用凸多项式的bavity属性，下面有界。我们进一步建立，在鞍点（而不是在每个极小的目标函数）的相关拉格朗日的Hessian的正定性保证有限收敛的层次。首先在鞍点条件下建立了凸半代数集上凸多项式的平方和多项式表示，得到了有限收敛性。最后，我们证明了凸多项式规划的拉格朗日量的鞍点的存在性也是该族具有有限收敛性的必要条件。
2013-06-27 math.OC
Contractivity and linear convergence in bilinear saddle-point problems: An operator-theoretic approach
ETH Zürich（苏黎世联邦理工学院）
针对凸凹双线性鞍点问题，本文利用单调算子理论系统证明多种一阶原始-对偶算法（含Chambolle-Pock）的压缩性与线性收敛，获得更紧的收敛界。
2025-04-21 cs.LG math.OC
Stability and instability in saddle point dynamics -- Part I
研究了凹-凸函数通过梯度动力学收敛到一个鞍点的问题。自从Arrow，Hurwicz和Uzawa在[1]中首次提出以来，这种动力学已经广泛地应用于各个领域，然而，也有一些特征使得它们的分析变得不平凡。其中包括缺乏收敛保证时，考虑的功能是不严格的凹凸和次梯度动力学的非光滑性。我们的目的是在这两个部分的文件是提供一个明确的特征一般梯度和次梯度动力学的渐近行为适用于一般凹-凸函数。我们发现，尽管这些动态的非线性和非光滑的$ω$ -极限集是由轨迹，只解决显式线性常微分方程的特点是在纸。更确切地说，在第一部分中提供了一个精确的表征无约束梯度动力学的渐近行为。我们还表明，当收敛到一个鞍点不能保证系统的行为可能是有问题的，任意小的噪声导致一个无界的方差。在第二部分中，我们考虑了一般类的次梯度动力学，限制轨迹在任意凸区域，并表明，当一个平衡点存在的限制轨迹的次梯度动力学的解决方案，只有仿射子空间。后者是一个光滑类的动力学与渐近行为的特点，在第一部分，作为解决方案，明确的线性常微分方程。这些结果被用来制定相应的收敛准则，并证明了与第二部分中提出的几个例子和应用。
2019-08-05 cs.SY eess.SY math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
First-order Stochastic Algorithms for Escaping From Saddle Points in Almost Linear Time
目前已有两类方法用于鞍点逃逸，一类是利用Hessian函数所携带的二阶信息，另一类是在一阶信息中加入噪声。现有的对利用一阶信息中噪声的算法的分析过于复杂，掩盖了加噪的本质，阻碍了算法的进一步改进。在本文中，我们提出了一个新的观点的噪声添加技术，即，将噪声加入到一阶信息中可以帮助从Hessian矩阵中提取负曲率，并且通过分析简单的一阶过程来提供这种观点的形式化推理。更重要的是，所提出的程序，使人们能够设计纯粹的一阶随机算法逃离非退化鞍点，具有更好的时间复杂度（几乎线性时间方面的问题的维数）。特别是，我们开发了一个{ \bf一阶随机算法}的基础上，我们的新技术和现有的算法，只收敛到一阶稳定点，享受时间复杂度为{ $\widetilde O(d/ε^{3.5})$}，找到一个近二阶稳定点$\bf{x}$，$\|\nabla F(bf{x})\|\leq ε$和$\nabla^2 F(bf{x})\geq -\sqrtεI$（在高概率），其中$F(\cdot)$表示的目标函数和$d$是问题的维数。据我们所知，这是随机非凸优化的一阶算法的最佳理论结果，即使不比现有的随机算法更好，也可以与现有的基于二阶信息的随机算法竞争。
2018-03-01 math.OC stat.ML
Cooperative data-driven distributionally robust optimization
研究了一类多智能体随机最优化问题，其目标是极小化依赖于随机变量的函数的期望值。代理不知道随机变量的概率分布，因此每个代理收集随机变量的样本。代理的目标是使用它们的数据合作找到最优化问题的解决方案，并保证样本外性能。该方法是制定一个数据驱动的分布式鲁棒最优化问题使用Wasserstein模糊集，这是等价的凸规划。我们将后者重新表述为一个分布式最优化问题，并确定了一个凸-凹增广拉格朗日函数，其鞍点与最优化器相对应，提供了一个最小-最大可扩展性标准得到满足。我们的分布式算法设计，然后由鞍点动态相关的增广拉格朗日。我们正式建立的动态轨迹渐近收敛到一个鞍点，因此优化的问题。最后，我们提供了一类函数，满足最小-最大可拓性准则。模拟结果说明了我们的结果。
2018-12-16 math.OC
Consensus-Based Optimization for Saddle Point Problems
本文提出CBO-SP方法，通过多粒子群体智能和平均场极限分析，为包括非凸-非凹情形在内的鞍点问题提供可证明的全局纳什均衡收敛保证。
2023-09-12 cs.NA math.CA math.DS
Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach
本文考虑了极小化一个凸函数的问题。这是机器学习等各个领域中出现的重要问题。主要困难在于求一点在多个集合的交集中的投影。现有的方法产生一个不可行点的迭代复杂度为$O(1/\varepsilon^2)$的非光滑问题，没有保证的不可行。通过精确罚函数的形式化，我们得到了一阶算法，它不仅保证了到交点的距离很小，而且对于光滑函数，提高了$O(1/\varepsilon)$和$O(1/\sqrt{\varepsilon})$的复杂度.对于复合材料和光滑的问题，这是通过一个鞍点重新制定所需的原始对偶法的近端运营商可以计算在封闭的形式。我们说明了我们的方法的好处图转换问题和图匹配。
2017-10-17 math.OC
How to Escape Saddle Points Efficiently
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Microsoft Research, India（微软研究院（印度））；University of Washington（华盛顿大学）
本文证明了扰动形式的梯度下降在仅与维数多项式相关的迭代次数内收敛于二阶稳定点（即，它几乎是“无量纲的”）。该过程的收敛速度与众所周知的梯度下降到一阶稳定点的收敛速度相匹配，直到对数因子。当所有鞍点都是非退化的时，所有的二阶稳定点都是局部极小点，我们的结果表明扰动梯度下降几乎可以自由地逃离鞍点。我们的结果可以直接应用于许多机器学习应用，包括深度学习。作为这种应用的一个特定具体例子，我们表明我们的结果可以直接用于建立矩阵因式分解的尖锐全局收敛率。我们的结果依赖于鞍点周围的几何形状，这可能是独立的兴趣，非凸优化社区的一种新的表征。
2017-03-02 cs.LG math.OC stat.ML
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
本文提出扰动 Wasserstein 梯度流（PWGF），通过高斯过程噪声沿 Wasserstein Hessian 最小特征值方向扰动，使非凸概率测度优化逃离鞍点并达到二阶最优性，且在严格良性目标下具有多项式时间全局收敛保证。
2025-09-21 math.OC stat.ML
Efficiently avoiding saddle points with zero order methods: No gradients required
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们考虑非凸优化的无导数算法的情况，也称为零级算法，其仅使用函数求值而不是梯度。对于各种各样的梯度逼近器的基础上有限差分，我们建立渐近收敛二阶稳定点使用一个精心定制的应用程序的稳定流形定理。在效率方面，我们引入了一种噪声零阶方法，该方法收敛到二阶稳定点，即避免了鞍点。我们的算法只使用$\tilde{\mathcal{O}}(1 / ε^2)$近似梯度计算，因此，它匹配的收敛速度保证其精确的梯度对应常数。与以前的工作相比，我们的收敛速度分析避免了施加额外的尺寸依赖于非凸零级优化所需的迭代次数减慢。
2019-10-29 cs.LG math.OC stat.ML
Saddle Point Evasion via Curvature-Regularized Gradient Dynamics
Naval Postgraduate School（美国海军研究生院）
本文提出曲率正则化梯度动力学，通过引入对负Hessian特征值的平滑惩罚项，使优化过程能够稳定收敛至二阶 stationary 点，克服了传统方法在高维空间中难以确定性逃离鞍点的难题。
2026-06-29 cs.SY eess.SY math.OC
On the global convergence of randomized coordinate gradient descent for non-convex optimization
在本文中，我们分析了非凸优化问题中随机选择坐标和步长的坐标梯度下降法的整体收敛性。在一般的假设下，我们证明了该算法几乎肯定会逃脱严格的鞍点的目标函数。因此，如果所有鞍点都是严格的，则保证算法收敛到局部极小。我们的证明是基于观察坐标下降算法作为一个非线性随机动力系统和定量有限块分析其线性化周围的鞍点。
2022-11-30 cs.NA math.DS math.NA
Gradient-Type Methods For Decentralized Optimization Problems With Polyak-Łojasiewicz Condition Over Time-Varying Networks
针对时变网络中满足 PL 条件的去中心化最小化与鞍点问题，提出带一致性机制和不精确梯度的梯度类方法，并通过稳健最小二乘实验验证其效率。
2024-05-12 math.OC
On the modes of convergence of Stochastic Optimistic Mirror Descent (OMD) for saddle point problems
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Tufts University（塔夫茨大学）
本文研究了Mertikopoulos等人提出的满足凝聚概念的鞍点问题的镜像下降法（MD）和乐观镜像下降法（OMD）的收敛性，证明了OMD在凝聚鞍点问题的精确梯度下的收敛性，并证明了OMD只有在足够大的迭代次数下才单调收敛.这与Mertikopoulos等人关于相干鞍点问题的OMD具有精确梯度的单调收敛性的主张相反。除了强调这一重要的微妙之处，我们注意到，几乎肯定的收敛保证MD和OMD与随机梯度的严格相干鞍点问题，声称在Mertikopoulos等人。因此，我们填补了证明中缺少的细节，结果只能证明收敛概率很高。我们想指出的是，我们的分析在很大程度上依赖于Zhou等人和Mertikopoulos等人介绍的核心思想和证明技术，我们的目标只是根据我们能够严格证明的内容重新陈述和纠正结果，同时填补他们证明中急需的缺失细节。
2019-08-02 cs.LG math.OC stat.ML
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD（加州大学圣迭戈分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UC Berkeley（加州大学伯克利分校）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
Robust distributed linear programming
本文提出了一种求解一般线性规划的鲁棒分布式算法。算法设计建立在线性规划的解作为修改的拉格朗日函数的鞍点的特征上。我们表明，所得到的连续时间鞍点算法是可证明正确的，但在一般情况下，不分布，因为一个全局参数与非光滑精确罚函数编码的线性规划的不等式约束。这促使设计一个不连续的鞍点动态，同时享受相同的收敛保证，是完全分布式和可扩展的解决方案向量的尺寸。我们还描述了鲁棒性对干扰和链路故障的建议动态。具体地说，我们证明了它是积分输入状态稳定的，但不是输入状态稳定的。后一个事实是一个更普遍的结果，我们也建立，其中指出，没有算法解决方案的线性规划是输入状态稳定的不确定性时，在问题数据影响的动态作为一个干扰的后果。我们的研究结果使我们能够建立所提出的分布式动态的弹性有限变化和代理之间的通信经常断开的干扰。在最优控制应用中的仿真说明了结果。
2014-09-25 math.OC
