A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Algorithms for solving variational inequalities and saddle point problems with some generalizations of Lipschitz property for operators
本文研究求解变分不等式与强凸-凹鞍点问题，通过加速方法改进算法复杂度估计，并在任意近端结构下引入算子有界性条件类比，提出最优的镜像下降方法。
2023-11-21 math.OC
Optimal Primal-Dual Methods for a Class of Saddle Point Problems
提出了一种新的求解一类确定性和随机鞍点问题的加速原-对偶（APD）方法。该算法的基本思想是在原对偶方法中引入多步加速方案，而不需要对目标函数进行平滑处理。对于确定性SPP，APD方法实现了与Nesterov平滑技术相同的最佳收敛速率。我们的随机APD方法表现出最佳的收敛速率的随机SPP不仅在其依赖于迭代次数，但也对各种问题的参数。据我们所知，这是第一次，这样一个最佳的算法已被开发的随机SPP在文献中。此外，对于确定性和随机SPP，只要存在鞍点，所发展的APD算法就可以处理可行域无界的情况。在无界情形下，我们将Monteiro和Svaiter引入的修正终止准则应用于求解单调包含的SPP问题，并证明了APD方法的收敛速率依赖于从初始点到最优解集合的距离.
2013-09-22 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Two-Person Zero-Sum Stochastic Linear-Quadratic Differential Games
研究了确定性系数的二人零和随机线性二次（简称LQ）微分对策的开环鞍点和开环上下限，以及它们之间的关系.得到了开环上下限值有限的必要条件和开环鞍点存在的充分条件。证明了在该充分条件下，对应的Riccati方程存在唯一的强正则解，并据此建立了开环鞍点的闭环表示.给出的例子表明，开环上限值和下限值的有限性并不能保证开环鞍点的存在。但对于经典的确定性LQ对策，这两个问题是等价的，都意味着Riccati方程的可解性，并获得了一个明确的表示的解决方案。
2020-05-24 math.OC
Escaping Saddle Points with Stochastically Controlled Stochastic Gradient Methods
随机控制随机梯度（SCSG）方法已被证明能有效地收敛到一阶稳定点，但在非凸优化问题中，这些稳定点可能是鞍点。已经观察到随机梯度下降（SGD）步骤在深度学习和非凸半空间学习问题的鞍点周围引入各向异性噪声，这表明SGD满足这些问题的相关负曲率（CNC）条件。因此，我们建议使用一个单独的SGD步骤，以帮助SCSG方法摆脱严格的鞍点，从而在CNC-SCSG方法。SGD阶跃的作用类似于噪声注入，但更稳定。我们证明了所得到的算法收敛到一个二阶稳定点的收敛速度为$\tilde{O}( ε^{-2} log( 1/ε))$，其中$ε$是预先指定的误差容限。该算法的收敛速度与问题维数无关，比CNC-SGD算法收敛速度快。一个更一般的框架进一步设计，将建议CNC-SCSG到任何一阶方法的方法，以逃避鞍点。仿真研究表明，该算法可以逃脱鞍点在更少的时期比梯度下降法扰动的噪声注入或SGD步骤。
2021-04-23 cs.LG math.OC stat.ML
Long-Time Behavior of Zero-Sum Linear-Quadratic Stochastic Differential Games
本文研究零和线性二次随机微分博弈的长时间行为，证明在适当条件下鞍点策略与最优状态过程呈现指数转向特性，并求解了无限时间区间版本，推导出其开环鞍点策略的闭环表示。
2024-06-04 math.OC
A stochastic preconditioned Douglas-Rachford splitting method for saddle-point problems
本文提出一种随机松弛的预处理Douglas-Rachford分裂方法，用于求解具有可分对偶变量的非光滑凸凹鞍点问题，并证明了其在Hilbert空间中的几乎必然收敛性与遍历序列的次线性收敛速率，数值实验验证了该方法的高效性。
2024-09-30 cs.NA math.NA math.OC
General Procedure to Provide High-Probability Guarantees for Stochastic Saddle Point Problems
本文研究SC-SC随机鞍点问题，提出一般PB-SSP框架，仅以对数次预言机调用即可高概率获得小对偶间隙解，应用于SAA预言机时还改进了样本复杂度。
2024-06-28 math.OC
Linear Quadratic Stochastic Two-Person Zero-Sum Differential Games in an Infinite Horizon
研究了无限时间范围内常系数线性二次随机二人零和微分对策。引入了开环和闭环鞍点。闭环鞍点的存在性由代数Riccati方程在一定稳定条件下的可解性来刻画。使我们的方法有效的一个关键结果是一类线性倒向随机微分方程在无限水平上的唯一可解性。
2014-04-29 math.OC
A Randomized Block-Coordinate Primal-Dual Method for Large-scale Stochastic Saddle Point Problems
本文针对高维随机凸-凹鞍点问题提出随机块坐标原始-对偶方法，通过随机更新变量块降低计算成本，在确定性设置下将复杂度从O(max{m,n}²/ε)改进为O(mn/ε)，并证明了随机设置下的加速复杂度及几乎必然收敛性。
2025-09-27 math.OC
Fast convergence of sample-average approximation for saddle-point problems
针对随机鞍点问题泛化性分析不足的现状，本文采用局部范数分析方法，在强凸-强凹设定下得到了高概率下阶为$\u27e8log(1/δ)/n\u27e9$的样本平均近似收敛结果，优于现有同场景下的收敛界，并通过矩阵博弈问题验证了结论。
2023-12-13 math.OC
Linear Quadratic Stochastic Two-Person Nonzero-Sum Differential Games: Open-Loop and Closed-Loop Nash Equilibria
本文考虑了一类线性二次随机二人非零和微分对策。介绍了开环和闭环纳什均衡。前者的存在性由正倒向随机微分方程组的可解性来刻画，后者的存在性由耦合对称里卡蒂微分方程组的可解性来刻画.有时，开环纳什均衡允许通过非对称Riccati方程系统的解的闭环表示，这与通常的闭环纳什均衡的结果不同。然而，对于零和微分对策的情形，开环鞍点的闭环表示的Riccati方程组与闭环鞍点的Riccati方程组重合，从而得出结论：只要两者都存在，开环鞍点的闭环表示就是相应的闭环鞍点的结果.特别地，对于线性二次型最优控制问题，开环最优控制的闭环表示与相应的闭环最优策略的结果一致，只要两者都存在。
2016-07-15 math.OC
Mean-Field Linear-Quadratic Stochastic Differential Games
本文研究了有限水平上两人零和平均场线性二次随机微分对策。利用希尔伯特空间方法，得到了开环鞍点存在的一个必要条件和一个充分条件.证明了在该充分条件下，相应的两个Riccati方程存在唯一的强正则解，据此，开环鞍点可表示为当前状态的线性反馈.当对策只满足必要条件时，通过求解一类Riccati方程和闭环系统构造了一个近似序列，证明了该近似序列的收敛性等价于对策的开环可解性，并且在对策开环可解的条件下，其极限恰好是一个开环鞍点.
2021-06-10 math.OC
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；NTT Research（NTT研究院）；Université Paris Cité（巴黎西岱大学）；RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）
本文将神经网络鞍点分为两类，指出第二类鞍点因梯度噪声消失而难以逃离，并用随机矩阵乘积、概率稳定性与Lyapunov指数刻画SGD动力学，划分出四种相。
2024-07-02 cs.LG math.OC physics.data-an
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Online and Bandit Algorithms for Nonstationary Stochastic Saddle-Point Optimization
鞍点最优化问题是一类重要的最优化问题，在对策论、多智能体强化学习和机器学习等领域有着广泛的应用。大多数关于鞍点优化的丰富文献都集中在离线设置上。本文研究了随机、光滑、强凸和强凹鞍点最优化问题的非平稳形式，包括在线（或一阶）和多点bandit（或零阶）情形.首先，我们提出了自然的遗憾的概念，这样的非平稳鞍点最优化问题。然后，我们分析了外梯度和Frank-Wolfe算法，分别为无约束和有约束的设置，为上述类别的非平稳鞍点最优化问题。我们建立了次线性的遗憾界的建议的概念，遗憾在网上和土匪设置。
2019-12-03 cs.DS math.OC math.ST
Gradient-free algorithm for saddle point problems under overparametrization
本文研究过参数化且梯度计算不可行时的随机鞍点问题，通过推广Same-sample Stochastic Extra-gradient算法至有偏预言机，提出基于梯度近似的无梯度算法，并分析了对抗性噪声最大容许水平与最佳迭代次数。
2024-06-04 math.OC
A Stochastic Proximal Point Algorithm for Saddle-Point Problems
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
考虑目标函数为$n$强凸凹单个分支平均的鞍点问题。最近，研究人员利用方差缩减方法来解决这些问题，并实现线性收敛保证。然而，当问题的条件数很大时，这些方法收敛速度很慢。本文提出了一种随机邻近点算法，它加速了求解鞍点问题的方差缩减算法SAGA。与催化剂框架相比，我们的算法减少了一个对数项的条件数的迭代复杂度。我们采用我们的算法的政策评估和实证结果表明，我们的方法是更有效的比国家的最先进的方法。
2019-09-13 cs.LG math.OC stat.ML
The Mirror-Prox Sliding Method for Non-smooth decentralized saddle-point problems
本文提出一种基于惩罚和滑动技术的Mirror-Prox方法，用于求解非光滑分布式鞍点问题，并在通信轮数和梯度调用次数上达到下界。
2023-12-29 math.OC
Escaping Saddles with Stochastic Gradients
ETH（苏黎世联邦理工学院）
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差，并表明随机梯度沿这些方向表现出很强的分量。此外，我们表明，-相反的情况下，各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察，我们提出了一个新的假设下，我们表明，显式的，各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点，在一些迭代，是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT（莫斯科物理技术学院）；ICS RAS（俄罗斯科学院控制系统研究所）；KAUST（阿卜杜拉国王科技大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center（高加索数学中心）；Adyghe State University（阿迪格国立大学）
本文综述了求解光滑（强）单调随机变分不等式的方法，回顾了其确定性基础、一般随机公式与有限和设置，并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Direct Spectral Acceleration of First-Order Methods for Saddle Point Problems with Bilinear Coupling
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种直接谱加速方法，用于解决具有双线性耦合的 saddle 点问题，实现了最优线性收敛，无需 Chebyshev 内循环或双循环设计。
2026-02-27 math.OC
Stochastic Saddle-Point Optimization for Wasserstein Barycenters
HSE University（俄罗斯高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
我们考虑人口Wasserstein重心问题的随机概率测度支持上的有限集的点和在线数据流产生的。这导致了一个复杂的随机最优化问题，其中的目标是作为一个随机最优化问题的解决方案给出的函数的期望。我们采用的结构的问题，并获得一个凹凸随机鞍点重新制定这个问题。在随机概率测度分布为离散分布的情况下，提出了一种随机最优化算法，并估计了算法的复杂度。第二个结果，基于核方法，将前一个结果推广到任意分布的随机概率测度。此外，在许多情况下，这种新算法的总复杂度优于随机逼近方法与Sinkhorn算法相结合。我们还说明了我们的发展由一系列的数值实验。
2021-12-02 cs.LG math.OC stat.ML
A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中，我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题，如最大特征值极小化问题。确定性的一阶格式，如Nesterov的平滑技术或标准的Prox-Prox方法，需要在每次迭代时精确计算矩阵指数，限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性，其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
2011-12-06 math.OC
Nonlinear stochastic differential games involving a major player and a large number of collectively acting minor agents
本文研究了两人零和随机微分对策，其中一个局中人是主要局中人，另一个局中人是一组$N$次要局中人，这组次要局中人集体博弈，统计上完全相同，具有相同的成本泛函.这个博弈是在一个弱公式中研究的，这意味着我们可以把它作为一个“反馈控制对抗反馈控制“的博弈来研究。通过受控后向随机微分方程定义了收益/成本泛函，并假设驱动系数相对于控制参数满足严格的凹凸性.这确保了具有$N$次要代理的博弈的鞍点反馈控制的存在。我们研究了这些鞍点控制的极限行为和相应的Hamilton量，并将鞍点控制的极限刻画为极限平均场随机微分对策的唯一鞍点控制.
2013-08-23 math.OC math.PR
Stochastic Saddle Point Problems with Decision-Dependent Distributions
University of Colorado（科罗拉多大学）
本文主要研究决策相依分布的随机鞍点问题。这些问题的目标是随机支付函数的期望值，其数据分布会随着决策变量的变化而漂移，这是一种由分布图表示的现象。适应分布变化的一种常见方法是，一旦发现新的分布，就重新训练最佳决策，或者重复训练。我们引入平衡点的概念，这是这个重复的再训练过程的不动点，并提供充分条件，他们的存在性和唯一性。为了找到平衡点，我们开发了确定性和随机原始对偶法，并证明了它们的收敛性与常数步长在前者和多项式衰减步长时间表在后者。通过将随机梯度估计的误差建模为子威布尔随机变量，我们提供了每次迭代的期望误差界和高概率误差界。在没有分布图的额外知识的情况下，计算鞍点是棘手的。因此，我们提出了一个条件的分布图-我们称之为反对混合优势-确保目标是强凸-强凹。最后，我们证明了一个单一的功能评估的衍生自由算法是能够近似鞍点
2022-11-11 cs.LG cs.SY eess.SY
Stochastic Variance Reduction Methods for Saddle-Point Problems
INRIA - Ecole Normale Supérieure, Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）
我们考虑凹凸鞍点问题的目标函数可能会被分裂成许多组件，并扩展最近的随机方差减少方法（如SVRG或SAGA）提供第一个大规模的线性收敛算法，这是常见的机器学习这类问题。虽然算法扩展很简单，但它带来了挑战和机遇：（a）凸最小化分析不适用，我们使用单调算子的概念来证明收敛性，特别表明相同的算法适用于更大类的问题，例如变分不等式，（b）有两个分裂的概念，根据函数，或根据偏导数，（c）分割确实需要用凸-凹项来完成，（d）非均匀采样在理论和实践上都是有效算法的关键，以及（e）这些增量算法可以使用“催化剂”框架的简单扩展来容易地加速，从而产生总是优于加速的批处理算法的算法。
2016-11-03 cs.LG math.OC
Stochastic Subgradient Descent Escapes Active Strict Saddles on Weakly Convex Functions
该研究在非光滑随机优化中证明，在可定义弱凸函数类中通有成立的Verdier分层与角度条件下，随机次梯度下降不会收敛到主动严格鞍点，而会收敛到局部极小值点。
2023-07-25 math.OC stat.ML
On the modes of convergence of Stochastic Optimistic Mirror Descent (OMD) for saddle point problems
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Tufts University（塔夫茨大学）
本文研究了Mertikopoulos等人提出的满足凝聚概念的鞍点问题的镜像下降法（MD）和乐观镜像下降法（OMD）的收敛性，证明了OMD在凝聚鞍点问题的精确梯度下的收敛性，并证明了OMD只有在足够大的迭代次数下才单调收敛.这与Mertikopoulos等人关于相干鞍点问题的OMD具有精确梯度的单调收敛性的主张相反。除了强调这一重要的微妙之处，我们注意到，几乎肯定的收敛保证MD和OMD与随机梯度的严格相干鞍点问题，声称在Mertikopoulos等人。因此，我们填补了证明中缺少的细节，结果只能证明收敛概率很高。我们想指出的是，我们的分析在很大程度上依赖于Zhou等人和Mertikopoulos等人介绍的核心思想和证明技术，我们的目标只是根据我们能够严格证明的内容重新陈述和纠正结果，同时填补他们证明中急需的缺失细节。
2019-08-02 cs.LG math.OC stat.ML
Dealing with unbounded gradients in stochastic saddle-point optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文针对凸-凹鞍点优化中梯度无界导致的不稳定问题，提出一种简单有效的正则化技术以稳定迭代并获得性能保证，并将其应用于平均奖励MDP中以在无偏差跨度先验知识下寻找近最优策略。
2024-06-07 cs.LG math.OC stat.ML
First-order Stochastic Algorithms for Escaping From Saddle Points in Almost Linear Time
目前已有两类方法用于鞍点逃逸，一类是利用Hessian函数所携带的二阶信息，另一类是在一阶信息中加入噪声。现有的对利用一阶信息中噪声的算法的分析过于复杂，掩盖了加噪的本质，阻碍了算法的进一步改进。在本文中，我们提出了一个新的观点的噪声添加技术，即，将噪声加入到一阶信息中可以帮助从Hessian矩阵中提取负曲率，并且通过分析简单的一阶过程来提供这种观点的形式化推理。更重要的是，所提出的程序，使人们能够设计纯粹的一阶随机算法逃离非退化鞍点，具有更好的时间复杂度（几乎线性时间方面的问题的维数）。特别是，我们开发了一个{ \bf一阶随机算法}的基础上，我们的新技术和现有的算法，只收敛到一阶稳定点，享受时间复杂度为{ $\widetilde O(d/ε^{3.5})$}，找到一个近二阶稳定点$\bf{x}$，$\|\nabla F(bf{x})\|\leq ε$和$\nabla^2 F(bf{x})\geq -\sqrtεI$（在高概率），其中$F(\cdot)$表示的目标函数和$d$是问题的维数。据我们所知，这是随机非凸优化的一阶算法的最佳理论结果，即使不比现有的随机算法更好，也可以与现有的基于二阶信息的随机算法竞争。
2018-03-01 math.OC stat.ML
High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method
本文研究随机强凸-强凹鞍点问题，为SAPD建立高概率收敛保证、极限协方差公式与紧下界，并从CVaR、EVaR和$χ^2$-散度角度分析风险规避权衡。
2023-07-14 math.OC
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization
University of Washington（华盛顿大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；UC Berkeley（加州大学伯克利分校）
考虑光滑凹凸双线性耦合鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}~F(\mathbf{x}) + H(\mathbf{x},\mathbf{y}) - G(\mathbf{y})$，其中可以得到$F$，$G$以及双线性耦合函数$H$的随机一阶预言.基于变分不等式的标准随机外梯度分析，我们提出了一个随机\emph{accelerated gradient-extragradient (AG-EG)}下降上升算法，结合外梯度和Nesterov的加速一般随机设置。该算法利用预定的重新启动，承认细粒度的非渐近收敛速度，匹配已知的下限由\citet{ibrahim2020linear}和\citet{zhang2021lower}在其相应的设置，加上一个额外的统计误差项有界随机噪声是最佳的常数前因子。这是第一个结果，实现了这样一个相对成熟的鞍点优化的最优性的表征。
2022-08-12 cs.CC cs.GT cs.LG
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Riemannian stochastic optimization methods avoid strict saddle points
ETH Zürich（苏黎世联邦理工学院）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，国家信息与自动化研究所，格勒诺布尔国立综合理工学院，格勒诺布尔信息学实验室）
该研究针对黎曼流形上非测地凸最小化问题的鞍点规避难题，分析一类基于收缩的随机黎曼优化方法，证明其在温和假设下能以概率1避开严格鞍点，为流形梯度方法的应用提供了理论保障。
2023-11-04 cs.LG math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出路径式李雅普诺夫-佩龙框架，在不满足单位激励假设的常见随机优化场景下，证明随机递推的严格鞍点规避结果，确立相关算法收敛到原目标函数的局部极小值点。
2026-08-07 cs.LG math.DS math.OC
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
Optimal Algorithms for Differentially Private Stochastic Monotone Variational Inequalities and Saddle-Point Problems
Southern Methodist University（南卫理公会大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文首次系统地研究了微分隐私约束下的随机变分不等式（SVI）和随机鞍点（SSP）问题。我们提出了两种算法：噪声随机外梯度（NSEG）和噪声不精确随机邻近点（NISPP）。我们发现，这些算法的随机逼近变量达到风险界消失的数据集大小的函数，相对于强间隙函数;和一个放回抽样变量实现最佳的风险界相对于弱间隙函数。我们还证明了弱间隙函数的同阶下界。因此，我们的算法是最优的。我们分析的关键是算法的稳定性界限，这两个是新的，即使在非私人的情况下，调查。具有替换算法的采样的运行时间相对于数据集大小$n$的依赖性对于NSEG为$n^2$，对于NISPP为$\tilde{O}(n^{3/2})$。
2022-04-01 cs.LG math.OC stat.ML
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University（康奈尔大学）
最近的工作表明，随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化，通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是，各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是，典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Convergence Analysis of Non-Strongly-Monotone Stochastic Quasi-Variational Inequalities
Department of Systems and Industrial Engineering, The University of Arizona（亚利桑那大学系统工业工程系）
本文提出额外梯度和梯度方法解决单调随机准变分不等式，并建立收敛率分析，展示其在广义纳什均衡、双层优化和鞍点问题中的应用价值。
2025-11-23 math.OC
Algorithms for zero-sum stochastic games with the risk-sensitive average criterion
本文针对零和风险敏感平均随机博弈，引入不可约系数并建立其与不可约条件的等价性，提出两种迭代算法分别计算值的ε-近似和有限步内获得ε-鞍点，并通过智能电网能量管理数值例子验证了结果。
2025-05-07 math.OC
Using Witten Laplacians to locate index-1 saddle points
本研究提出一种基于Witten拉普拉斯算子的随机算法，利用其1-形式第一本征模的集中特性与相关偏微分方程的概率表示，实现高维函数index-1鞍点的定位，经简单分子系统算例验证了有效性。
2023-08-23 cs.NA math.NA math.OC
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
Zeroth-Order Algorithms for Smooth Saddle-Point Problems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center, Adyghe State University（阿迪格国立大学高加索数学中心）
鞍点问题最近受到机器学习社区越来越多的关注，主要是由于使用随机梯度训练生成对抗网络的应用。同时，在某些应用中，只有零阶oracle可用。本文提出了几种利用零阶预言机求解随机光滑（强）凹凸鞍点问题的算法，并估计了它们的收敛速度及其对变量维数$n$的依赖性.特别是，我们的分析表明，在可行集是两个单纯形的直积的情况下，我们的随机项的收敛速度仅由一个$\log n$因素比一阶方法差。我们还考虑了一个混合的设置和开发1/2阶的方法，使用零阶预言的最小化部分和一阶预言的最大化部分。最后，我们展示了我们的零阶和1/2阶方法在实际问题上的实际性能。
2021-02-27 cs.LG math.OC
Gradient-Free Optimization for Non-Smooth Saddle Point Problems under Adversarial Noise
我们考虑非光滑鞍点最优化问题。为了解决这些问题，我们提出了一个零阶方法下有界或Lipschitz连续噪声，可能的对抗。与现有的算法相比，我们的算法在两个标准方面都是最优的：Oracle调用复杂度和允许噪声的最大值。所提出的方法是简单的，易于实现，因为它是建立在零阶版本的随机镜像下降。给出了平均和概率意义下的收敛性分析。我们还特别注意的二元间隙$r$ -增长条件$(r\geq 1)$，我们提供了一个修改我们的算法使用重新启动技术。我们还评论无限噪声方差和上界的情况下，Lipschitz噪声。所得结果不仅对鞍点问题，而且对凸优化也有重要意义。
2023-03-25 math.OC
