Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）；NTT Research（NTT研究院）；Université Paris Cité（巴黎西岱大学）；RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）
本文将神经网络鞍点分为两类，指出第二类鞍点因梯度噪声消失而难以逃离，并用随机矩阵乘积、概率稳定性与Lyapunov指数刻画SGD动力学，划分出四种相。
2024-07-02 cs.LG math.OC physics.data-an
A Stochastic Proximal Point Algorithm for Saddle-Point Problems
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
考虑目标函数为$n$强凸凹单个分支平均的鞍点问题。最近，研究人员利用方差缩减方法来解决这些问题，并实现线性收敛保证。然而，当问题的条件数很大时，这些方法收敛速度很慢。本文提出了一种随机邻近点算法，它加速了求解鞍点问题的方差缩减算法SAGA。与催化剂框架相比，我们的算法减少了一个对数项的条件数的迭代复杂度。我们采用我们的算法的政策评估和实证结果表明，我们的方法是更有效的比国家的最先进的方法。
2019-09-13 cs.LG math.OC stat.ML
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
Escaping Saddles with Stochastic Gradients
ETH（苏黎世联邦理工学院）
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差，并表明随机梯度沿这些方向表现出很强的分量。此外，我们表明，-相反的情况下，各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察，我们提出了一个新的假设下，我们表明，显式的，各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点，在一些迭代，是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
Generalization Bounds for Stochastic Saddle Point Problems
研究随机鞍点（SSP）问题经验鞍点（ESP）解的广义界。对于具有Lipschitz连续和强凸-强凹目标函数的SSP，我们利用一致稳定性论证建立了一个$\mathcal{O}(1/n)$推广界.我们还提供了各种假设下的推广界，包括没有强凸性和没有有界域的情况。我们用两个例子来说明我们的结果：马尔可夫决策过程中的批量策略学习，以及随机对策的混合策略纳什均衡估计。在这些例子中，我们证明了正则化ESP解决方案具有接近最优的样本复杂度。据我们所知，这是ESP的推广理论的第一组结果。
2020-06-03 math.OC
A stochastic preconditioned Douglas-Rachford splitting method for saddle-point problems
本文提出一种随机松弛的预处理Douglas-Rachford分裂方法，用于求解具有可分对偶变量的非光滑凸凹鞍点问题，并证明了其在Hilbert空间中的几乎必然收敛性与遍历序列的次线性收敛速率，数值实验验证了该方法的高效性。
2024-09-30 cs.NA math.NA math.OC
Online and Bandit Algorithms for Nonstationary Stochastic Saddle-Point Optimization
鞍点最优化问题是一类重要的最优化问题，在对策论、多智能体强化学习和机器学习等领域有着广泛的应用。大多数关于鞍点优化的丰富文献都集中在离线设置上。本文研究了随机、光滑、强凸和强凹鞍点最优化问题的非平稳形式，包括在线（或一阶）和多点bandit（或零阶）情形.首先，我们提出了自然的遗憾的概念，这样的非平稳鞍点最优化问题。然后，我们分析了外梯度和Frank-Wolfe算法，分别为无约束和有约束的设置，为上述类别的非平稳鞍点最优化问题。我们建立了次线性的遗憾界的建议的概念，遗憾在网上和土匪设置。
2019-12-03 cs.DS math.OC math.ST
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT（莫斯科物理技术学院）；ICS RAS（俄罗斯科学院控制系统研究所）；KAUST（阿卜杜拉国王科技大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center（高加索数学中心）；Adyghe State University（阿迪格国立大学）
本文综述了求解光滑（强）单调随机变分不等式的方法，回顾了其确定性基础、一般随机公式与有限和设置，并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Stochastic Saddle-Point Optimization for Wasserstein Barycenters
HSE University（俄罗斯高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
我们考虑人口Wasserstein重心问题的随机概率测度支持上的有限集的点和在线数据流产生的。这导致了一个复杂的随机最优化问题，其中的目标是作为一个随机最优化问题的解决方案给出的函数的期望。我们采用的结构的问题，并获得一个凹凸随机鞍点重新制定这个问题。在随机概率测度分布为离散分布的情况下，提出了一种随机最优化算法，并估计了算法的复杂度。第二个结果，基于核方法，将前一个结果推广到任意分布的随机概率测度。此外，在许多情况下，这种新算法的总复杂度优于随机逼近方法与Sinkhorn算法相结合。我们还说明了我们的发展由一系列的数值实验。
2021-12-02 cs.LG math.OC stat.ML
Linear Quadratic Stochastic Differential Games: Open-Loop and Closed-Loop Saddle Points
本文考虑了线性二次随机二人零和微分对策。允许两个参与者的控制出现在状态方程的漂移和扩散中。性能泛函中的加权矩阵不假定为定/非奇异的。利用具有一定正则性的里卡蒂微分方程的可解性，建立了闭环鞍点存在的一个充要条件.有可能闭环鞍点不存在，同时相应的Riccati方程存在一个解（不需要正则性）。此外，我们将指出，解决方案的Riccati方程可能是非唯一的。
2014-01-19 math.OC
On the modes of convergence of Stochastic Optimistic Mirror Descent (OMD) for saddle point problems
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Tufts University（塔夫茨大学）
本文研究了Mertikopoulos等人提出的满足凝聚概念的鞍点问题的镜像下降法（MD）和乐观镜像下降法（OMD）的收敛性，证明了OMD在凝聚鞍点问题的精确梯度下的收敛性，并证明了OMD只有在足够大的迭代次数下才单调收敛.这与Mertikopoulos等人关于相干鞍点问题的OMD具有精确梯度的单调收敛性的主张相反。除了强调这一重要的微妙之处，我们注意到，几乎肯定的收敛保证MD和OMD与随机梯度的严格相干鞍点问题，声称在Mertikopoulos等人。因此，我们填补了证明中缺少的细节，结果只能证明收敛概率很高。我们想指出的是，我们的分析在很大程度上依赖于Zhou等人和Mertikopoulos等人介绍的核心思想和证明技术，我们的目标只是根据我们能够严格证明的内容重新陈述和纠正结果，同时填补他们证明中急需的缺失细节。
2019-08-02 cs.LG math.OC stat.ML
Dealing with unbounded gradients in stochastic saddle-point optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文针对凸-凹鞍点优化中梯度无界导致的不稳定问题，提出一种简单有效的正则化技术以稳定迭代并获得性能保证，并将其应用于平均奖励MDP中以在无偏差跨度先验知识下寻找近最优策略。
2024-06-07 cs.LG math.OC stat.ML
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization
University of Washington（华盛顿大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；UC Berkeley（加州大学伯克利分校）
考虑光滑凹凸双线性耦合鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}~F(\mathbf{x}) + H(\mathbf{x},\mathbf{y}) - G(\mathbf{y})$，其中可以得到$F$，$G$以及双线性耦合函数$H$的随机一阶预言.基于变分不等式的标准随机外梯度分析，我们提出了一个随机\emph{accelerated gradient-extragradient (AG-EG)}下降上升算法，结合外梯度和Nesterov的加速一般随机设置。该算法利用预定的重新启动，承认细粒度的非渐近收敛速度，匹配已知的下限由\citet{ibrahim2020linear}和\citet{zhang2021lower}在其相应的设置，加上一个额外的统计误差项有界随机噪声是最佳的常数前因子。这是第一个结果，实现了这样一个相对成熟的鞍点优化的最优性的表征。
2022-08-12 cs.CC cs.GT cs.LG
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Stochastic Variance Reduction Methods for Saddle-Point Problems
INRIA - Ecole Normale Supérieure, Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）
我们考虑凹凸鞍点问题的目标函数可能会被分裂成许多组件，并扩展最近的随机方差减少方法（如SVRG或SAGA）提供第一个大规模的线性收敛算法，这是常见的机器学习这类问题。虽然算法扩展很简单，但它带来了挑战和机遇：（a）凸最小化分析不适用，我们使用单调算子的概念来证明收敛性，特别表明相同的算法适用于更大类的问题，例如变分不等式，（b）有两个分裂的概念，根据函数，或根据偏导数，（c）分割确实需要用凸-凹项来完成，（d）非均匀采样在理论和实践上都是有效算法的关键，以及（e）这些增量算法可以使用“催化剂”框架的简单扩展来容易地加速，从而产生总是优于加速的批处理算法的算法。
2016-11-03 cs.LG math.OC
Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出路径式李雅普诺夫-佩龙框架，在不满足单位激励假设的常见随机优化场景下，证明随机递推的严格鞍点规避结果，确立相关算法收敛到原目标函数的局部极小值点。
2026-08-07 cs.LG math.DS math.OC
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Optimal Algorithms for Differentially Private Stochastic Monotone Variational Inequalities and Saddle-Point Problems
Southern Methodist University（南卫理公会大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文首次系统地研究了微分隐私约束下的随机变分不等式（SVI）和随机鞍点（SSP）问题。我们提出了两种算法：噪声随机外梯度（NSEG）和噪声不精确随机邻近点（NISPP）。我们发现，这些算法的随机逼近变量达到风险界消失的数据集大小的函数，相对于强间隙函数;和一个放回抽样变量实现最佳的风险界相对于弱间隙函数。我们还证明了弱间隙函数的同阶下界。因此，我们的算法是最优的。我们分析的关键是算法的稳定性界限，这两个是新的，即使在非私人的情况下，调查。具有替换算法的采样的运行时间相对于数据集大小$n$的依赖性对于NSEG为$n^2$，对于NISPP为$\tilde{O}(n^{3/2})$。
2022-04-01 cs.LG math.OC stat.ML
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University（康奈尔大学）
最近的工作表明，随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化，通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是，各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是，典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Convergence Analysis of Stochastic Saddle Point Mirror Descent Algorithm -- A Projected Dynamical View Point
本文从投影动力学视角提出非欧域连续时间鞍点动力学，证明其稳定性，并据此建立 SSPMD 的几乎必然收敛及零阶 SZSPMD 的邻域收敛性。
2024-04-07 math.OC
Riemannian stochastic optimization methods avoid strict saddle points
ETH Zürich（苏黎世联邦理工学院）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，国家信息与自动化研究所，格勒诺布尔国立综合理工学院，格勒诺布尔信息学实验室）
该研究针对黎曼流形上非测地凸最小化问题的鞍点规避难题，分析一类基于收缩的随机黎曼优化方法，证明其在温和假设下能以概率1避开严格鞍点，为流形梯度方法的应用提供了理论保障。
2023-11-04 cs.LG math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University（康奈尔大学）
本文针对非光滑随机凸-凹鞍点问题，提出模块化单循环无投影算法，利用线性最小化预言机直接处理非光滑性，达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中，如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题，其中复合项的强凸性和强凸性参数（对应于最小变量和最大变量）以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机：确定性（回报梯度）和随机（回报无偏随机梯度）。我们的方法在这两种情况下都有效，并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Optimal Primal-Dual Methods for a Class of Saddle Point Problems
提出了一种新的求解一类确定性和随机鞍点问题的加速原-对偶（APD）方法。该算法的基本思想是在原对偶方法中引入多步加速方案，而不需要对目标函数进行平滑处理。对于确定性SPP，APD方法实现了与Nesterov平滑技术相同的最佳收敛速率。我们的随机APD方法表现出最佳的收敛速率的随机SPP不仅在其依赖于迭代次数，但也对各种问题的参数。据我们所知，这是第一次，这样一个最佳的算法已被开发的随机SPP在文献中。此外，对于确定性和随机SPP，只要存在鞍点，所发展的APD算法就可以处理可行域无界的情况。在无界情形下，我们将Monteiro和Svaiter引入的修正终止准则应用于求解单调包含的SPP问题，并证明了APD方法的收敛速率依赖于从初始点到最优解集合的距离.
2013-09-22 math.OC
Zeroth-Order Algorithms for Smooth Saddle-Point Problems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center, Adyghe State University（阿迪格国立大学高加索数学中心）
鞍点问题最近受到机器学习社区越来越多的关注，主要是由于使用随机梯度训练生成对抗网络的应用。同时，在某些应用中，只有零阶oracle可用。本文提出了几种利用零阶预言机求解随机光滑（强）凹凸鞍点问题的算法，并估计了它们的收敛速度及其对变量维数$n$的依赖性.特别是，我们的分析表明，在可行集是两个单纯形的直积的情况下，我们的随机项的收敛速度仅由一个$\log n$因素比一阶方法差。我们还考虑了一个混合的设置和开发1/2阶的方法，使用零阶预言的最小化部分和一阶预言的最大化部分。最后，我们展示了我们的零阶和1/2阶方法在实际问题上的实际性能。
2021-02-27 cs.LG math.OC
Stochastic Gradient Methods with Compressed Communication for Decentralized Saddle Point Problems
IIT Bombay（印度理工学院孟买分校）
本文针对去中心化非光滑强凸-强凹鞍点问题，提出两种带压缩通信的随机梯度算法C-RDPSG和C-DPSVRG，给出计算与通信复杂度理论保证，并通过数值实验验证其竞争性性能。
2023-04-14 cs.DC cs.DS cs.LG
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Using Witten Laplacians to locate index-1 saddle points
本研究提出一种基于Witten拉普拉斯算子的随机算法，利用其1-形式第一本征模的集中特性与相关偏微分方程的概率表示，实现高维函数index-1鞍点的定位，经简单分子系统算例验证了有效性。
2023-08-23 cs.NA math.NA math.OC
Nonlinear stochastic differential games involving a major player and a large number of collectively acting minor agents
本文研究了两人零和随机微分对策，其中一个局中人是主要局中人，另一个局中人是一组$N$次要局中人，这组次要局中人集体博弈，统计上完全相同，具有相同的成本泛函.这个博弈是在一个弱公式中研究的，这意味着我们可以把它作为一个“反馈控制对抗反馈控制“的博弈来研究。通过受控后向随机微分方程定义了收益/成本泛函，并假设驱动系数相对于控制参数满足严格的凹凸性.这确保了具有$N$次要代理的博弈的鞍点反馈控制的存在。我们研究了这些鞍点控制的极限行为和相应的Hamilton量，并将鞍点控制的极限刻画为极限平均场随机微分对策的唯一鞍点控制.
2013-08-23 math.OC math.PR
Low Rank Saddle Free Newton: A Scalable Method for Stochastic Nonconvex Optimization
Oden Institute for Computational Engineering & Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Department of Geological Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校地质科学系）
在现代深度学习中，由于大数据集以及泛化特性，高度子采样的随机逼近（SA）方法优于样本平均逼近（SAA）方法。此外，由于形成和分解海森的感知成本，二阶方法不用于这些问题。在这项工作中，我们激励牛顿方法的SA制度的扩展，并主张使用可扩展的低秩无鞍牛顿（LRSFN）方法，这避免了形成有利于作出低秩近似的海森。此外，LRSFN可以促进从不确定区域的快速逃逸，从而得到更好的优化解决方案。在SA设置中，迭代更新由随机噪声主导，并且方法的稳定性是关键。我们介绍了一个连续时间稳定性分析框架，并使用它来证明牛顿方法的随机误差可以大大放大病态海森。LRSFN方法通过Levenberg-Marquardt阻尼减轻了这种稳定性问题。然而，一般来说，分析表明，具有随机Hessian和梯度信息的二阶方法可能需要采取小步骤，这与确定性问题不同。数值结果表明，LRSFN可以避开其他方法存在问题的不确定区域;即使在限制步长的条件下，LRSFN也可以在大规模深度学习任务中在等效计算工作的泛化能力方面优于流行的一阶方法。
2021-08-24 cs.LG cs.NA math.NA
Stochastic Subgradient Descent Escapes Active Strict Saddles on Weakly Convex Functions
该研究在非光滑随机优化中证明，在可定义弱凸函数类中通有成立的Verdier分层与角度条件下，随机次梯度下降不会收敛到主动严格鞍点，而会收敛到局部极小值点。
2023-07-25 math.OC stat.ML
Two-Person Zero-Sum Stochastic Linear-Quadratic Differential Games
研究了确定性系数的二人零和随机线性二次（简称LQ）微分对策的开环鞍点和开环上下限，以及它们之间的关系.得到了开环上下限值有限的必要条件和开环鞍点存在的充分条件。证明了在该充分条件下，对应的Riccati方程存在唯一的强正则解，并据此建立了开环鞍点的闭环表示.给出的例子表明，开环上限值和下限值的有限性并不能保证开环鞍点的存在。但对于经典的确定性LQ对策，这两个问题是等价的，都意味着Riccati方程的可解性，并获得了一个明确的表示的解决方案。
2020-05-24 math.OC
Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems
IIT Bombay（印度理工学院孟买分校）
针对无中心服务器的非光滑强凸-强凹去中心化鞍点问题，提出 inexact PDHG 框架并设计 C-DPSSG 算法，通过在初始阶段和适当时机切换 GSG 与 SVRG 梯度预言机加速收敛，证明其具有线性收敛率并能快速获得不同精度的解。
2023-09-13 cs.DC cs.DS cs.LG
First-order Stochastic Algorithms for Escaping From Saddle Points in Almost Linear Time
目前已有两类方法用于鞍点逃逸，一类是利用Hessian函数所携带的二阶信息，另一类是在一阶信息中加入噪声。现有的对利用一阶信息中噪声的算法的分析过于复杂，掩盖了加噪的本质，阻碍了算法的进一步改进。在本文中，我们提出了一个新的观点的噪声添加技术，即，将噪声加入到一阶信息中可以帮助从Hessian矩阵中提取负曲率，并且通过分析简单的一阶过程来提供这种观点的形式化推理。更重要的是，所提出的程序，使人们能够设计纯粹的一阶随机算法逃离非退化鞍点，具有更好的时间复杂度（几乎线性时间方面的问题的维数）。特别是，我们开发了一个{ \bf一阶随机算法}的基础上，我们的新技术和现有的算法，只收敛到一阶稳定点，享受时间复杂度为{ $\widetilde O(d/ε^{3.5})$}，找到一个近二阶稳定点$\bf{x}$，$\|\nabla F(bf{x})\|\leq ε$和$\nabla^2 F(bf{x})\geq -\sqrtεI$（在高概率），其中$F(\cdot)$表示的目标函数和$d$是问题的维数。据我们所知，这是随机非凸优化的一阶算法的最佳理论结果，即使不比现有的随机算法更好，也可以与现有的基于二阶信息的随机算法竞争。
2018-03-01 math.OC stat.ML
Differentially Private Algorithms for the Stochastic Saddle Point Problem with Optimal Rates for the Strong Gap
The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出一种基于递归正则化的差分隐私算法，在 $(ε,δ)$-差分隐私下以近乎最优的强间隙率解决凸-凹随机鞍点问题，并揭示了算法稳定性与准确性之间的基本权衡。
2023-06-29 cs.CR cs.LG math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Long-Time Behavior of Zero-Sum Linear-Quadratic Stochastic Differential Games
本文研究零和线性二次随机微分博弈的长时间行为，证明在适当条件下鞍点策略与最优状态过程呈现指数转向特性，并求解了无限时间区间版本，推导出其开环鞍点策略的闭环表示。
2024-06-04 math.OC
Risk-Minimizing Two-Player Zero-Sum Stochastic Differential Game via Path Integral Control
本文研究连续时间风险最小化两人零和随机微分博弈，推导鞍点均衡存在的充分条件，给出可通过路径积分控制与Monte Carlo采样在线求解的鞍点策略显式表达式，经两类博弈仿真验证了框架有效性。
2023-08-22 cs.SY eess.SY math.OC
General Procedure to Provide High-Probability Guarantees for Stochastic Saddle Point Problems
本文研究SC-SC随机鞍点问题，提出一般PB-SSP框架，仅以对数次预言机调用即可高概率获得小对偶间隙解，应用于SAA预言机时还改进了样本复杂度。
2024-06-28 math.OC
Linear Quadratic Stochastic Two-Person Zero-Sum Differential Games in an Infinite Horizon
研究了无限时间范围内常系数线性二次随机二人零和微分对策。引入了开环和闭环鞍点。闭环鞍点的存在性由代数Riccati方程在一定稳定条件下的可解性来刻画。使我们的方法有效的一个关键结果是一类线性倒向随机微分方程在无限水平上的唯一可解性。
2014-04-29 math.OC
A Randomized Block-Coordinate Primal-Dual Method for Large-scale Stochastic Saddle Point Problems
本文针对高维随机凸-凹鞍点问题提出随机块坐标原始-对偶方法，通过随机更新变量块降低计算成本，在确定性设置下将复杂度从O(max{m,n}²/ε)改进为O(mn/ε)，并证明了随机设置下的加速复杂度及几乎必然收敛性。
2025-09-27 math.OC
Fast convergence of sample-average approximation for saddle-point problems
针对随机鞍点问题泛化性分析不足的现状，本文采用局部范数分析方法，在强凸-强凹设定下得到了高概率下阶为$\u27e8log(1/δ)/n\u27e9$的样本平均近似收敛结果，优于现有同场景下的收敛界，并通过矩阵博弈问题验证了结论。
2023-12-13 math.OC
Linear Quadratic Stochastic Two-Person Nonzero-Sum Differential Games: Open-Loop and Closed-Loop Nash Equilibria
本文考虑了一类线性二次随机二人非零和微分对策。介绍了开环和闭环纳什均衡。前者的存在性由正倒向随机微分方程组的可解性来刻画，后者的存在性由耦合对称里卡蒂微分方程组的可解性来刻画.有时，开环纳什均衡允许通过非对称Riccati方程系统的解的闭环表示，这与通常的闭环纳什均衡的结果不同。然而，对于零和微分对策的情形，开环鞍点的闭环表示的Riccati方程组与闭环鞍点的Riccati方程组重合，从而得出结论：只要两者都存在，开环鞍点的闭环表示就是相应的闭环鞍点的结果.特别地，对于线性二次型最优控制问题，开环最优控制的闭环表示与相应的闭环最优策略的结果一致，只要两者都存在。
2016-07-15 math.OC
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Mean-Field Linear-Quadratic Stochastic Differential Games
本文研究了有限水平上两人零和平均场线性二次随机微分对策。利用希尔伯特空间方法，得到了开环鞍点存在的一个必要条件和一个充分条件.证明了在该充分条件下，相应的两个Riccati方程存在唯一的强正则解，据此，开环鞍点可表示为当前状态的线性反馈.当对策只满足必要条件时，通过求解一类Riccati方程和闭环系统构造了一个近似序列，证明了该近似序列的收敛性等价于对策的开环可解性，并且在对策开环可解的条件下，其极限恰好是一个开环鞍点.
2021-06-10 math.OC
Escaping Saddle Points with Compressed SGD
Indiana University（印第安纳大学）
随机梯度下降（SGD）是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分，但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题，最近的工作表明，SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中，我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点（$\varepsilon$ -SOSP），这是尽我们所知的第一个结果，这种类型。此外，我们表明，当随机梯度不是Lipschitz时，具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人，2021]（JACM），同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信，其中$d$是优化问题的维度。我们提出了额外的结果的情况下，压缩机是任意的，当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
