Accelerated methods for composite non-bilinear saddle point problem
基于G. Lan的加速梯度滑动和函数在勒让德变换下的光滑性与强凸性参数之间的一般关系,证明了在相当一般的条件下,双线性凹凸光滑复合鞍点问题的最佳已知界对非双线性凹凸光滑复合鞍点问题也成立.此外,我们描述的情况下,界限不同,并解释的差异的性质。
2020-01-01 math.OC
Acceleration of saddle-point methods in smooth cases
基于乘子交替方向法(ADMM)与超松弛原对偶混合梯度(oPDHG)算法的等价性,提出了一种新的ADMM算法的收敛性分析方法.我们考虑光滑的情况,这对应于目标函数可以分解为一个可微的Lipschitz连续梯度部分和一个强凸部分的情况。ADMM的一个加速变体也提出了,这是线性收敛与相同的速率的oPDHG。
2017-01-18 math.OC
Gradient-free algorithm for saddle point problems under overparametrization
本文研究过参数化且梯度计算不可行时的随机鞍点问题,通过推广Same-sample Stochastic Extra-gradient算法至有偏预言机,提出基于梯度近似的无梯度算法,并分析了对抗性噪声最大容许水平与最佳迭代次数。
2024-06-04 math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne(墨尔本大学)
针对非凸分布式资源分配问题,本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸,证明了二阶收敛性,实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Linear Regularizers Enforce the Strict Saddle Property
严格鞍点性质的满足已经成为非凸优化中的一个标准假设,它保证了许多一阶优化算法几乎总是能逃离鞍点。然而,在机器学习中存在不满足此属性的函数,例如具有至少两个隐藏层的神经网络的损失函数。诸如梯度下降的一阶方法可以收敛到这样的函数的非严格鞍点,并且目前不存在可靠地逃离非严格鞍点的任何一阶方法。为了满足这一需求,我们证明了用线性项正则化函数会强制执行严格的鞍点性质,并且我们提供了仅局部正则化的理由,即,当梯度的范数低于某个阈值时。我们分析了这种形式的正则化可能导致的分叉,然后我们提供了一个正则化的选择规则,只依赖于一个目标函数的梯度。这一规则是为了保证梯度下降将逃脱附近的一个广泛的类的非严格的鞍点,这种行为证明了在优化文献中常见的非严格的鞍点的数值例子。
2022-08-19 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法,用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题,并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Gradient-Free Optimization for Non-Smooth Saddle Point Problems under Adversarial Noise
我们考虑非光滑鞍点最优化问题。为了解决这些问题,我们提出了一个零阶方法下有界或Lipschitz连续噪声,可能的对抗。与现有的算法相比,我们的算法在两个标准方面都是最优的:Oracle调用复杂度和允许噪声的最大值。所提出的方法是简单的,易于实现,因为它是建立在零阶版本的随机镜像下降。给出了平均和概率意义下的收敛性分析。我们还特别注意的二元间隙$r$ -增长条件$(r\geq 1)$,我们提供了一个修改我们的算法使用重新启动技术。我们还评论无限噪声方差和上界的情况下,Lipschitz噪声。所得结果不仅对鞍点问题,而且对凸优化也有重要意义。
2023-03-25 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中,如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题,其中复合项的强凸性和强凸性参数(对应于最小变量和最大变量)以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机:确定性(回报梯度)和随机(回报无偏随机梯度)。我们的方法在这两种情况下都有效,并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Escaping saddle points without Lipschitz smoothness: the power of nonlinear preconditioning
KU Leuven(荷语鲁汶大学)
本文提出涵盖$(L_0,L_1)$-光滑性与各向异性光滑性的新充分条件,证明非线性预条件化(含梯度裁剪)在无Lipschitz光滑性假设下仍能规避鞍点,并以对数维度依赖高效达到二阶平稳性。
2025-09-19 math.OC
Saddle-point dynamics: conditions for asymptotic stability of saddle points
本文考虑两个向量变量的连续可微函数具有(可能是连续的)最小-最大鞍点。我们研究了相应的鞍点动力学的渐近收敛性质(第一个变量是梯度下降的,第二个变量是梯度上升的)。我们确定了一套互补的条件下,一组鞍点是渐近稳定的鞍点动力学。我们的第一组结果是基于定义鞍点动力学的函数的凸性,以建立收敛保证。对于不享受这一功能的功能,我们的第二组结果依赖于性能的线性化的动力学,功能沿近端法线的鞍集,和线性的功能在一个变量。我们还提供了全球版本的渐近收敛的结果。各种例子说明了我们的讨论。
2016-11-02 math.OC
Distributed Gradient Descent: Nonconvergence to Saddle Points and the Stable-Manifold Theorem
本文研究了一个分布式梯度下降(DGD)过程,并认为在非凸最优化问题,DGD通常收敛到局部极小点,而不是鞍点的问题。本文考虑光滑目标函数的无约束极小化问题。在集中式的设置中,证明梯度下降(和变体)的鞍点不收敛的问题通常通过经典动力系统理论的稳定流形定理来处理。然而,经典的稳定流形定理是不适用于分布式设置。本文发展了一个适当的稳定流形定理DGD表明,收敛到鞍点可能只发生在一个低维稳定流形。在适当的假设下(例如,但是,这个结果意味着DGD通常收敛到局部最小值而不是鞍点。
2019-10-23 cs.MA math.OC
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学)
我们证明了各种随机梯度下降方法,包括随机梯度下降(SGD),随机重球(SHB),和随机Nesterov的加速梯度(SNAG)方法,几乎肯定避免任何严格的鞍流形。据我们所知,这是第一次获得这样的结果SHB和SNAG方法。此外,我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反,我们引入了一个更实际的局部有界性假设的噪声梯度,这是自然满足经验风险最小化问题,通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下,随机梯度下降(SGD)算法避免了鞍点并收敛于非凸问题的局部极小值。然而,分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降(D-SGD)-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先,我们考虑计算临界点的问题。假设损失函数是非凸的,可能是非光滑的,它表明,对于每个固定的初始化,D-SGD收敛到临界点的损失概率为1。接下来,我们考虑避免鞍点的问题。在这种情况下,我们再次假设损失函数可以是非凸和非光滑的,但在鞍点的邻域内是光滑的。结果表明,对于任何固定的初始化,D-SGD避免这样的鞍点的概率为1。通过研究底层(分布式)梯度流,使用常微分方程(ODE)方法的随机逼近,并从动力系统理论,如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化,其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Adaptive primal dual hybrid gradient algorithms based on average spectrum for saddle point problems
Harbin Institute of Technology(哈尔滨工业大学);Nanjing University(南京大学)
本文提出了一种基于平均谱的自适应对偶混合梯度算法,用于解决鞍点问题,通过预测-校正框架实现加速并提高数值性能。
2026-02-28 math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑解决鞍点问题的两个变种的梯度下降-上升算法,额外梯度(EG)和乐观梯度下降-上升(OGDA)方法。我们发现,这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架,分析EG和OGDA的双线性和强凸-强凹设置。此外,我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本,求解带原始强凸性的非双线性鞍点问题,显著提升原始预言复杂度,适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算,应用于某些结构化凸规划(CP)问题。为此,我们首先提出了一个加速梯度滑动(AGS)方法,用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明,AGS方法可以跳过梯度计算这些光滑的组件之一,而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐,特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题,其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术,我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算,同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中,我们适应近似增量聚合梯度法的鞍点问题,这是由解耦线性变换的正则化经验风险极小化模型。首先,提出了带外推的原始-对偶近端增量聚集(PD-PIAG)方法。证明了平均迭代序列的原对偶间隙次线性收敛于0,且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下,证明了迭代序列线性收敛于鞍点。然后,我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下,证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
Massachusetts Institute of Technology(麻省理工学院);NTT Research(NTT研究院);Université Paris Cité(巴黎西岱大学);RIKEN Center for Emergent Matter Science (CEMS)(理化学研究所新兴物质科学中心);The University of Tokyo(东京大学)
本文将神经网络鞍点分为两类,指出第二类鞍点因梯度噪声消失而难以逃离,并用随机矩阵乘积、概率稳定性与Lyapunov指数刻画SGD动力学,划分出四种相。
2024-07-02 cs.LG math.OC physics.data-an
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流(DGF)。DGF是分布式梯度下降的连续时间近似,通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先,本文考虑非光滑,非凸目标函数的优化。结果表明,在这种情况下,DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的,则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果,本文证明了DGF的稳定流形定理,这是一个独立的兴趣的基本贡献。在配套文件中,类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时,我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时,我们的重新启动方案的预言复杂度严格优于任何现有的方法,即使在确定性的情况下。此外,对于每个感兴趣的问题参数,只要存在下界,我们的重新启动方案的预言复杂性是最优的或接近最优的(对数因子)。该方案中所用的子程序本身就是一种新的随机算法,它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架,实现了最先进的预言复杂度,并且可能具有独立的兴趣。
2021-04-10 math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为,特别关注它们在严格鞍点附近的行为。加速方法是迭代法,其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明,通过稳定的流形定理,重球方法是不可能收敛到严格的鞍点,这是点的目标的梯度为零,但Hessian至少有一个负特征值。然后,我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为,表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
Simba: A Scalable Bilevel Preconditioned Gradient Method for Fast Evasion of Flat Areas and Saddle Points
提出可扩展预条件梯度方法Simba,通过梯度的移动平均外积构造预条件矩阵并结合多层次优化降低计算成本,有效逃离平坦区域和鞍点,在标准基准上实现良好泛化且具有线性收敛速率。
2023-09-11 math.OC
Perturbed Proximal Descent to Escape Saddle Points for Non-convex and Non-smooth Objective Functions
研究了非凸非光滑优化问题中的局部极小点问题。在严格鞍点的假设下,一阶方法得到了正结果。我们提出了第一个已知的结果的非光滑的情况下,这需要不同的分析和不同的算法。
2019-01-24 cs.LG math.OC stat.ML
Comment on "First-order methods almost always avoid strict saddle points"
流形优化中黎曼梯度下降法的全局稳定性分析(即,它避免了几乎所有初始化的严格鞍点)。176:311-337)已更正。此外,新引入的收缩L-光滑的性质,提出了一个明确的限制的步长。
2022-04-01 math.OC
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数,但也包含非凸函数,这不仅允许解决最优化问题,而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法,达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England(微软新英格兰研究院);University of California Irvine(加州大学欧文分校);University of California Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们分析了优化非凸函数的随机梯度下降。在许多情况下,非凸函数的目标是找到一个合理的局部最小值,主要问题是梯度更新被困在鞍点。在本文中,我们确定严格的鞍性质的非凸问题,允许有效的优化。利用这一性质,我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知,这是第一个工作,使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解,它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题,提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
本文针对一阶方法难快速逃离鞍点邻域的问题,用矩阵扰动理论对严格鞍点邻域内的梯度下降做几何分析,得出可生成近似梯度轨迹的结论并推导出线性退出时间解。
2023-10-06 cs.LG cs.SY eess.SY
The role of convexity on saddle-point dynamics: Lyapunov function and robustness
本文研究了与一个凹凸函数相关联的投影鞍点动力学,我们称之为鞍函数。动态由对应于凸性的变量中的鞍函数的梯度下降和对应于凸性的变量中的(投影)梯度上升组成。我们研究的作用,局部和/或全局性质的凸性-凸性的鞍函数发挥保证收敛性和鲁棒性的动态。在假设鞍函数是两次连续可微的情况下,我们用Hessian的对角块给出了该动力学的轨道的ω极限集的一个新的刻画.利用这一特征,我们建立了在鞍函数的局部强凸性下动力学的全局渐近收敛。当强凸性全局成立时,我们建立了三个结果。首先,我们确定了一个李雅普诺夫函数(沿轨迹严格减少)的投影鞍点动态时,鞍函数对应于一般的约束凸优化问题的拉格朗日。其次,当鞍函数是一个等式约束最优化问题的拉格朗日函数时,我们通过提供一个ISS李雅普诺夫函数证明了鞍点动态的输入-状态稳定性。第三,我们使用后者的结果来设计一个机会主义的状态触发的实施的动态。各种例子说明了我们的结果。
2017-05-01 math.OC
Randomized coordinate gradient descent almost surely escapes strict saddle points
本文分析了非凸优化中随机坐标梯度下降的行为,通过将其表述为非线性随机动力系统并利用中心稳定流形定理,证明了迭代在标准假设下几乎必然逃离严格鞍点。
2025-08-11 cs.NA math.DS math.NA
Gradient Descent Can Take Exponential Time to Escape Saddle Points
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校);University of Southern California(南加利福尼亚大学)
尽管梯度下降(GD)几乎总是渐近地逃离鞍点[Lee等人,2016],这篇论文表明,即使有相当自然的随机初始化方案和非病态函数,GD也可以通过鞍点显着减慢,需要指数时间才能逃脱。另一方面,具有扰动的梯度下降[Ge等人,2015,Jin等人,2017]不会因为鞍点而变慢--它可以在多项式时间内找到一个近似的局部最小值。这一结果意味着GD本质上比扰动GD慢,并且证明了添加扰动对于有效的非凸优化的重要性。虽然我们的重点是理论,我们也提出了实验,说明我们的理论研究结果。
2017-11-05 cs.LG math.OC stat.ML
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$,其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法(APDG),实现了(i)在强凸-强凹区域中的最佳线性收敛速率,匹配较低的复杂度界限(Zhang等人,2021),以及(ii)当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后,在不要求强凸性或强收敛性的条件下,得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Curvature-Adaptive Perturbation and Subspace Descent for Robust Saddle Point Escape in High-Dimensional Optimization
针对高维非凸优化的鞍点逃逸难题,提出结合随机扰动、自适应学习率与随机子空间下降的曲率自适应框架,理论上证明其逃逸效率优势,实验验证其在速度、鲁棒性和运行时间上优于标准一、二阶方法。
2025-09-03 math.OC
An Envelope for Davis-Yin Splitting and Strict Saddle Point Avoidance
基于前向-后向分裂(FBS)、Douglas-Rachford分裂(DRS)和Davis-Yin分裂(DYS)的算子分裂方法在适当的凸性和光滑性假设下将困难的最优化问题分解为较简单的子问题。在本文中,我们确定了一个包络(一个目标函数),其梯度下降迭代下的可变度量与DYS迭代一致。这一结果推广了Moreau包络的邻近点迭代和包络的FBS和DRS的Patrinos,斯特拉,和Themelis确定的迭代。基于新的包络和稳定中心流形定理,我们进一步证明了当FBS或DRS迭代从随机点开始时,它们以概率1避开所有严格鞍点。这一结果将Lee等人的类似结果从梯度下降法推广到分裂法。
2018-05-05 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中,我们的目标是解决一个凹凸鞍点问题,凹凸耦合函数是光滑的一个变量和非光滑的,并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法,该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成,并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代,我们得到(弱)收敛,收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $,分别。在函数值方面,我们分别得到了$ \mathcal{O}(\frac{1}{K}) $,$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题,多核支持向量机的训练和分类问题,将极大极小组公平。
2021-08-06 math.OC
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney(悉尼大学);Discipline of Business Analytics(商业分析学科)
在本文中,我们提出了一个变形的黎曼随机递归梯度法,可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代,并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明,在有限和设置下,我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性,并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化,这是新颖的黎曼流形的二阶收敛,仅使用一阶信息。
2020-10-28 cs.LG math.OC
Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems
Massachusetts Institute of Technology(麻省理工学院)
本文研究光滑凹凸鞍点问题。具体地说,我们分析了最后一个收敛性的Extragradiation(EG)算法。众所周知,EG的遍历(平均)迭代以$O(1/T)$的速率收敛(Nemirovski,2004)。在本文中,我们证明了EG的最后一个收敛速度为$O(1/\sqrt{T})$。据我们所知,这是第一个文件,以提供一个收敛速度保证的最后一次搜索的EG光滑凹凸鞍点问题。此外,我们证明了这个速度是紧的,证明了一个下界的$Ω(1/\sqrt{T})$的最后一个。因此,这个下界显示了二次分离的遍历和最后的迭代光滑凹凸鞍点问题的收敛速度。
2020-07-07 cs.LG math.OC stat.ML
A Unified Distributed Method for Constrained Networked Optimization via Saddle-Point Dynamics
本文将最优一致性与非相同集合约束资源分配问题统一为鞍点框架,提出基于 OGDA 和 EG 的投影原始-对偶分布式算法,证明 O(1/k) 遍历收敛并通过数值算例验证。
2023-07-14 math.OC
Escaping Saddle Points with Stochastically Controlled Stochastic Gradient Methods
随机控制随机梯度(SCSG)方法已被证明能有效地收敛到一阶稳定点,但在非凸优化问题中,这些稳定点可能是鞍点。已经观察到随机梯度下降(SGD)步骤在深度学习和非凸半空间学习问题的鞍点周围引入各向异性噪声,这表明SGD满足这些问题的相关负曲率(CNC)条件。因此,我们建议使用一个单独的SGD步骤,以帮助SCSG方法摆脱严格的鞍点,从而在CNC-SCSG方法。SGD阶跃的作用类似于噪声注入,但更稳定。我们证明了所得到的算法收敛到一个二阶稳定点的收敛速度为$\tilde{O}( ε^{-2} log( 1/ε))$,其中$ε$是预先指定的误差容限。该算法的收敛速度与问题维数无关,比CNC-SGD算法收敛速度快。一个更一般的框架进一步设计,将建议CNC-SCSG到任何一阶方法的方法,以逃避鞍点。仿真研究表明,该算法可以逃脱鞍点在更少的时期比梯度下降法扰动的噪声注入或SGD步骤。
2021-04-23 cs.LG math.OC stat.ML
Escaping Saddles with Stochastic Gradients
ETH(苏黎世联邦理工学院)
我们分析了某些非凸机器学习模型中沿负曲率方向的随机梯度的方差,并表明随机梯度沿这些方向表现出很强的分量。此外,我们表明,-相反的情况下,各向同性噪声-这种方差是成比例的幅度相应的特征值和不减少的维度。基于这一观察,我们提出了一个新的假设下,我们表明,显式的,各向同性的噪声注入通常适用于使梯度下降逃逸鞍点可以成功地取代一个简单的SGD步骤。此外-在相同的条件下-我们推导出的第一个收敛速度为普通SGD的二阶稳定点,在一些迭代,是独立的问题的尺寸。
2018-09-16 cs.LG math.OC stat.ML
Complexity of Multiblock Convex-Concave Saddle-Point Problems with General Smooth Coupling
MIRIAI;MSU Institute for Artificial Intelligence(莫斯科大学人工智能研究所);Innopolis University, MIRIAI, IITP(因诺波利斯大学,MIRIAI,俄罗斯科学院信息传输问题研究所)
针对带一般光滑耦合的多块凸-凹鞍点问题,提出随机提升额外梯度方法,在强凸性下实现线性收敛,非强凸性下给出受限间隙保证,实验验证其在目标条件差场景下的性能提升。
2026-11-13 math.OC
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$,其中$f$是光滑凸的,$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时,即使$f$不是强凸的,vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作,要么要求$f$和$g$是二次函数,或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术,在每次迭代中使用“鬼”更新作为参考,并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧,我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度(SVRG)方法。
2019-02-03 cs.LG math.OC stat.ML
Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
The University of Tokyo(东京大学);UC Berkeley(加州大学伯克利分校);RIKEN AIP(理化学研究所人工智能中心)
本文提出扰动 Wasserstein 梯度流(PWGF),通过高斯过程噪声沿 Wasserstein Hessian 最小特征值方向扰动,使非凸概率测度优化逃离鞍点并达到二阶最优性,且在严格良性目标下具有多项式时间全局收敛保证。
2025-09-21 math.OC stat.ML
Local Saddle Point Optimization: A Curvature Exploitation Approach
ETH Zurich(苏黎世联邦理工学院)
基于遗传算法的优化方法是寻找经典极小化和鞍点问题局部最优解的最流行的选择。在这里,我们强调了一个系统性的问题,梯度动力学出现鞍点问题,即存在不需要的稳定的稳定点,没有局部最优。我们提出了一种新的优化方法,利用曲率信息,以逃避这些不需要的固定点。我们证明了不同的优化方法,包括梯度法和Adagrad,配备曲率开发可以逃避非最优的稳定点。我们还提供了经验结果,共同的鞍点问题,证实了使用曲率开发的优势。
2019-02-14 cs.LG math.OC stat.ML
Efficiently avoiding saddle points with zero order methods: No gradients required
Columbia University(哥伦比亚大学);Singapore University of Technology and Design(新加坡科技设计大学)
我们考虑非凸优化的无导数算法的情况,也称为零级算法,其仅使用函数求值而不是梯度。对于各种各样的梯度逼近器的基础上有限差分,我们建立渐近收敛二阶稳定点使用一个精心定制的应用程序的稳定流形定理。在效率方面,我们引入了一种噪声零阶方法,该方法收敛到二阶稳定点,即避免了鞍点。我们的算法只使用$\tilde{\mathcal{O}}(1 / ε^2)$近似梯度计算,因此,它匹配的收敛速度保证其精确的梯度对应常数。与以前的工作相比,我们的收敛速度分析避免了施加额外的尺寸依赖于非凸零级优化所需的迭代次数减慢。
2019-10-29 cs.LG math.OC stat.ML
A generic adaptive restart scheme with applications to saddle point algorithms
我们提供了一个简单和通用的自适应重启计划凸优化,能够实现最坏情况下的边界匹配(常数乘法因子)的最佳重启计划,需要知识的问题特定的常数。每当基于距离的势函数充分减少时,该方案就会触发重新启动。这个势函数总是可计算的。我们应用该计划,以获得第一个自适应重新启动算法的鞍点算法,包括原始-对偶混合梯度(PDHG)和extragradiation。该方法改进了双线性对策PDHG的最坏情况界,并对二次指派问题和矩阵对策进行了数值实验,结果表明该方法在获得高精度解方面有显著的改进.此外,对于加速梯度下降(AGD),该方案获得了最坏情况下的边界内的60%的(未知的)最佳重新启动期时,需要高精度的界限。在实践中,该方案与O 'Donoghue和Candes(2015)的启发式竞争。
2020-08-14 math.OC
Saddle Point Evasion via Curvature-Regularized Gradient Dynamics
Naval Postgraduate School(美国海军研究生院)
本文提出曲率正则化梯度动力学,通过引入对负Hessian特征值的平滑惩罚项,使优化过程能够稳定收敛至二阶 stationary 点,克服了传统方法在高维空间中难以确定性逃离鞍点的难题。
2026-06-29 cs.SY eess.SY math.OC
Convergence Analysis of Stochastic Saddle Point Mirror Descent Algorithm -- A Projected Dynamical View Point
本文从投影动力学视角提出非欧域连续时间鞍点动力学,证明其稳定性,并据此建立 SSPMD 的几乎必然收敛及零阶 SZSPMD 的邻域收敛性。
2024-04-07 math.OC
Gradient Descent and the Power Method: Exploiting their connection to find the leftmost eigen-pair and escape saddle points
这项工作表明,应用梯度下降(GD)与一个固定的步长,以最小化(可能非凸)二次函数是等效的梯度上运行的功率方法(PM)。因此,建立了具有固定步长的GD与具有和不具有固定动量的PM之间的联系。因此,有价值的本征信息是通过GD。最近的例子表明,GD与一个固定的步长,适用于局部二次非凸函数,可以采取指数时间逃逸鞍点(西蒙S。放大图片作者:Li Jin,Jason D.迈克尔·李Jordan,Aarti Singh和Barnabas Poczos:“梯度下降可能需要指数级时间来逃离鞍点“; S。Paternain,A. Mokhtari和A. Ribeiro:“A Newton-based method for nonconvex optimization with fast evasion of鞍点“)。在这里,这些例子被重新审视,它表明,本征值信息丢失,使例子可能无法提供一个完整的图片的潜在的实际行为的GD。因此,正在进行的调查GD的非凸函数的行为,可能与\emph{adaptive}或\emph{variable}步长,是有道理的。结果表明,在$R^2$中二次型的特殊情况下,若特征值已知,则具有固定步长的GD将在两次迭代中收敛,并可实现完全的特征分解.通过考虑梯度和迭代的动态性,提出了新的步长策略,以提高GD的实际性能。几个数值例子,这表明利用GD-PM连接的优点。
2022-11-02 cs.LG math.OC
Boundary Conditions for Linear Exit Time Gradient Trajectories Around Saddle Points: Analysis and Algorithm
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
与线性相关的一阶方法已经成为大规模数值最优化问题的主力。这些问题中的许多涉及非凸目标函数与多个鞍点,这需要了解的行为的离散轨迹的一阶方法在这些功能的几何景观。本文研究了一阶离散方法收敛于非凸最优化问题的局部极小值的问题,该问题包含几何景观中的严格鞍点。为此,重点分析了鞍点邻域附近的离散梯度轨迹,导出了这些轨迹在线性时间内逃离严格鞍点邻域的充分条件,探讨了这些轨迹在严格鞍点邻域内的收缩和扩张动力学,这些邻域的特征是具有中等大小的梯度,描述了这些轨迹的非弯曲性质,并强调了这些轨迹在离开严格鞍点之后不能重新进入它们周围的邻域。基于这些见解和分析,本文然后提出了一个简单的变种香草梯度下降算法,称为曲率条件正则梯度下降(CCRGD)算法,它利用检查初始边界条件,以确保其轨迹可以逃脱严格的鞍邻域在线性时间。文中还对CCRGD算法的收敛性进行了分析,包括其收敛到局部极小值的收敛速率。数值实验,然后提供了一个检验函数以及低秩矩阵分解问题,以评估所提出的算法的有效性。
2022-03-09 cs.LG cs.SY eess.SY
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University(康奈尔大学)
最近的工作表明,随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化,通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是,各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是,典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University(普渡大学)
梯度下降及其变体广泛用于机器学习。然而,在许多应用中,梯度的oracle访问可能不可用,限制了梯度下降的直接使用。针对一般的非凸优化问题,提出了一种估计梯度的梯度下降算法,该算法收敛于一个稳定点。除了一阶平稳特性之外,二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明,建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能,任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology(南京信息工程大学);Harbin Institute of Technology(哈尔滨工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们考虑逃逸鞍点的非凸问题,只有功能评估可以访问。虽然已经提出了各种各样的作品,他们中的大多数需要二阶或一阶信息,只有少数人利用零阶方法,特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白,在本文中,我们提出了两个零阶负曲率寻找框架,可以取代海森向量积计算,而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD,ZO-SGD,ZO-SCSG,ZO-SPIDER,并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点,与以前的零阶工作相比,具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC