Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
University of Warwick（沃里克大学）；INRIA LMO, Université Paris-Saclay（巴黎-萨克勒大学INRIA LMO）
研究从微小初始化出发的两层ReLU网络在正交数据上的梯度流动力学，揭示了当初始化尺度趋近零时极限流收敛到鞍点间跳跃过程，并证明网络在宽度m约大于log(n)时高概率插值训练数据，且学习到的插值器的平方ℓ2范数缩放为√n，与最小ℓ2范数插值器相差常数因子。
2026-05-26 cs.LG stat.ML
Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks
Tsinghua University（清华大学）
由于深度神经网络（DNN）具有严重的过度参数化，正则化技术对于在巨大的假设空间中找到最优解至关重要。在本文中，我们提出了一种有效的正则化技术，称为邻域平滑（NRS）。NRS利用模型将受益于收敛到平坦最小值的发现，并尝试在权重空间中正则化邻域区域以产生近似输出。具体而言，在邻域区域中的模型的输出之间的间隙是由基于Kullback-Leibler散度的定义的度量来衡量的。这个度量提供了类似的见解与最小描述长度原则解释平坦极小。通过最小化这种分歧和经验损失，NRS可以显式地驱动优化器收敛到平坦的最小值。我们通过在CIFAR和ImageNet等常用数据集上跨各种模型架构执行图像分类任务来确认NRS的有效性，其中泛化能力可以普遍提高。此外，我们的经验表明，由NRS发现的最小值将有相对较小的海森特征值相比，传统的方法，这被认为是平坦的最小值的证据。
2022-02-24 cs.LG stat.ML
Weight-space symmetry in deep networks gives rise to permutation saddles, connected by equal-loss valleys across the loss landscape
EPFL（洛桑联邦理工学院）
深度神经网络每层神经元的排列对称性不仅会产生损失函数的多个等价全局极小值，还会产生位于全局极小值之间路径上的一阶鞍点。在一个网络的$d-1$隐藏层与$n_k$神经元层$k = 1, \ldots, d$，我们构建了一个“置换点”，在同一个隐藏层$k$的两个神经元的输入和输出的权重向量碰撞和互换导致等效的全球最小值之间的平滑路径。我们表明，这样的置换点是临界点，至少$n_{k+1}$消失的特征值的二阶导数的海森矩阵表示一个局部高原的损失函数。我们发现，神经元$i$和$j$交换的置换点过渡到一个平坦的山谷（或一般来说，$n_{k+1}$平坦维度的扩展高原），使所有$n_k!$置换的神经元在一个给定的层$k$在相同的损失值。此外，我们引入高阶置换点，通过利用神经网络函数的递归结构，并发现$K^{\text{th}}$阶置换点的数量至少是由一个因素$\sum_{k=1}^{d-1}\frac{1}{2!^K}{n_k-K \choose K}$大于（已经巨大的）数量的等效的全球最小值。在两个任务中，我们用数字说明了一些置换点对应于一阶鞍（置换鞍）：第一，在一个玩具网络中，函数近似任务上有一个隐藏层，第二，在MNIST任务上的多层网络中。我们的几何方法产生的重量空间对称性产生的临界点的数量上的下限，并提供了一个简单的直观的联系以前的数学结果和数值观测。
2019-07-05 cs.LG stat.ML
Riemannian ascent--descent for nonconvex nonconcave minimax landscapes: convergence to basin saddle points and applications to distributionally robust optimization
UC San Diego（加州大学圣地亚哥分校）
针对非凸非凹极小极大景观，提出盆地鞍点概念及黎曼梯度上升多步下降迭代的收敛框架，应用于高斯分布鲁棒优化，获得线性或多项式收敛速率。
2026-09-15 cs.LG math.OC stat.ML
A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization
College of Computer Science and Technology（计算机科学与技术学院）；College of Computer and Data Science（计算机与数据科学学院）；College of Information Engineering（信息工程学院）；School of Science（科学学院）；Shandong Provincial Key Laboratory of Network Based Intelligent Computing（网络基于智能计算的山东省重点实验室）
本文从几何角度解释了变量消除算法如何通过重塑临界点结构将原始公式中的鞍点转化为简化景观中的局部极大值，从而有效解决非凸优化中的鞍点障碍，并在深度网络训练中显著提升稳定性与收敛效果。
2025-11-03 cs.LG stat.ML
More is Less: Inducing Sparsity via Overparameterization
Ludwig Maximilian University of Munich（慕尼黑大学）；RWTH Aachen University（亚琛工业大学）
为理解深度学习中的隐式偏差，本文研究稀疏恢复问题，提出过参数化平方损失泛函，证明原始梯度流可收敛至最小 $\ell_1$-范数解的良好近似，从而诱导稀疏性并显著改善压缩感知的样本复杂度。
2025-01-29 cs.IT cs.LG math.IT
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Tokyo（东京大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）
本文研究轻度过参数化ReLU网络的损失景观，证明大多数激活模式无坏的局部最小值，一维输入下多数区域含高维全局最小值集，并通过实验发现秩相变现象。
2024-02-08 cs.LG math.CO stat.ML
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）；Microsoft Research Asia（微软亚洲研究院）
自适应矩估计（Adam）结合了自适应学习率和动量，将是最受欢迎的随机优化器，用于加速深度神经网络的训练。然而，经验上已知，亚当通常比随机梯度下降（SGD）更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说，我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点，但不能选择平坦的极小SGD。相比之下，Momentum提供了一个漂移效应来帮助训练过程通过鞍点，并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD（带动量）的泛化能力更好，而Adam的泛化能力更差，但收敛速度更快。此外，在分析的基础上，我们设计了一个新的自适应优化框架Adaptive Inertia，它使用参数自适应惯性来加速训练，并可证明有利于平坦最小值和SGD。我们的大量实验表明，所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University（西蒙菲莎大学）
研究证明具有二次激活的浅层复神经网络无伪局部极小值，而相同条件下的实神经网络存在无限多个，复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
Optimality and Stability in Non-Convex Smooth Games
School of Computer Science（计算机科学学院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
收敛到鞍点的凹凸函数已经研究了几十年，而近年来已经看到了激增的兴趣，非凸（零和）光滑游戏，其最近的广泛应用的动机。如何定义局部最优点以及哪种算法能够收敛到局部最优点仍然是一个有趣的研究挑战。一个有趣的概念被称为局部极小极大点，它与广为人知的梯度下降上升算法密切相关。本文的目的是提供一个全面的分析局部极小极大点，如它们与其他解决方案的概念和最优性条件的关系。我们发现，局部鞍点可以被视为一种特殊类型的局部极大极小点，称为一致局部极大极小点，在温和的连续性假设。在（非凸）二次博弈中，我们证明了局部极大极小点（在某种意义上）等价于全局极大极小点。最后，我们研究了梯度算法在局部极小极大点附近的稳定性。虽然梯度算法在非退化情况下可以收敛到局部/全局极小极大点，但在一般情况下它们往往会失败。这意味着在非凸光滑博弈中，需要新的算法或超越鞍点和极大极小点的概念。
2022-02-03 cs.LG math.OC stat.ML
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们研究鲁棒分布式学习，涉及最小化非凸损失函数鞍点。我们考虑拜占庭设置，其中一些工人机器具有异常甚至任意和对抗性行为。在这种情况下，拜占庭机器可能会在远离任何真正的局部最小值的鞍点附近创建假的局部最小值，即使使用了鲁棒的梯度估计器。我们开发ByzantinePGD，一个强大的一阶算法，可以证明逃脱鞍点和假的局部极小值，并收敛到一个近似的真正的局部极小，具有低迭代复杂度。作为副产品，我们给出了一个更简单的算法和分析，在通常的非拜占庭设置逃逸鞍点。我们进一步讨论了三个强大的梯度估计，可用于ByzantinePGD，包括中位数，修剪均值，迭代滤波。我们在具体的统计环境中的性能特点，并认为他们的近最优的低维和高维制度。
2020-07-29 cs.CR cs.DC cs.LG
A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture
Woodruff School of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院伍德拉夫机械工程学院）
数据稀疏性是训练机器学习工具（例如用于工程和科学应用的神经网络）的常见问题，其中实验和模拟是昂贵的。最近，物理约束的神经网络（PCNN）的发展，以减少所需的训练数据的量。然而，在PCNN中，根据数据和物理约束的不同损失的权重根据经验进行调整。本文提出了一种新的具有极大极小结构的物理约束神经网络（PCNN-MM），它可以系统地调整不同损失的权值。PCNN-MM的训练是搜索目标函数的高阶鞍点。提出了一种新的鞍点搜索算法--Dual-Dimer方法。它表明，双二聚体方法是计算效率比梯度下降上升方法的非凸非凹函数，并提供额外的特征值信息，以验证搜索结果。一个热传导的例子也表明，PCNN-NN的收敛速度比传统的PCNN。
2021-01-01 cs.LG stat.ML
Are Saddles Good Enough for Deep Learning?
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，人们对从优化角度理解深度神经网络的兴趣越来越大。现在可以理解的是，收敛到低成本的局部最小值足以使这些模型在实践中变得有效。但是，在这项工作中，我们基于最近的理论发现和实证研究提出了一个新的假设，即深度神经网络模型实际上会收敛到具有高度退化的鞍点。我们从这项工作中获得的发现是新的，并且可以对基于梯度下降的深度网络训练方法的发展产生重大影响。我们使用对标准数据集（如MNIST和CIFAR-10）的广泛实验评估验证了我们的假设，并且还表明，最近试图逃离马鞍的努力最终收敛到具有高简并性的马鞍，我们将其定义为“好马鞍”。我们还验证了著名的维格纳半圆定律在我们的实验结果。
2017-06-07 cs.LG cs.NE stat.ML
Removing spurious minima for planar features by skip connections
Freie Universität Berlin（柏林自由大学）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Mathematics in the Sciences, Leipzig（马克斯·普朗克数学科学研究所）
本研究证明在教师-学生设置中，可学习的线性跳跃连接能消除浅层ReLU网络的伪局部极小值，即使过参数化也无法移除的伪极小值可被跳跃连接去除，且学生特征位于教师特征张成空间内。
2026-10-06 cs.AI cs.LG math.OC
Deep Learning without Poor Local Minima
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们证明了1989年发表的一个猜想，并部分解决了2015年学习理论会议（COLT）上宣布的一个开放问题。在没有不切实际的假设的情况下，我们首先证明了以下关于具有任何深度和任何宽度的深度线性神经网络的平方损失函数的陈述：1）函数是非凸非凹的，2）每个局部极小值是全局极小值，3）每个不是全局极小值的临界点是鞍点，（4）对于三层以上的深层网络，存在“坏”鞍点（Hessian没有负特征值），而对于三层以上的浅层网络，不存在坏鞍点。此外，对于深度非线性神经网络，我们证明了相同的四个语句通过减少到一个深度线性模型的独立性假设下，从最近的工作。因此，我们提出了一个实例，我们可以回答以下问题：在理论上直接训练深度模型有多难？它比经典的机器学习模型更难（因为非凸性），但不是太难（因为不存在局部极小值）。此外，数学上证明了更深模型的坏鞍点的存在，这可能是一个开放的问题。我们注意到，尽管我们已经推进了深度学习和非凸优化的理论基础，但理论与实践之间仍然存在差距。
2016-12-27 cs.LG math.OC stat.ML
Efficiently Escaping Saddle Points in Bilevel Optimization
University of California, Davis（加州大学戴维斯分校）；University at Buffalo（纽约州立大学布法罗分校）；Rice University（莱斯大学）
本文提出扰动AID和iNEON算法，以高效逃离双层优化中的鞍点并找到局部最小值，同时首次给出扰动GDmax的非渐近分析。
2023-05-10 cs.LG
Sion's Minimax Theorem in Geodesic Metric Spaces and a Riemannian Extragradient Algorithm
Shanghai Qizhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）
本文将 Sion 极小极大定理推广到测地度量空间，并在测地完备黎曼流形上提出并分析了一阶外梯度算法的复杂度，从而拓展了非凸-非凹极小极大问题的可处理范围。
2023-05-29 cs.LG math.OC stat.ML
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology（北京工业大学）
对于一个隐藏层ReLU网络，我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失，并表明这些局部极小值可以是孤立点或连续超平面，这取决于数据之间的相互作用，隐藏神经元的激活模式和网络大小。此外，我们还给出了鞍点和不可微局部极小点存在的充分必要条件，以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
How to Escape Saddle Points Efficiently
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Microsoft Research, India（微软研究院（印度））；University of Washington（华盛顿大学）
本文证明了扰动形式的梯度下降在仅与维数多项式相关的迭代次数内收敛于二阶稳定点（即，它几乎是“无量纲的”）。该过程的收敛速度与众所周知的梯度下降到一阶稳定点的收敛速度相匹配，直到对数因子。当所有鞍点都是非退化的时，所有的二阶稳定点都是局部极小点，我们的结果表明扰动梯度下降几乎可以自由地逃离鞍点。我们的结果可以直接应用于许多机器学习应用，包括深度学习。作为这种应用的一个特定具体例子，我们表明我们的结果可以直接用于建立矩阵因式分解的尖锐全局收敛率。我们的结果依赖于鞍点周围的几何形状，这可能是独立的兴趣，非凸优化社区的一种新的表征。
2017-03-02 cs.LG math.OC stat.ML
On the saddle point problem for non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的能力的困难的主要来源是具有比全局最小值高得多的误差的局部最小值的扩散。在这里，我们认为，统计物理，随机矩阵理论和神经网络理论的结果的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的算法，鞍无牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度神经网络训练，并为其优越的性能提供了初步的数值证据。
2014-05-28 cs.LG cs.NE
Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个一般性的理论来研究非凸\xl{optimization}的\xl{landscape}与潜在的对称结构\tz{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}。具体地，我们通过不变群\removed{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}的透镜刻画了Hessian矩阵\xl{of the objective function}的驻点位置和零空间。作为一个主要的激励例子，我们应用所提出的一般理论来表征全球\xl{landscape}的\xl{nonconvex optimization in}低秩矩阵分解问题。特别是，我们说明了如何旋转对称群产生无穷多个非孤立的严格鞍点和等价的全局极小的目标函数。通过显式识别所有静止点，我们将整个参数空间分为三个区域：（$\cR_1$）包含所有严格鞍点的邻域的区域，其中目标具有负曲率;（$\cR_2$）包含所有全局极…
2018-01-20 cs.LG math.OC stat.ML
Accelerated Gradient Methods for Nonconvex Optimization: Escape Trajectories From Strict Saddle Points and Convergence to Local Minima
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
本文研究了加速梯度方法在非凸函数上的行为，提出了一类Nesterov型方法，分析了从鞍点逃逸和收敛到局部极小值的机制，提供了渐近和非渐近分析的收敛速率和发散度度量。
2026-10-19 cs.LG cs.SY eess.SY
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD（加州大学圣迭戈分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UC Berkeley（加州大学伯克利分校）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation
University at Buffalo（布法罗大学）；Ant Group（蚂蚁集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦对手领域自适应是一个独特的分布式极大极小训练任务，由于普遍存在的标签不平衡的客户端之间，每个客户端只看到一个子集的类的标签需要训练一个全球性的模型。为了解决这个问题，我们提出了一个分布式的极大极小优化称为FedMM，专门为联邦对手的领域自适应问题。即使在极端情况下，每个客户端都有不同的标签类，一些客户端只有无监督的任务，它也能很好地工作。我们证明了FedMM确保收敛到一个平稳点域移动的无监督数据。在各种基准数据集上，广泛的实验表明，FedMM始终实现显着的通信节省或显着的准确性提高联邦优化的基础上的梯度下降上升（GDA）算法。例如，当从头开始训练时，它在相同的通信回合中的准确性优于其他基于GDA的联邦平均方法，大约是$20\%$;并且当从预先训练的模型进行训练时，它始终优于不同网络的准确性从$5.4\%$提高到$9\%$。
2021-11-16 cs.LG
Linear Speedup in Saddle-Point Escape for Decentralized Non-Convex Optimization
School of Engineering, \' E cole Polytechnique F\' e d\' e rale de Lausanne
在适当的合作协议和参数选择下，完全分散的随机优化解决方案已被证明与集中式解决方案的性能相匹配，并导致在强凸设置中相对于非合作方法的线性加速（在代理数量上）。最近，这些结果已被扩展到追求一阶平稳点在非凸环境。在这项工作中，我们详细研究了依赖于二阶收敛保证的谱性质的组合政策的非凸多智能体优化。我们建立了线性加速鞍点逃逸时间的对称组合策略的代理数量，并研究了进一步改进的潜力，采用不对称的组合权重。结果表明，线性加速可以预期在追求二阶稳定点，其中排除局部最大值以及严格的鞍点，并对应于在许多重要的学习设置中的局部甚至全局最小值。
2019-10-30 cs.LG cs.MA math.OC
Minimal Sufficient Representations for Self-interpretable Deep Neural Networks
Center of Statistical Research, School of Statistics（统计研究中心，统计学院）；New Cornerstone Science Laboratory（新基石科学实验室）；Southwestern University of Finance and Economics（西南财经大学）；School of Mathematics and Statistics（数学与统计学院）
本文提出DeepIn框架，通过自适应识别和学习最小表示，提升深度神经网络的可解释性与泛化能力，实验证明其在生物医学和视觉任务中提高了预测精度和可解释性。
2026-03-25 cs.LG stat.ME
The Loss Surface of XOR Artificial Neural Networks
United Technologies Research Center（联合技术研究中心）；University Chemical Laboratories（大学化学实验室）
训练人工神经网络涉及在由作为网络参数的函数的成本（损失）定义的景观上的优化过程。我们探索这些景观使用分子科学中的势能景观开发的优化工具。局部极小值和过渡状态（指数为1的鞍点）的数量，以及过渡状态与极小值的比率，随着网络中节点的数量迅速增长。还有一个很强的依赖于正则化参数，随着正则化项的增加，景观变得更加凸（更少的极小值）。我们证明，在我们的配方中，固定点的$N_h$隐藏节点的网络，包括最小的网络需要适合XOR数据，也是固定点的网络与$N_{h} +1$隐藏节点时，所有的权重涉及额外的节点是零。因此，被优化为训练XOR数据的较小网络被嵌入到较大网络的环境中。我们的研究结果澄清了该系统的极小值和鞍点的分类和敏感性（对输入数据中的扰动）的某些方面，并可能提供对辍学和网络压缩的见解。
2018-04-06 cond-mat.dis-nn cs.LG stat.ML
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们考虑逃逸鞍点的非凸问题，只有功能评估可以访问。虽然已经提出了各种各样的作品，他们中的大多数需要二阶或一阶信息，只有少数人利用零阶方法，特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白，在本文中，我们提出了两个零阶负曲率寻找框架，可以取代海森向量积计算，而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD，ZO-SGD，ZO-SCSG，ZO-SPIDER，并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点，与以前的零阶工作相比，具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC
Efficient Algorithms for Federated Saddle Point Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
我们考虑了联邦环境下的强凸-凹极大极小问题，其中通信约束是主要的瓶颈。当客户端任意异构时，简单的Minibatch代理可以实现最佳性能。随着客户端变得更加同质化，在客户端使用多个局部梯度更新通过降低通信频率显著改善了Minibatch代理。我们的目标是设计一种算法，可以利用客户端的相似性的好处，同时恢复任意异构性（最多日志因素）下的Minibatch代理性能。我们给出了第一个实现这一目标的联邦极大极小优化算法。其主要思想是结合（i）SCAFFOLD（一种在客户端之间执行凸优化方差缩减的算法）来消除对异质性的最坏情况依赖性，以及（ii）Catalyst（一种基于修改目标的加速框架）来加速收敛，而不会放大客户端漂移。我们证明了该算法实现了我们的目标，并包括实验来验证理论。
2021-02-12 cs.DC cs.LG math.OC
The Landscape of Matrix Factorization Revisited
Princeton University（普林斯顿大学）
我们重新审视简单矩阵分解问题的前景。对于低秩矩阵分解，先前的工作表明存在无穷多个临界点，所有这些点要么是全局极小点，要么是严格鞍点。在一个严格的鞍点，Hessian的最小特征值是负的。有趣的是，这个最小特征值是否在所有严格鞍点上一致有界于零以下。为了回答这个问题，我们考虑一般线性群下的临界点轨道。对于每个轨道，我们确定一个代表点，称为典范点。如果一个标准点是严格鞍，那么它的轨道上的每个点也是严格鞍。我们推导出一个表达式的最小特征值的Hessian在每个典型的严格鞍和使用这表明，最小特征值的Hessian在一组严格的鞍不一致有界低于零。我们还表明，一个已知的梯度流的不变性，确保梯度流的解决方案只遇到临界点的不变流形$\mathcal{M}_C$确定的初始条件。我们表明，在一般情况下，严格的鞍$\mathcal{M}_{0}$的最小特征值一致有界低于零。我们得到一个表达式，这个界的奇异值的矩阵被因式分解。该界限取决于非零奇异值的大小和矩阵的不同非零奇异值之间的分离。
2020-05-30 cs.LG cs.NE math.OC
Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data
Indian Institute of Science（印度科学学院）
真实世界的数据集表现出不同类型和程度的不平衡。基于重新加权和损失的边际调整的几种技术经常被用来提高神经网络的性能，特别是在少数类上。在这项工作中，我们分析类不平衡的学习问题，通过检查损失景观的神经网络训练与重新加权和基于边缘的技术。具体来说，我们研究了类间损失的Hessian谱密度，通过该谱密度，我们观察到网络权重收敛到少数类损失景观中的鞍点。根据这一观察，我们还发现，设计用于逃离鞍点的优化方法可以有效地用于提高少数类的泛化能力。我们进一步从理论上和经验上证明，夏普意识最小化（SAM），最近的技术，鼓励收敛到一个平坦的最小值，可以有效地用于逃避鞍点少数类。使用SAM导致少数类的准确性比最先进的矢量缩放损失增加6.2%，导致不平衡数据集的总体平均增加4%。该代码可从以下网址获得：https://github.com/val-iisc/Saddle-LongTail。
2022-12-28 cs.CV cs.LG
A Geometric Characterization of the Stationary Plateau for Two-Layer Neural Networks
Shenzhen International Center of Industrial and Applied Mathematics（深圳工业与应用数学国际中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Loop Area Institute（深圳河套学院）；AutoKernel；University of Minnesota Twin Cities（明尼苏达大学双城分校）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）
通过定义“内Hessian”矩阵，研究了光滑激活函数下两层神经网络损失景观中平稳高原的几何结构，分类了所有平稳点的类型（局部极小或鞍点），并揭示了分裂系数与内Hessian的定性如何共同决定高原的局部几何。
2026-06-03 cs.AI cs.LG math.OC
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Boston University（波士顿大学）
提出GenFlow算法及其动量变体，基于固定时间稳定性理论设计加速优化框架，在固定时间内收敛至满足PL不等式的最优解，并一致有界地快速逃离非退化鞍点，解决极小极大问题。
2023-10-22 cs.AI cs.LG cs.SY
Convergence to minima for the continuous version of Backtracking Gradient Descent
Universitetet i Oslo（奥斯陆大学）
本文的主要结果是：{PDMATHAMM定理。}设$f:\mathbb{R}^k\rightarrow \mathbb{R}$是一个$C^{1}$函数，使得$\nabla f$是局部Lipschitz连续的。此外，假设$f$在其广义鞍点附近是$C^2$。修正实数$δ_0>0$和$0<α<1$。然后存在光滑函数$h:\mathbb{R}^k\rightarrow (0,δ_0]$，使得由$H(x)=x-h(x)\nabla f(x)$定义的映射$H:\mathbb{R}^k\rightarrow \mathbb{R}^k$具有以下性质：（i）对于所有$x\in \mathbb{R}^k$，我们有$f(H(x)))-f(x)\leq -αh(x)||\nabla f(x)||^2$。(ii)对于每个$x_0\in \mathbb{R}^k$，序列$x_{n+1}=H(x_n)$或者满足$\lim_{n\rightarrow\infty}||x_{n+1}-x_n||=0$或者满足$ \lim_{n\rightarrow\infty}||x_n||=\infty$。$\{x_n\}$的每个聚类点都是$f$的一个临界点。此外，如果$f$具有至多可数个临界点，则$\{x_n\}$或者收敛到$f$的临界点，或者收敛到$\lim_{n\rightarrow\infty}||x_n||=\infty…
2019-11-13 cs.LG cs.NA math.NA
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
Geometry-induced Regularization in Deep ReLU Neural Networks
Università degli Studi di Genova（热那亚大学）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）
深度ReLU神经网络的几何结构诱导正则化，通过局部维度度量正则性，揭示了平坦极小值、鞍点动力学及神经元对齐等现象的统一解释。
2026-01-05 cs.AI cs.LG cs.NE
