Efficient approaches for escaping higher order saddle points in non-convex optimization
University of California, Irvine（加州大学欧文分校）；Duke University（杜克大学）
非凸优化问题的局部搜索算法在应用机器学习中很受欢迎。然而，在一般情况下，这是很难保证这样的算法，甚至收敛到局部最小值，由于存在复杂的鞍点结构在高维。许多函数具有退化鞍点，使得一阶和二阶导数不能用局部最优值来区分它们。在本文中，我们使用高阶导数逃脱这些鞍点：我们设计的第一个有效的算法保证收敛到三阶局部最优（而现有的技术是在最多二阶）。我们还表明，这是NP-难的进一步扩展到寻找四阶局部最优。
2016-02-18 cs.LG stat.ML
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们考虑逃逸鞍点的非凸问题，只有功能评估可以访问。虽然已经提出了各种各样的作品，他们中的大多数需要二阶或一阶信息，只有少数人利用零阶方法，特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白，在本文中，我们提出了两个零阶负曲率寻找框架，可以取代海森向量积计算，而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD，ZO-SGD，ZO-SCSG，ZO-SPIDER，并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点，与以前的零阶工作相比，具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC
Escaping Saddle Points in Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文研究了凸集约束下光滑非凸优化问题$\mathcal{C}$的鞍点逃逸问题。我们提出了一个通用的框架，产生收敛到二阶稳定点的问题，如果凸集$\mathcal{C}$是简单的二次目标函数。具体来说，我们的结果保持，如果可以找到一个$ρ$ -近似解的二次规划受$\mathcal{C}$在多项式时间，其中$ρ<1$是一个正常数，取决于结构的集合$\mathcal{C}$。在此条件下，我们表明，所提出的框架产生的迭代序列达到$(ε,γ)$ -二阶稳定点（SOSP）在最多$\mathcal{O}(\max\{ε^{-2},ρ^{-3}γ^{-3}\})$迭代。当凸集$\mathcal{C}$可以写成一组二次约束且目标函数Hessian在凸集$\mathcal{C}$上具有特定结构时，我们进一步刻画了达到SOSP的整体复杂性.最后，我们将我们的结果扩展到随机设置和随机梯度和Hessian评估的数量，以达到一个$(ε,γ)$ -SOSP。
2018-10-09 cs.LG math.OC stat.ML
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology（麻省理工学院）
我们提供了一种理论算法，用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回：局部极小值值，二阶稳定点，或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域，这使得分析变得困难。通过利用多面体几何，我们减少了总的计算到一个凸二次规划（QP）为每个隐藏节点，$O(M)$（在）平等测试，和一个（或几个）非凸QP。对于最后的QP，我们表明，我们的具体问题可以有效地解决，尽管非凸性。在良性的情况下，我们解决了一个等式约束QP，我们证明了投影梯度下降解决它的指数快速。在坏的情况下，我们必须解决更多的不等式约束QP，但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明，无论是良性的情况下，或坏的情况下，很少的不等式约束发生，这意味着我们的算法是有效的，在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
Escaping Saddle Points via Curvature-Calibrated Perturbations: A Complete Analysis with Explicit Constants and Empirical Validation
Lightcap；Bahçeşehir University（巴赫切塞希尔大学）
本文提出具有显式常数的扰动鞍点逃离下降算法PSD，严格区分下降与逃离阶段，证明其以高概率找到近似二阶稳定点并给出梯度评估复杂度上界，实验验证了对数维度依赖性和每回合函数下降，并提供PSD-Probe与PSGD扩展。
2025-08-22 cs.LG math.OC stat.ML
Escaping Saddle Points with Compressed SGD
Indiana University（印第安纳大学）
随机梯度下降（SGD）是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分，但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题，最近的工作表明，SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中，我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点（$\varepsilon$ -SOSP），这是尽我们所知的第一个结果，这种类型。此外，我们表明，当随机梯度不是Lipschitz时，具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人，2021]（JACM），同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信，其中$d$是优化问题的维度。我们提出了额外的结果的情况下，压缩机是任意的，当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD（加州大学圣迭戈分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UC Berkeley（加州大学伯克利分校）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations
UC Berkeley（加州大学伯克利分校）；Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
基于统计物理学中自排斥随机游动的超扩散性，本文提出了一种新的优化算法扰动机制。在这种机制中，扰动通过占据时间的概念适应于状态的历史。将该机制引入扰动梯度下降（PGD）和扰动加速梯度下降（PAGD）框架，提出了两种新的算法：适应占用时间的扰动梯度下降（PGDOT）及其加速算法（PAGDOT）. PGDOT和PAGDOT收敛到二阶稳定点至少一样快PGD和PAGD，分别，因此，他们保证避免陷入非退化鞍点。理论分析证实了实证研究中，新的算法始终逃脱鞍点和超越不仅是他们的同行，PGD和PAGD，但也包括其他流行的替代品，随机梯度下降，亚当，AMSGrad，和RMSProp。
2022-03-27 cs.LG math.OC
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method
Johns Hopkins University（约翰斯·霍普金斯大学）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个迭代算法低秩矩阵完成，可以被解释为一个迭代加权最小二乘（IRLS）算法和鞍逃逸平滑牛顿法适用于一个非凸秩代理目标。它结合了以前的IRLS方法的有利的数据效率与几个数量级的改进的可扩展性。我们的方法达到了本地平方收敛速率已经为样本个数接近信息理论极限。我们在数值实验中表明，与许多国家的最先进的方法，我们的方法是能够完成非常病态矩阵的条件数高达$10^{10}$从几个样本。
2020-09-07 cs.IT cs.LG math.IT
Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST（韩国科学技术院）；Natural Science Research Institute（自然科学研究所）；Department of Mathematical Sciences（数学科学系）
研究非凸优化中无调度方法，通过李雅普诺夫分析给出最坏情况收敛速率分析，还将无调度梯度下降建模为非自治动力系统，证明其在微小扰动下可避免严格鞍点，解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Quantum algorithms for escaping from saddle points
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Mathematics and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学数学系及量子信息与计算机科学联合中心）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Computer Science and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学计算机科学系及量子信息与计算机科学联合中心）
我们开始研究具有可证明保证的逃离鞍点的量子算法。给定一个函数$f\colon\mathbb{R}^{n}\to\mathbb{R}$，我们的量子算法使用对量子评估oracle的$\tilde{O}(\log^{2} (n)/ε^{1.75})$查询输出一个$ε$近似二阶稳定点（即，零阶Oracle）。与Jin等人提出的经典最新算法相比，使用$\tilde{O}(\log^{6} (n)/ε^{1.75})$查询梯度预言（即，一阶预言机），我们的量子算法在$\log n$方面多项式更好，并且在$1/ε$方面与其复杂度相匹配。从技术上讲，我们的主要贡献是通过模拟量子波动方程来取代梯度下降方法中的经典扰动，这构成了对量子查询复杂度的改进，其中包含用于逃离鞍点的$\log n$因子。我们还展示了如何使用量子梯度计算算法，由于约旦取代经典的梯度查询量子评估查询具有相同的复杂性。最后，我们还进行了数值实验，支持我们的理论研究结果。
2021-08-19 cs.DS cs.LG math.OC
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Power-EF算法，通过误差反馈压缩通信，首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点，且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
Efficiently Escaping Saddle Points in Bilevel Optimization
University of California, Davis（加州大学戴维斯分校）；University at Buffalo（纽约州立大学布法罗分校）；Rice University（莱斯大学）
本文提出扰动AID和iNEON算法，以高效逃离双层优化中的鞍点并找到局部最小值，同时首次给出扰动GDmax的非渐近分析。
2023-05-10 cs.LG
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Escaping Saddle-Points Faster under Interpolation-like Conditions
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Management Sciences, University of Waterloo（滑铁卢大学管理科学系）；Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系）；University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
在本文中，我们表明，在过参数化的几个标准的随机最优化算法逃脱鞍点和收敛到局部极小更快。过参数化模型的一个基本方面是它们能够插值训练数据。我们表明，在插值样的假设下，满足随机梯度在过参数化设置，一阶预言复杂性的扰动随机梯度下降（PSGD）算法达到$ε$ -本地最小，匹配相应的确定性率的$\tilde{\mathcal{O}}(1/ε^{2})$。接下来我们分析了类插值条件下的随机三次正则牛顿（SCRN）算法，并证明了在类插值条件下达到$ε$ -局部极小的预言复杂度为$\tilde{\mathcal{O}}(1/ε^{2.5})$ .虽然这种获得的复杂度优于PSGD或SCRN的相应复杂度，没有类似插值的假设，它不匹配的速度$\tilde{\mathcal{O}}(1/ε^{1.5})$对应于确定性的立方正则牛顿方法。似乎进一步基于海森的插值假设是必要的，以弥补这一差距。我们还讨论了相应的零阶设置的改进的复杂性。
2020-09-28 cs.LG math.OC math.ST
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
Efficiently escaping saddle points on manifolds
Princeton University（普林斯顿大学）
黎曼流形上的光滑、非凸优化问题由于正交性、秩或正性约束而出现在机器学习中。一阶和二阶必要最优性条件规定黎曼梯度必须为零，黎曼海森必须是半正定的。Jin et al.最近关于线性空间优化的扰动梯度下降（PGD）的工作[如何有效地逃离鞍点（2017），随机梯度下降有效地逃离鞍点（2019）]，我们提出了一个版本的扰动黎曼梯度下降（PRGD），以表明可以以高概率近似满足必要的最优性条件，而无需评估Hessian。具体地说，对于一个任意的黎曼流形$\mathcal{M}$的尺寸$d$，一个足够光滑（可能非凸）的目标函数$f$，并在较弱的条件下，选择收回移动的流形上，以高概率，我们的版本的PRGD产生一个点的梯度小于$ε$和Hessian内的$\sqrtε$是半正定的$O((\log{d})^4 / ε^{2})$梯度查询。这与欧几里德情况下的PGD的复杂性相匹配。重要的是，对维度的依赖性很低。这对于包括PCA和低秩矩阵完成在内的大规模应用很重要，它们都允许流形上的自然公式。其关键技术思想是推广PRGD，区分两种类型的梯度步骤：“流形上的步骤”和“流形切空间中的扰动步骤”。“最终，这种区别使得有可能延长金等人。的分析天衣无缝。
2019-10-23 cs.CC cs.LG math.OC
Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
School of Bioengineering, Qilu University of Technology (Shandong Academy of Sciences)（青岛科技大学生物工程学院）；Shandong Provincial Key Laboratory of Biophysics, Institute of Biophysics, Dezhou University（山东省生物物理重点实验室，生物物理研究所，德州市大学）；Shandong Provincial Hospital, Shandong First Medical University（山东省人民医院，山东第一医科大学）
本文借鉴分子动力学中的Dimer曲率探测思想，提出仅用梯度近似Hessian最小特征方向并正交投影梯度的DEO框架，以帮助神经网络训练逃离鞍点和平坦区域。
2025-07-26 cs.AI cs.LG stat.ML
Escaping Saddle Points Faster with Stochastic Momentum
Georgia Institute of Technology（佐治亚理工学院）
具有随机动量的随机梯度下降（SGD）在非凸随机优化中很受欢迎，特别是用于深度神经网络的训练。在标准SGD中，参数是通过在一批示例上沿着当前梯度的路径进行改进来更新的，其中添加“动量”项使更新偏向于先前参数变化的方向。在非随机凸优化中，可以证明动量调整在许多设置中可证明地减少收敛时间，但这样的结果在随机和非凸设置中是难以捉摸的。与此同时，一个广泛观察到的经验现象是，在训练深度网络时，随机动量似乎显着改善了收敛时间，它的变体在其他流行更新方法的发展中蓬勃发展，例如ADAM [KB 15]，AMSGrad [RKK 18]等。在本文中，我们提出了一个答案：随机动量改进了深度网络训练，因为它修改了SGD以更快地逃离鞍点，从而更快地找到二阶稳定点。我们的理论结果也揭示了如何选择理想的动量参数的相关问题-我们的分析表明，$β\in [0,1)$应该是大的（接近1），这与经验发现相符。我们还提供了进一步验证这些结论的实验结果。
2021-06-05 cs.LG
Charged Point Normalization: An Efficient Solution to the Saddle Point Problem
近年来，高维非凸优化中的局部极小问题受到了挑战，并引入了鞍点问题。本文介绍了一种动态类型的规范化，迫使系统逃离鞍点。与其他鞍点逃逸算法不同，该算法不利用二阶信息，并且可以用任意的梯度下降学习器来训练系统。与非CPN神经网络相比，该系统极大地改善了各种数据集上的一系列深度神经网络的学习。
2017-02-07 cs.LG
Escape saddle points by a simple gradient-descent based algorithm
Tsinghua University（清华大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
逃逸鞍点是非凸优化问题的一个重要研究课题。在本文中，我们提出了一个简单的基于梯度的算法，使一个光滑函数$f\colon\mathbb{R}^n\to\mathbb{R}$，它输出一个$ε$ -近似二阶稳定点在$\tilde{O}(\log n/ε^{1.75})$迭代。与Jin等人的$\tilde{O}((\log n)^{4}/ε^{2})$或$\tilde{O}((\log n)^{6}/ε^{1.75})$迭代算法相比，我们的算法在$\log n$方面多项式更好，并且在$1/ε$方面与它们的复杂性相匹配。对于随机设置，我们的算法输出一个$ε$ -近似二阶平稳点在$\tilde{O}((\log n)^{2}/ε^{4})$迭代。在技术上，我们的主要贡献是实现一个强大的海森功率方法只使用梯度的想法，它可以找到负曲率附近的鞍点和实现多项式加速相比，扰动梯度下降方法在$\log n$。最后，我们还进行了数值实验，支持我们的结果。
2021-11-28 cs.LG math.OC stat.ML
Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University（康奈尔大学）
最近的工作表明，随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化，通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是，各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是，典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh（爱丁堡大学）
考虑一类具有可分结构的一般凸凹鞍点问题，这种形式涵盖了广泛的机器学习应用。在这种问题结构下，我们遵循鞍点问题的原始-对偶更新框架，并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明，我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比，现有的方法。此外，由于我们可以选择“小批量”块坐标更新，我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化，并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points
UC Berkeley（加州大学伯克利分校）；Meta AI
研究了过参数化在求解非凸优化问题中的作用。重点是一类重要的低秩矩阵传感，我们提出了一个无限层次的非凸问题，通过提升技术和Burer-Monteiro分解。这与现有的过参数化技术形成对比，在现有的过参数化技术中，搜索秩受到矩阵的维度的限制，并且它不允许任意程度的丰富的过参数化。我们表明，虽然虚假的解决方案的问题仍然通过层次的固定点，他们将被转化为严格的鞍点（在某些技术条件下），并可以逃脱通过本地搜索法。这是文献中的第一个结果，表明过参数化创建一个负曲率逃避虚假的解决方案。我们还推导出一个界限上有多少过参数化requited，使消除虚假的解决方案。
2023-02-15 cs.LG math.OC
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的自适应随机梯度Langevin动力学（ASGLD）算法框架和它的两个专门版本，即自适应随机梯度（ASG）和自适应梯度Langevin动力学（AGLD），非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点，这几乎是无量纲的。此外，我们表明，ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外，具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值，迭代以$O(\log d/ε^2)$为界，这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis（加州大学戴维斯分校电气与计算机工程系）；Simon Business School, University of Rochester（罗切斯特大学西蒙商学院）
本文提出扰动近端算法，用于逃离非光滑弱凸函数的严格鞍点，并证明在标准假设下可在O(ε^{-2}log(d)^4)次迭代内找到ε-近似局部最小值。
2025-07-19 cs.LG math.OC
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）；Microsoft Research Asia（微软亚洲研究院）
自适应矩估计（Adam）结合了自适应学习率和动量，将是最受欢迎的随机优化器，用于加速深度神经网络的训练。然而，经验上已知，亚当通常比随机梯度下降（SGD）更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说，我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点，但不能选择平坦的极小SGD。相比之下，Momentum提供了一个漂移效应来帮助训练过程通过鞍点，并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD（带动量）的泛化能力更好，而Adam的泛化能力更差，但收敛速度更快。此外，在分析的基础上，我们设计了一个新的自适应优化框架Adaptive Inertia，它使用参数自适应惯性来加速训练，并可证明有利于平坦最小值和SGD。我们的大量实验表明，所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
本文提出了一种确定性框架，通过模拟提升方法在非凸矩阵感知中证明性地逃离虚假局部极小值，无需实际提升计算，且具有最小的计算成本。
2026-08-20 cs.LG math.OC
A Generic Approach for Escaping Saddle points
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute for Technology（麻省理工学院）；Ecole Normale Superieure（巴黎高等师范学院）；Amazon Web Services（亚马逊云科技）
使用一阶方法优化非凸问题的一个主要挑战是鞍点的存在。一阶方法经常卡在鞍点上，大大降低了它们的性能。一般来说，要想摆脱鞍形，必须使用二阶方法。然而，大多数关于二阶方法的工作广泛依赖于昂贵的基于Hessian的计算，使得它们在大规模设置中不切实际。为了应对这一挑战，我们引入了一个通用的框架，最大限度地减少海森计算，同时可证明收敛到二阶临界点。我们的框架仔细地在一阶和二阶子程序之间交替使用，仅在鞍点附近使用后者，并产生与最先进技术相竞争的收敛结果。实证结果表明，我们的策略也具有良好的实际性能。
2017-09-05 cs.AI cs.LG
Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity
Cornell University（康奈尔大学）
本文研究了非凸函数（不一定光滑）的一阶优化方法，提出了一种新的框架，系统分析了在广义平滑性下一阶优化算法的收敛性，首次建立了在广义平滑性下一阶方法达到二阶 stationary 点的收敛保证。
2026-06-04 cs.LG math.OC
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research（Salesforce研究院）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说，我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程（SDEs），因为一个算法和它的收敛行为相似。然后，我们建立这些SDES从当地盆地的逃逸时间。结果表明：（1）SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关，与梯度噪声的强弱呈负相关;（2）对于同一流域，SGD比ADAM具有更小的逃逸时间，主要是因为（a）ADAM中的几何适应~通过对各梯度坐标的自适应缩放，很好地消除了梯度噪声中的各向异性结构，使盆地的Radon测度增大;（b）ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定，并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值，通常比尖锐的极小值更好地推广，我们的结果解释了SGD优于ADAM的推广性能。最后，实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data
Indian Institute of Science（印度科学学院）
真实世界的数据集表现出不同类型和程度的不平衡。基于重新加权和损失的边际调整的几种技术经常被用来提高神经网络的性能，特别是在少数类上。在这项工作中，我们分析类不平衡的学习问题，通过检查损失景观的神经网络训练与重新加权和基于边缘的技术。具体来说，我们研究了类间损失的Hessian谱密度，通过该谱密度，我们观察到网络权重收敛到少数类损失景观中的鞍点。根据这一观察，我们还发现，设计用于逃离鞍点的优化方法可以有效地用于提高少数类的泛化能力。我们进一步从理论上和经验上证明，夏普意识最小化（SAM），最近的技术，鼓励收敛到一个平坦的最小值，可以有效地用于逃避鞍点少数类。使用SAM导致少数类的准确性比最先进的矢量缩放损失增加6.2%，导致不平衡数据集的总体平均增加4%。该代码可从以下网址获得：https://github.com/val-iisc/Saddle-LongTail。
2022-12-28 cs.CV cs.LG
Efficiently Escaping Saddle Points for Policy Optimization
School of Computer and Communication Sciences, EPFL, Lausanne, Switzerland（瑞士联邦理工学院计算机与通信科学学院）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands（莱顿大学莱顿高级计算机科学研究所）；College of Management of Technology, EPFL, Lausanne, Switzerland（瑞士联邦理工学院技术管理学院）；Department of Computer Science ETH Zurich（苏黎世联邦理工学院计算机科学系）
针对策略梯度方法易收敛到差局部最优点或鞍点、重要性采样权重削弱方差缩减效果的问题，提出基于海森向量积的方差缩减二阶方法，提升了二阶平稳点求解的样本复杂度效率，实验表现优于现有最优方法且鲁棒性更强。
2025-09-30 cs.LG math.OC
Structure Adaptive Algorithms for Stochastic Bandits
INRIA - DIENS - PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了一类结构随机多臂强盗问题的报酬最大化问题，其中各臂的平均报酬满足一些给定的结构约束，例如线性、单峰、稀疏等。我们的目标是开发灵活的方法（因为它们很容易适应不同的结构），强大的（因为它们在经验上表现良好和/或可证明地匹配依赖于实例的下限）和高效的（因为每轮计算负担小）。我们开发的渐近最优算法，从依赖于实例的下限使用迭代鞍点求解器。我们的方法概括了最近的迭代方法，纯探索奖励最大化，其中一个主要的挑战来自估计的次优差距和他们的倒数。我们仍然设法实现上述所有迫切需要。值得注意的是，我们的技术避免了以前的工作所采用的成熟鞍点预言的计算成本，同时使有限时间的遗憾界限。我们的实验表明，我们的方法成功地利用了结构的假设，而它的遗憾是在最坏的香草UCB。
2020-07-02 cs.LG stat.ML
Gradient Descent and the Power Method: Exploiting their connection to find the leftmost eigen-pair and escape saddle points
这项工作表明，应用梯度下降（GD）与一个固定的步长，以最小化（可能非凸）二次函数是等效的梯度上运行的功率方法（PM）。因此，建立了具有固定步长的GD与具有和不具有固定动量的PM之间的联系。因此，有价值的本征信息是通过GD。最近的例子表明，GD与一个固定的步长，适用于局部二次非凸函数，可以采取指数时间逃逸鞍点（西蒙S。放大图片作者：Li Jin，Jason D.迈克尔·李Jordan，Aarti Singh和Barnabas Poczos：“梯度下降可能需要指数级时间来逃离鞍点“; S。Paternain，A. Mokhtari和A. Ribeiro：“A Newton-based method for nonconvex optimization with fast evasion of鞍点“）。在这里，这些例子被重新审视，它表明，本征值信息丢失，使例子可能无法提供一个完整的图片的潜在的实际行为的GD。因此，正在进行的调查GD的非凸函数的行为，可能与\emph{adaptive}或\emph{variable}步长，是有道理的。结果表明，在$R^2$中二次型的特殊情况下，若特征值已知，则具有固定步长的GD将在两次迭代中收敛，并可实现完全的特征分解.通过考虑梯度和迭代的动态性，提出了新的步长策略，以提高GD的实际性能。几个数值例子，这表明利用GD-PM连接的优点。
2022-11-02 cs.LG math.OC
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University（理海大学）；Intel Labs（英特尔实验室）
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降（SGD）算法及其变体是当前最先进的解决方案。然而，由于问题的非凸性性质，观察到SGD在鞍点附近减慢。最近的实证研究表明，通过有效地检测和逃逸鞍点，更有可能提高训练性能。为此，我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体，并展示了SGD的卓越扩展潜力，它允许更有效地利用更大的计算资源，从而实现大型模型和更快的时间来获得所需的解决方案。此外，不同于截断牛顿法（Marten的HF），忽略负曲率信息，通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向，通过稳定的双共轭方法解决的子问题，涉及可能的不确定的随机海森信息。我们表明，这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程，表现出强大的性能，批量大小高达一个数量级。对于一个简单的4层网络，最多可在16个CPU节点上实现接近线性的加速，说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Optimistic and Adaptive Lagrangian Hedging
Borealis AI
在在线学习中，算法在每一轮都要与一个可能被对手挑选出损失的环境进行博弈。这个框架的一般性包括非对抗性的问题，例如离线优化或鞍点问题（即最小最大优化）。然而，在线算法通常不会被设计成利用非对抗性问题中存在的额外结构。最近，对众所周知的在线算法（如乐观和自适应步长）的轻微修改已用于多个领域以加速在线学习-在离线平滑优化中恢复最佳速率，并在平滑游戏中加速收敛到鞍点或社会福利。在这项工作中，我们引入乐观和自适应步长拉格朗日对冲，一类在线算法，包括遗憾匹配，对冲（即乘法权重）。我们的成果包括：一般的一般遗憾界限;固定平滑损失的路径长度遗憾界限，适用于遗憾匹配和遗憾匹配+的乐观变体; $Φ$遗憾的乐观遗憾界限，包括外部、内部和交换遗憾的框架;以及包括遗憾匹配+作为特殊情况的算法族的乐观界限。
2021-02-03 cs.LG
Dimension-Free Saddle-Point Escape in Muon
xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港理工大学（广州））
本文分析了穆隆优化器的鞍点逃离动态，证明其通过非线性谱形变机制避免维度诅咒，实现无维度的确定性逃离。
2026-05-10 cs.LG
Simultaneous Learning and Optimization via Misspecified Saddle Point Problems
Department of Systems and Industrial Engineering, The University of Arizona（系统与工业工程系，亚利桑那大学）
本研究提出两种基于加速原始-对偶的算法，解决参数未知且需同步学习的错误设定鞍点问题，实现收敛速率保证并在投资组合优化中表现优越。
2025-10-06 cs.LG math.OC
Learning and Generalization in Overparameterized Neural Networks, Going Beyond Two Layers
Microsoft Research AI（微软研究院人工智能部门）；Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
神经网络背后的基本学习理论在很大程度上仍然是开放的。神经网络实际上可以学习哪类函数？为什么经过训练的网络在过参数化时不会过拟合？在这项工作中，我们证明了过参数化神经网络可以学习一些显着的概念类，包括两层和三层网络，具有较少的参数和光滑的激活。此外，学习可以简单地通过SGD（随机梯度下降）或其变体在多项式时间内使用多项式多个样本来完成。样本复杂度也几乎与网络中参数的数量无关。在技术方面，我们的分析超越了以前的工作中所谓的NTK（神经切线核）线性化的神经网络。我们建立了神经网络的二次逼近的新概念（可以看作是NTK的二阶变体），并将其与逃逸鞍点的SGD理论相联系。
2020-06-01 cs.DS cs.LG cs.NE
Second-Order Optimization for Non-Convex Machine Learning: An Empirical Study
Institute for Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；School of Mathematics and Physics, University of Queensland（数学与物理学院，昆士兰大学）；International Computer Science Institute, Berkeley, USA（国际计算机科学研究所，伯克利，美国）；International Computer Science Institute and Department of Statistics, University of California at Berkeley（国际计算机科学研究所和统计学系，加州大学伯克利分校）
本文通过实证研究评估了非凸机器学习问题中牛顿型方法的性能，证明其在泛化性能和超参数鲁棒性方面优于传统SGD，能有效逃离平坦区域和鞍点。
2018-02-16 cs.LG cs.NA math.NA
On a continuous time model of gradient descent dynamics and instability in deep learning
DeepMind（深度思维公司）；University College London（伦敦大学学院）；Google（谷歌公司）
为研究深度学习中梯度下降的不稳定性，本文提出连续时间流 PF 近似其动力学，揭示边缘稳定性现象，并据此提出一种学习率自适应方法以权衡训练稳定性与测试性能。
2023-09-13 cs.LG stat.ML
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich（苏黎世联邦理工学院）
本文回顾了所谓的消失梯度现象，这通常发生在深度随机初始化神经网络。利用对神经链的深入分析，我们首先证明，当网络宽度小于O（深度）时，即使使用流行的Xavier和He初始化初始化，也无法规避消失梯度。其次，我们扩展到二阶导数的分析，并表明，随机i.i.d.初始化也会产生Hessian矩阵，其特征谱随着网络深度的增长而消失。每当这种情况发生时，优化器都会在一个非常平坦的鞍点状高原中初始化，这是特别难以用随机梯度下降（SGD）逃脱的，因为它的逃脱时间与曲率成反比。我们认为，这一观察结果对于充分理解（a）使用香草SGD训练深度网络的历史困难，（b）自适应梯度方法的成功（自然适应曲率，从而快速逃离平坦高原）以及（c）现代架构组件（如剩余连接和归一化层）的有效性至关重要。
2021-06-07 cs.LG
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
ADINE: An Adaptive Momentum Method for Stochastic Gradient Descent
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
在优化中取得巨大成功的两个主要的基于动量的技术是Polyak的重球方法和Nesterov的加速梯度。在所有基于动量的方法中，关键的一步是动量参数$m$的选择，通常建议将其设置为小于$1$。虽然选择$m < 1$只有在非常强的理论假设下才是合理的，但即使在假设不一定成立的情况下，它在实践中也能很好地工作。在本文中，我们提出了一个新的动量为基础的方法$\textit{ADINE}$，它放宽了$m < 1$的约束，并允许学习算法使用自适应更高的动量。我们通过实验验证了更高的动量（$\ge 1$）可以帮助更快地逃离马鞍，从而激发了我们对$m$的假设。利用这种动机，我们提出了我们的方法$\textit{ADINE}$，该方法有助于更多地权衡先前的更新（通过设置动量参数$> 1$），在深度神经网络上评估我们提出的算法，并表明$\textit{ADINE}$有助于学习算法更快地收敛，而不会影响泛化误差。
2017-12-20 cs.LG stat.ML
A fast and simple modification of Newton's method helping to avoid saddle points
University of Oslo（奥斯陆大学）；Ecole Nationale de l’Aviation Civile（法国国立民用航空学院）；Sorbone University（索邦大学）；Axon AI Research（Axon AI研究）；Torus Actions SAS（Torus Actions公司）；ODI Medical AS（ODI Medical公司）
本文提出新Q-牛顿法。更新规则在概念上非常简单，例如$x_{n+1}=x_n-w_n$，其中$w_n=pr_{A_n,+}(v_n)-pr_{A_n,-}(v_n)$，具有$A_n=\nabla ^2f(x_n)+δ_n||\nabla f(x_n)||^2.Id$和$v_n=A_n^{-1}.\nabla f(x_n)$。这里$δ_n$是一个适当的实数，使得$A_n$是可逆的，而$pr_{A_n,\pm}$是由$A_n$的正（相应地负）特征值的特征向量生成的向量子空间的投影。本文的主要结果大致是：若$f$是$C^3$（可从下无界），且是由任意初始点$x_0$用新Q-牛顿法构造的序列$\{x_n\}$，{ \bf收敛}，则极限点是临界点而不是鞍点，且收敛速度与牛顿法相同.第一作者最近成功地将回溯线搜索新Q-牛顿法，从而解决了收敛保证问题观察到的一些（非光滑）成本函数。本文将讨论一个应用于一元亚纯函数零点的快速求法。针对诸如BFGS和自适应立方正则化之类的公知算法进行了各种实验。
2021-09-09 cs.LG cs.NA math.DS
New Q-Newton's method meets Backtracking line search: good convergence guarantee, saddle points avoidance, quadratic rate of convergence, and easy implementation
University of Oslo（奥斯陆大学）
在最近的合作工作中，作者发展了一种改进的牛顿法，称为新Q-牛顿法，它可以避免鞍点，并具有二次收敛速率。虽然良好的理论收敛保证尚未建立这种方法，小规模的问题上的实验表明，该方法的作品非常有竞争力的其他众所周知的修改牛顿法，如自适应立方正则化和BFGS，以及一阶方法，如无界双向回溯梯度下降。在本文中，我们解决了收敛保证问题，提出了一个修改的新Q-牛顿法，命名为新Q-牛顿法回溯，它结合了一个更复杂的使用超参数和回溯线搜索。这种新方法有很好的理论保证，对于{ \bf Morse函数}产生以下结果（这对于新Q-牛顿法是未知的）：{ \bf定理}。设$f:\mathbb{R}^m\rightarrow \mathbb{R}$是Morse函数，即它的所有临界点都具有可逆的Hessian。然后，对于从随机初始点$x_0$用新Q-牛顿法回溯构造的序列$\{x_n\}$，我们有以下两种选择：i）$\lim_{n\rightarrow\infty}||x_n||=\infty$，或ii）$\{x_n\}$收敛到$f$的一个{ \bf局部极小}点$x_{\infty}$，且其收敛速率为{ \bf二次型}.此外，如果$f$具有紧凑的子能级，则只发生情况ii）。据我们所知，对于Morse函数，这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模的实验中测试了新Q-牛顿法回溯的一些进一步简化版本，发现新方…
2021-08-23 cs.LG cs.NA math.DS
SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM
University of Chinese Academy of Sciences（中国科学院大学）；Tencent Corporate（腾讯公司）
针对长尾分布中头部与尾部类别难以平衡的问题，提出分阶段的SSE-SAM方法，结合SAM与ImbSAM的互补优势，在不同阶段分别优化头部和尾部类别，有效逃离鞍点并提升整体性能。
2024-12-20 cs.LG
Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们研究鲁棒分布式学习，涉及最小化非凸损失函数鞍点。我们考虑拜占庭设置，其中一些工人机器具有异常甚至任意和对抗性行为。在这种情况下，拜占庭机器可能会在远离任何真正的局部最小值的鞍点附近创建假的局部最小值，即使使用了鲁棒的梯度估计器。我们开发ByzantinePGD，一个强大的一阶算法，可以证明逃脱鞍点和假的局部极小值，并收敛到一个近似的真正的局部极小，具有低迭代复杂度。作为副产品，我们给出了一个更简单的算法和分析，在通常的非拜占庭设置逃逸鞍点。我们进一步讨论了三个强大的梯度估计，可用于ByzantinePGD，包括中位数，修剪均值，迭代滤波。我们在具体的统计环境中的性能特点，并认为他们的近最优的低维和高维制度。
2020-07-29 cs.CR cs.DC cs.LG
Equilibrated adaptive learning rates for non-convex optimization
本文提出ESGD算法，通过平衡预条件器改进非凸优化中的自适应学习率，实验显示其收敛速度优于RMSProp。
2015-08-29 cs.LG cs.NA math.NA
Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence
Boston University（波士顿大学）；Northeastern University（东北大学）
我们开发了新的自适应算法与单调算子的变分不等式，它捕获了许多感兴趣的问题，特别是凸优化和凹凸鞍点问题。我们的算法自动适应未知的问题参数，如平滑和规范的运营商，和方差的随机评估预言。我们表明，我们的算法是通用的，同时达到最佳的收敛速度在非光滑，光滑，随机设置。我们的算法的收敛性保证改善现有的自适应方法的$Ω(\sqrt{\ln T})$因子，匹配的最佳非自适应算法。此外，以前的工作要求优化域是有界的。在这项工作中，我们删除这个限制，并给出算法的无界域是自适应的和普遍的。我们的一般证明技术可以用于算法的许多变体，每次迭代使用一个或两个运算符评估。基于ExtraGradient/RightProx算法的经典方法每次迭代需要两次运算符评估，这在许多设置中是运行时间的主要因素。
2021-08-26 cs.DS cs.LG
Adaptive kernel predictors from feature-learning infinite limits of neural networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学校）；Center for Brain Sciences（脑科学中心）；Kempner Institute（凯普纳研究所）
本文证明在特征学习无穷宽度机制下训练的神经网络可由数据相关核的核机器描述，推导出两种核预测器，并在基准数据集上实现更低的测试损失。
2025-09-10 cond-mat.dis-nn cs.LG stat.ML
