Stochastic Subspace Cubic Newton Method
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Catholic University of Louvain（鲁汶天主教大学）
本文提出了一种新的随机二阶优化算法--随机子空间三次牛顿算法（SSCN）--求解高维凸函数$f$的极小化问题。我们的方法可以看作是Nesterov和Polyak（2006）的正则化牛顿方法的{ \em随机}扩展，以及Kozak等人（2019）的随机子空间下降的{ \em二阶}增强。我们证明，当我们改变minibatch的大小，SSCN的整体收敛率插值之间的随机坐标下降（CD）的速度和三次正则化牛顿，从而给一阶和二阶方法之间的连接新的见解。值得注意的是，SSCN的局部收敛速度匹配的随机子空间下降的速度应用于最小化的二次函数$\frac12 (x-x^*)^\top \nabla^2f(x^*)(x-x^*)$，其中$x^*$是最小的$f$的问题，因此取决于性能的$f$在最佳的。我们的数值实验表明，SSCN优于非加速的一阶CD算法，同时具有竞争力的加速变种。
2020-02-21 cs.LG math.OC
Modified Gauss-Newton Algorithms under Noise
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；Google Research（谷歌研究院）
本文从理论和实验两方面对比了修正Gauss-Newton算法与梯度下降在噪声环境下的性能，刻画了二次收敛区间，并强调了随机次梯度下降在非光滑复合目标中的通用性。
2023-05-18 cs.LG math.OC
Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis
Lehigh University（里海大学）
最近提出了几种稀疏优化方法，这些方法仔细使用二阶信息[10，28，16，3]来提高局部收敛速度。这些方法使用Hessian信息构建复合二次近似，使用一阶方法（例如坐标下降）优化该近似，并采用线搜索以确保充分下降。在这里，我们提出了一个通用的框架，其中包括现有算法的略有修改的版本，也是一个新的算法，它使用有限的内存BFGS海森近似，并提供了一种新的全局收敛速度分析，其中包括通过坐标下降解决子问题的方法。
2015-07-14 cs.LG math.OC stat.ML
Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）
一个动力系统被定义为一个支付函数的梯度。动力学变量有两种类型，上升和下降。上升变量沿梯度方向移动，而下降变量沿相反方向移动。这种形式的动力系统或非常相似的形式已经在不同的领域，如对策论，优化，神经网络和人口生物学进行了研究。梯度下降-上升被近似为保持总能量的牛顿动力系统，总能量被定义为动能和与支付函数成比例的势能的总和。近似的误差是违反能量守恒的残余力。如果剩余力是纯粹耗散的，那么能量作为李雅普诺夫函数，有界轨迹收敛到稳定状态是有保证的。由于Kose和Uzawa以前的收敛定理要求支付函数在下降变量中是凸的，在上升变量中是凹的。这里的假设是放松的，所以支付函数只需要在上升变量中比在下降变量中全局地“更不凸”或“更凹”。这样的相对凸性条件允许存在多个稳态，不同于凹凸假设。当结合充分条件，意味着存在一个极大极小均衡，有界的轨迹也保证。
2019-03-05 cs.GT cs.LG cs.NE
Reparametrizing gradient descent
在这项工作中，我们提出了一个优化算法，我们称之为范数适应梯度下降。该算法与其他基于梯度的优化算法（如Adam或Adagrad）类似，因为它在每次迭代时都会调整随机梯度下降的学习率。然而，范数自适应梯度下降不是使用观测到的梯度的统计特性，而是依赖于标准梯度下降更新步骤的效果的一阶估计，在许多维度上非常类似于牛顿-拉夫森方法。我们的算法也可以与拟牛顿法相比，但我们寻求的是根而不是固定点。求根可以通过以下事实来证明：对于具有由非负损失函数度量的足够容量的模型，根与全局最优值重合。这项工作提出了几个实验，我们已经使用我们的算法;在这些结果中，似乎范数适应下降在回归设置中特别强大，但也能够训练分类器。
2020-10-09 cs.LG cs.NE math.OC
Simplified Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
本文提出一种新的二次梯度方法，通过合成Hessian和梯度，改进了传统牛顿方法的收敛性，实验显示其在非凸优化中具有更好的性能。
2026-08-04 cs.LG math.OC
Sequential Gradient Descent and Quasi-Newton's Method for Change-Point Analysis
Texas A&M University（得克萨斯农工大学）
检测变点的一种常见方法是在变点的可能数量和位置上最小化成本函数。该框架包括几个完善的程序，如惩罚的可能性和最小描述长度。这种方法需要在数据集的不同段上重复地找到成本值，当（i）数据序列很长并且（ii）获得成本值涉及解决非平凡优化问题时，这可能是耗时的。本文介绍了一种新的顺序方法（SE），可以耦合梯度下降（SeGD）和拟牛顿法（SeN），以有效地找到成本值。其核心思想是使用先前步骤中的信息更新成本值，而无需重新优化目标函数。将该方法应用于广义线性模型和惩罚回归的变点检测。数值研究表明，新的方法可以比修剪精确线性时间（PELT）方法快几个数量级，而不牺牲估计精度。
2022-10-21 cs.LG stat.ML
Inertial Newton Algorithms Avoiding Strict Saddle Points
CNRS（法国国家科学研究中心）；IRIT（信息科学与技术研究院）；Université de Toulouse（图卢兹大学）
本文研究了非凸环境下混合牛顿法与惯性梯度下降的二阶算法的渐近行为，证明其几乎总能逃离严格鞍点，并揭示了超参数在临界点附近定性行为中的作用，理论结果得到了数值实例支持。
2024-02-12 cs.LG math.OC
Gradient descent with generalized Newton's method
University of Pennsylvania（宾夕法尼亚大学）
本研究提出融合海森矩阵信息的广义牛顿法GeN，可适配任意优化器、自动动态选学习率且开销极低，实验证明其在语言与视觉任务上能达到当前最优性能。
2025-05-17 cs.CL cs.CV cs.LG
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究院）
在本文中，我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架，其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降，经典的和广义的高斯-牛顿方法，自然梯度下降方法，梯度协方差矩阵方法，和牛顿的方法。除了在一个单一的框架内解释这些方法，我们解释了它们的特殊性，并显示在哪些条件下，其中一些一致。
2021-08-14 cs.LG stat.ML
Accelerating Ill-conditioned Hankel Matrix Recovery via Structured Newton-like Descent
Department of Statistics and Data Science and Department of Computer Science, University of Central Florida（统计与数据科学系和计算机科学系，中央佛罗里达大学）；Department of Computational Mathematics, Science and Engineering and Department of Mathematics, Michigan State University（计算数学、科学与工程系和数学系，密歇根州立大学）；School of Mathematics and Statistics, and Hubei Key Laboratory of Computational Science, Wuhan University（数学与统计学系，和湖北计算科学重点实验室，武汉大学）；School of Artificial Intelligence, Wuhan University, National Center for Applied Mathematics in Hubei, and Hubei Key Laboratory of Computational Science, Wuhan, China（人工智能学院，武汉大学，湖北应用数学中心，和湖北计算科学重点实验室，中国武汉）；Institute for Advanced Study, Shenzhen University（先进研究学院，深圳大学）
本文提出HSNLD算法，通过结构化牛顿-样下降方法高效恢复病态Hankel矩阵，具有线性收敛性并优于现有算法。
2025-04-10 cs.IT cs.LG eess.SP
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Newton Method-based Subspace Support Vector Data Description
Tampere University（坦佩雷大学）
针对S-SVDD依赖一阶梯度下降易陷入次优的问题，本文引入牛顿法并给出线性与非线性优化形式，实验表明其在多数情况下性能更优。
2023-09-25 cs.LG
Generalized Optimization: A First Step Towards Category Theoretic Learning Theory
University of Oxford（牛津大学）
笛卡尔反导数是反模式自动微分的范畴推广。我们使用这个算子来推广几种优化算法，包括梯度下降的简单推广和牛顿法的新推广。然后，我们探讨这些算法的属性保存在这个广义的设置。首先，我们证明了这些算法的变换不变性是保留的：而广义牛顿法是不变的所有可逆的线性变换，广义梯度下降是不变的正交线性变换。接下来，我们表明，我们可以表示损失的变化的广义梯度下降的内积样的表达，从而推广的非增和收敛性能的梯度下降优化流。最后，我们包括几个数值实验来说明本文中的想法，并演示如何使用它们来优化有序环上的多项式函数。
2021-09-20 cs.LG math.OC stat.ML
Generalisation under gradient descent via deterministic PAC-Bayes
Universitat Pompeu Fabra（庞培法布拉大学）；University of Oxford（牛津大学）；UCL（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分部）
针对梯度下降类模型泛化性问题，提出解耦的确定性PAC-Bayesian泛化界，无需去随机化且可计算，适用于SGD、动量法等多种迭代优化算法，为泛化分析提供新框架。
2025-02-11 cs.LG stat.ML
Implementation of Stochastic Quasi-Newton's Method in PyTorch
Northwestern University（西北大学）；Stony Brook University（石溪大学）
在本文中，我们实现了随机阻尼LBFGS（SdLBFGS）的随机非凸优化。我们做了两个重要的修改，原来的SdLBFGS算法。首先，通过在每一步中使用单位矩阵初始化Hessian，算法比原算法具有更好的收敛性。第二，通过方向归一化，我们可以得到稳定的优化过程，而无需线搜索。最小化二维非凸函数的实验表明，改进算法的收敛性优于原算法，在CIFAR10和MNIST数据集上的实验表明，改进算法工作稳定，测试精度与PyTorch中的一阶优化器SGD、Adagrad和二阶优化器LBFGS相当甚至更高。
2018-05-07 cs.LG math.OC stat.ML
Distributed Inexact Damped Newton Method: Data Partitioning and Load-Balancing
Lehigh University（里海大学）
本文研究了在分布式环境下实现的不精确转储牛顿法。我们从原始的DiSCO算法开始[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Yushan Zhang and Lin Xiao，2015]。我们将证明这种算法可能无法很好地扩展，并提出一种算法修改，这将导致更少的通信，更好负载均衡和更有效的计算。我们进行了数值实验，正则化的经验损失最小化的情况下描述的273 GB的数据集。
2016-03-16 cs.LG math.OC
Gradient Regularized Newton Boosting Trees with Global Convergence
Department of Mathematics, Imperial College London, UK（帝国理工学院伦敦数学系）；School of Computer Science, University of St. Gallen, Switzerland（圣加尔登大学计算机科学学院）；Department of Mathematics, Stockholm University, Sweden（斯德哥尔摩大学数学系）
本文提出受限牛顿下降法，通过研究在希尔伯特空间上使用牛顿法进行凸优化，证明了牛顿提升在满足Hessian主导条件的光滑强凸损失下的线性收敛率，并通过引入适应性ℓ2正则化项实现对一般凸损失的全局收敛。
2026-05-01 cs.LG math.OC stat.ML
Q-Newton: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；The University of Pittsburgh（匹兹堡大学）；The University of Chicago（芝加哥大学）；University of California Los Angeles（加州大学洛杉矶分校）
提出量子-经典混合调度器 Q-Newton，通过估计和减小条件数并构建稀疏度来协调量子和经典线性求解器，加速牛顿梯度下降的矩阵求逆过程，显著减少神经网络训练时间。
2025-04-29 cs.AI cs.LG quant-ph
Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
University of Southern California（南加州大学）
本文证明Transformers在上下文线性回归中学会近似二阶优化方法，其收敛速率与迭代牛顿法相似且远快于梯度下降，并在病态数据上表现优异。
2024-11-16 cs.AI cs.CL cs.LG
ALS: Augmented Lagrangian Sketching Methods for Linear Systems
我们开发了两种基本的随机草图技术：惩罚草图（PS）和增广拉格朗日草图（ALS）解决一致的线性系。所提出的PS和ALS技术通过引入拉格朗日惩罚草图来扩展和推广草图与项目（SP）方法的范围。在这样做，我们恢复SP方法作为特殊情况下，并进一步开发了一个家庭的新的随机迭代法。通过改变所提出的PS方法中的草图参数，我们恢复新的随机方法，如惩罚牛顿下降，惩罚Kaczmarz，惩罚随机下降，惩罚坐标下降，惩罚高斯追求，和惩罚块Kaczmarz。此外，所提出的ALS方法综合了各种各样的新的随机方法，如增强牛顿下降，增强Kaczmarz，增强随机下降，增强坐标下降，增强高斯追踪和增强块Kaczmarz到一个框架。此外，我们表明，开发的PS和ALS框架可以用来重新制定原来的线性系等价的随机最优化问题，即惩罚随机重新制定和增广随机重新制定。我们证明了PS和ALS方法的整体收敛速度以及次线性$\mathcal{O}(\frac{1}{k})$速率的Cesaro平均迭代。所提出的收敛结果适用于广泛的随机矩阵的分布，这提供了微调适合于特定应用的方法的随机性的机会。最后，我们进行计算实验，证明我们的方法相比，现有的SP方法的效率。
2022-08-12 cs.LG cs.NA math.NA
A Stein variational Newton method
University of Bath（巴斯大学）；The Alan Turing Institute（艾伦·图灵研究所）；Monash University（莫纳什大学）；Massachusetts Institute of Technology（麻省理工学院）；Heidelberg University（海德堡大学）
本文提出了一种基于Stein变分梯度下降（SVGD）的改进方法，通过引入二阶信息加速并推广了该算法，实现了函数空间中的牛顿迭代，并展示了在多个测试案例中显著的计算效率提升。
2018-10-29 cs.LG cs.NA math.NA
Quasi-Newton's method in the class gradient defined high-curvature subspace
University of Southampton（南安普顿大学）
使用深度学习的分类问题已被证明在损失景观中具有高曲率子空间，其维度等于类的数量。此外，该子空间对应于每个类别的logit梯度所跨越的子空间。加速优化的一个明显的策略是在高曲率子空间中使用牛顿方法，在协空间中使用随机梯度下降。我们发现，一个天真的实现实际上减慢收敛，我们推测为什么这可能是。
2020-11-28 cs.LG
From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
该研究针对Muon优化器，证明其实际实现（有限次Newton-Schulz迭代与正稳定常数）会使其在线性分类中失去谱隐式偏置，转为弗罗贝尼乌斯偏置，且可通过对数增长迭代次数恢复谱偏置。
2026-10-14 cs.AI cs.LG
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
The Physical Systems Behind Optimization Algorithms
Princeton University（普林斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Georgia Institute of Technology（佐治亚理工学院）
我们使用基于微分方程的方法来提供一些{ \it \textbf{physics} }的见解来分析机器学习中流行的优化算法的动态。特别是，我们研究了梯度下降，近端梯度下降，坐标梯度下降，近端坐标梯度，牛顿的方法，以及他们的Nesterov的加速变种在一个统一的框架内，由自然连接的优化算法的物理系统。我们的分析是适用于更一般的算法和优化问题{ \it \textbf{beyond} }凸性和强凸性，例如Polyak-Jasojasiewicz和误差界条件（可能非凸）。
2018-10-25 cs.LG math.OC stat.ML
Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
在消失学习率机制中，随机梯度下降（SGD）现在相对较好地理解。在这项工作中，我们建议研究SGD及其变体在非零学习率制度的基本属性。重点是推导出完全可解的结果，并讨论其影响。这项工作的主要贡献是推导出稳态分布离散时间SGD在二次损失函数有和没有动量，特别是，我们的结果的一个含义是，离散时间动态引起的波动采取扭曲的形状，是显着大于连续时间理论可以预测。在这项工作中考虑所提出的理论的应用程序的例子包括近似误差的SGD的变体，小批量噪声的影响，最佳的贝叶斯推断，从一个尖锐的最小值的逃逸率，和平稳的协方差的一些二阶方法，包括阻尼牛顿的方法，自然梯度下降，亚当。
2021-06-11 cs.LG stat.ML
An Inertial Newton Algorithm for Deep Learning
IRIT；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse School of Economics（图卢兹经济学院）；DEEL；IRT Saint Exupery（圣埃克苏佩里技术研究院）
我们介绍了一种新的二阶惯性优化方法的机器学习称为INNA。它利用几何的损失函数，而只需要随机近似的函数值和广义梯度。这使得INNA完全可实现，并适用于大规模优化问题，例如深度神经网络的训练。该算法结合了梯度下降和牛顿行为以及惯性。我们证明了INNA对于大多数深度学习问题的收敛性。为此，我们提供了一个非常适合的框架来分析涉及驯服优化的深度学习损失函数，其中我们研究了连续动力系统及其离散随机近似。我们证明了次线性收敛的连续时间微分包含，我们的算法的基础。此外，我们还展示了如何应用于非光滑非凸问题的标准优化小批量方法可以产生某种类型的虚假固定点从未讨论过。我们解决这个问题，提供了一个理论框架，围绕新的思想$D$ -临界性，然后我们给出了一个简单的渐近分析INNA。我们的算法允许使用$o(1/\log k)$的积极学习率。从经验的角度来看，我们表明，INNA返回竞争力的结果相对于最先进的（随机梯度下降，ADAGRAD，ADAM）对流行的深度学习基准问题。
2021-07-28 cs.LG math.OC stat.ML
Damped Online Newton Step for Portfolio Selection
Massachusetts Institute of Technology（麻省理工学院）
我们重新审视经典的在线投资组合选择问题，在每一轮中，学习者选择一组投资组合的分布来分配其财富。众所周知，对于这个问题，例如，使用通用投资组合选择算法可以实现关于覆盖损失的对数后悔。然而，所有现有的算法，实现了对数遗憾这个问题的每轮时间和空间复杂度的规模与总轮数的多项式，使他们不切实际。在本文中，我们以Haipeng等人2018年的最新工作为基础，提出了第一个实用的在线投资组合选择算法，该算法具有对数遗憾，其每轮时间和空间复杂度仅在数学上依赖于地平线。在我们的方法背后是两个独立兴趣的关键技术创新。我们首先表明，即使在处理时变正则化器时，阻尼在线牛顿步骤也可以很好地逼近镜像下降迭代。其次，我们提出了一个新的元算法，实现了自适应对数遗憾（即对数遗憾的任何子区间）的混合损失。
2022-02-15 cs.LG math.OC
Energy Manifold Natural Gradient Descent: Riemannian Optimization for Neural PDE Solvers
Tianjin University（天津大学）；Jilin University（吉林大学）
研究针对神经偏微分方程求解器，提出能量流形自然梯度下降框架\EMNGD，将参数更新与函数空间能量曲率对齐，在黎曼流形上优化，证明相关性质，实验显示比现有基线精度更高、收敛更快，还能量化精度与成本权衡。
2026-07-27 cs.LG
Preconditioner on Matrix Lie Group for SGD
GMEMS Technologies and Spectimbre（GMEMS技术和Spectimbre（公司））；Fairview Way, Milpitas, CA 95035（366 Fairview Way, Milpitas, CA 95035（地址，非机构））
我们研究了两种类型的预条件和预条件随机梯度下降（SGD）方法在一个统一的框架。第一种方法与Newton方法有密切的关系，我们称之为Newton型;第二种方法与费舍尔信息矩阵的逆有密切的关系，我们称之为Fisher型。这两个预条件可以从一个框架中导出，并使用自然或相对梯度下降最小化某些预条件估计标准在用户指定的任何矩阵李群上进行有效估计。许多现有的预处理器和方法，例如，RMSProp、Adam、KFAC、平衡SGD、批次标准化等，是Newton型或Fisher型的特例或与之密切相关。针对较大规模的机器学习问题，给出了相应的实验结果.
2018-12-25 cs.LG stat.ML
Fast Generalization after Interpolation via Critically Damped Momentum Optimization
University of Cambridge（剑桥大学）；University of Hawaii at Manoa（夏威夷大学曼瑙分校）
提出GROKtimizer双阶段策略，结合快速收敛到插值与临界阻尼动量后插值范数最小化，在局部二次模型下实现比经典梯度下降二次加速，选择低范数插值解以提升泛化。
2026-06-01 cs.LG stat.ML
Damped Gauss Newton Search for Multi Metric Hyperparameter Optimization
本文提出一种多目标阻尼高斯-牛顿超参数搜索方法，通过有限差分雅可比和Tikhonov正则化实现定向更新，在乳腺癌数据集上匹配网格搜索精度，但整体性能未稳定超越随机搜索或TPE。
2026-09-29 cs.LG math.OC
Preconditioned Stochastic Gradient Descent
随机梯度下降（SGD）仍然是许多实际问题的主力。然而，它收敛缓慢，并且可能难以调谐。对SGD进行预处理可以显著加快其收敛速度。但是在这个方向上的许多尝试要么旨在解决专门的问题，要么导致比SGD更复杂的方法。本文提出了一种新的方法来估计一个预条件，使预条件随机梯度的扰动幅度匹配的扰动的参数进行优化的方式可比牛顿法确定性优化。与确定性拟牛顿方法中基于正割方程拟合的预条件不同，该方法假设正定Hessian并近似其逆，新的预条件对于具有精确梯度或噪声梯度的凸和非凸优化同样有效。当使用随机梯度时，它可以自然地阻尼梯度噪声以稳定SGD。有效的预条件估计方法的发展，并与合理的简化，他们适用于大规模的问题。实验结果表明，配备了新的预处理器，没有任何调整的努力，预处理SGD可以有效地解决许多具有挑战性的问题，如训练的深度神经网络或递归神经网络需要极长的长期记忆。
2017-02-22 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校）；Binghamton University（宾汉姆顿大学）；Eastern Illinois University（东伊利诺伊大学）
自牛顿法问世以来，梯度下降算法已被用于无数应用中。近年来，神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数：必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法，称为Gravilon，它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络，我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
DC Proximal Newton for Non-Convex Optimization Problems
Université de Rouen（鲁昂大学）；Université de Nice Sophia-Antipolis（尼斯索菲亚-安提波利斯大学）；CNRS（法国国家科学研究中心）；INSA de Rouen（鲁昂国立应用科学学院）
本文提出一种新的非凸优化算法，通过近端牛顿法处理非凸损失和正则化函数，理论分析证明其极限点为DC目标函数的 stationary points，实验显示其在高维转导学习中更高效。
2015-07-02 cs.LG cs.NA math.NA
A block coordinate descent optimizer for classification problems exploiting convexity
Sandia National Laboratories（桑迪亚国家实验室）
二阶优化器对于深度学习具有有趣的潜力，但与基于梯度的方法相比，二阶优化器具有增加的成本和对损失表面的非凸性的敏感性。我们引入了一种坐标下降方法来训练用于分类任务的深度神经网络，该方法利用线性层权重中交叉熵损失的全局凸性。我们的混合牛顿/梯度下降（NGD）的方法是一致的解释隐藏层提供一个自适应的基础和线性层提供一个最佳的适合的基础数据。通过交替使用二阶方法找到线性层的全局最优参数和梯度下降来训练隐藏层，我们确保了自适应基在整个训练过程中与数据的最佳拟合。二阶步长中Hessian的大小仅与线性层中的权重数有关，而与隐藏层的深度和宽度无关;此外，该方法适用于任意隐藏层结构。以前的工作应用这种自适应基础的角度回归问题证明了显着的改进，在降低训练成本的准确性，这项工作可以被视为这种方法的扩展分类问题。我们首先证明了所得到的Hessian矩阵是对称半定的，并且牛顿步实现了全局极小。通过研究制造的二维点云数据的分类，我们证明了使用NGD训练时，验证误差的改善和隐藏层中编码的基函数的显着质的差异。应用于密集和卷积架构的图像分类基准测试表明，训练精度有所提高，表明二阶方法可能优于梯度下降。
2020-06-17 cs.LG stat.ML
Randomness and Interpolation Improve Gradient Descent
Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University, Suzhou 21523, China tabular
本文提出基于SGD的两种优化器IAGD（利用牛顿插值加速收敛）和NRSGD（引入噪声正则化防过拟合），在CIFAR数据集上验证了其优于经典优化器的潜力。
2025-10-14 cs.AI cs.LG
Gradient and Newton Boosting for Classification and Regression
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
提升算法经常用于应用数据科学和研究。到目前为止，在应用和方法论研究中，通常都没有区分梯度下降或二阶牛顿更新的提升，因此隐含地假设差异是无关紧要的。本文的目的就是要澄清这种情况。特别是，我们提出了梯度和牛顿助推，以及两者的混合变体，在一个统一的框架。我们使用各种数据集和损失函数将这些提升算法与树作为基本学习者进行比较。我们的实验表明，在大多数数据集上，Newton boosting在预测精度方面优于梯度和混合梯度-Newton boosting。我们还提出证据表明，这不是牛顿推进的收敛速度更快的原因。此外，我们还为基于树的牛顿增强引入了一个新的调整参数，该参数是可解释的，并且对于预测准确性很重要。
2020-10-20 cs.LG stat.ML
Online Newton Step Algorithm with Estimated Gradient
China University of Petroleum（中国石油大学）；National Space Science Center, CAS（中国科学院国家空间科学中心）；Arizona State University（亚利桑那州立大学）
有限信息反馈的在线学习（bandit）试图解决在线学习者在学习过程中从环境接收部分反馈信息的问题。在这种情况下，Flaxman et al. [8]通过提出具有期望梯度的在线梯度下降（OGDEG）算法，扩展了Zinkevich的经典在线梯度下降（OGD）算法[29]。具体来说，它使用一个简单的技巧来近似损失函数$f_t$的梯度，方法是在一个点上对其进行评估，并将预期后悔限制为$\mathcal{O}(T^{5/6})$ [8]，其中轮数为$T$。同时，过去的研究工作表明，与一阶算法相比，二阶在线学习算法（如在线牛顿步（ONS）[11]）可以显著加快传统在线学习算法的收敛速度。基于此，本文旨在利用二阶信息来加快OGDEG算法的收敛速度。特别地，我们用期望梯度的技巧扩展了ONS算法，并开发了一种新的二阶在线学习算法，即，在线牛顿步与期望梯度（ONSEG）。从理论上讲，我们表明，所提出的ONSEG算法显着降低了OGDEG算法的预期遗憾从$\mathcal{O}(T^{5/6})$到$\mathcal{O}(T^{2/3})$在强盗反馈的情况下。实证上，我们进一步证明了所提出的算法在多个真实世界的数据集上的优势。
2019-03-15 cs.LG stat.ML
An algorithmic view of $\ell_2$ regularization and some path-following algorithms
The Ohio State University（俄亥俄州立大学）
建立了凸损失函数的$\ell_2$正则化解路径与常微分方程解之间的等价关系。重要的是，这种等价性揭示了解决方案的路径可以被视为梯度下降和牛顿方法应用于经验损失的混合流，这类似于广泛使用的称为信赖域方法的优化技术。这为$\ell_2$正则化提供了一个有趣的算法视图，与传统的观点相反，$\ell_2$正则化解路径类似于经验损失的梯度流。提出了基于同伦方法和数值ODE求解器的新的路径跟踪算法来数值逼近解路径。特别地，分别以牛顿法和梯度下降法作为同伦方法的基本算法，建立了它们在解路径上的逼近误差率。我们的理论提出了新的方案来选择网格点，以保证解路径的任意小的次最优性。在计算成本方面，我们证明了为了实现整个解路径的$ε$ -次最优性，牛顿法所需的牛顿步数是$\mathcal O(ε^{-1/2})$，而梯度下降法所需的梯度步数是$\mathcal O\left(ε^{-1} \ln(ε^{-1})\right)$。最后，我们使用$\ell_2$ -正则化逻辑斯谛回归作为一个说明性的例子来证明所提出的路径跟踪算法的有效性。
2021-07-07 cs.LG stat.CO stat.ML
SnapBoost: A Heterogeneous Boosting Machine
IBM Research – Zürich（IBM苏黎世研究部）；ETH Zürich（苏黎世联邦理工学院）
现代梯度提升软件框架，如XGBoost和LightGBM，在函数空间中实现牛顿下降。在每次提升迭代中，他们的目标是找到从某个基本假设类中选择的基本假设，该基本假设在欧几里得意义上最接近牛顿下降方向。通常，基本假设类被固定为直到给定深度的所有二进制决策树。在这项工作中，我们研究了一个异构的牛顿助推机（HNBM），其中的基本假设类可能会有所不同，提高迭代。具体而言，在每次提升迭代中，通过从概率分布中采样，从固定的子类集合中选择基础假设类。在一定的假设下，我们推导出HNBM的全局线性收敛速度，并表明它与牛顿方法的现有速度一致时，牛顿方向可以完美地拟合的基础假设，在每个提升迭代。然后，我们描述了一个特定的实现HNBM，SnapBoost，在每次提升迭代，随机选择之间的可变深度的决策树或具有随机傅立叶特征的线性回归。我们描述了SnapBoost是如何实现的，重点是训练的复杂性。最后，我们给出了使用OpenML和Kaggle数据集的实验结果，表明SnapBoost能够比竞争的提升框架实现更好的泛化损失，而无需花费更长的时间进行调整。
2020-09-25 cs.LG stat.ML
SNAP: A semismooth Newton algorithm for pathwise optimization with optimal local convergence rate and oracle properties
University of Iowa（爱荷华大学）；Zhongnan University of Economics and Law（中南财经政法大学）；Wuhan University（武汉大学）；China University of Geosciences（中国地质大学）
我们提出了一个半光滑牛顿算法路径优化（SNAP）的LASSO和Enet稀疏，高维线性回归。SNAP是从基于牛顿导数的KKT条件的适当公式推导出来的。该算法通过热启动在求解路径上主动连续地寻找回归系数的支持，有效地求解了半光滑KKT方程。在路径中的每个节点处，SNAP对于Enet准则局部超线性地收敛，并且对于LASSO准则实现最优局部收敛速率，即，SNAP在一步中收敛，每次迭代的代价是两个矩阵向量乘法。在设计矩阵和目标回归系数的非零元素的最小幅度的一定的正则条件下，我们表明，SNAP击中一个解决方案，具有相同的符号作为回归系数，并实现了尖锐的估计误差界在有限的步骤，具有很高的概率。SNAP的计算复杂度是相同的LARS和坐标下降算法每次迭代。仿真研究和实际数据分析支持我们的理论结果，并表明SNAP是快速和准确的LARS和坐标下降算法。
2018-10-09 cs.LG math.ST stat.AP
On the saddle point problem for non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的能力的困难的主要来源是具有比全局最小值高得多的误差的局部最小值的扩散。在这里，我们认为，统计物理，随机矩阵理论和神经网络理论的结果的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的算法，鞍无牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度神经网络训练，并为其优越的性能提供了初步的数值证据。
2014-05-28 cs.LG cs.NE
Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle
Nagoya Institute of Technology（名古屋工业大学）；Kanagawa University（神奈川大学）；Nagoya University（名古屋大学）
提出了一种求解无约束优化问题的块坐标下降算法。在我们的算法中，不需要计算函数值或梯度。相反，使用函数值的成对比较。我们的算法包括两个步骤，一个是方向估计步骤，另一个是搜索步骤。这两个步骤都只需要对函数值进行成对比较，这只告诉我们函数值在两个点上的顺序。在方向估计步骤中，估计牛顿型搜索方向。一种计算方法，如块坐标下降法与成对比较。在搜索步骤中，沿着所估计的方向更新数值解。方向估计步骤的计算可以很容易地并行化，因此，该算法可以有效地找到目标函数的最小值。此外，我们还证明了收敛速度的一个上界。在数值实验中，我们表明，我们的方法有效地找到最优解相比，一些现有的方法的基础上成对比较。
2014-09-13 cs.LG stat.ML
Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit
Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；Department of Mathematics & Statistics（数学与统计学系）；Boston University（波士顿大学）
本文研究了在过参数化极限下，正则化牛顿方法训练神经网络的收敛性问题，通过分析牛顿神经切线核（NNTK）的特性，证明了在无限宽极限下，神经网络以指数速度收敛到目标数据，并解决了频谱偏置问题。
2026-09-29 cs.LG math.PR stat.ML
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University（斯坦福大学）
本研究提出基于块坐标下降的快速可扩展算法，结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径，开发的adelie包速度比同类最快工具快3-10倍，且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Model-Free $δ$-Policy Iteration Based on Damped Newton Method for Nonlinear Continuous-Time H$\infty$ Tracking Control
针对未知连续时间非线性系统的 H$\infty$ 跟踪控制，提出基于阻尼牛顿法的无模型 $δ$-PI 算法，并通过 NN 实现与仿真验证其适用性。
2024-01-23 cs.LG
Low Complexity Damped Gauss-Newton Algorithms for CANDECOMP/PARAFAC
Brain Science Institute, RIKEN（理化学研究所脑科学研究所）；Institute of Information Theory and Automation（信息理论与自动化研究所）
针对CP分解中阻尼高斯-牛顿算法计算复杂度过高的问题，提出基于分块逆近似Hessian的快速实现，显著降低计算和内存需求。
2012-09-13 cs.LG cs.NA math.NA
Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks
Department of Information Engineering and Computer Science University of Trento（信息工程与计算机科学系 特伦托大学）
提出双自然梯度下降（D-NGD），在残差空间求解高斯-牛顿步，实现单GPU上千万参数PINN的高效训练，误差显著降低。
2025-10-08 cs.LG math.OC
Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation
本文提出了求解无约束极小化问题的两种变形牛顿法。我们的方法利用优化技术，如罚款和增广拉格朗日方法，以产生新的变种的牛顿法，即罚款牛顿法和增广牛顿法。在这样做时，我们恢复几个著名的现有的牛顿方法的变种，如阻尼牛顿，Levenberg和Levenberg-Marquardt方法的特殊情况。此外，所提出的增广牛顿法可以解释为自适应重球动量的牛顿法。我们提供了整体收敛的结果，所提出的方法在温和的假设下，适用于各种各样的问题。所提出的方法可以被视为Karimireddy等人结果的惩罚和增广扩展。al [24].
2022-05-23 cs.LG cs.NA math.NA
Parallel Coordinate Descent Newton Method for Efficient $\ell_1$-Regularized Minimization
ETH Zurich（苏黎世联邦理工学院）；CNCERT（国家计算机网络应急中心）；Shanghai Jiao Tong University（上海交通大学）；University of California, Merced（加州大学默塞德分校）
本文提出并行坐标下降牛顿算法（PCDN），通过将Hessian矩阵的非对角线元素设为零以实现并行化，有效解决大规模优化问题中的并行性与收敛性问题。
2017-12-07 cs.LG cs.NA math.NA
The Method of Infinite Descent
Department of Ocean and Aerospace Engineering, Virginia Polytechnic Institute and State University（海洋与航空航天工程系，弗吉尼亚理工大学）
本文提出无穷下降法，一种半解析优化范式，通过泰勒展开重求和直接求解一阶最优性条件，实现单步精确收敛，并引入AION架构验证，开辟非迭代学习新路径。
2025-10-07 cs.LG math.OC
Adaptive Hybrid Subspace Levenberg Marquardt Algorithm with Adequacy Monitor for Large Scale Least Squares Problems
University of California, Davis（加利福尼亚大学戴维斯分校）
该研究提出带充足性监测器的自适应混合子空间LM算法，通过构建低维子空间解耦步长接受与阻尼调整，在保证收敛性的同时降低大规模最小二乘问题的迭代计算成本，在神经网络训练中表现优异。
2026-08-27 cs.LG cs.NA math.NA
