Non-asymptotic Superlinear Convergence of Standard Quasi-Newton Methods
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究并证明了Broyden类拟牛顿算法的非渐近超线性收敛速率，这类拟牛顿算法包括Davidon-Fletcher-Powell（DFP）方法和Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法.这些拟牛顿法的渐近超线性收敛速率在文献中已被广泛研究，但其显式有限时间局部收敛速度没有得到充分研究。本文在目标函数是强凸的、梯度是Lipschitz连续的、Hessian在最优解处是Lipschitz连续的条件下，给出了Broyden拟牛顿算法的有限时间（非渐近）收敛性分析.我们证明了在最优解的局部邻域内，由DFP和BFGS产生的迭代以超线性速率$(1/k)^{k/2}$收敛到最优解，其中$k$是迭代次数.当目标函数是自协调的时，我们也证明了一个类似的局部超线性收敛结果。几个数据集上的数值实验证实了我们的显式收敛速度界。我们的理论保证是第一个结果，提供了一个非渐近超线性收敛速率的拟牛顿法。
2021-11-30 cs.LG math.OC
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）
在基于梯度的方法中消除二阶曲率信息已经显示出极大地改善收敛，尽管其计算强度。在本文中，我们提出了一个随机（在线）拟牛顿方法与Nesterov的加速梯度在其完全和有限的记忆形式解决大规模非凸优化问题的神经网络。在Tensorflow中对所提出的算法在基准分类和回归问题上的性能进行了评估。结果表明，改进的性能相比，经典的二阶oBFGS和oLBFGS方法和流行的一阶随机方法，如SGD和亚当。还说明了不同动量率和批量大小的性能。
2019-09-09 cs.LG stat.ML
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed大学人工智能学院）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术研究所）；Innopolis University（Innopolis大学）；Skoltech
本文提出一种简单步长调度，使拟牛顿方法在凸函数上获得 ${O}(1/k)$ 全局收敛速度，并在Hessian近似精度受控时达到 ${O}(1/k^2)$ 加速收敛，同时开发了保持全局收敛保证的自适应变体。
2025-08-27 cs.LG math.OC
Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对带拟自相容光滑分量的复合凸优化问题，提出带梯度正则化的基础牛顿法及加速方案，实现与信赖域法相当的快速全局线性收敛速率，且无需强凸或一致凸假设。
2023-08-28 cs.LG math.OC
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限，结合混合邻近外梯度法与在线学习框架更新海森近似，首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Quasi-Newton Quasi-Monte Carlo for variational Bayes
Stanford University（斯坦福大学）
许多机器学习问题优化的目标必须用噪声来衡量。主要的方法是一阶随机梯度下降，在每一步使用一个或多个蒙特卡罗（MC）样本。在某些情况下，病态使二阶方法（如L-BFGS）更有效。我们研究使用随机准蒙特卡罗（RQMC）抽样这样的问题。当MC采样的均方根误差（RMSE）为$O(n^{-1/2})$时，则RQMC的RMSE为$o(n^{-1/2})$，在有利的设置中，该RMSE可以接近$O(n^{-3/2})$。我们证明，改进的采样精度直接转化为改进的优化。在我们对变分贝叶斯的实证研究中，使用随机L-BFGS的RQMC大大加快了优化速度，有时会找到比MC更好的参数值。
2021-04-21 cs.LG cs.NA math.NA
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis
Lehigh University（里海大学）
最近提出了几种稀疏优化方法，这些方法仔细使用二阶信息[10，28，16，3]来提高局部收敛速度。这些方法使用Hessian信息构建复合二次近似，使用一阶方法（例如坐标下降）优化该近似，并采用线搜索以确保充分下降。在这里，我们提出了一个通用的框架，其中包括现有算法的略有修改的版本，也是一个新的算法，它使用有限的内存BFGS海森近似，并提供了一种新的全局收敛速度分析，其中包括通过坐标下降解决子问题的方法。
2015-07-14 cs.LG math.OC stat.ML
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Rice University（莱斯大学）
针对PINN训练中残差目标曲率不稳定的问题，提出SCORE方法，结合自协调正则化与拟牛顿优化，在四类偏微分方程上取得比BFGS等基线更低的误差。
2026-08-17 cs.LG
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
A Stochastic Variance Reduced Nesterov's Accelerated Quasi-Newton Method
Shonan Institute of Technology（湘南工科大学）；Shizuoka University（静冈大学）
近年来，结合二阶曲率信息的算法在训练神经网络中变得流行。Nesterov的加速拟牛顿（NAQ）方法通过引入动量项和Nesterov的加速梯度向量，有效地加速了BFGS拟牛顿方法。针对大规模问题的训练，提出了一种随机形式的NAQ方法。然而，这种方法会引起高随机方差噪声。本文提出了一种全记忆形式（SVR-NAQ）和有限记忆形式（SVRLNAQ）的随机方差缩减Nesterov加速拟牛顿法。在Tensorflow中对四个基准问题-两个回归问题和两个分类问题-进行了性能评估。结果表明，改进的性能相比，传统的方法。
2019-10-17 cs.LG stat.ML
Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees
Aalto University（阿尔托大学）
我们制定自然梯度变分推断（VI），期望传播（EP），和后验线性化（PL）的扩展牛顿的方法优化贝叶斯后验分布的参数。这种观点明确地将推理算法置于数值优化的框架下。我们表明，常见的近似牛顿的方法，从优化文献，即高斯牛顿和拟牛顿方法（例如，BFGS算法）在该“贝叶斯-牛顿”框架下仍然有效。这导致了一套新的算法，保证导致半正定（PSD）的协方差阵，不同于标准VI和EP。我们的统一观点提供了新的见解，各种推理方案之间的连接。所有提出的方法适用于任何模型与高斯先验和非共轭似然，我们证明（稀疏）高斯过程和状态空间模型。
2022-12-06 cs.LG stat.ML
Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method
Shell International Exploration & Production, Inc.（壳牌国际勘探与生产公司）
监督式深度学习中的训练在计算上要求很高，并且收敛行为通常不被完全理解。我们介绍并研究了二阶随机拟高斯-牛顿（SQGN）优化方法，该方法结合了随机拟牛顿方法，高斯-牛顿方法和方差缩减的思想来解决这个问题。SQGN提供了出色的准确性，而不需要实验许多超参数配置，考虑到组合的数量和每个训练过程的成本，这通常在计算上是禁止的。我们讨论了SQGN与TensorFlow的实现，并将其收敛性和计算性能与使用MNIST基准和地球科学大规模地震层析成像应用程序的一阶方法进行了比较。
2020-06-30 cs.LG stat.ML
Quasi-Newton Methods: A New Direction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文通过将拟牛顿方法解释为贝叶斯线性回归的近似，揭示了经典算法的缺陷，并提出了一种新的非参数拟牛顿方法，在相似计算成本下更高效地利用信息。
2012-06-18 cs.LG cs.NA math.NA
Quasi-Newton Trust Region Policy Optimization
MERL（三菱电机研究实验室）
我们提出了一个信赖域策略优化方法，采用拟牛顿近似的海森，称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而，该算法有一些缺点，包括：缺乏步长选择标准，收敛速度慢。我们调查使用的信赖域方法，使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明，在广泛的具有挑战性的连续控制任务，我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning
University of Trieste（的里雅斯特大学）
本研究针对一阶深度学习优化方法的缺陷，分析BFGS与SR1两种随机拟牛顿更新的训练性能，通过多变量实验验证其效率，部分场景下优于最优调参的Adam优化器。
2023-10-04 cs.LG math.OC
A Stochastic Quasi-Newton Method for Large-Scale Optimization
University of Colorado（科罗拉多大学）；Northwestern University（西北大学）；Google Research（谷歌研究院）
如何在随机逼近方法中引入曲率信息是一个具有挑战性的问题。直接应用经典的拟牛顿更新技术进行确定性优化会导致噪声曲率估计，对迭代的鲁棒性产生有害影响。在本文中，我们提出了一个随机拟牛顿法，是有效的，强大的和可扩展的。它采用经典的BFGS更新公式在其有限的内存形式，是基于观察，这是有益的，逐点收集曲率信息，并在定期的间隔，通过（子采样）海森矢量产品。这种技术不同于计算梯度差的经典方法，并且控制曲率估计的质量可能是困难的。我们提出的机器学习中出现的问题的数值结果表明，所提出的方法显示出很大的希望。
2015-02-18 cs.LG math.OC stat.ML
A fast quasi-Newton-type method for large-scale stochastic optimisation
University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
近年来，有限记忆拟牛顿法的随机自适应方法受到越来越多的关注，与纯梯度法相比，它可以通过引入二阶信息来提高收敛性。在这项工作中，我们提出了一个直接的最小二乘方法概念上类似于有限内存的拟牛顿法，但计算搜索方向略有不同的方式。这是通过保持低维的Cholesky因子以快速和数字鲁棒的方式实现的。这是结合随机线搜索依赖于履行沃尔夫条件的回溯方式，其中的步长自适应修改相对于优化进程。我们支持我们的新算法提供了几个理论结果，保证其性能。在现实世界的基准测试问题，表现出改进的结果相比，已经建立的方法。
2018-09-29 cs.LG math.OC stat.ML
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Distributed quasi-Newton robust estimation under differential privacy
Beijing Normal University at Zhuhai（北京师范大学珠海校区）
针对隐私保护下含拜占庭机器的分布式计算问题，提出仅需传输五个向量的稳健拟牛顿估计算法，有效降低隐私预算与传输成本，实现最优收敛速率与渐近正态性。
2024-08-22 cs.LG math.ST stat.ML
An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values
University of Sheffield（谢菲尔德大学）；Purdue University（普渡大学）；University of Science and Technology of China（中国科学技术大学）；University of Oulu（奥卢大学）；University College London（伦敦大学学院）
解决工程和物理科学中的复杂最优化问题需要重复计算多维函数导数。通常，这需要计算要求高的数值微分，如扰动技术，这最终限制了对时间敏感的应用。特别地，在非线性反问题中，使用需要从雅可比矩阵计算迭代更新的高斯-牛顿方法。计算上更有效的替代方案是拟牛顿法，其中雅可比矩阵的重复计算被近似更新所取代。本文提出了一种高效的数据驱动的拟牛顿法，它适用于非线性反问题。我们通过使用奇异值分解和学习从模型输出到奇异值的映射来计算更新的雅可比矩阵来实现这一点。这使得加速预期的拟牛顿法，而不会积累循环误差，使时间关键的应用程序，并允许灵活地结合先验知识，解决不适定的问题。我们目前的结果与实验数据的电阻抗断层成像的高度非线性逆问题。
2021-03-01 cs.LG cs.NA eess.IV
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
Quasi-Newton Updating for Large-Scale Distributed Learning
Shanghai University of Finance and Economics（上海财经大学）；Renmin University of China（中国人民大学）；Peking University（北京大学）
针对大规模分布式学习场景，提出无需海森矩阵求逆与通信的分布式拟牛顿（DQN）框架，兼具三类效率，理论证明少量迭代即可获统计有效估计，数值实验验证了有限样本性能。
2023-06-11 cs.DC cs.LG stat.ME
