Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Implementation of a modified Nesterov's Accelerated quasi-Newton Method on Tensorflow
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）
最近的研究将Nesterov的加速梯度方法用于加速基于梯度的训练。Nesterov的加速拟牛顿（NAQ）方法已被证明大大提高收敛速度相比，传统的拟牛顿方法。本文在Tensorflow上实现了非凸优化的NAQ。对原NAQ算法提出了两个改进，以保证算法的全局收敛性和消除线振荡。标准的非凸函数逼近基准问题和微波电路建模问题的性能评估所提出的算法- mNAQ。结果表明，与AdaGrad、RMSProp、Adam等一阶优化算法和拟牛顿法等二阶优化算法相比，改进算法具有更好的收敛性和更快的收敛速度.
2019-10-21 cs.LG stat.ML
Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis
Lehigh University（里海大学）
最近提出了几种稀疏优化方法，这些方法仔细使用二阶信息[10，28，16，3]来提高局部收敛速度。这些方法使用Hessian信息构建复合二次近似，使用一阶方法（例如坐标下降）优化该近似，并采用线搜索以确保充分下降。在这里，我们提出了一个通用的框架，其中包括现有算法的略有修改的版本，也是一个新的算法，它使用有限的内存BFGS海森近似，并提供了一种新的全局收敛速度分析，其中包括通过坐标下降解决子问题的方法。
2015-07-14 cs.LG math.OC stat.ML
adaQN: An Adaptive Quasi-Newton Algorithm for Training RNNs
Northwestern University（西北大学）
递归神经网络（RNN）是一种功能强大的模型，在几个模式识别问题上具有出色的性能。然而，由于众所周知的“消失/爆炸”梯度问题，RNN的训练是一项计算困难的任务。提出的用于训练RNN的算法要么不利用（或有限）曲率信息并且具有廉价的每次迭代复杂度，要么试图以增加每次迭代成本为代价获得显著的曲率信息。前一组包括对角缩放的一阶方法，如ADAGRAD和ADAM，而后者包括二阶算法，如Hessian-Free Newton和K-FAC。在本文中，我们提出了adaQN，一种用于训练RNN的随机拟牛顿算法。我们的方法保留了低的每次迭代成本，同时允许通过随机L-BFGS更新方案的非对角缩放。该方法采用了一种新的L-BFGS缩放初始化方案，并在存储和保留L-BFGS曲率对是明智的。我们在两个语言建模任务上进行了数值实验，结果表明adaQN与流行的RNN训练算法相比具有竞争力。
2016-02-23 cs.LG math.OC stat.ML
Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method
Shell International Exploration & Production, Inc.（壳牌国际勘探与生产公司）
监督式深度学习中的训练在计算上要求很高，并且收敛行为通常不被完全理解。我们介绍并研究了二阶随机拟高斯-牛顿（SQGN）优化方法，该方法结合了随机拟牛顿方法，高斯-牛顿方法和方差缩减的思想来解决这个问题。SQGN提供了出色的准确性，而不需要实验许多超参数配置，考虑到组合的数量和每个训练过程的成本，这通常在计算上是禁止的。我们讨论了SQGN与TensorFlow的实现，并将其收敛性和计算性能与使用MNIST基准和地球科学大规模地震层析成像应用程序的一阶方法进行了比较。
2020-06-30 cs.LG stat.ML
Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive Sample Size Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了拟牛顿法在求解大型数据集上的经验风险最小化问题中的应用。传统的确定性和随机拟牛顿法可以用来解决这类问题，然而，众所周知，它们的整体收敛速度可能并不比一阶方法好，并且它们的局部超线性收敛只出现在学习过程的末尾。在本文中，我们使用自适应样本量计划，利用拟牛顿法的超线性收敛的全球和整个学习过程。提出的自适应样本量算法的主要思想是从一个小的数据点子集开始，在其统计精度范围内求解其对应的ERM问题，然后几何地扩大样本量，并使用较小集合对应的问题的最优解作为初始点来求解后续的具有更多样本的ERM问题。我们表明，如果初始的样本量是足够大的，我们使用拟牛顿法来解决每个子问题，子问题可以解决超线性快速（最多三次迭代后），因为我们保证迭代总是停留在一个邻域内，拟牛顿法超线性收敛。不同数据集上的数值实验证实了我们的理论结果，并证明了我们的方法的计算优势。
2021-10-26 cs.LG math.OC
Non-asymptotic Superlinear Convergence of Standard Quasi-Newton Methods
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究并证明了Broyden类拟牛顿算法的非渐近超线性收敛速率，这类拟牛顿算法包括Davidon-Fletcher-Powell（DFP）方法和Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法.这些拟牛顿法的渐近超线性收敛速率在文献中已被广泛研究，但其显式有限时间局部收敛速度没有得到充分研究。本文在目标函数是强凸的、梯度是Lipschitz连续的、Hessian在最优解处是Lipschitz连续的条件下，给出了Broyden拟牛顿算法的有限时间（非渐近）收敛性分析.我们证明了在最优解的局部邻域内，由DFP和BFGS产生的迭代以超线性速率$(1/k)^{k/2}$收敛到最优解，其中$k$是迭代次数.当目标函数是自协调的时，我们也证明了一个类似的局部超线性收敛结果。几个数据集上的数值实验证实了我们的显式收敛速度界。我们的理论保证是第一个结果，提供了一个非渐近超线性收敛速率的拟牛顿法。
2021-11-30 cs.LG math.OC
Implementation of Stochastic Quasi-Newton's Method in PyTorch
Northwestern University（西北大学）；Stony Brook University（石溪大学）
在本文中，我们实现了随机阻尼LBFGS（SdLBFGS）的随机非凸优化。我们做了两个重要的修改，原来的SdLBFGS算法。首先，通过在每一步中使用单位矩阵初始化Hessian，算法比原算法具有更好的收敛性。第二，通过方向归一化，我们可以得到稳定的优化过程，而无需线搜索。最小化二维非凸函数的实验表明，改进算法的收敛性优于原算法，在CIFAR10和MNIST数据集上的实验表明，改进算法工作稳定，测试精度与PyTorch中的一阶优化器SGD、Adagrad和二阶优化器LBFGS相当甚至更高。
2018-05-07 cs.LG math.OC stat.ML
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Quasi-Newton Methods: A New Direction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文通过将拟牛顿方法解释为贝叶斯线性回归的近似，揭示了经典算法的缺陷，并提出了一种新的非参数拟牛顿方法，在相似计算成本下更高效地利用信息。
2012-06-18 cs.LG cs.NA math.NA
Quasi-Newton Trust Region Policy Optimization
MERL（三菱电机研究实验室）
我们提出了一个信赖域策略优化方法，采用拟牛顿近似的海森，称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而，该算法有一些缺点，包括：缺乏步长选择标准，收敛速度慢。我们调查使用的信赖域方法，使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明，在广泛的具有挑战性的连续控制任务，我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）
在基于梯度的方法中消除二阶曲率信息已经显示出极大地改善收敛，尽管其计算强度。在本文中，我们提出了一个随机（在线）拟牛顿方法与Nesterov的加速梯度在其完全和有限的记忆形式解决大规模非凸优化问题的神经网络。在Tensorflow中对所提出的算法在基准分类和回归问题上的性能进行了评估。结果表明，改进的性能相比，经典的二阶oBFGS和oLBFGS方法和流行的一阶随机方法，如SGD和亚当。还说明了不同动量率和批量大小的性能。
2019-09-09 cs.LG stat.ML
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed大学人工智能学院）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术研究所）；Innopolis University（Innopolis大学）；Skoltech
本文提出一种简单步长调度，使拟牛顿方法在凸函数上获得 ${O}(1/k)$ 全局收敛速度，并在Hessian近似精度受控时达到 ${O}(1/k^2)$ 加速收敛，同时开发了保持全局收敛保证的自适应变体。
2025-08-27 cs.LG math.OC
On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning
University of Trieste（的里雅斯特大学）
本研究针对一阶深度学习优化方法的缺陷，分析BFGS与SR1两种随机拟牛顿更新的训练性能，通过多变量实验验证其效率，部分场景下优于最优调参的Adam优化器。
2023-10-04 cs.LG math.OC
Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对带拟自相容光滑分量的复合凸优化问题，提出带梯度正则化的基础牛顿法及加速方案，实现与信赖域法相当的快速全局线性收敛速率，且无需强凸或一致凸假设。
2023-08-28 cs.LG math.OC
Apollo: An Adaptive Parameter-wise Diagonal Quasi-Newton Method for Nonconvex Stochastic Optimization
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在本文中，我们介绍了阿波罗，拟牛顿法的非凸随机优化，动态地纳入了曲率的损失函数通过近似的Hessian通过对角矩阵。重要的是，Hessian的对角近似的更新和存储与具有时间和存储器的线性复杂度的自适应一阶优化方法一样有效。为了处理非凸性，我们将Hessian替换为它的整流绝对值，这保证是正定的。在三个视觉和语言任务上的实验表明，Apollo在收敛速度和泛化性能方面都比其他随机优化方法（包括SGD和Adam的变体）有了显着的改进。该算法的实现可在https://github.com/XuezheMax/apollo上获得。
2021-08-20 cs.LG stat.ML
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Quasi-Newton Methods for Saddle Point Problems and Beyond
University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）
研究求解强凸-强凹鞍点问题的拟牛顿法。我们提出了贪婪和随机Broyden族更新的SPP，它具有显式的局部超线性收敛速率${\mathcal O}\big(\big(1-\frac{1}{nκ^2}\big)^{k(k-1)/2}\big)$，其中$n$是问题的维数，$κ$是条件数，$k$是迭代次数。该算法的设计和分析基于对不定Hessian矩阵平方的估计，这与经典的凸优化拟牛顿法不同。我们还提出了两个具体的Broyden家族算法与BFGS型和SR 1型更新，享受更快的局部收敛速度的$\mathcal O\big(\big(1-\frac{1}{n}\big)^{k(k-1)/2}\big)$。此外，我们将算法推广到求解一般的非线性方程组，并证明了它具有相似的收敛速度。
2022-04-10 cs.LG math.OC
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
本文提出了一种自相容平滑方法，用于大规模凸复合优化问题，通过变量度量选择和步长规则提升 proximal 反向牛顿算法的效率，并在过参数化模型中有效应用。
2025-11-27 cs.LG math.OC
An Adaptive Stochastic Nesterov Accelerated Quasi Newton Method for Training RNNs
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）
训练神经网络的一个常见问题是梯度消失和/或爆炸问题，这在递归神经网络（RNN）的训练中更为突出。因此，已经提出了几种用于训练RNN的算法。本文提出了一种新的自适应随机Nesterov加速拟牛顿（aSNAQ）方法来训练RNN。所提出的方法aSNAQ是一种加速方法，其使用Nesterov的梯度项以及二阶曲率信息。在Tensorflow中对基准序列建模问题进行了评估。结果表明，在保持低的每次迭代成本的同时，性能得到了改善，因此可以有效地用于训练RNN。
2019-09-09 cs.LG stat.ML
A Quasi-Newton Method for Large Scale Support Vector Machines
University of Pennsylvania（宾夕法尼亚大学）
本文采用最近开发的正则化随机版本的Broyden，Fletcher，Goldfarb，和Shanno（BFGS）拟牛顿方法的解决方案的支持向量机分类问题。所提出的方法几乎肯定会收敛到最佳分类器的速度是线性的期望。数值结果表明，所提出的方法具有收敛速度下降的特征向量的维数平滑。
2014-02-20 cs.LG
A Quasi-Newton algorithm on the orthogonal manifold for NMF with transform learning
Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；IRIT（图卢兹计算机研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
非负矩阵分解（NMF）是一种常用的音频频谱分解方法。虽然NMF传统上应用于基于短时傅立叶或余弦变换的现成时频表示，但从原始数据学习变换的能力越来越受到关注。然而，这增加了重要的计算开销。当假设正交（如傅立叶或余弦变换）时，学习变换会在正交矩阵流形上产生非凸优化问题。在本文中，我们得到了一个拟牛顿方法的流形上使用稀疏近似的海森。对合成音频数据和真实音频数据的实验表明，该算法的性能优于一阶和坐标下降方法的数量级。用于快速TL-NMF的Python包在https://github.com/pierreablin/tlnmf上在线发布。
2018-11-06 cs.LG stat.ML
A Proximal Stochastic Quasi-Newton Algorithm
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Nanjing University（南京大学）
本文讨论了两个凸函数之和的极小化问题：一个光滑函数和一个非光滑函数。进一步地，平滑部分可以由大量平滑分量函数的平均来表示，而非平滑部分配备有简单的邻近映射。我们提出了一个近似的随机二阶方法，这是有效的和可扩展的。该算法在函数的光滑部分引入了Hessian算子，并利用多级格式来减小随机梯度的方差。我们证明了我们的方法可以达到线性收敛速度。
2016-11-16 cs.LG stat.ML
Stochastic quasi-Newton with adaptive step lengths for large-scale problems
University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
我们提供了一个强大的数字和快速的方法，能够利用当地的几何形状时，解决大规模的随机优化问题。我们的关键创新是一个辅助变量的建设加上逆海森近似计算使用的迭代和梯度的历史。正是经典的随机梯度算法的马尔可夫链性质使得这种发展成为可能。该结构提供了一种自适应步长的随机线搜索机制。我们对当前最先进的方法进行了数值评估和比较，并在现实世界的基准问题上取得了令人鼓舞的性能，其中观测和未知数的数量为数百万。
2018-02-12 cs.LG stat.ML
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Distributed quasi-Newton robust estimation under differential privacy
Beijing Normal University at Zhuhai（北京师范大学珠海校区）
针对隐私保护下含拜占庭机器的分布式计算问题，提出仅需传输五个向量的稳健拟牛顿估计算法，有效降低隐私预算与传输成本，实现最优收敛速率与渐近正态性。
2024-08-22 cs.LG math.ST stat.ML
Quasi-Newton Quasi-Monte Carlo for variational Bayes
Stanford University（斯坦福大学）
许多机器学习问题优化的目标必须用噪声来衡量。主要的方法是一阶随机梯度下降，在每一步使用一个或多个蒙特卡罗（MC）样本。在某些情况下，病态使二阶方法（如L-BFGS）更有效。我们研究使用随机准蒙特卡罗（RQMC）抽样这样的问题。当MC采样的均方根误差（RMSE）为$O(n^{-1/2})$时，则RQMC的RMSE为$o(n^{-1/2})$，在有利的设置中，该RMSE可以接近$O(n^{-3/2})$。我们证明，改进的采样精度直接转化为改进的优化。在我们对变分贝叶斯的实证研究中，使用随机L-BFGS的RQMC大大加快了优化速度，有时会找到比MC更好的参数值。
2021-04-21 cs.LG cs.NA math.NA
An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values
University of Sheffield（谢菲尔德大学）；Purdue University（普渡大学）；University of Science and Technology of China（中国科学技术大学）；University of Oulu（奥卢大学）；University College London（伦敦大学学院）
解决工程和物理科学中的复杂最优化问题需要重复计算多维函数导数。通常，这需要计算要求高的数值微分，如扰动技术，这最终限制了对时间敏感的应用。特别地，在非线性反问题中，使用需要从雅可比矩阵计算迭代更新的高斯-牛顿方法。计算上更有效的替代方案是拟牛顿法，其中雅可比矩阵的重复计算被近似更新所取代。本文提出了一种高效的数据驱动的拟牛顿法，它适用于非线性反问题。我们通过使用奇异值分解和学习从模型输出到奇异值的映射来计算更新的雅可比矩阵来实现这一点。这使得加速预期的拟牛顿法，而不会积累循环误差，使时间关键的应用程序，并允许灵活地结合先验知识，解决不适定的问题。我们目前的结果与实验数据的电阻抗断层成像的高度非线性逆问题。
2021-03-01 cs.LG cs.NA eess.IV
Quasi-Newton's method in the class gradient defined high-curvature subspace
University of Southampton（南安普顿大学）
使用深度学习的分类问题已被证明在损失景观中具有高曲率子空间，其维度等于类的数量。此外，该子空间对应于每个类别的logit梯度所跨越的子空间。加速优化的一个明显的策略是在高曲率子空间中使用牛顿方法，在协空间中使用随机梯度下降。我们发现，一个天真的实现实际上减慢收敛，我们推测为什么这可能是。
2020-11-28 cs.LG
A Variance Reduced Stochastic Newton Method
ETH Zürich（苏黎世联邦理工学院）
拟牛顿法在求解凸损失最小化问题中有着广泛的应用。这些方法在各种各样的任务上表现出良好的经验性能，并具有超线性收敛到最优解的特性。对于大规模学习问题，最近提出了随机拟牛顿方法。然而，这些通常仅实现次线性收敛率，并且在实践中没有表现出一贯的良好表现，因为有噪声的Hessian近似会加剧高方差随机梯度估计的影响。在这项工作中，我们提出了Vite，一种新的随机拟牛顿算法，使用现有的一阶技术，以减少这种变化。在不利用具体形式的近似Hessian，我们表明，维特达到最佳的几何速度与恒定的步长时，处理光滑的强凸函数。经验上，我们证明了现有的随机拟牛顿和方差减少随机梯度方法的改进。
2015-06-09 cs.LG
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods
我们提出了一种算法，用于最小化的功能，结合了计算效率的随机梯度下降（SGD）的二阶曲率信息利用拟牛顿方法的总和。我们统一这些不同的方法，保持一个独立的海森近似的每个贡献函数的总和。我们保持计算的易处理性和限制内存的要求，即使是高维的优化问题，通过存储和操纵这些二次近似在一个共享的，随时间变化的，低维的子空间。每个更新步骤只需要一个贡献函数或小批量评估（如SGD），每个步骤都使用近似逆Hessian进行缩放，并且几乎不需要调整超参数（如拟牛顿方法的典型）。该算法与早期的随机二阶技术相比，该技术将每个贡献函数的Hessian视为对完整Hessian的噪声近似，而不是作为直接估计的目标。我们的实验证明了七个不同的优化问题的收敛性。该算法作为开源Python和MATLAB软件包发布。
2014-11-30 cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Rice University（莱斯大学）
针对PINN训练中残差目标曲率不稳定的问题，提出SCORE方法，结合自协调正则化与拟牛顿优化，在四类偏微分方程上取得比BFGS等基线更低的误差。
2026-08-17 cs.LG
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Quasi-Newton Updating for Large-Scale Distributed Learning
Shanghai University of Finance and Economics（上海财经大学）；Renmin University of China（中国人民大学）；Peking University（北京大学）
针对大规模分布式学习场景，提出无需海森矩阵求逆与通信的分布式拟牛顿（DQN）框架，兼具三类效率，理论证明少量迭代即可获统计有效估计，数值实验验证了有限样本性能。
2023-06-11 cs.DC cs.LG stat.ME
