Block BFGS Methods
我们介绍了一种块更新的拟牛顿法，称为块BFGS。我们表明，这种方法，进行不精确的Armijo-Wolfe线搜索，全局收敛和超线性BFGS相同的凸性假设下。我们还表明，块BFGS是全局收敛到一个稳定点时，适用于非凸函数有界Hessian，并讨论了其他修改的非凸极小化。数值实验比较块BFGS，BFGS和梯度下降。
2017-11-30 math.OC
Secant Penalized BFGS: A Noise Robust Quasi-Newton Method Via Penalizing The Secant Condition
在本文中，我们介绍了一种新的变体的BFGS方法，旨在执行良好的梯度测量时，被噪声破坏。我们表明，通过处理割线条件与惩罚方法的方法，由正则化最小二乘估计的动机，可以顺利地更新与原来的BFGS更新公式和不更新的逆Hessian近似之间的插值。此外，我们发现，曲率条件是顺利放宽的插值走向不更新逆Hessian近似，完全消失时，逆Hessian近似不更新。这些发展使我们能够开发一种方法，我们称之为割线惩罚BFGS（SP-BFGS），它允许人们放松割线条件的基础上的梯度测量中的噪声量。SP-BFGS提供了一种增量更新新的逆Hessian近似的方法，其具有朝向先前的逆Hessian近似的受控量的偏置，这允许人们用抵抗噪声的破坏性影响并且可以应对负曲率测量的平均性质来替换原始BFGS更新的非线性性质。我们讨论了SP-BFGS的理论性质，包括在一致有界噪声的存在下极小化强凸函数的收敛性。最后，我们提出了广泛的数值实验，使用超过30个问题的CUTEst测试问题集，证明了优越的性能SP-BFGS相比，BFGS的存在下，噪声函数和梯度评估。
2021-07-11 cs.NA math.NA math.OC
Rescaling nonsmooth optimization using BFGS and Shor updates
BFGS拟牛顿法，流行的光滑最小化，也证明了令人惊讶的有效性，在非光滑最优化。通过各种简单的例子和计算实验，我们探讨了如何BFGS矩阵更新改善局部度量与凸函数，即使在没有平滑和不使用线搜索。我们比较的BFGS和Shor r算法更新的行为。
2018-02-18 math.OC
Asynchronous Parallel Stochastic Quasi-Newton Methods
虽然一阶随机算法（如随机梯度下降）一直是扩大机器学习模型（如深度神经网络）的主要力量，但二阶拟牛顿法由于其在处理病态最优化问题方面的有效性而开始引起关注。L-BFGS方法是应用最广泛的拟牛顿法之一。提出了一种随机拟牛顿法的异步并行算法（AsySQN）。与以前的尝试，它只并行计算梯度或两个循环递归的L-BFGS，我们的算法是第一个真正并行L-BFGS的收敛保证。采用方差缩减技术，先验随机L-BFGS，这还没有被设计为并行计算，达到线性收敛速率。我们证明，我们的异步并行方案保持相同的线性收敛速率，但实现了显着的加速。在模拟和基准数据集的实证评估表明，与非并行随机L-BFGS相比，加速，以及更好的性能比一阶方法在解决病态问题。
2020-11-02 cs.DC math.OC
mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization
University of Southern California（南加州大学）；Inha University（仁荷大学）
提出轻量级基于动量的mL-BFGS算法，通过引入近零成本动量方案降低Hessian随机噪声并实现分块Hessian的分布式计算，在大规模神经网络训练中实现了稳定收敛及显著的迭代与时间加速。
2023-07-25 cs.LG math.OC
BFGS convergence to nonsmooth minimizers of convex functions
BFGS拟牛顿极小化算法在一定条件下全局收敛于光滑凸函数。鲍威尔在1976年证明了这个结果：我们考虑了它对不光滑函数的影响。特别是，一个类似的收敛结果适用于函数，如欧几里得范数，在最小值处不光滑。
2017-03-20 math.OC
Statistical and Computational Complexities of BFGS Quasi-Newton Method for Generalized Linear Models
针对广义线性模型参数估计，提出使用BFGS拟牛顿法，在低信噪比下线性收敛且每次迭代成本为$O(d^2)$，收缩系数与牛顿法相当，统计半径达到$O((d/n)^{1/(2p+2)})$。
2024-03-14 math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Quasi-Newton methods on Grassmannians and multilinear approximations of tensors
Linköping University（林雪平大学）；Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学研究所）；Department of Mathematics, University of California, Berkeley（加州大学伯克利分校数学系）
本文针对定义在格拉斯曼流形或其乘积上的目标函数，提出了BFGS和L-BFGS拟牛顿方法，并证明其在局部坐标下与欧氏空间中的BFGS具有相同的最优性，应用于张量多线性秩逼近问题得到快速鲁棒算法。
2010-05-30 cs.NA math.NA math.OC
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University（哥伦比亚大学）
我们考虑了实际随机拟牛顿的发展，特别是Kronecker因子块对角BFGS和L-BFGS方法，用于训练深度神经网络（DNN）。在DNN训练中，梯度$n$的变量和分量的数量通常是数千万的量级，并且Hessian具有$n^2$元素。因此，计算和存储完整的$n \times n$ BFGS近似或存储适度数量的（步长、梯度变化）向量对以用于L-BFGS实现是不可能的。在我们提出的方法中，我们通过块对角矩阵来近似Hessian，并使用梯度和Hessian的结构来进一步近似这些块，每个块对应于一个层，作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法，该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性，我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中，我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
A Dense Initialization for Limited-Memory Quasi-Newton Methods
考虑一类有限记忆拟牛顿法的稠密初始化。建议的初始化利用一个特征分解为基础的分离成两个互补的子空间的完整的空间，分配一个不同的初始化参数，每个子空间。这个家庭的密集初始化提出了一个有限的记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）的信赖域方法，利用形状变化的规范来定义每个子问题的背景下。与传统上使用对角初始化的L-BFGS方法一样，稠密初始化和生成的拟牛顿矩阵序列从未显式形成。在CUTEst测试集上的数值实验表明，该初始化方法和形状变化信赖域方法在求解一般非凸无约束最优化问题时，性能优于其它L-BFGS方法.虽然这种稠密初始化是在一个特殊的信赖域方法的背景下提出的，但它对更一般的拟牛顿信赖域和线搜索法具有广泛的应用。事实上，这种初始化适合于与任何准牛顿更新，承认一个紧凑的表示，特别是任何成员的Broyden类的更新。
2019-05-22 math.OC
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Quasi-Newton methods for minimizing a quadratic function subject to uncertainty
研究在梯度误差下最小化二次函数的拟牛顿方法，发现大误差时无记忆方法优于BFGS，基于机会约束的模型精度略高但成本更高。
2025-02-25 math.OC
Analysis of the BFGS Method with Errors
经典的拟牛顿法的收敛性分析假设每次迭代所用的函数和梯度是精确的。在本文中，我们考虑的情况下，当有（有界）的错误，在这两个计算和建立条件下，轻微修改的BFGS算法与Armijo-沃尔夫线搜索收敛到一个邻域的解决方案，是由错误的大小。我们的一个结果是Byrd，R. H、& Nocedal，J.（1989），它建立了，对于强凸函数，BFGS迭代的一小部分是好的迭代。我们提出的数值结果说明了新的BFGS方法在噪声的存在下的性能。
2019-01-25 math.OC
A Diagonal BFGS Update Algorithm with Inertia Acceleration Technology for Minimizations
本文提出一种结合对角拟牛顿更新、增强BFGS公式、外推与惯性加速技术的算法，用于非凸约束最小化问题，保证充分下降并实现全局线性收敛。
2025-07-07 math.OC
Global Convergence of Online Limited Memory BFGS
University of Pennsylvania（宾夕法尼亚大学）
建立了求解大规模机器学习中随机目标最优化问题的Broyden-Fletcher- Goldfarb-Shanno（BFGS）拟牛顿法的在线（随机）有限记忆版本的整体收敛.样本函数的Hessian特征值的上界足以保证曲率近似矩阵具有有界的行列式和迹线，这反过来又允许以概率1收敛到最优参数。支持向量机与合成数据的数值实验展示减少收敛时间相对于随机梯度下降算法，以及减少存储和计算相对于其他在线拟牛顿法。通过对搜索引擎广告问题的实验评估，证实了这些优点在实际应用中也得到了体现。
2014-09-06 cs.LG math.OC stat.ML
Deep Reinforcement Learning via L-BFGS Optimization
强化学习（RL）算法允许人工智能体改进其动作选择，从而增加其环境中的奖励体验。深度强化学习算法需要解决非凸和非线性无约束优化问题。用于解决深度RL中的优化问题的方法限于一阶算法类，例如随机梯度下降（SGD）。SGD方法的主要缺点是它们具有不逃逸鞍点的不良效果，并且它们的性能会受到病态的严重阻碍。此外，SGD方法需要详尽的试验和错误来微调许多学习参数。使用二阶导数信息可以提高收敛性能，但计算大规模问题的Hessian矩阵是不切实际的。拟牛顿法和SGD一样只需要一阶梯度信息，但它们可以构造Hessian矩阵的低秩近似，并导致超线性收敛。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在本文中，我们介绍了一种有效的优化方法，基于有限内存BFGS拟牛顿法使用线搜索策略-作为替代SGD方法。我们的方法通过继续使用梯度信息来计算低秩Hessian近似，从而弥合了一阶方法和二阶方法之间的差距。我们提供了正式的收敛性分析，以及经验的一个子集的经典ATARI 2600游戏的结果。我们的研究结果表明，具有较好的泛化特性，以及快速的训练时间和不需要的经验重放机制的鲁棒收敛。
2019-04-16 cs.AI cs.LG math.OC
On the convergence of BFGS on a class of piecewise linear non-smooth functions
拟牛顿Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法自20世纪60年代问世以来，已被证明是求解光滑目标函数最小化问题的可靠而有效的方法。最近，据经验观察，当与Armijo-Wolfe线搜索相结合时，它对非光滑问题也非常有效，但迄今为止只能建立非常有限的理论收敛理论。在本文中，我们扩展这些结果考虑凸分段线性函数的两个片，是不是下有界。我们证明了该算法总是终止于有限次数的迭代，最终产生一个无界的方向。换句话说，与梯度法相反，BFGS算法不会收敛到非静止点。
2017-12-22 math.OC
Improving Quasi-Newton Methods via Image and Projection Operators
本文提出统一框架，通过像与投影算子改进拟牛顿方法，在不依赖精确线搜索下实现二次终止，并显著提升DFP、BFGS、PSB、L-BFGS和BGM等方法的性能。
2025-08-13 math.OC
A Progressive Batching L-BFGS Method for Machine Learning
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
标准L-BFGS方法依赖于不受噪声支配的梯度近似，使得搜索方向是下降方向，线搜索是可靠的，并且拟牛顿更新产生目标函数的有用的二次模型。所有这些似乎都需要一个完整的批处理方法，但由于小批量会产生更快的算法，具有更好的泛化性能，L-BFGS目前不被认为是大规模机器学习应用的首选算法。然而，不需要在由全批或高度随机性方案所代表的两个极端之间进行选择，而是可以遵循渐进的随机化方法，其中样本量在优化过程中增加。在本文中，我们提出了一种新版本的L-BFGS算法，该算法结合了三个基本组件-渐进式搜索，随机线搜索和稳定的拟牛顿更新-并且在训练逻辑斯谛回归和深度神经网络方面表现良好。我们提供支持的收敛性理论的方法。
2018-05-30 cs.LG math.OC stat.ML
Compact representations of structured BFGS matrices
对于一般的大规模最优化问题，存在紧致表示，其中递归拟牛顿更新公式被表示为紧致矩阵分解。对于目标函数包含附加结构的问题，所谓的结构化拟牛顿法利用可用的二阶导数信息和近似不可用的二阶导数。本文给出了两个结构化Broyden-Fletcher-Goldfarb-Shanno更新公式的紧致表示。紧凑表示实现了有效的有限存储器和初始化策略。两个有限的内存线搜索算法的描述和测试的问题，包括一个真实世界的大规模成像应用的集合。
2022-07-29 cs.MS cs.NA econ.EM
Quasi-Newton Methods: Superlinear Convergence Without Line Searches for Self-Concordant Functions
我们考虑使用曲率自适应步长梯度为基础的迭代法，包括拟牛顿法，最小化自协调函数，扩展的方法首先提出的牛顿法Nesterov。这个步长有一个可以解析计算的简单表达式;因此，不需要行搜索。我们证明了在BFGS方法（和拟牛顿方法在Broyden凸类的其他DFP方法）中使用这个步长会导致强凸自协调函数的超线性收敛。我们目前的数值实验比较梯度下降和BFGS方法使用曲率自适应步长的传统方法确定性逻辑斯谛回归问题，和版本的随机梯度下降随机最优化问题。
2018-08-09 math.OC
Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods
优化在机器学习问题中是重要的，并且拟牛顿法被认为是光滑无约束优化的最有效的数值方案。本文研究了拟牛顿法的显式超线性收敛速率，并解决了Rodomanov和Nesterov提出的两个公开问题.首先，我们将Rodomanov和Nesterov的结果推广到随机拟牛顿法，包括常用的DFP，BFGS，SR 1方法。这种随机方法采用随机方向来在每次迭代中更新近似黑塞矩阵。其次，我们重点研究了特殊的拟牛顿法：SR 1和BFGS方法。我们提供了改进版本的贪婪和随机方法，可证明更好的显式（本地）超线性收敛速率。我们的分析是密切相关的一个给定的黑塞矩阵，无约束的二次目标，以及一般的强凸，光滑，强自协调函数的逼近。
2022-09-11 math.OC
adaQN: An Adaptive Quasi-Newton Algorithm for Training RNNs
Northwestern University（西北大学）
递归神经网络（RNN）是一种功能强大的模型，在几个模式识别问题上具有出色的性能。然而，由于众所周知的“消失/爆炸”梯度问题，RNN的训练是一项计算困难的任务。提出的用于训练RNN的算法要么不利用（或有限）曲率信息并且具有廉价的每次迭代复杂度，要么试图以增加每次迭代成本为代价获得显著的曲率信息。前一组包括对角缩放的一阶方法，如ADAGRAD和ADAM，而后者包括二阶算法，如Hessian-Free Newton和K-FAC。在本文中，我们提出了adaQN，一种用于训练RNN的随机拟牛顿算法。我们的方法保留了低的每次迭代成本，同时允许通过随机L-BFGS更新方案的非对角缩放。该方法采用了一种新的L-BFGS缩放初始化方案，并在存储和保留L-BFGS曲率对是明智的。我们在两个语言建模任务上进行了数值实验，结果表明adaQN与流行的RNN训练算法相比具有竞争力。
2016-02-23 cs.LG math.OC stat.ML
Fast Linear Convergence of Randomized BFGS
自20世纪50年代后期拟牛顿法首次出现以来，它已成为求解无约束优化问题的一种应用最广泛、最有效的算法范式。尽管它们在实践中取得了巨大的成功，但几乎没有理论表明为什么这些方法如此有效。我们提供了一个半局部的收敛速率的随机BFGS方法，可以显着优于梯度下降，最后给出理论证据支持优越的经验性能的方法。
2021-02-03 cs.NA math.NA math.OC
A robust BFGS algorithm for unconstrained nonlinear optimization problems
NRC, Office of Research（国家研究委员会，研究办公室）
本文提出一种改进BFGS算法，通过动态选择凸组合系数构造修正Hessian矩阵，证明其全局收敛且在局部优化器邻域超线性收敛，计算成本与BFGS相当，CUTE测试集上性能优于多种经典算法。
2025-11-12 math.OC
Global convergence of a modified BFGS-type method based on function information for nonconvex multiobjective optimization problems
针对非凸多目标优化，提出改进BFGS型方法MFQNMO，用公共矩阵近似所有目标Hessian矩阵以降低计算负担，证明了其不依赖凸性的收敛性与局部超线性收敛速率，并通过实验验证有效性。
2024-10-11 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Nonlinearly Preconditioned L-BFGS as an Acceleration Mechanism for Alternating Least Squares, with Application to Tensor Decomposition
School of Mathematical Sciences, Monash University（蒙纳士大学理学院）；Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）
本文提出基于L-BFGS更新公式非线性加速方法，用于加速交替最小二乘法在张量分解中的应用，通过非线性预条件化提升优化效率与鲁棒性。
2018-06-27 cs.NA math.NA math.OC
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning: Part II
在本文的第一部分中，我们提出了一个分散随机拟牛顿法的一般框架，该方法在局部Hessian逆近似具有有界正特征值的假设下线性收敛于最优解。在第二部分中，我们指定了两个完全分散的随机拟牛顿法，阻尼正则化有限记忆DFP（Davidon-Fletcher-Powell）和阻尼有限记忆BFGS（Broyden-Fletcher-Goldfarb-Shanno），在本地构建这样的Hessian逆近似，无需额外的采样或通信。这两种方法都使用一个固定的移动窗口的$M$过去的局部梯度近似和本地决策变量自适应构造正定Hessian逆近似的有界特征值，满足在第一部分的线性收敛的假设。对于所提出的阻尼正则化有限记忆DFP，增加了正则化项以提高性能。对于所提出的阻尼有限内存BFGS，一个两个循环的递归，导致低的存储和计算复杂度。数值实验表明，所提出的拟牛顿法比现有的分散随机一阶算法快得多。
2022-01-19 math.OC
Blended Cured Quasi-Newton for Geometric Optimization
在二维或三维网格上优化变形能是物理模拟和几何处理中常见的关键问题。我们提出了三个新的改进，以最先进的：一个障碍意识线搜索过滤器，治愈阻塞下降步骤，由于元素障碍条款，使快速进展;能源代理模型，自适应地融合了索伯列夫（逆拉普拉斯处理的）梯度和L-BFGS下降以获得两者的优点，同时避免L-BFGS在几何优化任务中的当前限制;以及特征梯度范数，其提供了鲁棒的且在很大程度上与网格和能量无关的收敛准则，该准则在算法暂时减慢其进展时避免错误终止。这些改进共同构成了混合固化拟牛顿（BCQN），一种新的几何优化算法的基础。在各种规模的问题，我们表明，BCQN通常是最快和最强大的方法，使一些以前棘手的问题实际，同时提供了一个数量级的改善，在其他。
2018-01-31 math.OC
A Riemannian quasi-Newton algorithm for optimization with Euclidean bounds
AGH University of Krakow（克拉科夫AGH科技大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出一种结合有限记忆quasi-Newton更新和黎曼适应的广义Cauchy点策略的黎曼有限记忆BFGS方法，用于处理欧几里得约束的优化问题，展示了在协方差矩阵估计和神经影像等领域中的高效性。
2026-05-11 cs.MS math.DG math.OC
Non-asymptotic Global Convergence Rates of BFGS with Exact Line Search
本文研究了采用精确线搜索的 BFGS 方法在强凸条件下的非渐近全局收敛速率，揭示了三阶段收敛过程，并证明了修改初始 Hessian 矩阵对线性和超线性收敛速率的权衡影响。
2025-07-15 math.OC
On optimal control of free boundary problems of obstacle type
对椭圆型变分不等式形状最优化问题的最优控制公式进行了数值研究。将形状最优化问题转化为固定区域内的边界控制问题。离散最优控制问题是一个非光滑、非凸的数学规划问题。测试了标准BFGS拟牛顿法和非精确线搜索BFGS法的性能。
2018-01-19 math.OC
A Quasi Newton Method for Uncertain Multiobjective Optimization Problems via Robust Optimization Approach
本文提出一种拟牛顿法求解任意有限不确定性集下不确定多目标优化问题的鲁棒对应问题，通过构造子问题确定下降方向，结合Armijo线搜索和修正BFGS公式，证明算法超线性收敛，并用数值实验验证其优于加权和方法。
2023-10-11 math.OC
BFGS-ADMM for Large-Scale Distributed Optimization
考虑一类分布式最优化问题，其中目标函数由强凸函数和光滑函数以及（可能非光滑）凸正则化子组成。假设一个多智能体网络，其中每个智能体拥有一个私有的费用函数，并与它的邻居合作，以计算最优的聚合目标。本文提出了一种准牛顿乘子交替方向法（ADMM），其中原始更新是用近似曲率信息不精确求解的。通过引入一个中间一致性变量，我们实现了一个块对角Hessian，它消除了在计算更新方向时网络内部通信环路的需要。我们建立了全局线性收敛的最佳原始-对偶解决方案，而不需要回溯线搜索，假设组件费用函数是强凸的Lipschitz连续梯度。真实数据集上的数值模拟表明了所提出的方法优于现有技术。
2021-09-30 math.OC
A Robust Multi-Batch L-BFGS Method for Machine Learning
本文描述了L-BFGS方法的实现，旨在处理两种对抗性的情况。第一种情况发生在分布式计算环境中，其中一些专门用于函数和梯度评估的计算节点无法及时返回结果。类似的挑战也出现在多批处理方法中，其中用于计算函数和梯度的数据点在每次迭代时都有目的地改变，以加速学习过程。困难出现，因为L-BFGS采用梯度差来更新海森近似，并且当这些梯度使用不同的数据点计算时，更新过程可能不稳定。本文展示了如何在多批设置中执行稳定的拟牛顿更新，研究了凸函数和非凸函数的收敛性质，并说明了该算法在分布式计算平台上的行为，在二进制分类逻辑斯谛回归和机器学习中出现的神经网络训练问题。
2019-08-27 cs.LG math.OC stat.ML
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania（宾夕法尼亚大学）
RES是Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法的一种正则化随机形式，用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的，但在高维问题中，近似最优参数所需的迭代次数可能是禁止的。另一方面，二阶方法的应用是不切实际的，因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的，并保留其确定性同行的收敛速度的优势。收敛性结果表明，样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明，减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
A Multi-Batch L-BFGS Method for Machine Learning
Northwestern University（西北大学）；Lehigh University（理海大学）
如何并行化随机梯度下降（SGD）方法的问题在文献中得到了广泛的关注。在本文中，我们专注于批处理方法，在每次迭代中使用相当大一部分的训练集，以促进并行性，并采用二阶信息。为了改进学习过程，我们遵循多批次方法，其中批次在每次迭代时都会发生变化。这可能会造成困难，因为L-BFGS使用梯度差来更新Hessian近似，并且当使用不同的数据点计算这些梯度时，该过程可能不稳定。本文介绍了如何在多批设置下执行稳定的拟牛顿更新，说明了该算法在分布式计算平台上的行为，并研究了其收敛性的凸和非凸的情况下。
2016-10-23 cs.LG math.OC stat.ML
Non-asymptotic Superlinear Convergence of Standard Quasi-Newton Methods
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究并证明了Broyden类拟牛顿算法的非渐近超线性收敛速率，这类拟牛顿算法包括Davidon-Fletcher-Powell（DFP）方法和Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法.这些拟牛顿法的渐近超线性收敛速率在文献中已被广泛研究，但其显式有限时间局部收敛速度没有得到充分研究。本文在目标函数是强凸的、梯度是Lipschitz连续的、Hessian在最优解处是Lipschitz连续的条件下，给出了Broyden拟牛顿算法的有限时间（非渐近）收敛性分析.我们证明了在最优解的局部邻域内，由DFP和BFGS产生的迭代以超线性速率$(1/k)^{k/2}$收敛到最优解，其中$k$是迭代次数.当目标函数是自协调的时，我们也证明了一个类似的局部超线性收敛结果。几个数据集上的数值实验证实了我们的显式收敛速度界。我们的理论保证是第一个结果，提供了一个非渐近超线性收敛速率的拟牛顿法。
2021-11-30 cs.LG math.OC
A Single-Loop Stochastic Proximal Quasi-Newton Method for Large-Scale Nonsmooth Convex Optimization
Nanyang Technological University（南洋理工大学）；Umeå University（于默奥大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
提出一种结合 L-SVRG 和 L-BFGS 的单循环随机近端拟牛顿法，用于大规模非光滑凸优化，并利用计算复杂度仅 $O(d)$ 的半光滑牛顿求解器处理子问题，证明了全局线性收敛且实验验证了其高效性。
2026-10-05 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Forward-backward quasi-Newton methods for nonsmooth optimization problems
求解非光滑复合函数极小化问题的前后向分裂方法（FBS）可以看作是一种连续可微函数上的（变尺度）梯度法，我们称之为前后向包络（FBE）。这允许扩展算法的光滑无约束优化，并将其应用到非光滑（可能有约束）的问题。由于FBE及其梯度可以通过简单地评估向前-向后步骤来计算，因此所得到的方法依赖于与FBS相同的黑盒预言。我们提出了一个算法方案，享有相同的整体收敛性能的FBS时，问题是凸的，或当目标函数具有Kurdyka-Alumojasiewicz属性在其临界点。此外，当使用拟牛顿方向时，所提出的方法实现了超线性收敛，提供了通常的二阶充分条件的FBE保持在所产生的序列的极限点。这样的条件转化为对涉及广义二阶可微性的原函数的较温和的要求。我们表明，BFGS符合我们的框架，有限内存的变体L-BFGS非常适合于大规模的问题，大大优于FBS或其加速版本在实践中。超线性收敛的分析是基于所提出的算法方案的Dennis和Moré定理的扩展。
2016-05-02 math.OC
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度（GQG）这一统一框架，将二次梯度原理扩展至更广泛牛顿型优化算法，突破了现有二次梯度方法对特定海森近似的限制，为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
Generalization of Quasi-Newton Methods: Application to Robust Symmetric Multisecant Updates
拟牛顿技术通过使用所谓的割线方程估计Hessian来近似牛顿步骤。这些方法中的一些使用几个割线方程来计算Hessian，但产生非对称更新。其他拟牛顿格式，如BFGS，强制对称性，但不能满足一个以上的割线方程。我们提出了一种新型的拟牛顿对称更新使用几个割线方程在最小二乘意义下。我们的方法推广和统一的拟牛顿更新的设计，并满足可证明的鲁棒性保证。
2021-02-08 cs.NA math.NA math.OC
Communication efficient quasi-Newton distributed optimization based on the Douglas-Rachford envelope
针对客户端–服务器分布式优化，本文利用 Douglas–Rachford 分裂构造免线搜索的 BFGS 方法，以每轮每客户端仅收发一个向量实现最少通信和超线性收敛，并通过实验验证其降本优势。
2024-10-29 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Quasi-Newton Approach to Nonsmooth Convex Optimization Problems in Machine Learning
我们将著名的BFGS拟牛顿法及其内存有限的变体LBFGS推广到非光滑凸目标的优化。这是通过将BFGS的三个组成部分推广到次微分来以严格的方式完成的：局部二次模型，下降方向的识别和Wolfe线搜索条件。我们证明了在一定的技术条件下，所得到的subBFGS算法在目标函数值上是全局收敛的。我们将它的记忆限制变体（subLBFGS）应用于具有二元铰链损失的L_2正则化风险最小化问题。为了将我们的算法扩展到多类和多标签设置，我们开发了一个新的，高效的，精确的线搜索算法。我们证明了它的最坏情况下的时间复杂度的界限，并表明我们的线搜索也可以用来扩展最近开发的捆绑方法的多类和多标签设置。我们还将算法的方向发现部分应用于具有逻辑损失的L_1正则化风险最小化问题。在所有这些情况下，我们的方法在许多公开可用的数据集上的表现与专业的最先进的求解器相当或更好。我们的算法的开源实现是免费的。
2010-02-22 math.OC stat.ML
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Parameter estimation of hidden Markov models: comparison of EM and quasi-Newton methods with a new hybrid algorithm
本文提出一种结合 Baum-Welch 与拟牛顿方法的混合算法 QNEM，通过似然函数凸性切换策略提升隐马尔可夫模型参数估计效率，并在多个模型上与 EM、SQUAREM 和 L-BFGS-B 进行比较，验证其整体性能优势。
2024-09-04 math.OC stat.CO
Limited-Memory Greedy Quasi-Newton Method with Non-asymptotic Superlinear Convergence Rate
University of Cambridge（剑桥大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；JP Morgan Chase AI Research（摩根大通人工智能研究院）
本文提出有限记忆贪婪BFGS（LG-BFGS）方法，通过位移聚合和基向量选择方案，首次在有限记忆拟牛顿法中实现了非渐近超线性收敛速率，并揭示了收敛速度与内存需求间的明确权衡。
2023-10-18 cs.LG math.OC stat.ML
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning
University of Trieste（的里雅斯特大学）
本研究针对一阶深度学习优化方法的缺陷，分析BFGS与SR1两种随机拟牛顿更新的训练性能，通过多变量实验验证其效率，部分场景下优于最优调参的Adam优化器。
2023-10-04 cs.LG math.OC
