An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中，经典的ADMM精确地解决了两个子问题。然而，在许多应用中，获得子问题的精确解是昂贵的或不可能的。为了克服这一困难，在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题，因此需要更多的迭代。这一事实促使我们考虑，一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中，我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新（或有限内存BFGS）在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明，建议的近端ADMM的有效性。
2019-03-06 math.OC
On the Complexity of BFGS Method for Smooth Convex Optimization
University of California San Diego（加州大学圣地亚哥分校）；University of Chicago（芝加哥大学）；Arizona State University（亚利桑那州立大学）
该研究针对无强凸性的光滑凸优化问题，分析带Armijo-Wolfe线搜索的BFGS方法，得到前k次迭代最小梯度范数的O(k^{-1/2})复杂度界，以及初始次水平集有界时函数值间隙O(k^{-1})的收敛速率，验证了相关势函数不等式的普适性。
2026-08-18 math.OC
Limited-Memory BFGS with Displacement Aggregation
提出了一种位移聚合策略，用于存储在有限存储器BFGS（a.k.a.）中的曲率对。L-BFGS）方法，使得所得到的（逆）Hessian近似等于将从全存储BFGS方法导出的Hessian近似。这意味着，如果存储了足够大数量的对，则采用有限存储器方法的优化算法可以实现与存储和采用全存储器（逆）海森近似时相同的理论收敛特性，例如在对于获得这种保证而言常见的假设下的局部超线性收敛速率。据我们所知，这是第一个工作，其中本地超线性收敛速率保证提供了一个拟牛顿计划，不存储所有曲率对整个运行的优化算法或存储显式（逆）海森近似。数值结果表明，位移聚合内的自适应L-BFGS格式可以导致更好的性能比标准的L-BFGS。
2020-08-25 math.OC
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题，分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法，证明了相应收敛性，实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization
University of Southern California（南加州大学）；Inha University（仁荷大学）
提出轻量级基于动量的mL-BFGS算法，通过引入近零成本动量方案降低Hessian随机噪声并实现分块Hessian的分布式计算，在大规模神经网络训练中实现了稳定收敛及显著的迭代与时间加速。
2023-07-25 cs.LG math.OC
A Noise-Tolerant Quasi-Newton Algorithm for Unconstrained Optimization
本文给出了求带误差的非线性函数极小值的BFGS和L-BFGS方法的推广。这项工作的动机是包含计算噪声的应用程序，采用低精度算法，或受到统计噪声。经典的BFGS和L-BFGS方法在这种情况下可能会失败，因为更新过程可能会被破坏，并且线搜索可能会表现得不稳定。所提出的方法解决了这些困难，并确保BFGS更新是稳定的，通过采用延长过程，间隔出的点，在收集梯度差。一个新的线搜索，旨在容忍错误，保证Armijo-Wolfe条件满足最合理的条件下，并与延长过程。对强凸函数，所提出的方法具有收敛性保证。的方法的详细实施，连同令人鼓舞的数值结果。
2021-09-09 math.OC
Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization
本文提出准二次梯度，通过利用局部二次曲率改进搜索路径，使BFGS方法收敛速度显著提升且保持计算效率。
2026-04-27 cs.AI math.OC
A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
该研究提出一种带新型谨慎更新机制的全局化L-BFGS方法，在弱假设下对非凸问题有全局线性收敛性，内存为零时可得到全局化BB方法，且参数足够小时与经典方法性能一致。
2024-09-11 math.OC
BFGS-ADMM for Large-Scale Distributed Optimization
考虑一类分布式最优化问题，其中目标函数由强凸函数和光滑函数以及（可能非光滑）凸正则化子组成。假设一个多智能体网络，其中每个智能体拥有一个私有的费用函数，并与它的邻居合作，以计算最优的聚合目标。本文提出了一种准牛顿乘子交替方向法（ADMM），其中原始更新是用近似曲率信息不精确求解的。通过引入一个中间一致性变量，我们实现了一个块对角Hessian，它消除了在计算更新方向时网络内部通信环路的需要。我们建立了全局线性收敛的最佳原始-对偶解决方案，而不需要回溯线搜索，假设组件费用函数是强凸的Lipschitz连续梯度。真实数据集上的数值模拟表明了所提出的方法优于现有技术。
2021-09-30 math.OC
The Quasi-Newton Method for the Composite Multiobjective Optimization Problems
本文针对复合多目标优化问题（CMOP）提出了结合Armijo线搜索的BFGS、自标度BFGS和Huang BFGS等新拟牛顿方法，并证明了算法生成序列的聚点为Pareto稳定点和最优点。
2023-09-10 math.OC
A Regularized Limited Memory BFGS method for Large-Scale Unconstrained Optimization and its Efficient Implementations
Kyoto University（京都大学）
有限记忆BFGS（L-BFGS）方法是求解大规模无约束优化问题的常用方法之一。由于标准的L-BFGS方法使用线搜索来保证其整体收敛，因此它有时需要大量的函数求值。为了克服这个困难，我们提出了一个新的L-BFGS与一定的正则化技术。在通常的假设下，证明了算法的整体收敛.为了使该方法更加鲁棒和有效，我们还扩展了几个技术，如非单调技术和同时使用的Wolfe线搜索。最后，我们给出了一些数值结果测试问题在CUTEst，这表明所提出的方法是强大的解决问题的数量。
2021-01-12 cs.LG math.OC stat.ML
LM-CMA: an Alternative to L-BFGS for Large Scale Black-box Optimization
Liu和Nocedal（1989）的有限记忆BFGS方法（L-BFGS）通常被认为是当一阶和/或二阶信息可用时用于连续优化的选择方法。然而，L-BFGS的使用可能是复杂的，在黑盒的情况下，梯度信息是不可用的，因此应该进行数值估计。通过有限差分方法获得的这种估计的准确性通常取决于问题，这可能导致算法的过早收敛。在本文中，我们展示了L-BFGS的替代方案，Loshchilov（2014）提出的有限记忆协方差矩阵自适应演化策略（LM-CMA）。LM-CMA是一种用于非线性、非凸优化问题数值优化的随机无导数算法。受L-BFGS的启发，LM-CMA根据从在优化过程期间选择的$m$方向向量再现的协方差矩阵对候选解进行采样。将协方差矩阵分解成Cholesky因子允许将存储器复杂度降低到$O(mn)$，其中$n$是决策变量的数量。对一个候选解进行采样的时间复杂度也是$O(mn)$，但实际上仅为约25次标量-向量乘法。该算法有一个重要的性质，w.r.t.严格地增加目标函数的变换，这样的变换不损害其接近最优的能力。LM-CMA优于原来的CMA-ES及其大规模版本的不可分离的病态问题的一个因素增加的问题的维数。该算法的不变性并不妨碍它在非平凡的大规模光滑和非光滑优化问题上表现出与L-BFGS相当的性能。
2015-11-01 cs.NE math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Convergence Rate Analysis of the Majorize-Minimize Subspace Algorithm -- Extended Version
解决光滑最优化问题的最新方法是非线性共轭梯度法、低内存BFGS法和最优最小化（MM）子空间法。最近提出的MM子空间算法在处理信号和图像处理中的各种最优化问题时，与其它方法相比，显示出良好的实用性能。然而，据我们所知，没有一般的结果存在关于理论上的收敛速度的MM子空间算法。本文的目的是推导出这样的收敛速度的批量和在线版本的算法，特别是讨论了子空间的选择的影响。
2016-07-19 math.OC
Decentralized Quasi-Newton Methods
我们介绍了分散Broyden-Fletcher-Goldfarb-Shanno（D-BFGS）方法作为BFGS拟牛顿法的一种变化，用于解决分散最优化问题。D-BFGS方法对条件不良态的问题很感兴趣，使得一阶分散方法无效，并且其中二阶信息不容易获得，使得二阶分散方法不可能。D-BFGS是一种全分布式算法，其中节点通过满足割线条件来近似自己和邻居的曲率信息。我们还提供了一个配方的算法在异步设置。收敛的D-BFGS正式建立在同步和异步设置和强大的性能优势，相对于一阶方法的数值。
2016-05-03 math.OC
MSS: MATLAB Software for L-BFGS Trust-Region Subproblems for Large-Scale Optimization
Wake Forest University（维克森林大学）；University of California, Merced（加州大学默塞德分校）
本文提出一种MATLAB实现的More-Sorensen序列（MSS）方法，用于求解由有限记忆BFGS矩阵定义的二次函数在二范数信赖域约束下的极小化问题，该方法通过稳定快速直接法求解大规模移位BFGS方程组，数值实验表明其作为信赖域子问题求解器相比Steihaug-Toint方法可显著减少函数和梯度评估次数。
2013-07-15 cs.NA math.NA math.OC
On optimal control of free boundary problems of obstacle type
对椭圆型变分不等式形状最优化问题的最优控制公式进行了数值研究。将形状最优化问题转化为固定区域内的边界控制问题。离散最优控制问题是一个非光滑、非凸的数学规划问题。测试了标准BFGS拟牛顿法和非精确线搜索BFGS法的性能。
2018-01-19 math.OC
Explicit Global Convergence Rates of BFGS without Line Search
本文给出无线搜索BFGS方法的两阶段显式全局收敛速率，并提出考虑梯度Lipschitz连续性的自适应步长方法，在初始点远离最优解时加速收敛。
2025-09-26 math.OC
Modified limited memory BFGS with displacement aggregation and its application to the largest eigenvalue problem
本文提出结合位移聚合的改进有限内存BFGS方法（AggMBFGS）求解非凸优化问题，证明了其全局与局部超线性收敛性，并在数值实验中展现出优于M-LBFGS的迭代效率及在计算高维矩阵最大特征值时更低的相对误差。
2025-04-04 math.OC
Explicit continuation methods with L-BFGS updating formulas for linearly constrained optimization problems
本文考虑线性约束最优化问题的一种显式延拓方法，该方法采用可信时间推进格式和有限记忆BFGS（L-BFGS）更新公式（Eptctr）。在每一次迭代中，Eptctr只涉及三对向量的内积和一个矩阵-向量乘积，而不是传统的和有代表性的最优化方法如序列二次规划（SQP）或最新的连续方法如Ptctr \cite{LLS2020}，其需要求解二次规划子问题（SQP）或线性系方程组（Ptctr）。因此，Eptctr可以比SQP或Ptctr节省更多的计算时间。数值结果还表明，EPtctr的时间消耗约为Ptctr的十分之一或SQP的十五分之一到0.4%。此外，与SQP相比，Eptctr可以节省$(n+m) \times (n+m)$大规模矩阵的存储空间。Eptctr所需的内存大约是SQP的五分之一。最后，在标准假设下，我们给出了新方法的整体收敛性分析。
2021-01-18 cs.NA math.DS math.NA
A structured L-BFGS method with diagonal scaling and its application to image registration
本文提出一种带对角缩放的结构化 L-BFGS 方法，利用可获得的部分 Hessian 近似提升曲率估计，并在图像配准中验证性能与收敛性。
2024-09-09 math.OC
Nonlinearly Preconditioned L-BFGS as an Acceleration Mechanism for Alternating Least Squares, with Application to Tensor Decomposition
School of Mathematical Sciences, Monash University（蒙纳士大学理学院）；Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）
本文提出基于L-BFGS更新公式非线性加速方法，用于加速交替最小二乘法在张量分解中的应用，通过非线性预条件化提升优化效率与鲁棒性。
2018-06-27 cs.NA math.NA math.OC
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
The Performance of MBFGS with Different Inexact Line Search Rule
本文研究了Modified BFGS优化算法结合不同非精确线搜索方法在非凸无约束优化问题中的表现，数值实验证明MBFGS结合Armijo线搜索方法求解该类问题十分有效。
2025-04-04 math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
Fast Linear Convergence of Randomized BFGS
自20世纪50年代后期拟牛顿法首次出现以来，它已成为求解无约束优化问题的一种应用最广泛、最有效的算法范式。尽管它们在实践中取得了巨大的成功，但几乎没有理论表明为什么这些方法如此有效。我们提供了一个半局部的收敛速率的随机BFGS方法，可以显着优于梯度下降，最后给出理论证据支持优越的经验性能的方法。
2021-02-03 cs.NA math.NA math.OC
Deep Reinforcement Learning via L-BFGS Optimization
强化学习（RL）算法允许人工智能体改进其动作选择，从而增加其环境中的奖励体验。深度强化学习算法需要解决非凸和非线性无约束优化问题。用于解决深度RL中的优化问题的方法限于一阶算法类，例如随机梯度下降（SGD）。SGD方法的主要缺点是它们具有不逃逸鞍点的不良效果，并且它们的性能会受到病态的严重阻碍。此外，SGD方法需要详尽的试验和错误来微调许多学习参数。使用二阶导数信息可以提高收敛性能，但计算大规模问题的Hessian矩阵是不切实际的。拟牛顿法和SGD一样只需要一阶梯度信息，但它们可以构造Hessian矩阵的低秩近似，并导致超线性收敛。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在本文中，我们介绍了一种有效的优化方法，基于有限内存BFGS拟牛顿法使用线搜索策略-作为替代SGD方法。我们的方法通过继续使用梯度信息来计算低秩Hessian近似，从而弥合了一阶方法和二阶方法之间的差距。我们提供了正式的收敛性分析，以及经验的一个子集的经典ATARI 2600游戏的结果。我们的研究结果表明，具有较好的泛化特性，以及快速的训练时间和不需要的经验重放机制的鲁棒收敛。
2019-04-16 cs.AI cs.LG math.OC
A Linearly-Convergent Stochastic L-BFGS Algorithm
University of California, Berkeley（加州大学伯克利分校）
本文提出一种新的随机L-BFGS算法，证明了其在强凸和光滑函数上的线性收敛性，并展示了其在大规模凸优化问题中的高效性能。
2016-04-13 cs.LG cs.NA math.NA
Blended Cured Quasi-Newton for Geometric Optimization
在二维或三维网格上优化变形能是物理模拟和几何处理中常见的关键问题。我们提出了三个新的改进，以最先进的：一个障碍意识线搜索过滤器，治愈阻塞下降步骤，由于元素障碍条款，使快速进展;能源代理模型，自适应地融合了索伯列夫（逆拉普拉斯处理的）梯度和L-BFGS下降以获得两者的优点，同时避免L-BFGS在几何优化任务中的当前限制;以及特征梯度范数，其提供了鲁棒的且在很大程度上与网格和能量无关的收敛准则，该准则在算法暂时减慢其进展时避免错误终止。这些改进共同构成了混合固化拟牛顿（BCQN），一种新的几何优化算法的基础。在各种规模的问题，我们表明，BCQN通常是最快和最强大的方法，使一些以前棘手的问题实际，同时提供了一个数量级的改善，在其他。
2018-01-31 math.OC
Alternating Direction Method of Multipliers with Variable Metric Indefinite Proximal Terms for Convex Optimization
研究了线性约束凸优化问题的变尺度不定邻近项乘子邻近交替方向法。由于该方法的子问题易于求解，因此在许多应用领域中起着重要的作用。最近的研究表明，具有固定不定近似项的近似ADMM比具有半正定项的近似ADMM收敛速度快，且仍具有整体收敛的性质。另一方面，Gu和Yamashita研究了变度量半定邻近ADMM，其邻近项由BFGS更新生成。他们报告说，一个稍微不定矩阵也使算法在他们的数值实验中工作得很好。基于这一事实，我们考虑了一个变度量的不定邻近ADMM，并给出了关于邻近项的整体收敛的充分条件。此外，我们提出了一个新的不定邻近项的基础上的BFGS更新，可以满足条件的整体收敛。
2019-06-28 math.OC
Accelerated Stochastic Matrix Inversion: General Theory and Speeding up BFGS Rules for Faster Second-Order Optimization
Télécom ParisTech（巴黎电信学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Edinburgh（爱丁堡大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出首个加速随机算法求解欧几里得空间线性系统，通过求逆正定矩阵实现正定近似，发展了首个加速的准牛顿更新方法，加速Hessian逆近似并提升数值实验效率。
2018-06-19 cs.NA math.NA math.OC
A Quasi Newton Method for Uncertain Multiobjective Optimization Problems via Robust Optimization Approach
本文提出一种拟牛顿法求解任意有限不确定性集下不确定多目标优化问题的鲁棒对应问题，通过构造子问题确定下降方向，结合Armijo线搜索和修正BFGS公式，证明算法超线性收敛，并用数值实验验证其优于加权和方法。
2023-10-11 math.OC
Global Convergence of Online Limited Memory BFGS
University of Pennsylvania（宾夕法尼亚大学）
建立了求解大规模机器学习中随机目标最优化问题的Broyden-Fletcher- Goldfarb-Shanno（BFGS）拟牛顿法的在线（随机）有限记忆版本的整体收敛.样本函数的Hessian特征值的上界足以保证曲率近似矩阵具有有界的行列式和迹线，这反过来又允许以概率1收敛到最优参数。支持向量机与合成数据的数值实验展示减少收敛时间相对于随机梯度下降算法，以及减少存储和计算相对于其他在线拟牛顿法。通过对搜索引擎广告问题的实验评估，证实了这些优点在实际应用中也得到了体现。
2014-09-06 cs.LG math.OC stat.ML
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度（GQG）这一统一框架，将二次梯度原理扩展至更广泛牛顿型优化算法，突破了现有二次梯度方法对特定海森近似的限制，为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
A Progressive Batching L-BFGS Method for Machine Learning
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
标准L-BFGS方法依赖于不受噪声支配的梯度近似，使得搜索方向是下降方向，线搜索是可靠的，并且拟牛顿更新产生目标函数的有用的二次模型。所有这些似乎都需要一个完整的批处理方法，但由于小批量会产生更快的算法，具有更好的泛化性能，L-BFGS目前不被认为是大规模机器学习应用的首选算法。然而，不需要在由全批或高度随机性方案所代表的两个极端之间进行选择，而是可以遵循渐进的随机化方法，其中样本量在优化过程中增加。在本文中，我们提出了一种新版本的L-BFGS算法，该算法结合了三个基本组件-渐进式搜索，随机线搜索和稳定的拟牛顿更新-并且在训练逻辑斯谛回归和深度神经网络方面表现良好。我们提供支持的收敛性理论的方法。
2018-05-30 cs.LG math.OC stat.ML
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania（宾夕法尼亚大学）
RES是Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法的一种正则化随机形式，用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的，但在高维问题中，近似最优参数所需的迭代次数可能是禁止的。另一方面，二阶方法的应用是不切实际的，因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的，并保留其确定性同行的收敛速度的优势。收敛性结果表明，样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明，减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
Stochastic Subspace Descent
我们提出了两个随机下降算法，适用于无约束优化，特别是有效的目标函数是缓慢的评估和梯度不容易获得，在一些偏微分方程约束优化和机器学习问题。基本算法在每次迭代时将梯度投影到随机子空间上，类似于坐标下降，但不限制方向导数沿着轴。该算法是以前已知的，但我们提供了新的分析。我们还扩展了流行的SVRG方法，这个框架，但不需要将目标函数写成有限和。我们提供的收敛性证明，我们的方法在各种凸性假设下，并显示出良好的结果相比，梯度下降和BFGS的非凸问题的机器学习和形状优化文献。我们还注意到，我们的分析证明了SVRG和其他几个流行的一阶随机方法的迭代，在其原始配方中，几乎肯定会收敛到最优;据我们所知，在这项工作之前，SVRG的迭代只知道收敛在预期中。
2019-04-29 math.OC
Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods
优化在机器学习问题中是重要的，并且拟牛顿法被认为是光滑无约束优化的最有效的数值方案。本文研究了拟牛顿法的显式超线性收敛速率，并解决了Rodomanov和Nesterov提出的两个公开问题.首先，我们将Rodomanov和Nesterov的结果推广到随机拟牛顿法，包括常用的DFP，BFGS，SR 1方法。这种随机方法采用随机方向来在每次迭代中更新近似黑塞矩阵。其次，我们重点研究了特殊的拟牛顿法：SR 1和BFGS方法。我们提供了改进版本的贪婪和随机方法，可证明更好的显式（本地）超线性收敛速率。我们的分析是密切相关的一个给定的黑塞矩阵，无约束的二次目标，以及一般的强凸，光滑，强自协调函数的逼近。
2022-09-11 math.OC
A structured L-BFGS method and its application to inverse problems
针对反问题优化中保真项海森矩阵难计算、正则项海森矩阵易做矩阵-向量乘的结构特性，提出一种结构化L-BFGS方法，证明其非凸场景下的全局及线性收敛性，实验验证其在多类问题上的性能优势。
2024-03-08 math.OC
Forward-backward quasi-Newton methods for nonsmooth optimization problems
求解非光滑复合函数极小化问题的前后向分裂方法（FBS）可以看作是一种连续可微函数上的（变尺度）梯度法，我们称之为前后向包络（FBE）。这允许扩展算法的光滑无约束优化，并将其应用到非光滑（可能有约束）的问题。由于FBE及其梯度可以通过简单地评估向前-向后步骤来计算，因此所得到的方法依赖于与FBS相同的黑盒预言。我们提出了一个算法方案，享有相同的整体收敛性能的FBS时，问题是凸的，或当目标函数具有Kurdyka-Alumojasiewicz属性在其临界点。此外，当使用拟牛顿方向时，所提出的方法实现了超线性收敛，提供了通常的二阶充分条件的FBE保持在所产生的序列的极限点。这样的条件转化为对涉及广义二阶可微性的原函数的较温和的要求。我们表明，BFGS符合我们的框架，有限内存的变体L-BFGS非常适合于大规模的问题，大大优于FBS或其加速版本在实践中。超线性收敛的分析是基于所提出的算法方案的Dennis和Moré定理的扩展。
2016-05-02 math.OC
Asynchronous Parallel Stochastic Quasi-Newton Methods
虽然一阶随机算法（如随机梯度下降）一直是扩大机器学习模型（如深度神经网络）的主要力量，但二阶拟牛顿法由于其在处理病态最优化问题方面的有效性而开始引起关注。L-BFGS方法是应用最广泛的拟牛顿法之一。提出了一种随机拟牛顿法的异步并行算法（AsySQN）。与以前的尝试，它只并行计算梯度或两个循环递归的L-BFGS，我们的算法是第一个真正并行L-BFGS的收敛保证。采用方差缩减技术，先验随机L-BFGS，这还没有被设计为并行计算，达到线性收敛速率。我们证明，我们的异步并行方案保持相同的线性收敛速率，但实现了显着的加速。在模拟和基准数据集的实证评估表明，与非并行随机L-BFGS相比，加速，以及更好的性能比一阶方法在解决病态问题。
2020-11-02 cs.DC math.OC
Compact representations of structured BFGS matrices
对于一般的大规模最优化问题，存在紧致表示，其中递归拟牛顿更新公式被表示为紧致矩阵分解。对于目标函数包含附加结构的问题，所谓的结构化拟牛顿法利用可用的二阶导数信息和近似不可用的二阶导数。本文给出了两个结构化Broyden-Fletcher-Goldfarb-Shanno更新公式的紧致表示。紧凑表示实现了有效的有限存储器和初始化策略。两个有限的内存线搜索算法的描述和测试的问题，包括一个真实世界的大规模成像应用的集合。
2022-07-29 cs.MS cs.NA econ.EM
A Riemannian quasi-Newton algorithm for optimization with Euclidean bounds
AGH University of Krakow（克拉科夫AGH科技大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出一种结合有限记忆quasi-Newton更新和黎曼适应的广义Cauchy点策略的黎曼有限记忆BFGS方法，用于处理欧几里得约束的优化问题，展示了在协方差矩阵估计和神经影像等领域中的高效性。
2026-05-11 cs.MS math.DG math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Finite Newton-Step Generation via Subspace Quasi-Newton Methods for Quadratic Problems
Linköping University（林雪平大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究针对严格凸二次问题，提出利用子空间拟牛顿法，通过至多两个方向的曲率信息（或梯度差恢复的Hessian作用）有限生成牛顿步的构造性方法，用于识别充分曲率信息。
2026-09-03 math.OC
Learning the Step-size Policy for the Limited-Memory Broyden-Fletcher-Goldfarb-Shanno Algorithm
Université Catholique de Louvain（鲁汶大学）；Linköping University（林雪平大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们考虑的问题，如何学习的步长政策的有限内存Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）算法。这是一个有限的计算内存的拟牛顿法广泛用于确定性无约束优化，但目前避免在大规模的问题，需要在每次迭代提供的步长。用于L-BFGS的步长选择的现有方法使用设计参数的启发式调整和目标函数和梯度的大量重新评估来找到合适的步长。我们提出了一个神经网络的结构与当前的局部信息作为输入。步长策略是从类似优化问题的数据中学习的，避免了对目标函数的额外评估，并保证输出步长保持在预定义的区间内。相应的训练过程被制定为一个随机优化问题，通过时间算法使用反向传播。所提出的方法的性能进行评估的MNIST数据库的手写数字和CIFAR-10的分类器的训练。结果表明，该算法的性能优于ADAM，RMSprop，L-BFGS与回溯线搜索，L-BFGS与固定步长的启发式调整优化。数值结果还表明，学习的政策，可以作为一个热启动训练新的政策，为不同的问题后，一些额外的训练步骤，突出其在多个大规模优化问题的潜在用途。
2021-02-09 cs.LG math.OC stat.ML
A Single-Loop Stochastic Proximal Quasi-Newton Method for Large-Scale Nonsmooth Convex Optimization
Nanyang Technological University（南洋理工大学）；Umeå University（于默奥大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
提出一种结合 L-SVRG 和 L-BFGS 的单循环随机近端拟牛顿法，用于大规模非光滑凸优化，并利用计算复杂度仅 $O(d)$ 的半光滑牛顿求解器处理子问题，证明了全局线性收敛且实验验证了其高效性。
2026-10-05 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
On stochastic and deterministic quasi-Newton methods for non-Strongly convex optimization: Asymptotic convergence and rate analysis
受大规模优化和机器学习应用的启发，我们考虑求解无约束凸优化问题的随机拟牛顿（SQN）方法。SQN方法的收敛性分析，无论是完全的和有限的记忆变体，要求目标函数是强凸的。然而，这个假设是相当严格的，并不适用于应用程序，如最小化的逻辑斯谛回归损失函数。据我们所知，在没有这种假设的情况下，目前还没有SQN方法的速率声明。此外，在现有的一阶方法解决随机最优化问题，只是凸目标，那些配备了可证明的收敛速度采用平均。然而，这种平均技术对诱导稀疏性有不利影响。（i）针对大规模随机最优化问题，提出了一种迭代正则化随机有限记忆BFGS（IRS-LBFGS）算法，该算法的步长、正则化参数和Hessian逆逼近矩阵都是迭代更新的。我们建立了收敛到原问题的最优解的几乎肯定和平均意义。我们推导出的目标函数的值方面的收敛速度，并表明它是为了$\mathcal{O}\left(k^{-\left(\frac{1}{3}-ε\right)}\right)$，其中$ε$是一个任意的小正标量;（ii）在确定性制度，我们表明，正则化的有限内存BFGS算法显示的顺序$\mathcal{O}\left(\frac{1}{k^{1 -ε'}}\right)$，其中$ε'$是一个任意的小正标量的速度。我们提出了一个大规模的文本分类问题进行数值实验。
2019-10-01 math.OC
A stochastic subspace approach to gradient-free optimization in high dimensions
提出一种将梯度投影到低维随机子空间的无梯度随机下降算法，仅需少量方向导数，给出凸性下收敛证明，并在机器学习与形状优化问题上优于多种基线方法。
2021-05-06 math.OC
Hessian Initialization Strategies for L-BFGS Solving Non-linear Inverse Problems
L-BFGS是求解大规模反问题的最先进的最优化方法。它占用的内存很小，并实现了超线性收敛。该方法基于初始近似和对当前局部曲率信息建模的更新规则来近似Hessian。初始近似极大地影响搜索方向的缩放和方法的整体收敛性。我们提出了一种新颖，简单，有效的方法来初始化Hessian。通常，目标函数是数据保真度项和正则化项的和。通常，数据保真度的Hessian在计算上是有挑战性的，但正则化器的Hessian很容易计算。我们用一个标量替换数据保真度的Hessian，并保留正则化器的Hessian，以在每次迭代时初始化Hessian近似。标量满足普通和总体最小二乘和几何平均回归意义下的正割方程。我们的新策略不仅导致更快的收敛，但数值解的质量一般优于简单的缩放为基础的战略。具体而言，所提出的计划的基础上，普通最小二乘制定和几何平均回归优于国家的最先进的计划。我们的策略的实施只需要一个标准的L-BFGS代码的小变化。我们的实验上凸二次问题和非凸图像配准问题证实了所提出的方法的有效性。
2021-03-18 cs.NA math.NA math.OC
A bilevel learning approach for optimal observation placement in variational data assimilation
在本文中，我们提出了一个双层优化方法的空间和时间观测的位置变分资料同化问题。在监督学习的框架内，我们考虑了一个双层问题，其中下层任务是半线性系统初始条件的变分重构，上层问题借助于稀疏诱导函数求解最优布局。由于观测值的逐点性质，得到了具有正则Borel测度的最优性系统作为下层问题的必要最优性条件。后者被认为是对上层实例的约束，产生一个多状态系统的措施约束下的最优化问题。我们证明了拉格朗日乘子的存在性，并推导出一个必要的最优性系统的特点的最优解的双层问题。数值解也在两个层次上进行。下层问题使用标准的BFGS方法解决，而上层问题通过基于$ε$ -活动集估计的投影BFGS算法解决。最后给出了一些数值实验来说明我们的方法的主要特点。
2019-10-08 math.OC
A new envelope function for nonsmooth DC optimization
该研究提出用于非光滑DC优化的新型包络函数，证明DC优化等价于最小化该利普希茨可微包络，由此得到可并行的无（次）梯度近端算法，且支持L-BFGS等方法，还揭示了其与前向-后向包络的深层关联。
2020-03-31 math.OC
