Limited-Memory BFGS with Displacement Aggregation
提出了一种位移聚合策略，用于存储在有限存储器BFGS（a.k.a.）中的曲率对。L-BFGS）方法，使得所得到的（逆）Hessian近似等于将从全存储BFGS方法导出的Hessian近似。这意味着，如果存储了足够大数量的对，则采用有限存储器方法的优化算法可以实现与存储和采用全存储器（逆）海森近似时相同的理论收敛特性，例如在对于获得这种保证而言常见的假设下的局部超线性收敛速率。据我们所知，这是第一个工作，其中本地超线性收敛速率保证提供了一个拟牛顿计划，不存储所有曲率对整个运行的优化算法或存储显式（逆）海森近似。数值结果表明，位移聚合内的自适应L-BFGS格式可以导致更好的性能比标准的L-BFGS。
2020-08-25 math.OC
Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；Aalto University（阿尔托大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，随机梯度马尔可夫链蒙特卡罗技术在非凸优化中具有很强的潜力，在一定条件下可以显示局部和全局收敛保证。在此基础上，本文提出了一种求解非凸优化问题的并行随机L-BFGS算法。该算法适用于分布式和共享内存环境。我们提供了正式的理论分析，并表明，该方法实现了遍历收敛速度的${\cal O}(1/\sqrt{N})$（$N$是总的迭代次数），它可以实现线性加速在一定条件下。我们在合成和真实数据集上进行了几个实验。结果支持我们的理论，并表明，该算法提供了一个显着的加速比最近提出的同步分布式L-BFGS算法。
2018-06-07 cs.LG stat.ML
Analysis of Limited-Memory BFGS on a Class of Nonsmooth Convex Functions
有限记忆BFGS（L-BFGS）方法被广泛应用于大规模无约束优化问题，但其在非光滑问题上的表现却很少受到关注。L-BFGS可以使用或不使用“缩放”;通常建议使用缩放。一个简单的特殊情况，即每次迭代时只存储和使用一个BFGS更新，有时也称为无记忆BFGS。我们分析无记忆BFGS与缩放，使用任何Armijo-Wolfe线搜索，在功能$f(x) = a|x^{(1)}| + \sum_{i=2}^{n} x^{(i)}$，在任何点$x_0$与$x_0^{(1)}\not = 0$开始。我们表明，如果$a\ge 2\sqrt{n-1}$，该方法产生的归一化搜索方向的绝对值收敛到一个常数向量，如果，此外，$a$是大于一个数量，取决于Armijo参数，那么迭代收敛到一个非最佳点$\bar x$与$\bar x^{(1)}=0$，虽然$f$是无界以下。正如我们在以前的工作中所展示的，如果$a\geq \sqrt{n-1}$和$a$大于另一个依赖于Armijo参数的量，则任何Armijo-Wolfe线搜索的梯度方法也会在同一函数上失败，但是缩放的无记忆BFGS在将$a$与Armijo参数相关联的条件比梯度方法失败的条件更弱的条件下失败。此外，与梯度方法形成鲜明对比的是，如果使用特定的标准Armijo-Wolfe包围线搜索，则当$a\ge 2 \sqrt{n-1} $不考虑Armijo参数时，缩放的…
2019-05-31 math.OC
Trust-Region Algorithms for Training Responses: Machine Learning Methods Using Indefinite Hessian Approximations
Department of Mathematics, Wake Forest University（威克森林大学数学系）；Department of Applied Mathematics, University of California, Merced（加州大学默塞德分校应用数学系）
本文提出了一种基于准牛顿信任区域框架的机学习方法，用于解决允许不定Hessian近似的大规模优化问题，通过数值实验展示了其在固定计算时间预算下优于传统有限记忆BFGS和Hessian自由方法的性能。
2019-05-23 cs.LG cs.NA math.NA
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
Behavior of Limited Memory BFGS when Applied to Nonsmooth Functions and their Nesterov Smoothings
研究有限内存BFGS（L-BFGS）在非光滑最优化问题上的行为的动机是基于两个经验观察：L-BFGS在解决大规模光滑最优化问题方面的广泛成功，以及基于使用梯度而不是次梯度的Oracle范例的完全BFGS方法在解决中小规模非光滑最优化问题方面的有效性。首先，我们总结了我们的理论结果的缩放L-BFGS方法的行为与一个更新应用于一个简单的凸非光滑函数，是无界以下，说明条件下，该方法收敛到一个非最佳点，无论起点。然后，我们转向实证调查是否有同样的现象更普遍，重点是一个困难的问题Nesterov，以及特征值最优化问题中出现的半定规划应用。我们发现，当直接应用到一个非光滑函数，L-BFGS，特别是其缩放的变种，往往打破了一个穷人的近似最优解，在鲜明的对比，充分BFGS。未缩放的L-BFGS不太容易崩溃，但每次迭代执行的函数计算比缩放的L-BFGS多得多，因此它很慢。尽管如此，通常情况下，这两种变体都比可证明收敛但速度慢的次梯度方法获得更好的结果。另一方面，当应用于Nesterov对非光滑函数的光滑近似时，缩放L-BFGS通常比未缩放L-BFGS更有效，即使问题非常病态，也经常获得良好的结果。总之，对于完全BFGS和其他非光滑最优化方法不实用的大规模非光滑最优化问题，将L-BFGS应用于非光滑问题的光滑近似通常比将其直接应用于非光滑问题更好。
2020-06-18 math.OC
Online Optimization with Memory and Competitive Control
Tsinghua University（清华大学）
针对一类新的带记忆的在线优化问题，提出了竞争算法。我们考虑的设置，学习者寻求最小化的命中成本和切换成本，取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法，乐观正则化在线平衡下降，实现了恒定的，无量纲的竞争比。此外，我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系，反过来，导致一个新的恒定竞争的政策，丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
Provable and Practical Online Learning Rate Adaptation with Hypergradient Descent
Stanford University（斯坦福大学）；ICME, Stanford University（斯坦福大学ICME）；Department of Mathematics, Stanford University（斯坦福大学数学系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程学院）
本文用在线学习框架严格分析超梯度下降HDM的收敛性，解释其不稳定性并提出修正，还构造动量变体；HDM-HB在凸优化实验中显著优于自适应一阶方法并可媲美L-BFGS。
2025-03-16 cs.LG math.OC
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题，分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法，证明了相应收敛性，实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
Limited-memory BFGS Systems with Diagonal Updates
Wake Forest University（维克森林大学）；University of California, Merced（加州大学默塞德分校）
本文提出一种仅需向量内积的递归公式，用于求解有限记忆BFGS矩阵加正对角项的系统，复杂度为M^2n。
2012-02-01 cs.NA math.NA math.OC
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化（COCO-M），提出首次实现亚线性后悔和亚线性累积约束违反的算法，适用于时间变化约束，且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
Learning the Step-size Policy for the Limited-Memory Broyden-Fletcher-Goldfarb-Shanno Algorithm
Université Catholique de Louvain（鲁汶大学）；Linköping University（林雪平大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们考虑的问题，如何学习的步长政策的有限内存Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）算法。这是一个有限的计算内存的拟牛顿法广泛用于确定性无约束优化，但目前避免在大规模的问题，需要在每次迭代提供的步长。用于L-BFGS的步长选择的现有方法使用设计参数的启发式调整和目标函数和梯度的大量重新评估来找到合适的步长。我们提出了一个神经网络的结构与当前的局部信息作为输入。步长策略是从类似优化问题的数据中学习的，避免了对目标函数的额外评估，并保证输出步长保持在预定义的区间内。相应的训练过程被制定为一个随机优化问题，通过时间算法使用反向传播。所提出的方法的性能进行评估的MNIST数据库的手写数字和CIFAR-10的分类器的训练。结果表明，该算法的性能优于ADAM，RMSprop，L-BFGS与回溯线搜索，L-BFGS与固定步长的启发式调整优化。数值结果还表明，学习的政策，可以作为一个热启动训练新的政策，为不同的问题后，一些额外的训练步骤，突出其在多个大规模优化问题的潜在用途。
2021-02-09 cs.LG math.OC stat.ML
On the Condition Number Upper Bound of the L-BFGS Inverse Hessian Approximation Matrix with a Two-Sided Geometric Envelope Safeguarding Mechanism
Portland State University（波特兰州立大学）
研究在病态或非凸环境中L-BFGS算法逆海森近似条件数爆炸问题，提出双边L-BFGS方法，通过双边几何包络约束条件数，证明其能保持曲率信息等，数值实验验证该方法可提升鲁棒性和收敛行为。
2026-07-08 cs.LG cs.NA math.NA
Non-stationary Online Learning with Memory and Non-stochastic Control
Nanjing University（南京大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对带记忆在线凸优化与非随机控制中的非平稳性，提出感知切换成本的在线集成算法及基于梯度的控制器，实现最优动态策略遗憾保证。
2023-08-15 cs.LG stat.ML
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory（阿贡国家实验室）
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而，这些算法必须实现各种策略，例如存储器缓冲器或重放，以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此，我们开发了一个生物启发的轻量级神经网络架构，它结合了本地学习和神经调节，使输入处理数据流和在线学习。接下来，我们解决的挑战，是不知道的任务，提前实现转移元学习：使用贝叶斯优化，探索设计空间跨越多个本地学习规则和他们的超参数，我们确定高性能的配置在经典的单任务在线学习，我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置，我们在MNIST，Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置，我们实现了优越的持续学习性能分裂MNIST，和分裂CIFAR-10数据相比，其他内存受限的学习方法，并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
Online Multitask Learning with Long-Term Memory
University College London（伦敦大学学院）
我们介绍一种新颖的在线多任务设置。在这种设置中，每个任务都被划分为一系列学习者未知的片段。与每个段相关联的是来自某个假设类的假设。我们给出的算法，旨在利用的情况下，有许多这样的部分，但显着较少的相关假设。我们证明遗憾的界限，持有任何分割的任务和任何关联的假设的部分。在单任务设置中，这相当于在[Bousquet and Warfall; 2003]的意义上切换长期记忆。我们提供了一种算法，当假设类有限时，该算法在每次试验中的预测时间与假设数量呈线性关系。我们还考虑无限假设类从再生核希尔伯特空间，我们给一个算法，其每次试验的时间复杂度是立方的累积试验的数量。在单任务的特殊情况下，这是一个有效的遗憾有界的切换算法与长期记忆的非参数假设类的第一个例子。
2020-08-17 cs.LG stat.ML
A robust BFGS algorithm for unconstrained nonlinear optimization problems
本文提出一种改进BFGS算法，通过动态选择凸组合系数构造修正Hessian矩阵，证明其全局收敛且在局部优化器邻域超线性收敛，计算成本与BFGS相当，CUTE测试集上性能优于多种经典算法。
2025-11-12 math.OC
Stochastic L-BFGS: Improved Convergence Rates and Practical Acceleration Strategies
我们重新审视随机有限记忆BFGS（L-BFGS）算法。通过提出一个新的框架的收敛性分析，我们证明了改进的收敛速度和计算复杂性的随机L-BFGS算法相比，以前的作品。此外，我们提出了几个实用的加速策略，以加快这种算法的经验性能。我们还对大多数策略进行了理论分析。大规模的逻辑和岭回归问题的实验表明，我们提出的策略产生显着的改善相对于竞争国家的最先进的算法。
2017-10-24 cs.IT math.IT math.OC
Black Box Lie Group Preconditioners for SGD
Facebook（脸书）
提出了一种无矩阵和低秩近似预条件子，利用Hessian向量积或参数和梯度的有限差分中的曲率信息，加速随机梯度下降（SGD）算法的收敛，类似于BFGS算法.这两个预处理器都采用在线更新的方式，最小化了一个标准，该标准没有线搜索，对随机梯度噪声具有鲁棒性，并且进一步约束在某些连通李群上，以保持它们相应的对称性或不变性，例如，用具有正行列式的连通一般线性群确定坐标的方向。李群的等方差性质便于预处理器拟合，其不变性性质节省了任何阻尼的需要，这在二阶优化器中很常见，但难以调整。参数更新的学习率和预条件拟合的步长是自然归一化的，它们的默认值在大多数情况下都很好。
2022-11-08 cs.LG stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Modified limited memory BFGS with displacement aggregation and its application to the largest eigenvalue problem
本文提出结合位移聚合的改进有限内存BFGS方法（AggMBFGS）求解非凸优化问题，证明了其全局与局部超线性收敛性，并在数值实验中展现出优于M-LBFGS的迭代效率及在计算高维矩阵最大特征值时更低的相对误差。
2025-04-04 math.OC
LM-CMA: an Alternative to L-BFGS for Large Scale Black-box Optimization
Liu和Nocedal（1989）的有限记忆BFGS方法（L-BFGS）通常被认为是当一阶和/或二阶信息可用时用于连续优化的选择方法。然而，L-BFGS的使用可能是复杂的，在黑盒的情况下，梯度信息是不可用的，因此应该进行数值估计。通过有限差分方法获得的这种估计的准确性通常取决于问题，这可能导致算法的过早收敛。在本文中，我们展示了L-BFGS的替代方案，Loshchilov（2014）提出的有限记忆协方差矩阵自适应演化策略（LM-CMA）。LM-CMA是一种用于非线性、非凸优化问题数值优化的随机无导数算法。受L-BFGS的启发，LM-CMA根据从在优化过程期间选择的$m$方向向量再现的协方差矩阵对候选解进行采样。将协方差矩阵分解成Cholesky因子允许将存储器复杂度降低到$O(mn)$，其中$n$是决策变量的数量。对一个候选解进行采样的时间复杂度也是$O(mn)$，但实际上仅为约25次标量-向量乘法。该算法有一个重要的性质，w.r.t.严格地增加目标函数的变换，这样的变换不损害其接近最优的能力。LM-CMA优于原来的CMA-ES及其大规模版本的不可分离的病态问题的一个因素增加的问题的维数。该算法的不变性并不妨碍它在非平凡的大规模光滑和非光滑优化问题上表现出与L-BFGS相当的性能。
2015-11-01 cs.NE math.OC
Adversarial Tracking Control via Strongly Adaptive Online Learning with Memory
Boston University（波士顿大学）
我们考虑的问题，跟踪一个敌对状态序列的线性动力系统的敌对干扰和损失函数，推广早期的设置在文献中。为此，我们开发了三种技术，每一个独立的利益。首先，我们提出了一个比较器自适应算法的移动成本的在线线性优化。如果不进行调整，事后看来，它几乎与最佳调整的梯度下降的性能相匹配。接下来，考虑到一个相关的问题，称为在线学习与记忆，我们构建了一个新的强自适应算法，使用我们的第一个贡献作为积木。最后，我们提出了第一个减少从对抗跟踪控制强自适应在线学习与记忆。总结这些单独的技术，我们得到了一个对抗跟踪控制器具有很强的性能保证，即使参考轨迹有很大的运动范围。
2022-02-22 cs.LG cs.SY eess.SY
Efficient Online Learning with Memory via Frank-Wolfe Optimization: Algorithms with Bounded Dynamic Regret and Applications to Control
University of Michigan（密歇根大学）
针对在线学习中投影操作的计算瓶颈，提出基于OFW和Hedge的无投影带记忆元-基学习算法，实现有界动态遗憾，并成功应用于线性时变系统的在线控制。
2023-03-31 cs.LG cs.SY eess.SY
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
A Dynamic Subspace Based BFGS Method for Large Scale Optimization Problem
大规模无约束优化问题是数值优化中一类基本而重要的问题，但至今尚未得到很好的解决。设计算法的主要挑战是需要很少的存储位置或非常便宜的计算，同时保持整体收敛。本文将动态子空间技术与BFGS更新算法相结合，提出了一种求解大规模无约束最优化问题的新方法。实验结果表明，该方法在动态子空间上具有与BFGS相同的收敛速率，而所需存储空间比L-BFGS少。通过构造低维欧几里得空间到自适应子空间的映射，给出了算法的收敛性分析。我们比较我们的混合算法与BFGS和L-BFGS方法。实验结果表明，我们的混合算法提供了一些显着的优势，如并行计算，收敛效率和鲁棒性。
2020-01-22 math.OC
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对核化在线成对学习，提出有限内存方差缩减OGD算法，利用分层样本和随机傅里叶特征降低梯度方差，实现改进的次线性遗憾，实验验证其优越性。
2023-10-10 cs.LG
Memory-Computation Tradeoffs in Semi Amortized Parametric Optimization
Johns Hopkins University（约翰·霍普金斯大学）
研究在固定在线计算预算下，半摊销参数优化中离线信息与精度的关系。通过构建非参数预测器分析，给出强凸和满足特定条件凸目标的内存上下界及证明框架，实验验证了内存-计算-精度权衡。
2026-07-24 cs.LG
Distributed Associative Memory via Online Convex Optimization
KCLIP, CIIPS, Department of Engineering, King’s College London, London WC2R 2LS, UK（KCLIP、CIIPS、工程系、伦敦国王学院，伦敦 WC2R 2LS，英国）；Communication Systems Department, EURECOM, 06904 Sophia Antipolis, France（通信系统部门、EURECOM、法国索菲亚抗皮斯，06904）；Intelligent Networked Systems Institute, Northeastern University London, London E1 8PH, UK（智能网络系统研究所、伦敦东北大学、伦敦 E1 8PH，英国）
针对分布式联想记忆问题，提出基于路由树通信的分布式在线梯度下降方法以协同优化各智能体本地记忆，并证明次线性遗憾且实验优于现有基线。
2025-09-26 cs.LG eess.SP
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
Form and Function: Machine Unlearning as a Problem of Misaligned States
Second Street Labs, Detroit, MI, USA（第二街实验室，密歇根州底特律）；Department of Statistics, University of Michigan, Ann Arbor, MI, USA（密歇根大学统计系，密歇根州安阿伯）
本文提出将在线L-BFGS的机器去学习问题建模为反事实状态对齐问题，通过引入状态感知度量和反事实 oracle 模型，证明去学习不仅仅是参数修正问题，还需要与可实现的反事实优化器状态对齐。
2026-05-17 cs.LG math.OC
Compact representations of structured BFGS matrices
对于一般的大规模最优化问题，存在紧致表示，其中递归拟牛顿更新公式被表示为紧致矩阵分解。对于目标函数包含附加结构的问题，所谓的结构化拟牛顿法利用可用的二阶导数信息和近似不可用的二阶导数。本文给出了两个结构化Broyden-Fletcher-Goldfarb-Shanno更新公式的紧致表示。紧凑表示实现了有效的有限存储器和初始化策略。两个有限的内存线搜索算法的描述和测试的问题，包括一个真实世界的大规模成像应用的集合。
2022-07-29 cs.MS cs.NA econ.EM
Retrieval-Augmented Memory for Online Learning
Department of Computer Engineering, International College (MUTIC), Mahanakorn University of Technology（计算机工程系，国际学院（MUTIC），玛汉纳克恩技术大学）
RAM-OL通过结合检索增强的记忆机制，提升在线学习在概念漂移场景下的准确性和鲁棒性。
2025-12-02 cs.LG
Stochastic Block BFGS: Squeezing More Curvature out of Data
我们提出了一种新的有限记忆随机块BFGS更新，将丰富的曲率信息的随机逼近方法。在我们的方法中，由它维护的逆黑塞矩阵的估计在每次迭代时使用黑塞矩阵的草图来更新，即，一个随机生成的压缩形式的海森。我们提出了几种绘制策略，提出了一种新的拟牛顿法，使用随机块BFGS更新结合方差减少方法SVRG计算批量随机梯度，并证明了所产生的方法的线性收敛。大规模的逻辑斯谛回归问题的数值试验表明，我们的方法是更强大的，大大优于当前国家的最先进的方法。
2016-03-31 math.OC
A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
该研究提出一种带新型谨慎更新机制的全局化L-BFGS方法，在弱假设下对非凸问题有全局线性收敛性，内存为零时可得到全局化BB方法，且参数足够小时与经典方法性能一致。
2024-09-11 math.OC
A Dense Initialization for Limited-Memory Quasi-Newton Methods
考虑一类有限记忆拟牛顿法的稠密初始化。建议的初始化利用一个特征分解为基础的分离成两个互补的子空间的完整的空间，分配一个不同的初始化参数，每个子空间。这个家庭的密集初始化提出了一个有限的记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）的信赖域方法，利用形状变化的规范来定义每个子问题的背景下。与传统上使用对角初始化的L-BFGS方法一样，稠密初始化和生成的拟牛顿矩阵序列从未显式形成。在CUTEst测试集上的数值实验表明，该初始化方法和形状变化信赖域方法在求解一般非凸无约束最优化问题时，性能优于其它L-BFGS方法.虽然这种稠密初始化是在一个特殊的信赖域方法的背景下提出的，但它对更一般的拟牛顿信赖域和线搜索法具有广泛的应用。事实上，这种初始化适合于与任何准牛顿更新，承认一个紧凑的表示，特别是任何成员的Broyden类的更新。
2019-05-22 math.OC
Near Optimal Memory-Regret Tradeoff for Online Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
在专家问题中，在$T$的每一天，代理需要遵循$n$“专家”之一的建议。每过一天，每个专家的建议都会带来损失。学习理论的一个基本结果是，智能体可以实现后悔消失，也就是说，他们的累积损失在事后诸葛亮专家的累积损失的$o(T)$范围内。如果没有足够的空间来记住所有的专家，智能体能否表现良好？我们在两个方向上扩展了对这个问题的一个新的研究路线：$\bullet$我们给出了一个新的算法，对不经意的对手，改进了[PZ 23]获得的内存后悔权衡，几乎匹配的下限[SWXZ 22]。$\bullet$我们还考虑了一个自适应对手谁可以观察过去的专家选择的代理。在这种情况下，我们给出了一个新的算法和一个新的下限，证明了大致$\sqrt{n}$内存是必要的和足够的$o(T)$遗憾。
2023-03-09 cs.AI cs.DS cs.LG
Explicit continuation methods with L-BFGS updating formulas for linearly constrained optimization problems
本文考虑线性约束最优化问题的一种显式延拓方法，该方法采用可信时间推进格式和有限记忆BFGS（L-BFGS）更新公式（Eptctr）。在每一次迭代中，Eptctr只涉及三对向量的内积和一个矩阵-向量乘积，而不是传统的和有代表性的最优化方法如序列二次规划（SQP）或最新的连续方法如Ptctr \cite{LLS2020}，其需要求解二次规划子问题（SQP）或线性系方程组（Ptctr）。因此，Eptctr可以比SQP或Ptctr节省更多的计算时间。数值结果还表明，EPtctr的时间消耗约为Ptctr的十分之一或SQP的十五分之一到0.4%。此外，与SQP相比，Eptctr可以节省$(n+m) \times (n+m)$大规模矩阵的存储空间。Eptctr所需的内存大约是SQP的五分之一。最后，在标准假设下，我们给出了新方法的整体收敛性分析。
2021-01-18 cs.NA math.DS math.NA
Counterexamples for BFGS-type methods under arbitrary strong Wolfe constants
本文针对任意强Wolfe参数构造了BFGS类方法在二维光滑非凸函数上发散的反例，证明其失效并非参数限制所致。
2026-09-10 math.OC
Preconditioned Hyperbolic Smoothing Modified L-BFGS Algorithms for Finite Minimax Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
该研究提出一种针对有限极小极大问题的负曲率感知L-BFGS方法，通过三种最小割线修正处理负曲率，无需特征分解等操作，可退化为普通L-BFGS，便于变体比较。
2026-09-15 math.OC
Quasi-Newton methods for minimizing a quadratic function subject to uncertainty
研究在梯度误差下最小化二次函数的拟牛顿方法，发现大误差时无记忆方法优于BFGS，基于机会约束的模型精度略高但成本更高。
2025-02-25 math.OC
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning: Part II
在本文的第一部分中，我们提出了一个分散随机拟牛顿法的一般框架，该方法在局部Hessian逆近似具有有界正特征值的假设下线性收敛于最优解。在第二部分中，我们指定了两个完全分散的随机拟牛顿法，阻尼正则化有限记忆DFP（Davidon-Fletcher-Powell）和阻尼有限记忆BFGS（Broyden-Fletcher-Goldfarb-Shanno），在本地构建这样的Hessian逆近似，无需额外的采样或通信。这两种方法都使用一个固定的移动窗口的$M$过去的局部梯度近似和本地决策变量自适应构造正定Hessian逆近似的有界特征值，满足在第一部分的线性收敛的假设。对于所提出的阻尼正则化有限记忆DFP，增加了正则化项以提高性能。对于所提出的阻尼有限内存BFGS，一个两个循环的递归，导致低的存储和计算复杂度。数值实验表明，所提出的拟牛顿法比现有的分散随机一阶算法快得多。
2022-01-19 math.OC
Hessian Initialization Strategies for L-BFGS Solving Non-linear Inverse Problems
L-BFGS是求解大规模反问题的最先进的最优化方法。它占用的内存很小，并实现了超线性收敛。该方法基于初始近似和对当前局部曲率信息建模的更新规则来近似Hessian。初始近似极大地影响搜索方向的缩放和方法的整体收敛性。我们提出了一种新颖，简单，有效的方法来初始化Hessian。通常，目标函数是数据保真度项和正则化项的和。通常，数据保真度的Hessian在计算上是有挑战性的，但正则化器的Hessian很容易计算。我们用一个标量替换数据保真度的Hessian，并保留正则化器的Hessian，以在每次迭代时初始化Hessian近似。标量满足普通和总体最小二乘和几何平均回归意义下的正割方程。我们的新策略不仅导致更快的收敛，但数值解的质量一般优于简单的缩放为基础的战略。具体而言，所提出的计划的基础上，普通最小二乘制定和几何平均回归优于国家的最先进的计划。我们的策略的实施只需要一个标准的L-BFGS代码的小变化。我们的实验上凸二次问题和非凸图像配准问题证实了所提出的方法的有效性。
2021-03-18 cs.NA math.NA math.OC
Quasi-Newton methods on Grassmannians and multilinear approximations of tensors
Linköping University（林雪平大学）；Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学研究所）；Department of Mathematics, University of California, Berkeley（加州大学伯克利分校数学系）
本文针对定义在格拉斯曼流形或其乘积上的目标函数，提出了BFGS和L-BFGS拟牛顿方法，并证明其在局部坐标下与欧氏空间中的BFGS具有相同的最优性，应用于张量多线性秩逼近问题得到快速鲁棒算法。
2010-05-30 cs.NA math.NA math.OC
A Riemannian quasi-Newton algorithm for optimization with Euclidean bounds
AGH University of Krakow（克拉科夫AGH科技大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出一种结合有限记忆quasi-Newton更新和黎曼适应的广义Cauchy点策略的黎曼有限记忆BFGS方法，用于处理欧几里得约束的优化问题，展示了在协方差矩阵估计和神经影像等领域中的高效性。
2026-05-11 cs.MS math.DG math.OC
A Quasi-Newton Approach to Nonsmooth Convex Optimization Problems in Machine Learning
我们将著名的BFGS拟牛顿法及其内存有限的变体LBFGS推广到非光滑凸目标的优化。这是通过将BFGS的三个组成部分推广到次微分来以严格的方式完成的：局部二次模型，下降方向的识别和Wolfe线搜索条件。我们证明了在一定的技术条件下，所得到的subBFGS算法在目标函数值上是全局收敛的。我们将它的记忆限制变体（subLBFGS）应用于具有二元铰链损失的L_2正则化风险最小化问题。为了将我们的算法扩展到多类和多标签设置，我们开发了一个新的，高效的，精确的线搜索算法。我们证明了它的最坏情况下的时间复杂度的界限，并表明我们的线搜索也可以用来扩展最近开发的捆绑方法的多类和多标签设置。我们还将算法的方向发现部分应用于具有逻辑损失的L_1正则化风险最小化问题。在所有这些情况下，我们的方法在许多公开可用的数据集上的表现与专业的最先进的求解器相当或更好。我们的算法的开源实现是免费的。
2010-02-22 math.OC stat.ML
Novel Limited Memory Quasi-Newton Methods Based On Optimal Matrix Approximation
本文利用最优最近矩阵逼近构造新型有限内存拟牛顿信赖域法，通过特征分解存储 Hessian，并在多种测试中以更少迭代和存储优于 L-BFGS 参考方法。
2024-03-05 math.OC
Improving Quasi-Newton Methods via Image and Projection Operators
本文提出统一框架，通过像与投影算子改进拟牛顿方法，在不依赖精确线搜索下实现二次终止，并显著提升DFP、BFGS、PSB、L-BFGS和BGM等方法的性能。
2025-08-13 math.OC
On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning
University of Trieste（的里雅斯特大学）
本研究针对一阶深度学习优化方法的缺陷，分析BFGS与SR1两种随机拟牛顿更新的训练性能，通过多变量实验验证其效率，部分场景下优于最优调参的Adam优化器。
2023-10-04 cs.LG math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题，该函数可能是非光滑和非凸的，受边界约束。我们提出了一个算法，使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略，该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性，我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度，第二个使用迭代校正循环，增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现，并给出了一组标准测试问题的数值结果，以说明我们方法的有效性。
2016-12-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
On stochastic and deterministic quasi-Newton methods for non-Strongly convex optimization: Asymptotic convergence and rate analysis
受大规模优化和机器学习应用的启发，我们考虑求解无约束凸优化问题的随机拟牛顿（SQN）方法。SQN方法的收敛性分析，无论是完全的和有限的记忆变体，要求目标函数是强凸的。然而，这个假设是相当严格的，并不适用于应用程序，如最小化的逻辑斯谛回归损失函数。据我们所知，在没有这种假设的情况下，目前还没有SQN方法的速率声明。此外，在现有的一阶方法解决随机最优化问题，只是凸目标，那些配备了可证明的收敛速度采用平均。然而，这种平均技术对诱导稀疏性有不利影响。（i）针对大规模随机最优化问题，提出了一种迭代正则化随机有限记忆BFGS（IRS-LBFGS）算法，该算法的步长、正则化参数和Hessian逆逼近矩阵都是迭代更新的。我们建立了收敛到原问题的最优解的几乎肯定和平均意义。我们推导出的目标函数的值方面的收敛速度，并表明它是为了$\mathcal{O}\left(k^{-\left(\frac{1}{3}-ε\right)}\right)$，其中$ε$是一个任意的小正标量;（ii）在确定性制度，我们表明，正则化的有限内存BFGS算法显示的顺序$\mathcal{O}\left(\frac{1}{k^{1 -ε'}}\right)$，其中$ε'$是一个任意的小正标量的速度。我们提出了一个大规模的文本分类问题进行数值实验。
2019-10-01 math.OC
