Global Convergence of Online Limited Memory BFGS
University of Pennsylvania(宾夕法尼亚大学)
建立了求解大规模机器学习中随机目标最优化问题的Broyden-Fletcher- Goldfarb-Shanno(BFGS)拟牛顿法的在线(随机)有限记忆版本的整体收敛.样本函数的Hessian特征值的上界足以保证曲率近似矩阵具有有界的行列式和迹线,这反过来又允许以概率1收敛到最优参数。支持向量机与合成数据的数值实验展示减少收敛时间相对于随机梯度下降算法,以及减少存储和计算相对于其他在线拟牛顿法。通过对搜索引擎广告问题的实验评估,证实了这些优点在实际应用中也得到了体现。
2014-09-06 cs.LG math.OC stat.ML
adaQN: An Adaptive Quasi-Newton Algorithm for Training RNNs
Northwestern University(西北大学)
递归神经网络(RNN)是一种功能强大的模型,在几个模式识别问题上具有出色的性能。然而,由于众所周知的“消失/爆炸”梯度问题,RNN的训练是一项计算困难的任务。提出的用于训练RNN的算法要么不利用(或有限)曲率信息并且具有廉价的每次迭代复杂度,要么试图以增加每次迭代成本为代价获得显著的曲率信息。前一组包括对角缩放的一阶方法,如ADAGRAD和ADAM,而后者包括二阶算法,如Hessian-Free Newton和K-FAC。在本文中,我们提出了adaQN,一种用于训练RNN的随机拟牛顿算法。我们的方法保留了低的每次迭代成本,同时允许通过随机L-BFGS更新方案的非对角缩放。该方法采用了一种新的L-BFGS缩放初始化方案,并在存储和保留L-BFGS曲率对是明智的。我们在两个语言建模任务上进行了数值实验,结果表明adaQN与流行的RNN训练算法相比具有竞争力。
2016-02-23 cs.LG math.OC stat.ML
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania(宾夕法尼亚大学)
RES是Broyden-Fletcher-Goldfarb-Shanno(BFGS)拟牛顿法的一种正则化随机形式,用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的,但在高维问题中,近似最优参数所需的迭代次数可能是禁止的。另一方面,二阶方法的应用是不切实际的,因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的,并保留其确定性同行的收敛速度的优势。收敛性结果表明,样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明,减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
Counterexamples for BFGS-type methods under arbitrary strong Wolfe constants
本文针对任意强Wolfe参数构造了BFGS类方法在二维光滑非凸函数上发散的反例,证明其失效并非参数限制所致。
2026-09-10 math.OC
On the Condition Number Upper Bound of the L-BFGS Inverse Hessian Approximation Matrix with a Two-Sided Geometric Envelope Safeguarding Mechanism
Portland State University(波特兰州立大学)
研究在病态或非凸环境中L-BFGS算法逆海森近似条件数爆炸问题,提出双边L-BFGS方法,通过双边几何包络约束条件数,证明其能保持曲率信息等,数值实验验证该方法可提升鲁棒性和收敛行为。
2026-07-08 cs.LG cs.NA math.NA
Hessian Initialization Strategies for L-BFGS Solving Non-linear Inverse Problems
L-BFGS是求解大规模反问题的最先进的最优化方法。它占用的内存很小,并实现了超线性收敛。该方法基于初始近似和对当前局部曲率信息建模的更新规则来近似Hessian。初始近似极大地影响搜索方向的缩放和方法的整体收敛性。我们提出了一种新颖,简单,有效的方法来初始化Hessian。通常,目标函数是数据保真度项和正则化项的和。通常,数据保真度的Hessian在计算上是有挑战性的,但正则化器的Hessian很容易计算。我们用一个标量替换数据保真度的Hessian,并保留正则化器的Hessian,以在每次迭代时初始化Hessian近似。标量满足普通和总体最小二乘和几何平均回归意义下的正割方程。我们的新策略不仅导致更快的收敛,但数值解的质量一般优于简单的缩放为基础的战略。具体而言,所提出的计划的基础上,普通最小二乘制定和几何平均回归优于国家的最先进的计划。我们的策略的实施只需要一个标准的L-BFGS代码的小变化。我们的实验上凸二次问题和非凸图像配准问题证实了所提出的方法的有效性。
2021-03-18 cs.NA math.NA math.OC
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理,合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量,我们消除了计算曲率引导更新时,代理之间的内部通信循环的需要。一个通用的计划,统一的分析过多的计算选择,包括梯度下降,牛顿更新,和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度,以及线性收敛速率时,进一步假设局部函数是强凸的。此外,我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是,我们提出了一个异步实现所提出的算法,它消除了对一个中央时钟的需要,与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Form and Function: Machine Unlearning as a Problem of Misaligned States
Second Street Labs, Detroit, MI, USA(第二街实验室,密歇根州底特律);Department of Statistics, University of Michigan, Ann Arbor, MI, USA(密歇根大学统计系,密歇根州安阿伯)
本文提出将在线L-BFGS的机器去学习问题建模为反事实状态对齐问题,通过引入状态感知度量和反事实 oracle 模型,证明去学习不仅仅是参数修正问题,还需要与可实现的反事实优化器状态对齐。
2026-05-17 cs.LG math.OC
QN Optimization with Hessian Sample
本文探讨了如何有效地将曲率信息产生的SIMD并行前向模式微分(AD)到无约束拟牛顿(QN)最小化的光滑目标函数,$f$。具体地,每当评估梯度时,前向模式AD可以用于生成块海森样本$Y=\nabla^2 f(x)\,S$。块QN算法然后用这些海森样本更新近似逆海森样本$H_k \approx \nabla^2 f(x_k)$。而标准的线搜索为基础的BFGS算法仔细过滤和纠正割线为基础的近似曲率信息,以保持正定近似,我们的算法直接将海森样本更新不确定的逆海森近似过滤。采样方向补充标准QN二维信赖域子问题,生成一个中等规模的子问题,可以利用负曲率。由此产生的二次约束二次规划精确求解的广义本征值算法和步骤先进的标准置信域步骤接受和半径调整。本文的目的是避免串行瓶颈,利用准确的正,负曲率信息,并进行初步评估的选择策略$S$。
2022-01-07 math.OC
Limited-Memory Greedy Quasi-Newton Method with Non-asymptotic Superlinear Convergence Rate
University of Cambridge(剑桥大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);JP Morgan Chase AI Research(摩根大通人工智能研究院)
本文提出有限记忆贪婪BFGS(LG-BFGS)方法,通过位移聚合和基向量选择方案,首次在有限记忆拟牛顿法中实现了非渐近超线性收敛速率,并揭示了收敛速度与内存需求间的明确权衡。
2023-10-18 cs.LG math.OC stat.ML
A Stochastic Quasi-Newton Method for Large-Scale Optimization
University of Colorado(科罗拉多大学);Northwestern University(西北大学);Google Research(谷歌研究院)
如何在随机逼近方法中引入曲率信息是一个具有挑战性的问题。直接应用经典的拟牛顿更新技术进行确定性优化会导致噪声曲率估计,对迭代的鲁棒性产生有害影响。在本文中,我们提出了一个随机拟牛顿法,是有效的,强大的和可扩展的。它采用经典的BFGS更新公式在其有限的内存形式,是基于观察,这是有益的,逐点收集曲率信息,并在定期的间隔,通过(子采样)海森矢量产品。这种技术不同于计算梯度差的经典方法,并且控制曲率估计的质量可能是困难的。我们提出的机器学习中出现的问题的数值结果表明,所提出的方法显示出很大的希望。
2015-02-18 cs.LG math.OC stat.ML
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题,该函数可能是非光滑和非凸的,受边界约束。我们提出了一个算法,使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略,该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性,我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度,第二个使用迭代校正循环,增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现,并给出了一组标准测试问题的数值结果,以说明我们方法的有效性。
2016-12-21 math.OC
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University(俄亥俄州立大学)
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长,而不诉诸线搜索方法设计,以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明,并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对,并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较,对于后一个实验,以及两种情况下的黎曼SVRG,并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes(法国国立应用科学学院);GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique(GERAD与蒙特利尔高等商学院数学与工业工程系);Department of Mathematics, Université de Sherbrooke(舍布鲁克大学数学系)
研究全内存和有限内存方法族求解对称正定线性系统,推导共轭梯度法与Broyden类拟牛顿法的新关系,扩展至LBFGS和DIOM,并推广至非凸无约束优化的信赖域步计算,实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced(加州大学默塞德分校)
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题,提出有限内存对称秩一拟牛顿法(允许不定海森近似)及改进自适应正则化三次方法,在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA