On efficiently computing the eigenvalues of limited-memory quasi-Newton matrices
Wake Forest University（韦克森林大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种高效计算有限记忆拟牛顿矩阵特征值的方法，通过改进的QR分解提升计算效率，并在数值实验中验证了其高精度性能，适用于大规模优化和矩阵条件数计算。
2015-07-11 cs.NA math.NA
Disguised and new Quasi-Newton methods for nonlinear eigenvalue problems
本文提出了一种针对非线性特征值问题的准牛顿方法，分析了不同雅可比矩阵近似对算法性能的影响，并建立了收敛理论。
2017-02-27 cs.NA math.NA
Combining Nonlinear FETI-DP Methods and Quasi-Newton Methods using an SQP Approach
本文研究基于SQP方法结合非线性FETI-DP与拟牛顿方法求解非线性有限元问题，通过拟牛顿近似海森矩阵（初始用精确矩阵并重启加速收敛），并提供了非线性结构力学模型的数值实验验证。
2025-08-15 cs.NA math.NA
Quasi-Newton Approach for an Atmospheric Tomography Problem
Institute for Numerical and Applied Mathematics, University of Göttingen（哥廷根大学应用数学与数值计算研究所）
本文研究了在准牛顿方法中使用已知的平滑总变分正则化方法解决GPS反演问题，通过准牛顿方法求解与一般Tikhonov泛函相关的非约束凸光滑最小化问题，并发现有限记忆BFGS算法结合信任区域能有效获得合理最优解。
2016-04-18 cs.NA math.NA
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
The Newton-Shamanskii method for solving a quadratic matrix equation arising in quasi-birth-death problems
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文提出利用牛顿-沙马恩斯基方法求解二次矩阵方程，证明该方法生成的矩阵序列单调递增并收敛到最小非负解，通过数值实验验证了方法的有效性。
2014-06-04 cs.NA math.NA
Parallel inexact Newton-Krylov and quasi-Newton solvers for nonlinear elasticity
在这项工作中，我们解决不精确的牛顿-克雷洛夫和拟牛顿算法，更具体地说，BFGS方法，非线性弹性方程的解决方案的实施和性能，并比较它们的标准牛顿-克雷洛夫方法。这是通过一个系统的性能分析的求解器相对于问题的大小，数据的大小和处理器的数量几乎不可压缩和不可压缩的力学。我们考虑三个测试案例：Cook膜（静态，几乎不可压缩）、扭转试验（静态，不可压缩）和心脏模型（复杂材料，不定常，几乎不可压缩）。我们的结果表明，拟牛顿法应首选可压缩力学，而不精确的牛顿-克雷洛夫方法应首选不可压缩问题。我们表明，这些索赔也支持的方法的收敛性分析。在任何情况下，所有方法都具有足够的性能，并且比标准的Newton-Krylov方法提供了显着的加速，在最好的情况下，CPU时间减少超过50%。
2022-03-10 cs.MS cs.NA math.NA
An Efficient Quasi-Newton Method with Tensor Product Implementation for Solving Quasi-Linear Elliptic Equations and Systems
针对拟线性椭圆方程与方程组求解效率问题，提出结合线性拉普拉斯与简化非线性项近似雅可比的拟牛顿法，经收敛分析与二维三维数值实验验证，可借助GPU张量积实现提升计算效率，支撑多领域复杂仿真。
2025-03-23 cs.NA math.NA
A general alternating-direction implicit Newton method for solving complex continuous-time algebraic Riccati matrix equation
本文利用牛顿法将连续时间代数Riccati矩阵方程转化为李雅普诺夫方程。然后，我们介绍了一个有效的通用交替方向隐式（GADI）方法来解决李雅普诺夫方程。提出了非精确Newton-GADI方法，有效地节省了计算量。此外，我们还分析了Newton-GADI方法的收敛性。通过分析Newton-GADI法和Newton-ADI法的谱半径，比较了它们的收敛速度。此外，我们给出了一种方法来选择准最优参数。相应的数值试验表明，所提出的算法的有效性。
2022-03-04 cs.NA math.NA
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
A time adaptive multirate Quasi-Newton waveform iteration for coupled problems
本文提出将拟牛顿方法扩展到时间自适应波形迭代中，用于求解通过低维界面耦合的动态问题，并在传热和流固耦合算例上验证了其相对于现有求解器的效率优势。
2025-02-05 cs.NA math.NA
Compact Quasi-Newton preconditioners for SPD linear systems
研究了求解雅可比矩阵对称正定的牛顿方程组的共轭梯度法的预条件。特别是，我们定义了一个序列的预处理器建立的SR1和BFGS低秩更新。我们开发了SR1更新保持预处理器SPD的条件。谱分析的SR 1预处理雅可比矩阵的牛顿迭代进行的改进的特征值分布。一个紧凑的矩阵公式的预条件更新的开发，降低了成本，其应用程序，更适合于并行实现。给出了相应的不精确牛顿法的实施和一些模型问题的数值结果说明了所提出的预条件的效率。
2020-01-04 cs.NA math.NA
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Action constrained quasi-Newton methods
The University of Edinburgh（爱丁堡大学）
本文提出了一种基于动作约束的准牛顿方法，用于高效求解对称线性系统序列，通过维护逆系统矩阵的估计作为预处理程序，实现二次终止并提高鲁棒性。
2014-12-27 cs.NA math.NA math.OC
Quasi-Newton approaches to Interior Point Methods for quadratic problems
University of Edinburgh（爱丁堡大学）；State University of Maringá（马里加拉州立大学）
本文研究了将拟牛顿法应用于一般二次规划问题的内点法，通过数值实验表明该方法能减少矩阵分解次数，适合无矩阵实现。
2018-06-26 cs.NA math.NA math.OC
Nonlinear Schwarz preconditioning for Quasi-Newton methods
本文提出非线性受限加性 Schwarz 预处理策略以加速有限内存拟牛顿方法，讨论左右预处理及割线对构造，并通过数值实验验证其鲁棒性与效率。
2022-11-25 cs.NA math.NA
An $LDL^T$ Trust-Region Quasi-Newton Method
针对无约束极小化，本文提出一种更新 $LDL^T$ 分解的信赖域拟牛顿法，在保持鲁棒性的同时将计算复杂度控制为问题规模的二次增长，并达到与传统线搜索方法相当的性能。
2023-12-11 cs.NA math.NA math.OC
An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values
University of Sheffield（谢菲尔德大学）；Purdue University（普渡大学）；University of Science and Technology of China（中国科学技术大学）；University of Oulu（奥卢大学）；University College London（伦敦大学学院）
解决工程和物理科学中的复杂最优化问题需要重复计算多维函数导数。通常，这需要计算要求高的数值微分，如扰动技术，这最终限制了对时间敏感的应用。特别地，在非线性反问题中，使用需要从雅可比矩阵计算迭代更新的高斯-牛顿方法。计算上更有效的替代方案是拟牛顿法，其中雅可比矩阵的重复计算被近似更新所取代。本文提出了一种高效的数据驱动的拟牛顿法，它适用于非线性反问题。我们通过使用奇异值分解和学习从模型输出到奇异值的映射来计算更新的雅可比矩阵来实现这一点。这使得加速预期的拟牛顿法，而不会积累循环误差，使时间关键的应用程序，并允许灵活地结合先验知识，解决不适定的问题。我们目前的结果与实验数据的电阻抗断层成像的高度非线性逆问题。
2021-03-01 cs.LG cs.NA eess.IV
On nonlinear magnetic field solvers using local Quasi-Newton updates
本文提出用局部拟牛顿更新构造非线性磁场材料行为线性化的迭代求解器，兼具牛顿法快速收敛与定点法无需导数的优势，并证明三种方法全局且与网格无关的收敛性。
2024-09-10 cs.NA math.NA
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
A $J$-Symmetric Quasi-Newton Method for Minimax Problems
最近，极大极小问题在优化和机器学习领域得到了极大的关注。本文提出了一种求解极大极小问题的新的拟牛顿法，我们称之为$J$ -对称拟牛顿法。该方法是利用极小极大问题中目标函数的二阶导数的$J$对称结构得到的。我们表明，Hessian估计（以及其逆）可以更新的秩2操作，它原来的更新规则是一个自然的推广经典的鲍威尔对称Broyden（PSB）方法从最小化问题的极大极小化问题。在理论上，我们证明了我们提出的拟牛顿算法在标准正则性条件下具有局部Q-超线性收敛。此外，我们引入了一个信赖域变体的算法，享有全球R-超线性收敛。最后，我们提出了数值实验，验证我们的理论，并显示我们提出的算法相比，Broyden的方法和三个类的极大极小问题的外梯度方法的有效性。
2023-01-19 cs.NA math.NA math.OC
A new search direction for full-Newton step infeasible interior-point method in linear optimization
本文研究了线性最优化的全牛顿步不可行邻域点法。该方法通过对系统中心方程进行代数等价变换，从而定义了中心路径，并证明了该方法在多项式时间内找到问题的$\varepsilon$-最优解.
2021-02-14 cs.NA math.NA math.OC
Using gradient directions to get global convergence of Newton-type methods
在Barzilai和Borwein [IMA Journal of数值分析，8（1988）]的工作之后，对最速下降（SD）方法重新产生的兴趣促使我们考虑基于SD的全球化策略，该策略适用于任何线搜索法。特别是，我们结合牛顿型方向与缩放SD步骤，有合适的下降方向。用合适的步长缩放SD方向，在理论特征和计算行为方面与类似的全球化方法有显著差异。我们将我们的策略应用于牛顿法和BFGS方法，与为这些方法专门设计的成熟全球化策略的结果相比，计算结果显得很有趣。
2020-06-23 cs.NA math.NA math.OC
Phase field fracture modelling using quasi-Newton methods and a new adaptive step scheme
我们研究了拟牛顿法在促进相场断裂模拟的整体解决方案的收敛的潜力。几个典型的边值问题的解决，跨越准静态断裂，疲劳损伤和动态开裂领域。得到的有限元结果揭示了拟牛顿整体格式的鲁棒性，在稳定和不稳定的开裂条件下都容易达到收敛。此外，由于该解决方案的方法是无条件稳定的，非常显着的计算增益观察到相对于广泛使用的交错解决方案。此外，提出了一种新的自适应时间增量方案，以进一步降低计算成本，同时允许准确地解决材料行为的突然变化，如不稳定的裂纹扩展。计算时间可以减少几个数量级，相应的交错解决方案所需的载荷增量高达3000倍。拟牛顿整体解决方案可以是大规模相场断裂模拟的关键使能器。影响是特别相关的相场疲劳的新兴领域，结果表明，交错周期的周期计算是禁止在中期或高周疲劳。有限元代码可从www.empaneda.com/codes下载。
2019-12-18 cond-mat.mtrl-sci cs.NA math.NA
Randomized Quasi-Gauss--Newton Methods for Solving General Nonlinear Equations
本文提出基于格拉姆矩阵近似的随机拟高斯-牛顿方法，可处理欠定与超定一般非线性方程，欠定情形下局部超线性收敛到最优解，超定情形下无依赖条件数收敛到驻点，优于现有拟牛顿方法。
2026-08-28 cs.NA math.NA math.OC
A quasi-Newton proximal splitting method
LJLL, CNRS-UPMC（巴黎第六大学数学研究所）；GREYC, CNRS-ENSICAEN-Université de Caen（卡昂大学）
本文推导了凸分析中关于特定缩放范数下邻近算子计算的新结果，并利用对偶问题的分段线性特性实现了高效邻近计算，进而提出一种优雅的拟牛顿加速方法，在信号处理、稀疏恢复和机器学习等领域优于现有技术。
2012-06-20 cs.NA math.NA math.OC
Quasi-Newton methods on Grassmannians and multilinear approximations of tensors
Linköping University（林雪平大学）；Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学研究所）；Department of Mathematics, University of California, Berkeley（加州大学伯克利分校数学系）
本文针对定义在格拉斯曼流形或其乘积上的目标函数，提出了BFGS和L-BFGS拟牛顿方法，并证明其在局部坐标下与欧氏空间中的BFGS具有相同的最优性，应用于张量多线性秩逼近问题得到快速鲁棒算法。
2010-05-30 cs.NA math.NA math.OC
Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms
我们开发和分析了一个广泛的家庭的随机/随机化算法的矩阵求逆。我们还开发了专门的变种保持对称性或正定性的迭代。该家族中的所有方法都全局收敛和线性收敛（即，误差以指数方式衰减）。在特殊情况下，我们得到了几个拟牛顿更新的随机块变体，包括坏Broyden（BB），好Broyden（GB），Powell-symmetric-Broyden（PSB），Davidon-Fletcher-Powell（DFP）和Broyden-Fletcher-Goldfarb-Shanno（BFGS）。我们的是这些更新的第一个随机版本，收敛到一个固定矩阵的逆。通过一个对偶的观点，我们揭示了拟牛顿更新和近似逆预处理之间的基本联系。此外，我们开发了一个自适应的随机块BFGS的变体，在那里我们修改的分布的随机性的方法在整个迭代过程中，以实现更快的收敛。通过对不同应用中的几个矩阵进行反演，我们证明了AdaRBFGS与成熟的Newton-Schulz和最小残差方法相比具有很强的竞争力。特别是，在大规模的问题，我们的方法优于标准方法的数量级。在大数据时代到来之际，发展有效的方法来估计超大矩阵的逆是预处理和变尺度最优化方法所急需的工具。
2016-03-23 cs.NA math.NA
