Disguised and new Quasi-Newton methods for nonlinear eigenvalue problems
本文提出了一种针对非线性特征值问题的准牛顿方法，分析了不同雅可比矩阵近似对算法性能的影响，并建立了收敛理论。
2017-02-27 cs.NA math.NA
Combining Nonlinear FETI-DP Methods and Quasi-Newton Methods using an SQP Approach
本文研究基于SQP方法结合非线性FETI-DP与拟牛顿方法求解非线性有限元问题，通过拟牛顿近似海森矩阵（初始用精确矩阵并重启加速收敛），并提供了非线性结构力学模型的数值实验验证。
2025-08-15 cs.NA math.NA
Quasi-Newton Approach for an Atmospheric Tomography Problem
Institute for Numerical and Applied Mathematics, University of Göttingen（哥廷根大学应用数学与数值计算研究所）
本文研究了在准牛顿方法中使用已知的平滑总变分正则化方法解决GPS反演问题，通过准牛顿方法求解与一般Tikhonov泛函相关的非约束凸光滑最小化问题，并发现有限记忆BFGS算法结合信任区域能有效获得合理最优解。
2016-04-18 cs.NA math.NA
A Correctly Rounded Newton Step for the Reciprocal Square Root
平方根的倒数是一种重要的计算，对于这种计算存在许多复杂的算法（例如参见\cite{Moroz,863046,863031}及其参考文献）。一个共同的主题是使用牛顿法来完善估计。在本文中，我们开发了一个正确的四舍五入牛顿步骤，可用于提高一个天真的计算精度（使用类似的方法，在\cite{borges}开发）。该方法依赖于使用融合乘加（FMA），这是广泛适用于各种现代计算机体系结构的硬件。然后，我们介绍了{ \em弱舍入}的概念，并证明我们提出的算法符合这一标准。然后，我们将展示如何利用精确的牛顿步骤来获得哈雷方法补偿，这需要一个额外的FMA和一个额外的乘法。这种方法似乎给正确的四舍五入的实验结果，我们表明，它可以与一个平方根免费的方法来估计倒数平方根得到一个方法，这是非常快的（在计算环境中，一个缓慢的平方根），实验，高度准确。
2021-12-28 cs.NA math.NA
A Preconditioned Riemannian Gauss-Newton Method for Least Squares Inverse Eigenvalue Problems
Zhejiang University of Science and Technology（浙江科技大学）；Xiamen University（厦门大学）；University of Macau（澳门大学）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出了一种Riemannian近似广义牛顿法用于最小二乘反特征值问题，分析了其全局和局部收敛性，并提出预条件共轭梯度法求解Riemannian广义牛顿方程，通过数值实验验证了方法的有效性。
2018-06-17 cs.NA math.NA
The Newton-Shamanskii method for solving a quadratic matrix equation arising in quasi-birth-death problems
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文提出利用牛顿-沙马恩斯基方法求解二次矩阵方程，证明该方法生成的矩阵序列单调递增并收敛到最小非负解，通过数值实验验证了方法的有效性。
2014-06-04 cs.NA math.NA
Comparison of Accuracy and Scalability of Gauss-Newton and Alternating Least Squares for CP Decomposition
交替最小二乘法是CP张量分解中应用最广泛的算法。然而，交替最小二乘可能会表现出缓慢或没有收敛，特别是当需要高精度时。另一种方法是将CP分解视为非线性最小二乘问题，并采用类牛顿方法。直接求解包含近似Hessian的线性系通常是昂贵的。然而，最近的进展表明，使用的线性系的隐式表示，使这些方法与交替最小二乘竞争。我们提供了第一个并行实现的高斯-牛顿法CP分解，迭代求解线性最小二乘问题，在每个高斯-牛顿步骤。特别是，我们利用一个公式，采用张量收缩内的共轭梯度法的隐式矩阵矢量产品。张量收缩的使用使我们能够使用Cyclops库进行分布式内存张量计算，从而使用高级Python实现并行化高斯-牛顿方法。此外，我们提出了一个正则化方案的高斯-牛顿方法，以改善收敛性能，而没有任何额外的费用。我们研究的收敛性的高斯-牛顿方法相对于ALS找到确切的CP分解，以及近似分解的真实世界的张量。我们评估这两种方法的顺序和并行版本的性能，并研究在Stampede 2超级计算机上的并行可扩展性。
2020-06-10 cs.DC cs.NA math.NA
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
An Efficient Quasi-Newton Method with Tensor Product Implementation for Solving Quasi-Linear Elliptic Equations and Systems
针对拟线性椭圆方程与方程组求解效率问题，提出结合线性拉普拉斯与简化非线性项近似雅可比的拟牛顿法，经收敛分析与二维三维数值实验验证，可借助GPU张量积实现提升计算效率，支撑多领域复杂仿真。
2025-03-23 cs.NA math.NA
Parallel inexact Newton-Krylov and quasi-Newton solvers for nonlinear elasticity
在这项工作中，我们解决不精确的牛顿-克雷洛夫和拟牛顿算法，更具体地说，BFGS方法，非线性弹性方程的解决方案的实施和性能，并比较它们的标准牛顿-克雷洛夫方法。这是通过一个系统的性能分析的求解器相对于问题的大小，数据的大小和处理器的数量几乎不可压缩和不可压缩的力学。我们考虑三个测试案例：Cook膜（静态，几乎不可压缩）、扭转试验（静态，不可压缩）和心脏模型（复杂材料，不定常，几乎不可压缩）。我们的结果表明，拟牛顿法应首选可压缩力学，而不精确的牛顿-克雷洛夫方法应首选不可压缩问题。我们表明，这些索赔也支持的方法的收敛性分析。在任何情况下，所有方法都具有足够的性能，并且比标准的Newton-Krylov方法提供了显着的加速，在最好的情况下，CPU时间减少超过50%。
2022-03-10 cs.MS cs.NA math.NA
A time adaptive multirate Quasi-Newton waveform iteration for coupled problems
本文提出将拟牛顿方法扩展到时间自适应波形迭代中，用于求解通过低维界面耦合的动态问题，并在传热和流固耦合算例上验证了其相对于现有求解器的效率优势。
2025-02-05 cs.NA math.NA
Compact Quasi-Newton preconditioners for SPD linear systems
研究了求解雅可比矩阵对称正定的牛顿方程组的共轭梯度法的预条件。特别是，我们定义了一个序列的预处理器建立的SR1和BFGS低秩更新。我们开发了SR1更新保持预处理器SPD的条件。谱分析的SR 1预处理雅可比矩阵的牛顿迭代进行的改进的特征值分布。一个紧凑的矩阵公式的预条件更新的开发，降低了成本，其应用程序，更适合于并行实现。给出了相应的不精确牛顿法的实施和一些模型问题的数值结果说明了所提出的预条件的效率。
2020-01-04 cs.NA math.NA
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Quasi-Newton Quasi-Monte Carlo for variational Bayes
Stanford University（斯坦福大学）
许多机器学习问题优化的目标必须用噪声来衡量。主要的方法是一阶随机梯度下降，在每一步使用一个或多个蒙特卡罗（MC）样本。在某些情况下，病态使二阶方法（如L-BFGS）更有效。我们研究使用随机准蒙特卡罗（RQMC）抽样这样的问题。当MC采样的均方根误差（RMSE）为$O(n^{-1/2})$时，则RQMC的RMSE为$o(n^{-1/2})$，在有利的设置中，该RMSE可以接近$O(n^{-3/2})$。我们证明，改进的采样精度直接转化为改进的优化。在我们对变分贝叶斯的实证研究中，使用随机L-BFGS的RQMC大大加快了优化速度，有时会找到比MC更好的参数值。
2021-04-21 cs.LG cs.NA math.NA
Inexact Gauss-Newton methods with matrix approximation by sampling for nonlinear least-squares and systems
本研究开发并分析了用于非线性最小二乘与方程组的随机不精确Gauss-Newton方法，通过矩阵采样构建随机模型，推导了最坏情况期望迭代次数以指导采样策略，并给出了数值验证结果。
2024-12-08 cs.NA math.NA math.OC
Nonlinear Schwarz preconditioning for Quasi-Newton methods
本文提出非线性受限加性 Schwarz 预处理策略以加速有限内存拟牛顿方法，讨论左右预处理及割线对构造，并通过数值实验验证其鲁棒性与效率。
2022-11-25 cs.NA math.NA
On nonlinear magnetic field solvers using local Quasi-Newton updates
本文提出用局部拟牛顿更新构造非线性磁场材料行为线性化的迭代求解器，兼具牛顿法快速收敛与定点法无需导数的优势，并证明三种方法全局且与网格无关的收敛性。
2024-09-10 cs.NA math.NA
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Action constrained quasi-Newton methods
The University of Edinburgh（爱丁堡大学）
本文提出了一种基于动作约束的准牛顿方法，用于高效求解对称线性系统序列，通过维护逆系统矩阵的估计作为预处理程序，实现二次终止并提高鲁棒性。
2014-12-27 cs.NA math.NA math.OC
Quasi-Newton approaches to Interior Point Methods for quadratic problems
University of Edinburgh（爱丁堡大学）；State University of Maringá（马里加拉州立大学）
本文研究了将拟牛顿法应用于一般二次规划问题的内点法，通过数值实验表明该方法能减少矩阵分解次数，适合无矩阵实现。
2018-06-26 cs.NA math.NA math.OC
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
A $J$-Symmetric Quasi-Newton Method for Minimax Problems
最近，极大极小问题在优化和机器学习领域得到了极大的关注。本文提出了一种求解极大极小问题的新的拟牛顿法，我们称之为$J$ -对称拟牛顿法。该方法是利用极小极大问题中目标函数的二阶导数的$J$对称结构得到的。我们表明，Hessian估计（以及其逆）可以更新的秩2操作，它原来的更新规则是一个自然的推广经典的鲍威尔对称Broyden（PSB）方法从最小化问题的极大极小化问题。在理论上，我们证明了我们提出的拟牛顿算法在标准正则性条件下具有局部Q-超线性收敛。此外，我们引入了一个信赖域变体的算法，享有全球R-超线性收敛。最后，我们提出了数值实验，验证我们的理论，并显示我们提出的算法相比，Broyden的方法和三个类的极大极小问题的外梯度方法的有效性。
2023-01-19 cs.NA math.NA math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
An $LDL^T$ Trust-Region Quasi-Newton Method
针对无约束极小化，本文提出一种更新 $LDL^T$ 分解的信赖域拟牛顿法，在保持鲁棒性的同时将计算复杂度控制为问题规模的二次增长，并达到与传统线搜索方法相当的性能。
2023-12-11 cs.NA math.NA math.OC
Cluster Gauss-Newton method for finding multiple approximate minimisers of nonlinear least squares problems with applications to parameter estimation of pharmacokinetic models
数学模型的参数估计问题通常可以表述为非线性最小二乘问题。典型地，这些问题用迭代法数值求解。用这些迭代法得到的局部极小值通常取决于初始条件的选择。因此，估计的参数和随后的分析使用它取决于选择的初始的参数。一种减少由于选择初始迭代而导致的分析偏差的方法是从多个初始迭代重复算法（即使用多起点方法）。然而，该过程可能是计算密集型的，并且在实践中并不总是使用。为了克服这个问题，我们提出了集群高斯-牛顿（CGN）方法，一个有效的算法，找到多个近似最小的非线性最小二乘问题。CGN从多个初始迭代中同时求解非线性最小二乘问题。然后，CGN迭代地改进这些初始迭代的解决方案，类似于高斯-牛顿方法。然而，它使用全局线性逼近而不是雅可比矩阵。全局线性逼近在所有迭代中共同计算以最小化计算成本。我们使用药物开发中使用的基于生理学的药代动力学（PBPK）模型来证明其用途，并表明与标准Levenberg-Marquardt方法以及最先进的多起点和无衍生物方法相比，CGN在计算上更有效，对局部最小值更稳健。
2020-04-06 cs.NA math.NA
Optimal finite element error estimates and Newton convergence for a quasilinear elliptic problem with mixed boundary conditions
University of Bucharest（布加勒斯特大学）；“Gheorghe Mihoc – Caius Iacob” Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院格奥尔基·米霍克-凯乌斯·雅各布数学统计与应用数学研究所）
研究具有混合边界条件的拟线性椭圆热传导问题，用牛顿法求解伽辽金离散化产生的非线性代数系统，结合混合边界椭圆正则性与对偶论证，证明离散解满足最优收敛速率，数值实验证实收敛速率及准则可行性。
2026-07-13 cs.NA math.NA
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Phase field fracture modelling using quasi-Newton methods and a new adaptive step scheme
我们研究了拟牛顿法在促进相场断裂模拟的整体解决方案的收敛的潜力。几个典型的边值问题的解决，跨越准静态断裂，疲劳损伤和动态开裂领域。得到的有限元结果揭示了拟牛顿整体格式的鲁棒性，在稳定和不稳定的开裂条件下都容易达到收敛。此外，由于该解决方案的方法是无条件稳定的，非常显着的计算增益观察到相对于广泛使用的交错解决方案。此外，提出了一种新的自适应时间增量方案，以进一步降低计算成本，同时允许准确地解决材料行为的突然变化，如不稳定的裂纹扩展。计算时间可以减少几个数量级，相应的交错解决方案所需的载荷增量高达3000倍。拟牛顿整体解决方案可以是大规模相场断裂模拟的关键使能器。影响是特别相关的相场疲劳的新兴领域，结果表明，交错周期的周期计算是禁止在中期或高周疲劳。有限元代码可从www.empaneda.com/codes下载。
2019-12-18 cond-mat.mtrl-sci cs.NA math.NA
Randomized Quasi-Gauss--Newton Methods for Solving General Nonlinear Equations
本文提出基于格拉姆矩阵近似的随机拟高斯-牛顿方法，可处理欠定与超定一般非线性方程，欠定情形下局部超线性收敛到最优解，超定情形下无依赖条件数收敛到驻点，优于现有拟牛顿方法。
2026-08-28 cs.NA math.NA math.OC
A quasi-Newton proximal splitting method
LJLL, CNRS-UPMC（巴黎第六大学数学研究所）；GREYC, CNRS-ENSICAEN-Université de Caen（卡昂大学）
本文推导了凸分析中关于特定缩放范数下邻近算子计算的新结果，并利用对偶问题的分段线性特性实现了高效邻近计算，进而提出一种优雅的拟牛顿加速方法，在信号处理、稀疏恢复和机器学习等领域优于现有技术。
2012-06-20 cs.NA math.NA math.OC
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Quasi-Newton methods on Grassmannians and multilinear approximations of tensors
Linköping University（林雪平大学）；Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学研究所）；Department of Mathematics, University of California, Berkeley（加州大学伯克利分校数学系）
本文针对定义在格拉斯曼流形或其乘积上的目标函数，提出了BFGS和L-BFGS拟牛顿方法，并证明其在局部坐标下与欧氏空间中的BFGS具有相同的最优性，应用于张量多线性秩逼近问题得到快速鲁棒算法。
2010-05-30 cs.NA math.NA math.OC
A square root algorithm faster than Newton's method for multiprecision numbers, using floating-point arithmetic
本文优化 Bombelli 整数平方根算法，用浮点运算生成逐位初始猜测，并通过 Java 实验证明其快于标准库中的 Newton 法。
2024-06-11 cs.DS cs.MS cs.NA
A Scale-Shape Dual Newton Method for Entropic Least Squares
Harvard University（哈佛大学）；University of Washington（华盛顿大学）；University of British Columbia（不列颠哥伦比亚大学）；McGill University（麦吉尔大学）
本文提出一种改进的牛顿方法，用于熵正则化最小二乘问题，具有全局线性收敛性和局部超线性-二次收敛性，并能避免经典对偶求解器的精度溢出问题。
2026-04-29 cs.NA math.NA math.OC
An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values
University of Sheffield（谢菲尔德大学）；Purdue University（普渡大学）；University of Science and Technology of China（中国科学技术大学）；University of Oulu（奥卢大学）；University College London（伦敦大学学院）
解决工程和物理科学中的复杂最优化问题需要重复计算多维函数导数。通常，这需要计算要求高的数值微分，如扰动技术，这最终限制了对时间敏感的应用。特别地，在非线性反问题中，使用需要从雅可比矩阵计算迭代更新的高斯-牛顿方法。计算上更有效的替代方案是拟牛顿法，其中雅可比矩阵的重复计算被近似更新所取代。本文提出了一种高效的数据驱动的拟牛顿法，它适用于非线性反问题。我们通过使用奇异值分解和学习从模型输出到奇异值的映射来计算更新的雅可比矩阵来实现这一点。这使得加速预期的拟牛顿法，而不会积累循环误差，使时间关键的应用程序，并允许灵活地结合先验知识，解决不适定的问题。我们目前的结果与实验数据的电阻抗断层成像的高度非线性逆问题。
2021-03-01 cs.LG cs.NA eess.IV
