Newton-Type Methods For Simultaneous Matrix Diagonalization
本文提出一种牛顿型方法,数值求解几个可对角化矩阵的特征值问题,这些矩阵是两两可交换的。一个经典的结果指出,这些矩阵是同时对角化。从一个合适的方程组与这个问题,我们构造一个序列,二次收敛的解决方案。这种构造不像经典牛顿法那样基于线性系的分辨率。此外,我们还对这种构造进行了理论分析,并给出了一个平方收敛的条件。我们还提出了数值实验,这说明了理论结果。
2022-11-04 cs.NA math.NA
A cost-efficient variant of the incremental Newton iteration for the matrix $p$th root
Nagoya University(名古屋大学)
本文提出了一种计算矩阵p次根的增量牛顿迭代的高效变体,该方法在p不超过100时,计算成本为O(n³ log p)次浮点运算,相较于传统的O(n³p)次浮点运算具有更高的效率。
2016-12-28 cs.NA math.NA
Matrix-Free Geometric Multigrid Preconditioning Of Combined Newton-GMRES For Solving Phase-Field Fracture With Local Mesh Refinement
本文研究准静态相场断裂问题的无矩阵求解,采用准整体式表述及原始-对偶活动集方法施加不可逆性约束,通过线搜索辅助的 Newton 方法求解非线性问题,并利用结合局部网格细化的无矩阵几何多重网格预处理 GMRES 求解线性系统,数值测试验证了求解器的有效性。
2024-08-26 cs.NA math.NA
A generalization of the Newton-based matrix splitting iteration method for generalized absolute value equations
本文推广牛顿型矩阵分裂迭代法求解广义绝对值方程,在温和条件下保证收敛到唯一解,并给出更弱的收敛条件,数值实验验证了有效性。
2023-09-18 cs.NA math.NA math.OC
Fast Approximation of the Gauss-Newton Hessian Matrix for the Multilayer Perceptron
我们介绍了一种快速算法的全连接前馈神经网络的高斯-牛顿海森(GNH)矩阵的条目式评估。该算法有一个预计算步骤和一个采样步骤。虽然通常需要$O(Nn)$工作来计算具有$N$参数和$n$数据点的神经网络的GNH矩阵中的条目(和整个列),但我们的快速采样算法将成本降低到$O(n+d/ε^2)$工作,其中$d$是网络的输出维度,$ε$是规定的精度(独立于$N$)。我们的算法的一个应用是构造层次矩阵(H矩阵)近似的GNH矩阵求解线性系统和特征值问题。它通常需要$O(N^2)$存储器和$O(N^3)$工作来分别存储和分解GNH矩阵。H矩阵近似只需要$O(N r_o)$内存占用和$O(N r_o^2)$工作被因式分解,其中$r_o \ll N$是GNH矩阵中非对角块的最大秩。我们展示了我们的快速算法和H-矩阵近似分类和自动编码器神经网络的性能。
2020-11-14 cs.NA math.NA
A Basis-preserving Algorithm for Computing the Bezout Matrix of Newton Polynomials
本文提出一种保基算法,直接在 Newton 基下计算 Bezout 矩阵,避免了向单项式基的转换,显著降低了计算成本与数值不稳定性,并成功应用于构造 confederate resultant 矩阵。
2024-04-28 cs.NA cs.SC math.NA
Pseudo-Newton method for nonlinear equations
本文提出伪牛顿法,利用伪雅可比矩阵避免计算雅可比矩阵及其逆,适用于任何非线性方程组,以求解非线性方程。
1999-06-09 cs.NA math.NA
Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms
我们开发和分析了一个广泛的家庭的随机/随机化算法的矩阵求逆。我们还开发了专门的变种保持对称性或正定性的迭代。该家族中的所有方法都全局收敛和线性收敛(即,误差以指数方式衰减)。在特殊情况下,我们得到了几个拟牛顿更新的随机块变体,包括坏Broyden(BB),好Broyden(GB),Powell-symmetric-Broyden(PSB),Davidon-Fletcher-Powell(DFP)和Broyden-Fletcher-Goldfarb-Shanno(BFGS)。我们的是这些更新的第一个随机版本,收敛到一个固定矩阵的逆。通过一个对偶的观点,我们揭示了拟牛顿更新和近似逆预处理之间的基本联系。此外,我们开发了一个自适应的随机块BFGS的变体,在那里我们修改的分布的随机性的方法在整个迭代过程中,以实现更快的收敛。通过对不同应用中的几个矩阵进行反演,我们证明了AdaRBFGS与成熟的Newton-Schulz和最小残差方法相比具有很强的竞争力。特别是,在大规模的问题,我们的方法优于标准方法的数量级。在大数据时代到来之际,发展有效的方法来估计超大矩阵的逆是预处理和变尺度最优化方法所急需的工具。
2016-03-23 cs.NA math.NA
An inexact framework of the Newton-based matrix splitting iterative method for the generalized absolute value equation
针对广义绝对值方程求解问题,本文提出基于Newton的矩阵分裂迭代法的非精确框架INMS,证明其全局线性收敛性,数值实验验证了该方法的优越性。
2022-02-14 cs.NA math.NA math.OC
Two Iterative algorithms for the matrix sign function based on the adaptive filtering technology
本文将滤波算法分别与牛顿法和牛顿-舒尔茨法相结合,提出了两种计算大型稀疏矩阵符号函数的新算法。通过对迭代过程中误差扩散的理论分析,设计了一种自适应滤波阈值,可以保证滤波对迭代过程和计算结果的影响很小。数值实验与我们的理论分析一致,表明我们的方法的计算效率远优于牛顿法和牛顿-舒尔茨法,计算误差与两种方法在同一数量级。
2022-10-07 cs.NA math.NA
A Riemannian Inexact Newton-CG Method for Nonnegative Inverse Eigenvalue Problems: Nonsymmetric Case
Hangzhou Dianzi University(杭州电子科技大学);Xiamen University(厦门大学);University of Macau(澳门大学)
本文提出一种非负逆特征值问题的黎曼近似牛顿-共轭梯度方法,用于求解非对称情况下的非负矩阵,其谱为给定的自共轭复数集。
2017-06-12 cs.NA math.NA
Hierarchical Muon: Tiled Newton-Schulz Updates for Efficient Muon Optimization
Department of Computer Science and Engineering, University of Minnesota(计算机科学与工程系,明尼苏达大学);Department of Mathematics, Emory University(数学系,埃默里大学)
提出HiMuon,通过将动量梯度矩阵分块并独立应用Newton-Schulz映射,降低计算复杂度至O(HW T K),在保持训练行为接近全矩阵Muon的同时提升优化器步效率。
2026-06-26 cs.LG cs.NA math.NA
Inexact Gauss-Newton methods with matrix approximation by sampling for nonlinear least-squares and systems
本研究开发并分析了用于非线性最小二乘与方程组的随机不精确Gauss-Newton方法,通过矩阵采样构建随机模型,推导了最坏情况期望迭代次数以指导采样策略,并给出了数值验证结果。
2024-12-08 cs.NA math.NA math.OC
A Shape-Newton Method for Free-boundary Problems Subject to The Bernoulli Boundary Condition
本文提出一种求解受Bernoulli边界条件约束的自由边界问题的Shape-Newton方法,通过在弱形式中采用形状导数迭代更新自由表面位置与势,并经淹没三角形障碍物绕流实验验证了其有效性。
2024-09-21 cs.NA math.NA
A Symmetric Rank-one Quasi Newton Method for Non-negative Matrix Factorization
University of Electronic Science and Technology of China(电子科技大学);Southwest Jiaotong University(西南交通大学)
非负矩阵分解(NMF)是一种降维方法,在图像处理、文本压缩、信号处理等领域有着广泛的应用。该方法主要基于有效集和拟牛顿型算法,利用对称秩一和负曲率方向技术逼近黑塞矩阵。我们的方法改进了[Pattern Recognition,45(2012)3557-3565; SIAM J. Sci.计算:33(6)(2011)3261-3281; Neural Computation,19(10)(2007)2756-2779等]。此外,目标函数比许多其他NMF方法下降得更快。此外,在合成数据、图像处理和文本聚类等方面进行了数值实验。通过与其他六种非负矩阵逼近方法的比较,我们的实验证实了我们的分析。
2013-05-24 cs.LG cs.NA math.NA
The Diagonalized Newton Algorithm for Nonnegative Matrix Factorization
University of Leuven(鲁汶大学)
针对非负矩阵分解问题,提出一种对角化牛顿算法(DNA),在保持实现简单性的同时加速收敛,适用于高秩问题。
2013-03-18 cs.LG cs.NA math.NA
Online Covariance Matrix Estimation in Sketched Newton Methods
Department of Statistics, The University of Chicago(芝加哥大学统计系);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学部);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程系)
本文研究了一种在线随机化牛顿方法,通过近似牛顿步消除二次方法的计算瓶颈,并提出了一种完全在线的协方差矩阵估计器,无需矩阵分解,适用于回归问题和基准问题。
2026-04-11 cs.LG cs.NA math.NA
Computation of a function of a matrix with close eigenvalues by means of the Newton interpolating polynomial
提出一种改进的矩阵解析函数计算算法,通过特殊方式近似计算 Newton 插值多项式的均差,适用于特征值成簇且相近的矩阵,并避免重排 Schur 形和求解 Sylvester 方程。
2014-02-17 cs.NA math.CA math.DS
Stepsize control for Newton's method in the presence of singularities
Technische Universität München(慕尼黑工业大学)
本文研究了牛顿法在存在奇异性的Jacobian矩阵时的步长控制问题,提出利用Deuflhard和Steinhoff的步长控制方法快速检测并收敛至奇异点。
2013-07-31 cs.NA math.NA
efficient matrix-free gauss-newton traveltime tomography on full-metric deformed grids
State Key Laboratory of Marine Geology, Tongji University(同济大学海洋地质国家重点实验室);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);Earthquake Research Institute, The University of Tokyo(东京大学地震研究所)
针对变形网格上的全度量无矩阵高斯-牛顿走时层析成像,提出利用有向图与强连通分量重构冻结传输,实现块三角分解复用,大幅降低内迭代成本,加速反演。
2026-09-15 cs.NA math.NA
Convergence Properties of Newton's Method for Globally Optimal Free Flight Trajectory Optimization
本文研究牛顿法在自由飞行轨迹优化中的收敛性质,通过数值实验证明实际收敛半径远大于理论最坏情况界,并提出一种增强收敛性的区域分解方法来进一步改进算法。
2023-07-06 cs.NA math.NA math.OC
A Multigrid Preconditioner for Jacobian-free Newton-Krylov Methods
在这项工作中,我们提出了一个多重网格预处理雅可比自由牛顿克雷洛夫(JFNK)方法。我们的多重网格方法不需要知识的雅可比矩阵在任何级别的多重网格层次结构。由于它是常见的标准多重网格方法,所提出的方法还依赖于三个构建块:传输操作符,平滑器,和一个粗略的水平求解器。除了约束和延拓算子外,我们还使用了一个投影算子来将当前的牛顿迭代法转换到一个更粗糙的层次。采用三层切比雪夫半迭代法作为平滑器,因为它具有良好的平滑特性,并且不需要雅可比矩阵的表示。我们取代了直接求解器的粗层次上的矩阵自由Krylov子空间方法,从而产生一个真正的雅可比自由多重网格预处理。我们将详细讨论我们的多重网格预处理器的所有构建模块,并使用几个数值例子来证明所提出的方法的鲁棒性和效率。
2022-10-31 cs.NA math.NA
Comments on finite termination of the generalized Newton method for absolute value equations
本文研究绝对值方程的广义牛顿法,证明其在$\ ho(|A^{-1}|)<1/3$时收敛,并分析$A-I$为非奇异或不可约奇异$M$矩阵时的有限终止条件。
2024-01-22 cs.NA math.NA
Accelerating Newton-Schulz Iteration for Orthogonalization via Chebyshev-type Polynomials
HSE University(高等经济大学)
本文提出切比雪夫优化的牛顿-施尔茨迭代方法,通过优化系数提升正交化效率,应用于Muon优化器和Stiefel流形上的Riemannian优化。
2026-02-24 cs.NA math.NA
A Newton multigrid method for steady-state shallow water equations with topography and dry areas
Peking University(北京大学)
本文提出一种用于稳态浅水方程的牛顿多网格方法,通过牛顿法和几何多网格方法求解非线性系统,有效处理湿干过渡问题,通过数值实验验证了方法的效率和平衡性。
2016-08-24 cs.NA math.NA
A Jacobian-free Newton-Krylov method for cell-centred finite volume solid mechanics
University College Dublin(都柏林大学);University of Zagreb(萨格勒布大学)
本文提出了一种无雅可比牛顿-克雷洛夫方法,用于提升有限体积固体力学模拟的效率,尤其在现有分离框架中表现优异。
2026-01-20 cs.NA math.NA
A Non-Iterative Transformation Method for Newton's Free Boundary Problem
University of Messina(墨西拿大学)
本文提出一种非迭代初始值方法,用于求解牛顿最优鼻锥自由边界问题,通过缩放群点变换的不变性性质,得出自由边界与鼻锥半径和高度的函数关系,且方法速度快且无需预计算。
2013-11-12 cs.NA math.NA
The Method of Gauss-Newton to Compute Power Series Solutions of Polynomial Homotopies
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文探讨将高斯-牛顿方法从复浮点数算术扩展到具有复浮点数系数的截断幂级数域,通过线性化构建线性系统,并利用代数簇特性判断矩阵级数的正则性,通过块三角系统求解Hermite插值问题,展示在奇异点处使用热带代数几何方法计算Puiseux级数的应用。
2017-10-26 cs.MS cs.NA cs.SC
Riemannian Inexact Newton Method for Structured Inverse Eigenvalue and Singular Value Problems
National Formosa University(国立虎尾科技大学);National Cheng Kung University(国立成功大学);University of Macau(澳门大学)
本文提出了一种结合微分几何和不精确牛顿方法的Riemannian不精确牛顿方法,用于解决结构逆特征值和奇异值问题,并展示了该方法在全局和二次收敛性以及数值鲁棒性和精度方面的表现。
2018-10-16 cs.NA math.NA
Global monotone convergence of Newton-like iteration for a nonlinear eigen-problem
研究了非线性特征值问题$ Ax+F(x)=λx$,其中$A$是$n\times n$不可约Stieltjes矩阵.在一定条件下,该问题有唯一正解。我们表明,从$A$的正特征向量的倍数开始,这个问题的牛顿迭代单调收敛。数值结果表明了该方法的有效性。
2022-01-09 cs.NA math.FA math.NA
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science(魏茨曼科学研究所)
RGNMR是一种具有理论保证的鲁棒矩阵补全方法,通过高斯-牛顿线性化和异常值移除技术,有效解决低秩矩阵补全问题,尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Halley's Method for Rectangular Matrix Variables and the Matrix Schwarzian Derivative
Nagoya Mathematical and Information Science Research(名古屋数学与信息科学研究)
本文通过信息几何构造矩阵Schwarzian导数,将Halley方法推广至矩形矩阵变量,证明无自伴假设下的局部三次收敛,并用无矩阵算法和Oja型系统案例验证理论,揭示特征值间隙与病态性对收敛的影响。
2026-09-09 cs.NA math.NA
Jacobian-Free Newton-Krylov with a globalization method for solving groundwater flow models of multi-layer aquifer systems
本研究提出带全局化格式的无雅可比牛顿-克雷洛夫(JFNK)方法求解多层含水层地下水流非线性方程组,经多算例验证有效,已集成至IWFM模型,并在C2VSim等实际模型中检验了其适应性。
2025-07-30 cs.NA math.NA
The complex-step Newton method and its convergence
本文研究用复步导数近似 Jacobian 的改进 Newton 方法,证明不同近似方式下的线性至二次收敛特性,并通过数值实验及微分方程非线性系统中的 JFNK 实现验证其稳健性。
2024-10-02 cs.NA math.NA
Quasi-Newton approaches to Interior Point Methods for quadratic problems
University of Edinburgh(爱丁堡大学);State University of Maringá(马里加拉州立大学)
本文研究了将拟牛顿法应用于一般二次规划问题的内点法,通过数值实验表明该方法能减少矩阵分解次数,适合无矩阵实现。
2018-06-26 cs.NA math.NA math.OC
IFNSO: Iteration-Free Newton-Schulz Orthogonalization
School of Intelligent Systems Engineering(智能系统工程学院);Faculty of Applied Sciences(应用科学学院);School of Astronautics(航天学院)
本文提出IFNSO方法,通过无迭代框架提升正交化效率,优化系数确保计算效率与收敛稳定性,实验验证其优越性。
2026-03-20 cs.AI cs.LG cs.NA
An extended Gauss-Newton method for full waveform inversion
本文提出扩展高斯-牛顿方法,将标准GN系统重构为矩阵方程并放宽对角约束,以低计算代价增强全波形反演对初始模型和低频缺失的鲁棒性。
2024-02-22 cs.NA math.NA math.OC
A geometric Newton method for Oja's vector field
K.U.Leuven(鲁汶大学)
针对Oja向量场的矩阵方程零点非孤立问题,利用微分几何技术消除正交群对称性,提出几何牛顿算法以有效求解零点。
2008-04-07 cs.NA math.NA
Compact Quasi-Newton preconditioners for SPD linear systems
研究了求解雅可比矩阵对称正定的牛顿方程组的共轭梯度法的预条件。特别是,我们定义了一个序列的预处理器建立的SR1和BFGS低秩更新。我们开发了SR1更新保持预处理器SPD的条件。谱分析的SR 1预处理雅可比矩阵的牛顿迭代进行的改进的特征值分布。一个紧凑的矩阵公式的预条件更新的开发,降低了成本,其应用程序,更适合于并行实现。给出了相应的不精确牛顿法的实施和一些模型问题的数值结果说明了所提出的预条件的效率。
2020-01-04 cs.NA math.NA
A New Multipoint Symmetric Secant Method with a Dense Initial Matrix
在大规模优化中,当形成或存储黑塞矩阵的成本过高时,通常使用拟牛顿法代替牛顿法,因为它们只需要一阶信息来近似真实的Hessian矩阵。多点对称割线法(MSS)可以被认为是拟牛顿法的推广,因为它们试图对Hessian的近似施加额外的要求。在给定初始Hessian逼近的情况下,MSS方法通过秩2更新生成一系列可能不定矩阵,从而求解非凸无约束最优化问题。由于实际原因,到目前为止,初始化一直是单位矩阵的常数倍。在本文中,我们提出了一个新的有限内存MSS方法的大规模非凸优化,允许密集的初始化。CUTEst测试问题的数值结果表明,MSS方法使用密集初始化优于标准初始化。数值结果还表明,这种方法是竞争的基本L-SR 1信赖域方法和L-PSB方法。
2022-08-09 cs.NA math.NA math.OC
A Newton-Like Algorithm for Likelihood Maximization: The Robust-Variance Scoring Algorithm
提出稳健方差评分(RVS)算法,用得分方差估计替代牛顿-拉夫森算法中的海森矩阵,减少计算量,并基于近似误差与统计误差之比设计收敛准则,模拟表明RVS比Marquardt算法更快且覆盖率满意。
2006-12-26 cs.NA math.NA math.ST
Generalized continuation Newton methods and the trust-region updating strategy for the underdetermined system
本文研究非线性方程组欠定组的广义连续牛顿法和信赖域更新策略。此外,为了提高其计算效率,当当前雅可比矩阵性能良好时,新方法不更新雅可比矩阵。数值计算结果表明,该方法比传统的最优化方法如Levenberg-Marquardt方法(置信域方法的一种变体,MATLAB R2020 a环境中的内置子程序fsolve.m)具有更好的鲁棒性和更快的计算速度。新方法的计算时间约为fsolve的1/8 ~ 1/50。在一些标准假设下,证明了新方法的整体收敛和局部超线性收敛性。
2021-05-25 cs.NA math.DS math.NA
Low Rank Saddle Free Newton: A Scalable Method for Stochastic Nonconvex Optimization
Oden Institute for Computational Engineering & Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所);Department of Geological Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校地质科学系)
在现代深度学习中,由于大数据集以及泛化特性,高度子采样的随机逼近(SA)方法优于样本平均逼近(SAA)方法。此外,由于形成和分解海森的感知成本,二阶方法不用于这些问题。在这项工作中,我们激励牛顿方法的SA制度的扩展,并主张使用可扩展的低秩无鞍牛顿(LRSFN)方法,这避免了形成有利于作出低秩近似的海森。此外,LRSFN可以促进从不确定区域的快速逃逸,从而得到更好的优化解决方案。在SA设置中,迭代更新由随机噪声主导,并且方法的稳定性是关键。我们介绍了一个连续时间稳定性分析框架,并使用它来证明牛顿方法的随机误差可以大大放大病态海森。LRSFN方法通过Levenberg-Marquardt阻尼减轻了这种稳定性问题。然而,一般来说,分析表明,具有随机Hessian和梯度信息的二阶方法可能需要采取小步骤,这与确定性问题不同。数值结果表明,LRSFN可以避开其他方法存在问题的不确定区域;即使在限制步长的条件下,LRSFN也可以在大规模深度学习任务中在等效计算工作的泛化能力方面优于流行的一阶方法。
2021-08-24 cs.LG cs.NA math.NA