Benchmarking results for the Newton-Anderson method
本文主要给出Anderson加速牛顿法在一组基准问题上的数值结果。结果证明了退化和非退化问题解的超线性收敛。对非退化问题的收敛性也从理论上得到了证明。对于退化问题,那些雅可比矩阵是奇异的解决方案,收敛域进行了研究。可以观察到,在这种情况下,牛顿-安德森有一个类似于牛顿的收敛域,但如果问题稍微扰动,它可能会被吸引到一个不同于牛顿的解。
2019-11-13 cs.NA math.NA
Semilocal Convergence Analysis for Two-Step Newton Method under Generalized Lipschitz Conditions in Banach Spaces
Minnan Normal University(闽南师范大学)
本文研究了在Banach空间中求解非线性算子方程的两步牛顿法的半局部收敛性问题,在假设算子的一阶导数满足广义Lipschitz条件的情况下,提出了新的两步牛顿法半局部收敛性分析方法,通过额外条件获得Q三次收敛性,并基于Kantorovich、Smale和Nesterov-Nemirovskii类型的前提条件,得到了三个重要的空间特例收敛结果。该收敛性结果应用于非对称代数Riccati方程的最小正解近似,该方程来源于传输理论。
2018-10-30 cs.NA math.NA
A Two-Point Newton Method suitable for non-convergent Cases and with Super-Quadratic Convergence
University of Swaziland(斯威士兰大学)
提出一种仅基于牛顿法的迭代公式,在传统牛顿法可能失效的情形下仍能收敛,且收敛阶为2.414,每步仅需两次函数求值。
2012-10-28 cs.NA math.NA
A convergence analysis of the iteratively regularized Gauss-Newton method under Lipschitz condition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文在Lipschitz条件下证明了迭代正则化高斯-牛顿法结合后验停止规则是阶最优的正则化方法。
2008-03-16 cs.NA math.NA
Global monotone convergence of Newton-like iteration for a nonlinear eigen-problem
研究了非线性特征值问题$ Ax+F(x)=λx$,其中$A$是$n\times n$不可约Stieltjes矩阵.在一定条件下,该问题有唯一正解。我们表明,从$A$的正特征向量的倍数开始,这个问题的牛顿迭代单调收敛。数值结果表明了该方法的有效性。
2022-01-09 cs.NA math.FA math.NA
Local convergence analysis of inexact Newton-like methods under majorant condition
IME/UFG(联邦戈亚斯大学数学与统计研究所)
提出在主导条件下求解非线性方程的不精确牛顿类方法的局部收敛性分析,估计收敛半径并建立主导函数与非线性算子之间的关系。
2008-07-24 cs.NA math.NA math.OC
On the Local convergence of two-step Newton type Method in Banach Spaces under generalized Lipschitz Conditions
本文的目的是讨论Banach空间中解非线性方程的收敛速度为3的两步Newton型方法的局部收敛性。假设非线性算子的一阶导数满足广义Lipschitz条件,即$L$-平均条件.在算子的导数满足半径或中心Lipschitz条件且具有弱$L$-平均的条件下,特别是在$L$是正可积函数但不一定非减的条件下,得到了该方法在巴拿赫空间中的收敛性结果.
2021-01-05 cs.NA math.NA
On the global convergence of the inexact semi-smooth Newton method for absolute value equation
IME/UFG(巴西戈亚斯联邦大学数学研究所)
本文研究了求解绝对值方程的不精确非光滑牛顿方法的全局收敛性,证明了在合适条件下具有全局Q-线性收敛性,并通过数值实验验证了该方法的实用性。
2015-11-12 cs.NA math.NA math.OC
Convergence analysis of Riemannian Gauss-Newton methods and its connection with the geometric condition number
Max-Planck-Institute for Mathematics in the Sciences(马克斯·普朗克数学院);KU Leuven(荷语鲁汶大学)
本文分析了Riemannian Gauss-Newton方法在流形上求解最小二乘问题的局部收敛性,并将所得的乘法常数估计与几何条件数联系起来。
2017-10-16 cs.NA math.NA
Convergence analysis of the Newton-Schur method for the symmetric elliptic eigenvalue problem
本文考虑Hilbert空间中的Newton-Schur方法,得到了平方收敛.对于用标准有限元法和非重叠区域分解法离散的对称椭圆型本征值问题,我们利用Steklov-Poincaré算子将区域$Ω$上的本征值问题化为$Γ$上的非线性本征值子问题,即子域边界的并集.我们证明了Newton-Schur方法的收敛速度是$ε_{N}\leq CH^{2}(1+\ln(H/h))^{2}ε^{2}$,其中常数$C$与细网格尺寸$h$和粗网格尺寸$H$无关,$ε_{N}$和$ε$分别是一步迭代后和一步迭代前的误差.数值实验证实了我们的理论分析。
2022-05-04 cs.NA math.NA
A robust semi-local convergence analysis of Newton's method for cone inclusion problems in Banach spaces under affine invariant majorant condition
IME/UFG(乌贝拉巴联邦大学数学研究所)
本文在仿射不变主条件 下,研究了Banach空间中非线性包含问题的牛顿法的鲁棒半局部收敛性,推导了收敛速率结果,并展示了该理论可作为处理仿射Lipschitz-like和Smale条件下的牛顿法鲁棒分析的特例。
2014-03-11 cs.NA math.NA
Local convergence analysis of Inexact Newton method with relative residual error tolerance under majorant condition in Riemannian Manifolds
IME/UFG(联邦戈亚斯大学数学与统计研究所)
本文基于主导原理,研究了在完全Riemann流形上求解可微向量场奇点的不精确牛顿法,证明其在局部条件下具有Q-线性收敛性,并展示了在无误差情况下恢复Riemann流形中牛顿法的经典局部定理。
2013-09-18 cs.NA math.NA
Local convergence of Newton's method for solving generalized equations with monotone operator
CCET/UFOB
本文研究了在Hilbert空间中求解广义方程F(x)+T(x)∈0的牛顿法,证明其局部二次收敛性,并通过主要条件统一了牛顿法的收敛结果。
2016-07-29 cs.NA math.NA
On Convergence of an Accelerated Modified Newton Method for Nonlinear Equations
Department of Mathematics and Economics, College of Engineering and Technology Virginia State University(弗吉尼亚州立大学工程与技术学院数学与经济学系)
针对牛顿迭代因导数接近零可能无法收敛的问题,提出修正稳定的加速牛顿迭代算法,分析其收敛性以提升效率与稳定性。
2026-08-25 cs.NA math.NA
Convergence analysis of a proximal Gauss-Newton method
提出一种扩展的高斯-牛顿算法,在广义Lipschitz假设下求解惩罚非线性最小二乘问题的局部极小值,获得局部收敛结果及收敛球半径估计,并应用于约束非线性方程组求解。
2011-03-02 cs.NA cs.SY eess.SY
Local convergence analysis of the Gauss-Newton-Kurchatov method
本文针对Gauss-Newton-Kurchatov方法在求解非线性最小二乘问题时的局部收敛性进行了分析,通过更紧的估计和较弱假设,扩展了收敛区域并提高了误差精度。
2019-06-08 cs.NA math.NA
Convergence rates of recursive Newton-type methods for multifrequency scattering problems
Department of Mathematics & Statistics, University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校数学与统计系)
本文研究多频散射问题中递归牛顿型方法的收敛性,提出多级牛顿方法以提高效率,通过数值实验验证算法性能。
2013-10-18 cs.NA math.NA
Simultaneous Global Convergence Failure of Newton's and Halley's Methods in Degree Four
“G. d’Annunzio” University of Chieti–Pescara(吉·丹农齐奥基耶蒂-佩斯卡拉大学);Trinity College Dublin(都柏林三一学院)
本文构造显式四次多项式,证明牛顿法与哈雷法在非空开集上同时不收敛,填补四次次数空白,并给出另一多项式的数值证据表明三种方法同时失败。
2026-10-05 cs.NA math.NA
Convergence of a damped Newton's method for discrete Monge-Ampere functions with a prescribed asymptotic cone
本文针对Monge-Ampère方程第二边值问题的有限差分离散格式,首次证明了其解的唯一性,并建立了阻尼牛顿法子序列的收敛性,从而保证解的存在性。
2025-05-27 cs.NA math.NA
A new modified Newton iteration for computing nonnegative Z-eigenpairs of nonnegative tensors
本文提出了一种新的修正牛顿迭代法,用于求非负张量的某些非负Z-本征对。在保证原Newton迭代局部平方收敛的条件下,该方法对非负张量的非负特征对具有局部平方收敛.
2022-07-15 cs.NA math.NA
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题,提出自适应框架,在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率,并含凸函数加速版本,数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
Convergence Analysis of Block Newton Methods for 1D Shallow Neural Network Approximation
Purdue University(普渡大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出了一种用于一维浅层神经网络近似问题的块牛顿方法,并分析了其局部收敛性,同时允许在优化过程中减少参数数量以提高效率。
2026-03-12 cs.NA math.NA
Convergence Rate Improvement of Richardson and Newton-Schulz Iterations
快速收敛、精确、计算高效、可并行化和鲁棒的矩阵求逆和参数估计算法在许多时间关键和精度关键的应用中是必需的,例如系统辨识、信号和图像处理、网络和大数据分析、机器学习以及许多其他应用。为了进一步提高高阶Newton-Schulz迭代法的收敛速度,本文提出了一种新的复合幂级数展开法,该展开法可以在具有不同计算能力的并行机上同时计算。新的扩展被集成到理查森迭代,并导致显着的收敛速度的改善。通过估计误差的显式瞬态模型和模拟来量化改进。此外,推导出了Richardson迭代法和Newton-Schulz迭代法结合复合展开式的递推计算方法。此外,本文还将统一分解方法发展为幂级数展开的工具包,从而得到一类新的计算效率高的Newton-Schulz算法。
2020-08-26 cs.NA math.NA math.OC
Local convergence analysis of Newton's method for solving strongly regular generalized equations
IME/UFG(联邦大学戈亚纳斯分校数学研究所);CCET/UFOB(巴雷拉斯联邦大学技术教育学院)
本文研究Banach空间中广义方程的牛顿法,证明在强正则性条件下,方法具有超线性或二次收敛速度,通过广义方程的Banach扰动引理和一般主函数放松Lipschitz条件,获得最优收敛半径、解的唯一性及统一了牛顿法理论早期结果。
2016-09-26 cs.NA math.NA math.OC
An improved convergence theorem for the Newton method under relaxed continuity assumptions
ITEP(核物理研究所)
本文在主要化技术框架下,提出更宽松的收敛条件,改进了牛顿法在弱连续性假设下的半局部收敛性,通过重构'第一积分'近似,得到更弱的收敛条件和更优的解位置界。
2015-03-12 cs.NA math.NA
Anderson-Picard based nonlinear preconditioning of the Newton iteration for non-isothermal flow simulations
提出基于Anderson-Picard的非线性预处理技术改进非等温流模拟的Newton迭代,证明了其无条件稳定性与二次收敛性,且数值测试表明该方法在更高Rayleigh数下具有更大的收敛域。
2025-01-29 cs.NA math.NA
A fractional Traub method with $(2α+1)$th-order of convergence and its stability
为了利用分数阶导数求解非线性方程的根,已经提出了一些分数阶牛顿法。本文介绍了一种$α+1$阶的分数阶Newton方法,并与另一种$2α$阶的分数阶Newton方法进行了比较。我们还介绍了一种阶为$2α+1$的分数阶Traub方法,并与它的第一步(阶为$α+1$的分数阶Newton方法)进行了比较。对每种情况下的初始估计的依赖性进行了一些测试和分析。
2019-09-19 cs.NA math.NA
New Q-Newton's method meets Backtracking line search: good convergence guarantee, saddle points avoidance, quadratic rate of convergence, and easy implementation
University of Oslo(奥斯陆大学)
在最近的合作工作中,作者发展了一种改进的牛顿法,称为新Q-牛顿法,它可以避免鞍点,并具有二次收敛速率。虽然良好的理论收敛保证尚未建立这种方法,小规模的问题上的实验表明,该方法的作品非常有竞争力的其他众所周知的修改牛顿法,如自适应立方正则化和BFGS,以及一阶方法,如无界双向回溯梯度下降。在本文中,我们解决了收敛保证问题,提出了一个修改的新Q-牛顿法,命名为新Q-牛顿法回溯,它结合了一个更复杂的使用超参数和回溯线搜索。这种新方法有很好的理论保证,对于{ \bf Morse函数}产生以下结果(这对于新Q-牛顿法是未知的):{ \bf定理}。设$f:\mathbb{R}^m\rightarrow \mathbb{R}$是Morse函数,即它的所有临界点都具有可逆的Hessian。然后,对于从随机初始点$x_0$用新Q-牛顿法回溯构造的序列$\{x_n\}$,我们有以下两种选择:i)$\lim_{n\rightarrow\infty}||x_n||=\infty$,或ii)$\{x_n\}$收敛到$f$的一个{ \bf局部极小}点$x_{\infty}$,且其收敛速率为{ \bf二次型}.此外,如果$f$具有紧凑的子能级,则只发生情况ii)。据我们所知,对于Morse函数,这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模的实验中测试了新Q-牛顿法回溯的一些进一步简化版本,发现新方…
2021-08-23 cs.LG cs.NA math.DS
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse(瑞士远程教育大学);Imperial College(帝国理工学院)
自适应多级牛顿法通过自动切换到完全牛顿法,实现强凸函数的二次收敛,优于传统牛顿法和梯度下降法。
2026-02-24 cs.NA math.NA math.OC
The complex-step Newton method and its convergence
本文研究用复步导数近似 Jacobian 的改进 Newton 方法,证明不同近似方式下的线性至二次收敛特性,并通过数值实验及微分方程非线性系统中的 JFNK 实现验证其稳健性。
2024-10-02 cs.NA math.NA
Accelerating the convergence of Newton's method for nonlinear elliptic PDEs using Fourier neural operators
针对用牛顿法求解有限差分离散的非线性椭圆PDE时初始猜测不当导致收敛困难的问题,提出用结合数据项与物理项损失的FNO构建与网格分辨率无关的解近似作为初始猜测,可大幅加速收敛,在强非线性、各向异性问题及粗网格上效果更优。
2024-10-30 cs.NA math.NA
Anderson Acceleration For Perturbed Newton Methods
University of Dallas(达拉斯大学)
本文提出了一种基于安德森加速的扰动牛顿方法,用于提高非线性问题求根的收敛速度,并展示了其在莱文伯格-马尔夸德方法中的应用。
2025-12-01 cs.NA math.NA
Asymptotic quadratic convergence of the Gauss-Newton method for complex phase retrieval
针对复相位恢复中Gauss-Newton矩阵秩亏问题,提出沿平凡方向正交移动的修正步,证明其为最小二乘最小范数闭式解,并在$m\ge O(n\log^3 n)$个复高斯测量下无需样本拆分即建立渐近二次收敛性。
2024-06-14 cs.IT cs.NA math.IT
Convergence and Applications of a Gossip-based Gauss-Newton Algorithm
University of California, Davis(加州大学戴维斯分校)
提出一种基于Gossip的分布式高斯-牛顿算法(GGN),适用于非凸目标问题,分析其收敛充分条件,数值实验表明性能接近集中式算法且在网络故障时性能优雅降级,优于其他分布式一阶方法。
2013-06-25 cs.DC cs.NA math.NA
Convergence guarantees for coefficient reconstruction in PDEs from boundary measurements by variational and Newton type methods via range invariance
针对偏微分方程系数识别的不适定问题,提出通过扩展参数满足范围不变性、再用惩罚项恢复参数依赖关系的方法,证明了变分与牛顿类正则化方法的收敛性,并在典型框架与实例中验证。
2023-02-07 cs.NA math.NA
Using gradient directions to get global convergence of Newton-type methods
在Barzilai和Borwein [IMA Journal of数值分析,8(1988)]的工作之后,对最速下降(SD)方法重新产生的兴趣促使我们考虑基于SD的全球化策略,该策略适用于任何线搜索法。特别是,我们结合牛顿型方向与缩放SD步骤,有合适的下降方向。用合适的步长缩放SD方向,在理论特征和计算行为方面与类似的全球化方法有显著差异。我们将我们的策略应用于牛顿法和BFGS方法,与为这些方法专门设计的成熟全球化策略的结果相比,计算结果显得很有趣。
2020-06-23 cs.NA math.NA math.OC
Optimal finite element error estimates and Newton convergence for a quasilinear elliptic problem with mixed boundary conditions
University of Bucharest(布加勒斯特大学);“Gheorghe Mihoc – Caius Iacob” Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院格奥尔基·米霍克-凯乌斯·雅各布数学统计与应用数学研究所)
研究具有混合边界条件的拟线性椭圆热传导问题,用牛顿法求解伽辽金离散化产生的非线性代数系统,结合混合边界椭圆正则性与对偶论证,证明离散解满足最优收敛速率,数值实验证实收敛速率及准则可行性。
2026-07-13 cs.NA math.NA
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Global convergence of Newton's method for the regularized $p$-Stokes equations
本文在无限维框架下证明带 Armijo 步长的牛顿法对正则化 $p$-Stokes 方程全局收敛,并验证其优于 Picard 迭代。
2024-09-19 cs.NA math.NA
Disguised and new Quasi-Newton methods for nonlinear eigenvalue problems
本文提出了一种针对非线性特征值问题的准牛顿方法,分析了不同雅可比矩阵近似对算法性能的影响,并建立了收敛理论。
2017-02-27 cs.NA math.NA
A general alternating-direction implicit Newton method for solving complex continuous-time algebraic Riccati matrix equation
本文利用牛顿法将连续时间代数Riccati矩阵方程转化为李雅普诺夫方程。然后,我们介绍了一个有效的通用交替方向隐式(GADI)方法来解决李雅普诺夫方程。提出了非精确Newton-GADI方法,有效地节省了计算量。此外,我们还分析了Newton-GADI方法的收敛性。通过分析Newton-GADI法和Newton-ADI法的谱半径,比较了它们的收敛速度。此外,我们给出了一种方法来选择准最优参数。相应的数值试验表明,所提出的算法的有效性。
2022-03-04 cs.NA math.NA
A simple-to-implement nonlinear preconditioning of Newton's method for solving the steady Navier-Stokes equations
针对求解定常Navier-Stokes方程的Newton法易受初始猜测影响失效的问题,提出加入Anderson加速Picard步的AAPicard-Newton非线性预处理方法,扩大收敛域且保留二次收敛性,数值测试验证了理论结果。
2025-07-31 cs.NA math.NA
Fast convergence to higher multiplicity zeros
在本文中,牛顿-安德森方法,这是从应用外推技术称为安德森加速牛顿法,结果显示,分析和数值计算提供超线性收敛的非单根的标量方程。该方法既不需要根的多重性的先验知识,也不需要计算任何额外的函数评估或衍生物。
2019-11-25 cs.NA math.NA
An Improved Gauss-Newtons Method based Back-propagation Algorithm for Fast Convergence
Kalyani University(卡利亚尼大学)
提出一种基于高斯-牛顿数值优化方法的改进反向传播算法,通过多层神经网络实现快速收敛,并在多种数据集上验证其优于最速下降法。
2012-06-19 cs.AI cs.NA math.NA
New Globalized Newton-Type Methods for Nonconvex Optimization Problems
University of North Dakota(北达科他大学);Loyola University Chicago(芝加哥洛约拉大学)
针对非凸优化问题,提出通用线搜索牛顿框架,避免重复海森正则化,在温和假设下建立全局收敛性,适当条件下证明局部收敛性,应用于强拟凸优化并给出算法及分析,数值实验验证方法有效性。
2026-07-28 cs.NA math.NA math.OC
Convergence properties of a Gauss-Newton data-assimilation method
本文针对四维弱约束变分数据同化,在高斯-牛顿迭代的观测失配项前引入关键参数,解析证明其在无噪声观测下保证收敛、在有界噪声下保证误差有界,并通过 Lorenz 63 和 Lorenz 96 模型数值实验验证了理论结果。
2023-04-12 cs.NA math.DS math.NA
Approximate Newton Methods
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究了大规模优化问题中的近似牛顿方法,提出统一框架分析二阶方法的局部和全局收敛性,并通过理论结果与实际应用性能相匹配。
2020-03-21 cs.NA math.NA
Newton-Anderson at Singular Points
本文研究了 Jacobi 矩阵奇异时 Newton-Anderson 方法的收敛与加速理论,提出了一种有理论支持的保障策略,并通过基准示例验证了其有效性。
2023-10-26 cs.NA math.NA
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications(电气通信大学);Tokyo University of Science(东京理科大学)
随机方差缩减算法最近变得流行,用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法(R-SQN-VR)。平均,添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下,我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下,该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
On nonlinear magnetic field solvers using local Quasi-Newton updates
本文提出用局部拟牛顿更新构造非线性磁场材料行为线性化的迭代求解器,兼具牛顿法快速收敛与定点法无需导数的优势,并证明三种方法全局且与网格无关的收敛性。
2024-09-10 cs.NA math.NA
Revisiting Sub-sampled Newton Methods
Shanghai Jiao Tong University(上海交通大学);Peiking University(北京大学)
本文提出两种高效牛顿型方法,改进子采样牛顿方法的效率与收敛性,尤其在高效计算Hessian-向量乘法时表现突出,且在一般情况下实现超线性收敛,在更强假设下实现二次收敛。
2016-09-05 cs.NA math.NA math.OC
Inexact Newton Methods for Solving Generalized Equations on Riemannian Manifolds
本文研究了利用度量正则性求解黎曼流形上广义方程的不精确牛顿方法,在无额外几何假设下证明了其线性和二次局部收敛性及半局部收敛性,并应用于求解向量场奇点与受约束的黎曼质心KKT系统。
2024-09-24 cs.NA math.NA math.OC
Faithful-Newton Framework: Bridging Inner and Outer Solvers for Enhanced Optimization
University of Queensland(昆士兰大学);ARC Training Centre for Information Resilience (CIRES)(ARC信息韧性培训中心)
本文提出Faithful-Newton框架,通过紧密整合内层子问题求解与外层优化迭代,在保留简单线性系统子问题的同时,实现了强凸问题的全局超线性、条件数无关线性及局部二次收敛,并具有竞争力的迭代复杂度。
2025-10-17 cs.NA math.NA math.OC
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
University of Chicago(芝加哥大学);Duke University(杜克大学)
本文针对含噪线性测量下的低 Tucker 秩张量估计问题,提出黎曼高斯-牛顿方法,首次证明其在含噪环境下的局部二次收敛性,并给出匹配的误差上下界以证明统计最优性,通过张量回归和张量 SVD 应用及仿真验证了理论结果。
2023-07-09 cs.LG cs.NA math.NA