NGMRES convergence analysis and proof of acceleration for contractive and noncontractive iterations
University of Houston(休斯顿大学);Clemson University(克莱姆森大学);University of West Florida(西佛罗里达大学)
研究将NGMRES用于求解一般非线性系统的压缩和非压缩不动点迭代,分析其收敛性并证明加速机制,揭示相关重要量。通过数值结果展示该理论,包括加速对收敛的改善、预测线性收敛速率的准确性及在多方面的优势。
2026-09-07 cs.NA math.NA
Convergence and acceleration of a nonlinear fixed-point iteration for computing the Fitness Centrality of general graphs
Faculty of Sciences, Scuola Normale Superiore(高等师范学校理学院)
该研究针对一般图的适应度中心性计算,证明了对应非线性不动点迭代的全局收敛性与显式收敛界,并通过Anderson加速和牛顿切换策略提升收敛速度,数值实验验证了其有效性。
2026-09-01 cs.NA cs.SI math.NA
Anderson-accelerated convergence of Picard iterations for incompressible Navier-Stokes equations
University of Florida(佛罗里达大学);Clemson University(克莱姆森大学);College of William & Mary(威廉与玛丽学院)
本文提出并分析了用于求解不可压缩纳维-斯托克斯方程的Anderson加速Picard迭代方法,证明了该方法能提高Picard迭代的收敛速度,尤其在高雷诺数情况下表现显著,为传统Picard和牛顿迭代失效时提供了可行的解决方案。
2018-10-19 cs.NA math.NA
Non-stationary Anderson acceleration with optimized damping
安德森加速(AA)有很长的使用历史,最近的兴趣很强,由于其潜在的能力,显着改善的线性收敛的定点迭代。大多数作者只是简单地使用和分析固定版本的安德森加速度(sAA)与一个恒定的阻尼因子或没有阻尼。很少有人关注非平稳算法。然而,阻尼可能是有用的,有时是至关重要的模拟中,底层的不动点算子不是全局收缩。这个阻尼系数的作用还没有完全了解。在目前的工作中,我们认为非平稳安德森加速算法与优化阻尼(AAoptD)在每一次迭代,以进一步加快线性和非线性迭代通过应用一个额外的廉价优化。我们分析了这个过程,并制定了一个有效的和廉价的实施方案。我们还表明,与固定窗口大小sAA(m)的静态Anderson加速相比,优化阻尼因子与每次迭代中动态包装sAA(m)和sAA(1)有关(交替窗口大小$m$是产生非静态AA的另一个方向)。此外,我们通过大量的数值实验表明,所提出的非平稳安德森加速度与优化的阻尼程序往往比固定AA恒定阻尼或无阻尼收敛得更快。
2022-02-10 cs.NA math.NA
A Column-Wise Reflection Method with Safeguarded Anderson Acceleration for the Continuous Sylvester Matrix Equation
School of Mathematics and Statistics, Anhui University of Finance and Economics(安徽财经大学数学与统计学院)
提出带保护的Anderson加速反射(SAAR)方法求解连续Sylvester方程,通过逐列反射内迭代与残差保护的外层Anderson加速,实现线性收敛并显著减少迭代次数与CPU时间。
2026-10-07 cs.NA math.NA
On a blended Anderson / NGMRES acceleration for the Navier-Stokes Picard iteration: convergence analysis and adaptive depth selection
University of Houston(休斯顿大学);Clemson University(克莱姆森大学)
本文提出了一种改进的安德森加速方法(AAg),通过优化问题的增益加速Navier-Stokes方程的Picard迭代收敛,并提供了其线性收敛速率的精确预测,同时展示了该方法在不可压缩流体中的有效性。
2026-09-07 cs.NA math.NA
Improved Convergence Factor of Windowed Anderson Acceleration for Symmetric Fixed-Point Iterations
本文针对对称不动点迭代的加窗安德森加速算法,首次证明其在线性对称算子及非线性对称雅可比场景下的收敛因子提升效果,并通过仿真和泰勒M估计实验验证了算法的优越性。
2025-07-31 cs.NA math.NA math.OC
Boţ-Nguyen Acceleration, Weighted Mean Ergodic Iteration, and the Beta-Binomial Distribution
University of British Columbia(不列颠哥伦比亚大学)
本文分析了Boţ-Nguyen算法在非扩张算子为线性时的特例,发现其自然融入加权平均ergodic迭代框架,并与贝塔-二项分布相关,当参数为4时迭代序列强收敛。
2026-08-17 cs.NA math.FA math.NA
Acceleration methods for fixed point iterations
本文综述了旨在加速不动点迭代的加速技术,重点介绍了利用迭代值和不动点映射本身的Anderson Acceleration(AA)等方法,并探讨了其与Quasi-Newton和Inexact Newton方法的关联。
2025-07-15 cs.NA math.NA
Reduced Order Model Enhanced Source Iteration with Synthetic Acceleration for Parametric Radiative Transfer Equation
针对参数化辐射传输方程多次求解需求,提出基于数据驱动降阶模型(ROM)增强SISA的方法,利用参数低秩结构改进初始猜测并设计新型加速策略ROMSAD,在早期阶段提升效率、后期保持鲁棒性。
2024-06-04 cs.NA math.NA
Dynamically accelerating the power iteration with momentum
本文提出一种基于Rayleigh商和残差动态更新动量参数的加速方法,以极小计算开销提升幂迭代和逆幂迭代的收敛速度,无需先验谱信息,并在对称情形下证明收敛,实验表明其优于标准幂迭代和最优静态动量加速。
2024-07-03 cs.NA math.NA
A short report on preconditioned Anderson acceleration method
本研究提出一种用于不动点迭代的预处理安德森加速(PAA)方法,可灵活平衡收敛速度与计算成本,适配不同非线性问题,通过多种预处理策略及延迟更新策略提升收敛性与鲁棒性,涵盖多种经典不动点迭代技术。
2023-10-06 cs.NA math.NA
Anderson Acceleration as a Krylov Method with Application to Asymptotic Convergence Analysis
University of Waterloo(滑铁卢大学)
Anderson加速(AA)被广泛用于加速非线性不动点方法$x_{k+1}=q(x_{k})$、$x_k \in \mathbb{R}^n$的收敛,但如何量化AA提供的收敛加速却知之甚少。作为对AA加速收敛的更多理解的道路,我们研究了AA($m$),即,有限窗口尺寸$m$的Anderson加速,适用于线性定点迭代$x_{k+1}=M x_{k}+b$的情况。我们把AA($m$)写成一个带有多项式残差更新公式的Krylov方法,并推导出AA($m$)多项式的递推关系.将AA($m$)写为Krylov方法立即意味着AA($m$)的$k$迭代不能产生比没有重启的GMRES的$k$迭代更小的残差(但没有暗示任何关于(窗口化)AA($m$)与重启的GMRES($m$)的相对收敛速度)。我们发现,AA($m$)残差多项式观察到一个周期性的记忆效应,随着迭代次数的增加,误差迭代矩阵$M$的增加功率作用于初始残差。基于这些多项式残差更新公式,我们得到了几个进一步的结果,包括正交关系,AA(1)加速系数$β_k$的下界,以及AA(1)残差和不含加速系数$β_k$的残差多项式的显式非线性递归.使用这些递归关系,我们还得到了新的残差收敛界AA(1)在线性情况下,演示了如何每迭代残差减少$||r_{k+1}||/||r_{k}||$强烈依赖于在前一次迭代中的残差减少和在先前的残差向量$r_k$和$r_{k…
2023-02-24 cs.LG cs.NA math.NA
An Inexact Low-Rank Source Iteration for Steady-State Radiative Transfer Equation with Diffusion Synthetic Acceleration
针对多维稳态RTE,提出低秩/HTT表示、扩散预条件CG与自适应非精确策略结合的SI-DSA框架,在2D2V基准上以更少自由度达到10^-4至10^-5误差并获得最高90倍以上加速。
2025-08-31 cs.NA math.NA
Diffusion synthetic acceleration for heterogeneous domains, compatible with voids
求解S $_N$输运方程的标准方法是使用具有扩散合成加速(DSA)的源迭代。虽然这种方法在许多问题上得到了广泛的应用和有效的,但DSA预处理仍然存在一些实际问题,特别是在高度异构的域上。对于大规模并行模拟,关键是(i)预处理源迭代快速收敛,以及(ii)DSA预处理器的动作可以使用快速,可扩展的求解器(如代数多重网格(AMG))来应用。对于异构域,这两种兴趣可能是不一致的。特别是,存在DSA扩散离散化,可以使用AMG快速求解,但它们并不总是产生鲁棒/快速收敛的较大的源迭代。相反,存在鲁棒的DSA离散化,其中源迭代在困难的异构问题上快速收敛,但像AMG这样的快速并行求解器往往难以应用这些算子的动作。此外,目前很少有确定性输运的解决方案的方法是兼容的空隙。本文提出了一种新的非均匀DSA预处理器,它只对光学厚子域进行预处理。由此产生的方法证明了强大的各种异质输运问题,包括一个线性化的黑腔网格惯性约束聚变。此外,预处理器的动作容易使用$\mathcal{O}(1)$ AMG迭代来计算,{传输迭代的收敛通常需要比当前最先进的"全DSA“少的$2-5\times$迭代,并且所提出的方法与空隙是平凡兼容的。对于黑腔问题,用$5-10$ AMG迭代法对小于3%的网格单元进行预处理,得到了快速收敛的结果。
2020-07-20 cs.NA math.NA physics.comp-ph
Anderson Acceleration Based on the $\mathcal{H}^{-s}$ Sobolev Norm for Contractive and Noncontractive Fixed-Point Operators
安德森加速(AA)是一种加速不动点迭代收敛的技术。在本文中,我们应用AA的函数序列和修改的规范,在其内部最优化问题的$\mathcal{H}^{-s}$规范,为一些正整数$s$,偏向于低频谱内容的残留。我们通过量化AA相对于Picard迭代的改进来分析AA的收敛性。我们发现基于$\mathcal{H}^{-2}$范数的AA非常适合于求解由二阶椭圆型微分算子衍生的不动点算子,包括Helmholtz方程。
2021-09-11 cs.NA math.NA
Efficient Solution of Generalized Sylvester Equations via Preconditioned Alternating Anderson Acceleration
Nanchang University(南昌大学);Nanchang Hangkong University(南昌航空大学);Fujian Agriculture and Forestry University(福建农林大学);Dalian University of Technology(大连理工大学)
本文提出预条件交替安德森加速法,用于高效求解广义Sylvester矩阵方程,通过预条件固定点迭代与安德森加速更新交替进行,提升收敛速度与计算效率,实验显示其在中等和大规模问题中表现优异。
2026-04-17 cs.NA math.NA
Convergence acceleration for the BLUES function method
在BLUES函数法和变分迭代法的框架内,对Picard、Ishikawa、Mann和Picard-Krasnoselskii四种不同的迭代方法进行了详细的比较。所得到的修改后的方法随后施加到一个非线性反应扩散平流微分方程,以产生近似已知的精确解。通过对近似解的研究以及得到的近似解与精确解之间的误差,说明了BLUES函数法与变分迭代法的区别。
2022-07-18 cs.NA math.NA math.OC
Transport-Matched Penalties for Diffusion Synthetic Acceleration of Polytopic Discontinuous Galerkin Discretisations
Université Paris-Saclay(巴黎萨克雷大学);CEA, Service de Génie Logiciel pour la Simulation(法国原子能和替代能源委员会,软件仿真工程部);Mathematical Sciences, University of Bath(巴斯大学数学科学系);Service d’Études des Réacteurs et de Mathématiques Appliquées(反应堆研究与数学应用服务部);Institute of Mathematical Innovation, University of Bath(巴斯大学数学创新研究所)
本文针对多面体网格上离散纵标输运的高阶迎风间断伽辽金离散,提出输运匹配的修正内罚校正,实现源迭代的严格加速,数值实验验证了收敛性与缩放关系。
2026-08-31 cs.NA math.NA
Anderson acceleration for a regularized Bingham model
本文研究了描述粘塑性流动的正则化Bingham方程的有限元离散。提出了一种有效的非线性求解器的离散模型,然后进行了分析。求解器是基于安德森加速(AA)应用到皮卡德迭代,我们显示加速收敛的方法,通过应用AA理论(最近开发的作者)的迭代,后显示足够的光滑性相关的不动点运营商。提供了空间收敛的数值测试,作为2D和3D驱动腔模拟模型的结果。对于每个数值测试,所提出的非线性求解器也进行了测试,并证明是非常有效的和强大的正则化参数,因为它去零。
2022-12-08 cs.NA math.NA
Assessing Nonlinear Diffusion Acceleration for Boltzmann Fokker Planck Equation in Slab Geometry
本文针对平板几何中 Boltzmann Fokker Planck 方程收敛缓慢的问题,提出一种基于零阶矩和一阶矩调整低阶方程的非线性扩散加速方法,实验表明其相比源迭代可节省约一个数量级的迭代次数与运行时间。
2023-12-05 cs.NA math.NA
Applying acceleration to Krylov subspace eigenvalue solvers
本文将Nesterov加速梯度法和Polyak重叠球法应用于改进的反预处理Krylov子空间方法,证明了更一般的子空间选择下的收敛性,并通过数值结果展示了动量参数固定和适应性选择对收敛速度的提升。
2026-03-21 cs.NA math.NA
Filtering for Anderson acceleration
本文介绍、分析和论证了一种有效的、理论上合理的滤波策略,以保证在安德森加速的每次迭代中最小二乘问题得到解决的条件。过滤策略由两个步骤组成:第一个控制最小二乘矩阵的列之间的长度差异,第二个对该矩阵的列所跨越的子空间之间的角度实施下界。所示的组合策略,以控制在每次迭代的最小二乘矩阵的条件数。该方法被证明是有效的一系列问题的基础上离散的偏微分方程。它被证明是特别有效的问题,其中的初始位置可能远离解决方案,并通过不同的前渐近和渐近阶段的进展。
2023-02-23 cs.NA math.NA
A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)
Clemson University(克莱姆森大学);University of Florida(佛罗里达大学);College of William & Mary(威廉玛丽学院)
本文证明了安德森加速(AA)能够提升一般固定点迭代的收敛速度,但无法提升二次收敛的固定点迭代的收敛速度。
2019-02-20 cs.NA math.NA
On the Asymptotic Linear Convergence Speed of Anderson Acceleration, Nesterov Acceleration, and Nonlinear GMRES
University of Waterloo(滑铁卢大学)
我们考虑了不动点迭代$x_{k+1}=q(x_k)$的非线性加速收敛方法,包括Anderson加速(AA),非线性GMRES(NGMRES)和Nesterov型加速(对应于窗口大小为1的AA).我们专注于不动点方法,收敛因子$ρ<1$渐近线性收敛,并解决了一个基本的完全光滑和非凸优化问题。人们经常观察到AA和NGMRES大大改善了定点迭代的渐近收敛行为,但这种改善尚未在理论上量化。我们在简化的条件下研究这个问题。首先,我们考虑固定版本的AA和NGMRES,并确定系数,导致最佳渐近收敛因子,给定知识的频谱$q'(x)$在固定点$x^*$。这使我们能够理解和量化的渐近收敛的改善,可以提供非线性收敛加速,查看$x_{k+1}=q(x_k)$作为AA和NGMRES的非线性预条件。其次,对于无限窗口的情况,我们考虑了GMRES应用于关于$x^*$线性化的不动点迭代的线性渐近收敛界。由于AA和NGMRES在线性情况下等同于GMRES,因此可以预期GMRES收敛因子与AA和NGMRES相关,如$x_k \rightarrow x^*$。我们的研究结果数值说明了一类测试问题的典型张量分解,比较最速下降和交替最小二乘(ALS)的固定点迭代加速AA和NGMRES。我们的数值试验表明,这两种方法使我们能够估计渐近收敛速度非平稳AA和NGMRES有限的窗口大小。
2020-11-07 cs.LG cs.NA math.NA
On the Convergence of CROP-Anderson Acceleration Method
本文研究经典Anderson加速与CROP算法的复杂关联,分析二者收敛特性与内在联系并通过数值算例验证,为加速方法的实际应用及新型高效加速方案开发提供见解。
2024-10-04 cs.NA math.NA
Fault Tolerance of Accelerated Asynchronous Fixed-Point Iterations on Flexible Computing Infrastructure
University of Mary Washington(玛丽华盛顿大学);Old Dominion University(老道明大学)
研究异步迭代中收敛加速器(如Anderson加速)对掉队处理器引起的收敛退化的补偿效果,发现加速器在评估级扰动下有效,在迭代级损坏下失效。
2026-05-27 cs.DC cs.NA math.NA
Numerically stable variants of overrelaxation for operator Sinkhorn iteration
RWTH Aachen University(亚琛工业大学);The Institute of Statistical Mathematics(统计数学研究所);Stanford University(斯坦福大学);University of Augsburg(奥格斯堡大学)
本文提出数值稳定的过松弛变种用于算子Sinkhorn迭代,通过在线应用预条件效应提升计算稳定性,验证了在病态情况下加速效果。
2026-03-13 cs.NA math.NA math.OC
Fast K-Means Clustering with Anderson Acceleration
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学)
本文提出了一种加速K均值聚类Lloyd算法的新方法,通过将Lloyd算法的分配和更新步骤视为固定点迭代,并应用安德森加速技术,动态调整参数m以实现鲁棒且一致的加速效果。
2018-05-27 cs.LG cs.NA math.NA
On solving nonlinear simultaneous equations arising from the double-exponential Sinc-collocation method for initial value problems
The University of Electro-Communications(电气通信大学);Institute of Science Tokyo(东京科学大学)
本文分析了Gauss-Seidel类型固定点迭代在解决双指数Sinc-内插法中非线性联立方程的收敛性,并给出了全局收敛的充分条件及收敛因子上界,通过数值例子验证了分析结果。
2026-04-28 cs.NA math.NA
Generalized Chebyshev acceleration on the unit disc
Çankaya University(恰恩卡亚大学)
本研究提出了一种在单位圆上推广的切比雪夫加速技术,通过替代的迭代方案放宽了特征值条件,提升了大规模稀疏正矩阵求解效率。
2025-12-21 cs.NA math.NA
Accelerating the Improved Arrow--Hurwicz Iteration via the Anderson Algorithm for Steady-State Navier--Stokes Equations
Hacettepe University(哈克特佩大学);Balikesir University(巴勒基尔大学);Southern Methodist University(南方卫理公会大学)
该研究将安德森加速应用于改进的Arrow–Hurwicz方法,通过将其迭代重表述为非线性不动点算子并验证光滑性,大幅减少了稳态Navier–Stokes方程求解的迭代次数与CPU时间,且保持了收敛特性。
2026-09-02 cs.NA math.NA
Exponential Euler and backward Euler methods for nonlinear heat conduction problems
本文提出一种非线性指数欧拉格式用于求解非线性热传导问题,并与后向欧拉方法比较,证明解的单调性、有界性及迭代收敛条件,数值测试验证性能,该格式基于重启Krylov子空间实现,本质显式。
2022-11-08 cs.NA math.NA physics.comp-ph
Linear Asymptotic Convergence of Anderson Acceleration: Fixed-Point Analysis
University of Waterloo(滑铁卢大学)
我们研究了AA($m$)的渐近收敛性,即,用于加速不动点方法$x_{k+1}=q(x_{k})$、$x_k \in R^n$的具有窗口大小$m$的Anderson加速。加速收敛AA($m$)已被广泛观察到,但没有得到很好的理解。我们考虑的情况下,不动点迭代函数$q(x)$是可微的和不动点方法本身的收敛是根线性的。我们用数值方法证明了AA($m$)收敛的几个显著性质:第一,AA($m$)序列$\{x_k\}$是根线性收敛的,但根线性收敛因子强烈依赖于初始条件;第二,当$\{x_k\}$收敛到$x^*$时,AA($m$)加速系数$β^{(k)}$不收敛而是振荡。为了阐明这些意见,我们写的AA($m$)迭代作为一个增广的不动点迭代$z_{k+1} =Ψ(z_k)$,$z_k \in R^{n(m+1)}$和分析的连续性和可微性的$Ψ(z)$和$β(z)$。我们发现加速度系数$β(z)$的向量在不动点$z^*$处是不连续的。然而,我们表明,尽管$β(z)$的不连续性,迭代函数$Ψ(z)$是Lipschitz连续的,并在$z^*$的AA(1)方向可微,我们推广到AA($m$)与$m>1$的大多数情况下。此外,我们发现,$Ψ(z)$是不可微的$z^*$。然后,我们讨论这些理论研究结果与所观察到的AA($m$)的收敛行为。$β(z)$在$z^*$处的不连续性允许$β^{(k)}$在$\{x_k\…
2022-05-03 cs.LG cs.NA math.NA
Asymptotic convergence of restarted Anderson acceleration for certain normal linear systems
本文研究重启大小为一的 Anderson 加速在线性对称或斜对称系统中的渐近收敛性,证明其最坏情况收敛因子严格优于原不动点迭代,并刻画初值依赖关系。
2025-05-12 cs.NA math.NA
Uniform convergence of diffusion synthetic acceleration for heterogeneous slab transport
University of Twente(特温特大学)
本文针对非均匀平板辐射传输方程,证明扩散合成加速迭代的谱半径一致有界,并推广到变分离散化,确保预处理共轭梯度快速收敛。
2026-09-28 cs.NA math.NA
Stable Anderson Acceleration for Deep Learning
Oak Ridge National Laboratory(橡树岭国家实验室)
安德森加速(AA)是一种外推技术,旨在加速固定点迭代,如从DL模型的迭代训练中产生的迭代。训练DL模型需要以随机抽样批次处理的大型数据集,这往往会在定点迭代中引入幅度与批次大小大致成正比的随机振荡。这些振荡减少并偶尔消除AA的积极作用。为了恢复AA的优势,我们将其与自适应移动平均过程相结合,该过程平滑振荡并导致更有规律的梯度下降更新序列。通过监测连续迭代之间的相对标准差,我们还引入了一个标准来自动评估是否需要移动平均线。我们将该方法应用于以下DL实例:(i)在开源研究生招生数据集上训练的多层感知器(MLP)进行回归,(ii)在源数据上训练的物理信息神经网络(PINN)来求解2d和100 d Burgers偏微分方程(PDEs),以及(iii)ResNet 50在开源ImageNet 1 k数据集上训练,用于图像分类。在OLCF超级计算机Summit上使用多达1,536个NVIDIA V100 GPU获得的数值结果显示了移动平均线对上述所有问题的稳定效果。
2021-10-26 cs.LG cs.NA math.NA
Anderson Acceleration for Seismic Inversion
最新的地震成像技术将诸如FWI和LSRTM的反演任务视为PDE约束的最优化问题。由于大规模的性质,基于梯度的优化算法在实践中是优选的,以迭代地更新模型。高阶方法收敛于较少的迭代,但通常需要更高的计算成本,更多的线搜索步骤和更大的内存存储。必须考虑这些方面之间的平衡。我们建议使用安德森加速(AA),一种流行的策略,以加快收敛的固定点迭代,加速最速下降算法,我们创新地对待作为一个固定点迭代。独立的未知参数的维数,实现该方法的计算成本可以降低到一个非常低维的最小二乘问题。通过低秩更新可以进一步降低成本。我们讨论了AA和其他著名的最优化方法,如L-BFGS和重新启动GMRES之间的理论联系和差异,并比较它们的计算成本和内存需求。FWI和LSRTM应用于Marmousi基准的数值例子证明了AA的加速效果。与最速下降法相比,AA法具有收敛速度快,计算结果与某些拟牛顿法相当的优点,是一种很有吸引力的地震反演优化策略。
2020-11-13 cs.NA math.NA math.OC
Overlapping Localized Exponential Time Differencing Methods for Diffusion Problems
University of South Carolina(南卡罗来纳大学)
本文提出两种局部指数时间差分方法用于求解扩散方程的离散问题,通过 Schwarz 迭代和波形放松算法分别解决子域的静止和时变问题,并证明了迭代解的收敛性。
2017-11-06 cs.NA math.NA
On Adapting Nesterov's Scheme to Accelerate Iterative Methods for Linear Problems
Nesterov提出的加速凸优化问题梯度下降的著名方案被用于加速线性系的稳态迭代求解器。与经典的Krylov子空间加速方法相比,该方案需要更多的迭代,但它是微不足道的实现,并保持基本上相同的计算成本的非加速方法。在定常迭代矩阵只有实特征值的情况下,仅根据最小和最大特征值,导出了固定最优参数的显式公式。固定的参数,和相应的收敛因子,保持其最优性时,迭代矩阵也有复杂的特征值,包含在一个明确定义的磁盘中的复平面。与基于最小和最大实特征值的相同信息的切比雪夫加速(称为受限信息切比雪夫加速)的比较表明,Nesterov的方案在迭代矩阵确实具有一些复特征值时在更大的域上保持最优的意义上更鲁棒。数值试验验证了该格式的有效性。这一工作推广和推广了[1,引理3.1和3.2及定理3.3]的结果。
2021-08-08 cs.NA math.NA math.OC
Accelerated implicitization: Robust fixed-point iterations arising from an explicit scheme
Pontificia Universidad Católica de Chile(智利天主教庞培大学);Pontificia Universidad Católica de Valparaíso(智利天主教瓦尔帕莱索大学);University of Oxford(牛津大学)
本文提出了一种通用策略,通过显式求解序列解决隐式时间离散化可能非线性问题,结合安德森加速缓解稳定性问题,验证了方法在非线性微分方程中的有效性和可扩展性。
2026-06-29 cs.NA math.NA
On the choice of optimization norm for Anderson acceleration of the Picard iteration for Navier-Stokes equations
Clemson University(克莱姆森大学)
本文研究Anderson加速应用于Navier-Stokes方程Picard迭代时优化范数的选择,证明$H^1_0$和$L^2$范数具有相似的收敛性,并通过数值实验发现$\ell^2$范数在粗网格下可能显著更差。
2025-09-23 cs.NA math.NA
Exponential Runge-Kutta Parareal for Non-Diffusive Equations
针对传统Parareal时间并行算法在非扩散方程上难收敛的问题,本文提出将指数积分器引入Parareal迭代,通过线性分析及多组数值实验验证其能有效提升部分非扩散方程的求解效率。
2023-11-06 cs.NA math.NA
Reduced rank extrapolation for multi-term Sylvester equations
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Eindhoven University of Technology(埃因霍温理工大学);Leipzig University of Applied Sciences(莱比锡应用科学大学)
本文通过降秩外推方法加速多项Sylvester方程的 stationary 迭代,提供理论收敛结果和实现方法,针对大规模问题讨论了不精确非 stationary 迭代,利用低秩矩阵近似,数值实验展示了RRE加速对收敛速度的提升效果。
2026-03-13 cs.NA math.NA
Variational Characterization of Monotone Nonlinear Eigenvector Problems and Geometry of Self-Consistent-Field Iteration
研究了一类具有特征向量非线性项的单调本征值问题(mNEPv). mNEPv在计算矩阵的联合数值半径、三阶偏对称张量的最佳秩一近似、耗散Hamilton微分代数方程方程的奇异性距离等应用中会遇到。首先,我们提出了一个变分表征的mNEPv。基于变分特征,我们给出了求解mNEPv的自洽场(SCF)迭代的几何解释,证明了SCF的整体收敛性,并设计了一个加速SCF.从各种应用程序的数值例子证明了理论性能和计算效率的SCF和它的加速。
2022-11-09 cs.NA math.NA
Residual, restarting and Richardson iteration for the matrix exponential, revised
University of Twente(特温特大学)
针对矩阵指数迭代计算中缺乏公认残差定义的问题,提出基于常微分方程初值问题的残差概念,并展示其在多种迭代方法中的高效计算方式,同时利用该残差构建新的迭代方法,包括用于重启Krylov子空间方法的Richardson变体。
2011-12-23 cs.CE cs.NA math.NA
Anderson Acceleration for Geometry Optimization and Physics Simulation
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学)
本文提出一种简单有效的技术,通过将局部-全局步骤视为固定点迭代,应用安德森加速以加速局部-全局求解器的收敛速度,并分析其与拟牛顿方法的联系。
2018-05-15 cs.GR cs.NA math.NA
Accelerated Stochastic Power Iteration
Stanford University(斯坦福大学)
本文提出一种带有动量项的幂迭代变种,实现了最优的样本和迭代复杂度,适用于在线和离线设置的随机PCA算法,加速了迭代复杂度至O(1/√Δ)。
2017-07-10 cs.DS cs.LG cs.NA
Accelerated graph-based nonlinear denoising filters
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);University of Bergen(卑尔根大学)
本文提出通过共轭梯度法和Nesterov加速技术加速图基非线性去噪滤波器,实验显示在图像去噪中效率提升2-12倍。
2016-04-13 cs.CV cs.NA math.NA
Algorithmic Acceleration of Parallel ALS for Collaborative Filtering: Speeding up Distributed Big Data Recommendation in Spark
协同过滤算法是许多实际推荐系统的重要组成部分。例如,许多大规模数据处理环境包括协同过滤模型,其中交替最小二乘(ALS)算法用于计算潜在因子矩阵分解。在本文中,我们提出了一种方法来加速收敛的并行ALS为基础的最优化方法的协同过滤使用非线性共轭梯度(NCG)包装周围的ALS迭代。我们还提供了加速ALS-NCG算法在Apache Spark分布式数据处理环境中的并行实现,以及作为ALS-NCG实现的一部分的高效线搜索技术,该技术只需要一次通过分布式数据集上的数据。在Linux工作站上的串行数值实验和具有256个计算核心的16节点集群上的并行数值实验中,我们证明了组合ALS-NCG方法比独立ALS需要更少的迭代和更少的时间来达到MovieLens 20 M数据集上的高精度电影排名。并行地,当需要精确解时,ALS-NCG可以在时钟时间中实现4或更大的加速因子;此外,加速因子随着解中需要更高的数值精度而增加。此外,NCG加速机制并行高效,并在高达近10亿评级的合成数据集上随问题大小线性扩展。该加速机制是通用的,也可以适用于其他协同过滤的最优化方法。
2016-01-10 cs.DC cs.IR cs.NA
Neural Acceleration of Incomplete Cholesky Preconditioners
本文提出用 GPU 训练的简单人工神经网络生成不完全稀疏 Cholesky 预条件子,以克服传统数值调参与并行化困难,实验表明其稳定且减迭代效果不劣于多种传统技术。
2024-03-01 cs.DC cs.NA math.NA
A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate
Weizmann Institute of Science(魏茨曼科学研究所)
提出VR-PCA算法,通过低计算成本的随机迭代实现快速收敛,解决传统方法收敛慢或计算强度大的问题。
2015-07-31 cs.LG cs.NA math.NA