Accelerating the Improved Arrow--Hurwicz Iteration via the Anderson Algorithm for Steady-State Navier--Stokes Equations
Hacettepe University（哈克特佩大学）；Balikesir University（巴勒基尔大学）；Southern Methodist University（南方卫理公会大学）
该研究将安德森加速应用于改进的Arrow–Hurwicz方法，通过将其迭代重表述为非线性不动点算子并验证光滑性，大幅减少了稳态Navier–Stokes方程求解的迭代次数与CPU时间，且保持了收敛特性。
2026-09-02 cs.NA math.NA
A Column-Wise Reflection Method with Safeguarded Anderson Acceleration for the Continuous Sylvester Matrix Equation
School of Mathematics and Statistics, Anhui University of Finance and Economics（安徽财经大学数学与统计学院）
提出带保护的Anderson加速反射（SAAR）方法求解连续Sylvester方程，通过逐列反射内迭代与残差保护的外层Anderson加速，实现线性收敛并显著减少迭代次数与CPU时间。
2026-10-07 cs.NA math.NA
WING: A Simple Windowed Nonorthogonalized Initial Guess Procedure for Repeated Matrix Solves
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
针对相同矩阵、相似右端项的序列线性系统，提出WING算法，通过跳过正交化并求解伪逆来降低初始猜测成本，数值实验证明其在粗相对容差下有效。
2026-06-08 cs.NA math.NA
Non-stationary Anderson acceleration with optimized damping
安德森加速（AA）有很长的使用历史，最近的兴趣很强，由于其潜在的能力，显着改善的线性收敛的定点迭代。大多数作者只是简单地使用和分析固定版本的安德森加速度（sAA）与一个恒定的阻尼因子或没有阻尼。很少有人关注非平稳算法。然而，阻尼可能是有用的，有时是至关重要的模拟中，底层的不动点算子不是全局收缩。这个阻尼系数的作用还没有完全了解。在目前的工作中，我们认为非平稳安德森加速算法与优化阻尼（AAoptD）在每一次迭代，以进一步加快线性和非线性迭代通过应用一个额外的廉价优化。我们分析了这个过程，并制定了一个有效的和廉价的实施方案。我们还表明，与固定窗口大小sAA（m）的静态Anderson加速相比，优化阻尼因子与每次迭代中动态包装sAA（m）和sAA（1）有关（交替窗口大小$m$是产生非静态AA的另一个方向）。此外，我们通过大量的数值实验表明，所提出的非平稳安德森加速度与优化的阻尼程序往往比固定AA恒定阻尼或无阻尼收敛得更快。
2022-02-10 cs.NA math.NA
Acceleration of nonlinear solvers for natural convection problems
本文发展了一种有效的和强大的解决方案技术的定常Boussinesq模型的非等温流动使用安德森加速应用于皮卡德迭代。在分析了与非线性迭代相关的不动点算子，证明了其稳定性和正则性之后，应用作者最近建立的Anderson加速理论，得到了Boussinesq系统的Anderson加速Picard迭代的收敛性结果.结果表明，残差中的首项通过最优化问题中的增益得到改善，但代价是额外的高阶项，当残差较大时，高阶项可能是显著的。我们进行数值试验，说明了理论，并表明，2阶段的选择安德森深度可以是有利的。我们还考虑安德森加速应用到牛顿迭代的Boussinesq方程，并观察到，加速允许牛顿迭代收敛显着更高的瑞利数，它可以没有加速，即使用标准的线搜索。
2020-04-14 cs.NA math.NA
Performance of Low Synchronization Orthogonalization Methods in Anderson Accelerated Fixed Point Solvers
针对Anderson加速（AA）因全局归约同步步骤多导致并行性能受限的问题，提出三种低同步正交化算法并集成到SUNDIALS的AA中，将每次迭代全局归约次数降至常数级，经CPU和多GPU实验验证，在并行强扩展极限下性能提升且收敛可靠。
2021-10-19 cs.NA math.NA
A short report on preconditioned Anderson acceleration method
本研究提出一种用于不动点迭代的预处理安德森加速（PAA）方法，可灵活平衡收敛速度与计算成本，适配不同非线性问题，通过多种预处理策略及延迟更新策略提升收敛性与鲁棒性，涵盖多种经典不动点迭代技术。
2023-10-06 cs.NA math.NA
Anderson Acceleration as a Krylov Method with Application to Asymptotic Convergence Analysis
University of Waterloo（滑铁卢大学）
Anderson加速（AA）被广泛用于加速非线性不动点方法$x_{k+1}=q(x_{k})$、$x_k \in \mathbb{R}^n$的收敛，但如何量化AA提供的收敛加速却知之甚少。作为对AA加速收敛的更多理解的道路，我们研究了AA（$m$），即，有限窗口尺寸$m$的Anderson加速，适用于线性定点迭代$x_{k+1}=M x_{k}+b$的情况。我们把AA（$m$）写成一个带有多项式残差更新公式的Krylov方法，并推导出AA（$m$）多项式的递推关系.将AA（$m$）写为Krylov方法立即意味着AA（$m$）的$k$迭代不能产生比没有重启的GMRES的$k$迭代更小的残差（但没有暗示任何关于（窗口化）AA（$m$）与重启的GMRES（$m$）的相对收敛速度）。我们发现，AA（$m$）残差多项式观察到一个周期性的记忆效应，随着迭代次数的增加，误差迭代矩阵$M$的增加功率作用于初始残差。基于这些多项式残差更新公式，我们得到了几个进一步的结果，包括正交关系，AA（1）加速系数$β_k$的下界，以及AA（1）残差和不含加速系数$β_k$的残差多项式的显式非线性递归.使用这些递归关系，我们还得到了新的残差收敛界AA（1）在线性情况下，演示了如何每迭代残差减少$||r_{k+1}||/||r_{k}||$强烈依赖于在前一次迭代中的残差减少和在先前的残差向量$r_k$和$r_{k…
2023-02-24 cs.LG cs.NA math.NA
On a blended Anderson / NGMRES acceleration for the Navier-Stokes Picard iteration: convergence analysis and adaptive depth selection
University of Houston（休斯顿大学）；Clemson University（克莱姆森大学）
本文提出了一种改进的安德森加速方法（AAg），通过优化问题的增益加速Navier-Stokes方程的Picard迭代收敛，并提供了其线性收敛速率的精确预测，同时展示了该方法在不可压缩流体中的有效性。
2026-09-07 cs.NA math.NA
Anderson Acceleration Based on the $\mathcal{H}^{-s}$ Sobolev Norm for Contractive and Noncontractive Fixed-Point Operators
安德森加速（AA）是一种加速不动点迭代收敛的技术。在本文中，我们应用AA的函数序列和修改的规范，在其内部最优化问题的$\mathcal{H}^{-s}$规范，为一些正整数$s$，偏向于低频谱内容的残留。我们通过量化AA相对于Picard迭代的改进来分析AA的收敛性。我们发现基于$\mathcal{H}^{-2}$范数的AA非常适合于求解由二阶椭圆型微分算子衍生的不动点算子，包括Helmholtz方程。
2021-09-11 cs.NA math.NA
Efficient Solution of Generalized Sylvester Equations via Preconditioned Alternating Anderson Acceleration
Nanchang University（南昌大学）；Nanchang Hangkong University（南昌航空大学）；Fujian Agriculture and Forestry University（福建农林大学）；Dalian University of Technology（大连理工大学）
本文提出预条件交替安德森加速法，用于高效求解广义Sylvester矩阵方程，通过预条件固定点迭代与安德森加速更新交替进行，提升收敛速度与计算效率，实验显示其在中等和大规模问题中表现优异。
2026-04-17 cs.NA math.NA
Anderson acceleration for a regularized Bingham model
本文研究了描述粘塑性流动的正则化Bingham方程的有限元离散。提出了一种有效的非线性求解器的离散模型，然后进行了分析。求解器是基于安德森加速（AA）应用到皮卡德迭代，我们显示加速收敛的方法，通过应用AA理论（最近开发的作者）的迭代，后显示足够的光滑性相关的不动点运营商。提供了空间收敛的数值测试，作为2D和3D驱动腔模拟模型的结果。对于每个数值测试，所提出的非线性求解器也进行了测试，并证明是非常有效的和强大的正则化参数，因为它去零。
2022-12-08 cs.NA math.NA
Fast K-Means Clustering with Anderson Acceleration
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
本文提出了一种加速K均值聚类Lloyd算法的新方法，通过将Lloyd算法的分配和更新步骤视为固定点迭代，并应用安德森加速技术，动态调整参数m以实现鲁棒且一致的加速效果。
2018-05-27 cs.LG cs.NA math.NA
Superlinear convergence of Anderson accelerated Newton's method for solving stationary Navier-Stokes equations
本文研究了用Anderson加速的Newton迭代法求解不可压定常Navier-斯托克斯方程的性能。我们表明，该方法收敛超线性与一个良好的初始猜测，而且，较大的安德森深度减慢收敛速度相比，较小的安德森深度。我们观察到，数值试验证实了这些分析收敛的结果，此外，安德森加速有时扩大了牛顿法的收敛域。
2022-02-14 cs.NA math.NA
Filtering for Anderson acceleration
本文介绍、分析和论证了一种有效的、理论上合理的滤波策略，以保证在安德森加速的每次迭代中最小二乘问题得到解决的条件。过滤策略由两个步骤组成：第一个控制最小二乘矩阵的列之间的长度差异，第二个对该矩阵的列所跨越的子空间之间的角度实施下界。所示的组合策略，以控制在每次迭代的最小二乘矩阵的条件数。该方法被证明是有效的一系列问题的基础上离散的偏微分方程。它被证明是特别有效的问题，其中的初始位置可能远离解决方案，并通过不同的前渐近和渐近阶段的进展。
2023-02-23 cs.NA math.NA
Anderson Acceleration for Seismic Inversion
最新的地震成像技术将诸如FWI和LSRTM的反演任务视为PDE约束的最优化问题。由于大规模的性质，基于梯度的优化算法在实践中是优选的，以迭代地更新模型。高阶方法收敛于较少的迭代，但通常需要更高的计算成本，更多的线搜索步骤和更大的内存存储。必须考虑这些方面之间的平衡。我们建议使用安德森加速（AA），一种流行的策略，以加快收敛的固定点迭代，加速最速下降算法，我们创新地对待作为一个固定点迭代。独立的未知参数的维数，实现该方法的计算成本可以降低到一个非常低维的最小二乘问题。通过低秩更新可以进一步降低成本。我们讨论了AA和其他著名的最优化方法，如L-BFGS和重新启动GMRES之间的理论联系和差异，并比较它们的计算成本和内存需求。FWI和LSRTM应用于Marmousi基准的数值例子证明了AA的加速效果。与最速下降法相比，AA法具有收敛速度快，计算结果与某些拟牛顿法相当的优点，是一种很有吸引力的地震反演优化策略。
2020-11-13 cs.NA math.NA math.OC
A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)
Clemson University（克莱姆森大学）；University of Florida（佛罗里达大学）；College of William & Mary（威廉玛丽学院）
本文证明了安德森加速（AA）能够提升一般固定点迭代的收敛速度，但无法提升二次收敛的固定点迭代的收敛速度。
2019-02-20 cs.NA math.NA
On the Convergence of CROP-Anderson Acceleration Method
本文研究经典Anderson加速与CROP算法的复杂关联，分析二者收敛特性与内在联系并通过数值算例验证，为加速方法的实际应用及新型高效加速方案开发提供见解。
2024-10-04 cs.NA math.NA
Properties of Nonlinear GMRES Applied to the Preconditioned Richardson Iteration
University of Houston（休斯顿大学）
本文提出新的Anderson加速和非线性GMRES变体，用于加速预条件Richardson迭代，揭示了其与预条件GMRES的关系及单调性条件。
2026-03-27 cs.NA math.NA
Accelerating AI Performance using Anderson Extrapolation on GPUs
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Applied Physics Program, Physical Sciences and Engineering Division（物理科学与工程分部应用物理项目）；Extreme Computing Research Center, Computer, Electrical and Mathematical Sciences and Engineering Division（计算机、电气与数学科学与工程分部极端计算研究中心）
本文提出利用基于历史迭代窗口的Anderson外推法加速AI性能，通过识别交叉点减少收敛迭代次数，平衡速度、内存、准确性与稳定性，在训练和推理中均实现显著提升。
2024-12-19 cs.AI cs.LG cs.NA
A nonmonotone globalization framework for Anderson acceleration for contractive and nonexpansive fixed point problems
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
针对Anderson加速缺乏全局收敛保证的问题，提出非单调全局化框架，在保留局部加速的同时确保合同与非扩张映射的全局收敛，并给出参数选择规则，数值实验验证了鲁棒性与效率。
2026-09-25 cs.NA math.NA
Convergence Analysis of the Alternating Anderson-Picard Method for Nonlinear Fixed-point Problems
本文研究了非线性不动点问题中的交替Anderson-Picard（AAP）方法，通过建立其与multisecant-GMRES的等价性，证明AAP渐近收敛于Newton-GMRES方法，并得出其局部q-线性收敛性及收敛因子上界。
2025-07-11 cs.NA math.NA
On the Asymptotic Linear Convergence Speed of Anderson Acceleration, Nesterov Acceleration, and Nonlinear GMRES
University of Waterloo（滑铁卢大学）
我们考虑了不动点迭代$x_{k+1}=q(x_k)$的非线性加速收敛方法，包括Anderson加速（AA），非线性GMRES（NGMRES）和Nesterov型加速（对应于窗口大小为1的AA）.我们专注于不动点方法，收敛因子$ρ<1$渐近线性收敛，并解决了一个基本的完全光滑和非凸优化问题。人们经常观察到AA和NGMRES大大改善了定点迭代的渐近收敛行为，但这种改善尚未在理论上量化。我们在简化的条件下研究这个问题。首先，我们考虑固定版本的AA和NGMRES，并确定系数，导致最佳渐近收敛因子，给定知识的频谱$q'(x)$在固定点$x^*$。这使我们能够理解和量化的渐近收敛的改善，可以提供非线性收敛加速，查看$x_{k+1}=q(x_k)$作为AA和NGMRES的非线性预条件。其次，对于无限窗口的情况，我们考虑了GMRES应用于关于$x^*$线性化的不动点迭代的线性渐近收敛界。由于AA和NGMRES在线性情况下等同于GMRES，因此可以预期GMRES收敛因子与AA和NGMRES相关，如$x_k \rightarrow x^*$。我们的研究结果数值说明了一类测试问题的典型张量分解，比较最速下降和交替最小二乘（ALS）的固定点迭代加速AA和NGMRES。我们的数值试验表明，这两种方法使我们能够估计渐近收敛速度非平稳AA和NGMRES有限的窗口大小。
2020-11-07 cs.LG cs.NA math.NA
Linear Asymptotic Convergence of Anderson Acceleration: Fixed-Point Analysis
University of Waterloo（滑铁卢大学）
我们研究了AA（$m$）的渐近收敛性，即，用于加速不动点方法$x_{k+1}=q(x_{k})$、$x_k \in R^n$的具有窗口大小$m$的Anderson加速。加速收敛AA（$m$）已被广泛观察到，但没有得到很好的理解。我们考虑的情况下，不动点迭代函数$q(x)$是可微的和不动点方法本身的收敛是根线性的。我们用数值方法证明了AA（$m$）收敛的几个显著性质：第一，AA（$m$）序列$\{x_k\}$是根线性收敛的，但根线性收敛因子强烈依赖于初始条件;第二，当$\{x_k\}$收敛到$x^*$时，AA（$m$）加速系数$β^{(k)}$不收敛而是振荡。为了阐明这些意见，我们写的AA（$m$）迭代作为一个增广的不动点迭代$z_{k+1} =Ψ(z_k)$，$z_k \in R^{n(m+1)}$和分析的连续性和可微性的$Ψ(z)$和$β(z)$。我们发现加速度系数$β(z)$的向量在不动点$z^*$处是不连续的。然而，我们表明，尽管$β(z)$的不连续性，迭代函数$Ψ(z)$是Lipschitz连续的，并在$z^*$的AA（1）方向可微，我们推广到AA（$m$）与$m>1$的大多数情况下。此外，我们发现，$Ψ(z)$是不可微的$z^*$。然后，我们讨论这些理论研究结果与所观察到的AA（$m$）的收敛行为。$β(z)$在$z^*$处的不连续性允许$β^{(k)}$在$\{x_k\…
2022-05-03 cs.LG cs.NA math.NA
Stable Anderson Acceleration for Deep Learning
Oak Ridge National Laboratory（橡树岭国家实验室）
安德森加速（AA）是一种外推技术，旨在加速固定点迭代，如从DL模型的迭代训练中产生的迭代。训练DL模型需要以随机抽样批次处理的大型数据集，这往往会在定点迭代中引入幅度与批次大小大致成正比的随机振荡。这些振荡减少并偶尔消除AA的积极作用。为了恢复AA的优势，我们将其与自适应移动平均过程相结合，该过程平滑振荡并导致更有规律的梯度下降更新序列。通过监测连续迭代之间的相对标准差，我们还引入了一个标准来自动评估是否需要移动平均线。我们将该方法应用于以下DL实例：（i）在开源研究生招生数据集上训练的多层感知器（MLP）进行回归，（ii）在源数据上训练的物理信息神经网络（PINN）来求解2d和100 d Burgers偏微分方程（PDEs），以及（iii）ResNet 50在开源ImageNet 1 k数据集上训练，用于图像分类。在OLCF超级计算机Summit上使用多达1，536个NVIDIA V100 GPU获得的数值结果显示了移动平均线对上述所有问题的稳定效果。
2021-10-26 cs.LG cs.NA math.NA
Nonmonotone Globalization for Anderson Acceleration via Adaptive Regularization
针对Anderson加速（AA）的不稳定与停滞问题，提出基于非单调信赖域框架、自适应二次正则化及定制接受机制的AA全局化方法，兼具全局与AA同等局部收敛性，经数值实验验证有效。
2023-05-02 cs.NA math.NA math.OC
Asymptotic convergence of restarted Anderson acceleration for certain normal linear systems
本文研究重启大小为一的 Anderson 加速在线性对称或斜对称系统中的渐近收敛性，证明其最坏情况收敛因子严格优于原不动点迭代，并刻画初值依赖关系。
2025-05-12 cs.NA math.NA
Convergence Analysis for Restarted Anderson Mixing and Beyond
本文对重启 Anderson 混合方法进行统一收敛性分析，证明重启 Type-II AM 可局部加速不动点迭代，并提出基于 Jacobian 谱估计的自适应混合策略及对称情形下的短递推形式以降低内存开销。
2023-07-05 cs.NA math.NA
Anderson acceleration with approximate calculations: applications to scientific computing
本文为Anderson加速（AA）在求解线性问题时的近似计算提供了严格理论界限，并提出一种子空间维度动态调整的简化AA变体，在保持收敛性的同时显著减少计算时间。
2024-04-29 astro-ph.IM cs.NA math-ph
Accelerated implicitization: Robust fixed-point iterations arising from an explicit scheme
Pontificia Universidad Católica de Chile（智利天主教庞培大学）；Pontificia Universidad Católica de Valparaíso（智利天主教瓦尔帕莱索大学）；University of Oxford（牛津大学）
本文提出了一种通用策略，通过显式求解序列解决隐式时间离散化可能非线性问题，结合安德森加速缓解稳定性问题，验证了方法在非线性微分方程中的有效性和可扩展性。
2026-06-29 cs.NA math.NA
On the choice of optimization norm for Anderson acceleration of the Picard iteration for Navier-Stokes equations
本文研究Anderson加速应用于Navier-Stokes方程Picard迭代时优化范数的选择，证明$H^1_0$和$L^2$范数具有相似的收敛性，并通过数值实验发现$\ell^2$范数在粗网格下可能显著更差。
2025-09-23 cs.NA math.NA
Anderson Acceleration for Geometry Optimization and Physics Simulation
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
本文提出一种简单有效的技术，通过将局部-全局步骤视为固定点迭代，应用安德森加速以加速局部-全局求解器的收敛速度，并分析其与拟牛顿方法的联系。
2018-05-15 cs.GR cs.NA math.NA
Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）
本文研究具有积极流形识别性质的非光滑优化算法的Anderson加速技术，在驻点处具有积极流形的假设下证明了算法的局部R-线性收敛速率，并通过数值实验验证了其稳健性能。
2024-10-15 cs.LG cs.NA math.NA
Anderson accelerated fixed-stress splitting schemes for consolidation of unsaturated porous media
University of Bergen（卑尔根大学）；Princeton University（普林斯顿大学）
本文研究了非饱和材料非线性渗流力学的鲁棒线性化方法，提出三种结合固定应力分裂方案的线性化方法，通过安德森加速提高收敛性和稳定性，证明了其在固结问题中的有效性。
2018-05-11 cs.NA math.NA
Reduced order method based Anderson-type acceleration method for nonlinear least square problems and large scale ill-posed problems
North Carolina State University（北卡罗来纳州立大学）
本文提出一种基于降阶方法的加速技术，用于解决非线性最小二乘和大规模病态问题，通过优化解空间基底提升收敛性。
2025-11-27 cs.NA math.NA math.OC
Towards the Use of Anderson Acceleration in Coupled Transport-Gyrokinetic Turbulence Simulations
针对磁约束聚变等离子体模拟中输运与湍流时间尺度差异的问题，将Tango求解器与SUNDIALS中KINSOL的安德森加速功能对接，结合GPTune自动调参，实现了更快收敛并提升了鲁棒性。
2024-09-13 cs.NA math.NA physics.plasm-ph
lrAA: Low-Rank Anderson Acceleration
本研究提出低秩安德森加速（lrAA）框架，通过自适应截断容差调度和基于DEIM的Cross-DEIM交叉近似，高效求解非线性偏微分方程离散化产生的非线性矩阵方程低秩解，在多类问题上展现出优越性能。
2025-03-22 cs.NA math.NA
Fault Tolerance of Accelerated Asynchronous Fixed-Point Iterations on Flexible Computing Infrastructure
University of Mary Washington（玛丽华盛顿大学）；Old Dominion University（老道明大学）
研究异步迭代中收敛加速器（如Anderson加速）对掉队处理器引起的收敛退化的补偿效果，发现加速器在评估级扰动下有效，在迭代级损坏下失效。
2026-05-27 cs.DC cs.NA math.NA
A Fast Anderson-Chebyshev Acceleration for Nonlinear Optimization
King Abdullah University of Science and Technology（卡布斯大学）；Tsinghua University（清华大学）
本文提出了一种快速安德森-切比雪夫加速方法，用于非线性优化问题，该方法在二次函数上实现了最优收敛率O(√κ ln(1/ε))，并提供了通用非线性问题的收敛分析，同时提出了动态猜测超参数的算法。
2020-03-01 cs.LG cs.NA math.NA
GDA-AM: On the effectiveness of solving minimax optimization via Anderson Acceleration
Emory University（埃默里大学）；University of Minnesota（明尼苏达大学）
许多现代机器学习算法，如生成对抗网络（GANs）和对抗训练，都可以用极小极大优化来表示。梯度下降上升（GDA）由于其简单性而成为最常用的算法。然而，GDA可以收敛到非最优极大极小点。我们提出了一个新的极小极大优化框架，GDA-AM，将GDAdjunctions视为一个固定点迭代，并使用Anderson Mixing来解决它，以收敛到局部极小极大。它解决了同步GDA的发散问题，加速了交替GDA的收敛。在理论上证明了该算法在较弱的条件下对双线性问题具有全局收敛性。我们还实证表明，GDA-AM解决了各种极大极小问题，并改善了几个数据集上的GAN训练
2022-06-29 cs.LG cs.NA math.NA
Convergence and acceleration of a nonlinear fixed-point iteration for computing the Fitness Centrality of general graphs
Faculty of Sciences, Scuola Normale Superiore（高等师范学校理学院）
该研究针对一般图的适应度中心性计算，证明了对应非线性不动点迭代的全局收敛性与显式收敛界，并通过Anderson加速和牛顿切换策略提升收敛速度，数值实验验证了其有效性。
2026-09-01 cs.NA cs.SI math.NA
Acceleration methods for fixed point iterations
本文综述了旨在加速不动点迭代的加速技术，重点介绍了利用迭代值和不动点映射本身的Anderson Acceleration（AA）等方法，并探讨了其与Quasi-Newton和Inexact Newton方法的关联。
2025-07-15 cs.NA math.NA
Anderson Acceleration with Truncated Gram-Schmidt
本研究提出基于截断Gram-Schmidt的Anderson加速变体AATGS，其求解对称线性问题时满足三项递推以降低开销，证明了线性情形下与经典AA等价，数值实验验证了其在非线性问题中的有效性。
2024-07-16 cs.NA math.NA
Convergence analysis of adaptive DIIS algorithms with application to electronic ground state calculations
本文讨论一类求解不动点问题的一般算法，我们称之为\emph{Anderson--Pulay acceleration}。这个家族包括DIIS技术和它的变体，有时被称为加速器-DIIS，两者都是由Pulay在20世纪80年代引入的，以加速量子化学中自洽场程序的收敛，以及相关的安德森加速，可以追溯到20世纪60年代，以及他们启发的丰富技术。这种方法旨在通过组合几个迭代以在每一步生成下一个迭代来加速任何定点迭代法的收敛。该外推过程的特征在于其\emph{depth}，即存储的先前迭代的数量，其是该方法的效率的关键参数。它通常固定为经验值。在目前的工作中，我们考虑两个参数驱动的机制，让深度沿迭代变化。在第一种方法中，深度不断增长，直到不再满足某个非退化条件;然后丢弃存储的迭代（保存最后一个），方法“重新启动”。在第二种方法中，我们通过在每一步消除一些最老的、不太相关的迭代来不断调整深度。在一个抽象的和一般的设置，我们证明在自然的假设下，这两个自适应安德森-Pulay方法的局部收敛和加速，我们表明，理论上可以实现超线性收敛速率与他们每个人。然后，我们研究它们在量子化学计算中的行为。这些数值实验表明，这两个自适应变量表现出更快的收敛速度比标准的固定深度的计划，平均每次迭代所需的计算量更少。这项研究的补充是回顾已知的事实上的DIIS，特别是它的链接与安德森加速和一些多割线型拟牛顿法。
2021-11-18 cs.NA math.NA
A simple-to-implement nonlinear preconditioning of Newton's method for solving the steady Navier-Stokes equations
针对求解定常Navier-Stokes方程的Newton法易受初始猜测影响失效的问题，提出加入Anderson加速Picard步的AAPicard-Newton非线性预处理方法，扩大收敛域且保留二次收敛性，数值测试验证了理论结果。
2025-07-31 cs.NA math.NA
Analysis of the Picard-Newton iteration for the Navier-Stokes equations: global stability and quadratic convergence
本文提出并分析了Navier-Stokes方程的Picard-Newton两步迭代法，证明了其具有二次收敛性和更大的收敛域，且结合Anderson加速后在基准测试中表现更优。
2024-02-19 cs.NA math.NA
On the role of relaxation and acceleration in the non-overlapping Schwarz alternating method for coupling
Université de Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；Inria（法国国家数字科学研究所）；IRMA（数学与建模研究所）；Sandia National Laboratories（桑迪亚国家实验室）
本文研究了松弛与加速技术对域分解耦合中非重叠Schwarz算法收敛行为的影响，提出并比较了Aitken加速和Anderson加速方法，发现Anderson加速在多域设置中更有效。
2026-03-17 cs.NA math.NA
Convergence analysis of Anderson acceleration for nonlinear equations with Hölder continuous derivatives
Minnan Normal University（闽南师范大学）
本文在Jacobian为Hölder连续且不动点函数压缩的条件下，建立了Anderson加速求解非线性系统的一般深度局部R-线性收敛理论，并通过非对称Riccati方程验证了其在困难情形下显著减少迭代次数与计算时间的优势。
2026-10-05 cs.NA math.NA
Two-Level Sketching Alternating Anderson acceleration for Complex Physics Applications
Imagination Corp.（Imagination公司）；Department of Applied Mathematics, Fictional University（虚构大学应用数学系）；Instituto de Ingeniería Matemática y Computacional & Facultad de Ciencias Biológicas, Pontificia Universidad Católica de Chile（智利天主教大学数学与计算工程研究所及生物科学学院）；Centro de Modelamiento Matemático（数学建模中心）；Computational Sciences and Engineering Division, Oak Ridge National Laboratory（橡树岭国家实验室计算科学与工程部）
本文提出了一种两级草图扩展的交替安德森-皮卡德方法，用于加速由离散偏微分方程支配的挑战性单物理和多物理模拟中的固定点迭代。该方法结合了静态的物理投影，将最小二乘问题减少到最有信息的场（例如通过Schur补洞察），以及动态的代数草图阶段，由在Lipschitz连续性下的回溯稳定性分析驱动。引入了低成本的稳定性阈值估计器和缓存感知的随机选择策略，以平衡计算成本和内存访问开销。所得到的算法能够在原地求解缩减的最小二乘系统，最小化内存足迹，并无缝地在低成本的皮卡德更新和安德森混合之间交替。在Julia中实现的两级草图AAP方法在Stokes、p-Laplacian、Bidomain和Navier-Stokes公式等基准问题中，相比标准安德森加速方法，实现了高达50%的求解时间减少，而不会降低收敛速率。这些结果展示了该方法的鲁棒性、可扩展性和在高性能科学计算框架中的应用潜力。我们的实现已作为AAP.jl库开源。
2026-05-18 cs.NA math.NA
Composite Anderson acceleration method with dynamic window-sizes and optimized damping
在本文中，我们提出并分析了一套完全非平稳安德森加速算法与动态窗口大小和优化阻尼。虽然安德森加速（AA）已被用于加速非线性求解器在许多应用中的几十年，大多数作者只是使用和分析固定窗口大小和恒定阻尼因子的安德森加速（sAA）的静态版本。安德森加速方法的非定常版本的行为和潜力仍然是一个悬而未决的问题。因为最有效的线性求解器使用可组合的算法组件。类似的思想可以用于AA解决非线性系统。因此，在目前的工作中，开发非平稳安德森加速算法，我们首先提出了两个系统的方法来动态交替的窗口大小$m$的组成。在每次迭代中将sAA（m）与sAA（n）打包的一种简单方法是分别应用sAA（m）和sAA（n），然后对它们的结果求平均。它是一种添加剂复合组合。另一种更重要的方法是乘法复合组合，这意味着我们在外循环中应用sAA（m），在内循环中应用sAA（n）。通过这样做，可以取得显著的收益。其次，使AA是一个完全非平稳的算法，我们需要结合这些策略与我们最近的工作，非平稳安德森加速算法与优化阻尼（AAoptD），这是另一个重要的方向产生非平稳AA和良好的性能增益已被观察到。此外，我们还研究了在适当的假设下，这些非平稳AA方法的收敛速率。最后，我们的数值结果表明，这些建议的非平稳安德森加速算法收敛速度比平稳sAA方法，他们可能会显着减少存储和时间，找到解决方案，在许多情况下。
2022-03-28 cs.NA math.NA
A Unified Two-Grid Framework for Anderson Acceleration and Nonlinear GMRES
Tufts University（塔夫茨大学）；University of Houston（休斯顿大学）
本文提出统一两网格框架，将Anderson加速与非线性GMRES统一，并据此设计新变体，通过扩大粗空间提升性能，数值实验验证其优越性。
2026-09-14 cs.NA math.NA
Phase Retrieval from Local Measurements: Improved Robustness via Eigenvector-Based Angular Synchronization
Michigan State University（密歇根州立大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文改进了利用相关性测量的相位恢复方法，通过确定性测量构造和鲁棒快速恢复算法提升鲁棒性，理论误差保证和数值实验均优于现有方法。
2016-12-06 cs.NA math.NA
Accelerating the Uzawa Algorithm
Worcester Polytechnic Institute（伍斯特理工学院）
本文探讨利用Anderson加速改进Uzawa算法收敛性，对比预处理Uzawa算法在稳态斯托克斯和奥塞恩问题中的性能，证明加速版本收敛更快且与其他方法竞争性强。
2016-05-23 cs.NA math.NA
NGMRES convergence analysis and proof of acceleration for contractive and noncontractive iterations
University of Houston（休斯顿大学）；Clemson University（克莱姆森大学）；University of West Florida（西佛罗里达大学）
研究将NGMRES用于求解一般非线性系统的压缩和非压缩不动点迭代，分析其收敛性并证明加速机制，揭示相关重要量。通过数值结果展示该理论，包括加速对收敛的改善、预测线性收敛速率的准确性及在多方面的优势。
2026-09-07 cs.NA math.NA
