Non-stationary Anderson acceleration with optimized damping
安德森加速（AA）有很长的使用历史，最近的兴趣很强，由于其潜在的能力，显着改善的线性收敛的定点迭代。大多数作者只是简单地使用和分析固定版本的安德森加速度（sAA）与一个恒定的阻尼因子或没有阻尼。很少有人关注非平稳算法。然而，阻尼可能是有用的，有时是至关重要的模拟中，底层的不动点算子不是全局收缩。这个阻尼系数的作用还没有完全了解。在目前的工作中，我们认为非平稳安德森加速算法与优化阻尼（AAoptD）在每一次迭代，以进一步加快线性和非线性迭代通过应用一个额外的廉价优化。我们分析了这个过程，并制定了一个有效的和廉价的实施方案。我们还表明，与固定窗口大小sAA（m）的静态Anderson加速相比，优化阻尼因子与每次迭代中动态包装sAA（m）和sAA（1）有关（交替窗口大小$m$是产生非静态AA的另一个方向）。此外，我们通过大量的数值实验表明，所提出的非平稳安德森加速度与优化的阻尼程序往往比固定AA恒定阻尼或无阻尼收敛得更快。
2022-02-10 cs.NA math.NA
On the Convergence of CROP-Anderson Acceleration Method
本文研究经典Anderson加速与CROP算法的复杂关联，分析二者收敛特性与内在联系并通过数值算例验证，为加速方法的实际应用及新型高效加速方案开发提供见解。
2024-10-04 cs.NA math.NA
Composite Anderson acceleration method with dynamic window-sizes and optimized damping
在本文中，我们提出并分析了一套完全非平稳安德森加速算法与动态窗口大小和优化阻尼。虽然安德森加速（AA）已被用于加速非线性求解器在许多应用中的几十年，大多数作者只是使用和分析固定窗口大小和恒定阻尼因子的安德森加速（sAA）的静态版本。安德森加速方法的非定常版本的行为和潜力仍然是一个悬而未决的问题。因为最有效的线性求解器使用可组合的算法组件。类似的思想可以用于AA解决非线性系统。因此，在目前的工作中，开发非平稳安德森加速算法，我们首先提出了两个系统的方法来动态交替的窗口大小$m$的组成。在每次迭代中将sAA（m）与sAA（n）打包的一种简单方法是分别应用sAA（m）和sAA（n），然后对它们的结果求平均。它是一种添加剂复合组合。另一种更重要的方法是乘法复合组合，这意味着我们在外循环中应用sAA（m），在内循环中应用sAA（n）。通过这样做，可以取得显著的收益。其次，使AA是一个完全非平稳的算法，我们需要结合这些策略与我们最近的工作，非平稳安德森加速算法与优化阻尼（AAoptD），这是另一个重要的方向产生非平稳AA和良好的性能增益已被观察到。此外，我们还研究了在适当的假设下，这些非平稳AA方法的收敛速率。最后，我们的数值结果表明，这些建议的非平稳安德森加速算法收敛速度比平稳sAA方法，他们可能会显着减少存储和时间，找到解决方案，在许多情况下。
2022-03-28 cs.NA math.NA
Anderson Acceleration For Perturbed Newton Methods
University of Dallas（达拉斯大学）
本文提出了一种基于安德森加速的扰动牛顿方法，用于提高非线性问题求根的收敛速度，并展示了其在莱文伯格-马尔夸德方法中的应用。
2025-12-01 cs.NA math.NA
Improved convergence of the Arrow-Hurwicz iteration for the Navier-Stokes equation via grad-div stabilization and Anderson acceleration
为了加速算法，我们考虑了求解不可压定常Navier-斯托克斯方程的Arrow-Hurwicz（AH）迭代的两种改进：梯度-div稳定化和Anderson加速。AH是一般鞍点线性系的经典迭代，70年代又被推广到Navier-Stokes迭代，最近又开始研究。我们应用最近发展的思想梯度div稳定和发散自由有限元法随着安德森加速的不动点迭代AH，以提高其收敛性。分析和数值结果表明，这些方法都提高了AH收敛性，但它们的组合产生一个高效和有效的方法，更常用的求解器是有竞争力的。
2022-03-03 cs.NA math.NA
A Generalized Alternating Anderson Acceleration Method
University of Houston（休斯顿大学）；Charles University（查理大学）
本文提出了一种通用的交替安德森加速方法，通过结合固定点迭代和安德森加速步骤，提高求解线性和非线性问题的效率。
2026-01-30 cs.NA math.NA
Anderson Acceleration Based on the $\mathcal{H}^{-s}$ Sobolev Norm for Contractive and Noncontractive Fixed-Point Operators
安德森加速（AA）是一种加速不动点迭代收敛的技术。在本文中，我们应用AA的函数序列和修改的规范，在其内部最优化问题的$\mathcal{H}^{-s}$规范，为一些正整数$s$，偏向于低频谱内容的残留。我们通过量化AA相对于Picard迭代的改进来分析AA的收敛性。我们发现基于$\mathcal{H}^{-2}$范数的AA非常适合于求解由二阶椭圆型微分算子衍生的不动点算子，包括Helmholtz方程。
2021-09-11 cs.NA math.NA
Acceleration of nonlinear solvers for natural convection problems
本文发展了一种有效的和强大的解决方案技术的定常Boussinesq模型的非等温流动使用安德森加速应用于皮卡德迭代。在分析了与非线性迭代相关的不动点算子，证明了其稳定性和正则性之后，应用作者最近建立的Anderson加速理论，得到了Boussinesq系统的Anderson加速Picard迭代的收敛性结果.结果表明，残差中的首项通过最优化问题中的增益得到改善，但代价是额外的高阶项，当残差较大时，高阶项可能是显著的。我们进行数值试验，说明了理论，并表明，2阶段的选择安德森深度可以是有利的。我们还考虑安德森加速应用到牛顿迭代的Boussinesq方程，并观察到，加速允许牛顿迭代收敛显着更高的瑞利数，它可以没有加速，即使用标准的线搜索。
2020-04-14 cs.NA math.NA
Anderson acceleration for a regularized Bingham model
本文研究了描述粘塑性流动的正则化Bingham方程的有限元离散。提出了一种有效的非线性求解器的离散模型，然后进行了分析。求解器是基于安德森加速（AA）应用到皮卡德迭代，我们显示加速收敛的方法，通过应用AA理论（最近开发的作者）的迭代，后显示足够的光滑性相关的不动点运营商。提供了空间收敛的数值测试，作为2D和3D驱动腔模拟模型的结果。对于每个数值测试，所提出的非线性求解器也进行了测试，并证明是非常有效的和强大的正则化参数，因为它去零。
2022-12-08 cs.NA math.NA
Convergence of Constrained Anderson Acceleration
证明了约束Anderson加速外推格式的非渐近线性收敛速率。这些保证来自新的上界的约束切比雪夫问题，其中包括在最小化的最大绝对值的多项式在一个有界的实区间$l_1$限制其系数向量。约束Anderson加速格式的数值代价与原格式相当。
2020-10-29 cs.NA math.NA math.OC
Efficient Solution of Generalized Sylvester Equations via Preconditioned Alternating Anderson Acceleration
Nanchang University（南昌大学）；Nanchang Hangkong University（南昌航空大学）；Fujian Agriculture and Forestry University（福建农林大学）；Dalian University of Technology（大连理工大学）
本文提出预条件交替安德森加速法，用于高效求解广义Sylvester矩阵方程，通过预条件固定点迭代与安德森加速更新交替进行，提升收敛速度与计算效率，实验显示其在中等和大规模问题中表现优异。
2026-04-17 cs.NA math.NA
A short report on preconditioned Anderson acceleration method
本研究提出一种用于不动点迭代的预处理安德森加速（PAA）方法，可灵活平衡收敛速度与计算成本，适配不同非线性问题，通过多种预处理策略及延迟更新策略提升收敛性与鲁棒性，涵盖多种经典不动点迭代技术。
2023-10-06 cs.NA math.NA
A nonmonotone globalization framework for Anderson acceleration for contractive and nonexpansive fixed point problems
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
针对Anderson加速缺乏全局收敛保证的问题，提出非单调全局化框架，在保留局部加速的同时确保合同与非扩张映射的全局收敛，并给出参数选择规则，数值实验验证了鲁棒性与效率。
2026-09-25 cs.NA math.NA
Superlinear convergence of Anderson accelerated Newton's method for solving stationary Navier-Stokes equations
本文研究了用Anderson加速的Newton迭代法求解不可压定常Navier-斯托克斯方程的性能。我们表明，该方法收敛超线性与一个良好的初始猜测，而且，较大的安德森深度减慢收敛速度相比，较小的安德森深度。我们观察到，数值试验证实了这些分析收敛的结果，此外，安德森加速有时扩大了牛顿法的收敛域。
2022-02-14 cs.NA math.NA
Enabling fast convergence of the iterated penalty Picard iteration with $O(1)$ penalty parameter for incompressible Navier-Stokes via Anderson acceleration
本文考虑了求解不可压斯托克斯方程的经典迭代罚Picard（IPP）方法的一个改进，其中我们将注意力限制在$O(1)$罚参数上，并使用Anderson加速（AA）来显著改善其收敛性。在证明与IPP迭代相关的不动点算子是Lipschitz连续和Lipschitz连续（Frechet）可微的之后，我们应用最近开发的AA的一般理论得出结论，用AA增强的IPP通过与底层AA最优化问题相关的增益因子来提高其线性收敛速率。几个具有挑战性的数值试验的结果表明，IPP与罚参数1和增强AA是一个非常有效的解决方案。
2021-05-19 cs.NA math.NA
Filtering for Anderson acceleration
本文介绍、分析和论证了一种有效的、理论上合理的滤波策略，以保证在安德森加速的每次迭代中最小二乘问题得到解决的条件。过滤策略由两个步骤组成：第一个控制最小二乘矩阵的列之间的长度差异，第二个对该矩阵的列所跨越的子空间之间的角度实施下界。所示的组合策略，以控制在每次迭代的最小二乘矩阵的条件数。该方法被证明是有效的一系列问题的基础上离散的偏微分方程。它被证明是特别有效的问题，其中的初始位置可能远离解决方案，并通过不同的前渐近和渐近阶段的进展。
2023-02-23 cs.NA math.NA
On Large Scale Diagonalization Techniques for the Anderson Model of Localization
针对安德森局域化模型中的大规模稀疏实对称不定矩阵特征值问题，提出基于最大加权匹配和代数多层不完全LDL^T分解的预处理算法，显著加速了内部特征值的计算。
2005-08-05 cs.NA math.NA
Anderson-type acceleration method for Deep Neural Network optimization
Department of Mathematics, Graduate Program of Operations Research, Center for Research in Scientific Computation, North Carolina State University（北卡罗来纳州立大学数学系、运筹学研究生项目、科学计算研究中心）；Grauate Program of Operations Research, North Carolina State University（北卡罗来纳州立大学运筹学研究生项目）
本文提出了一种安德森型加速方法，用于提升深度神经网络和卷积神经网络的优化效果。
2025-12-10 cs.NA math.NA math.OC
On the role of relaxation and acceleration in the non-overlapping Schwarz alternating method for coupling
Université de Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；Inria（法国国家数字科学研究所）；IRMA（数学与建模研究所）；Sandia National Laboratories（桑迪亚国家实验室）
本文研究了松弛与加速技术对域分解耦合中非重叠Schwarz算法收敛行为的影响，提出并比较了Aitken加速和Anderson加速方法，发现Anderson加速在多域设置中更有效。
2026-03-17 cs.NA math.NA
Convergence analysis of Anderson acceleration for nonlinear equations with Hölder continuous derivatives
Minnan Normal University（闽南师范大学）
本文在Jacobian为Hölder连续且不动点函数压缩的条件下，建立了Anderson加速求解非线性系统的一般深度局部R-线性收敛理论，并通过非对称Riccati方程验证了其在困难情形下显著减少迭代次数与计算时间的优势。
2026-10-05 cs.NA math.NA
Anderson acceleration of a Picard solver for the Oldroyd-B model of viscoelastic fluids
本文研究了描述不可压缩粘弹性流体流动的 Oldroyd-B 系统的迭代非线性求解器，证明了其满足 Anderson 加速（AA）框架的必要条件，并证实 AA 能提升求解器线性收敛速度及在增加 Weissenberg 数时的收敛能力。
2025-02-01 cs.NA math.NA
Anderson acceleration for contractive and noncontractive operators
给出了具有一般算法深度的Anderson加速的一步分析。在收缩和非收缩设置内得到的残差界限揭示了高阶项和低阶项的贡献之间的平衡，这两者都依赖于在算法的每个步骤中解决的最优化问题的成功。新的残差界限显示，由外推法引入的附加项产生的项比以前理解的项具有更高的阶数。在收缩设置，这些界限锐化以前的收敛和加速结果。边界依赖于连续残差之间的差异的足够的线性独立性，而不是假设的优化系数的有界性，允许引入一个理论上合理的保障策略。几个数值试验说明了主要在非收缩设置的分析，并演示了使用的方法，保障策略，和理论为基础的指导动态选择的算法深度，对p-Laplace方程，非线性Helmholtz方程，和稳定的Navier-斯托克斯方程与高雷诺数在三维空间。
2020-10-26 cs.NA math.NA
Anderson-accelerated convergence of Picard iterations for incompressible Navier-Stokes equations
University of Florida（佛罗里达大学）；Clemson University（克莱姆森大学）；College of William & Mary（威廉与玛丽学院）
本文提出并分析了用于求解不可压缩纳维-斯托克斯方程的Anderson加速Picard迭代方法，证明了该方法能提高Picard迭代的收敛速度，尤其在高雷诺数情况下表现显著，为传统Picard和牛顿迭代失效时提供了可行的解决方案。
2018-10-19 cs.NA math.NA
Newton-Anderson at Singular Points
本文研究了 Jacobi 矩阵奇异时 Newton-Anderson 方法的收敛与加速理论，提出了一种有理论支持的保障策略，并通过基准示例验证了其有效性。
2023-10-26 cs.NA math.NA
Anderson Acceleration with Truncated Gram-Schmidt
本研究提出基于截断Gram-Schmidt的Anderson加速变体AATGS，其求解对称线性问题时满足三项递推以降低开销，证明了线性情形下与经典AA等价，数值实验验证了其在非线性问题中的有效性。
2024-07-16 cs.NA math.NA
Two-Level Sketching Alternating Anderson acceleration for Complex Physics Applications
Imagination Corp.（Imagination公司）；Department of Applied Mathematics, Fictional University（虚构大学应用数学系）；Instituto de Ingeniería Matemática y Computacional & Facultad de Ciencias Biológicas, Pontificia Universidad Católica de Chile（智利天主教大学数学与计算工程研究所及生物科学学院）；Centro de Modelamiento Matemático（数学建模中心）；Computational Sciences and Engineering Division, Oak Ridge National Laboratory（橡树岭国家实验室计算科学与工程部）
本文提出了一种两级草图扩展的交替安德森-皮卡德方法，用于加速由离散偏微分方程支配的挑战性单物理和多物理模拟中的固定点迭代。该方法结合了静态的物理投影，将最小二乘问题减少到最有信息的场（例如通过Schur补洞察），以及动态的代数草图阶段，由在Lipschitz连续性下的回溯稳定性分析驱动。引入了低成本的稳定性阈值估计器和缓存感知的随机选择策略，以平衡计算成本和内存访问开销。所得到的算法能够在原地求解缩减的最小二乘系统，最小化内存足迹，并无缝地在低成本的皮卡德更新和安德森混合之间交替。在Julia中实现的两级草图AAP方法在Stokes、p-Laplacian、Bidomain和Navier-Stokes公式等基准问题中，相比标准安德森加速方法，实现了高达50%的求解时间减少，而不会降低收敛速率。这些结果展示了该方法的鲁棒性、可扩展性和在高性能科学计算框架中的应用潜力。我们的实现已作为AAP.jl库开源。
2026-05-18 cs.NA math.NA
On a blended Anderson / NGMRES acceleration for the Navier-Stokes Picard iteration: convergence analysis and adaptive depth selection
University of Houston（休斯顿大学）；Clemson University（克莱姆森大学）
本文提出了一种改进的安德森加速方法（AAg），通过优化问题的增益加速Navier-Stokes方程的Picard迭代收敛，并提供了其线性收敛速率的精确预测，同时展示了该方法在不可压缩流体中的有效性。
2026-09-07 cs.NA math.NA
A Column-Wise Reflection Method with Safeguarded Anderson Acceleration for the Continuous Sylvester Matrix Equation
School of Mathematics and Statistics, Anhui University of Finance and Economics（安徽财经大学数学与统计学院）
提出带保护的Anderson加速反射（SAAR）方法求解连续Sylvester方程，通过逐列反射内迭代与残差保护的外层Anderson加速，实现线性收敛并显著减少迭代次数与CPU时间。
2026-10-07 cs.NA math.NA
lrAA: Low-Rank Anderson Acceleration
本研究提出低秩安德森加速（lrAA）框架，通过自适应截断容差调度和基于DEIM的Cross-DEIM交叉近似，高效求解非线性偏微分方程离散化产生的非线性矩阵方程低秩解，在多类问题上展现出优越性能。
2025-03-22 cs.NA math.NA
A Unified Two-Grid Framework for Anderson Acceleration and Nonlinear GMRES
Tufts University（塔夫茨大学）；University of Houston（休斯顿大学）
本文提出统一两网格框架，将Anderson加速与非线性GMRES统一，并据此设计新变体，通过扩大粗空间提升性能，数值实验验证其优越性。
2026-09-14 cs.NA math.NA
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
Nonmonotone Globalization for Anderson Acceleration via Adaptive Regularization
针对Anderson加速（AA）的不稳定与停滞问题，提出基于非单调信赖域框架、自适应二次正则化及定制接受机制的AA全局化方法，兼具全局与AA同等局部收敛性，经数值实验验证有效。
2023-05-02 cs.NA math.NA math.OC
Residual Recombination Methods as Anderson-like Acceleration: An Algebraic Interpretation of BoostConv
University of Salerno（萨莱诺大学）；Alma Mater Studiorum Università di Bologna（博洛尼亚大学）
本文提出更稳健的BoostConv算法并首次证明其收敛性，通过数值示例展示其在不同问题中的鲁棒性和实用性，填补了经验表现与严谨分析之间的差距。
2026-11-03 cs.NA math.NA
A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)
Clemson University（克莱姆森大学）；University of Florida（佛罗里达大学）；College of William & Mary（威廉玛丽学院）
本文证明了安德森加速（AA）能够提升一般固定点迭代的收敛速度，但无法提升二次收敛的固定点迭代的收敛速度。
2019-02-20 cs.NA math.NA
The Dynamical Anatomy of Anderson Acceleration:From Adaptive Momentum to Variable-Mass ODEs
College of Mathematics and Statistics, Nanjing University of Information Science and Technology（南京信息工程大学数学与统计学院）；Delft Institute of Applied Mathematics, Delft University of Technology（代尔夫特理工大学应用数学研究所）
本文通过高分辨率ODE分析，揭示安德森加速的物理本质，提出能量保护的EG-AA算法，提升优化收敛稳定性与速率。
2025-12-29 cs.NA math.NA math.OC
Anderson accelerated fixed-stress splitting schemes for consolidation of unsaturated porous media
University of Bergen（卑尔根大学）；Princeton University（普林斯顿大学）
本文研究了非饱和材料非线性渗流力学的鲁棒线性化方法，提出三种结合固定应力分裂方案的线性化方法，通过安德森加速提高收敛性和稳定性，证明了其在固结问题中的有效性。
2018-05-11 cs.NA math.NA
Reduced order method based Anderson-type acceleration method for nonlinear least square problems and large scale ill-posed problems
North Carolina State University（北卡罗来纳州立大学）
本文提出一种基于降阶方法的加速技术，用于解决非线性最小二乘和大规模病态问题，通过优化解空间基底提升收敛性。
2025-11-27 cs.NA math.NA math.OC
GDA-AM: On the effectiveness of solving minimax optimization via Anderson Acceleration
Emory University（埃默里大学）；University of Minnesota（明尼苏达大学）
许多现代机器学习算法，如生成对抗网络（GANs）和对抗训练，都可以用极小极大优化来表示。梯度下降上升（GDA）由于其简单性而成为最常用的算法。然而，GDA可以收敛到非最优极大极小点。我们提出了一个新的极小极大优化框架，GDA-AM，将GDAdjunctions视为一个固定点迭代，并使用Anderson Mixing来解决它，以收敛到局部极小极大。它解决了同步GDA的发散问题，加速了交替GDA的收敛。在理论上证明了该算法在较弱的条件下对双线性问题具有全局收敛性。我们还实证表明，GDA-AM解决了各种极大极小问题，并改善了几个数据集上的GAN训练
2022-06-29 cs.LG cs.NA math.NA
Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）
本文研究具有积极流形识别性质的非光滑优化算法的Anderson加速技术，在驻点处具有积极流形的假设下证明了算法的局部R-线性收敛速率，并通过数值实验验证了其稳健性能。
2024-10-15 cs.LG cs.NA math.NA
Fast K-Means Clustering with Anderson Acceleration
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
本文提出了一种加速K均值聚类Lloyd算法的新方法，通过将Lloyd算法的分配和更新步骤视为固定点迭代，并应用安德森加速技术，动态调整参数m以实现鲁棒且一致的加速效果。
2018-05-27 cs.LG cs.NA math.NA
A Fast Anderson-Chebyshev Acceleration for Nonlinear Optimization
King Abdullah University of Science and Technology（卡布斯大学）；Tsinghua University（清华大学）
本文提出了一种快速安德森-切比雪夫加速方法，用于非线性优化问题，该方法在二次函数上实现了最优收敛率O(√κ ln(1/ε))，并提供了通用非线性问题的收敛分析，同时提出了动态猜测超参数的算法。
2020-03-01 cs.LG cs.NA math.NA
A new cross approximation for Tucker tensors and its application in Tucker-Anderson Acceleration
本文提出Cross$^2$-DEIM交叉逼近和Tucker-AA低秩求解器，分别用于高效构造Tucker张量逼近和加速三维非线性张量方程求解。
2025-09-23 cs.NA math.NA
A Projection Anderson Acceleration Algorithm for Non-quasi-monotone Variational Inequalities with Hölder Continuous Terms
The Hong Kong Polytechnic University（香港理工大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出投影安德森加速（PAA）算法求解含Hölder连续项的非拟单调变分不等式，建立其评估复杂度，通过数值例子验证理论结果。
2026-10-14 cs.NA math.NA math.OC
Anderson Accelerated PMHSS for Complex-Symmetric Linear Systems
本文提出 AA-PMHSS 方法求解复对称线性系统，通过更快计算预处理子，在电磁学等问题中展现出优于预处理 GMRES 的性能且收敛速率与离散化尺寸无关。
2023-08-01 cs.NA math.NA
Improved Convergence Factor of Windowed Anderson Acceleration for Symmetric Fixed-Point Iterations
本文针对对称不动点迭代的加窗安德森加速算法，首次证明其在线性对称算子及非线性对称雅可比场景下的收敛因子提升效果，并通过仿真和泰勒M估计实验验证了算法的优越性。
2025-07-31 cs.NA math.NA math.OC
Anderson Acceleration for Geometry Optimization and Physics Simulation
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
本文提出一种简单有效的技术，通过将局部-全局步骤视为固定点迭代，应用安德森加速以加速局部-全局求解器的收敛速度，并分析其与拟牛顿方法的联系。
2018-05-15 cs.GR cs.NA math.NA
Towards the Use of Anderson Acceleration in Coupled Transport-Gyrokinetic Turbulence Simulations
针对磁约束聚变等离子体模拟中输运与湍流时间尺度差异的问题，将Tango求解器与SUNDIALS中KINSOL的安德森加速功能对接，结合GPTune自动调参，实现了更快收敛并提升了鲁棒性。
2024-09-13 cs.NA math.NA physics.plasm-ph
Stable Anderson Acceleration for Deep Learning
Oak Ridge National Laboratory（橡树岭国家实验室）
安德森加速（AA）是一种外推技术，旨在加速固定点迭代，如从DL模型的迭代训练中产生的迭代。训练DL模型需要以随机抽样批次处理的大型数据集，这往往会在定点迭代中引入幅度与批次大小大致成正比的随机振荡。这些振荡减少并偶尔消除AA的积极作用。为了恢复AA的优势，我们将其与自适应移动平均过程相结合，该过程平滑振荡并导致更有规律的梯度下降更新序列。通过监测连续迭代之间的相对标准差，我们还引入了一个标准来自动评估是否需要移动平均线。我们将该方法应用于以下DL实例：（i）在开源研究生招生数据集上训练的多层感知器（MLP）进行回归，（ii）在源数据上训练的物理信息神经网络（PINN）来求解2d和100 d Burgers偏微分方程（PDEs），以及（iii）ResNet 50在开源ImageNet 1 k数据集上训练，用于图像分类。在OLCF超级计算机Summit上使用多达1，536个NVIDIA V100 GPU获得的数值结果显示了移动平均线对上述所有问题的稳定效果。
2021-10-26 cs.LG cs.NA math.NA
Accelerating the Improved Arrow--Hurwicz Iteration via the Anderson Algorithm for Steady-State Navier--Stokes Equations
Hacettepe University（哈克特佩大学）；Balikesir University（巴勒基尔大学）；Southern Methodist University（南方卫理公会大学）
该研究将安德森加速应用于改进的Arrow–Hurwicz方法，通过将其迭代重表述为非线性不动点算子并验证光滑性，大幅减少了稳态Navier–Stokes方程求解的迭代次数与CPU时间，且保持了收敛特性。
2026-09-02 cs.NA math.NA
Anderson Acceleration for Seismic Inversion
最新的地震成像技术将诸如FWI和LSRTM的反演任务视为PDE约束的最优化问题。由于大规模的性质，基于梯度的优化算法在实践中是优选的，以迭代地更新模型。高阶方法收敛于较少的迭代，但通常需要更高的计算成本，更多的线搜索步骤和更大的内存存储。必须考虑这些方面之间的平衡。我们建议使用安德森加速（AA），一种流行的策略，以加快收敛的固定点迭代，加速最速下降算法，我们创新地对待作为一个固定点迭代。独立的未知参数的维数，实现该方法的计算成本可以降低到一个非常低维的最小二乘问题。通过低秩更新可以进一步降低成本。我们讨论了AA和其他著名的最优化方法，如L-BFGS和重新启动GMRES之间的理论联系和差异，并比较它们的计算成本和内存需求。FWI和LSRTM应用于Marmousi基准的数值例子证明了AA的加速效果。与最速下降法相比，AA法具有收敛速度快，计算结果与某些拟牛顿法相当的优点，是一种很有吸引力的地震反演优化策略。
2020-11-13 cs.NA math.NA math.OC
Anderson Accelerated Primal-Dual Hybrid Gradient for solving LP
School of Mathematical Sciences, University of Southampton（南安普顿大学数学科学学院）
研究如何将安德森加速集成到PDHG方法来求解LP问题，提出AA-PDHG框架并建立其全局收敛性，给出过滤变体FAA-PDHG。实验表明AA-PDHG和FAA-PDHG比普通PDHG显著加速，确立安德森加速可替代重启机制。
2026-07-14 cs.NA math.NA math.OC
On the Asymptotic Linear Convergence Speed of Anderson Acceleration, Nesterov Acceleration, and Nonlinear GMRES
University of Waterloo（滑铁卢大学）
我们考虑了不动点迭代$x_{k+1}=q(x_k)$的非线性加速收敛方法，包括Anderson加速（AA），非线性GMRES（NGMRES）和Nesterov型加速（对应于窗口大小为1的AA）.我们专注于不动点方法，收敛因子$ρ<1$渐近线性收敛，并解决了一个基本的完全光滑和非凸优化问题。人们经常观察到AA和NGMRES大大改善了定点迭代的渐近收敛行为，但这种改善尚未在理论上量化。我们在简化的条件下研究这个问题。首先，我们考虑固定版本的AA和NGMRES，并确定系数，导致最佳渐近收敛因子，给定知识的频谱$q'(x)$在固定点$x^*$。这使我们能够理解和量化的渐近收敛的改善，可以提供非线性收敛加速，查看$x_{k+1}=q(x_k)$作为AA和NGMRES的非线性预条件。其次，对于无限窗口的情况，我们考虑了GMRES应用于关于$x^*$线性化的不动点迭代的线性渐近收敛界。由于AA和NGMRES在线性情况下等同于GMRES，因此可以预期GMRES收敛因子与AA和NGMRES相关，如$x_k \rightarrow x^*$。我们的研究结果数值说明了一类测试问题的典型张量分解，比较最速下降和交替最小二乘（ALS）的固定点迭代加速AA和NGMRES。我们的数值试验表明，这两种方法使我们能够估计渐近收敛速度非平稳AA和NGMRES有限的窗口大小。
2020-11-07 cs.LG cs.NA math.NA
On the Asymptotic Linear Convergence Speed of Anderson Acceleration Applied to ADMM
University of Waterloo（滑铁卢大学）
实验结果表明，当乘子的交替方向法（ADMM）自身线性收敛时，安德森加速（AA）可以有效地提高ADMM的渐近线性收敛速度.然而，量化这种改善的理论结果还不存在。在本文中，我们解释和量化这种改进的线性渐近收敛速度的特殊情况下，固定版本的AA适用于ADMM。我们这样做，考虑ADMM的雅可比矩阵的频谱特性和固定版本的AA评估在不动点，其中的固定AA方法的系数计算，使其渐近线性收敛因子是最佳的。最佳的线性收敛因素，这种固定的AA-ADMM方法计算分析或优化，根据以前的工作最佳固定AA加速度。使用这个频谱图和这些分析结果，我们的方法提供了新的见解如何以及有多少固定AA方法可以提高ADMM的渐近线性收敛因子。数值结果还表明，定常AA方法的最优线性收敛因子给出了实际应用中非定常AA方法的渐近线性收敛速度的一个有用估计.
2020-11-30 cs.LG cs.NA math.NA
Accelerating the Uzawa Algorithm
Worcester Polytechnic Institute（伍斯特理工学院）
本文探讨利用Anderson加速改进Uzawa算法收敛性，对比预处理Uzawa算法在稳态斯托克斯和奥塞恩问题中的性能，证明加速版本收敛更快且与其他方法竞争性强。
2016-05-23 cs.NA math.NA
