Performance of Low Synchronization Orthogonalization Methods in Anderson Accelerated Fixed Point Solvers
针对Anderson加速(AA)因全局归约同步步骤多导致并行性能受限的问题,提出三种低同步正交化算法并集成到SUNDIALS的AA中,将每次迭代全局归约次数降至常数级,经CPU和多GPU实验验证,在并行强扩展极限下性能提升且收敛可靠。
2021-10-19 cs.NA math.NA
An efficient splitting iteration for a CDA-accelerated solver for incompressible flow problems
Clemson University(克莱姆森大学);Oak Ridge National Laboratory(橡树岭国家实验室)
提出一种高效分裂迭代法,通过连续数据同化(CDA)结合Yosida型代数分裂与grad-div稳定化,加速不可压缩定常Navier-Stokes方程的Picard型求解器,在保持收敛速度的同时提升计算效率。
2025-09-16 cs.NA math.NA
General Framework and Error Estimates for ROM-accelerated Fixed Point Iterations
Université Laval(拉瓦尔大学)
提出一种通用框架,利用在线降阶模型加速不动点迭代,无需离线训练;基于非精确不动点理论保证误差在用户容差内,并应用于块Gauss-Seidel求解PDE系统。
2026-06-18 cs.NA math.NA
On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent
对偶一阶方法是求解大规模约束凸优化问题的基本方法。然而,当恢复原始解时,我们需要$T(ε^{-2})$迭代来获得$ε$ -最优原始解,当我们将算法应用于具有$T(ε^{-1})$迭代的非强凸对偶问题以获得$ε$ -最优对偶解时,其中$T(x)$可以是$x$或$\sqrt{x}$。本文证明了对于加速随机对偶坐标上升,原解和对偶解的迭代复杂性具有相同的$O\left(\frac{1}{\sqrtε}\right)$数量级。当对偶函数进一步满足二次函数增长条件时,通过在任意时间段重新启动算法,即使条件数未知,我们也建立了原解和对偶解的线性迭代复杂度。当应用于正则化的经验风险最小化问题时,我们证明了$O\left(n\log n+\sqrt{\frac{n}ε}\right)$在原始空间和对偶空间中的迭代复杂性,其中$n$是样本数。与基于平滑/正则化或催化剂还原的方法相比,我们的结果去掉了$\left(\log \frac{1}ε\right)$因子。据我们所知,这是第一次建立了基于对偶坐标上升的随机算法在原空间中的最优$O\left(\sqrt{\frac{n}ε}\right)$迭代复杂度。我们还建立了一些非光滑损失问题的加速线性复杂度,即,最小一乘偏差和SVM。
2019-08-15 cs.NA math.NA math.OC
FEAST as a Subspace Iteration Eigensolver Accelerated by Approximate Spectral Projection
计算埃尔米特矩阵或矩阵束的一段特征值及其对应的特征向量有许多应用。最近提出了一种新的基于密度矩阵的算法,并开发了一个软件包FEAST。密度矩阵方法允许FEAST的实现利用现代计算机体系结构的关键优势,即多层次的并行性。因此,该软件包受到了好评,特别是在电子结构界。然而,对FEAST的理论分析却相对滞后。例如,FEAST算法尚未被证明收敛。本文对FEAST进行了详细的数值分析。特别是,我们表明,FEAST算法可以被理解为一个加速子空间迭代算法结合瑞利-里兹过程。FEAST的新颖之处在于它的加速器,这是一个合理的矩阵函数,近似的光谱投影到本征空间的问题。这种近似的光谱投影仪和FEAST算法中产生的子空间的数值性质的分析建立了算法的收敛性。本文表明,FEAST是弹性的舍入误差,并建立属性,可以利用,以提高算法的鲁棒性。最后,我们提出了一个扩展的FEAST处理非埃尔米特问题,并提出了一些未来的研究方向。
2014-01-20 cs.MS cs.NA math.NA
Accelerated implicitization: Robust fixed-point iterations arising from an explicit scheme
Pontificia Universidad Católica de Chile(智利天主教庞培大学);Pontificia Universidad Católica de Valparaíso(智利天主教瓦尔帕莱索大学);University of Oxford(牛津大学)
本文提出了一种通用策略,通过显式求解序列解决隐式时间离散化可能非线性问题,结合安德森加速缓解稳定性问题,验证了方法在非线性微分方程中的有效性和可扩展性。
2026-06-29 cs.NA math.NA
Accelerated Stochastic Power Iteration
Stanford University(斯坦福大学)
本文提出一种带有动量项的幂迭代变种,实现了最优的样本和迭代复杂度,适用于在线和离线设置的随机PCA算法,加速了迭代复杂度至O(1/√Δ)。
2017-07-10 cs.DS cs.LG cs.NA
Multiscale analysis of accelerated gradient methods
加速梯度下降迭代在优化中有着广泛的应用。众所周知,在连续时间限制下,这些迭代收敛于我们称为加速梯度流的二阶微分方程。利用几何奇异扰动理论,证明了在一定条件下,加速梯度流具有吸引不变的慢流形,流的轨迹渐近收敛于该慢流形.我们得到一个一般的明确表达的形式的功能系列的扩展,近似慢流形的任何任意顺序的准确性。对于首阶,退化到这个慢流形的加速梯度流与通常的梯度下降相一致。我们说明了我们的研究结果的影响三个例子。
2020-06-15 cs.NA math.DS math.NA
Fault Tolerance of Accelerated Asynchronous Fixed-Point Iterations on Flexible Computing Infrastructure
University of Mary Washington(玛丽华盛顿大学);Old Dominion University(老道明大学)
研究异步迭代中收敛加速器(如Anderson加速)对掉队处理器引起的收敛退化的补偿效果,发现加速器在评估级扰动下有效,在迭代级损坏下失效。
2026-05-27 cs.DC cs.NA math.NA
GMRES-Accelerated ADMM for Quadratic Objectives
Massachusetts Institute of Technology(麻省理工学院)
本文研究了在强凸二次目标的等式约束问题中,利用GMRES加速ADMM方法以提高收敛速度,证明该方法在迭代次数上具有更优的性能。
2018-08-28 cs.NA math.NA math.OC
Superlinear convergence of Anderson accelerated Newton's method for solving stationary Navier-Stokes equations
本文研究了用Anderson加速的Newton迭代法求解不可压定常Navier-斯托克斯方程的性能。我们表明,该方法收敛超线性与一个良好的初始猜测,而且,较大的安德森深度减慢收敛速度相比,较小的安德森深度。我们观察到,数值试验证实了这些分析收敛的结果,此外,安德森加速有时扩大了牛顿法的收敛域。
2022-02-14 cs.NA math.NA
Numerical Instabilities in the Kaczmarz Method and Stabilization by Iterative Refinement
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了经典和加速随机Kaczmarz方法的稳定性问题,指出其缺乏前向稳定性,并提出通过迭代细化来控制误差累积,恢复高精度解,实验验证了该方法的有效性。
2026-05-16 cs.NA math.NA
Accelerating operator Sinkhorn iteration with overrelaxation
The Institute of Statistical Mathematics(东京统计数学研究所);Institute of Mathematics & Centre for Advanced Analytics and Predictive Sciences, University of Augsburg(奥格斯堡大学数学研究所与高级分析与预测科学中心)
本文提出加速运算符Sinkhorn迭代的过松弛方法,通过线性化分析局部收敛速度,并基于Young的SOR定理确定最优松弛参数,同时利用正定锥的Hilbert度量获得全局收敛性结果,实验表明方法在某些应用中优于原始运算符Sinkhorn迭代。
2026-04-24 cs.NA math.NA math.OC
Application of accelerated fixed-point algorithms to hydrodynamic well-fracture coupling
井、水力裂缝和储层之间的动态相互作用的耦合模拟在石油储层工程的某些领域具有重要意义。在过去的几年里,工业界已经开发了几种方法来解决整个系统的这些部分的数值模型之间的耦合问题。在目前的工作中,一个可能的方法,允许制定的问题作为一个固定点的问题进行了研究。加速安德森和艾特肯的不动点算法应用于耦合问题。加速算法进行了比较,传统的皮卡德迭代的测试用例,包括显着的耦合问题的代表集。相对性能进行测量,并测试算法的鲁棒性。加速算法在某些情况下能够显著(高达两个数量级)提高性能,并且在简单Picard迭代失败的情况下能够实现收敛解决方案。基于分析,我们提供了特定的算法和可调松弛参数的选择,根据预期的问题的复杂性的建议。
2020-05-01 cs.CE cs.NA math.NA
Accelerated graph-based nonlinear denoising filters
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);University of Bergen(卑尔根大学)
本文提出通过共轭梯度法和Nesterov加速技术加速图基非线性去噪滤波器,实验显示在图像去噪中效率提升2-12倍。
2016-04-13 cs.CV cs.NA math.NA
An Accelerated Randomized Kaczmarz Algorithm
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种加速随机Kaczmarz算法,用于解决病态线性系统,相比标准算法在收敛性上有优势,同时提出高效实现SARK以应对稀疏情况。
2014-06-07 cs.NA math.NA math.OC
Accelerated iterative method for solving the steady-state Boltzmann equation
Beijing Computational Science Research Center(北京计算科学研究中心);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
针对稳态玻尔兹曼方程,提出带宏观合成系统的修正牛顿法(Newton-MS)。用修正牛顿迭代为外层非线性求解器,内层源迭代求解牛顿修正方程,还推导宏观合成系统加速收敛,通过数值例子验证其高效。
2026-07-07 cs.NA math.NA physics.comp-ph
On accelerated iterative schemes for anisotropic radiative transfer using residual minimization
本文提出基于残差最小化的迭代格式求解各向异性辐射传输问题,证明其收敛性,并结合间断伽辽金离散与扩散子空间,在高度各向异性异质参数算例中验证了性能。
2025-05-27 cs.NA math.NA
Variational Characterization of Monotone Nonlinear Eigenvector Problems and Geometry of Self-Consistent-Field Iteration
研究了一类具有特征向量非线性项的单调本征值问题(mNEPv). mNEPv在计算矩阵的联合数值半径、三阶偏对称张量的最佳秩一近似、耗散Hamilton微分代数方程方程的奇异性距离等应用中会遇到。首先,我们提出了一个变分表征的mNEPv。基于变分特征,我们给出了求解mNEPv的自洽场(SCF)迭代的几何解释,证明了SCF的整体收敛性,并设计了一个加速SCF.从各种应用程序的数值例子证明了理论性能和计算效率的SCF和它的加速。
2022-11-09 cs.NA math.NA
Randomized-Accelerated FEAST: A Hybrid Approach for Large-Scale Eigenvalue Problems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
RA-FEAST通过结合随机数值线性代数与FEAST算法,实现对大规模矩阵本征分解的高效准确计算。
2025-12-01 cs.NA math.NA stat.CO
A Neural-Operator Preconditioned Newton Method for Accelerated Nonlinear Solvers
Brown University(布朗大学);Division of Applied Mathematics(应用数学系);DARPA-DIAL grant(DARPA-DIAL项目)
针对参数化非线性方程组求解中牛顿迭代因不平衡非线性出现停滞或不稳定的问题,提出结合定点神经算子(FPNO)的NP-Newton方法,通过自适应负步长提升效率与鲁棒性,尤其适用于强非线性场景。
2025-11-11 cs.LG cs.NA math.NA
Accelerated Kaczmarz Algorithms using History Information
IBM Research-Tokyo(IBM 东京研究所)
本文提出两种方法加速随机Kaczmarz算法,利用历史估计生成预条件器或结合SAG方法提升收敛速度,数值实验显示性能显著优于标准算法。
2016-08-01 cs.NA math.NA
On a convergent DSA preconditioned source iteration for a DGFEM method for radiative transfer
我们考虑的辐射传输方程的数值逼近使用不连续的角度和连续的空间近似的解决方案的偶数部分。偶宇称方程求解采用扩散合成加速源迭代。我们提供了一个收敛性分析的无限维迭代,以及其离散对应。通过子空间校正计算扩散校正,这导致相对于离散化稳健的收敛行为。证明理论收缩率恶化散射为主的问题。我们数值计算表明,预处理迭代在实践中是强大的扩散限制。此外,对格点问题的计算表明,所提出的离散化不受射线效应。该理论方法是针对具有各向同性散射的平面平行几何形状提出的,但该方法和证明逐字地推广到多维问题和更一般的散射算子。
2019-09-18 cs.NA math.NA
Parameter-Robust Preconditioning for Oseen Iteration Applied to Stationary and Instationary Navier--Stokes Control
针对定常和时变Navier-Stokes控制问题,我们导出了新颖的、快速的、参数鲁棒的预处理迭代法。我们的方法可以应用于时间依赖的问题,离散使用向后欧拉或曲柄-尼科尔森,也是一个有价值的候选人斯托克斯控制问题离散使用曲柄-尼科尔森。求解器的关键成分是线性系的鞍点型近似,对流扩散控制的预条件加速的$(1,1)$块的内迭代,以及基于应用于适当块矩阵的有效换向器参数的近似Schur补。一系列的数值实验验证了我们的新方法的有效性。
2021-07-31 cs.NA math.NA math.OC
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University(普林斯顿大学);University of Hong Kong(香港大学);University of Edinburgh(爱丁堡大学);Cornell University(康奈尔大学)
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$,方法基于坐标光滑性参数的平方根比例采样,适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA