Mixed Precision Iterative Refinement with Sparse Approximate Inverse Preconditioning
随着混合精度硬件的商业化,基于混合精度GMRES的迭代精化方案已经成为求解稀疏线性系的流行方法。然而,这些方法的现有分析是基于使用全LU分解来构建在GMRES中在每个细化步骤中使用的预条件。在实际应用中,不精确的预处理技术,如不完全LU或稀疏近似逆,经常被用于性能的原因。在这项工作中,我们研究了使用稀疏近似逆预条件的基础上Frobenius范数最小化基于GMRES的迭代细化。我们分析了有限精度的稀疏近似逆的计算,并推导出满足用户指定的停止准则的约束条件。然后,我们分析的行为和收敛约束的五精度GMRES为基础的迭代加细计划,使用稀疏近似逆预处理,我们称之为SPAI-GMRES-IR。我们的数值实验证实了理论分析,并说明预处理稀疏和GMRES-IR收敛速度之间的权衡。
2022-08-31 cs.NA math.NA
Iterative Refinement of A Modified Lavrentiev Regularization Method for De-convolution of the Discrete Helmholtz Type Differential Filter
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出并分析了改进的Lavrentiev正则化方法用于离散亥姆霍兹型微分滤波器的反卷积,通过利用亥姆霍兹滤波器的特性,改进了正则化方法,降低了近似解与原解之间的误差界,并推导了最优停止条件。
2026-11-13 cs.NA math.NA
Numerical Instabilities in the Kaczmarz Method and Stabilization by Iterative Refinement
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了经典和加速随机Kaczmarz方法的稳定性问题,指出其缺乏前向稳定性,并提出通过迭代细化来控制误差累积,恢复高精度解,实验验证了该方法的有效性。
2026-05-16 cs.NA math.NA
Randomized Iterative Solver as Iterative Refinement: A Simple Fix Towards Backward Stability
本文将随机迭代求解器视为迭代细化,提出结合迭代与递归细化的新算法SIRR,仅通过重组计算顺序即实现后向误差四个数量级改进,是首个兼具前向和后向稳定性的渐近快速单阶段随机最小二乘求解器。
2024-10-16 cs.NA math.NA stat.CO
Mixed Precision GMRES-based Iterative Refinement with Recycling
随着硬件中混合精度能力的出现,用于求解线性系的迭代精化方案$Ax=b$最近在三个或更多精度的上下文中被重新审视和重新分析。这些新的分析表明,在条件数的某些约束下,可以计算低精度的矩阵的LU分解,而不影响最终的精度。另一种有前途的技术是基于GMRES的迭代精化,与标准方法相比,该方法使用由低精度三角因子预处理的GMRES来求解每个精化步骤中的近似解更新。这种更精确的求解方法扩展了可以用给定的精度组合解决的问题的范围。然而,在某些设置中,GMRES每个细化步骤可能需要太多的迭代,使得它可能比简单地以更高的精度重新计算LU因子更昂贵。Krylov子空间再循环是一种众所周知的技术,用于在具有相同或缓慢变化的系数矩阵的系统上跨Krylov子空间方法的顺序调用重用信息。在这项工作中,我们将Krylov子空间回收的想法到一个混合精度GMRES为基础的迭代精化求解器。我们的见解是,在每个细化步骤中,我们在具有相同系数矩阵$A$的线性系上调用预处理GMRES,只有右侧发生变化。通过这种方式,可以通过回收从第一步获得的信息来加速后续细化步骤中的GMRES求解。我们进行了广泛的数值实验上的各种随机稠密问题,Toeplitz问题(扁长矩阵),并从实际应用中,这证实了回收方法的好处的问题。
2022-02-16 cs.NA math.NA
Iterative Refinement with Low-Precision Posits
本研究提出使用低精度posit数替代IEEE浮点格式的混合精度迭代求精方法,通过缩放技术与LU分解求解大型稀疏线性系统,发现16位posit配置能达到与fp16相当的精度,有效平衡了计算效率与精度。
2024-08-27 cs.NA math.NA
Mixed precision iterative refinement for least squares with linear equality constraints and generalized least squares problems
本文提出针对线性等式约束最小二乘和广义最小二乘问题的混合精度迭代精化算法,通过增广系统结合经典或GMRES精化提升精度,在x86-64上平均比LAPACK固定精度快40%。
2025-08-14 cs.NA math.NA
Stable iterative refinement algorithms for solving linear systems
本文提出一种带线搜索优化步骤的迭代精化算法,保证在误差较大时也不发散,并通过数值实验验证其有效性。
2025-06-23 cs.NA math.NA
Iterative Refinement for a Subset of Eigenvectors of Symmetric Matrices via Matrix Multiplications
Research Institute for Science and Engineering, Waseda University(早稻田大学理工学研究科);Department of Mathematical Sciences, Shibaura Institute of Technology(埼玉工业大学数学科学系);RIKEN Center for Computational Science(理化学研究所计算科学中心);Department of Applied Mathematics, Faculty of Science and Engineering, Waseda University(早稻田大学理工学部应用数学系)
本文提出了一种通过矩阵乘法对对称矩阵子集特征向量进行迭代精炼的方法,提高了精度并展示了其在不同矩阵类型上的有效性。
2026-02-27 cs.NA math.NA
Bi-level regularization via iterative mesh refinement for aeroacoustics
MPI Solar Systems Research(马普太阳能系统研究所)
本研究揭示了有限元离散PDE的自适应网格细化与双层正则化算法的联系,通过基于数据噪声的网格细化实现正则化与收敛,并在航空声学Helmholtz方程中证明其优于经典Landweber算法。
2024-10-31 cs.NA math.NA math.OC
Instability of the Sherman-Morrison formula and stabilization by iterative refinement
School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);Mathematical Institute, University of Oxford(牛津大学数学研究所)
该研究分析了Sherman-Morrison公式的向后不稳定性,解答了相关公开问题,提出复用已有分解的固定精度迭代细化方法,在保证效率的同时实现向后稳定性,并通过实验验证了效果、给出了猜想。
2025-10-02 cs.NA math.NA
Multistage Mixed Precision Iterative Refinement
低精度运算,特别是半精度浮点运算,现在在商业硬件中是可用的。使用较低的精度可以显著节省计算和通信成本,并按比例节省能源。受此启发,人们对求解线性方程组的混合精度迭代加细$Ax=b$重新产生了兴趣,并开发了基于GMRES的迭代加细的新变体。具有给定精度组合的每个特定变体导致用于后向误差和前向误差收敛的不同的基于条件数的约束,并且每个变体具有不同的性能成本。在文献中给出的收敛约束,作为分析的人工制品,在实践中往往过于严格,因此可能导致用户选择更昂贵的变体时,一个较便宜的就足够了。在这项工作中,我们开发了一个多级混合精度迭代精化求解器,其目的是结合现有的混合精度的方法,以平衡性能和精度,提高可用性。对于精度的初始组合,该算法从最便宜的方法开始,并通过迭代过程中产生的数量的廉价计算来监测收敛。如果使用特定的停止标准检测到缓慢收敛或发散,则算法切换到使用更昂贵但更可靠的变体。我们的方法的一个新颖的方面是,与现有的实现不同,我们的算法首先尝试使用“更强”的解决方案更新之前,诉诸于提高精度(S)。在某些情况下,这可以避免以更高精度重构矩阵的需要。我们进行了广泛的随机密集的问题和问题,从实际应用中证实的好处多级方法的数值实验。
2021-11-15 cs.NA math.NA
An Integer Arithmetic-Based Sparse Linear Solver Using a GMRES Method and Iterative Refinement
在本文中,我们开发了一个(预处理)GMRES求解器的整数运算的基础上,并介绍了一个迭代精化框架的求解器。我们描述了基于整数或定点数的求解器的系数矩阵和向量的数据格式。为了避免计算中的溢出,我们在算术运算中引入了初始缩放和操作数的逻辑移位(调整)。针对GMRES算法的特点,提出了操作数移位的方法。数值试验表明,基于整数算法的求解器与迭代精化具有可比的求解器性能的收敛性的标准求解器的基础上浮点运算。此外,我们表明,预处理是很重要的,不仅可以提高收敛性,但也减少了溢出的风险。
2021-03-03 cs.MS cs.NA math.NA
Mixed-precision iterative refinement for low-rank Lyapunov equations
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
本文提出一种混合精度迭代精炼框架,用于求解低秩李雅普诺夫矩阵方程,通过误差分析确定不同精度设置下的残差条件,展示如何选择算法参数以提高求解效率。
2026-11-03 cs.NA math.NA
Mixed Precision FGMRES-Based Iterative Refinement for Weighted Least Squares
针对加权最小二乘问题,本文提出采用两种不同预处理器的混合精度FGMRES-WLSIR算法,拓展了混合精度迭代精化方法在非标准最小二乘问题中的应用。
2024-01-26 cs.NA math.NA
A comparison of mixed precision iterative refinement approaches for least-squares problems
本文针对最小二乘问题的双精度迭代细化(IR)方法展开研究,对比三种现有方法的理论特性与敏感性,拓展了半正规方程法的精度分析,并提出一种基于多最小二乘求解的新方法,为方法选择提供参考。
2025-01-17 cs.NA math.NA
Iterative Refinement for Diagonalizable Non-Hermitian Eigendecompositions
Research Institute for Science and Engineering, Waseda University(早稻田大学理工学研究科)
本文提出基于矩阵乘法的迭代精炼方法,用于可对角化的非厄米特特征分解,针对简单特征值区分两种输入模式,通过修正残差实现二次误差界估计,并处理聚类特征值的稳定性扩展。
2026-04-03 cs.NA math.NA
Mixed Precision Iterative Refinement with Adaptive Precision Sparse Approximate Inverse Preconditioning
本文提出自适应精度稀疏近似逆预条件子BSPAI-GMRES-IR,将其集成到五精度GMRES迭代精化中,分析了收敛条件,并证明其可在保持与SPAI-GMRES-IR相近误差的前提下降低预条件子存储与应用成本。
2023-07-08 cs.NA math.NA
Forward Error-Oriented Iterative Refinement for Eigenvectors of a Real Symmetric Matrix
Waseda University(早稻田大学);Shibaura Institute of Technology(芝浦工业大学)
本文提出了一种实对称矩阵特征向量计算方法,通过前向误差导向的迭代细化和Ozaki方案实现高精度与低计算成本的平衡。
2026-02-22 cs.NA math.NA
Newton-Based Mixed Precision Iterative Refinement for Large-Scale Sparse Continuous-Time Algebraic Riccati Equations
Key Laboratory of Intelligent Computing and Information Processing of Ministry of Education, Hunan Key Laboratory for Computation and Simulation in Science and Engineering, School of Mathematics and Computational Science, Xiangtan University(湘潭大学数学与计算科学学院)
针对大规模稀疏连续时间代数黎卡提方程,提出基于牛顿法的混合精度迭代细化框架,通过特定因子分解程序和误差分析,结合ADI实现,减少计算量,数值实验显示其在精度相同情况下比全双精度更快。
2026-07-17 cs.NA math.NA
Iterative Refinement of Schur decompositions
方阵$A$的Schur分解是求解本征值问题、矩阵函数和矩阵方程的最新数值算法的重要中间步骤。这项工作涉及以下任务:计算一个(更)准确的Schur分解$A$从一个给定的近似Schur分解。例如,在参数相关的本征值问题和混合精度计算的背景下,这个任务出现。我们已经开发了一个牛顿算法,需要解决一个三角形矩阵方程和一个近似正交化的步骤,在每一个迭代。我们证明了局部平方收敛矩阵相互不同的特征值和观察快速收敛在实践中。在混合低-高精度环境中,我们的算法基本上减少到每次迭代只有四个高精度矩阵-矩阵乘法。当将精度从两倍提高到四倍时,它通常只需要3-4次迭代,这将计算四倍精度Schur分解的时间减少了10-20倍。
2022-03-21 cs.NA math.NA
Accelerated Multiple Precision Direct Method and Mixed Precision Iterative Refinement on Python Programming Environment
目前的Python编程环境没有任何可靠和有效的多精度浮点(MPF)算法,除了基于GNU MP(GMP)和MPFR库的``mpmath”和`` gmpy 2”包。虽然多组件类型的MPF库可以用于200位以下的中等长度精度运算,但它们在Python环境中并没有得到广泛的应用。本文描述了我们的加速MPF直接方法与AVX 2技术及其应用于混合精度迭代精化结合mpmath,并证明了他们的效率在x86 - 64计算环境。
2021-07-27 cs.MS cs.NA cs.PF
Three-precision iterative refinement with parameter regularization and prediction for solving large sparse linear systems
本研究提出GADI框架下的GADI-IR混合精度迭代细化算法,结合FP16低精度计算、参数正则化与GPR参数预测,在保证精度与鲁棒收敛的同时加速大规模稀疏线性系统求解,为高性能计算提供高效方案。
2025-03-21 cs.NA math.NA
Mixed precision sketching for least-squares problems and its application in GMRES-based iterative refinement
本文分析混合精度草图预条件子的有限精度行为,并给出其保证基于 GMRES 的迭代细化收敛至工作精度的条件。
2025-06-11 cs.NA math.NA
Approximate Generalized Inverses with Iterative Refinement for $ε$-Accurate Preconditioning of Singular Systems
我们引入了一类新的预条件,使灵活的GMRES找到一个最小二乘解,并可能伪逆解,大规模稀疏,不对称,奇异,和潜在的不一致的系统。我们基于一个新的观察,即广义逆(即,$\boldsymbol{A}^{g}\in\{\boldsymbol{G}\mid\boldsymbol{A}\boldsymbol{G}\boldsymbol{A}=\boldsymbol{A}\}$)使预条件Krylov子空间在一个步骤中收敛。然后,我们使用混合不完全因子分解(HIF)有效地计算近似广义逆(AGI),该混合不完全因子分解将多级不完全LU与其最终Schur补上的秩揭示QR相结合。定义了AGI的$ε$ -精确性和稳定性准则,保证了预处理GMRES对相容系统的收敛性。对于不一致的系统,我们加强HIF迭代细化,以获得HIFIR,它允许零空间向量的准确计算。通过结合这两种技术,我们得到了一个新的求解器,称为PIPIT,用于获得低维零空间系统的伪逆解。我们证明了HIF和HIFIR的鲁棒性,并表明它们对于具有多达一百万个未知数的系统的精度和效率都提高了几个数量级。
2021-12-04 cs.NA math.NA
HPL-MxP Benchmark: Mixed-Precision Algorithms, Iterative Refinement, and Scalable Data Generation
University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室);University of Manchester(曼彻斯特大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
该研究提出混合精度基准测试HPL-MxP,结合低精度LU分解与基于GMRES的迭代细化,评估了可扩展输入矩阵生成方法的稳定性及对角缩放对解质量的影响,在超算上实现百亿亿次级吞吐量,证明其评估超算的可行性及适配AI硬件加速器的潜力。
2025-09-23 cs.NA cs.PF math.NA
An analysis of iterative refinement for quantum linear system solvers
Pacific Northwest National Laboratory(太平洋西北国家实验室);Lehigh University(利哈伊大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Quantum Science Institute(量子科学研究所);University of Southern California(南加州大学)
提出一种迭代细化框架,通过求解一系列相关线性系统,在仅使用固定精度量子子程序的情况下,保持量子线性系统算法对逆误差容限的多对数依赖,并最终获得高精度解的经典描述,实验验证其有效性和鲁棒性。
2026-09-10 cs.NA math.NA quant-ph
HIFIR: Hybrid Incomplete Factorization with Iterative Refinement for Preconditioning Ill-conditioned and Singular Systems
我们介绍了一个软件包称为HIFIR预处理稀疏,不对称,病态,和潜在的奇异系统。HIFIR计算混合不完全因子分解,它将多级不完全LU因子分解与最终Schur补上的截断、秩揭示QR因子分解相结合。这种新的杂交是基于新的理论的近似广义逆和$ε$ -准确性。它使接近最佳的预条件一致的系统,并使灵活的GMRES解决不一致的系统时,再加上迭代细化。在本文中,我们集中在一些实际的算法和软件问题的HIFIR。特别是,我们引入了一个新的基于逆的车旋转到ILU,这提高了一些病态系统的鲁棒性和整体效率显着减少的最终Schur补的大小为一些系统。我们还描述了HIFIR的软件设计,其高效的数据结构,支持车旋转在一个多层次的设置,其基于模板的通用编程接口的混合精度的真实和复杂的值在C++,其用户友好的高级界面在MATLAB和Python。我们证明了HIFIR的有效性的病态或奇异系统所产生的几个应用程序,包括Helmholtz方程,线性弹性,静态不可压缩斯托克斯方程,和时间相关的对流-扩散方程。
2021-12-01 cs.MS cs.NA math.NA