Heavy Ball GMRESR method for Nonsymmetric Linear Systems
The University of Texas at Arlington(阿灵顿得克萨斯大学)
本文针对GMRESR收敛慢的问题,提出以HBGMRES为内层循环的HBGMRESR方法,通过真实数据测试验证其性能优于GMRESR与HBGMRES。
2026-08-13 cs.NA math.NA
Preprocessed GMRES for fast solution of linear equations
本文提出以 RPCG、ADI 和 Kaczmarz 为内迭代、BA-GMRES 为外迭代的预处理框架,并通过收敛分析与数值实验验证其在快速求解线性方程组中的有效性。
2024-04-09 cs.NA math.NA
A flexible and adaptive Simpler GMRES with deflated restarting for shifted linear systems
School of Science, Jiangnan University(江南大学理学院);School of Economic Mathematics/Institute of Mathematics, Southwestern University of Finance and Economics(西南财经大学经济数学学院/数学研究所)
本文提出两种基于简化GMRES方法的高效迭代算法,用于求解移位线性系统。通过使用消去重启策略和灵活预处理,这些算法可以显著减少矩阵向量乘法次数和CPU运行时间。数值实验展示了所提算法的性能和有效性。
2018-07-23 cs.NA math.NA
GMRES, pseudospectra, and Crouzeix's conjecture for shifted and scaled Ginibre matrices
我们研究GMRES算法应用于线性方程组涉及的缩放和移位的$N\times N$矩阵,其条目是独立的复高斯。当该线性系的右侧与该随机矩阵无关时,可以精确地确定GMRES残差的$N\to\infty$行为。为了处理的情况下,右手边取决于随机矩阵,我们研究的伪谱和数值域的Ginibre矩阵,并证明了一个限制版本的Crouzeix猜想。
2023-03-03 cs.NA math.NA
Two recursive GMRES-type methods for shifted linear systems with general preconditioning
本文提出了两种求解移位线性系序列的最小残差方法,即右预处理移位GMRES和移位回收GMRES算法。这些方法与所有系统的一般预处理是兼容的,并且当仅限于右预处理时,不需要额外的算子或预处理器。这些种子投影方法对基本系统执行最小残差迭代,同时以很少的额外成本改进移位系统的近似。迭代继续,直到基本系统近似具有令人满意的质量。该方法,然后递归调用其余的未收敛系统。我们提出了这两种方法内的一个一般的框架,允许这些技术被扩展到设置灵活的预处理和不精确的Krylov方法。我们提出了一些这样的方法和数值实验的分析,证明了我们所得出的算法的有效性。
2016-02-03 cs.NA math.NA
Steepest Descent Preconditioning for Nonlinear GMRES Optimization
研究了最近提出的求解无约束非线性最优化的非线性广义极小残差(N-GMRES)优化算法的最速下降预处理问题。提出了两种最速下降预处理方法。第一个采用线搜索,而第二个采用预定义的小步。在对目标函数和线搜索过程的较弱标准条件下,给出了带第一最速下降预条件子(带线搜索)的N-GMRES优化算法的一个简单的整体收敛证明. N-GMRES优化的最速下降预处理也是通过在具有对称正定算子的二次最优化问题的情况下将其与线性系统的标准非预处理GMRES相关联而激发的。对多种模型问题的数值试验表明,N-GMRES优化算法能够非常显著地加快独立最速下降优化的收敛速度。此外,最速下降预处理N-GMRES的性能被证明是具有竞争力的标准的非线性共轭梯度法和有限记忆Broyden-Fletcher-Goldfarb-Shanno方法所考虑的模型问题。这些结果有助于理论和数值建立最陡下降预处理N-GMRES作为无约束非线性最优化的一般最优化方法,与性能相比,已建立的技术似乎很有前途。此外,有人认为,真正的潜力的N-GMRES优化框架在于,它可以利用问题相关的非线性预条件,比最速下降更强大(或者,等价地,N-GMRES可以被用作一个简单的包装周围的任何其他迭代优化过程,以寻求该过程的加速),并说明了这种潜力与进一步的应用程序的例子。
2011-07-24 cs.NA math.NA math.OC
A numerically stable communication-avoiding s-step GMRES algorithm
针对s步GMRES算法的数值不稳定性问题,通过选择合适的多项式基与块正交化方案,构建了能自动选择最优步长的避免通信的s步GMRES算法,并在超11.4万核心上验证了其稳定性与完美线性扩展性。
2024-07-26 cs.NA math.NA
Random-sketching Techniques to Enhance the Numerical Stability of Block Orthogonalization Algorithms for s-step GMRES
Sandia National Laboratories(桑迪亚国家实验室);Temple University(天普大学)
本文将随机草图技术引入 s-step GMRES 的块正交化流程,并基于 Trilinos 在 Perlmutter 上验证其可在几乎不增加运行时间的情况下提升数值稳定性。
2025-09-30 cs.DC cs.NA math.NA
A randomized global GMRES method for matrix equations
Mohammed VI Polytechnic University (UM6P)(穆罕默德六世理工大学);Southwestern University of Finance and Economics(西南财经大学)
本文提出了一种新的随机全局广义最小余数方法,通过引入矩阵草图技术,有效求解大规模线性系统,实验表明其在处理多右端向量问题时具有竞争力。
2026-09-09 cs.NA math.NA
Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems
本文发展了一类新的求解一般线性系和本征值问题的算法。这些算法应用快速随机草图来加速子空间投影方法,如GMRES和Rayleigh-Ritz。这种方法在设计近似子空间的基础方面提供了很大的灵活性,这可以提高许多计算环境中的可扩展性。由此产生的算法优于经典的方法,以最小的精度损失。对于模型问题,数值实验表明,MATLAB的优化例程,包括一个$100 \times$加速gmres和一个$10 \times$加速eigs有很大的优势。
2022-02-16 cs.NA math.NA
An Integer Arithmetic-Based Sparse Linear Solver Using a GMRES Method and Iterative Refinement
在本文中,我们开发了一个(预处理)GMRES求解器的整数运算的基础上,并介绍了一个迭代精化框架的求解器。我们描述了基于整数或定点数的求解器的系数矩阵和向量的数据格式。为了避免计算中的溢出,我们在算术运算中引入了初始缩放和操作数的逻辑移位(调整)。针对GMRES算法的特点,提出了操作数移位的方法。数值试验表明,基于整数算法的求解器与迭代精化具有可比的求解器性能的收敛性的标准求解器的基础上浮点运算。此外,我们表明,预处理是很重要的,不仅可以提高收敛性,但也减少了溢出的风险。
2021-03-03 cs.MS cs.NA math.NA
Convergence Analysis of An Alternating Nonlinear GMRES on Linear Systems
University of Houston(休斯顿大学)
本研究提出用于线性系统的交替非线性GMRES算法aNGMRES(m,p),证明其与GMRES的周期等价性,分析收敛特性,该算法无需每步解最小二乘问题,成本更低且抗停滞鲁棒性更强。
2025-10-29 cs.NA math.NA
Infinite GMRES for parameterized linear systems
我们考虑线性参数依赖系统$A(μ) x(μ) = b$为许多不同的$μ$,其中$A$是大的和稀疏的,并依赖于$μ$非线性。为每个$μ$单独求解此类系统将需要大量的计算工作。在这项工作中,我们建议计算部分参数化$\tilde{x} \approx x(μ)$,其中$\tilde{x}(μ)$是便宜的计算许多不同的$μ$。我们的方法是基于这样的观察,即可以形成伴随线性化,其中对$μ$的依赖性仅是线性的。特别是,我们开发的方法相结合,完善的Krylov子空间方法的线性系,GMRES,与算法的非线性本征值问题(NEPs)生成的基础Krylov子空间。在这种新方法中,基矩阵以三种不同的方式构造,使用张量结构并利用某些问题具有低秩性质。我们显示的收敛因子界获得类似的方法GMRES线性系。更具体地,基于参数$μ$的大小和线性友矩阵的谱来获得界限,其对应于对应NEP的倒数解。数值实验说明了我们的方法对大规模问题的竞争力。这些模拟是可重复的,并可在网上公开获得。
2021-04-19 cs.NA math.NA
Optimal Solutions of Well-Posed Linear Systems via Low-Precision Right-Preconditioned GMRES with Forward and Backward Stabilization
应用中的线性系通常是适定的,但系数矩阵可能是近似奇异的,因为条件数$κ(\boldsymbol{A})$可能接近于$1/\varepsilon_{w}$,其中$\varepsilon_{w}$表示工作精度的单位舍入。众所周知,如果$κ(\boldsymbol{A})$充分小于$1/\varepsilon_{w}$,并且以更高的精度计算残差,则迭代精化(IR)可以使前向误差与$κ(\boldsymbol{A})$无关。我们提出了一种新的迭代方法,称为前向和后向稳定的最小残差或FBSMR,通过概念杂交右预处理GMRES(RP-GMRES)与准最小化。我们开发FBSMR的基础上的一个新的理论框架的基本向前和向后稳定性(EFBS),其中扩展了向后误差分析考虑的内在条件数的适定问题。我们稳定的前向和后向误差在RP-GMRES实现EFBS通过评估一小部分的算法在较高的精度,而在较低的精度评估的预条件。FBSMR可以达到最佳的准确性方面的前向和后向误差的适定问题与未污染的矩阵,独立于$κ(\boldsymbol{A})$。通过低精度预处理,FBSMR可以减少计算,内存和能量需求,无论是否有IR。FBSMR还可以在Arnoldi迭代中利用并行友好的经典Gram-Schmidt,而不会影响EFBS。我们证明了FBSMR使用随机和现实的线性系的有效性。
2023-03-07 cs.NA math.NA
Towards understanding CG and GMRES through examples
本文针对当前CG、GMRES等Krylov子空间方法依赖简化表征导致认知受限的问题,通过计算示例展示二者的关键行为,结合文献指引支持不同深度的学习,既澄清误解也引出开放问题,为Krylov子空间方法的研究与应用提供新视角。
2024-02-01 cs.NA math.NA
Multilevel Preconditioner with Stable Coarse Grid Corrections for the Helmholtz Equation
Xiamen University(厦门大学);Nanjing University(南京大学);Institute of Computational Mathematics and Scientific/Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院计算数学与科学工程计算研究所)
本文提出一种稳健的多级预条件器,用于高波数亥姆霍兹方程,通过连续内部惩罚有限元方法构建稳定粗网格修正问题,并基于GMRES平滑进行多级方法预条件,数值结果表明其在合理频率范围内高效且对波数依赖较弱。
2013-04-25 cs.NA math.NA
Experimental Evaluation of Multiprecision Strategies for GMRES on GPUs
由于更低的功耗、更少的数据移动和更高的计算性能,对较低精度计算的支持在加速器硬件中变得越来越普遍。然而,计算科学和工程(CSE)问题需要在几个领域的双精度精度。这种硬件趋势和应用需求之间的冲突,导致需要在线性代数算法级别的多精度策略,如果我们想充分利用硬件的潜力,同时满足精度要求。在本文中,我们专注于预处理稀疏迭代线性求解器,在几个CSE应用程序的关键内核。我们提出了一个多精度的GPU上加速这个内核的策略的研究。我们寻求最好的方法,将多个精度到GMRES线性求解器,这些包括迭代细化和并行预处理。我们的工作提出了策略,以确定多精度GMRES将是有效的,并选择多精度迭代细化求解器的参数,以实现更好的性能。我们使用的实现是基于Trilinos库,并采用Kokkos内核的性能可移植性的线性代数内核。性能结果证明了多精度方法的承诺,并证明了通过优化低级内核可以实现进一步的改进。
2021-05-16 cs.MS cs.NA math.NA
On the Performance of a Novel Class of Linear System Solvers and Comparison with State-of-The-Art Algorithms
本文实现并评估 TA 与 CTA 线性系统求解器,在大规模方阵和矩形矩阵上于运行时间、残差质量及收敛稳定性方面优于 GMRES 和 lsqminnorm,并扩展至 LP 可行性问题。
2023-04-24 cs.NA math.NA
A Robust Multilevel Method for Hybridizable Discontinuous Galerkin Method for the Helmholtz Equation
Xiamen University(厦门大学);Academy of Mathematics and System Sciences, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文提出一种基于混合不连续伽辽金方法的鲁棒多级预处理器,用于高波数亥姆霍兹方程。核心方法包括选择合适的跨网格传输算子和在粗网格上使用GMRES平滑。通过局部傅里叶分析验证了算法收敛性,数值结果表明算法收敛性与网格无关,且对波数依赖较弱。
2013-06-25 cs.NA math.NA
A Study of Mixed Precision Strategies for GMRES on GPUs
由于更低的功耗、更少的数据移动和更高的计算性能,对较低精度计算的支持在加速器硬件中变得越来越普遍。然而,计算科学和工程(CSE)问题需要在几个领域的双精度的精度。硬件趋势和应用需求之间的这种冲突导致了在线性代数算法级别上需要混合精度策略,如果我们想充分利用硬件的潜力,同时满足精度要求。在本文中,我们专注于预处理稀疏迭代线性求解器,在几个CSE应用程序的关键内核。我们提出了一个混合精度策略的研究,加速这个内核上的NVIDIA V $100$ GPU与Power 9 CPU。我们寻求最好的方法,将多个精度到GMRES线性求解器,这些包括迭代细化和并行预处理。我们的工作提出了策略,以确定何时混合精度GMRES将是有效的,并选择参数的混合精度迭代细化求解器,以实现更好的性能。我们使用基于Trilinos库的实现,并采用Kokkos Kernels实现线性代数内核的性能可移植性。性能结果证明了混合精度方法的前景,并证明了通过优化低级内核可以实现进一步的改进。
2021-09-02 cs.DC cs.MS cs.NA
Randomized sketched TT-GMRES for linear systems with tensor structure
针对线性张量方程求解,本文结合不完全正交化、结构化草图及张量级流式舍入等随机化策略增强 Krylov 型 TT-GMRES,使其效率可媲美先进 ALS 方法。
2024-09-14 cs.NA math.NA
Error Control of Iterative Linear Solvers for Integrated Groundwater Models
University of California, Davis(加州大学戴维斯分校);Department of Water Resources(水资源部)
针对集成地下水模型中迭代线性求解器的残差容限与解误差容限不一致的问题,提出通过重缩放线性系统和归一化停止容限来控制预条件GMRES的前向误差,实现高达7.7倍的模拟加速。
2010-04-25 cs.NA math.NA
An introduction to ML(n)BiCGStab
ML(n)BiCGStab是一种Krylov子空间方法,用于求解大型、稀疏和非对称线性系。从理论上讲,它是一种介于众所周知的BiCGStab和GMRES/FOM之间的方法。实际上,当n = 1时,ML(1)BiCGStab是BiCGStab,当n = N时,ML(N)BiCGStab是GMRES/FOM,其中N是线性系的大小。因此,ML(n)BiCGStab是连接基于Lanczos的BiCGStab和基于Arnoldi的GMRES/FOM的桥梁。在计算上,ML(n)BiCGStab比BiCGStab在求解病态问题时更稳定,收敛速度更快。我们已经在标准油藏模拟测试数据SPE 9上测试了ML(n)BiCGStab,发现与BiCGStab相比,ML(n)BiCGStab将总计算时间减少了60%以上。对Matrix Market数据进行的检验也支持ML(n)BiCGStab优于BiCGStab。由于在完整的GMRES中的存储需求为O(N^2),因此在实现GMRES时必须采用重启策略来控制存储。相比之下,ML(n)BiCGStab是一个只需要O(nN)存储的方法,因此它不需要重新启动策略。在本文中,我们介绍ML(n)BiCGStab(特别是,一个新的算法涉及A转置),它的关系,一些现有的方法和它的实现。
2011-06-18 cs.NA math.NA math.OC
Stable algorithms for general linear systems by preconditioning the normal equations
本文研究基于法方程的预处理Krylov方法求解非对称线性系统,发现预处理LSQR在某些示例中误差较大,提出通过迭代细化或重启大幅提升其精度,并由后向误差分析支持,同时讨论了GMRES与LSQR的优缺点及迭代细化对预处理共轭梯度的改进。
2025-03-04 cs.NA math.NA
Gl-QFOM and Gl-QGMRES: two efficient algorithms for quaternion linear systems with multiple right-hand sides
针对多右端项四元数线性系统求解问题,提出基于四元数矩阵Krylov子空间投影的Gl-QFOM与Gl-QGMRES算法,推导全局四元数Arnoldi过程,完成收敛分析并拓展至Sylvester四元数矩阵方程,数值实验验证其优于传统实表示迭代法。
2023-08-25 cs.NA math.NA
BDDC Algorithms for Advection-diffusion problems with HDG Discretizations
平衡区域分解方法(BDDC)最初是针对对称正定方程组提出的,并从对流-扩散方程的线性有限元离散推广到非对称正定方程组。本文研究了对流-扩散方程的BDDC预处理线性系在可杂交间断Galerkin(HDG)离散下GMRES方法的收敛性。与有限元离散相比,数值迹必须使用几个额外的范数,并且需要建立双线性型和范数之间的等价性。对于大粘度,如果子域的大小是足够小的,迭代的次数是独立的子域的数量和依赖于sudomain问题的大小只有轻微的。当粘度降低时,收敛性恶化。这些结果与用有限元离散的结果相似。此外,在BDDC算法中使用的额外的原始约束的效果是更显着的更高的度HDG离散。两个二维例子的结果证实了我们的理论。
2021-03-16 cs.NA math.NA
Structured Sketching for Linear Systems
本文针对线性系统求解问题,提出基于草图-投影的迭代算法,通过利用残差历史等草图选择策略实现短递归公式,在降低内存占用和迭代复杂度的同时,数值表现可与 GMRES、SYMMLQ 及先进随机求解器相媲美。
2024-06-30 cs.MS cs.NA math.NA
A Framework for the Solution of Tree-Coupled Saddle-Point Systems
针对树状分块结构的鞍点系统,提出可并行直接求解法与多种结构利用型预处理器,结合多重网格概念得到多层方法,分析复杂度与收敛性并通过数值实验验证理论。
2024-10-30 cs.NA math.NA math.OC
Randomized block Gram-Schmidt process for solution of linear systems and eigenvalue problems
本研究提出用于QR分解的随机分块Gram-Schmidt过程(RBGS),兼具高效性与稳定性,基于其开发了线性系统和特征值问题求解方法的随机版本并通过数值算例验证。
2023-05-27 cs.NA math.NA
Hybrid and Multiplicative Overlapping Schwarz Algorithms with Standard Coarse Spaces for Mixed Linear Elasticity and Stokes Problems
Morgan State University(摩根州立大学);Università di Milano(米兰大学)
本文研究了混合和乘法两层重叠Schwarz算法与标准粗空间用于近不可压缩线弹性与斯托克斯问题,采用混合有限元与谱元方法进行离散化,并比较了预条件共轭梯度法与GMRES法在解鞍点系统中的性能。
2015-12-14 cs.NA math.NA
An inexact augmented Lagrangian algorithm for unsymmetric saddle-point systems
本文提出一种求解非对称鞍点系统的不精确增广拉格朗日算法(SPALBB),利用Barzilai-Borwein方法求解线性系统,证明了其收敛性,并在Navier-Stokes等数值实验中展现出优于BICGSTAB和GMRES的鲁棒性与效率。
2024-04-23 cs.DS cs.NA math.NA
Recycling BiCGSTAB with an Application to Parametric Model Order Reduction
Indian Institute of Technology Indore(印度印度技术学院印多尔分校);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出了一种回收BiCGSTAB算法,用于高效求解非对称线性系统序列,相比其他方法在存储和计算成本上更具优势,并在参数模型降阶中取得显著效果。
2015-01-25 cs.NA math.NA
The first five years of the AAA algorithm
本文回顾 AAA 算法提出五年来的优势、应用与扩展,指出其能快速稳健地计算有理逼近,并可能长期具有重要价值。
2023-12-06 cs.NA math.NA
Multiscale Hydrophobic Lipid Dynamics Simulated by Efficient Integral Equation Methods
在本文中,我们首先发展了一个数学模型的两亲性粒子之间的远程,疏水吸引力。非成对相互作用遵循疏水吸引结构域功能的一阶变分。该变化产生疏水应力,该疏水应力用于数值计算二维颗粒集合的轨迹。考虑分子-水界面疏水性的函数极小值是屏蔽拉普拉斯方程的边值问题的解。我们将边值问题转化为第二类积分方程(SKIE),使用Nyström离散化和“展开求积”(QBX)离散SKIE,并使用GMRES迭代求解所得的线性系。我们评估所需的层电位使用'GIGAQBX'快速算法,快速多极子方法(FMM)的一个变种,产生所需的粒子相互作用与渐近最优的成本。整个方案是自适应的,高阶的,并能够处理接近接触的几何形状。模拟的粒子系统在时间和长度上表现出多种多尺度行为:在短的时间尺度上,数值结果显示模型脂质粒子的自组装。对于大型系统仿真,粒子形成如胶束和双层的真实配置。在长的时间尺度上,从模拟中出现的双层形状似乎使弯曲能量的形式最小化。
2019-07-18 cs.NA math.NA
Residual-Based Detections and Unified Architecture for Massive MIMO Uplink
Shanghai University(上海大学);Southeast University(东南大学)
本文提出基于残差的检测算法,用于大规模MIMO上行通信,通过减少残差范数提升性能,相比传统方法在复杂度和精度上取得平衡,提出统一硬件架构以实现低复杂度实现。
2018-02-15 cs.AR cs.CE cs.NA
Efficient Krylov methods for linear response in plane-wave electronic structure calculations
Max Planck Institute for Dynamics of Complex Technical Systems(马普复杂技术系统动力学研究所)
本研究针对密度泛函理论线性响应计算中的嵌套线性求解问题,提出基于不精确GMRES的自适应容差策略,实现超线性收敛,计算时间减少约40%且精度无损,可与标准预处理方法结合,为高效Krylov子空间响应求解提供新框架。
2025-10-29 cs.NA math.NA physics.comp-ph
Performance of linear solvers in tensor-train format on current multicore architectures
本文研究张量列车格式下低秩线性系统求解器在多核 CPU 上的性能,比较 TT-GMRES、MALS 和 AMEn 三种算法,并通过优化正交化、SVD 和张量收缩及提出 TT 秩 1 预条件子,使 AMEn 获得约 5 倍加速。
2024-10-24 cs.MS cs.NA math.NA
Numerical Algorithms for Water Waves with Background Flow over Obstacles and Topography
我们提出了两个准确和有效的算法求解不可压缩,无旋欧拉方程的自由表面在二维背景流周期性,多连通的流体域,包括固定的障碍物和可变的底部地形。一种方法是制定的表面速度潜力,而其他的演变涡面强度。这两种方法采用层电位的形式周期柯西积分计算的正常速度的自由表面,与任意参数化的自由表面和边界兼容,并允许循环周围的每个障碍物,这导致多值速度势,但单值流函数。我们证明了由此产生的第二类Fredholm积分方程是可逆的,可能经过物理动机的有限秩校正。在一个角度弧长设置,我们展示了如何避免与空间周期性不兼容的曲线重建错误。我们使用所提出的方法来研究重力毛细波产生的流动周围的几个椭圆形障碍物以上的平坦或可变的底部边界。在每种情况下,自由表面最终在飞溅奇点中自相交或与边界碰撞。我们还展示了如何评估整个流体的速度和压力与频谱精度,包括附近的自由表面和固体边界。为了评估时间演化的准确性,我们监测能量守恒和傅立叶模式的衰减,并比较两种方法的数值结果。我们实现了几个求解器的离散线性系统,并比较它们的性能。最快的方法采用图形处理单元(GPU)来构造矩阵并执行广义最小残差方法(GMRES)的迭代。
2022-05-05 cs.NA math-ph math.AP