Parallel Sparse and Data-Sparse Factorization-based Linear Solvers
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对大规模病态不定代数方程,综述了稀疏直接求解器在减少通信延迟和利用低秩压缩降低计算复杂度方面的最新进展,并讨论了现代异构并行机器上的并行化挑战与最佳实践。
2026-05-22 cs.DC cs.MS cs.NA
A distributed-memory hierarchical solver for general sparse linear systems
本文提出了一种在分布式存储机上求解一般稀疏线性系的并行层次求解器。对于大规模的问题,这种全代数算法比稀疏直接求解器更快,更节省内存,因为它利用了填充块的低秩结构。根据低秩近似的准确性,分层求解器可以用作直接求解器或预处理器。并行算法基于数据分解,只需要在每个处理器上进行局部通信来更新边界数据。此外,并行算法的计算与通信比近似为每个处理器所拥有的子域的体积与表面积之比。我们提出了各种数值结果来证明并行算法的通用性和可扩展性。
2017-12-20 cs.MS cs.NA math.NA
JAX-AMG: A GPU-Accelerated Differentiable Sparse Linear Solver Library for JAX
Cornell University(康奈尔大学);University of Notre Dame(圣母大学)
提出JAX-AMG,通过封装Nvidia AmgX求解器套件,为JAX生态提供GPU加速的代数多重网格求解器,支持自动微分、分布式多GPU执行,适用于PDE约束优化和反问题。
2026-07-30 cs.MS physics.comp-ph
Sparse Iterative Solvers Using High-Precision Arithmetic with Quasi Multi-Word Algorithms
Information Technology Center Nagoya University(名古屋大学信息技术中心);Shibaura Institute of Technology(芝浦工业大学)
本研究评估了基于共轭梯度法的稀疏迭代求解器中准双字和三字算术的性能,发现准三字算法在适当归一化下能减少运行时间并保持精度,可作为双字算法的替代方案。
2025-10-15 cs.MS
RAO-SS: A Prototype of Run-time Auto-tuning Facility for Sparse Direct Solvers
本文提出一种针对输入矩阵的运行时自动调优方法,并开发了基于Autopilot中间件和SuperLU求解器的RAO-SS原型,实现了最高3.6倍的加速比且软件开销可忽略。
2024-08-21 cs.MS cs.PF
An Integer Arithmetic-Based Sparse Linear Solver Using a GMRES Method and Iterative Refinement
在本文中,我们开发了一个(预处理)GMRES求解器的整数运算的基础上,并介绍了一个迭代精化框架的求解器。我们描述了基于整数或定点数的求解器的系数矩阵和向量的数据格式。为了避免计算中的溢出,我们在算术运算中引入了初始缩放和操作数的逻辑移位(调整)。针对GMRES算法的特点,提出了操作数移位的方法。数值试验表明,基于整数算法的求解器与迭代精化具有可比的求解器性能的收敛性的标准求解器的基础上浮点运算。此外,我们表明,预处理是很重要的,不仅可以提高收敛性,但也减少了溢出的风险。
2021-03-03 cs.MS cs.NA math.NA
On Parallel Solution of Sparse Triangular Linear Systems in CUDA
在现代众核处理器(诸如图形处理单元(GPU))上的稀疏矩阵计算的加速已经被认识和研究了十多年。许多稀疏矩阵计算内核,如稀疏矩阵-向量乘积和稀疏矩阵-矩阵乘积,已经实现了显着的性能增强。求解具有稀疏三角结构矩阵的线性系统是另一个重要的稀疏核,如稀疏线性求解器等各种科学和工程应用所要求的。然而,有效的并行算法在CUDA解决稀疏三角线性系统的发展仍然是一个具有挑战性的任务,由于固有的顺序性质的计算。在本文中,我们将重新审视这个问题,通过回顾现有的水平调度方法,并提出算法与自调度技术。数值结果表明,CUDA实现所提出的算法可以优于国家的最先进的求解器在cuSPARSE的一个因素高达$2.6$的结构化模型问题和一般稀疏矩阵。
2017-10-13 cs.MS
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd(Giga设计自动化有限公司);Shenzhen 518055, China(中国深圳518055)
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决,特别是Q学习技术。针对稀疏求解器的主要模块:最小度排序、任务调度和自适应旋转,提出了一些Q学习算法。最后,我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
An efficient multi-core implementation of a novel HSS-structured multifrontal solver using randomized sampling
我们提出了一个稀疏的线性系统求解器,是基于高斯消除的多波前变体,并利用低秩近似的密集的前端矩阵。我们使用层次半可分(HSS)矩阵,其中有低秩非对角块,近似的正面矩阵。对于HSS矩阵构造,随机采样算法与插值分解一起使用。随机化压缩与快速ULV HSS分解的组合导致求解器具有比许多应用的标准多波前方法更低的计算复杂性,导致在我们的测试套件中的问题的加速高达7倍。该实现通过使用具有动态运行时调度的任务并行性来针对众核系统。数值实验表明,性能的改善,国家的最先进的稀疏直接求解器。该实现在一系列现代共享内存并行系统(包括英特尔至强融核(MIC))上实现了高性能和良好的可扩展性。该代码是一个软件包的一部分,称为STRUMPACK --矩阵压缩包,它也有一个分布式存储器组件的密集秩结构矩阵。
2015-02-25 cs.MS
Linear solvers for power grid optimization problems: a review of GPU-accelerated linear solvers
本文针对电网优化中极度病态的稀疏对称不定线性方程组,评估了五个著名直接线性求解器包,发现各包求解精度差异大且均未实现显著的GPU加速。
2021-08-13 cs.MS cs.NA math.NA
Low-Rank SPIKE Framework for Solving Large Sparse Linear Systems with Applications
针对大型稀疏线性系统求解问题,提出基于低秩SVD近似非对角块的LR-SPIKE变体框架,可作为黑箱预条件子或近似直接求解器,在SuiteSparse矩阵(含3D有限元矩阵)上验证了有效性,与FEAST配对显著减少迭代次数。
2025-04-15 cs.MS cs.NA math.NA
Matrix Equations, Sparse Solvers: M-M.E.S.S.-2.0.1 -- Philosophy, Features and Application for (Parametric) Model
矩阵方程在(数值)线性代数和系统理论中无处不在。特别是在模型降阶(MOR)中,它们在许多基于平衡的线性动力系统降阶方法中起着关键作用。当这些系统产生于演化偏微分方程的空间离散化时,它们的系数矩阵通常是大而稀疏的。此外,这些系统的输入和输出的数量通常远小于空间自由度的数量。然后,在许多情况下,相应的大型矩阵方程的解决方案,观察到有低(数值)秩。M-M.E.S.S.利用了此功能。找到连续更大的低秩因子分解近似的解决方案。这一贡献描述了背后的实施和功能包的基本理念,以及它的应用在大规模线性时不变(LTI)系统和参数LTI系统的模型降阶。
2020-05-09 cs.MS cs.NA math.NA
Sparse Approximate Multifrontal Factorization with Butterfly Compression for High Frequency Wave Equations
我们提出了一个快速和近似的多波前求解器所产生的大规模稀疏线性系统的有限差分,有限体积或有限元离散的高频波动方程。建议的求解器利用蝴蝶算法及其层次矩阵扩展,通过图形距离引导的条目评估或随机矩阵向量乘法为基础的计划,压缩和分解大型正面矩阵。复杂性分析和数值实验表明,$\mathcal{O}(N\log^2 N)$计算和$\mathcal{O}(N)$内存的复杂性时,适用于一个$N\times N$稀疏系统所产生的三维高频亥姆霍兹和麦克斯韦问题。
2021-10-18 cs.CE cs.MS
Xabclib:A Fully Auto-tuned Sparse Iterative Solver
本文提出 OpenATLib 自动调优接口并开发全自动调优稀疏迭代求解器 Xabclib,通过优化 SpMV 线程实现和数值计算策略,实现显著加速、内存缩减并避免错误收敛。
2024-05-01 cs.DC cs.MS cs.PF
Fast Block Linear System Solver Using Q-Learning Schduling for Unified Dynamic Power System Simulations
Giga Design Automation Co., Ltd(国微设计自动化有限公司);Electric Power Research Institute(电力科学研究院)
提出了一种电力系统统一动态仿真的快速块直接求解器。该求解器使用了一种新的基于Q学习的任务调度方法。电力系统统一动态仿真是将电力系统的机电暂态、中期和长期动态现象有机地统一起来的一种方法。由于这些方程组的阶数高、求解量大,快速求解是加快仿真速度的关键。稀疏仿真系统包含复杂的嵌套块结构,求解器可以利用这种嵌套块结构来加快求解速度。对于求解器中的块和前端的调度,我们在马尔可夫决策过程的框架中使用基于学习的任务树调度技术。也就是说,我们可以通过对许多样本矩阵进行离线训练来学习最优调度策略。然后,对于任何系统,求解器将在学习的模型上得到最优的任务分配和调度。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。对一些大型电力系统的仿真表明,我们的求解器是2-6倍,比KLU,这是最先进的电路仿真问题的稀疏求解器。
2021-10-12 cs.LG cs.MS cs.NA
QRkit: Sparse, Composable QR Decompositions for Efficient and Stable Solutions to Problems in Computer Vision
USI Lugano(卢加诺大学);Microsoft HoloLens(微软全息眼镜)
QRkit通过高效计算稀疏矩阵的QR分解,解决计算机视觉中单精度下精度丢失问题,适用于块对角、水平垂直拼接和带状等常见稀疏结构。
2018-02-11 cs.MS cs.NA math.NA
Multi-GPU aggregation-based AMG preconditioner for iterative linear solvers
本研究提出并开源了一种基于混合MPI-CUDA环境、依托BootCMatchG库AMG预处理器的多GPU Krylov型稀疏线性求解器,通过优化通信开销兼顾单GPU效率,求解性能较Nvidia AmgX最高提升2倍。
2023-03-04 cs.DC cs.MS
StAnD: A Dataset of Linear Static Analysis Problems
Zuru Tech
结构的静态分析是确定结构稳定性的基本步骤。线性和非线性静态分析都是通过有限元法得到的稀疏线性系统的解。为结构工程中出现的稀疏线性系统开发快速和优化的求解器需要数据来比较现有方法,调整算法或评估新想法。我们介绍的静态分析数据集(StAnD)包含303.000静态分析的问题,应用现实的负载模拟框架结构。除了数据集,我们还发布了现有求解器在CPU和GPU上运行时间的详细基准比较。我们发布了用于生成数据集的代码,并在Github上对现有的求解器进行了基准测试。据我们所知,这是静态分析问题的最大数据集,也是稀疏线性系统的第一个公共数据集(包含矩阵和实际常数项)。
2022-01-14 cs.LG cs.MS cs.NA