JAX-AMG: A GPU-Accelerated Differentiable Sparse Linear Solver Library for JAX
Cornell University(康奈尔大学);University of Notre Dame(圣母大学)
提出JAX-AMG,通过封装Nvidia AmgX求解器套件,为JAX生态提供GPU加速的代数多重网格求解器,支持自动微分、分布式多GPU执行,适用于PDE约束优化和反问题。
2026-07-30 cs.MS physics.comp-ph
Sparse Iterative Solvers Using High-Precision Arithmetic with Quasi Multi-Word Algorithms
Information Technology Center Nagoya University(名古屋大学信息技术中心);Shibaura Institute of Technology(芝浦工业大学)
本研究评估了基于共轭梯度法的稀疏迭代求解器中准双字和三字算术的性能,发现准三字算法在适当归一化下能减少运行时间并保持精度,可作为双字算法的替代方案。
2025-10-15 cs.MS
RAO-SS: A Prototype of Run-time Auto-tuning Facility for Sparse Direct Solvers
本文提出一种针对输入矩阵的运行时自动调优方法,并开发了基于Autopilot中间件和SuperLU求解器的RAO-SS原型,实现了最高3.6倍的加速比且软件开销可忽略。
2024-08-21 cs.MS cs.PF
Composing Scalable Nonlinear Algebraic Solvers
Argonne National Laboratory(阿贡国家实验室);Rice University(莱斯大学);University of Kansas(堪萨斯大学)
本文提出非线性求解器的组合方法,通过结合不同非线性求解器显著提升求解效率,展示了一种软件框架以探索求解器组合,并证明组合求解器性能优于传统牛顿-克雷洛夫方法。
2016-07-14 cs.MS cs.NA math.NA
An Integer Arithmetic-Based Sparse Linear Solver Using a GMRES Method and Iterative Refinement
在本文中,我们开发了一个(预处理)GMRES求解器的整数运算的基础上,并介绍了一个迭代精化框架的求解器。我们描述了基于整数或定点数的求解器的系数矩阵和向量的数据格式。为了避免计算中的溢出,我们在算术运算中引入了初始缩放和操作数的逻辑移位(调整)。针对GMRES算法的特点,提出了操作数移位的方法。数值试验表明,基于整数算法的求解器与迭代精化具有可比的求解器性能的收敛性的标准求解器的基础上浮点运算。此外,我们表明,预处理是很重要的,不仅可以提高收敛性,但也减少了溢出的风险。
2021-03-03 cs.MS cs.NA math.NA
A Parallel and Scalable Iterative Solver for Sequences of Dense Eigenproblems Arising in FLAPW
在密度泛函理论中最重要的方法之一-全位势线性化增广平面波(FLAPW)方法中,稠密广义本征问题被组织在长序列中。此外,每个特征问题都与序列中的下一个特征问题密切相关。我们提出了一种新的方法,利用这种相关性,通过使用基于子空间迭代和加速切比雪夫多项式的特征值求解器。由此产生的求解器,使用元素库框架并行化,实现了良好的可扩展性,并具有竞争力,目前密集的并行特征值求解器。
2013-05-21 cs.DC cs.MS physics.comp-ph
On Parallel Solution of Sparse Triangular Linear Systems in CUDA
在现代众核处理器(诸如图形处理单元(GPU))上的稀疏矩阵计算的加速已经被认识和研究了十多年。许多稀疏矩阵计算内核,如稀疏矩阵-向量乘积和稀疏矩阵-矩阵乘积,已经实现了显着的性能增强。求解具有稀疏三角结构矩阵的线性系统是另一个重要的稀疏核,如稀疏线性求解器等各种科学和工程应用所要求的。然而,有效的并行算法在CUDA解决稀疏三角线性系统的发展仍然是一个具有挑战性的任务,由于固有的顺序性质的计算。在本文中,我们将重新审视这个问题,通过回顾现有的水平调度方法,并提出算法与自调度技术。数值结果表明,CUDA实现所提出的算法可以优于国家的最先进的求解器在cuSPARSE的一个因素高达$2.6$的结构化模型问题和一般稀疏矩阵。
2017-10-13 cs.MS
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd(Giga设计自动化有限公司);Shenzhen 518055, China(中国深圳518055)
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决,特别是Q学习技术。针对稀疏求解器的主要模块:最小度排序、任务调度和自适应旋转,提出了一些Q学习算法。最后,我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University(斯坦福大学)
本研究提出基于块坐标下降的快速可扩展算法,结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径,开发的adelie包速度比同类最快工具快3-10倍,且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Javelin: A Scalable Implementation for Sparse Incomplete LU Factorization
在这项工作中,我们提出了一个新的可扩展的不完全LU分解框架,称为标枪被用作预条件求解稀疏线性系统的迭代法。Javelin通过将系数矩阵打包成允许以最小开销进行高性能稀疏矩阵向量乘法和稀疏三角解算的格式,允许在共享内存众核系统上改进并行因式分解。该框架通过使用传统排列、点对点线程同步、任务分配和以传统压缩稀疏行格式进行分段前缀扫描的集合来实现这些目标。此外,该框架强调了在高线程架构上共同设计相关任务的重要性,例如稀疏因子分解和三角求解。通过这些更改,可以使用传统的填充和丢弃容差方法,同时仍然能够在68个Intel Knights Landing内核上观察到高达42倍的加速,在14个Intel Haswell内核上观察到高达12倍的加速。
2019-05-02 cs.DC cs.MS
Linear solvers for power grid optimization problems: a review of GPU-accelerated linear solvers
本文针对电网优化中极度病态的稀疏对称不定线性方程组,评估了五个著名直接线性求解器包,发现各包求解精度差异大且均未实现显著的GPU加速。
2021-08-13 cs.MS cs.NA math.NA
Low-Rank SPIKE Framework for Solving Large Sparse Linear Systems with Applications
针对大型稀疏线性系统求解问题,提出基于低秩SVD近似非对角块的LR-SPIKE变体框架,可作为黑箱预条件子或近似直接求解器,在SuiteSparse矩阵(含3D有限元矩阵)上验证了有效性,与FEAST配对显著减少迭代次数。
2025-04-15 cs.MS cs.NA math.NA
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机,而且针对计算机集群或附接到主机计算机的专用硬件,诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
TensorDiffEq: Scalable Multi-GPU Forward and Inverse Solvers for Physics Informed Neural Networks
物理信息神经网络通过将领域感知的深度机器学习模型引入科学计算,有望彻底改变科学和工程实践。已经出现了几个软件套件,使这些架构的实现和使用可用于研究和工业界。在这里,我们介绍了基于Tensorflow 2.x构建的\linebreak TensorDiffEq,它提供了一个直观的类似Keras的界面,用于问题域定义,模型定义以及使用物理感知的深度学习方法解决正问题和逆问题。TensorDiffEq充分利用Tensorflow 2.x基础设施在多个GPU上部署,允许实现大型高维复杂模型。同时,TensorDiffEq支持Keras API用于自定义神经网络架构定义。对于更小或更简单的模型,该包允许在较小规模的CPU平台上快速部署,而对实现脚本的更改可以忽略不计。我们展示了TensorDiffEq在解决不同大小和复杂程度的正向,反向和数据同化问题中的基本用法和功能。源代码可在https://github.com/tensordiffeq上获得。
2021-03-30 cs.MS physics.comp-ph
Matrix Equations, Sparse Solvers: M-M.E.S.S.-2.0.1 -- Philosophy, Features and Application for (Parametric) Model
矩阵方程在(数值)线性代数和系统理论中无处不在。特别是在模型降阶(MOR)中,它们在许多基于平衡的线性动力系统降阶方法中起着关键作用。当这些系统产生于演化偏微分方程的空间离散化时,它们的系数矩阵通常是大而稀疏的。此外,这些系统的输入和输出的数量通常远小于空间自由度的数量。然后,在许多情况下,相应的大型矩阵方程的解决方案,观察到有低(数值)秩。M-M.E.S.S.利用了此功能。找到连续更大的低秩因子分解近似的解决方案。这一贡献描述了背后的实施和功能包的基本理念,以及它的应用在大规模线性时不变(LTI)系统和参数LTI系统的模型降阶。
2020-05-09 cs.MS cs.NA math.NA
Sparse Approximate Multifrontal Factorization with Butterfly Compression for High Frequency Wave Equations
我们提出了一个快速和近似的多波前求解器所产生的大规模稀疏线性系统的有限差分,有限体积或有限元离散的高频波动方程。建议的求解器利用蝴蝶算法及其层次矩阵扩展,通过图形距离引导的条目评估或随机矩阵向量乘法为基础的计划,压缩和分解大型正面矩阵。复杂性分析和数值实验表明,$\mathcal{O}(N\log^2 N)$计算和$\mathcal{O}(N)$内存的复杂性时,适用于一个$N\times N$稀疏系统所产生的三维高频亥姆霍兹和麦克斯韦问题。
2021-10-18 cs.CE cs.MS
Xabclib:A Fully Auto-tuned Sparse Iterative Solver
本文提出 OpenATLib 自动调优接口并开发全自动调优稀疏迭代求解器 Xabclib,通过优化 SpMV 线程实现和数值计算策略,实现显著加速、内存缩减并避免错误收敛。
2024-05-01 cs.DC cs.MS cs.PF
Fast Block Linear System Solver Using Q-Learning Schduling for Unified Dynamic Power System Simulations
Giga Design Automation Co., Ltd(国微设计自动化有限公司);Electric Power Research Institute(电力科学研究院)
提出了一种电力系统统一动态仿真的快速块直接求解器。该求解器使用了一种新的基于Q学习的任务调度方法。电力系统统一动态仿真是将电力系统的机电暂态、中期和长期动态现象有机地统一起来的一种方法。由于这些方程组的阶数高、求解量大,快速求解是加快仿真速度的关键。稀疏仿真系统包含复杂的嵌套块结构,求解器可以利用这种嵌套块结构来加快求解速度。对于求解器中的块和前端的调度,我们在马尔可夫决策过程的框架中使用基于学习的任务树调度技术。也就是说,我们可以通过对许多样本矩阵进行离线训练来学习最优调度策略。然后,对于任何系统,求解器将在学习的模型上得到最优的任务分配和调度。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。对一些大型电力系统的仿真表明,我们的求解器是2-6倍,比KLU,这是最先进的电路仿真问题的稀疏求解器。
2021-10-12 cs.LG cs.MS cs.NA
L0Learn: A Scalable Package for Sparse Learning using L0 Regularization
Google Research(谷歌研究院);Massachusetts Institute of Technology(麻省理工学院)
本研究推出开源包L0Learn,基于坐标下降和局部组合优化实现可扩展的$\u2113_0$正则化稀疏学习,支持百万级特征问题,性能对标前沿工具,提供R和Python接口。
2023-06-09 cs.LG cs.MS stat.CO