Locality-aware parallel block-sparse matrix-matrix multiplication using the Chunks and Tasks programming model
本文提出了一种在分布式内存集群上实现并行块稀疏矩阵矩阵乘法的方法。通过使用四叉树矩阵表示,利用数据局部性,而无需有关矩阵稀疏模式的先验信息。由于我们最近开发了块和任务编程模型[并行计算],分布式四叉树矩阵表示可以直接实现。40,328(2014)]。四叉树表示与块和任务模型相结合,导致有利的弱和强缩放的通信成本与进程的数量,在理论上和数值实验中所示。矩阵由块对象的稀疏四叉树表示。层次结构中的叶子是块稀疏子矩阵。稀疏性由矩阵库动态检测,并且可以发生在层次结构中的任何级别和/或子矩阵叶内。在图形处理单元(GPU)可用的情况下,CPU和GPU都用于叶级乘法工作,从而利用每个节点的全部计算能力。的性能进行评估,为矩阵具有不同的稀疏结构,包括电子结构计算的例子。与不利用数据局部性的方法相比,我们的局部感知方法显着减少了通信,在弱缩放测试中实现了每个节点基本上恒定的通信。
2016-06-27 cs.DC
Arrow Matrix Decomposition: A Novel Approach for Communication-Efficient Sparse Matrix Multiplication
本文提出将稀疏矩阵分解为少量 Arrow 矩阵并利用置换连接,实现通信避免的稀疏矩阵乘法,在数亿行矩阵上优于现有方法,具有近线性扩展性。
2024-03-20 cs.DC
Task-Based Algorithm for Matrix Multiplication: A Step Towards Block-Sparse Tensor Computing
分布式存储矩阵乘法(MM)是许多领域(机器学习、量子物理)中算法的关键元素。用于密集MM的常规算法依赖于规则/均匀数据分解来确保负载平衡。这些特性与量子物理中快速方法越来越相关的不规则结构(块稀疏或块内秩稀疏)相冲突。为了处理这种不规则数据,我们提出了一种新的MM算法的基础上可扩展的通用矩阵乘法算法(SUMMA)。新的特点是:(1)多问题调度的SUMMA迭代,(2)细粒度的基于任务的制定。后者消除了显式的节点间同步的需要,与多迭代调度,这允许由于非均匀矩阵结构的负载不平衡。对于具有均匀和不均匀块大小的平方MM(后者模拟具有一般不规则结构的矩阵),我们发现在商品和高端硬件上,在弱和强缩放制度中表现出色。
2015-04-20 cs.DC
Semi-External Memory Sparse Matrix Multiplication for Billion-Node Graphs
稀疏矩阵乘法传统上在内存中执行,并使用多个节点的分布式内存扩展到大型矩阵。相比之下,我们通过以半外部存储器(SEM)方式实现稀疏矩阵密集矩阵乘法(SpMM)来扩展稀疏矩阵乘法超过存储器容量;即,我们将稀疏矩阵保存在商品SSD上,将密集矩阵保存在内存中。我们的SEM-SpMM集成了许多针对大型幂律图的内存优化。它的性能优于Trilinos和英特尔MKL的内存实现,并可扩展到十亿节点图形,远远超出内存的限制。此外,在单个大型并行机上,我们的SEM-SpMM与Trilinos的分布式实现一样快,使用五倍的处理能力。我们还在内存中运行我们的实现(IM-SpMM),以量化在SSD上保存数据的开销。当密集矩阵超过四列时,SEM-SpMM在图上实现了IM-SpMM的几乎100%性能;它在所有输入上实现了IM-SpMM的至少65%性能。我们将我们的SpMM应用于三个重要的数据分析任务-PageRank,eigensolving和非负矩阵分解-并表明我们的SEM实现显着推进了最先进的技术。
2016-10-14 cs.DC
RDMA-Based Algorithms for Sparse Matrix Multiplication on GPUs
本文针对GPU分布式环境下的稀疏矩阵乘法,提出基于RDMA和NVSHMEM的异步SpMM与SpGEMM算法,实验表明其性能优于批量同步方案,并支持工作窃取等新算法。
2024-05-31 cs.DC
A work-efficient parallel sparse matrix-sparse vector multiplication algorithm
我们设计并开发了一个工作效率高的多线程算法稀疏矩阵稀疏向量乘法(SpMSpV)的矩阵,输入向量和输出向量都是稀疏的。SpMSpV是新兴的GraphBLAS标准中的重要原语,并且是许多图算法的主力,包括广度优先搜索,二分图匹配和最大独立集。随着线程数的增加,现有的多线程SpMSpV算法可能会花费更多的时间来访问稀疏矩阵数据结构,而不是做算术。我们的共享内存并行SpMSpV算法的工作效率的意义上说,它的总工作是成比例的算术运算所需的数量。关键的见解是避免每个线程单独扫描矩阵列的列表。我们的算法是简单的实现和现有的基于列的稀疏矩阵格式。它在具有异构稀疏模式的不同矩阵和向量上表现良好。该算法的高性能实现在24核Intel Ivy Bridge处理器上实现了高达15倍的加速,在64核Intel KNL众核处理器上实现了高达49倍的加速。与现有算法的实现相比,我们的算法的性能在各种不同的输入类型上都是持续的,包括表示无标度和高直径图的矩阵。
2016-10-25 cs.DC
RSH-SpMM: A Row-Structured Hybrid Kernel for Sparse Matrix-Matrix Multiplication on GPUs
University of Science and Technology of China(中国科学技术大学)
RSH-SpMM通过自适应行划分和RS-Tile表示法,提升GPU上稀疏矩阵-矩阵乘法的性能,实现1.27至6.13倍的加速。
2026-02-24 cs.DC
Distributed-Memory Parallel Algorithms for Sparse Matrix and Sparse Tall-and-Skinny Matrix Multiplication
针对稀疏矩阵与高瘦矩阵乘法(TS-SpGEMM)的性能瓶颈,提出一种基于定制1D划分和稀疏感知分块的分布式内存算法,结合本地与远程计算降低通信开销,较2D和3D SUMMA平均提升5倍性能,并在512节点上验证了多源广度优先搜索等应用的可扩展性。
2024-08-21 cs.DC
Porting of the DBCSR library for Sparse Matrix-Matrix Multiplications to Intel Xeon Phi systems
稀疏矩阵相乘是模拟含有数千个原子和电子的系统的电子结构的关键运算。高度优化的稀疏线性代数库DBCSR(分布式块压缩稀疏行)专门设计用于有效地执行此类稀疏矩阵-矩阵乘法。该库是线性标度电子结构理论和CP 2K中低标度相关方法的基本构建块。它使用MPI和OpenMP进行并行化,并可以通过CUDA利用GPU加速器。我们描述了DBCSR在采用英特尔至强融核Knights Landing(KNL)处理器的系统上与采用英特尔至强CPU的系统(包括采用GPU的系统)的性能比较。我们发现,在相同数量的节点上,基于Cray XC 40 KNL的系统上的DBCSR比使用Nvidia P100卡的混合Cray XC 50慢11%-14%。与配备双插槽Intel Xeon CPU的Cray XC 40系统相比,KNL的速度最高可提高24%。
2017-08-21 cs.DC
Design Principles for Sparse Matrix Multiplication on the GPU
我们实现了两个新的算法稀疏矩阵密集矩阵乘法(SpMM)的GPU上。我们的算法期望稀疏输入流行的压缩稀疏行(CSR)格式,因此不需要昂贵的格式转换。虽然以前的SpMM工作集中在线程级并行,我们还专注于延迟隐藏与指令级并行和负载平衡。我们表明,无论是理论上和实验上,建议的SpMM是一个更好的适合GPU比以前的方法。我们确定了一个关键的内存访问模式,允许有效地访问到输入和输出矩阵,这是至关重要的SpMM获得优异的性能。通过结合这两个成分--(i)合并为基础的负载平衡和(ii)行为主合并内存访问-我们证明了4.1倍的峰值加速比和31.7%的几何加速比在现实世界的数据集上的最先进的SpMM实现。
2018-06-12 cs.DC
Communication-Avoiding and Memory-Constrained Sparse Matrix-Matrix Multiplication at Extreme Scale
稀疏矩阵-矩阵乘法(Sparse matrix-matrix multiplication,SpGEMM)是各种图、科学计算和机器学习算法中广泛使用的核心。在本文中,我们考虑在数十万个处理器上执行SpGEMM,在输出矩阵中生成数万亿个非零。这种极端规模的分布式SpGEMM面临两个关键挑战:(1)高通信成本和(2)生成输出的内存不足。我们通过集成的通信避免和内存受限的SpGEMM算法来解决这些挑战,该算法可扩展到262,144个核心(超过100万个硬件线程),并且只要输入和输出的一小部分适合聚合内存,就可以乘以任何大小的稀疏矩阵。当我们在Cray XC 40超级计算机上从16,384个核心增加到262,144个核心时,新的SpGEMM算法在乘以大规模蛋白质相似性矩阵时运行速度快了10倍。
2020-10-16 cs.DC
Low-Bandwidth Matrix Multiplication: Faster Algorithms and More General Forms of Sparsity
本研究改进了低带宽下稀疏矩阵乘法分布式算法,将均匀稀疏矩阵乘法的通信轮数从O(d^1.907)降至O(d^1.832),并拓展研究了行稀疏、列稀疏等多种非均匀稀疏形式的矩阵乘法问题。
2024-05-22 cs.DC
AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
Cornell University(康奈尔大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出两种新内核,利用异步GPU特性优化稀疏矩阵乘法,其中WCSR内核在SuiteSparse矩阵上性能优于现有方法,BCSR内核在Qwen2.5-7B预填充任务中实现显著加速。
2026-04-20 cs.DC
Algorithms for Parallel Shared-Memory Sparse Matrix-Vector Multiplication on Unstructured Matrices
针对非结构化稀疏矩阵,提出六种混合SpMV算法,结合并行化、存储格式和非零排序优化,其中一种在多CPU架构上性能提升19%,并分析存储格式转换开销。
2025-02-26 cs.DC
Bandwidth-Optimized Parallel Algorithms for Sparse Matrix-Matrix Multiplication using Propagation Blocking
稀疏矩阵-矩阵乘法(Sparse matrix-matrix multiplication,SpGEMM)是各种图、科学计算和机器学习算法中广泛使用的核心。众所周知,SpGEMM是一个内存受限的操作,其峰值性能预计将受到内存带宽的限制。然而,现有的算法未能饱和的内存带宽,导致在Roofline模型下的次优性能。在本文中,我们现有的SpGEMM算法的特点,其内存访问模式的基础上,开发实用的下限和上限的SpGEMM性能。然后,我们开发了一个基于外积矩阵乘法的SpGEMM算法。新开发的算法称为PB-SpGEMM饱和内存带宽通过使用传播阻塞技术,并通过执行在缓存排序和合并。对于许多实际矩阵,PB-SpGEMM在现代多核处理器上的运行速度比最先进的堆和散列SpGEMM算法快20%-50%。最重要的是,PB-SpGEMM达到了Roofline模型预测的性能,并且其性能在矩阵大小和稀疏性方面保持稳定。
2020-02-26 cs.DC
Batched Sparse Matrix Multiplication for Accelerating Graph Convolutional Networks
图卷积网络(GCN)作为一种高精度的机器学习方法,近年来在生物信息学和化学信息学领域得到了广泛的关注。GCN处理卷积运算以及图形结构,GPU用于处理大量运算,包括当图形结构表示为具有稀疏矩阵格式的邻接矩阵时的稀疏-密集矩阵乘法(SpMM)。然而,SpMM操作上的小图,其中节点的数量是几十或几百,很难利用高并行性或GPU的计算能力。因此,SpMM成为GCN应用中训练和推理的瓶颈。为了提高GCN应用程序的性能,提出了一种新的SpMM算法,特别是针对小稀疏矩阵的SpMM算法和Batched SpMM算法,该算法利用GPU的高并行性,通过单个CUDA内核处理多个SpMM操作。据我们所知,这是第一个工作的批处理方法的SpMM。我们评估了GCN应用程序在采用NVIDIA Tesla P100 GPU的TSUBAME 3.0上的性能,我们的批处理方法在训练和推理方面分别显示出高达1.59倍和1.37倍的显著加速。
2019-03-27 cs.DC
Is Sparse Matrix Reordering Effective for Sparse Matrix-Vector Multiplication?
University of Utah(犹他大学);INRIA(法国国家信息与自动化研究所);RNET Technologies(RNET科技公司)
本文评估了稀疏矩阵重排序对多核CPU上稀疏矩阵-向量乘法性能的影响,分析了不同重排序策略在顺序与并行执行下的增益差异、跨机器一致性及负载不均衡问题。
2025-09-21 cs.DC cs.PF
GE-SpMM: General-purpose Sparse Matrix-Matrix Multiplication on GPUs for Graph Neural Networks
图神经网络(GNN)在各个领域都取得了显著的进步。稀疏矩阵-矩阵乘法(SpMM)是GNN中的基本运算符,它执行稀疏矩阵和稠密矩阵之间的乘法。在GPU等并行硬件上加速SpMM可能面临以下挑战:从GNN应用程序的角度来看,需要考虑兼容性。一般的GNN算法需要类似于SpMM的操作(例如,池化),这在当前高性能GPU库中不支持(例如,Nvidia cuSPARSE)。此外,在以前的实现中的复杂的预处理将导致沉重的数据格式转换开销在GNN框架。从GPU硬件的角度来看,GPU上的SpMV(稀疏矩阵向量)设计中的优化并不适用于SpMM。SpMM暴露了密集输出矩阵中的列并行性,但是从SpMV直接泛化导致对全局内存中的稀疏矩阵的低效的、未合并的访问。稀疏行数据可以在GPU线程之间重用,这在从SpMV继承的SpMM设计中是不可能的。为了应对这些挑战,我们提出了GE-SpMM。GE-SpMM对以最常见的压缩稀疏行(CSR)格式表示的稀疏矩阵执行类似于SpMM的操作,因此它可以嵌入到GNN框架中,无需预处理开销,并支持通用GNN算法。我们引入了合并行缓存方法来并行处理列,并确保合并访问稀疏矩阵数据。我们还提出了粗粒度的Warp合并,以减少GPU warp之间的冗余数据加载。在真实世界的图数据集上的实验表明,GE-SpMM比Nvidia cuSPARSE和GraphBLAST的加速比分别高达1.41倍和1.…
2020-07-07 cs.DC
Efficient Sparse-Dense Matrix-Matrix Multiplication on GPUs Using the Customized Sparse Storage Format
稀疏矩阵到稠密矩阵的乘法(SpDM)被广泛地应用于诸如科学计算和机器学习的许多领域。然而,现有的工作忽视了SpDM在现代众核架构(如GPU)上的性能优化。存储数据结构有助于稀疏矩阵以节省内存的方式存储,但由于稀疏结构的数据访问不规则,导致资源利用率较低,性能较差,给SpDM在现代GPU上的性能优化带来困难。在本文中,我们参考的屋顶性能模型的GPU设计一个高效的SpDM算法称为GCOOSpDM,在该算法中,我们利用合并的全局内存访问,快速共享内存重用和更多的操作,每字节的全局内存流量。实验在三个Nvidia GPU上进行评估(即,GTX 980、GTX Titan X Pascal和Tesla P100)与CUDA-8.0使用大量矩阵,包括公共数据集和随机生成的矩阵。实验结果表明,GCOOSpDM在许多矩阵中实现了比Nvidia库cuSPARSE高1.5-8 $\times$的加速比。我们还分析了特定GPU上的并行级操作,以了解GCOOSpDM和cuSPARSE之间的性能差距。分析的指令确认cuSPARSE在慢速内存访问(包括DRAM访问和L2缓存访问)上花费了大量时间,而GCOOSpDM将这种慢速内存访问转移到更快的共享内存,这主要有助于性能提升。结果还表明,GCOOSpDM将优于密集算法(cuBLAS)与较低的稀疏比cuSPARSE在GPU上。
2020-05-29 cs.DC
Accelerating Sparse DNNs Based on Tiled GEMM
提出一种 tile-wise 与 tile-vector-wise (TVW) 稀疏模式,结合分块级结构化与全局不规则剪枝,在 GPU 上相比密集、块稀疏和非结构化稀疏模型分别实现 1.85×、2.75× 和 22.18× 的平均加速。
2024-02-16 cs.DC
PARS3: Parallel Sparse Skew-Symmetric Matrix-Vector Multiplication with Reverse Cuthill-McKee Reordering
本文提出PARS3方法,利用RCM重排序将稀疏反对称矩阵转为带状矩阵并划分为3部分并行化,首次实现并行反对称SpMV内核,较串行实现加速达19倍,且超越基于图着色的方法并适用于对称SpMV。
2024-07-24 cs.DC
SpSYRK: Half the Work in Distributed Sparse Matrix Multiplication
Cornell University(康奈尔大学)
本文提出利用对称性的分布式稀疏SYRK方法,通过优化划分与通信减少计算通信开销,在Perlmutter超算32节点上实现2倍加速,可直接替换现有分布式SpGEMM相关应用。
2026-08-12 cs.DC
MACKO: Sparse Matrix-Vector Multiplication for Low Sparsity
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava(数学物理信息学系 哥梅尼乌斯大学布拉迪斯拉瓦)
针对现有SpMV在大语言模型低非结构化稀疏场景下性能不足的问题,提出GPU优化的MACKO-SpMV协同设计,实现显著内存缩减与推理加速,让50%稀疏度非结构化剪枝可实际落地。
2025-11-17 cs.AI cs.DC cs.DS
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo(东京科学大学);RIKEN Center for Computational Science(理化学研究所计算科学中心);Intel Corporation(英特尔公司)
本文提出SHIRO框架,通过细粒度稀疏感知通信策略和分层通信策略,减少通信开销,提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
Exploring Sparse Matrix Multiplication Kernels on the Cerebras CS-3
North Carolina State University(北卡罗来纳州立大学);Argonne National Laboratory(阿贡国家实验室)
本文研究了Cerebras CS-3在稀疏线性代数内核中的性能,针对稀疏-密集矩阵乘法和采样密集-密集矩阵乘法进行了优化,结果显示在高稀疏度下CS-3性能优于CPU,但稀疏度超过99%时性能下降。
2026-08-11 cs.DC
Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs
University of Glasgow(格拉斯哥大学);AMD(超威半导体公司)
本文提出利用FHE矩阵乘法中的非结构化稀疏性,设计三种稀疏乘法方案,在保持模型精度下实现2.5倍平均加速,64核多线程达32.5倍提升并降低内存需求。
2025-04-03 cs.CR cs.DC cs.LG
Hybrid-parallel sparse matrix-vector multiplication with explicit communication overlap on current multicore-based systems
我们评估优化的并行稀疏矩阵向量运算的几个代表性的应用领域广泛的基于多核的集群配置。首先,单插槽的基线性能进行了分析和建模的基本架构属性的标准多核芯片。在单个节点之外,并行稀疏矩阵-向量运算的性能通常受到通信开销的限制。从观察到,非阻塞MPI是无法隐藏通信成本使用标准的MPI实现,我们证明了通信和计算的显式重叠可以通过使用专用的通信线程,它可以运行在一个虚拟的核心。此外,我们确定的混合MPI/OpenMP编程的性能优势,由于改进的负载均衡,即使没有明确的通信重叠。我们比较纯MPI的性能结果,广泛使用的“矢量”混合编程策略,并明确重叠的现代多核集群和Cray XE 6系统。
2011-06-29 cs.DC
A Systematic Survey of General Sparse Matrix-Matrix Multiplication
本文系统综述了通用稀疏矩阵-矩阵乘法(SpGEMM)的研究进展,按架构与设计选择分类梳理关键技术和优化方法,并通过性能比较指出未来研究方向。
2023-07-11 cs.DC
Sparse Matrix-Matrix Multiplication on Multilevel Memory Architectures : Algorithms and Experiments
具有多种存储介质的架构正在成为主流超级计算机部署的常见部分。所谓的多级存储器为每个存储器组件提供不同的特性,包括带宽、延迟和容量的变化。本文研究了稀疏矩阵乘法内核在两种领先的高性能计算架构(Intel的Knights Landing处理器和NVIDIA的Pascal GPU)上的性能。我们描述了一种数据放置方法和基于分块的算法,我们的内核,利用存在的多个内存空间在每个硬件平台。我们评估这些方法的性能w.r.t.使用自动缓存机制的标准算法。我们的研究结果表明,标准的算法,利用高速缓存重用执行以及多内存感知算法的架构,如KNL的内存子系统具有类似的延迟。然而,对于诸如GPU之类的架构,其中存储器子系统在带宽和延迟方面都有显著差异,多存储器感知方法对于良好的性能至关重要。此外,我们的新方法允许用户运行需要比每个计算节点的最快内存更大容量的问题,而不依赖于软件管理的缓存机制。
2018-04-02 cs.DC
FlashSparse: Minimizing Computation Redundancy for Fast Sparse Matrix Multiplications on Tensor Cores
Beijing University of Posts and Telecommunications(北京邮电大学)
FlashSparse通过交换-转置策略最小化稀疏粒度,减少计算冗余并充分利用张量核心,在H100和RTX 4090上实现稀疏矩阵乘法5.5倍和3.22倍加速。
2024-12-15 cs.DC cs.LG
Optimizing Block-Sparse Matrix Multiplications on CUDA with TVM
在CUDA平台上实现并优化了稠密矩阵和块稀疏矩阵之间的矩阵乘法运算。我们利用TVM(一种深度学习编译器)来探索操作的调度空间并生成高效的CUDA代码。通过TVM中的自动参数调整,我们的基于跨线程缩减的实现与其他最先进的框架相比具有竞争力或更好的性能。
2020-07-26 cs.DC cs.LG cs.MS
Sparse and Private Distributed Matrix Multiplication with Straggler Tolerance
本文研究将两个私有稀疏矩阵乘法外包给不可信工作节点的问题,构建了推广Shamir方案的稀疏秘密共享方案,在固定阈值下提供最强隐私保证并容忍掉队者。
2023-06-27 cs.DC cs.IT math.IT
Verification Challenges in Sparse Matrix Vector Multiplication in High Performance Computing: Part I
Argonne National Laboratory(阿贡国家实验室)
本文提出SpMV的顺序和MPI并行实现,作为科学软件验证的挑战问题,基于PETSc库。
2025-10-15 cs.DC cs.LO cs.MS
Exact Sparse Matrix-Vector Multiplication on GPU's and Multicore Architectures
我们提出了有限域和环$\Zb/m\Zb$的稀疏矩阵--稠密向量乘法(\spmv{})的不同实现。我们利用图形卡处理器(GPU)和多核架构。我们的目标是提高\linbox库中的\spmv{}的速度,以及今后其黑盒算法的速度。此外,我们使用这个和一个新的并行化的sigma基算法在有限域上的并行块Wiedemann秩实现。
2010-04-21 cs.DC cs.MS cs.SC
SMAT: An Input Adaptive Sparse Matrix-Vector Multiplication Auto-Tuner
稀疏矩阵向量乘法(Sparse matrix vector multiplication,SpMV)是科学和工程应用中的一个重要核心问题.前面的优化是特定于稀疏矩阵格式的,并将最佳格式的选择公开给应用程序员。在这项工作中,我们开发了一个自动调优框架,以弥合特定的优化内核和它们的通用用途之间的差距。我们提出了一个SpMV自动调谐器(SMAT),提供了一个统一的接口,基于压缩稀疏行(CSR)的程序员隐式地选择最佳的格式和最快的实现任何输入稀疏矩阵在运行时。SMAT利用一个数据采掘模型,该模型基于从UF稀疏矩阵集合中的2373个矩阵中提取的一组性能参数来制定,以快速搜索最佳组合。实验表明,SMAT在Intel上实现了单精度75 GFLOP/s、双精度33 GFLOP/s的最高性能,在AMD上实现了单精度41 GFLOP/s、双精度34 GFLOP/s的最高性能。与MKL库中的稀疏函数相比,SMAT的运行速度提高了3倍以上。
2012-10-09 cs.DC cs.MS
Accelerating Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
稀疏通用矩阵-矩阵乘法(spGEMM)是许多科学和数据分析应用中的重要组成部分。然而,输入矩阵的稀疏模式和它们的模式的相互作用使得spGEMM具有挑战性。现代GPU包括张量核心单元(TCU),专门用于密集矩阵乘法。我们的目标是为稀疏矩阵重新使用TCU。我们的spGEMM算法tSparse的关键思想是使用TCU的混合精度模式来乘以稀疏矩形块。tSparse将输入矩阵划分为tile,并仅对包含一个或多个元素的tile进行操作。它创建区块的任务列表,并使用TCU执行这些区块的矩阵乘法。据我们所知,这是首次在spGEMM背景下使用TCU。我们表明,spGEMM,我们的平铺方法,从TCU的好处。与cuSPARSE、CUSP、RMerge 2、Nsparse、AC-SpGEMM和spECK相比,我们的方法显著提高了spGEMM的性能。
2020-09-29 cs.DC cs.MS cs.PF
Scaling betweenness centrality using communication-efficient sparse matrix multiplication
介数中心性(BC)是一个重要的图问题,它通过穿过顶点的最短路径的数量来衡量顶点的重要性。我们提出了最大边界介数中心性(MFBC):一种基于新颖的稀疏矩阵乘法例程的简洁BC算法,其在$p$处理器上执行比最佳已知替代方案少$p^{1/3}$倍的通信,对于具有$n$顶点和平均度$k=n/p^{2/3}$的图。我们制定,实施,并证明了MFBC的正确性加权图利用幺半群,而不是半环,这使得一个令人惊讶的简洁的配方。MFBC的规模非常稀疏和相对密集的图形。它自动搜索分布式数据分解和稀疏矩阵乘法算法的空间,以获得最有利的配置。MFBC实现的性能比著名的CombBLAS库高出8倍,并显示出更强大的性能。我们的设计方法很容易扩展到其他图形问题。
2017-08-09 cs.DC cs.DM cs.MS
Efficient Distributed-Memory Parallel Matrix-Vector Multiplication with Wide or Tall Unstructured Sparse Matrices
本文提出了一种有效的技术,矩阵向量和向量转置矩阵乘法在分布式内存并行计算环境中,矩阵是非结构化的,稀疏的,有一个显着的列数比行数或反之亦然。我们的方法允许并行I/O,不需要大量的预处理,并具有相同的通信复杂性的矩阵向量乘法与列或行分区。我们使用MPI实现该方法。我们将矩阵划分为单个非零元素,而不是行或列,并使用与矩阵匹配的“重叠”向量表示。转置乘法使用矩阵特定的MPI通信和减少,我们可以建立一个有效的方式。所提出的技术实现了良好的工作每处理器的平衡,即使一些列是密集的,同时保持通信成本相对较低。
2018-12-03 cs.DC cs.MS
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机,而且针对计算机集群或附接到主机计算机的专用硬件,诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
Highly Parallel Sparse Matrix-Matrix Multiplication
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
针对广义稀疏矩阵-矩阵乘法,提出基于二维块分布和超稀疏内核的并行算法,实现处理器数量无限制下的加速,并通过MPI实现验证了数千处理器上的可扩展性。
2010-06-11 cs.DC cs.MS cs.NA
Sparse Random Khatri-Rao Product Codes for Distributed Matrix Multiplication
我们介绍了两个推广的范例,使用随机Khatri-Rao产品(RKRP)代码的分布式矩阵乘法。本文首先介绍了一类具有稀疏生成矩阵的稀疏随机Khatri-Rao乘积码。当输入矩阵稀疏时,SRKRP码比RKRP码具有更低的编码、计算和通信成本,同时它们表现出与其他现有技术方案相似的数值稳定性。我们实证研究的概率之间的关系的生成矩阵(仅限于一组非离散)的随机选择的SRKRP码是秩亏和各种参数的编码方案,包括稀疏度的生成矩阵和非离散的数量。其次,我们表明,如果主节点可以执行一个非常小的数量的矩阵产品的计算,除了由工人进行的计算,故障概率可以大大提高。
2022-05-12 cs.DC cs.IT math.IT
Performance Modeling of Streaming Kernels and Sparse Matrix-Vector Multiplication on A64FX
A64 FX CPU是目前Top500排行榜上排名第一的超级计算机。虽然它是一个传统的基于缓存的多核处理器,但其峰值性能和内存带宽可与加速器设备相媲美。为这样一个新的体系结构生成高效的代码需要很好地理解其性能特性。利用这些功能,我们构建的执行缓存存储器(ECM)的性能模型的A64 FX处理器在FX 700超级计算机,并验证它使用流循环。我们还确定架构的特点,并获得优化提示。将ECM模型应用于稀疏矩阵向量乘法(SpMV),我们激发了CRS矩阵存储格式不合适的原因以及SELL-C-sigma格式如何通过适当的代码优化实现SpMV的带宽饱和。
2020-09-29 cs.AR cs.DC cs.PF
Sparse Matrix Multiplication in the Low-Bandwidth Model
我们研究低带宽模型中的矩阵乘法:有$n$计算机,我们需要计算两个$n \times n$矩阵的乘积。最初,计算机$i$知道每个输入矩阵的行$i$。在一个通信回合中,每台计算机可以发送和接收一个$O(\log n)$位消息。最后,计算机$i$必须输出乘积矩阵的行$i$。我们试图理解这个问题的复杂性,在均匀稀疏的情况下:每个输入矩阵的每一行和每一列最多有$d$非零,在产品矩阵,我们只需要知道在每一行或每一列中的最多$d$元素的值。这正是我们所拥有的设置,例如,当我们在最大度$d$的图中应用矩阵乘法进行三角形检测时。我们专注于支持的设置:矩阵的结构是已知的,只有非零元素的数值是未知的。有一种简单的算法可以在$O(d^2)$轮中解决该问题,但是对于大的$d$,已知存在更好的算法;在适度密集的状态下,该问题可以在$O(dn^{1/3})$通信循环中解决,并且对于非常大的$d$,主要解决方案是使用$O(n^{1.158})$通信循环的快速矩阵乘法算法(用于支持快速矩阵乘法的域和环上的矩阵乘法)。在这项工作中,我们表明,有可能克服二次障碍的所有值的$d$:我们提出了一个算法,解决了这个问题,在$O(d^{1.907})$轮的领域和环支持快速矩阵乘法和$O(d^{1.927})$轮的半环,独立的$n$。
2022-06-01 cs.DC cs.DS
Serpens: A High Bandwidth Memory Based Accelerator for General-Purpose Sparse Matrix-Vector Multiplication
稀疏矩阵向量乘法(SpMV)将稀疏矩阵与密集向量相乘。SpMV在从图形分析到深度学习的许多应用中发挥着至关重要的作用。稀疏矩阵的随机存储器访问使得加速器设计具有挑战性。然而,基于高带宽存储器(HBM)的FPGA非常适合设计用于SpMV的加速器。在本文中,我们提出了Serpens,一个基于HBM的通用SpMV加速器。Serpens的特点是(1)通用设计,(2)以内存为中心的处理引擎,(3)索引合并,以支持任意SpMV的有效处理。根据对12个大尺寸矩阵的评估,Serpens在几何吞吐量方面分别比最新的加速器GraphLiLy和Sextans高1.91倍和1.76倍。我们还评估了2,519个SuiteSparse矩阵,Serpens的吞吐量比K80 GPU高2.10倍。在能量/带宽效率方面,Serpens分别比GraphLily、Sextans和K80高1.71x/1.99x、1.90x/2.69x和6.25x/4.06x。在扩展到24个HBM通道后,Serpens实现了高达60.55~GFLOP/s(30,204~MTEPS),是GraphLily的3.79倍。该代码可在www.example.com上获得。
2022-05-09 cs.AR cs.DC
Node Aware Sparse Matrix-Vector Multiplication
稀疏矩阵向量乘(SpMV)运算是许多仿真和线性求解器中的关键计算内核。与并行SpMV的参考实现相关联的大的通信要求导致差的并行可扩展性。通信成本取决于发送和接收进程的物理位置:注入网络的消息比在同一节点上的进程之间发送的消息成本更高。在本文中,一个节点感知并行SpMV(NAPSpMV)被引入到利用系统拓扑结构的知识,特别是节点处理器的布局,以减少与通信相关的成本。输入向量的值被重新分配,以最小化在SpMV期间注入网络的消息的数量和大小,从而降低通信成本。各种计算实验,突出了这种方法的效率。
2017-11-15 cs.DC cs.MS
Accelerating Sparse DNN Models without Hardware-Support via Tile-Wise Sparsity
Shanghai Jiao Tong University(上海交通大学);NVIDIA(英伟达);Shanghai Qi Zhi Institute(上海期智研究院);University of Rochester(罗切斯特大学)
网络修剪可以降低深度神经网络(DNN)模型的高计算成本。然而,为了保持其精度,稀疏模型通常携带随机分布的权重,导致不规则的计算。因此,稀疏模型不能在商用硬件上实现有意义的加速(例如,GPU)为密集矩阵计算而构建。因此,先前的工作通常修改或设计全新的稀疏优化架构,以利用稀疏性。我们提出了一种算法软件协同设计的修剪方法,实现延迟加速现有的密集架构。我们的工作建立在矩阵乘法通常将大矩阵分解为多个较小的瓦片以进行并行执行的见解之上。我们提出了一种平铺友好的“瓦片式”稀疏模式,它在瓦片级别保持规则模式,以实现高效执行,但允许在全球范围内进行不规则的任意修剪,以保持高精度。我们在GPU张量核心上实现并评估了稀疏模式,在密集模型上实现了1.95倍的加速。
2020-08-29 cs.AI cs.DC
Level-based Blocking for Sparse Matrices: Sparse Matrix-Power-Vector Multiplication
稀疏矩阵与稠密向量的相乘(SpMV)是许多数值格式中的关键组成部分,并且已知其性能受到主存访问的严重限制。几种数值方案需要将稀疏矩阵多项式与密集向量相乘,这通常被实现为SpMV序列。这导致低性能,并且忽略了通过重用来自缓存的矩阵数据来增加算术强度的潜力。在这项工作中,我们使用递归代数着色引擎(RACE),使阻塞的稀疏矩阵数据的多项式计算。在表示稀疏矩阵的图中,我们使用宽度优先搜索来形成级别。这些级别的局部性关系,然后使用访问矩阵数据时,以提高空间和时间的局部性,并实现一个有效的多线程并行化。我们的方法是独立的矩阵结构,避免了现有的“阻塞”策略的缺点,在硬件效率和并行化开销。我们量化的质量,我们的实施使用性能建模和演示加速高达3 $\times$和5 $\times$相比,最佳的SpMV为基础的基线在一个单一的多核芯片的最新英特尔和AMD架构。作为一个潜在的应用,我们证明了我们的实施的切比雪夫时间传播计划,代表类的多项式逼近指数积分的好处。进一步的数值方案,可能会受益于我们的发展,包括$s$ -步骤Krylov求解器和电源聚类算法。
2022-05-03 cs.DC cs.NA cs.PF
A Recursive Algebraic Coloring Technique for Hardware-Efficient Symmetric Sparse Matrix-Vector Multiplication
对称稀疏矩阵向量乘法(SymmSpMV)是许多数值线性代数核运算或图遍历应用的重要构建块。由于需要管理结果向量上的冲突更新,因此在当今多达100个内核的多核平台上对SymmSpMV进行并行化是很困难的。着色方法可以用来解决这个问题,没有数据重复,但现有的着色算法不考虑负载均衡和深存储层次结构,阻碍了可扩展性和全芯片性能。在这项工作中,我们提出了递归代数着色引擎(RACE),一种新的着色算法和开源库实现,它消除了以前的着色方法在硬件效率和并行化开销方面的缺点。我们描述了RACE中的级别构造、距离k着色和负载均衡步骤,使用它来并行化SymmSpMV,并在两个现代多核处理器上比较了它在31个稀疏矩阵上与其他最先进的着色技术和英特尔MKL的性能。RACE大大优于所有其他方法,并根据Roofline模型进行操作。对异常值进行了详细的讨论和分析。虽然我们专注于SymmSpMV在本文中,我们的算法和软件是适用于任何稀疏矩阵操作的数据依赖关系,可以解决距离-k着色。
2019-07-15 cs.DC cs.PF
Adaptive SpMV/SpMSpV on GPUs for Input Vectors of Varied Sparsity
尽管在现代硬件架构上进行了大量的工作来优化稀疏矩阵和向量乘法(SpMV)的性能,但很少对其稀疏对应物稀疏矩阵和稀疏向量乘法(SpMSpV)进行工作,更不用说处理不同稀疏度的输入向量了。关键的挑战是,根据稀疏性级别、数据分布和计算平台,SpMV/SpMSpV内核的最佳选择可能会有所不同,静态选择是不够的。在本文中,我们提出了一个自适应的SpMV/SpMSpV框架,它可以自动选择合适的SpMV/SpMSpV内核的GPU上的任何稀疏矩阵和向量在运行时。在系统分析计算模式、负载分配和回写策略等关键因素的基础上,将8个候选SpMV/SpMSpV内核封装到框架中,实现了高性能的无缝集成。从精度和开销两个方面对基于机器学习的核选择器进行了全面的研究,以选择核并适应输入和硬件的变化。实验表明,自适应框架在NVIDIA Tesla K40 m、P100和V100 GPU上的实际应用中的性能大大超过了之前的最先进水平。
2020-12-17 cs.DC cs.MS
DBCSR: A Library for Dense Matrix Multiplications on Distributed GPU-Accelerated Systems
大多数,如果不是所有的现代科学模拟软件包利用矩阵代数运算。在线性代数的运算中,最重要的核心之一就是矩阵的乘法运算,无论是稠密矩阵还是稀疏矩阵。这样的内核的应用示例是在电子结构计算、机器学习、数据采掘、图形处理和数字信号处理中。有几个优化的库可以在分布式系统上实现高性能。其中只有少数针对分布式GPU加速系统。在大多数情况下,这些库由系统供应商针对其特定计算机系统提供和优化。在本文中,我们提出了DBCSR库(分布式块压缩稀疏行)的分布式密集矩阵矩阵乘法。尽管该库是专门为块稀疏矩阵-矩阵乘法设计的,但我们针对GPU加速系统上的密集情况进行了优化。我们表明,DBCSR优于由供应商优化的GPU版本的ScaLAPACK库提供的不同大小和形状的矩阵的乘法高达2.5倍(平均1.4倍)。
2019-10-10 cs.DC cs.MS
Exploiting Multiple Levels of Parallelism in Sparse Matrix-Matrix Multiplication
稀疏矩阵-矩阵乘法(Sparse matrix-matrix multiplication,简称SpGEMM)是许多高性能图算法以及一些线性求解器(如代数多重网格)的关键原语。SpGEMM的现有并行实现的缩放严重受限于通信。尽管在基于Erdos-Renyi矩阵的平面MPI模型中已经提出了3D(或2.5D)算法并进行了理论分析,但这些算法还没有在实际中实现,也没有对一般情况下的算法复杂度进行分析。在这项工作中,我们提出了有史以来第一次实现的三维SpGEMM制定,也利用多个(节点内和节点间)的并行级别,实现显着的速度比国家的最先进的公开可用的代码在所有级别的并发。我们广泛评估我们的实施情况,并确定应进一步研究的瓶颈。
2016-11-16 cs.DC cs.NA math.NA
Coded Sparse Matrix Multiplication
The Ohio State University(俄亥俄州立大学)
本文提出一种稀疏编码策略,解决大规模分布式矩阵乘法中的stragglers问题,实现近最优恢复阈值、低计算开销和线性解码时间。
2018-04-17 cs.DC cs.NA math.NA
Parallel Sparse Matrix-Matrix Multiplication and Indexing: Implementation and Experiments
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出一种基于二维块数据分布和串行超稀疏内核的并行SpGEMM方法,实现了分布式内存中通用稀疏矩阵索引的高效算法,并在数千处理器上展示可扩展性。
2012-04-26 cs.DC cs.MS cs.NA
Speculative Segmented Sum for Sparse Matrix-Vector Multiplication on Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen(哥本哈根大学尼尔斯玻尔研究所)
本文提出一种基于压缩稀疏行格式的稀疏矩阵-向量乘法算法,利用CPU和GPU核心进行推测分段求和运算,通过CPU重新排列部分和以获得正确结果,实验表明在三种异构处理器上性能显著提升。
2015-09-14 cs.DC cs.MS cs.NA