Low-Bandwidth Matrix Multiplication: Faster Algorithms and More General Forms of Sparsity
本研究改进了低带宽下稀疏矩阵乘法分布式算法，将均匀稀疏矩阵乘法的通信轮数从O(d^1.907)降至O(d^1.832)，并拓展研究了行稀疏、列稀疏等多种非均匀稀疏形式的矩阵乘法问题。
2024-05-22 cs.DC
Distributed Compressed Sparse Row Format for Spiking Neural Network Simulation, Serialization, and Interoperability
本文提出将分布式CSR格式用于大规模脉冲神经网络的仿真与序列化，通过按邻接关系分区组织神经元和突触状态，实现并行进程独立管理各自状态分区，并支持高效的检查点/重启容错计算。
2023-04-12 cs.DC cs.NE
Adaptive Row-grouped CSR Format for Storing of Sparse Matrices on GPU
我们提出了一种新的自适应格式，用于在GPU上存储稀疏矩阵。我们将其与其他几种格式进行了比较，其中包括CUDA中GPU上处理稀疏矩阵的最佳选择-CUDA PARSE。与使用常见CSR格式的ESPARSE相反，我们的新格式需要转换。然而，稀疏矩阵和向量的乘法对于许多矩阵来说要快得多。我们证明了它的1 600矩阵集，我们显示什么类型的矩阵，我们的格式是有利可图的。
2012-03-26 cs.DC cs.DS
AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
Cornell University（康奈尔大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出两种新内核，利用异步GPU特性优化稀疏矩阵乘法，其中WCSR内核在SuiteSparse矩阵上性能优于现有方法，BCSR内核在Qwen2.5-7B预填充任务中实现显著加速。
2026-04-20 cs.DC
Streaming Right Multiplication over Grammar-Compressed Matrices: A Memory-Bounded GPU Engine for Genotype and Graph Data
Sant’Anna School of Advanced Studies（圣安娜高等研究学院）；University of Pisa（比萨大学）
研究在GPU内存受限场景下语法压缩矩阵右乘问题，提出基于特定有向无环图及分层语法的方法，实现流式评估，在基因型矩阵和软件遗产图上有空间优势、时间性能良好且能量较低。
2026-07-29 cs.DC cs.DS cs.MS
Design Principles for Sparse Matrix Multiplication on the GPU
我们实现了两个新的算法稀疏矩阵密集矩阵乘法（SpMM）的GPU上。我们的算法期望稀疏输入流行的压缩稀疏行（CSR）格式，因此不需要昂贵的格式转换。虽然以前的SpMM工作集中在线程级并行，我们还专注于延迟隐藏与指令级并行和负载平衡。我们表明，无论是理论上和实验上，建议的SpMM是一个更好的适合GPU比以前的方法。我们确定了一个关键的内存访问模式，允许有效地访问到输入和输出矩阵，这是至关重要的SpMM获得优异的性能。通过结合这两个成分--（i）合并为基础的负载平衡和（ii）行为主合并内存访问-我们证明了4.1倍的峰值加速比和31.7%的几何加速比在现实世界的数据集上的最先进的SpMM实现。
2018-06-12 cs.DC
Rateless Codes for Near-Perfect Load Balancing in Distributed Matrix-Vector Multiplication
大规模机器学习和数据采掘应用需要计算机系统执行需要跨多个节点并行化的大量矩阵-向量和矩阵-矩阵乘法运算。离散节点的存在--不可预测地减慢或失败的计算节点--是这种分布式计算中的主要瓶颈。理想的负载均衡策略是将更多任务动态分配给更快的节点，需要了解或监控节点速度以及快速移动数据的能力。最近提出的固定速率擦除编码策略可以处理不可预测的节点减速，但他们忽略了离散节点所做的部分工作，从而导致大量的冗余计算。我们提出了一个\emph{rateless fountain coding}策略，实现了两全其美-我们证明了它的延迟是渐近等于理想的负载均衡，它执行渐近零冗余计算。我们的想法是创建矩阵的$m$行的线性组合，并将这些编码的行分配给不同的工作节点。只要节点共同完成略多于$m$的行向量乘积，就可以解码原始矩阵向量乘积。我们在三个计算环境中进行实验：本地并行计算，Amazon EC2和Amazon Lambda，这表明无比率编码与未编码方案相比可以提供尽可能多的$3\times$速度。
2019-10-30 cs.DC cs.IT math.IT
GE-SpMM: General-purpose Sparse Matrix-Matrix Multiplication on GPUs for Graph Neural Networks
图神经网络（GNN）在各个领域都取得了显著的进步。稀疏矩阵-矩阵乘法（SpMM）是GNN中的基本运算符，它执行稀疏矩阵和稠密矩阵之间的乘法。在GPU等并行硬件上加速SpMM可能面临以下挑战：从GNN应用程序的角度来看，需要考虑兼容性。一般的GNN算法需要类似于SpMM的操作（例如，池化），这在当前高性能GPU库中不支持（例如，Nvidia cuSPARSE）。此外，在以前的实现中的复杂的预处理将导致沉重的数据格式转换开销在GNN框架。从GPU硬件的角度来看，GPU上的SpMV（稀疏矩阵向量）设计中的优化并不适用于SpMM。SpMM暴露了密集输出矩阵中的列并行性，但是从SpMV直接泛化导致对全局内存中的稀疏矩阵的低效的、未合并的访问。稀疏行数据可以在GPU线程之间重用，这在从SpMV继承的SpMM设计中是不可能的。为了应对这些挑战，我们提出了GE-SpMM。GE-SpMM对以最常见的压缩稀疏行（CSR）格式表示的稀疏矩阵执行类似于SpMM的操作，因此它可以嵌入到GNN框架中，无需预处理开销，并支持通用GNN算法。我们引入了合并行缓存方法来并行处理列，并确保合并访问稀疏矩阵数据。我们还提出了粗粒度的Warp合并，以减少GPU warp之间的冗余数据加载。在真实世界的图数据集上的实验表明，GE-SpMM比Nvidia cuSPARSE和GraphBLAST的加速比分别高达1.41倍和1.…
2020-07-07 cs.DC
CodedSketch: A Coding Scheme for Distributed Computation of Approximated Matrix Multiplication
在本文中，我们提出了CodedSketch，作为一个分布式的抗离散计划来计算两个大规模矩阵的乘法近似。目标是降低恢复阈值，恢复阈值定义为我们需要等待才能恢复最终结果的工作节点的总数。为了利用仅需要近似结果的事实，在降低恢复阈值时，需要某些种类的预压缩。然而，压缩固有地涉及一些随机性，这将丢失矩阵的结构。另一方面，考虑矩阵的结构是降低恢复阈值的关键。在CodedSketch中，我们在第一个矩阵的行和第二个矩阵的列上使用count--sketch作为基于哈希的压缩方案，并在第一个矩阵的列和第二个矩阵的行上使用结构化多项式代码。这种安排使我们能够利用两者的增益来降低恢复阈值。为了提高计算精度，需要多个独立的计算草图。这种独立性使我们能够从理论上表征结果的准确性，并建立所提出的方案实现的恢复阈值。为了保证输出中的结果计数-草图的独立性，同时保持其恢复阈值上的成本最小，我们使用另一层结构化代码。
2021-02-12 cs.DC cs.IT math.IT
Boolean Matrix Multiplication for Highly Clustered Data on the Congested Clique
针对高度聚类数据，提出在拥塞团簇上计算布尔矩阵乘积的协议，利用近似最小生成树实现高效轮数，并给出汉明空间MST近似算法。
2024-05-25 cs.DC cs.DS
Sparsity-Aware Roofline Models for Sparse Matrix-Matrix Multiplication
Texas A&M University（德克萨斯农工大学）；Indiana University, Bloomington（印第安纳大学布鲁明顿分校）
本文研究了稀疏矩阵-稠密矩阵乘法的 Roofline 模型，通过考虑稀疏结构对算术强度和性能的影响，评估了三种实现方法，并发现单一模型无法准确预测不同结构的性能。
2026-04-08 cs.DC
Accelerating Atom Simulations with Variable-Block Sparse Matrix Library
McGill University（麦吉尔大学）
该研究针对原子模拟中稀疏块矩阵的局部结构未被利用的问题，提出保留可变原子块的分布式稀疏矩阵库VBCSR，其通过分组同形块并分派至优化内核实现加速，在基准测试及InP纳米粒子应用中表现优于参考实现。
2026-09-07 cond-mat.mtrl-sci cs.DC quant-ph
Predicting the Output Structure of Sparse Matrix Multiplication with Sampled Compression Ratio
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
稀疏广义矩阵乘法（SpGEMM）是许多科学应用中的基本构建块。SpGEMM的一个关键任务是计算或预测输出矩阵的结构（即，每个输出行的非零元素的数量），以实现有效的内存分配和负载平衡，这会影响SpGEMM的整体性能。现有的工作要么精确地计算输出结构，要么采用上限或基于采样的方法来预测输出结构。然而，这些方法要么需要很长的执行时间，要么不够准确。在本文中，我们提出了一种新的基于采样的方法，具有更好的精度和低成本相比，现有的基于采样的方法。所提出的方法首先通过利用中间产品的数量（表示为FLOP）和非零元素的数量（表示为NNZ）相同的采样结果矩阵的SpGEMM的压缩比预测。然后，通过将每个输出行的FLOP除以预测压缩比来获得预测输出结构。我们还提出了一个参考设计现有的基于采样的方法与优化的计算开销，以证明所提出的方法更好的准确性。我们构造了625个具有不同矩阵维数和稀疏结构的测试用例来评估预测精度。实验结果表明，该方法与参考设计的平均绝对相对误差分别为1.56%和8.12%，最差情况下分别为25%和156%.
2022-07-28 cs.DC cs.LG cs.NA
DBCSR: A Library for Dense Matrix Multiplications on Distributed GPU-Accelerated Systems
大多数，如果不是所有的现代科学模拟软件包利用矩阵代数运算。在线性代数的运算中，最重要的核心之一就是矩阵的乘法运算，无论是稠密矩阵还是稀疏矩阵。这样的内核的应用示例是在电子结构计算、机器学习、数据采掘、图形处理和数字信号处理中。有几个优化的库可以在分布式系统上实现高性能。其中只有少数针对分布式GPU加速系统。在大多数情况下，这些库由系统供应商针对其特定计算机系统提供和优化。在本文中，我们提出了DBCSR库（分布式块压缩稀疏行）的分布式密集矩阵矩阵乘法。尽管该库是专门为块稀疏矩阵-矩阵乘法设计的，但我们针对GPU加速系统上的密集情况进行了优化。我们表明，DBCSR优于由供应商优化的GPU版本的ScaLAPACK库提供的不同大小和形状的矩阵的乘法高达2.5倍（平均1.4倍）。
2019-10-10 cs.DC cs.MS
Arrow Matrix Decomposition: A Novel Approach for Communication-Efficient Sparse Matrix Multiplication
本文提出将稀疏矩阵分解为少量 Arrow 矩阵并利用置换连接，实现通信避免的稀疏矩阵乘法，在数亿行矩阵上优于现有方法，具有近线性扩展性。
2024-03-20 cs.DC
How the Dirty Set Moves: Characterizing Schedule Reuse in Incremental Sparse Matrix Multiplication
HorneSci（霍恩科学）；Loyola University Chicago, Chicago, IL, United States of America（芝加哥洛约拉大学）
该研究通过实验表明，增量稀疏矩阵乘法中直接按列更新比分块调度复用更具收益，为开发者确定何时构建调度复用提供了指南。
2026-10-14 cs.DC cs.MS cs.PF
Parallel structurally-symmetric sparse matrix-vector products on multi-core processors
我们考虑的问题，开发一个有效的多线程实现的矩阵向量乘法算法的稀疏矩阵结构对称。矩阵存储使用压缩稀疏行-列格式（CSRC），旨在从全局有限元矩阵中观察到的对称非零模式中获益。与经典的压缩存储格式不同，使用CSRC执行稀疏矩阵向量积需要对目标向量进行线程安全访问。为了避免竞争条件，我们实现了两种分区策略。在第一种方法中，每个线程分配一个数组来存储它的贡献，这些贡献随后在累加步骤中组合。我们分析了如何以四种不同的方式进行这种积累。第二种策略使用着色算法对线程可以并发处理的行进行分组。我们的研究结果表明，虽然招致的工作集大小的增加，前一种方法导致大多数矩阵的最佳性能改善。
2010-05-28 cs.DC
Porting of the DBCSR library for Sparse Matrix-Matrix Multiplications to Intel Xeon Phi systems
稀疏矩阵相乘是模拟含有数千个原子和电子的系统的电子结构的关键运算。高度优化的稀疏线性代数库DBCSR（分布式块压缩稀疏行）专门设计用于有效地执行此类稀疏矩阵-矩阵乘法。该库是线性标度电子结构理论和CP 2K中低标度相关方法的基本构建块。它使用MPI和OpenMP进行并行化，并可以通过CUDA利用GPU加速器。我们描述了DBCSR在采用英特尔至强融核Knights Landing（KNL）处理器的系统上与采用英特尔至强CPU的系统（包括采用GPU的系统）的性能比较。我们发现，在相同数量的节点上，基于Cray XC 40 KNL的系统上的DBCSR比使用Nvidia P100卡的混合Cray XC 50慢11%-14%。与配备双插槽Intel Xeon CPU的Cray XC 40系统相比，KNL的速度最高可提高24%。
2017-08-21 cs.DC
SMAT: An Input Adaptive Sparse Matrix-Vector Multiplication Auto-Tuner
稀疏矩阵向量乘法（Sparse matrix vector multiplication，SpMV）是科学和工程应用中的一个重要核心问题.前面的优化是特定于稀疏矩阵格式的，并将最佳格式的选择公开给应用程序员。在这项工作中，我们开发了一个自动调优框架，以弥合特定的优化内核和它们的通用用途之间的差距。我们提出了一个SpMV自动调谐器（SMAT），提供了一个统一的接口，基于压缩稀疏行（CSR）的程序员隐式地选择最佳的格式和最快的实现任何输入稀疏矩阵在运行时。SMAT利用一个数据采掘模型，该模型基于从UF稀疏矩阵集合中的2373个矩阵中提取的一组性能参数来制定，以快速搜索最佳组合。实验表明，SMAT在Intel上实现了单精度75 GFLOP/s、双精度33 GFLOP/s的最高性能，在AMD上实现了单精度41 GFLOP/s、双精度34 GFLOP/s的最高性能。与MKL库中的稀疏函数相比，SMAT的运行速度提高了3倍以上。
2012-10-09 cs.DC cs.MS
Improving SpGEMM Performance Through Matrix Reordering and Cluster-wise Computation
针对SpGEMM因不规则内存访问导致的数据移动瓶颈，提出结合行重排序与分簇计算的层次化聚类方法，解耦重排序与聚类格式，经110个矩阵测试，在相近预处理成本下实现更优平均加速。
2025-07-28 cs.DC
Speculative Segmented Sum for Sparse Matrix-Vector Multiplication on Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯玻尔研究所）
本文提出一种基于压缩稀疏行格式的稀疏矩阵-向量乘法算法，利用CPU和GPU核心进行推测分段求和运算，通过CPU重新排列部分和以获得正确结果，实验表明在三种异构处理器上性能显著提升。
2015-09-14 cs.DC cs.MS cs.NA
Toward Efficient SpMV in Sparse LLMs via Block Extraction and Compressed Storage
针对稀疏LLM本地部署中SpMV性能瓶颈，提出GPU优化的EC-SpMV方法，通过分层块提取算法和增量索引压缩格式EC-CSR加速推理，实现最高6.44倍加速并减少55.4%存储开销。
2025-07-16 cs.DC
ParamSpMM: Adaptive and Efficient Sparse Matrix-Matrix Multiplication on GPUs for GNNs
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出ParamSpMM，一种自适应高效的稀疏矩阵-矩阵乘法方法，通过参数化压缩稀疏行结构和机器学习决策器提升图神经网络训练效率，相比Nvidia cuSPARSE平均加速1.92倍。
2026-05-15 cs.DC
Efficient Distributed Transposition Of Large-Scale Multigraphs And High-Cardinality Sparse Matrices
基于图形的表示是广泛的科学问题的基础。图形连接通常表示为压缩稀疏行格式的稀疏矩阵。大规模图依赖于分布式存储，将不同的行子集分配给计算节点。高效的矩阵转置是一个非常重要的操作，它提供了反向图路径和列有序矩阵视图。对于简单的图模型，这种操作已经得到了很好的研究。然而，它的解决方案的多重图和更高的基数连接矩阵是不存在的。我们先进的最先进的分布式换位方法，提供了一个理论模型，算法的细节，基于MPI的实现和证明这样复杂的模型的数学合理性。基准测试结果分别证明了完美平衡和异质平衡数据集的理想和几乎理想的缩放特性
2020-12-10 cs.DC
Matrix Multiplication in the MPC Model
研究 MPC 模型中不同处理器数与单机内存约束下的矩形矩阵及稀疏矩阵乘法，给出相应轮复杂度算法。
2025-09-29 cs.CC cs.DC
PARS3: Parallel Sparse Skew-Symmetric Matrix-Vector Multiplication with Reverse Cuthill-McKee Reordering
本文提出PARS3方法，利用RCM重排序将稀疏反对称矩阵转为带状矩阵并划分为3部分并行化，首次实现并行反对称SpMV内核，较串行实现加速达19倍，且超越基于图着色的方法并适用于对称SpMV。
2024-07-24 cs.DC
Acc-SpMM: Accelerating General-purpose Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
针对通用SpMM的硬件性能释放需求，提出基于GPU Tensor Core的高性能库Acc-SpMM，通过重排序、压缩格式等多重优化，在多代NVIDIA GPU上实现了相较cuSPARSE的显著性能提升。
2025-01-16 cs.DC
Ocean: Fast Estimation-Based Sparse General Matrix-Matrix Multiplication on GPU
Cornell University（康奈尔大学）
本文提出基于估计的SpGEMM方法，通过轻量级HyperLogLog估计器和动态分析策略优化GPU性能，实现1.4x-2.8x的加速。
2026-04-21 cs.DC cs.MS
Morphing-based Compression for Data-centric ML Pipelines
Technische Universität Berlin（柏林工业大学）
本文针对以数据为中心的机器学习流水线，提出BWARE技术，通过特征转换和工程推动工作负载感知的无损矩阵压缩，实现压缩表示的轻量级变形，显著缩短训练时间。
2025-04-15 cs.DB cs.DC cs.LG
