Exact Sparse Matrix-Vector Multiplication on GPU's and Multicore Architectures
我们提出了有限域和环$\Zb/m\Zb$的稀疏矩阵--稠密向量乘法（\spmv{}）的不同实现。我们利用图形卡处理器（GPU）和多核架构。我们的目标是提高\linbox库中的\spmv{}的速度，以及今后其黑盒算法的速度。此外，我们使用这个和一个新的并行化的sigma基算法在有限域上的并行块Wiedemann秩实现。
2010-04-21 cs.DC cs.MS cs.SC
Large Scale Artificial Neural Network Training Using Multi-GPUs
本文描述了一种通过将向前和向后传递减少到矩阵乘法来使用多GPU加速大规模人工神经网络（ANN）训练的方法。我们提出了一种核外多GPU矩阵乘法，并将算法与人工神经网络训练相结合。实验结果表明，我们的矩阵乘法算法在多个非同构GPU上实现了线性加速比。该项目的完整论文可以在[1]中找到。
2015-11-13 cs.DC cs.NE
Design Principles for Sparse Matrix Multiplication on the GPU
我们实现了两个新的算法稀疏矩阵密集矩阵乘法（SpMM）的GPU上。我们的算法期望稀疏输入流行的压缩稀疏行（CSR）格式，因此不需要昂贵的格式转换。虽然以前的SpMM工作集中在线程级并行，我们还专注于延迟隐藏与指令级并行和负载平衡。我们表明，无论是理论上和实验上，建议的SpMM是一个更好的适合GPU比以前的方法。我们确定了一个关键的内存访问模式，允许有效地访问到输入和输出矩阵，这是至关重要的SpMM获得优异的性能。通过结合这两个成分--（i）合并为基础的负载平衡和（ii）行为主合并内存访问-我们证明了4.1倍的峰值加速比和31.7%的几何加速比在现实世界的数据集上的最先进的SpMM实现。
2018-06-12 cs.DC
Accelerating Polynomial Multiplication for Homomorphic Encryption on GPUs
同态加密（HE）使用户能够安全地将敏感数据的存储和计算外包给不受信任的服务器。HE不仅为云系统的安全性提供了有吸引力的解决方案，而且基于格子的HE系统也被认为可以抵抗量子计算机的攻击。然而，当前的HE实现遭受过高的延迟。为了使基于格的HE在现实世界的系统中变得可行，关键瓶颈-特别是多项式乘法-必须是高效的。在本文中，我们提出了一个基于GPU的多项式乘法实现的表征。我们首先对模块化约简技术进行了调查，并分析了广泛使用的Barrett模块化约简算法的几个变体。然后，我们提出了一个模块化的减少变种优化的64位整数字的GPU上，获得了1.8倍的速度比现有的可比实现。接下来，我们将探索以下针对GPU的多项式乘法改进，以优化延迟和吞吐量：1）我们提出了一种2D混合基数、多块的NTT实现，其平均加速比是之前最先进技术的1.85倍。2）我们探索了旨在减少冗余内存访问的共享内存优化，进一步将加速比提高1.2倍。3)最后，我们融合的阿达玛产品与相邻阶段的NTT，减少旋转因子的内存占用50%。通过结合我们的NTT优化，我们实现了123.13倍和2.37倍的整体加速比，分别超过了以前最先进的CPU和GPU实现的NTT内核。
2022-09-02 cs.AR cs.CR cs.DC
Efficient Sparse-Dense Matrix-Matrix Multiplication on GPUs Using the Customized Sparse Storage Format
稀疏矩阵到稠密矩阵的乘法（SpDM）被广泛地应用于诸如科学计算和机器学习的许多领域。然而，现有的工作忽视了SpDM在现代众核架构（如GPU）上的性能优化。存储数据结构有助于稀疏矩阵以节省内存的方式存储，但由于稀疏结构的数据访问不规则，导致资源利用率较低，性能较差，给SpDM在现代GPU上的性能优化带来困难。在本文中，我们参考的屋顶性能模型的GPU设计一个高效的SpDM算法称为GCOOSpDM，在该算法中，我们利用合并的全局内存访问，快速共享内存重用和更多的操作，每字节的全局内存流量。实验在三个Nvidia GPU上进行评估（即，GTX 980、GTX Titan X Pascal和Tesla P100）与CUDA-8.0使用大量矩阵，包括公共数据集和随机生成的矩阵。实验结果表明，GCOOSpDM在许多矩阵中实现了比Nvidia库cuSPARSE高1.5-8 $\times$的加速比。我们还分析了特定GPU上的并行级操作，以了解GCOOSpDM和cuSPARSE之间的性能差距。分析的指令确认cuSPARSE在慢速内存访问（包括DRAM访问和L2缓存访问）上花费了大量时间，而GCOOSpDM将这种慢速内存访问转移到更快的共享内存，这主要有助于性能提升。结果还表明，GCOOSpDM将优于密集算法（cuBLAS）与较低的稀疏比cuSPARSE在GPU上。
2020-05-29 cs.DC
RSH-SpMM: A Row-Structured Hybrid Kernel for Sparse Matrix-Matrix Multiplication on GPUs
University of Science and Technology of China（中国科学技术大学）
RSH-SpMM通过自适应行划分和RS-Tile表示法，提升GPU上稀疏矩阵-矩阵乘法的性能，实现1.27至6.13倍的加速。
2026-02-24 cs.DC
Accelerating Matrix Multiplication: A Performance Comparison Between Multi-Core CPU and GPU
本文在消费级异构平台上比较顺序 C++、OpenMP 多核 CPU 与带共享内存优化的 CUDA GPU 矩阵乘法，证明 GPU 在大矩阵上可获得最高约593倍加速。
2025-07-26 cs.DC
GE-SpMM: General-purpose Sparse Matrix-Matrix Multiplication on GPUs for Graph Neural Networks
图神经网络（GNN）在各个领域都取得了显著的进步。稀疏矩阵-矩阵乘法（SpMM）是GNN中的基本运算符，它执行稀疏矩阵和稠密矩阵之间的乘法。在GPU等并行硬件上加速SpMM可能面临以下挑战：从GNN应用程序的角度来看，需要考虑兼容性。一般的GNN算法需要类似于SpMM的操作（例如，池化），这在当前高性能GPU库中不支持（例如，Nvidia cuSPARSE）。此外，在以前的实现中的复杂的预处理将导致沉重的数据格式转换开销在GNN框架。从GPU硬件的角度来看，GPU上的SpMV（稀疏矩阵向量）设计中的优化并不适用于SpMM。SpMM暴露了密集输出矩阵中的列并行性，但是从SpMV直接泛化导致对全局内存中的稀疏矩阵的低效的、未合并的访问。稀疏行数据可以在GPU线程之间重用，这在从SpMV继承的SpMM设计中是不可能的。为了应对这些挑战，我们提出了GE-SpMM。GE-SpMM对以最常见的压缩稀疏行（CSR）格式表示的稀疏矩阵执行类似于SpMM的操作，因此它可以嵌入到GNN框架中，无需预处理开销，并支持通用GNN算法。我们引入了合并行缓存方法来并行处理列，并确保合并访问稀疏矩阵数据。我们还提出了粗粒度的Warp合并，以减少GPU warp之间的冗余数据加载。在真实世界的图数据集上的实验表明，GE-SpMM比Nvidia cuSPARSE和GraphBLAST的加速比分别高达1.41倍和1.…
2020-07-07 cs.DC
TSM2X: High-Performance Tall-and-Skinny Matrix-Matrix Multiplication on GPUs
线性代数运算在大数据分析和科学计算中得到了广泛的应用。许多工作已经做了优化线性代数运算的GPU与规则形状的输入。然而，很少有工作集中在充分利用GPU资源时，输入是不规则的形状。当前的优化没有考虑充分利用内存带宽和计算能力;因此，它们只能实现次优性能。在本文中，我们提出了两个有效的算法-TSM 2 R和TSM 2L-在GPU上的两类高瘦矩阵矩阵乘法。这两种算法都是在输入矩阵中至少有一个是高而瘦的情况下优化线性代数运算。具体地，TSM 2 R被设计用于大的规则形状矩阵乘以高瘦矩阵，而TSM 2L被设计用于高瘦矩阵乘以小的规则形状矩阵。我们实现了我们提出的算法，并在几个现代NVIDIA GPU微架构上进行测试。实验结果表明：（1）与现有技术相比，在规则形状矩阵大小较大或中等的情况下，TSM 2 R的计算速度提高了1.1倍~ 3倍，内存带宽利用率和计算能力利用率分别提高了8%~47.6%和7%~ 37.3%;（2）在规则形状矩阵较小的情况下，TSM 2L的计算速度提高了1.1倍~ 3.5倍，内存带宽利用率提高了55%。
2021-02-18 cs.DC
HC-SpMM: Accelerating Sparse Matrix-Matrix Multiplication for Graphs with Hybrid GPU Cores
针对真实图不规则性导致GPU上SpMM效率低的问题，提出HC-SpMM算法，利用混合GPU核心并结合数据划分、核心选择等优化，还集成至GNN流水线，在14个数据集上实现优于现有方案的加速效果。
2024-12-12 cs.DC
Stream-K: Work-centric Parallel Decomposition for Dense Matrix-Matrix Multiplication on the GPU
我们介绍Stream-K，一个以工作为中心的矩阵乘法（GEMM）和稠密线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的，我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用，而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上，我们对GEMM的Stream-K并行化可产生高达14 $\times$和6.7 $\times$的峰值加速比，以及在32，824个GEMM问题几何中比最先进的数学库（如CUTLASS和cuBLAS）更高且更一致的平均性能响应。此外，我们从每个浮点精度的单个瓦片大小配置中实现了这种性能，而今天的数学库采用复杂的内核选择算法来从大量的内核变体中进行选择。
2023-01-09 cs.DC cs.DS
AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
Cornell University（康奈尔大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出两种新内核，利用异步GPU特性优化稀疏矩阵乘法，其中WCSR内核在SuiteSparse矩阵上性能优于现有方法，BCSR内核在Qwen2.5-7B预填充任务中实现显著加速。
2026-04-20 cs.DC
Libra: Unleashing GPU Heterogeneity for High-Performance Sparse Matrix Multiplication
Beijing University of Posts and Telecommunications（北京邮电大学）
Libra通过高效利用异构GPU资源，显著提升了稀疏矩阵乘法运算的性能，平均比现有基线方法快1.77至2.9倍。
2025-12-22 cs.DC cs.LG cs.PF
Evaluation of computational and energy performance in matrix multiplication algorithms on CPU and GPU using MKL, cuBLAS and SYCL
该研究评估了CPU和GPU上不同矩阵乘法库（MKL、cuBLAS、SYCL）的计算与能耗性能，发现MKL和带张量核心的cuBLAS性能最佳但精度略降，CPU可实现接近GPU的性能但功耗更高。
2024-05-27 cs.AR cs.DC
An MLIR Lowering Pipeline for Stencils at Wafer-Scale
Technische Universität Berlin（柏林工业大学）；EPCC（爱丁堡计算中心）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；The University of Edinburgh（爱丁堡大学）；Imperial College London（伦敦帝国理工学院）；University of Cambridge（剑桥大学）
本文提出了一种编译器流水线，利用 stencil 领域信息，将 stencil 内核转换为 WSE 的 CSL 代码，实现了高效性能。
2026-01-25 cs.DC cs.ET cs.PL
Accelerating Sparse Matrix-Matrix Multiplication on GPUs with Processing Near HBMs
SOLAB, SK hynix America（SK海力士美国公司 SOLAB）；AMS, SK hynix（SK海力士 AMS）；Texas State University（德克萨斯州立大学）
本文提出了一种基于哈希的多阶段SpGEMM方法和AIA技术，通过近内存处理优化GPU HBM上的稀疏矩阵矩阵乘法，显著提升性能，尤其在图分析和GNN训练任务中表现突出。
2025-12-12 cs.DC
Acc-SpMM: Accelerating General-purpose Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
针对通用SpMM的硬件性能释放需求，提出基于GPU Tensor Core的高性能库Acc-SpMM，通过重排序、压缩格式等多重优化，在多代NVIDIA GPU上实现了相较cuSPARSE的显著性能提升。
2025-01-16 cs.DC
Batched Sparse Matrix Multiplication for Accelerating Graph Convolutional Networks
图卷积网络（GCN）作为一种高精度的机器学习方法，近年来在生物信息学和化学信息学领域得到了广泛的关注。GCN处理卷积运算以及图形结构，GPU用于处理大量运算，包括当图形结构表示为具有稀疏矩阵格式的邻接矩阵时的稀疏-密集矩阵乘法（SpMM）。然而，SpMM操作上的小图，其中节点的数量是几十或几百，很难利用高并行性或GPU的计算能力。因此，SpMM成为GCN应用中训练和推理的瓶颈。为了提高GCN应用程序的性能，提出了一种新的SpMM算法，特别是针对小稀疏矩阵的SpMM算法和Batched SpMM算法，该算法利用GPU的高并行性，通过单个CUDA内核处理多个SpMM操作。据我们所知，这是第一个工作的批处理方法的SpMM。我们评估了GCN应用程序在采用NVIDIA Tesla P100 GPU的TSUBAME 3.0上的性能，我们的批处理方法在训练和推理方面分别显示出高达1.59倍和1.37倍的显著加速。
2019-03-27 cs.DC
High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs
虽然并行性仍然是性能的主要来源，但架构实现和编程模型会随着每一代新硬件而变化，这通常会导致成本高昂的应用程序重新设计。大多数用于性能可移植性的工具都需要手动和昂贵的应用程序移植到另一个编程模型。我们提出了一种替代方法，自动翻译程序写在一个编程模型（CUDA），到另一个（CPU线程）的基础上Polygeist/MLIR。我们的方法包括一个表示的并行结构，允许传统的编译器转换应用透明，无需修改，并使并行特定的优化。我们通过编译和优化CUDA Rodinia多核CPU基准套件来评估我们的框架，并实现了76%的几何加速比。此外，我们还展示了PyTorch的CUDA内核如何在仅CPU的超级计算机Fugaku上高效运行和扩展，而无需用户干预。我们的PyTorch兼容性层使用了编译的CUDA PyTorch内核，比PyTorch CPU原生后端的性能高出2.7 $\times$。
2022-07-01 cs.DC cs.PL
Ocean: Fast Estimation-Based Sparse General Matrix-Matrix Multiplication on GPU
Cornell University（康奈尔大学）
本文提出基于估计的SpGEMM方法，通过轻量级HyperLogLog估计器和动态分析策略优化GPU性能，实现1.4x-2.8x的加速。
2026-04-21 cs.DC cs.MS
GPU Implementations for Midsize Integer Addition and Multiplication
本文提出在GPU上使用高级函数式语言实现中等规模整数加法和乘法的简洁方案，利用扫描和简单工作划分，FFT乘法在较大尺寸上优于经典方法，原型在超过32K比特时胜过CGBN库。
2024-05-23 cs.DC cs.MS cs.PL
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo（东京科学大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Intel Corporation（英特尔公司）
本文提出SHIRO框架，通过细粒度稀疏感知通信策略和分层通信策略，减少通信开销，提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
OpSparse: a Highly Optimized Framework for Sparse General Matrix Multiplication on GPUs
稀疏广义矩阵乘法（SpGEMM）在许多实际应用中是一个重要而昂贵的计算原语。由于SpGEMM固有的不规则性及其输入矩阵的多样性，在现代处理器（如GPU）上开发高性能SpGEMM实现具有挑战性。最先进的SpGEMM库（即，$nsparse$和$spECK$）采用若干算法来解决全局负载平衡、局部负载平衡和结果矩阵的分配的挑战。虽然这些库专注于SpGEMM的高级算法设计，但它们忽略了几个低级别的特定于体系结构的优化，这导致其库中的实现效率低下。在本文中，我们将其低效的实现分为七类。基于我们的观察，我们提出了一个高度优化的SpGEMM库称为$OpSparse$。$OpSparse$中的优化包括1）通过提高共享存储器的利用率来优化装仓方法，2）通过减少对散列表的访问来优化散列方法，3）通过设置适当的装仓范围来提高散列方法中的散列冲突率和硬件利用率之间的折衷，4）通过最小化元数据的全局存储器使用来减少全局存储器利用的开销，以及5）通过将全局存储器分配与内核执行重叠来提高执行并行性。在Nvidia Tesla V100 GPU上使用26个常用矩阵进行的性能评估表明，$OpSparse$分别在三个最先进的库（$cuSPARSE$、$nsparse$和$spECK$）上实现了高达$27.8\times$、$1.81\times$和$2.04\times$的性能加速。
2022-06-15 cs.DC
ParamSpMM: Adaptive and Efficient Sparse Matrix-Matrix Multiplication on GPUs for GNNs
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出ParamSpMM，一种自适应高效的稀疏矩阵-矩阵乘法方法，通过参数化压缩稀疏行结构和机器学习决策器提升图神经网络训练效率，相比Nvidia cuSPARSE平均加速1.92倍。
2026-05-15 cs.DC
GPU Goldmines: Tunable WebGPU Kernels for Edge LLM Inference
UC Santa Cruz（加州大学圣克鲁兹分校）；EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
针对边缘 LLM 推理中 WebGPU 内核性能适配难题，提出 GPU Goldmines 框架，实例化 LLM 关键内核并构建性能数据库，在 Llama、Qwen 形状上实现矩阵乘法内核性能显著提升。
2026-10-14 cs.DC cs.LG cs.PF
Racing to Idle: Energy Efficiency of Matrix Multiplication on Heterogeneous CPU and GPU Architectures
本研究在消费级笔记本的CPU、独立GPU、集成GPU三种架构上实测4096×4096矩阵乘法的性能与能耗，发现独立GPU能效是CPU的50倍，验证了“竞速至空闲”原则，为能效感知软件开发提供量化参考。
2025-07-26 cs.CC cs.DC
DB-SpMSpV: Dual-View Blocked Sparse Matrix-Sparse Vector Multiplication for Dynamic GPU Workloads
Beihang University（北京航空航天大学）
本文提出面向动态GPU工作负载的双视角分块SpMSpV框架DB-SpMSpV，集成至DB-BFS和DB-Decoding后，在A100和RTX 4090上相比现有方法实现了显著加速。
2026-08-18 cs.DC
A Framework for General Sparse Matrix-Matrix Multiplication on GPUs and Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）
本文提出了一种面向GPU和异构处理器的通用稀疏矩阵-矩阵乘法框架，解决稀疏矩阵乘法中的内存预分配、并行插入操作和负载均衡问题，提升性能和效率。
2015-09-13 cs.DC cs.MS cs.NA
Accelerating Locality-Driven Integration in Quantum Chemistry with Block-Structured Matrix Multiplication
Zhongguancun Academy（中关村学院）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）；IQuest Research（IQuest研究）；University of Science and Technology of China（中国科学技术大学）
本文提出KerneLDI框架，通过设计数据布局、筛选逻辑和矩阵运算符，实现块结构矩阵乘法，提升量子化学中局部性驱动集成的效率，实现EXC计算的10倍加速和分子动力学的6倍吞吐量提升。
2026-05-13 cs.DC physics.chem-ph physics.comp-ph
On Performance Analysis of Graphcore IPUs: Analyzing Squared and Skewed Matrix Multiplication
本文系统评测 Graphcore IPU 上的方阵与偏斜矩阵乘法，从执行效率和内存使用角度对比 RTX 2080TI，证明 IPU 在偏斜矩阵场景下性能更稳健。
2023-09-30 cs.DC cs.ET
LOw-cOst yet High-Performant Sparse Matrix-Matrix Multiplication on Arm SME Architectures
Beihang University（北京航空航天大学）；Universitat Politècnica de València（瓦伦西亚理工大学）
针对Armv9架构中SME和SIMD资源难以协同利用于非结构化稀疏工作负载的问题，提出混合执行框架LOOPS，结合CSR和BCSR布局，协同使用NEON和SME资源，在多精度SpMM上实现了远超基线和GPU方法的加速比与能效。
2025-11-13 cs.DC
EmuGEMM: Fused Tensor Core Kernels for Precision Emulation in Matrix Multiplication
ETH Zurich（苏黎世联邦理工学院）
针对低精度矩阵乘法单元与科学计算精度需求之间的差距，提出EmuGEMM，通过融合整数张量核心内核消除Ozaki方案中的冗余内存往返，在Hopper和Blackwell GPU上实现高精度GEMM，性能显著超越cuBLAS。
2026-06-25 cs.DC cs.MS cs.PF
Porting of the DBCSR library for Sparse Matrix-Matrix Multiplications to Intel Xeon Phi systems
稀疏矩阵相乘是模拟含有数千个原子和电子的系统的电子结构的关键运算。高度优化的稀疏线性代数库DBCSR（分布式块压缩稀疏行）专门设计用于有效地执行此类稀疏矩阵-矩阵乘法。该库是线性标度电子结构理论和CP 2K中低标度相关方法的基本构建块。它使用MPI和OpenMP进行并行化，并可以通过CUDA利用GPU加速器。我们描述了DBCSR在采用英特尔至强融核Knights Landing（KNL）处理器的系统上与采用英特尔至强CPU的系统（包括采用GPU的系统）的性能比较。我们发现，在相同数量的节点上，基于Cray XC 40 KNL的系统上的DBCSR比使用Nvidia P100卡的混合Cray XC 50慢11%-14%。与配备双插槽Intel Xeon CPU的Cray XC 40系统相比，KNL的速度最高可提高24%。
2017-08-21 cs.DC
Sparse GPU Kernels for Deep Learning
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏，但在GPU上实现实际的加速是困难的，因为这些应用具有相对中等的稀疏性水平，不足以使现有的稀疏内核优于其密集的对应物。在这项工作中，我们研究了深度学习应用中的稀疏矩阵，并确定了可用于加速计算的有利属性。基于这些见解，我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络：稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核，我们展示了稀疏的Transformer和MobileNet模型，实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省，而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
Toward Portable GPU Performance: Julia Recursive Implementation of TRMM and TRSM
本文针对GPU重构TRMM和TRSM为以GEMM为主的递归实现，利用Julia特性与相关框架提供跨NVIDIA、AMD、Apple Silicon GPU的统一API，大型矩阵性能接近厂商库且首次支持Apple Silicon，实现高效可移植性。
2025-04-18 cs.DC cs.MS
On GPU Implementation for Multi-Precision Integer Division
University of Copenhagen（哥本哈根大学）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）
本文提出一种基于牛顿迭代的整数除法算法在GPU上的高效实现，针对$2^{15}$到$2^{18}$位精度，通过算法改进和成本模型实现接近最优性能。
2026-07-14 cs.DC cs.MS cs.SC
Sparse Matrix-Matrix Multiplication on Multilevel Memory Architectures : Algorithms and Experiments
具有多种存储介质的架构正在成为主流超级计算机部署的常见部分。所谓的多级存储器为每个存储器组件提供不同的特性，包括带宽、延迟和容量的变化。本文研究了稀疏矩阵乘法内核在两种领先的高性能计算架构（Intel的Knights Landing处理器和NVIDIA的Pascal GPU）上的性能。我们描述了一种数据放置方法和基于分块的算法，我们的内核，利用存在的多个内存空间在每个硬件平台。我们评估这些方法的性能w.r.t.使用自动缓存机制的标准算法。我们的研究结果表明，标准的算法，利用高速缓存重用执行以及多内存感知算法的架构，如KNL的内存子系统具有类似的延迟。然而，对于诸如GPU之类的架构，其中存储器子系统在带宽和延迟方面都有显著差异，多存储器感知方法对于良好的性能至关重要。此外，我们的新方法允许用户运行需要比每个计算节点的最快内存更大容量的问题，而不依赖于软件管理的缓存机制。
2018-04-02 cs.DC
Locality-aware parallel block-sparse matrix-matrix multiplication using the Chunks and Tasks programming model
本文提出了一种在分布式内存集群上实现并行块稀疏矩阵矩阵乘法的方法。通过使用四叉树矩阵表示，利用数据局部性，而无需有关矩阵稀疏模式的先验信息。由于我们最近开发了块和任务编程模型[并行计算]，分布式四叉树矩阵表示可以直接实现。40，328（2014）]。四叉树表示与块和任务模型相结合，导致有利的弱和强缩放的通信成本与进程的数量，在理论上和数值实验中所示。矩阵由块对象的稀疏四叉树表示。层次结构中的叶子是块稀疏子矩阵。稀疏性由矩阵库动态检测，并且可以发生在层次结构中的任何级别和/或子矩阵叶内。在图形处理单元（GPU）可用的情况下，CPU和GPU都用于叶级乘法工作，从而利用每个节点的全部计算能力。的性能进行评估，为矩阵具有不同的稀疏结构，包括电子结构计算的例子。与不利用数据局部性的方法相比，我们的局部感知方法显着减少了通信，在弱缩放测试中实现了每个节点基本上恒定的通信。
2016-06-27 cs.DC
H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示，例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此，有必要为这些矩阵上的分布式操作提供支持的软件，以允许大规模的问题被表示。在本文中，我们提出了高性能，分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块，H2Opus是一个面向性能的软件包，支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的，以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示，Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性，矩阵向量乘法的性能超过2.3 Tflops/s/GPU，矩阵压缩的性能超过670 Gflops/s/GPU，其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率，通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器，并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
Adaptive SpMV/SpMSpV on GPUs for Input Vectors of Varied Sparsity
尽管在现代硬件架构上进行了大量的工作来优化稀疏矩阵和向量乘法（SpMV）的性能，但很少对其稀疏对应物稀疏矩阵和稀疏向量乘法（SpMSpV）进行工作，更不用说处理不同稀疏度的输入向量了。关键的挑战是，根据稀疏性级别、数据分布和计算平台，SpMV/SpMSpV内核的最佳选择可能会有所不同，静态选择是不够的。在本文中，我们提出了一个自适应的SpMV/SpMSpV框架，它可以自动选择合适的SpMV/SpMSpV内核的GPU上的任何稀疏矩阵和向量在运行时。在系统分析计算模式、负载分配和回写策略等关键因素的基础上，将8个候选SpMV/SpMSpV内核封装到框架中，实现了高性能的无缝集成。从精度和开销两个方面对基于机器学习的核选择器进行了全面的研究，以选择核并适应输入和硬件的变化。实验表明，自适应框架在NVIDIA Tesla K40 m、P100和V100 GPU上的实际应用中的性能大大超过了之前的最先进水平。
2020-12-17 cs.DC cs.MS
Sextans: A Streaming Accelerator for General-Purpose Sparse-Matrix Dense-Matrix Multiplication
稀疏矩阵稠密矩阵乘法（SpMM）是广泛应用的关键运算符，包括科学计算、图形处理和深度学习。SpMM加速器的设计面临着三个挑战：（1）稀疏矩阵中元素的随机分布导致的随机内存访问和处理负载的不平衡;（2）无法在片上实现的大型矩阵的数据处理效率低下;（3）非通用加速器设计，一个加速器只能处理固定大小的问题。在本文中，我们提出了六分之一，通用的SpMM处理的加速器。Sextans加速器的特点是（1）使用片内存储器进行快速随机访问，（2）对片外大型矩阵进行流式访问，（3）使用II=1流水线实现平衡工作负载的PE感知非零调度，以及（4）硬件灵活性，可以一次性对硬件进行原型设计，以支持不同大小的Spectrometer作为通用加速器。我们利用高带宽内存（HBM）的有效访问稀疏和密集矩阵。在评估中，我们提出了一个FPGA原型Sextans，这是可执行的Xilinx U280 HBM FPGA板和一个预计的原型Sextans-P具有更高的带宽比V100和更多的频率优化。我们对1，400个Sparse在各种稀疏矩阵上进行了全面评估，其中包括来自SNAP的50个矩阵和来自SuiteSparse的150个矩阵。我们将Sextans与NVIDIA K80和V100 GPU进行了比较，Sextans在K80 GPU上实现了2.50倍的几何加速比，Sextans-P在V100 GPU上实现了1.14倍的几何加速…
2022-01-13 cs.AR cs.DC
Speculative Segmented Sum for Sparse Matrix-Vector Multiplication on Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯玻尔研究所）
本文提出一种基于压缩稀疏行格式的稀疏矩阵-向量乘法算法，利用CPU和GPU核心进行推测分段求和运算，通过CPU重新排列部分和以获得正确结果，实验表明在三种异构处理器上性能显著提升。
2015-09-14 cs.DC cs.MS cs.NA
Streaming Right Multiplication over Grammar-Compressed Matrices: A Memory-Bounded GPU Engine for Genotype and Graph Data
Sant’Anna School of Advanced Studies（圣安娜高等研究学院）；University of Pisa（比萨大学）
研究在GPU内存受限场景下语法压缩矩阵右乘问题，提出基于特定有向无环图及分层语法的方法，实现流式评估，在基因型矩阵和软件遗产图上有空间优势、时间性能良好且能量较低。
2026-07-29 cs.DC cs.DS cs.MS
Performance Enhancement of the Ozaki Scheme on Integer Matrix Multiplication Unit
本文提出通过减少低精度乘法和高精度加法的数量来优化Ozaki方案，从而在整数矩阵乘法单元上同时实现高精度与高性能。
2024-09-20 cs.DC
A survey of sparse matrix-vector multiplication performance on large matrices
Rice University（莱斯大学）；Shell International Exploration & Production Inc.（壳牌国际勘探与生产公司）
本文调研了工业级大规模稀疏矩阵向量乘法在不同架构和格式上的性能，涵盖Intel MKL、Trilinos、CUSPARSE和CUSP等实现。
2016-08-01 cs.DC cs.NA cs.PF
Slicing Is All You Need: Towards A Universal One-Sided Algorithm for Distributed Matrix Multiplication
Intel Corporation（英特尔公司）；Parallel Computing Laboratory（并行计算实验室）
本文提出一种支持所有分区与复制因子组合的通用单侧分布式矩阵乘法算法，利用切片计算重叠块，实现高效通信，性能与PyTorch DTensor相当。
2025-10-10 cs.AI cs.DC
Popcorn: Accelerating Kernel K-means on GPUs through Sparse Linear Algebra
本文提出基于 SpMM 和 SpMV 的核 K-means 稀疏线性代数表述，并实现开源 GPU 系统 Popcorn，最高较 CPU 加速 123.8 倍。
2025-01-09 cs.DC
Entropy Maximization in Sparse Matrix by Vector Multiplication ($\max_E SpMV$)
针对高度稀疏矩阵 SpMV 的随机访问与负载不均衡问题，提出最大化非零元素分布熵的矩阵置换预处理方法，使各架构均能受益并在 AMD 系统上实现 15% 性能提升。
2023-07-24 cs.DC
gECC: A GPU-based high-throughput framework for Elliptic Curve Cryptography
本文提出面向GPU的gECC框架，通过批量EC运算、并行化、内存管理及减少IMAD指令等优化，显著提升ECDSA、ECDH与区块链应用性能。
2024-12-22 cs.AR cs.CR cs.DC
Akceleracja obliczen algebry liniowej z wykorzystaniem masywnie rownoleglych, wielordzeniowych procesorow GPU
本文介绍了在线性代数领域使用支持CUDA技术的现代图形加速器进行高性能计算的方面。完全可编程的图形卡已经为普通用户和研究单位提供了几年。它们提供了以高性能执行几乎任何计算的能力，这通常是传统CPU无法达到的。GPU架构，也在线性代数的经典问题的情况下，这是许多计算的基础，可以为开发人员带来许多好处。在nVidia Tesla C2050上的矩阵乘法过程中观察到的性能提高，与普通CPU相比超过一千倍，从而大幅减少了某些结果的延迟，从而降低了获得它们的成本。
2013-06-26 cs.DC
Matrix representation and GPU-optimized parallel B-spline computing
针对CAD系统中复杂模型B样条计算的CPU算法不足问题，提出将B样条转换为规则矩阵结构并结合GPU优化调度的方法，实现关键操作速度提升约两个数量级。
2025-04-15 cs.DC
Sketching the Error, Not the Product: Post Hoc Fault Recovery for Half Precision GPU Matrix Multiplication
National Institute of Technology Warangal（印度理工学院瓦朗加尔分校）；AthenaHealth（阿西娜健康）
针对半精度GPU矩阵乘法中的静默数据损坏，提出事后验证器FP-Sketch，通过和草图与哈希一阶矩草图定位故障，按实测噪声调整桶数，在Transformer和Llama-2-7B上实现高恢复率并显著降低困惑度损害。
2026-09-18 cs.DC
High-Level Big Integer Arithmetic in Futhark for GPUs
University of Copenhagen（哥本哈根大学）；Cheriton School of Computer Science, U. Waterloo（滑铁卢大学切里顿计算机科学学院）
该研究用Futhark实现GPU上中等规模大整数的块级四则运算，对比手写C++/CUDA与CGBN，发现数组自动布局对性能关键，高级代码经优化后性能具竞争力。
2026-08-03 cs.DC cs.PL cs.SC
Constant-Depth and Subcubic-Size Threshold Circuits for Matrix Multiplication
McCulloch-Pitts阈值门布尔电路是20世纪后期作为一般计算模型而被大量研究的神经计算的经典模型。大规模神经计算硬件的最新进展使其实际实现成为近期的可能性。我们描述了一种理论方法，用于乘以两个$N$的$N$矩阵，集成了阈值门逻辑与传统的快速矩阵乘法算法，执行$O(N^ω)$算术运算的正常数$ω< 3$。我们的方法将这样一个快速矩阵乘法算法转换成一个恒定深度的阈值电路，大约$O(N^ω)$门。在此之前，我们的工作，这是不知道是否$Θ(N^3)$门矩阵乘法障碍是克服了恒定深度的阈值电路。稠密矩阵乘法是卷积神经网络训练中的核心运算。在神经架构上执行这项工作，而不是将其卸载到GPU上可能是一个有吸引力的选择。
2020-06-25 cs.DC cs.DS cs.NE
