FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks

Distributed-Memory Sparse Kernels for Machine Learning

Sampled Dense Times Dense Matrix Multiplication (SDDMM) and Sparse Times Dense Matrix Multiplication (SpMM) appear in diverse settings, such as collaborative filtering, document clustering, and graph embedding. Frequently, the SDDMM output becomes the input sparse matrix for a subsequent SpMM operation. Existing work has focused on shared memory parallelization of these primitives. While there has been extensive analysis of communication-minimizing distributed 1.5D algorithms for SpMM, no such analysis exists for SDDMM or the back-to-back sequence of SDDMM and SpMM, termed FusedMM. We show tha…

AutoSAGE：面向稀疏图神经网络聚合（SpMM/SDDMM）和CSR注意力的输入感知CUDA调度

AutoSAGE: Input-Aware CUDA Scheduling for Sparse GNN Aggregation (SpMM/SDDMM) and CSR Attention

AutoSAGE通过输入感知的CUDA调度优化稀疏图神经网络聚合，实现性能提升并在不同数据集和测试中取得显著加速效果。

Libra：释放GPU异构性以实现高性能稀疏矩阵乘法

Libra: Unleashing GPU Heterogeneity for High-Performance Sparse Matrix Multiplication

Libra通过高效利用异构GPU资源，显著提升了稀疏矩阵乘法运算的性能，平均比现有基线方法快1.77至2.9倍。

英特尔 Max 系列 GPU 上深度学习稀疏矩阵内核的性能优化

Performance Optimization of Deep Learning Sparse Matrix Kernels on Intel Max Series GPU

本文利用英特尔 oneAPI 的 ESIMD SYCL 扩展 API 优化了 SPMM、SDDMM 和 FusedMM 三种稀疏矩阵运算，在英特尔 Max 系列 GPU 上实现接近峰值性能，并优于 oneMKL 及 NVIDIA V100 上的 CUDA 实现。

Fused3S：Tensor Core 上的快速稀疏注意力

Fused3S: Fast Sparse Attention on Tensor Cores

本文提出融合式 3S 算法 Fused3S，通过协同提升 tensor core 利用率并减少数据移动，在多种 GPU 和图数据集上显著加速稀疏注意力及 Graph Transformer 推理。

FlashSparse：在张量核心上最小化计算冗余以实现快速稀疏矩阵乘法

FlashSparse: Minimizing Computation Redundancy for Fast Sparse Matrix Multiplications on Tensor Cores

FlashSparse通过交换-转置策略最小化稀疏粒度，减少计算冗余并充分利用张量核心，在H100和RTX 4090上实现稀疏矩阵乘法5.5倍和3.22倍加速。