Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗？虽然对于图结构线性系统的特殊情况已经有了显著的进展，但是在一般设置中，求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$，其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统，改进这一点也是一个开放的问题。在本文中，我们提出了一个算法，解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$，其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵，以及$ω$的当前值，我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的，随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法，用于有限域上的逆矩阵。在我们的数值稳定性分析中，我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Performance Enhancement Strategies for Sparse Matrix-Vector Multiplication (SpMV) and Iterative Linear Solvers
稀疏线性方程组和稀疏特征值问题的迭代求解在科学研究和工程应用中具有重要的作用。这种迭代解的关键计算核心是稀疏矩阵乘以稠密向量。因此，稀疏矩阵向量乘法（SpMV）和线性求解器的有效实现是必不可少的，并且已经在各种计算架构和加速器（诸如中央处理单元（CPU）、图形处理单元（GPU）、许多集成核（MIC）和现场可编程门阵列（FPGA））上进行了广泛的研究。释放架构/加速器的全部潜力需要确定影响SpMV有效实施的因素。这篇文章是第一篇此类深入调查，涵盖了200多个用于求解稀疏迭代线性系统的最新优化方案，重点是计算SpMV。提出了一种新的分类迭代解决方案和SpMV技术共同的所有架构。本文包括对所有体系结构的SpMV技术的回顾，以巩固单一的分类法，从而鼓励跨体系结构和异构体系结构的开发。然而，主要的焦点是GPU。的主要贡献，以及主要的，次要的，和第三的贡献的SpMV技术首先突出利用分类，然后定性比较。分别讨论了每个体系结构的研究现状的总结。最后，几个开放的问题和未来的研究方向的关键挑战进行了概述。
2022-12-14 cs.DS cs.NA math.NA
Level-based Blocking for Sparse Matrices: Sparse Matrix-Power-Vector Multiplication
稀疏矩阵与稠密向量的相乘（SpMV）是许多数值格式中的关键组成部分，并且已知其性能受到主存访问的严重限制。几种数值方案需要将稀疏矩阵多项式与密集向量相乘，这通常被实现为SpMV序列。这导致低性能，并且忽略了通过重用来自缓存的矩阵数据来增加算术强度的潜力。在这项工作中，我们使用递归代数着色引擎（RACE），使阻塞的稀疏矩阵数据的多项式计算。在表示稀疏矩阵的图中，我们使用宽度优先搜索来形成级别。这些级别的局部性关系，然后使用访问矩阵数据时，以提高空间和时间的局部性，并实现一个有效的多线程并行化。我们的方法是独立的矩阵结构，避免了现有的“阻塞”策略的缺点，在硬件效率和并行化开销。我们量化的质量，我们的实施使用性能建模和演示加速高达3 $\times$和5 $\times$相比，最佳的SpMV为基础的基线在一个单一的多核芯片的最新英特尔和AMD架构。作为一个潜在的应用，我们证明了我们的实施的切比雪夫时间传播计划，代表类的多项式逼近指数积分的好处。进一步的数值方案，可能会受益于我们的发展，包括$s$ -步骤Krylov求解器和电源聚类算法。
2022-05-03 cs.DC cs.NA cs.PF
Exploiting Multiple Levels of Parallelism in Sparse Matrix-Matrix Multiplication
稀疏矩阵-矩阵乘法（Sparse matrix-matrix multiplication，简称SpGEMM）是许多高性能图算法以及一些线性求解器（如代数多重网格）的关键原语。SpGEMM的现有并行实现的缩放严重受限于通信。尽管在基于Erdos-Renyi矩阵的平面MPI模型中已经提出了3D（或2.5D）算法并进行了理论分析，但这些算法还没有在实际中实现，也没有对一般情况下的算法复杂度进行分析。在这项工作中，我们提出了有史以来第一次实现的三维SpGEMM制定，也利用多个（节点内和节点间）的并行级别，实现显着的速度比国家的最先进的公开可用的代码在所有级别的并发。我们广泛评估我们的实施情况，并确定应进一步研究的瓶颈。
2016-11-16 cs.DC cs.NA math.NA
Coded Sparse Matrix Multiplication
The Ohio State University（俄亥俄州立大学）
本文提出一种稀疏编码策略，解决大规模分布式矩阵乘法中的stragglers问题，实现近最优恢复阈值、低计算开销和线性解码时间。
2018-04-17 cs.DC cs.NA math.NA
Analyzing and enhancing OSKI for sparse matrix-vector multiplication
Bilkent University（比尔肯特大学）
针对稀疏矩阵-向量乘法(SpMxV)中的缓存局部性问题，提出基于超图模型的缓存大小感知的行/列重排序方法和矩阵分裂方法，以最大化时间局部性利用，实验表明优于现有方案。
2012-03-13 cs.NA math.NA
Parallel Sparse Matrix-Matrix Multiplication and Indexing: Implementation and Experiments
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出一种基于二维块数据分布和串行超稀疏内核的并行SpGEMM方法，实现了分布式内存中通用稀疏矩阵索引的高效算法，并在数千处理器上展示可扩展性。
2012-04-26 cs.DC cs.MS cs.NA
Speculative Segmented Sum for Sparse Matrix-Vector Multiplication on Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯玻尔研究所）
本文提出一种基于压缩稀疏行格式的稀疏矩阵-向量乘法算法，利用CPU和GPU核心进行推测分段求和运算，通过CPU重新排列部分和以获得正确结果，实验表明在三种异构处理器上性能显著提升。
2015-09-14 cs.DC cs.MS cs.NA
A survey of sparse matrix-vector multiplication performance on large matrices
Rice University（莱斯大学）；Shell International Exploration & Production Inc.（壳牌国际勘探与生产公司）
本文调研了工业级大规模稀疏矩阵向量乘法在不同架构和格式上的性能，涵盖Intel MKL、Trilinos、CUSPARSE和CUSP等实现。
2016-08-01 cs.DC cs.NA cs.PF
Technical Report on Hypergraph-Partitioning-Based Models and Methods for Exploiting Cache Locality in Sparse-Matrix Vector Multiplication
Bilkent University（比尔肯特大学）
针对稀疏矩阵向量乘法中缓存局部性利用困难的问题，提出基于超图划分的1D/2D矩阵重排序方法和矩阵分裂方法，通过最大化时间局部性提升性能。
2012-02-27 cs.NA cs.PF math.NA
Approximate multiplication of nearly sparse matrices with decay in a fully recursive distributed task-based parallel framework
在本文中，我们考虑并行实现的近似乘法的大型矩阵与指数衰减的元素。这种矩阵出现在与电子结构计算和计算科学的一些其他领域相关的计算中。通常，稀疏性通过丢弃输入矩阵的小条目（截断）来引入。另一种方法是稀疏近似乘法算法[M. Challacombe和N. Bock，arXiv preprint 1011.3534，2010]执行子矩阵乘积的截断。我们考虑这两种方法及其组合，即截断输入矩阵和子矩阵乘积。使用Chunks and Tasks编程模型和库完成的实现[E. H. Rubensson和E. Rudberg，并行计算，40：328-343，2014]被呈现和讨论。我们表明，在Frobenius范数的绝对误差表现为$O\left(n^{1/2} \right), n \longrightarrow \infty $和$O\left(τ^{p/2} \right), τ\longrightarrow 0,\,\, \forall p < 2$的所有三种方法，其中$n$是矩阵的大小和$τ$是截断阈值。我们比较了一个模型问题的方法，并表明，合并后的方法优于原来的两个。该方法也适用于矩阵来自大型化学系统与$\sim 10^6$原子。我们表明，这两种方法的结合，实现了更好的弱缩放，通过减少通信量的一个因素的$\approx 2$。
2021-02-20 cs.DC cs.NA math.NA
A method for accelerating low precision operations by sparse matrix multiplication
针对低精度张量硬件加速易引入误差的问题，提出结合逐向量量化、用稀疏残差矩阵校正误差的低精度运算加速方法，可在控误差的同时降复杂度，CPU上实现精度最高提15%、速度提1.46倍。
2024-03-11 cs.NA math.NA
Bootstrapped Block Lanczos for large-dimension eigenvalue problems
本文提出自举块Lanczos方法，利用截断空间中的近似特征向量构造初始枢轴块，大幅减少矩阵乘法次数，在核结构组态相互作用计算中实现最高十倍加速。
2022-10-27 cs.NA math.NA nucl-th
Sparse matrix-vector multiplication on GPGPU clusters: A new storage format and a scalable implementation
Erlangen Regional Computing Center（埃尔朗根区域计算中心）；Ernst-Moritz-Arndt University of Greifswald（格赖夫斯瓦尔德恩斯特·莫里茨·阿恩特大学）；German Aerospace Center (DLR)（德国航空航天中心）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对GPGPU集群上的稀疏矩阵-向量乘法，提出了一种新的pJDS存储格式以减少内存开销，并实现了可扩展的混合MPI-GPGPU并行代码。
2012-02-29 cs.DC cs.MS cs.NA
A Framework for General Sparse Matrix-Matrix Multiplication on GPUs and Heterogeneous Processors
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）
本文提出了一种面向GPU和异构处理器的通用稀疏矩阵-矩阵乘法框架，解决稀疏矩阵乘法中的内存预分配、并行插入操作和负载均衡问题，提升性能和效率。
2015-09-13 cs.DC cs.MS cs.NA
Predicting the Output Structure of Sparse Matrix Multiplication with Sampled Compression Ratio
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
稀疏广义矩阵乘法（SpGEMM）是许多科学应用中的基本构建块。SpGEMM的一个关键任务是计算或预测输出矩阵的结构（即，每个输出行的非零元素的数量），以实现有效的内存分配和负载平衡，这会影响SpGEMM的整体性能。现有的工作要么精确地计算输出结构，要么采用上限或基于采样的方法来预测输出结构。然而，这些方法要么需要很长的执行时间，要么不够准确。在本文中，我们提出了一种新的基于采样的方法，具有更好的精度和低成本相比，现有的基于采样的方法。所提出的方法首先通过利用中间产品的数量（表示为FLOP）和非零元素的数量（表示为NNZ）相同的采样结果矩阵的SpGEMM的压缩比预测。然后，通过将每个输出行的FLOP除以预测压缩比来获得预测输出结构。我们还提出了一个参考设计现有的基于采样的方法与优化的计算开销，以证明所提出的方法更好的准确性。我们构造了625个具有不同矩阵维数和稀疏结构的测试用例来评估预测精度。实验结果表明，该方法与参考设计的平均绝对相对误差分别为1.56%和8.12%，最差情况下分别为25%和156%.
2022-07-28 cs.DC cs.LG cs.NA
Iterative Refinement for a Subset of Eigenvectors of Symmetric Matrices via Matrix Multiplications
Research Institute for Science and Engineering, Waseda University（早稻田大学理工学研究科）；Department of Mathematical Sciences, Shibaura Institute of Technology（埼玉工业大学数学科学系）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Department of Applied Mathematics, Faculty of Science and Engineering, Waseda University（早稻田大学理工学部应用数学系）
本文提出了一种通过矩阵乘法对对称矩阵子集特征向量进行迭代精炼的方法，提高了精度并展示了其在不同矩阵类型上的有效性。
2026-02-27 cs.NA math.NA
Complexity Analysis of a Fast Directional Matrix-Vector Multiplication
我们考虑一个快速的，数据稀疏的方向性方法来实现矩阵矢量产品相关的亥姆霍兹核的点评价。该方法是基于点集和矩阵的分层分区。所考虑的亥姆霍兹核的定向多级近似甚至可以有效地应用于高频水平。我们提供了一个详细的分析所提出的方法的几乎线性渐近复杂性。我们的数值实验与所提供的理论是一致的。
2021-01-07 cs.NA math.NA
CSR5: An Efficient Storage Format for Cross-Platform Sparse Matrix-Vector Multiplication
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯玻尔研究所）
本文提出CSR5存储格式，通过低开销转换实现跨平台高效稀疏矩阵-向量乘法，对规则和不规则矩阵均有效，并在多个平台上取得显著性能提升。
2015-04-09 cs.DC cs.MS cs.NA
The Ubiquitous Sparse Matrix-Matrix Products
Lawrence Berkeley National Laboratory and University of California, Berkeley（伯克利国家实验室和加州大学伯克利分校）
本文统一处理稀疏矩阵-矩阵乘法运算，涵盖其在半环及异构代数上的扩展，并总结其在机器学习、生物信息学、图算法和科学计算中的广泛应用。
2025-08-06 cs.DC cs.LG cs.MS
Learning Multiplication-free Linear Transformations
University Politehnica of Bucharest（布加勒斯特理工大学）
本文提出了一种字典学习算法，用于稀疏表示，同时对学习到的字典施加特定结构，使其在数值上更高效：减少加法/乘法次数甚至避免乘法。我们基于字典的高结构化基本构建块（二进制正交、缩放和剪切变换）来建立工作，可以写出优化问题的闭式解。我们在图像数据上展示了方法的有效性，并与已知的数值高效变换如快速傅里叶变换和快速离散余弦变换进行比较。
2020-12-05 cs.LG cs.NA math.NA
