The Input/Output Complexity of Sparse Matrix Multiplication
本文研究了半环上非零元素个数大于主存数的稀疏矩阵的乘法问题。在Hong和Kung(STOC '81)的经典论文中,证明了为了计算密集$U \times U$矩阵的乘积,在具有内部存储器大小$M$和存储器块大小$B$的I/O模型中,$Θ\left(U^3 / (B \sqrt{M}) \right)$ I/O是必要且充分的。本文将Hong和Kung的上、下界推广到稀疏情形。我们的边界依赖于$A$和$C$中非零项的数量$N = \mathtt{nnz}(A)+\mathtt{nnz}(C)$,以及$AC$中非零项的数量$Z = \mathtt{nnz}(AC)$。我们表明,$AC$可以计算使用$\tilde{O} \left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O,具有很高的概率。太紧了(直至多对数因子)仅允许半环运算时,即使对于稠密矩形矩阵:我们展示了$Ω\left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O的下限。虽然我们的下限使用了相当标准的技术,但上限使用了“压缩矩阵乘法”草图,这在I/O高效算法的上下文中是新的,以及一种新的矩阵乘积大小估计技术,它避免了“无抵…
2014-03-14 cs.DS
Optimal Deterministic Fully Sparse Matrix Multiplication
该研究提出首个达最优运行时间指数的完全稀疏矩阵乘法确定性算法,将确定性适用的δ_out上限从0.642668提升至1.321334,运行时间接近二次。
2026-08-20 cs.DS
Essentially Optimal Sparse Polynomial Multiplication
我们提出了一个概率算法来计算两个一元稀疏多项式的产品在一个字段与一些位操作是准线性的输入和输出的大小。我们的算法适用于任何领域的特征零或大于度。我们主要依靠稀疏插值和验证稀疏产品,也有一个准线性的时间复杂度的新算法。利用Kronecker替换技术,我们将我们的结果推广到多变量的情况。
2020-06-05 cs.CC cs.DS cs.SC
Improved Sparse Recovery for Approximate Matrix Multiplication
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
该研究提出了一种改进的随机算法,用于近似矩阵乘法,通过伪随机旋转技术实现更快的计算速度和更优的误差控制。
2026-02-04 cs.DS
On Parallelizing Matrix Multiplication by the Column-Row Method
我们考虑的问题稀疏矩阵乘法的列行方法在分布式设置的矩阵产品不一定是稀疏的。我们提出了一个令人惊讶的简单的方法“一致的”并行处理稀疏外产品(列-行向量产品)在几个处理器,在通信避免设置,每个处理器有一个副本的输入。该方法是一致的,在这个意义上,一个给定的输出条目总是被分配给同一个处理器,独立于外积的具体结构。我们保证每个处理器所做的工作,并实现线性加速下降到成本占主导地位的点读取输入。我们的方法给出了一种方法分布(或并行化)矩阵乘积计算的设置中的主要瓶颈是存储结果矩阵,和处理器间的通信。出于对真实数据的观察,往往是产品中的条目的绝对值遵守幂律,我们将我们的方法与频繁项挖掘算法相结合,并展示了如何获得产品矩阵中最重条目的权重的紧密近似。作为一个案例研究,我们提出了我们的方法,频繁对挖掘在事务数据流中的应用,一个问题,可以措辞的稀疏${0,1}$ -整数矩阵乘法的列-行方法。实验评估所提出的方法对现实生活中的数据支持的理论研究结果。
2012-11-19 cs.DS
SAGE: A Storage-Based Approach for Scalable and Efficient Sparse Generalized Matrix-Matrix Multiplication
针对单机SpGEMM可扩展性不足、分布式方案通信开销大的问题,提出基于存储的SAGE方法,搭配三层架构与三项优化策略,在可扩展性和效率上优于现有方法。
2023-08-25 cs.DS
Hamming distance completeness and sparse matrix multiplication
我们表明,广泛的一类$(+,\diamond)$向量产品(二进制整数函数$\diamond$)是等价的下一个到polylog减少的汉明距离的计算。例子包括:优势产品,阈值产品和$\ell_{2p+1}$距离恒定$p$。我们的研究结果意味着所有对的计算复杂性之间的等价性(多对数因子):汉明距离,$\ell_{2p+1}$距离,优势产品和阈值产品。因此,Yuster的SODA'09算法不仅改进了Matoušek(IPL'91)的结果,而且改进了Indyk,Lewenstein,Lipsky和Porat(ICALP'04)和Min,Kao和Zhu(COCOON'09)的结果。此外,我们的减少适用于模式匹配设置,显示汉明距离,$\ell_{2p+1}$距离,优势产品和阈值产品下的模式匹配之间的等效性(直到polylog因子),由于Abrahamson(SICOMP'87),Amir和Farach(Ann.~数学~ Artiff.~内特尔'91),阿塔拉和杜克特(IPL'11),克利福德,克利福德和伊利奥普洛斯(CPM'05)和阿米尔,利普斯基,波拉特和乌曼斯基(CPM'05)。由此产生的算法$\ell_{2p+1}$模式匹配和所有对$\ell_{2p+1}$,为$2p+1 = 3,5,7,\dots$是新的。此外,我们表明,AllPairsHammingDistances(因此,其他上述A…
2018-05-03 cs.DS
Polynomials: a new tool for length reduction in binary discrete convolutions
稀疏数据的有效处理是计算机科学中的一个关键挑战。二进制卷积,如多项式乘法或沃尔什变换是一个有用的工具,在许多应用中,并有效地解决。在过去的十年中,一些问题需要稀疏二进制卷积的有效解决方案。为了有效地计算稀疏多项式乘法,开发了随机和确定性算法。这些算法的核心操作是长度缩减。稀疏数据被映射到保留卷积结果的小向量。迄今为止使用的归约方法是模函数,因为它保留了(“1”位的)位置直到循环移位。到目前为止,还没有已知的有效算法来计算稀疏沃尔什变换。由于模函数不保留沃尔什变换,需要一种新的方法来减少长度。在本文中,我们提出了这样一种新的方法-多项式。这种方法使一个有效的算法计算的二进制稀疏沃尔什变换的发展。据我们所知,这是第一个这样的算法。我们还表明,这种方法允许更快的确定性计算稀疏多项式乘法比目前已知的文献。
2014-10-21 cs.DS
Sparse Matrix Multiplication in the Low-Bandwidth Model
我们研究低带宽模型中的矩阵乘法:有$n$计算机,我们需要计算两个$n \times n$矩阵的乘积。最初,计算机$i$知道每个输入矩阵的行$i$。在一个通信回合中,每台计算机可以发送和接收一个$O(\log n)$位消息。最后,计算机$i$必须输出乘积矩阵的行$i$。我们试图理解这个问题的复杂性,在均匀稀疏的情况下:每个输入矩阵的每一行和每一列最多有$d$非零,在产品矩阵,我们只需要知道在每一行或每一列中的最多$d$元素的值。这正是我们所拥有的设置,例如,当我们在最大度$d$的图中应用矩阵乘法进行三角形检测时。我们专注于支持的设置:矩阵的结构是已知的,只有非零元素的数值是未知的。有一种简单的算法可以在$O(d^2)$轮中解决该问题,但是对于大的$d$,已知存在更好的算法;在适度密集的状态下,该问题可以在$O(dn^{1/3})$通信循环中解决,并且对于非常大的$d$,主要解决方案是使用$O(n^{1.158})$通信循环的快速矩阵乘法算法(用于支持快速矩阵乘法的域和环上的矩阵乘法)。在这项工作中,我们表明,有可能克服二次障碍的所有值的$d$:我们提出了一个算法,解决了这个问题,在$O(d^{1.907})$轮的领域和环支持快速矩阵乘法和$O(d^{1.927})$轮的半环,独立的$n$。
2022-06-01 cs.DC cs.DS
Efficient Matrix Multiplication: The Sparse Power-of-2 Factorization
我们提出了一个算法,以减少计算工作量的一个给定的矩阵与一个未知的列向量的乘法。该算法利用稀疏恢复的原理,将给定的矩阵分解为元素为零或2的整数次幂的矩阵的乘积。虽然经典的低分辨率量化达到了6 dB每比特的精度,我们的方法可以实现许多倍以上的大矩阵。数值证据表明,改善实际上增长与矩阵的大小无界。由于稀疏性,该算法甚至允许每个矩阵条目的量化级别低于1位,同时实现对大矩阵的高度精确的近似。应用包括但不限于神经网络,以及用于大规模MIMO和毫米波应用的全数字波束形成。
2020-02-27 cs.DS cs.IT math.IT
A New Algorithm for Double Scalar Multiplication over Koblitz Curves
Koblitz曲线是一种特殊的椭圆曲线集,由于Frobenius自同态,在椭圆曲线密码中计算标量乘法时具有更好的性能。Frobenius展开的双基数系统方法提高了单标量乘法的性能。本文提出了一种新的标量对稀疏联合$τ$ -adic表示的生成算法及其在双标量乘中的应用。新算法的灵感来自双基数系统。与最先进的$τ$ -adic联合稀疏形式相比,我们的速度提高了12%。
2018-01-25 cs.CR cs.DS
Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗?虽然对于图结构线性系统的特殊情况已经有了显著的进展,但是在一般设置中,求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$,其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统,改进这一点也是一个开放的问题。在本文中,我们提出了一个算法,解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$,其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵,以及$ω$的当前值,我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的,随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法,用于有限域上的逆矩阵。在我们的数值稳定性分析中,我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Core-Sparse Monge Matrix Multiplication: Improved Algorithm and Applications
本文研究核心稀疏 Monge 矩阵乘法,证明乘积矩阵核心大小的线性上界,给出 O((n+δ) log n) 时间算法,并应用于加权序列比对和最长递增子序列的快速重建。
2025-07-07 cs.DS
Algebraic Vertex Ordering of a Sparse Graph for Adjacency Access Locality and Graph Compression
本文从图合成/分解视角分析邻接访问局部性,提出一种适应度分布的代数顶点索引方法,在多种图的压缩和随机游走查询的矩阵-向量乘法效率上均取得显著提升。
2024-09-28 cs.DS
Performance Enhancement Strategies for Sparse Matrix-Vector Multiplication (SpMV) and Iterative Linear Solvers
稀疏线性方程组和稀疏特征值问题的迭代求解在科学研究和工程应用中具有重要的作用。这种迭代解的关键计算核心是稀疏矩阵乘以稠密向量。因此,稀疏矩阵向量乘法(SpMV)和线性求解器的有效实现是必不可少的,并且已经在各种计算架构和加速器(诸如中央处理单元(CPU)、图形处理单元(GPU)、许多集成核(MIC)和现场可编程门阵列(FPGA))上进行了广泛的研究。释放架构/加速器的全部潜力需要确定影响SpMV有效实施的因素。这篇文章是第一篇此类深入调查,涵盖了200多个用于求解稀疏迭代线性系统的最新优化方案,重点是计算SpMV。提出了一种新的分类迭代解决方案和SpMV技术共同的所有架构。本文包括对所有体系结构的SpMV技术的回顾,以巩固单一的分类法,从而鼓励跨体系结构和异构体系结构的开发。然而,主要的焦点是GPU。的主要贡献,以及主要的,次要的,和第三的贡献的SpMV技术首先突出利用分类,然后定性比较。分别讨论了每个体系结构的研究现状的总结。最后,几个开放的问题和未来的研究方向的关键挑战进行了概述。
2022-12-14 cs.DS cs.NA math.NA
Accelerating Graph Neural Networks with a Novel Matrix Compression Format
本文提出压缩二进制矩阵(CBM)格式表示GNN中的邻接矩阵,并基于该格式开发高效矩阵乘法内核,实验表明相比Intel MKL实现可加速近5倍,GNN推理加速达3倍。
2024-09-03 cs.DS
dCSR: A Memory-Efficient Sparse Matrix Representation for Parallel Neural Network Inference
减少神经网络的内存占用是将其部署在小型低成本嵌入式设备中的关键先决条件。网络参数通常可以通过修剪显著减少。我们将讨论如何最好地代表稀疏网络的索引开销,为下一代的单指令,多数据(SIMD)功能的微控制器。从这个,我们开发增量压缩存储行(dCSR),稀疏矩阵的存储格式,允许低开销存储和快速推理的嵌入式系统与广泛的SIMD单元。我们展示了我们的方法在ARM Cortex-M55 MCU原型与M-Profile矢量扩展(MVE)。内存消耗和吞吐量的比较表明,我们的方法实现了有竞争力的压缩比,并增加了密集的方法高达$2.9 \times$稀疏矩阵向量乘法(SpMV)为基础的内核和$1.06 \times$稀疏矩阵矩阵乘法(SpMM)的吞吐量。这是通过在SIMD单元中直接处理索引信息的生成来实现的,从而导致有效内存带宽的增加。
2021-11-24 cs.DS
Heterogeneous Sparse Matrix-Vector Multiplication via Compressed Sparse Row Format
稀疏矩阵向量乘法(SpMV)是高性能计算(HPC)中最重要的内核之一,然而SpMV通常在许多设备上表现不佳。由于性能不佳,SpMV通常需要特别注意为给定设备存储和调谐。此外,HPC面临包含多个不同计算单元的异构硬件,例如,多核CPU和GPU。因此,一个新兴的目标是产生允许关键内核的异构格式和方法,例如,SpMV,可在不同设备上执行,具有可移植的性能,对格式和方法的更改最小。本文介绍了一种基于CSR的异构格式,名为CSR-k,它可以快速调整,在Intel Xeon Platinum 8380和AMD Epyc 7742 CPU上的性能优于Intel MKL的平均性能,同时在NVIDIA A100和V100上的性能仍然优于NVIDIA的cuSPARSE和Sandia国家实验室的KokkosKernels。稀疏矩阵,其中每行的非零数具有方差$\leq$ 10,例如通常由二维和三维有限差分和单元问题生成的那些。特别是,CSR-k通过重新排序和将行分组为超级行和超级超级行的分层结构来实现这一点,这些超级行和超级超级行仅由几个额外的指针数组表示。由于其简单性,模型可以针对设备进行调整,并用于在恒定时间内选择超级行和超级超级行大小。
2023-01-06 cs.DC cs.DS cs.PF
Diagonal Packing for Efficient Homomorphic Sparse Matrix-Vector Multiplication
Faculty of Engineering and Natural Sciences, Sabancı University(萨班哲大学工程与自然科学学院);VERIM, Center of Excellence in Data Analytics, Sabancı University(萨班哲大学VERIM数据分析卓越中心)
本文研究如何通过排列稀疏矩阵的行和列,将非零元素打包到尽可能少的循环对角线上。提出二维对角线打包问题(2DPP),并设计整数规划方法和启发式算法优化稀疏矩阵的存储结构,从而降低同态加密的计算开销。
2026-07-10 cs.CR cs.DS
Error correction in fast matrix multiplication and inverse
我们提出了新的算法来检测和纠正错误的产品中的两个矩阵,或逆矩阵,在任意字段。我们的算法不需要任何额外的信息或编码以外的原始输入和错误的输出。当错误的数量足够小时,它们的运行时间在这些矩阵中的非零条目的数量上是软线性的,并且它们还包含快速矩阵乘法,以便当错误的数量很大时,成本可以很好地缩放。这些算法建立在Gasieniec等人(2017)关于校正矩阵乘积的最新结果,以及验证算法,稀疏低秩线性代数和稀疏多项式插值的现有工作基础上。
2018-02-07 cs.DS cs.SC
Sparse Matrix Multiplication and Triangle Listing in the Congested Clique Model
我们在拥塞集团模型中将两个$n \times n$矩阵$S,T$在半环上相乘,其中$n$完全连接的节点在$O(nz(S)^{1/3} nz(T)^{1/3}/n + 1)$轮通信内使用$O(\log n)$位消息同步通信,其中$nz(A)$表示矩阵$A$中非零元素的数量。通过利用输入矩阵的稀疏性,与一般算法相比,我们的算法大大减少了通信[Censor-Hillel等人,PODC 2015],改进了具有$o(n^2)$非零元素的矩阵的最新技术水平。我们的算法表现出超越以前的解决方案,也只有一个矩阵是稀疏的额外的力量。这允许有效地将稀疏矩阵提升到大于2的幂。作为应用,我们加快了稀疏图中的4圈计数和APSP。我们的算法的贡献是一个新的\emph{deterministic}方法,以稀疏感知的方式重构输入矩阵,它分配给每个节点元素的乘法任务,不一定是连续的,但平衡,产生通信效率的乘法。此外,这种新的确定性的方法可以用来重建输入图的邻接矩阵,使图形相关的问题的快速解决方案。作为一个例子,我们提出了一种新的确定性算法,它解决了$O(m/n^{5/3} + 1)$轮中的三角形列表问题,这是一种以前通过\emph{randomized}算法获得的复杂度[Pandurangan等人,SPAA 2018],并与$\tildeΩ(n^{1/3})$的下限相匹配[Izumi和Le Gall,PODC 20…
2019-03-20 cs.DC cs.DS
Masked Matrix Multiplication for Emergent Sparsity
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种面向涌现稀疏性的掩码矩阵乘法系统,通过动态代码查找和稀疏性映射预处理消除不必要计算与分支,在60%-95%稀疏性下相比Intel MKL实现最高2倍加速和4倍指令减少。
2024-02-21 cs.AI cs.DS
A simple division-free algorithm for computing Pfaffians
我们提出了一个非常简单的算法计算Pfweanans不使用除法运算。本质上,它相当于迭代矩阵乘法和截断。对于$2n\times 2n$矩阵,其复杂度为$O(nM(n))$,其中$M(n)$是矩阵乘法的成本。在稀疏矩阵的情况下,$M(n)$是密集-稀疏矩阵乘法的成本。该算法是一个适应的鸟算法的决定因素。我们将展示如何提取,几乎没有额外的工作,从这些算法的特征多项式和Pfiran特征多项式。
2023-02-23 cs.DS math.CO
Fast multiplication of random dense matrices with fixed sparse matrices
本文提出结合分块与即时随机数重计算的稀疏-随机稠密矩阵乘法方案,降低内存移动并提升并行扩展性,性能优于 Eigen、Intel MKL 与 SuiteSparse。
2024-05-12 cs.CE cs.DC cs.DS
MACKO: Sparse Matrix-Vector Multiplication for Low Sparsity
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava(数学物理信息学系 哥梅尼乌斯大学布拉迪斯拉瓦)
针对现有SpMV在大语言模型低非结构化稀疏场景下性能不足的问题,提出GPU优化的MACKO-SpMV协同设计,实现显著内存缩减与推理加速,让50%稀疏度非结构化剪枝可实际落地。
2025-11-17 cs.AI cs.DC cs.DS
Chunky and Equal-Spaced Polynomial Multiplication
求两个多项式的乘积是计算机代数中的一个基本问题。虽然大多数以前的结果都集中在最坏情况下的复杂性,而不是采用自适应分析的技术,在许多“简单”的情况下,给一个改进。我们提出了两个自适应措施和方法的多项式乘法,并展示了如何有效地结合起来,以获得这两个优点。这些算法的一个有用的特征是,它们本质上提供了现有的“稀疏”和“密集”方法之间的梯度。我们证明,这些方法提供了显着的改善,在许多情况下,但在最坏的情况下,仍然是最快的现有算法相媲美。
2010-07-19 cs.DS cs.SC
A Geometric Approach to Matrix Ordering
我们提出了一种递归的方法来划分超图,创建和利用超图几何,适用于众核并行架构。这样的划分然后被用于以递归的有界块对角形式(用于处理器无关的并行LU分解)或递归的分离块对角形式(用于高速缓存无关的稀疏矩阵向量乘法)来带来稀疏矩阵。我们表明,所获得的分区和排序的质量是有竞争力的,通过比较所获得的填充LU分解与SuperLU(具有更好的结果为28个测试矩阵中的8个)和比较切割的大小稀疏矩阵向量乘法与蒙德里安(具有更好的结果为12个测试矩阵中的4个)。新方法的主要优点是其速度:它平均比Mondriaan快21.6倍。
2011-05-23 cs.DC cs.DS
A 51-Addition Alternative-Basis Kernel for Rank-23 $3\times3$ Matrix Multiplication
本文提出一种秩23的3×3矩阵乘法算法,在交替基下用51次加法,加上转换共56次,结合线性规划与稀疏基搜索,并给出机器可验证的证书。
2026-09-29 cs.CC cs.DS cs.SC
Fast Multiplication of Matrices with Decay
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出稀疏近似矩阵乘法(SpAMM)算法,通过降低乘积空间复杂度实现具有衰减性质矩阵的快速近似乘法,在量子化学矩阵中相比截断方法显著减少浮点运算次数。
2010-11-15 cond-mat.mtrl-sci cs.DS cs.MS