PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络，这些网络拥有数千亿个节点和边？网络分析已通过各种图挖掘方法进行，包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法，它由受典型矩阵向量乘法启发的少量运算组成。最近，几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形，但是，他们都失败了Web规模的图形，由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV（Pre-partitioned Generalized Matrix-Vector Multiplication）。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略，显著降低了分布式系统的主要瓶颈通信开销。实验表明，PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法，并需要9倍的时间比以前的基于磁盘的图挖掘方法，通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
SAGE: A Storage-Based Approach for Scalable and Efficient Sparse Generalized Matrix-Matrix Multiplication
针对单机SpGEMM可扩展性不足、分布式方案通信开销大的问题，提出基于存储的SAGE方法，搭配三层架构与三项优化策略，在可扩展性和效率上优于现有方法。
2023-08-25 cs.DS
An Efficient Matrix Multiplication Algorithm for Accelerating Inference in Binary and Ternary Neural Networks
Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）
针对二值和三值神经网络推理效率低下的问题，提出一种基于权重矩阵预处理与索引的高效矩阵乘法算法，在时间和内存上实现对数级优化，在LLM推理中最高实现5.24倍加速。
2025-05-02 cs.DS cs.LG
Fast multiplication of random dense matrices with fixed sparse matrices
本文提出结合分块与即时随机数重计算的稀疏-随机稠密矩阵乘法方案，降低内存移动并提升并行扩展性，性能优于 Eigen、Intel MKL 与 SuiteSparse。
2024-05-12 cs.CE cs.DC cs.DS
The Input/Output Complexity of Sparse Matrix Multiplication
本文研究了半环上非零元素个数大于主存数的稀疏矩阵的乘法问题。在Hong和Kung（STOC '81）的经典论文中，证明了为了计算密集$U \times U$矩阵的乘积，在具有内部存储器大小$M$和存储器块大小$B$的I/O模型中，$Θ\left(U^3 / (B \sqrt{M}) \right)$ I/O是必要且充分的。本文将Hong和Kung的上、下界推广到稀疏情形。我们的边界依赖于$A$和$C$中非零项的数量$N = \mathtt{nnz}(A)+\mathtt{nnz}(C)$，以及$AC$中非零项的数量$Z = \mathtt{nnz}(AC)$。我们表明，$AC$可以计算使用$\tilde{O} \left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O，具有很高的概率。太紧了（直至多对数因子）仅允许半环运算时，即使对于稠密矩形矩阵：我们展示了$Ω\left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O的下限。虽然我们的下限使用了相当标准的技术，但上限使用了“压缩矩阵乘法”草图，这在I/O高效算法的上下文中是新的，以及一种新的矩阵乘积大小估计技术，它避免了“无抵…
2014-03-14 cs.DS
MACKO: Sparse Matrix-Vector Multiplication for Low Sparsity
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava（数学物理信息学系 哥梅尼乌斯大学布拉迪斯拉瓦）
针对现有SpMV在大语言模型低非结构化稀疏场景下性能不足的问题，提出GPU优化的MACKO-SpMV协同设计，实现显著内存缩减与推理加速，让50%稀疏度非结构化剪枝可实际落地。
2025-11-17 cs.AI cs.DC cs.DS
An in-place truncated Fourier transform and applications to polynomial multiplication
截断傅立叶变换（英语：truncated Fourier transform，TFT）是由van der Hoeven在2004年提出的一种平滑普通FFT算法在2的幂次输入时运行时间的“跳跃”的方法。然而，TFT仍然在内存使用中引入了这些跳跃。我们描述的前向和反向TFT算法的原地变种，实现时间复杂度O（n log n），只有O（1）辅助空间。作为应用，我们将第二作者关于空间受限FFT多项式乘法的结果推广到任意次数的多项式。
2010-01-28 cs.DS cs.MS cs.SC
MapReduce Meets Fine-Grained Complexity: MapReduce Algorithms for APSP, Matrix Multiplication, 3-SUM, and Beyond
分布式处理框架，如MapReduce、Hadoop和Spark是处理大量数据的流行系统。在这些框架中设计有效的算法是一个具有挑战性的问题，因为系统都需要并行性-因为数据集如此之大，需要多台机器-并且限制并行度-因为机器的数量在数据大小中呈次线性增长。虽然MapReduce已经有十几年的历史了~ \cite{dean2008mapreduce}，但许多基本问题，如矩阵乘法，3-SUM和所有对最短路径，都缺乏有效的MapReduce算法。我们在MapReduce设置中研究这些问题。我们的主要贡献是展示每个机器上可用的内存和每个问题所需的机器总数之间的平滑权衡。总的来说，我们把每台机器可用的内存作为一个参数，目标是最小化轮数和机器数。在本文中，我们建立在著名的MapReduce的理论框架，由Karloff，Suri，和Vassilvitskii ~ \cite{karloff2010model}，并给出了算法的许多这些问题。在这种情况下，有效算法的关键在于定义一个次线性数量的大型（多项式大小）子问题，然后可以并行求解。我们给出了MapReduce友好分区的策略，从而为上述所有问题提供了新的算法。具体来说，我们给恒定轮算法的正交向量（OV）和3-SUM问题，和$O(\log n)$轮算法矩阵乘法，所有对最短路径（APSP），快速傅立叶变换（FFT），等等。在所有这些中，我们展示了机器数量和…
2019-05-05 cs.DS
Tight Cell Probe Bounds for Succinct Boolean Matrix-Vector Multiplication
布尔矩阵-向量乘法的严格性已被成功地用于证明许多重要数据结构问题的条件下界，参见Henzinger等人[STOC'15]。在最近的工作中，Larsen和Williams [SODA'17]从上限侧攻击了这个问题，并给出了一个令人惊讶的细胞探针数据结构（即，我们只对内存访问收费，而计算是免费的）。它们的单元探测器数据结构在$\tilde{O}(n^{7/4})$时间内回答查询，并且在将输入矩阵存储在只读存储器中以及附加的$\tilde{O}(n^{7/4})$位的意义上是简洁的。本文从本质上解决了简洁布尔矩阵向量乘法的单元探测复杂度问题。我们提出了一个新的细胞探测数据结构与查询时间$\tilde{O}(n^{3/2})$存储在一侧的$\tilde{O}(n^{3/2})$位。然后，我们补充我们的数据结构的下限显示，任何数据结构存储$r$位的一侧，$n < r < n^2$必须有查询时间$t$满足$t r = \tildeΩ(n^3)$。对于$r \leq n$，任何数据结构都必须具有$t = \tildeΩ(n^2)$。由于单元探测模型中的下限也适用于经典的字RAM数据结构，因此下限自然地延续。我们还证明了类似的下界矩阵向量乘法$\mathbb{F}_2$。
2017-11-13 cs.DS
dCSR: A Memory-Efficient Sparse Matrix Representation for Parallel Neural Network Inference
减少神经网络的内存占用是将其部署在小型低成本嵌入式设备中的关键先决条件。网络参数通常可以通过修剪显著减少。我们将讨论如何最好地代表稀疏网络的索引开销，为下一代的单指令，多数据（SIMD）功能的微控制器。从这个，我们开发增量压缩存储行（dCSR），稀疏矩阵的存储格式，允许低开销存储和快速推理的嵌入式系统与广泛的SIMD单元。我们展示了我们的方法在ARM Cortex-M55 MCU原型与M-Profile矢量扩展（MVE）。内存消耗和吞吐量的比较表明，我们的方法实现了有竞争力的压缩比，并增加了密集的方法高达$2.9 \times$稀疏矩阵向量乘法（SpMV）为基础的内核和$1.06 \times$稀疏矩阵矩阵乘法（SpMM）的吞吐量。这是通过在SIMD单元中直接处理索引信息的生成来实现的，从而导致有效内存带宽的增加。
2021-11-24 cs.DS
The I/O complexity of Strassen's matrix multiplication with recomputation
本文在快速存储器的$M$字的两级存储层次结构中，导出了Strassen算法的\io复杂度的一个严格的$Ω((n/\sqrt{M})^{\log_2 7}M)$下界，该算法用于将两个$n \times n$矩阵相乘。一种证明技术，利用矩阵乘法函数的Grigoriev流以及Strassen计算有向无环图（CDAG）的一些组合性质。并行计算的应用程序也被开发。结果推广了以前得到的约束下，没有重新计算，即，中间结果不能计算一次以上的类似的界限。对于这种限制的情况下，另一个下界的技术，这导致一个简单的分析的\io复杂性的Strassen的算法，并可以很容易地扩展到其他“Strassen”的算法。
2016-05-07 cs.DS
Streaming Right Multiplication over Grammar-Compressed Matrices: A Memory-Bounded GPU Engine for Genotype and Graph Data
Sant’Anna School of Advanced Studies（圣安娜高等研究学院）；University of Pisa（比萨大学）
研究在GPU内存受限场景下语法压缩矩阵右乘问题，提出基于特定有向无环图及分层语法的方法，实现流式评估，在基因型矩阵和软件遗产图上有空间优势、时间性能良好且能量较低。
2026-07-29 cs.DC cs.DS cs.MS
Communication Lower Bounds for Distributed-Memory Computations
我们给出了下限的通信复杂性需要解决几个计算问题，在分布式存储器并行机，即标准矩阵乘法，模板计算，比较排序，和快速傅立叶变换。我们重新审视的假设下，得出前面的结果，并提供新的下限，使用弱得多，适当的假设。我们的边界依赖于一个温和的假设工作分布，并加强以前的结果，需要计算之间的处理器平衡，或特定的初始分布的输入数据，或处理器的本地存储器的大小上界。
2013-09-20 cs.DC cs.DS
JAMPI: efficient matrix multiplication in Spark using Barrier Execution Mode
Apache Spark中的新屏障模式允许将分布式深度学习训练作为Spark阶段嵌入，以简化分布式训练工作流程。在Spark中，一个阶段中的任务不依赖于同一阶段中的任何其他任务，因此可以独立调度。然而，一些算法需要更复杂的任务间通信，类似于MPI范例。通过结合分布式消息传递（使用异步网络IO），OpenJDK的新自动向量化和Spark的屏障执行模式，我们可以添加非map/reduce算法，例如Cannon的分布式矩阵乘法到Spark。我们记录了一个有效的分布式矩阵乘法使用坎农的算法，显着提高现有的MLlib实现的性能。在屏障任务中使用，本文所述的算法在10，000 × 10，000的方阵上导致高达24%的性能提高，同时显著降低内存占用。高效矩阵乘法的应用包括加速基于深度卷积神经网络的工作负载的训练和实现，因此这种高效算法可以在更快、更高效地执行甚至最复杂的机器学习任务方面发挥开创性的作用。
2020-06-27 cs.DC cs.DS stat.ML
Fast matrix multiplication techniques based on the Adleman-Lipton model
在分布式存储器电子计算机上，快速并行矩阵乘法算法的实现和关联已经产生了惊人的结果和见解。在这篇论文中，我们使用分子生物学的工具来证明Strassen的快速矩阵乘法算法与DNA的理论编码的基础上的$n$ -模集的剩余数系统，从而证明计算数学与DNA的可行性。其结果是，一般可扩展的实现该模型的DNA计算范式，并可以推广到DNA计算机上的应用程序的\emph{all}快速矩阵乘法算法。我们还讨论了这种可扩展的实现的实际能力和问题。用DNA进行矩阵计算的快速方法很重要，因为它们也允许用DNA有效地实现其他算法（即求逆、计算行列式和图论）。
2011-12-19 cs.DS cs.ET q-bio.QM
