A Simple Sparse Matrix Vector Multiplication Approach to Padded Convolution
Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
该研究提出一种将带零填充和步幅的卷积表示为稀疏变换矩阵的算法，通过SpMV实现高效计算，给出非零乘法数量的显式表达式并验证了CPU/GPU性能，为稀疏矩阵技术在卷积算法中的应用奠定基础。
2024-11-29 cs.DS cs.LG
A Non-Oblivious Reduction of Counting Ones to Multiplication
本文提出了一种按时间运行的二进制字中1的计数算法$O(\log\log b)$，其中$b$是1的个数。可用的操作包括逐位逻辑操作和乘法。
2015-06-10 cs.DS
Faster integer and polynomial multiplication using cyclotomic coefficient rings
我们提出了一个算法，计算两个n位整数的产品在O（nlog n（4 \sqrt 2）^{log^* n}）位操作。最好的算法是O（n log n ^{log^* n}）。我们还证明了，对于一个固定的素数p，多项式在F_p[X]的次数n可以乘以O（n log n 4^{log^* n}）位操作;以前的最佳界是O（n log n 8^{log^* n}）。
2017-12-11 cs.DS cs.SC math.NT
Output-Sparse Matrix Multiplication Using Compressed Sensing
本文提出两种输出稀疏矩阵乘法算法，分别基于确定性两遍压缩感知归约和随机化压缩感知与矩阵乘法验证归约，并证明其运行时间最优。
2025-08-14 cs.DS
Essentially Optimal Sparse Polynomial Multiplication
我们提出了一个概率算法来计算两个一元稀疏多项式的产品在一个字段与一些位操作是准线性的输入和输出的大小。我们的算法适用于任何领域的特征零或大于度。我们主要依靠稀疏插值和验证稀疏产品，也有一个准线性的时间复杂度的新算法。利用Kronecker替换技术，我们将我们的结果推广到多变量的情况。
2020-06-05 cs.CC cs.DS cs.SC
Modular Multiplication without Carry Propagation (Algorithm Description)
本文描述了一种十分简单的模乘算法，它只使用进位保留加法和位检查布尔逻辑，而不使用数字比较和进位传播。
2022-07-27 cs.DS
Faster integer multiplication using short lattice vectors
我们证明了$n$位整数可以在$O(n \log n \, 4^{\log^* n})$位运算中相乘.这个复杂性界限以前已经实现了几个作者，假设各种未经证明的数论假设。我们的证明是无条件的，并在一个基本的方式依赖于闵可夫斯基定理关于对称凸集的格向量。
2018-02-22 cs.DS cs.SC math.NT
Upper and lower bounds on the OBDD-width of a special integer multiplication
该研究针对受限域下计算n位二进制数相乘中间位的布尔函数SMul_{n-1}^n，分析其OBDD宽度，引入函数s_*(n)并确定其宽度为Θ(2^{s_*(n)})。
2026-09-01 cs.CC cs.DS
Multiplication of polynomials over the binary field
本文基于加法 Fourier 变换提出二元域上多项式的快速乘法算法，并给出其比特复杂度界。
2025-05-14 cs.DS math.NT
The Time Complexity of Fully Sparse Matrix Multiplication
本文提出一种将稀疏矩阵乘法转化为稠密矩形矩阵乘法的新算法，在几乎所有的输入与输出非零元素组合下改进了时间复杂度上界，并基于全边三角形问题提供了最优性证据。
2023-09-12 cs.DS
Efficient Matrix Multiplication: The Sparse Power-of-2 Factorization
我们提出了一个算法，以减少计算工作量的一个给定的矩阵与一个未知的列向量的乘法。该算法利用稀疏恢复的原理，将给定的矩阵分解为元素为零或2的整数次幂的矩阵的乘积。虽然经典的低分辨率量化达到了6 dB每比特的精度，我们的方法可以实现许多倍以上的大矩阵。数值证据表明，改善实际上增长与矩阵的大小无界。由于稀疏性，该算法甚至允许每个矩阵条目的量化级别低于1位，同时实现对大矩阵的高度精确的近似。应用包括但不限于神经网络，以及用于大规模MIMO和毫米波应用的全数字波束形成。
2020-02-27 cs.DS cs.IT math.IT
Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗？虽然对于图结构线性系统的特殊情况已经有了显著的进展，但是在一般设置中，求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$，其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统，改进这一点也是一个开放的问题。在本文中，我们提出了一个算法，解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$，其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵，以及$ω$的当前值，我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的，随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法，用于有限域上的逆矩阵。在我们的数值稳定性分析中，我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Performance Enhancement Strategies for Sparse Matrix-Vector Multiplication (SpMV) and Iterative Linear Solvers
稀疏线性方程组和稀疏特征值问题的迭代求解在科学研究和工程应用中具有重要的作用。这种迭代解的关键计算核心是稀疏矩阵乘以稠密向量。因此，稀疏矩阵向量乘法（SpMV）和线性求解器的有效实现是必不可少的，并且已经在各种计算架构和加速器（诸如中央处理单元（CPU）、图形处理单元（GPU）、许多集成核（MIC）和现场可编程门阵列（FPGA））上进行了广泛的研究。释放架构/加速器的全部潜力需要确定影响SpMV有效实施的因素。这篇文章是第一篇此类深入调查，涵盖了200多个用于求解稀疏迭代线性系统的最新优化方案，重点是计算SpMV。提出了一种新的分类迭代解决方案和SpMV技术共同的所有架构。本文包括对所有体系结构的SpMV技术的回顾，以巩固单一的分类法，从而鼓励跨体系结构和异构体系结构的开发。然而，主要的焦点是GPU。的主要贡献，以及主要的，次要的，和第三的贡献的SpMV技术首先突出利用分类，然后定性比较。分别讨论了每个体系结构的研究现状的总结。最后，几个开放的问题和未来的研究方向的关键挑战进行了概述。
2022-12-14 cs.DS cs.NA math.NA
Sparse Matrix Multiplication in the Low-Bandwidth Model
我们研究低带宽模型中的矩阵乘法：有$n$计算机，我们需要计算两个$n \times n$矩阵的乘积。最初，计算机$i$知道每个输入矩阵的行$i$。在一个通信回合中，每台计算机可以发送和接收一个$O(\log n)$位消息。最后，计算机$i$必须输出乘积矩阵的行$i$。我们试图理解这个问题的复杂性，在均匀稀疏的情况下：每个输入矩阵的每一行和每一列最多有$d$非零，在产品矩阵，我们只需要知道在每一行或每一列中的最多$d$元素的值。这正是我们所拥有的设置，例如，当我们在最大度$d$的图中应用矩阵乘法进行三角形检测时。我们专注于支持的设置：矩阵的结构是已知的，只有非零元素的数值是未知的。有一种简单的算法可以在$O(d^2)$轮中解决该问题，但是对于大的$d$，已知存在更好的算法;在适度密集的状态下，该问题可以在$O(dn^{1/3})$通信循环中解决，并且对于非常大的$d$，主要解决方案是使用$O(n^{1.158})$通信循环的快速矩阵乘法算法（用于支持快速矩阵乘法的域和环上的矩阵乘法）。在这项工作中，我们表明，有可能克服二次障碍的所有值的$d$：我们提出了一个算法，解决了这个问题，在$O(d^{1.907})$轮的领域和环支持快速矩阵乘法和$O(d^{1.927})$轮的半环，独立的$n$。
2022-06-01 cs.DC cs.DS
The Input/Output Complexity of Sparse Matrix Multiplication
本文研究了半环上非零元素个数大于主存数的稀疏矩阵的乘法问题。在Hong和Kung（STOC '81）的经典论文中，证明了为了计算密集$U \times U$矩阵的乘积，在具有内部存储器大小$M$和存储器块大小$B$的I/O模型中，$Θ\left(U^3 / (B \sqrt{M}) \right)$ I/O是必要且充分的。本文将Hong和Kung的上、下界推广到稀疏情形。我们的边界依赖于$A$和$C$中非零项的数量$N = \mathtt{nnz}(A)+\mathtt{nnz}(C)$，以及$AC$中非零项的数量$Z = \mathtt{nnz}(AC)$。我们表明，$AC$可以计算使用$\tilde{O} \left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O，具有很高的概率。太紧了（直至多对数因子）仅允许半环运算时，即使对于稠密矩形矩阵：我们展示了$Ω\left(\tfrac{N}{B} \min\left(\sqrt{\tfrac{Z}{M}},\tfrac{N}{M}\right) \right)$ I/O的下限。虽然我们的下限使用了相当标准的技术，但上限使用了“压缩矩阵乘法”草图，这在I/O高效算法的上下文中是新的，以及一种新的矩阵乘积大小估计技术，它避免了“无抵…
2014-03-14 cs.DS
A New Algorithm for Double Scalar Multiplication over Koblitz Curves
Koblitz曲线是一种特殊的椭圆曲线集，由于Frobenius自同态，在椭圆曲线密码中计算标量乘法时具有更好的性能。Frobenius展开的双基数系统方法提高了单标量乘法的性能。本文提出了一种新的标量对稀疏联合$τ$ -adic表示的生成算法及其在双标量乘中的应用。新算法的灵感来自双基数系统。与最先进的$τ$ -adic联合稀疏形式相比，我们的速度提高了12%。
2018-01-25 cs.CR cs.DS
Optimal Deterministic Fully Sparse Matrix Multiplication
该研究提出首个达最优运行时间指数的完全稀疏矩阵乘法确定性算法，将确定性适用的δ_out上限从0.642668提升至1.321334，运行时间接近二次。
2026-08-20 cs.DS
Heterogeneous Sparse Matrix-Vector Multiplication via Compressed Sparse Row Format
稀疏矩阵向量乘法（SpMV）是高性能计算（HPC）中最重要的内核之一，然而SpMV通常在许多设备上表现不佳。由于性能不佳，SpMV通常需要特别注意为给定设备存储和调谐。此外，HPC面临包含多个不同计算单元的异构硬件，例如，多核CPU和GPU。因此，一个新兴的目标是产生允许关键内核的异构格式和方法，例如，SpMV，可在不同设备上执行，具有可移植的性能，对格式和方法的更改最小。本文介绍了一种基于CSR的异构格式，名为CSR-k，它可以快速调整，在Intel Xeon Platinum 8380和AMD Epyc 7742 CPU上的性能优于Intel MKL的平均性能，同时在NVIDIA A100和V100上的性能仍然优于NVIDIA的cuSPARSE和Sandia国家实验室的KokkosKernels。稀疏矩阵，其中每行的非零数具有方差$\leq$ 10，例如通常由二维和三维有限差分和单元问题生成的那些。特别是，CSR-k通过重新排序和将行分组为超级行和超级超级行的分层结构来实现这一点，这些超级行和超级超级行仅由几个额外的指针数组表示。由于其简单性，模型可以针对设备进行调整，并用于在恒定时间内选择超级行和超级超级行大小。
2023-01-06 cs.DC cs.DS cs.PF
Diagonal Packing for Efficient Homomorphic Sparse Matrix-Vector Multiplication
Faculty of Engineering and Natural Sciences, Sabancı University（萨班哲大学工程与自然科学学院）；VERIM, Center of Excellence in Data Analytics, Sabancı University（萨班哲大学VERIM数据分析卓越中心）
本文研究如何通过排列稀疏矩阵的行和列，将非零元素打包到尽可能少的循环对角线上。提出二维对角线打包问题（2DPP），并设计整数规划方法和启发式算法优化稀疏矩阵的存储结构，从而降低同态加密的计算开销。
2026-07-10 cs.CR cs.DS
Error correction in fast matrix multiplication and inverse
我们提出了新的算法来检测和纠正错误的产品中的两个矩阵，或逆矩阵，在任意字段。我们的算法不需要任何额外的信息或编码以外的原始输入和错误的输出。当错误的数量足够小时，它们的运行时间在这些矩阵中的非零条目的数量上是软线性的，并且它们还包含快速矩阵乘法，以便当错误的数量很大时，成本可以很好地缩放。这些算法建立在Gasieniec等人（2017）关于校正矩阵乘积的最新结果，以及验证算法，稀疏低秩线性代数和稀疏多项式插值的现有工作基础上。
2018-02-07 cs.DS cs.SC
Sparse Matrix Multiplication and Triangle Listing in the Congested Clique Model
我们在拥塞集团模型中将两个$n \times n$矩阵$S,T$在半环上相乘，其中$n$完全连接的节点在$O(nz(S)^{1/3} nz(T)^{1/3}/n + 1)$轮通信内使用$O(\log n)$位消息同步通信，其中$nz(A)$表示矩阵$A$中非零元素的数量。通过利用输入矩阵的稀疏性，与一般算法相比，我们的算法大大减少了通信[Censor-Hillel等人，PODC 2015]，改进了具有$o(n^2)$非零元素的矩阵的最新技术水平。我们的算法表现出超越以前的解决方案，也只有一个矩阵是稀疏的额外的力量。这允许有效地将稀疏矩阵提升到大于2的幂。作为应用，我们加快了稀疏图中的4圈计数和APSP。我们的算法的贡献是一个新的\emph{deterministic}方法，以稀疏感知的方式重构输入矩阵，它分配给每个节点元素的乘法任务，不一定是连续的，但平衡，产生通信效率的乘法。此外，这种新的确定性的方法可以用来重建输入图的邻接矩阵，使图形相关的问题的快速解决方案。作为一个例子，我们提出了一种新的确定性算法，它解决了$O(m/n^{5/3} + 1)$轮中的三角形列表问题，这是一种以前通过\emph{randomized}算法获得的复杂度[Pandurangan等人，SPAA 2018]，并与$\tildeΩ(n^{1/3})$的下限相匹配[Izumi和Le Gall，PODC 20…
2019-03-20 cs.DC cs.DS
Fast multiplication of random dense matrices with fixed sparse matrices
本文提出结合分块与即时随机数重计算的稀疏-随机稠密矩阵乘法方案，降低内存移动并提升并行扩展性，性能优于 Eigen、Intel MKL 与 SuiteSparse。
2024-05-12 cs.CE cs.DC cs.DS
