A Simple Sparse Matrix Vector Multiplication Approach to Padded Convolution
Johns Hopkins School of Medicine(约翰斯·霍普金斯医学院)
该研究提出一种将带零填充和步幅的卷积表示为稀疏变换矩阵的算法,通过SpMV实现高效计算,给出非零乘法数量的显式表达式并验证了CPU/GPU性能,为稀疏矩阵技术在卷积算法中的应用奠定基础。
2024-11-29 cs.DS cs.LG
FlashSparse: Minimizing Computation Redundancy for Fast Sparse Matrix Multiplications on Tensor Cores
Beijing University of Posts and Telecommunications(北京邮电大学)
FlashSparse通过交换-转置策略最小化稀疏粒度,减少计算冗余并充分利用张量核心,在H100和RTX 4090上实现稀疏矩阵乘法5.5倍和3.22倍加速。
2024-12-15 cs.DC cs.LG
PopSparse: Accelerated block sparse matrix multiplication on IPU
Graphcore(Graphcore(格拉夫科尔))
本文提出PopSparse库,利用IPU硬件特性和块结构实现快速的静态与动态稀疏矩阵乘法,在较低稀疏度下仍优于密集计算。
2023-04-05 cs.LG
Common Subexpression-based Compression and Multiplication of Sparse Constant Matrices
Bogazici University(博阿齐奇大学)
在深度学习推理中,模型参数被修剪和量化以减小模型大小。压缩方法和公共子表达式(CSE)消除算法应用于稀疏常数矩阵部署在低成本的嵌入式设备上的模型。然而,最先进的CSE消除方法不能很好地扩展以处理大型矩阵。他们达到小时提取CSE在一个$200 \times 200$矩阵,而他们的矩阵乘法算法执行时间比传统的矩阵乘法方法。此外,不存在用于利用CSE的矩阵的压缩方法。为了解决这个问题,本文提出了一种基于随机搜索的算法来提取常数矩阵的列对中的CSE。它在一分钟内为$1000 \times 1000$矩阵生成一个加法器树。为了压缩加法器树,本文提出了一种压缩格式,通过扩展压缩稀疏行(CSR),以包括CSE。虽然压缩率超过$50\%$可以实现相比,原来的CSR格式,一个单核嵌入式系统的模拟表明,矩阵乘法的执行时间可以减少$20\%$。
2023-03-26 cs.LG cs.PF
SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University(上海交通大学电子信息与电气工程学院)
电阻式随机存取存储器(ReRAM)交叉开关是一种用于深度神经网络(DNN)加速器的很有前途的技术,这得益于其用于向量矩阵乘法和累加(VMM)的存储器内和原位模拟计算能力。然而,利用DNN中的稀疏性对于交叉开关架构是具有挑战性的。由于紧耦合交叉结构的限制,利用细粒度稀疏性不可避免地会导致复杂和昂贵的控制。作为对策,我们开发了一种新的基于ReRAM的DNN加速器,命名为稀疏乘法引擎(SME),基于硬件和软件协同设计框架。首先,我们编排的比特稀疏模式,以增加密度的比特稀疏的基础上现有的量化方法。其次,我们提出了一种新的权重映射机制,将权重的位跨横杆进行切片,并将激活结果拼接到外围电路中。该机制可以解耦紧耦合的交叉结构,并在交叉结构中累积稀疏性。最后,一个更好的挤出方案清空了前两个步骤中映射有高度稀疏非零的交叉杆。我们设计了SME架构,并讨论了它在其他量化方法和不同ReRAM单元技术中的用途。与现有的最先进的设计相比,SME使用Resent-50和MobileNet-v2分别将交叉杆的使用缩小到8.7倍和2.1倍,ImageNet的准确率下降不到0.3%。
2021-03-02 cs.AR cs.CV cs.LG
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum;Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Chuvash State University(楚瓦什国立大学)
本文提出了一种基于稀疏计算的方法,用于优化强化学习(RL)任务的神经网络。这种方法结合了两种思想:神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务,并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Rosko: Row Skipping Outer Products for Sparse Matrix Multiplication Kernels
Harvard University(哈佛大学)
Rosko 提出行跳过外积方法,通过解析推导硬件自适应的稀疏 CPU 核,减少 SpMM 计算与内存访问,无需自动调优即可在 Intel 和 ARM CPU 上实现最高 6.5 倍加速。
2023-07-08 cs.AR cs.LG cs.PF
MACKO: Sparse Matrix-Vector Multiplication for Low Sparsity
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava(数学物理信息学系 哥梅尼乌斯大学布拉迪斯拉瓦)
针对现有SpMV在大语言模型低非结构化稀疏场景下性能不足的问题,提出GPU优化的MACKO-SpMV协同设计,实现显著内存缩减与推理加速,让50%稀疏度非结构化剪枝可实际落地。
2025-11-17 cs.AI cs.DC cs.DS
uGLAD: Sparse graph recovery by optimizing deep unrolled networks
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
概率图模型(ProbabilityGraphicalModels,PGMs)是复杂系统的生成模型。它们依赖于变量之间的条件独立假设来学习稀疏表示,这些表示可以以图形的形式可视化。这些模型用于在不太了解的领域中进行领域探索和结构发现。这项工作介绍了一种新的技术,通过优化深度展开网络来执行稀疏图恢复。假设输入数据$X\in\mathbb{R}^{M\times D}$来自底层多元高斯分布,我们在$X$上应用深度模型,该模型输出精度矩阵$\hatΘ$,该精度矩阵也可以被解释为邻接矩阵。我们的模型uGLAD建立在最先进的模型GLAD的基础上,并将其扩展到无监督环境。我们的模型的主要优点是(1)uGLAD自动优化稀疏相关的正则化参数,导致比现有算法更好的性能。(2)我们引入了基于多任务学习的“共识”策略,用于在无监督环境中对缺失数据进行鲁棒处理。我们评估了合成高斯数据,基因调控网络生成的非高斯数据的模型结果,并提出了厌氧消化的案例研究。
2022-10-12 cs.LG stat.ML
Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs
University of Glasgow(格拉斯哥大学);AMD(超威半导体公司)
本文提出利用FHE矩阵乘法中的非结构化稀疏性,设计三种稀疏乘法方案,在保持模型精度下实现2.5倍平均加速,64核多线程达32.5倍提升并降低内存需求。
2025-04-03 cs.CR cs.DC cs.LG
Block-wise Dynamic Sparseness
Ghent University(根特大学);imec(微电子研究中心)
神经网络已经在各种各样的机器学习任务中实现了最先进的性能,通常具有大型和计算繁重的模型。近年来,引入稀疏性作为减少这些模型的内存和计算占用的一种方法已经引起了广泛的研究关注。在本文中,我们提出了一种新的方法,\emph{dynamic sparseness},其中部分计算被动态省略,根据输入。为了提高效率,我们将动态稀疏的思想与分块矩阵向量乘法相结合。与静态稀疏性相反,静态稀疏性永久地将权重矩阵中的选定位置归零,我们的方法通过潜在地访问任何训练的权重来保留完整的网络功能。然而,基于输入,通过从矩阵中省略权重块的预定义分数来加速矩阵向量乘法。语言建模任务的实验结果,使用递归和准递归模型,表明该方法可以优于基于幅度的静态稀疏基线。此外,我们的方法实现了类似的语言建模困惑的密集基线,在推理时间的计算成本的一半。
2020-01-14 cs.LG stat.ML
Sparse GPU Kernels for Deep Learning
Stanford University(斯坦福大学);Google Brain(谷歌大脑);DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏,但在GPU上实现实际的加速是困难的,因为这些应用具有相对中等的稀疏性水平,不足以使现有的稀疏内核优于其密集的对应物。在这项工作中,我们研究了深度学习应用中的稀疏矩阵,并确定了可用于加速计算的有利属性。基于这些见解,我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络:稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核,我们展示了稀疏的Transformer和MobileNet模型,实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省,而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
Graph Contrastive Learning for Optimizing Sparse Data in Recommender Systems with LightGCL
North Carolina State University(北卡罗来纳州立大学)
本文提出图对比学习模型 LightGCL,利用奇异值分解(SVD)进行鲁棒的图增强以解决推荐系统中数据稀疏与噪声问题,在基准数据集上显著优于现有模型并提升了公平性与抗偏差能力。
2025-05-28 cs.IR cs.LG
Predicting the Output Structure of Sparse Matrix Multiplication with Sampled Compression Ratio
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
稀疏广义矩阵乘法(SpGEMM)是许多科学应用中的基本构建块。SpGEMM的一个关键任务是计算或预测输出矩阵的结构(即,每个输出行的非零元素的数量),以实现有效的内存分配和负载平衡,这会影响SpGEMM的整体性能。现有的工作要么精确地计算输出结构,要么采用上限或基于采样的方法来预测输出结构。然而,这些方法要么需要很长的执行时间,要么不够准确。在本文中,我们提出了一种新的基于采样的方法,具有更好的精度和低成本相比,现有的基于采样的方法。所提出的方法首先通过利用中间产品的数量(表示为FLOP)和非零元素的数量(表示为NNZ)相同的采样结果矩阵的SpGEMM的压缩比预测。然后,通过将每个输出行的FLOP除以预测压缩比来获得预测输出结构。我们还提出了一个参考设计现有的基于采样的方法与优化的计算开销,以证明所提出的方法更好的准确性。我们构造了625个具有不同矩阵维数和稀疏结构的测试用例来评估预测精度。实验结果表明,该方法与参考设计的平均绝对相对误差分别为1.56%和8.12%,最差情况下分别为25%和156%.
2022-07-28 cs.DC cs.LG cs.NA
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton(博思艾伦汉密尔顿公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Laboratory for Physical Sciences(物理科学实验室)
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题,本文提出新技术ACOWA,通过增加一轮通信在略微增加运行时间下显著提升近似质量,在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
New Jersey Institute of Technology(新泽西理工学院)
本文发现循环神经网络在模加法任务中采用傅里叶乘法策略,识别出权重中的低秩结构及傅里叶空间稀疏表示,并实验证明其对单频率移除鲁棒,多频率消融则性能骤降。
2025-03-28 cs.LG eess.SP stat.ML
Optimizing Hard Thresholding for Sparse Model Discovery
Department of Physics, Montana State University(物理学系,蒙大拿州立大学);Department of Mathematical Sciences, Montana State University(数学科学系,蒙大拿州立大学)
本文提出一种基于退火方案的硬阈值优化方法,通过冷却计划重新激活被移除项,提升了SINDy和硬阈值追踪等稀疏学习算法在非线性系统及实验数据中的模型发现精度。
2025-04-28 cs.LG cs.NA math.DS