The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks
UC Davis（加州大学戴维斯分校）；NVIDIA（英伟达）
本研究提出Sparsity Roofline可视化性能模型，可联合建模神经网络精度、稀疏度与理论推理加速比，无需优化内核基准测试，经真实视觉架构验证有效，可助力研究人员与硬件设计者评估稀疏模式性能潜力。
2023-11-06 cs.CV cs.LG
Pre-Defined Sparse Neural Networks with Hardware Acceleration
University of Southern California（南加州大学）
本文针对多层感知器的计算与存储复杂度问题，提出预定义稀疏性方法及兼容的硬件加速架构，可实现5倍以上的复杂度降低且性能损失小，支持不同规模网络在不同FPGA上运行。
2018-12-04 cs.LG stat.ML
A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining
University of Connecticut（康涅狄格大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；George Mason University（乔治梅森大学）；Lehigh University（理海大学）
自2018年以来，Transformers被认为是最重要的深度学习模型之一，部分原因是它建立了最先进的（SOTA）记录，并有可能取代现有的深度神经网络（DNN）。尽管取得了显著的胜利，但Transformer型号的周转时间延长是一个公认的障碍。序列长度的变化强加了额外的计算开销，其中输入需要被零填充到批处理中的最大句子长度以适应并行计算平台。针对现场可编程门阵列（FPGA），提出了一种用于Transformer加速的相干序列长度自适应算法-硬件协同设计。特别是，我们开发了一个硬件友好的稀疏注意算子和长度感知的硬件资源调度算法。稀疏注意算子将基于注意力模型的复杂度降低到线性复杂度，并减少了片外内存流量。提出的长度感知资源硬件调度算法动态分配硬件资源，以填补流水线槽，并消除气泡的NLP任务。实验结果表明，该算法的精度损失很小，与CPU和GPU相比，具有80.2 $\times$和2.6 $\times$的加速比，并且比通过CUBLAS GEMM优化的GPU加速器高4 $\times$的能效。
2022-08-20 cs.AR cs.LG
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
POSTECH（浦项科技大学）；ISTA（奥地利科学技术研究所）
针对MoE部署中的内存和带宽瓶颈，提出软硬件协同框架，通过连续重参数化实现联合稀疏量化，并定制分组稀疏GEMM内核，在万亿参数规模下提升精度并显著加速推理。
2026-10-05 cs.AI cs.AR cs.LG
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University（南京大学）；SenseTime（商汤科技）
Transformer一直是深度学习中不可或缺的主食。然而，对于现实生活中的应用，这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担，利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2：4稀疏模式来实现模型加速，但它很难满足部署模型时的各种算法和硬件约束。相比之下，我们提出了一个算法硬件协同优化的框架，灵活，有效地加速Transformers，利用一般的N：M稀疏模式。(1)从算法的角度，我们提出了一个稀疏继承机制，随着继承的动态修剪（IDP）的方法，以获得一系列的N：M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案，大大降低了部署所需的存储空间。(2)从硬件的角度来看，我们提出了一个灵活和高效的硬件架构，即STA，实现显着的加速时，部署N：M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎，具有高计算效率，而且具有可扩展的softmax模块，消除了中间片外数据通信的延迟。实验结果表明，与其他方法相比，使用IDP生成的N：M稀疏Transformers在训练效率较高的情况下，准确率平均提高了6.7%。此外，与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比，STA可以分别实现14.47倍和11.33倍的加速比，并且执…
2022-08-12 cs.AR cs.LG
SparseDitto: An Agentic Sparse Compilation Framework through Architecture-Aware Synthesis on GPUs
University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
SparseDitto是基于LLM的系统，可为不同矩阵、算子和GPU定制稀疏矩阵GPU内核，在多类算子与GPU上较cuSPARSE实现显著加速，还可提升GCN训练速度。
2026-09-11 cs.DC cs.LG
COGNATE: Acceleration of Sparse Tensor Programs on Emerging Hardware using Transfer Learning
University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校）
针对早期稀疏张量加速器成本模型训练数据稀缺、优化难度大的问题，提出COGNATE框架，通过迁移通用硬件数据并少样本微调，仅用5%数据即可实现优于现有方法的加速效果。
2025-06-15 cs.AI cs.AR cs.ET
Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware
Aarhus University（奥胡斯大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Harvard University（哈佛大学）；University of Southern Denmark（南丹麦大学）
该研究针对Transformer大语言模型推理的内存与计算瓶颈，提出在重度量化线性注意力模型中引入稀疏神经活动的方法，可提升神经形态平台的LLM部署性能，实现吞吐量与功耗的显著优化。
2026-09-01 cs.LG cs.NE
Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training
The University of British Columbia（英属哥伦比亚大学）；Microsoft Corporation（微软公司）
DNN修剪的成功导致了高能效推理加速器的发展，这些加速器支持具有稀疏权重和激活张量的修剪模型。然而，因为这些架构中的存储器布局和布局是针对$\mathit{inference}$期间的访问模式而优化的，所以它们不能有效地支持新兴的稀疏$\mathit{training}$技术。在本文中，我们证明了（a）加速稀疏训练需要一种协同设计方法，其中算法适用于硬件的约束，以及（b）稀疏DNN训练的硬件必须解决推理加速器中没有出现的约束。作为概念验证，我们调整稀疏训练算法以适应硬件加速;然后我们开发了稀疏、数据布局和负载平衡技术来加速它。最终的系统是一个稀疏DNN训练加速器，它可以产生与密集模型相同精度的修剪模型，而无需首先训练，然后修剪，最后重新训练密集模型。与使用最先进的DNN加速器在没有稀疏训练支持的情况下训练等效的未修剪模型相比，Procrustes消耗的能量最多减少3.26 $\times$，并在一系列模型中提供高达4 $\times$的加速，同时将权重修剪一个数量级并保持未修剪的准确性。
2020-09-23 cs.AR cs.LG cs.NE
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
针对结构化稀疏硬件灵活性有限且需微调的问题，提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法，并开发软件框架TASDER，无需微调即可加速DNN，显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology（埃因霍温理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Derby（德比大学）
通过深度学习在各个领域的成功，人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性（例如稀疏性、无标度性）中获得灵感，我们认为（与一般实践相反）人工神经网络也不应该具有完全连接的层。在这里，我们提出了人工神经网络的稀疏进化训练，在学习过程中，将两个连续神经元层的初始稀疏拓扑（Erdens-Rényi随机图）进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前，减少了二次参数的数量，而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机，多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）；Tsinghua University（清华大学）
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器（如TPU）的高优先级。稀疏性的结构，即，修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式，使其更适合硬件加速，但保持相同的精度更具挑战性。在本文中，我们定量地衡量稀疏规律性和预测精度之间的权衡，提供了如何保持准确性，同时有更多的结构化稀疏模式的见解。我们的实验结果表明，粗粒度的修剪可以实现类似于非结构化修剪的稀疏率，而不会损失准确性。此外，由于索引节省效果，粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器（SCNN），我们的实验进一步证明，与细粒度稀疏相比，粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上，稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration
Arm ML Research Lab（安谋机器学习研究实验室）
移动设备上的卷积神经网络（CNN）推理需要低精度（INT 8）通用矩阵乘法（GEMM）的高效硬件加速。利用数据稀疏性是进一步加速用于CNN推理的GEMM的常见方法，并且特别地，结构稀疏性具有可预测的负载均衡和非常低的索引开销的优点。在本文中，我们解决了一个关键的架构挑战与结构稀疏性：如何提供支持的范围内的稀疏性水平，同时保持高利用率的硬件。我们描述了一个时间展开制定的可变密度约束块（VDBB）稀疏，允许每个块的非零元素的可配置数量，在不断利用。然后，我们描述了一个脉动阵列微架构，实现了这一计划，有两个数据重用优化。首先，我们通过增加每个PE的MAC数量来增加操作数和部分乘积的重用。其次，我们引入了一种新的方法，将IM 2COL变换移动到硬件中，这使我们能够在操作数被数据路径消耗之前实现3倍的数据带宽扩展，从而降低SRAM功耗。权重稀疏、激活稀疏和数据重用的优化都是相互关联的，因此最优组合并不明显。因此，我们进行设计空间评估，以找到帕累托最优的设计特性。最终的设计在16 nm下实现了16.8 TOPS/W，具有适度的50%模型稀疏度，并且在87.5%下模型稀疏度高达55.7TOPS/W。以及成功地证明了可变DBB技术，这一结果显着优于先前报道的稀疏CNN加速器。
2020-10-12 cs.AR cs.LG
Sparse Deep Neural Network Graph Challenge
MIT（麻省理工学院）
MIT/IEEE/Amazon GraphChallenge.org鼓励社区开发新的解决方案来分析图形和稀疏数据。稀疏AI分析带来了独特的可扩展性困难。拟议的稀疏深度神经网络（DNN）挑战赛借鉴了机器学习、高性能计算和视觉分析的先前挑战，以创建一个反映新兴稀疏AI系统的挑战。Sparse DNN Challenge基于数学上定义良好的DNN推理计算，可以在任何编程环境中实现。稀疏DNN推理适用于以顶点为中心的实现和基于阵列的实现（例如，使用GraphBLAS.org标准）。计算非常简单，可以基于简单的计算硬件模型进行性能预测。输入数据集是从MNIST手写字母中导出的。周围的I/O和验证为每个稀疏DNN推理提供了上下文，允许严格定义输入和输出。此外，由于所提出的稀疏DNN挑战在问题大小和硬件方面都是可扩展的，因此它可以用于测量和定量比较当今和未来的各种系统。已经实现了参考实现，并测量了它们的串行和并行性能。规格、数据和软件可在GraphChallenge.org上公开获取
2019-09-02 cs.CV cs.LG cs.NE
MegaBlocks: Efficient Sparse Training with Mixture-of-Experts
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
我们提出了MegaBlocks，一个在GPU上进行高效混合专家模型（MoE）训练的系统。我们的系统是由当前框架的局限性，这限制了动态路由在MoE层，以满足现有的软件和硬件的约束。这些公式强制在模型质量和硬件效率之间进行权衡，因为用户必须在从计算中丢弃令牌或在填充上浪费计算和内存之间进行选择。为了解决这些限制，我们重新制定MoE计算块稀疏操作和开发新的块稀疏GPU内核，有效地处理动态存在于MoE。我们的方法从不丢弃令牌并有效地映射到现代硬件，与使用最先进的Tutel库训练的MoE相比，端到端训练加速高达40%，与使用高度优化的Megatron-LM框架训练的DNN相比，端到端训练加速高达2.4倍。
2022-11-29 cs.AI cs.DC cs.LG
Rethinking Full Connectivity in Recurrent Neural Networks
NVIDIA（英伟达）
循环神经网络（RNN）在序列建模任务中无处不在。实际模型通常由数百或数千个完全连接的神经元组成。这给硬件带来了沉重的计算和存储负担，限制了实际低成本和低功耗设备的采用。与完全卷积模型相比，RNN的昂贵顺序操作严重阻碍了并行硬件的性能。本文挑战了RNN中完全连接的惯例。我们研究了结构稀疏的RNN，表明它们非常适合在并行硬件上加速，大大降低了经常性操作的成本，并且经常性权重也减少了几个数量级。对从语言建模和语音识别到视频动作识别等具有挑战性的任务进行的大量实验表明，与全连接网络相比，结构稀疏的RNN具有竞争力的性能。这允许使用大型稀疏RNN来执行广泛的现实任务，而这些任务以前在完全连接的网络中成本太高。
2019-05-29 cs.LG stat.ML
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks
Numenta（Numenta公司）
原则上，稀疏神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏地活跃。这两种类型的稀疏性，称为权重稀疏性和激活稀疏性，当结合在一起时，提供了将神经网络的计算成本降低两个数量级的潜力。尽管有这种潜力，但今天的神经网络仅使用权重稀疏性仅提供适度的性能优势，因为传统的计算硬件无法有效地处理稀疏网络。在这篇文章中，我们介绍了互补稀疏，一种新的技术，显着提高现有硬件上的双稀疏网络的性能。我们证明了我们可以实现高性能的运行权重稀疏网络，我们可以通过结合激活稀疏性来增加这些加速比。使用互补稀疏性，我们在FPGA上执行推理时，吞吐量和能效提高了100倍。我们分析了ResNet-50和MobileNetV 2等商业卷积网络典型内核的可扩展性和资源权衡。我们对互补稀疏性的研究结果表明，权重加上激活稀疏性可以成为有效扩展未来AI模型的有效组合。
2021-12-27 cs.AI cs.AR cs.LG
Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
University of Maryland（马里兰大学）
本文提出一种基于机器学习的方法，利用决策树和深度强化学习为不同稀疏模式的SpGEMM任务自适应选择最优数据流方案，相比传统启发式方法可获得高达28倍的性能提升。
2024-08-29 cs.LG
Efficient Sparse Artificial Neural Networks
Sharif University of Technology（谢里夫理工大学）
作为人工神经网络（ANN）的灵感来源，大脑基于稀疏结构。这种稀疏的结构有助于大脑消耗更少的能量，学习更容易，更好地概括模式比任何其他ANN。在本文中，提出了两种进化方法，采用稀疏的ANN。在所提出的方法中，网络的稀疏结构以及其参数值在学习过程中进行训练和更新。仿真结果表明，这两种方法具有更好的精度和更快的收敛速度，而他们需要更少的训练样本相比，他们的稀疏和非稀疏的同行。此外，所提出的方法显着提高泛化能力，减少参数的数量。例如，通过利用我们提出的用于ImageNet数据集图像分类的方法对ResNet47网络进行稀疏化，使用的参数减少了40%，而与密集网络和稀疏网络相比，模型的前1精度分别提高了12%和5%。作为另一个例子，针对CIFAR10数据集提出的方法收敛到其最终结构的速度比其稀疏对应物快7倍，而最终精度提高了6%。
2021-03-13 cs.AI cs.LG
Deep Rewiring: Training very sparse deep networks
Graz University of Technology（格拉茨工业大学）
神经形态硬件往往会对可以在其上运行的深度网络的连接性造成限制。而且深度学习的通用硬件和软件实现在稀疏网络中运行得更有效。在神经网络在没有连接约束的情况下进行训练之后，存在用于修剪该神经网络的连接的若干方法。我们提出了一种算法，深度R，使我们能够直接训练一个稀疏连接的神经网络。DEEP R在监督训练期间自动重新连接网络，以便连接在任务最需要的地方，而其总数始终严格限制。我们证明，深度R可以用来训练非常稀疏的前馈和递归神经网络的标准基准任务，只有轻微的性能损失。DEEP R基于严格的理论基础，将重新布线视为从后验网络配置的随机采样。
2018-08-07 cs.AI cs.DC cs.LG
HASTE: Hardware-Aware Dynamic Sparse Training for Large Output Spaces
University of Waterloo（滑铁卢大学）
提出组共享固定扇入稀疏性方法，通过半结构化输出层设计结合长尾分解，在极端多标签分类中实现显著加速并保持精度。
2026-05-31 cs.AI cs.LG
SparseDVFS: Sparse-Aware DVFS for Energy-Efficient Edge Inference
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SparseDVFS框架，通过区分计算密集型密集运算符和内存密集型稀疏运算符，利用专用频率三元组提升边缘推理能效，实验表明在保持成本优势的同时实现78.17%的能效提升。
2026-03-23 cs.LG
Optimizing Sparse Linear Algebra Through Automatic Format Selection and Machine Learning
EPCC, The University of Edinburgh（爱丁堡大学EPCC）
稀疏矩阵是科学模拟的一个组成部分。随着硬件的发展，提出了新的稀疏矩阵存储格式，旨在利用特定于新硬件的优化。在异构计算时代，用户通常需要为其应用程序使用多种格式，以便在不同的可用硬件上保持最佳状态，从而导致更长的开发时间和维护开销。这个问题的潜在解决方案是使用由机器学习（ML）驱动的轻量级自动调谐器，其将从可用格式池中为用户选择将匹配稀疏模式、目标硬件和要执行的操作的特性的最佳格式。在本文中，我们介绍了Morpheus-Oracle，它提供了一个轻量级的ML自动调谐器，能够准确预测多个后端的最佳格式，针对主要的HPC架构，旨在消除最终用户输入的任何格式选择。从2000多个实际矩阵中，我们在现有系统中分别实现了92.63%和80.22%的平均分类准确率和平衡准确率。自动调谐器的采用导致CPU上的平均加速1.1倍，NVIDIA和AMD GPU上的平均加速1.5倍至8倍，最大加速分别达到7倍和1000倍。
2023-03-09 cs.DC cs.LG cs.NA
Block-Sparse Recurrent Neural Networks
Baidu Research（百度研究院）
循环神经网络（RNN）用于语音识别、机器翻译和语言建模等领域的最先进模型。稀疏性是一种减少深度学习模型的计算和内存需求的技术。稀疏RNN更容易部署在设备和高端服务器处理器上。尽管稀疏操作相对于密集操作需要更少的计算和内存，但通过使用稀疏操作观察到的速度提高在不同的硬件平台上低于预期。为了解决这个问题，我们研究了两种不同的方法来诱导RNN中的块稀疏性：修剪层中的权重块和使用组套索正则化来创建零权重块。使用这些技术，我们证明了我们可以创建块稀疏RNN，稀疏度范围从80%到90%，准确性损失很小。这使我们能够将模型尺寸缩小约10倍。此外，我们可以修剪一个更大的密集网络来恢复这种准确性损失，同时保持高块稀疏性并减少整体参数计数。我们的技术适用于高达32x32的各种块大小。与非结构化稀疏性相比，块稀疏RNN消除了与数据存储和不规则内存访问相关的开销，同时提高了硬件效率。
2017-11-08 cs.AI cs.LG stat.ML
Multiplierless and Sparse Machine Learning based on Margin Propagation Networks
Indian Institute of Science（印度科学学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
新一代机器学习处理器是从多核和并行架构发展而来的，这些架构旨在有效地实现矩阵向量乘法（MVMs）。这是因为在基础层面，神经网络和机器学习操作广泛使用MVM操作，硬件编译器利用MVM操作中固有的并行性来实现GPU和FPGA上的硬件加速。然而，许多物联网和边缘计算平台需要靠近网络的嵌入式ML设备，以补偿通信成本和延迟。因此，一个自然的问题是，MVM操作是否是实现ML算法所必需的，以及是否可以使用更简单的硬件原语来实现超节能的ML处理器/架构。在本文中，我们提出了一种替代的硬件-软件协同设计的ML和神经网络架构，而不是使用MVM操作和非线性激活函数，该架构只使用简单的加法和阈值运算来实现推理和学习。所提出的方法的核心是基于边缘传播（MP）的计算，该计算将乘法映射为加法，并将加法映射为动态纠正线性单元（ReLU）运算。这种映射导致计算成本的显著改善，从而导致能量成本的显著改善。在本文中，我们展示了MP网络公式如何应用于设计适用于物联网平台和微型ML应用的线性分类器，浅层多层感知器和支持向量网络。我们发现，这些MP为基础的分类器提供了可比的结果，他们的传统同行的基准UCI数据集，与额外的优势，减少计算复杂性，使能源效率的提高。
2020-11-05 cs.LG stat.ML
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University（麦吉尔大学）
最近，深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络（如全连接和卷积神经网络）在广泛的识别和分类任务中表现出出色的性能。然而，由于其高度复杂性，它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配，其中大部分发生在全连接网络中。事实上，它们包含了大部分的深层神经网络参数。在本文中，我们提出了稀疏连接网络，通过展示全连接网络中的连接数量可以减少高达90%，同时提高三种流行数据集（MNIST，CIFAR 10和SVHN）的准确性性能。然后，我们提出了一个有效的硬件架构的基础上，线性反馈移位寄存器，以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比，所提出的架构可以节省高达90%的内存。此外，实施结果表明，减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比，一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
Accelerating Training of Deep Neural Networks via Sparse Edge Processing
University of Southern California（南加州大学）
我们提出了一种可重构的硬件架构，用于能够在线训练和推理的深度神经网络（DNN），它使用算法预定的结构化稀疏性来显著降低内存和计算需求。这种新颖的架构引入了边缘处理的概念，以提供灵活性，并结合连接流水线和操作并行化，以加快训练。总体效果是将网络复杂性降低高达30倍，训练时间相对于GPU减少高达35倍，同时保持推理结果的高保真度。这有可能使广泛的参数搜索和DNN的基本上未开发的理论基础的发展。该架构自动适应不同的网络规模给定的可用硬件资源。作为概念的证明，我们展示了不同位宽的结果。
2017-11-03 cs.LG cs.NE
Dynamic Sparse Training of Diagonally Sparse Networks
Department of Computer Science, University of Rochester, Rochester, NY, USA（罗切斯特大学计算机科学系）；The Institute of Optics, University of Rochester, Rochester, NY, USA（罗切斯特大学光学研究所）
针对非结构化稀疏训练难在硬件上实现实际提速的问题，提出结构化DST方法DynaDiag，通过对角稀疏模式与自定义CUDA内核加速计算，在ViT等架构上实现精度持平与显著训练、推理提速。
2025-06-13 cs.LG
Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers
Politecnico di Torino（都灵理工大学）；University of Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
针对微控制器等边缘设备的面积与功耗约束，本文提出优化N:M剪枝层软件内核、轻量级ISA扩展及适配开源DNN编译器的方案，在ResNet18、ViT等模型上实现显著加速且精度损失极小。
2025-03-19 cs.AI cs.DC cs.LG
Scalable NoC-based Neuromorphic Hardware Learning and Inference
Syracuse University（雪城大学）；Zhejiang University（浙江大学）
仿生神经形态硬件是一个研究方向，以接近大脑的计算能力和能源效率。脉冲神经网络（SNN）将信息编码为稀疏分布的脉冲序列，并采用脉冲时间依赖可塑性（STDP）机制进行学习。SNN的现有硬件实现在规模上是有限的，或者不具有硬件内学习能力。在这项工作中，我们提出了一种低成本、可扩展的基于片上网络（NoC）的SNN硬件架构，具有完全分布式的硬件内STDP学习能力。所有硬件神经元并行工作，并通过NoC进行通信。这实现了部署不同应用所需的芯片级互连、可扩展性和可重新配置性。该硬件被应用于学习MNIST数字作为其学习能力的评估。我们探索设计空间，研究速度，面积和能量之间的权衡。如何使用这个过程中找到最佳的架构配置进行了讨论。
2018-09-18 cs.ET cs.LG stat.ML
SparseNN: An Energy-Efficient Neural Network Accelerator Exploiting Input and Output Sparsity
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程学系）
当代深度神经网络（DNN）包含数百万个突触连接，具有数十到数百层。大的计算量和存储器需求对硬件设计提出了挑战。在这项工作中，我们利用DNN固有的激活稀疏性来大幅减少执行周期和能耗。提出了一种端到端的训练算法来开发一个轻量级的运行时预测器，用于动态输出激活稀疏性。从我们的实验结果来看，预测阶段的计算开销可以减少到原始前馈阶段的5%以下，精度损失可以忽略不计。此外，一个节能的硬件架构，SparseNN，提出了利用输入和输出稀疏。SparseNN是一种可扩展的架构，具有通过专用片上网络连接的分布式存储器和处理元件。与只利用输入稀疏性的最先进的加速器相比，SparseNN可以实现10%-70%的吞吐量提高和约50%的功耗降低。
2017-11-03 cs.AR cs.LG
SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic, Inc.（Neural Magic公司）
我们提供了一个新的有效版本的反向传播算法，专门用于正在训练的神经网络的权重是稀疏的情况。我们的算法是通用的，因为它适用于任意（非结构化）稀疏和常见的层类型（例如，卷积的或线性的）。我们在商用CPU上提供了一个快速的矢量化实现，并表明它可以在端到端的运行时实验中产生加速，无论是在使用已经稀疏化的网络的迁移学习中，还是在从头开始训练稀疏网络中。因此，我们的研究结果为商品硬件上的稀疏训练提供了第一个支持。
2023-02-09 cs.LG
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University（莱斯大学）；Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）
视觉Transformer（ViT）已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说，ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而，计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量，限制了其可实现的效率和可扩展性，并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而，一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距，我们提出了一个首创的算法硬件协同设计框架，称为ViTALiTy，用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同，ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面，我们通过一阶Taylor注意力近似点积softmax操作，行均值中心作为低秩分量，以线性化注意力块的成本，并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面，我们开发了一个专用的加速器，以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线，该注意力只需要执行低秩组件，以进一步提高硬件效率。广泛的实验和消融研究证实，ViTALiTy提供了提高的端到端效率（例如，$3\times$更快，$3\times$更节能）。
2022-11-09 cs.AR cs.CV cs.LG
DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
本文提出DeltaCNN框架，通过稀疏帧差分更新和端到端稀疏传播，在不重训练的情况下实现视频CNN推理高达7倍加速，精度损失极小。
2023-09-02 cs.CV cs.LG
ShiftAddNet: A Hardware-Inspired Deep Network
Rice University（莱斯大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出硬件启发的ShiftAddNet，用位移和加法替代乘法构建深度网络，在保持准确率的同时大幅降低训练与推理能耗并提升鲁棒性。
2025-03-03 cs.LG
Hierarchical Block Sparse Neural Networks
Center for Security Theory and Algorithmic Research（安全理论与算法研究中心）；International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术研究所）；Facebook（脸书）；Parallel Computing Lab（并行计算实验室）；Intel Labs（英特尔实验室）
与密集的深度神经网络（DNN）相比，稀疏的深度DNN在存储器和计算方面都是高效的。但由于稀疏DNN计算的不规则性，它们的效率远低于常规并行硬件（如TPU）上的密集DNN。这种低效率导致稀疏DNN的性能效益差/没有性能效益。稀疏DNN的性能问题可以通过将结构引入稀疏性并利用它来提高运行时效率来缓解。但这样的结构约束往往导致次优精度。在这项工作中，我们使用我们提出的称为分层块稀疏神经网络（Hierarchical Block Sparse Neural Networks，HNN）的稀疏神经网络来共同解决稀疏DNN的准确性和性能。对于给定的稀疏性，RNN模型比非结构化稀疏模型具有更好的运行时性能，比高度结构化的稀疏模型具有更好的准确性。
2018-12-28 cs.AI cs.LG stat.ML
Hardware/Software Co-Design of RISC-V Extensions for Accelerating Sparse DNNs on FPGAs
Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（计算机科学系，埃朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出了一种新颖的RISC-V扩展硬件/软件协同设计，通过利用FPGA位级可配置性跳过计算及可变周期乘加单元，有效加速半结构化和非结构化稀疏DNN，在TinyML应用上实现高达5倍加速且占用极少硬件资源。
2025-04-28 cs.AI cs.AR cs.LG
RNM-TD3: N:M Semi-structured Sparse Reinforcement Learning From Scratch
Deggendorf Institute of Technology（德格多夫技术学院）；Department of Engineering Technology（工程技术系）；Technical University of Denmark（丹麦技术大学）
RNM-TD3通过N:M结构稀疏性在强化学习中实现压缩、性能和硬件效率的平衡，优于密集模型并在稀疏度下表现优异。
2026-02-16 cs.AR cs.LG
Pixelated Butterfly: Simple and Efficient Sparse training for Neural Network Models
Stanford University（斯坦福大学）；SambaNova Systems, Inc（SambaNova系统公司）；Peking University（北京大学）；Adobe Research（Adobe研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
过参数化神经网络泛化能力很好，但训练成本很高。理想情况下，人们希望在保持其泛化优势的同时降低其计算成本。稀疏模型训练是实现这一目标的一种简单而有前途的方法，但由于现有方法存在精度损失、训练运行时间缓慢或难以稀疏化所有模型组件等问题，因此仍然存在挑战。其核心问题是在一组离散的稀疏矩阵上搜索稀疏掩码是困难和昂贵的。为了解决这个问题，我们的主要观点是优化具有固定结构的稀疏矩阵的连续超集，称为蝴蝶矩阵的积。由于蝶形矩阵不是硬件有效的，我们提出了简单的蝶形（块和平面）的变种，以利用现代硬件。我们的方法（像素化蝴蝶）使用基于平坦块蝴蝶和低秩矩阵的简单固定稀疏模式来稀疏大多数网络层（例如，注意，MLP）。我们通过经验验证，Pixelated Butterfly比Butterfly快3倍，并加快了训练速度，以实现有利的准确性-效率权衡。在ImageNet分类和WikiText-103语言建模任务中，我们的稀疏模型的训练速度比密集的MLP-Mixer，视觉Transformer和GPT-2介质快2.5倍，准确性没有下降。
2022-05-11 cs.LG
Time-Series Domain Adaptation via Sparse Associative Structure Alignment: Learning Invariance and Variance
Guangdong University of Technology（广东工业大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
时间序列数据的领域自适应在工业界经常遇到，但在学术界受到的关注有限。现有的时间序列数据的领域自适应方法大多借鉴了非时间序列数据的方法来提取域不变表示。然而，时间序列数据的两个特殊困难尚未解决。1)对不同时间戳之间的域不变和复杂依赖进行建模不是一个简单的任务。2)域变量信息很重要，但如何利用它们几乎没有得到充分利用。幸运的是，不同领域之间因果结构的稳定性激发了我们探索时间序列数据背后的结构。基于这一启发，我们研究了域不变的非加权稀疏联想结构和结构的域变强度。为了实现这一目标，我们提出了稀疏关联结构对齐通过学习不变性和方差（SASA-IV），一个模型，同时对齐不变的未加权的备用关联结构，并考虑时间序列无监督领域自适应的变化信息。技术上，我们提取域不变的未加权稀疏关联结构与单向对齐的限制，并通过一个精心设计的自回归模块嵌入域变量的强度。实验结果不仅证明了我们的模型在三个真实世界的数据集上产生了最先进的性能，而且还提供了一些关于知识转移的有见地的发现。
2022-05-07 cs.LG
SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University（亚利桑那州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出SCATTER算法-电路联合稀疏光子加速器，结合原位光再分配、功率门控与串扰感知稀疏训练，在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG
Self-Indexing KVCache: Predicting Sparse Attention from Compressed Keys
本文提出自索引KV缓存方法，通过1位符号向量量化统一压缩与检索，减少内存开销并提升大模型推理效率。
2026-03-15 cs.AI cs.LG
VENOM: A Vectorized N:M Format for Unleashing the Power of Sparse Tensor Cores
Universidade da Coruña（拉科鲁尼亚大学）；ETH Zürich（苏黎世联邦理工学院）
针对NVIDIA稀疏张量核心仅支持2:4稀疏格式、稀疏比受限的问题，研究提出V:N:M向量化格式与Spatha高性能稀疏库，配合二阶剪枝技术，实现高稀疏比下的大幅加速与极小精度损失。
2023-10-03 cs.DC cs.LG
Dynamic Sparsity Is Channel-Level Sparsity Learner
Eindhoven University of Technology（埃因霍温理工大学）；Clemson University（克莱姆森大学）；University of Liverpool（利物浦大学）；JD Explore Academy（京东探索研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出Chase方法，将动态稀疏训练中的非结构化稀疏性转化为通道级稀疏性，实现GPU友好加速，在ImageNet上ResNet-50推理提速1.7倍且不损失精度。
2023-11-10 cs.AI cs.CV cs.LG
