Retrospective: EIE: Efficient Inference Engine on Sparse and Compressed Neural Network
本文回顾了2016年发表的EIE稀疏压缩神经网络加速引擎，梳理其研究背景与优缺点，指出该工作开辟了稀疏神经网络加速的新设计空间，并探讨了剪枝、稀疏与低精度技术加速新兴深度学习负载的新方向。
2023-06-15 cs.AR
DeepDive: An Integrative Algorithm/Architecture Co-Design for Deep Separable Convolutional Neural Networks
深度可分离卷积神经网络（DSCNNs）通过提供具有结构稀疏性的模块化网络，以相对较低的操作和参数实现较高的精度，已经成为新兴的范例。然而，缺乏定制的架构，可以提供灵活的解决方案，适合稀疏的DSCNN。本文介绍了DeepDive，这是一个功能齐全的垂直协同设计框架，用于在边缘FPGA上实现DSCNN的低功耗实现。DeepDive的架构支持关键的异构计算单元（CU），以完全支持DSCNN，其中各种卷积运算符与结构稀疏性互连。它提供FPGA感知的训练和在线量化，结合模块化的可合成C++ CU，为DSCNN定制。在Xilinx的ZCU 102 FPGA板上的执行结果表明，MobileNet-V2和EfficientNet的紧凑版本分别为47.4和233.3 FPS/W，作为两个最先进的深度可分离CNN。这些比较展示了DeepDive如何在Jetson Nano高功率和低功率模式下分别将FPS/W提高2.2 $\times$和1.51 $\times$。与其他两种FPGA实现相比，它还将FPS/W提高了约2.27 $\times$和37.25 $\times$。MobileNetV 2的DeepDive输出可在https://github.com/TeCSAR-UNCC/DeepDive上获得。
2020-07-18 cs.AR
ABI: A tightly integrated, unified, sparsity-aware, reconfigurable, compute near-register file/cache GPU architecture with light-weight softmax for deep learning, linear algebra, and Ising compute
The Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
提出一种紧密集成的近内存GPU架构，通过自定义稀疏感知电路和轻量级softmax电路，在CNN、GCN、线性规划、大语言模型和伊辛工作负载上实现6-16倍加速和6-13倍能效提升。
2026-05-24 cs.AR
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA（英伟达）
流行的深度学习框架要求用户微调其内存使用，以便深度神经网络（DNN）的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制，使CPU和GPU内存都能用于内存分配。尽管有其优点，但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时，虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”（cDMA）的高性能虚拟化策略，该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍（最大13.8倍）的压缩比，将虚拟化DNN的性能平均提高32%（最大61%）。
2017-05-03 cs.AR cs.LG
SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University（上海交通大学电子信息与电气工程学院）
电阻式随机存取存储器（ReRAM）交叉开关是一种用于深度神经网络（DNN）加速器的很有前途的技术，这得益于其用于向量矩阵乘法和累加（VMM）的存储器内和原位模拟计算能力。然而，利用DNN中的稀疏性对于交叉开关架构是具有挑战性的。由于紧耦合交叉结构的限制，利用细粒度稀疏性不可避免地会导致复杂和昂贵的控制。作为对策，我们开发了一种新的基于ReRAM的DNN加速器，命名为稀疏乘法引擎（SME），基于硬件和软件协同设计框架。首先，我们编排的比特稀疏模式，以增加密度的比特稀疏的基础上现有的量化方法。其次，我们提出了一种新的权重映射机制，将权重的位跨横杆进行切片，并将激活结果拼接到外围电路中。该机制可以解耦紧耦合的交叉结构，并在交叉结构中累积稀疏性。最后，一个更好的挤出方案清空了前两个步骤中映射有高度稀疏非零的交叉杆。我们设计了SME架构，并讨论了它在其他量化方法和不同ReRAM单元技术中的用途。与现有的最先进的设计相比，SME使用Resent-50和MobileNet-v2分别将交叉杆的使用缩小到8.7倍和2.1倍，ImageNet的准确率下降不到0.3%。
2021-03-02 cs.AR cs.CV cs.LG
S2Engine: A Novel Systolic Architecture for Sparse Convolutional Neural Networks
Beihang University（北京航空航天大学）
卷积神经网络（CNN）在执行认知任务方面取得了巨大成功。然而，CNN的执行需要大量的计算资源，并产生大量的内存流量，这对计算系统设计提出了严峻的挑战。通过优化卷积的并行执行和数据重用，脉动架构在加速CNN计算方面表现出巨大的优势。然而，传统脉动架构中的规则内部数据传输路径阻止脉动架构完全利用由神经网络稀疏性引入的益处。部署细粒度稀疏现有的脉动架构是极大地阻碍了所产生的计算开销。在这项工作中，我们提出了S2引擎$-$一种新的脉动架构，可以充分利用CNN的稀疏性，最大限度地提高数据重用。S2Engine在内部传输压缩数据，并允许每个处理元件在卷积中动态地从压缩数据流中选择对齐的数据。与原始脉动阵列相比，S2引擎在速度和能效上分别实现了约$3.2\times$和约$3.0\times$的改进。
2021-06-15 cs.AR cs.DC cs.LG
PSA: A Pruning-Friendly Sparse-Aware Accelerator for Efficient Sparse Convolution in SNNs
ZJUI-UIUC Institute, Zhejiang University（浙江大学中法联合学院）；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出面向SNN高效稀疏卷积的剪枝友好型稀疏感知加速器PSA，通过SAMA数据流、SIG-im2col机制及剪枝友好型门控机制，在ResNet-18/CIFAR-10上实现能效4.45倍提升、EDP降低18.52倍。
2026-10-16 cs.AR
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
SPADE: Sparse Pillar-based 3D Object Detection Accelerator for Autonomous Driving
Hanyang University（汉阳大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
SPADE通过算法-硬件协同设计最大化柱体编码的向量稀疏性，并加速向量稀疏卷积，在3D目标检测中显著减少计算量并提升能效。
2024-01-13 cs.AI cs.AR
Multi-Mode Inference Engine for Convolutional Neural Networks
在过去的几年中，卷积神经网络（CNN）的兴趣不断上升，这要归功于它们在广泛的识别和分类任务上的出色表现。然而，它们受到卷积层中高维卷积所带来的高复杂度的影响。在具有有限硬件资源以及严格功率和延迟约束的场景中，CNN的高计算复杂性使得它们难以被利用。硬件解决方案已经努力使用低功率技术来降低功耗，并且通过增加处理元件（PE）的数量来限制处理时间。虽然大多数ASIC设计都声称每秒几百千兆操作的峰值性能，但当应用于AlexNet，VGGNet和ResNet等最先进的CNN时，它们的平均性能要低得多，导致资源利用率低。它们的性能效率平均低于55%，这导致了不必要的高处理延迟和硅面积。在本文中，我们提出了一种卷积算法，可以使用相同的PE对任何滤波器/层大小执行全连接和卷积计算。然后，我们介绍了一个多模式推理引擎（MMIE）的基础上提出的推理机。最后，我们证明了所提出的MMIE在执行三个著名的CNN（即，AlexNet、VGGNet和ResNet），在能耗、处理延迟和硅面积方面优于最先进的架构。
2017-12-11 cs.AR
VEGETA: Vertically-Integrated Extensions for Sparse/Dense GEMM Tile Acceleration on CPUs
Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔研究院）
CPU中的深度学习（DL）加速支持最近获得了很大的吸引力，几家公司（Arm，Intel，IBM）宣布了通过GEMM指令访问专用矩阵引擎的产品。CPU无处不在，需要处理在边缘/HPC/云平台上运行的DL工作负载的各种需求。因此，由于DL工作负载采用稀疏性来减少模型的计算和内存大小，因此CPU也必须增加对稀疏性的支持，以避免密集矩阵引擎的利用不足以及缓存和寄存器的低效使用。这项工作提出了VEGETA，一组ISA和微架构扩展密集矩阵引擎，以支持灵活的结构稀疏的CPU，使可编程的支持不同程度的稀疏不同的DL模型。与CPU中最先进的（SOTA）密集矩阵引擎相比，VEGETA引擎在运行4：4（密集）、2：4、1：4和非结构化（95%）稀疏DNN层时提供1.09倍、2.20倍、3.74倍和3.28倍的加速。
2023-02-23 cs.AI cs.AR cs.LG
Weight Block Sparsity: Training, Compilation, and AI Engine Accelerators
Xilinx/AMD（赛灵思/超威半导体）
该研究提出了一套支持8x8权重块稀疏性的垂直系统，涵盖训练、编译与硬件加速，在Resnet50等模型上实现了精度损失极小情况下的推理加速，验证了软硬件协同的必要性。
2024-07-12 cs.AR cs.CL cs.LG
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto（多伦多大学）；York University（约克大学）
在这项工作中，PRUNIX，一个框架，用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应，包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化，旨在提高非理想性容限以及稀疏性，以及一种新的自适应修剪算法（APA），旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较，并观察到当量化和其他非理想效应被占时，测试精度提高了13%，总体稀疏度为85%，这与其他方法相似
2022-02-03 cs.AR cs.LG
PASS: Exploiting Post-Activation Sparsity in Streaming Architectures for CNN Acceleration
针对流式 CNN 加速器难以利用激活后稀疏性的问题，本文提出 PASS 方法，在现代 CNN 基准上较先进指令型稀疏加速器取得 1.41–1.93 倍 GOP/s/DSP 效率提升。
2023-07-15 cs.AR
DiSC: Resolution-Scalable Acceleration of Diffusion Models by Exploiting Sparsity and Cached Token Reuse with Hash-based Distribution
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出DiSC，一种利用缓存令牌重用和稀疏性掩码重用的分辨率可扩展硬件加速器，通过哈希分布实现稀疏操作的高效计算，显著提升扩散模型性能。
2026-05-25 cs.AR
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration
University of Rochester（罗切斯特大学）；Arm ML Research Lab（Arm机器学习研究实验室）
利用稀疏性是在移动设备上加速量化卷积神经网络（CNN）推理的关键技术。现有的稀疏CNN加速器在很大程度上利用了非结构化的稀疏性，并实现了显著的加速。然而，由于无边界的、在很大程度上不可预测的稀疏模式，利用非结构化稀疏性需要复杂的硬件设计，具有显著的能量和面积开销，这对于能量和面积效率至关重要的移动/物联网推理场景尤其不利。我们建议利用结构化稀疏性，更具体地说，密度约束块（DBB）稀疏的权重和激活。DBB块张量限制了每个块的最大非零数量。因此，DBB暴露了静态可预测的稀疏模式，使精益稀疏利用硬件。我们提出了新的硬件原语实现DBB稀疏（静态）权重和（动态）激活，分别具有非常低的开销。在原语的基础上，我们描述了S2 TA，一个基于脉动阵列的CNN加速器，它利用了传统脉动阵列上不可用的联合权重和激活DBB稀疏性以及数据重用的新维度。在五个流行的CNN基准测试中，与具有零值时钟门控的脉动阵列的强基线相比，16 nm的S2 TA实现了超过2倍的加速和能量降低。与最近的两个非收缩稀疏加速器Eyeriss v2（65 nm）和Sparten（45 nm）相比，65 nm的S2 TA每次推理分别使用约2.2倍和3.1倍的能量。
2022-01-06 cs.AR cs.LG
Hardware Efficient Approximate Convolution with Tunable Error Tolerance for CNNs
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
本文提出一种硬件高效的近似卷积方法，通过使用MSB代理实现软稀疏性，减少ReLU和Tanh运算量，同时保持精度，提升边缘部署效率。
2026-04-09 cs.AI cs.AR cs.LG
Efficient Hardware Acceleration of Sparsely Active Convolutional Spiking Neural Networks
针对卷积脉冲神经网络的高激活稀疏性导致传统PE阵列利用率低的问题，提出一种基于少量高利用率PE、运行时特征图压缩队列和内存交错机制的FPGA硬件加速架构，实现了显著加速、更低资源占用与能耗。
2022-03-23 cs.AR cs.NE
EDEA: Efficient Dual-Engine Accelerator for Depthwise Separable Convolution with Direct Data Transfer
本文提出 EDEA 双引擎 DSC 加速器，通过融合 DWC 与 PWC 间非卷积操作及直接流式数据传输，在 22nm 工艺下显著提升能效与吞吐量。
2025-03-12 cs.AR cs.DC
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks
Numenta（Numenta公司）
原则上，稀疏神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏地活跃。这两种类型的稀疏性，称为权重稀疏性和激活稀疏性，当结合在一起时，提供了将神经网络的计算成本降低两个数量级的潜力。尽管有这种潜力，但今天的神经网络仅使用权重稀疏性仅提供适度的性能优势，因为传统的计算硬件无法有效地处理稀疏网络。在这篇文章中，我们介绍了互补稀疏，一种新的技术，显着提高现有硬件上的双稀疏网络的性能。我们证明了我们可以实现高性能的运行权重稀疏网络，我们可以通过结合激活稀疏性来增加这些加速比。使用互补稀疏性，我们在FPGA上执行推理时，吞吐量和能效提高了100倍。我们分析了ResNet-50和MobileNetV 2等商业卷积网络典型内核的可扩展性和资源权衡。我们对互补稀疏性的研究结果表明，权重加上激活稀疏性可以成为有效扩展未来AI模型的有效组合。
2021-12-27 cs.AI cs.AR cs.LG
Phantom: A High-Performance Computational Core for Sparse Convolutional Neural Networks
Kansas State University（堪萨斯州立大学）
稀疏卷积神经网络（CNN）在过去几年中获得了巨大的吸引力，因为与密集的CNN相比，如果适当地利用，稀疏CNN可以大大减少模型大小和计算量。稀疏CNN通常会引入层形状和大小的变化，这可能会阻止密集加速器在稀疏CNN模型上表现良好。最近提出的稀疏加速器，如SCNN，Eyeriss v2和Sparten，积极利用双侧或完全稀疏性，即权重和激活的稀疏性，以提高性能。然而，这些加速器要么具有低效的微架构，这限制了它们的性能，不支持非单位步长卷积和全连接（FC）层，要么严重遭受系统负载不平衡。为了解决这些问题并支持稀疏和密集模型，我们提出了Phantom，一个多线程，动态和灵活的神经计算核心。Phantom使用稀疏二进制掩码表示来主动地前瞻稀疏计算，并动态地调度其计算线程以最大化线程利用率和吞吐量。我们还生成了一个Phantom神经计算核心的二维（2D）网格架构，我们将其称为Phantom-2D加速器，并提出了一种支持CNN所有层的新型卷积层，包括单位和非单位步长卷积以及FC层。此外，Phantom-2D采用两级负载均衡策略，最大限度地减少计算空闲，从而进一步提高硬件利用率。为了显示对不同类型层的支持，我们评估了VGG 16和MobileNet上Phantom架构的性能。我们的模拟表明，Phantom-2D加速器分别在密集架构SCNN、Sparten和Eyeriss v2上获得了12倍、4.1…
2021-11-09 cs.AI cs.AR
Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration
Arm ML Research Lab（安谋机器学习研究实验室）
移动设备上的卷积神经网络（CNN）推理需要低精度（INT 8）通用矩阵乘法（GEMM）的高效硬件加速。利用数据稀疏性是进一步加速用于CNN推理的GEMM的常见方法，并且特别地，结构稀疏性具有可预测的负载均衡和非常低的索引开销的优点。在本文中，我们解决了一个关键的架构挑战与结构稀疏性：如何提供支持的范围内的稀疏性水平，同时保持高利用率的硬件。我们描述了一个时间展开制定的可变密度约束块（VDBB）稀疏，允许每个块的非零元素的可配置数量，在不断利用。然后，我们描述了一个脉动阵列微架构，实现了这一计划，有两个数据重用优化。首先，我们通过增加每个PE的MAC数量来增加操作数和部分乘积的重用。其次，我们引入了一种新的方法，将IM 2COL变换移动到硬件中，这使我们能够在操作数被数据路径消耗之前实现3倍的数据带宽扩展，从而降低SRAM功耗。权重稀疏、激活稀疏和数据重用的优化都是相互关联的，因此最优组合并不明显。因此，我们进行设计空间评估，以找到帕累托最优的设计特性。最终的设计在16 nm下实现了16.8 TOPS/W，具有适度的50%模型稀疏度，并且在87.5%下模型稀疏度高达55.7TOPS/W。以及成功地证明了可变DBB技术，这一结果显着优于先前报道的稀疏CNN加速器。
2020-10-12 cs.AR cs.LG
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching
University of Minnesota（明尼苏达大学）
图神经网络（GNN）分析引擎对于使用大型图模型的现实问题至关重要。GNN硬件平台的挑战包括以下能力：（a）托管各种GNN，（b）处理输入顶点特征向量和图邻接矩阵以及伴随的随机内存访问模式中的高稀疏性，以及（c）在面对由高稀疏性和幂律顶点度分布引起的不均匀工作负载时保持负载平衡计算。本文提出了GNNIE，这是一个旨在运行各种GNN的加速器。它解决了工作负载不平衡（i）~分裂顶点特征操作数到块，（ii）~重新排序和重新分配计算，（iii）~使用一种新的灵活的MAC架构。它采用了一个特定于图形的，度感知的缓存策略，非常适合现实世界的图形特征。该策略增强了片上数据重用，避免了对DRAM的随机内存访问。GNNIE在图形注意力网络（GAT）、图卷积网络（GCN）、GraphSAGE、GINConv和DiffPool上的多个数据集上，在CPU上实现了21233倍的平均加速，在GPU上实现了699倍的加速。与之前的方法相比，GNNIE在GCN、GraphSAGE和GINConv上实现了35倍于HyGCN（无法实现GAT）的平均加速，并且使用了3.4倍的处理单元，平均加速比AWB-GCN（仅运行GCN）高出2.1倍。
2021-08-07 cs.AR cs.LG
