SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration
University of Rochester（罗切斯特大学）；Arm ML Research Lab（Arm机器学习研究实验室）
利用稀疏性是在移动设备上加速量化卷积神经网络（CNN）推理的关键技术。现有的稀疏CNN加速器在很大程度上利用了非结构化的稀疏性，并实现了显著的加速。然而，由于无边界的、在很大程度上不可预测的稀疏模式，利用非结构化稀疏性需要复杂的硬件设计，具有显著的能量和面积开销，这对于能量和面积效率至关重要的移动/物联网推理场景尤其不利。我们建议利用结构化稀疏性，更具体地说，密度约束块（DBB）稀疏的权重和激活。DBB块张量限制了每个块的最大非零数量。因此，DBB暴露了静态可预测的稀疏模式，使精益稀疏利用硬件。我们提出了新的硬件原语实现DBB稀疏（静态）权重和（动态）激活，分别具有非常低的开销。在原语的基础上，我们描述了S2 TA，一个基于脉动阵列的CNN加速器，它利用了传统脉动阵列上不可用的联合权重和激活DBB稀疏性以及数据重用的新维度。在五个流行的CNN基准测试中，与具有零值时钟门控的脉动阵列的强基线相比，16 nm的S2 TA实现了超过2倍的加速和能量降低。与最近的两个非收缩稀疏加速器Eyeriss v2（65 nm）和Sparten（45 nm）相比，65 nm的S2 TA每次推理分别使用约2.2倍和3.1倍的能量。
2022-01-06 cs.AR cs.LG
Spartus: A 9.4 TOp/s FPGA-based LSTM Accelerator Exploiting Spatio-Temporal Sparsity
Institute of Neuroinformatics, University of Zurich（苏黎世大学神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）
长短期记忆（LSTM）递归网络经常用于涉及时间序列数据的任务，例如语音识别。与之前利用空间权重稀疏性或时间激活稀疏性的LSTM加速器不同，本文提出了一种名为“Spartus”的新加速器，它利用时空稀疏性来实现超低延迟推理。空间稀疏性是使用一种新的列平衡目标丢弃（CBTD）结构化修剪方法，产生结构化稀疏权重矩阵的平衡工作量。在Spartus硬件上运行的修剪网络实现了高达96%和94%的权重稀疏水平，TIMIT和Librispeech数据集的准确性损失可以忽略不计。为了在LSTM中引入时间稀疏性，我们将以前的DeltaGRU方法扩展到DeltaLSTM方法。将时空稀疏性与CBTD和DeltaLSTM相结合可以节省权重内存访问和相关的算术运算。Spartus架构具有可扩展性，在小型和大型FPGA上实现时均支持实时在线语音识别。Spartus对于1024个神经元的单个DeltaLSTM层的每个样本延迟平均为1 us。使用TIMIT数据集在我们的测试LSTM网络上利用时空稀疏性，使Spartus的速度比其理论硬件性能提高了46倍，实现了9.4 TOp/s的有效批处理吞吐量和1.1 TOp/s/W的功率效率。
2022-06-13 cs.AI cs.AR cs.CV
LogicSparse: Enabling Engine-Free Unstructured Sparsity for Quantised Deep-learning Accelerators
本文提出LogicSparse框架，将非结构化稀疏嵌入数据流加速器以消除专用稀疏引擎，并结合硬件感知剪枝策略，在LeNet-5上仅用5.12%的LUTs实现51.6倍压缩和1.23倍吞吐量提升。
2025-11-05 cs.AR
BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification
University of Tehran（德黑兰大学）；Arizona State University（亚利桑那州立大学）；University of Southern California（南加州大学）
本文首先提出了一种硬件友好的剪枝算法，用于降低长短期记忆（LSTM）神经网络加速器的能量消耗，提高加速速度。接下来，介绍了一个基于FPGA的平台，有效地执行基于所提出的算法的修剪网络。通过考虑LSTM模型的两个权重矩阵在修剪中的敏感性，可以使用不同的稀疏率（即，双比率稀疏性）应用于这些权重矩阵。为了减少存储器访问，采用了逐行稀疏模式。该硬件架构利用计算重叠和流水线技术实现低功耗和高速。在自然语言处理、二进制情感分类和语音识别的一些基准测试下，评估了所提出的剪枝算法和加速器的有效性。结果显示，例如，与最近发表的工作相比，该加速器可以提供高达272%的有效GOPS/W，并且对于PTB数据集的困惑度误差减少了高达1.4%。
2021-01-07 cs.AR cs.LG
FLAASH: Flexible Accelerator Architecture for Sparse High-Order Tensor Contraction
School of EECS, Oregon State University（俄勒冈州立大学电气与计算机工程学院）
本文提出FLAASH，一种面向稀疏高阶张量收缩的灵活模块化加速器架构，通过将稀疏点积分配给多个稀疏点积引擎（SDPEs）实现并行计算，在深度学习工作负载上获得超过25倍加速，并随稀疏性和阶数增加展现显著性能提升。
2024-04-25 cs.AR cs.LG
A Flexible Sparsity-Aware FPGA Accelerator with Column-Wise Compression for Efficient CNN Inference
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究研究所（INRS-EMT））
研究针对资源受限平台 CNN 加速难题，提出 SparHiXcel-v2 加速器，通过列向内核压缩技术及硬件 - 算法协同设计框架，在稀疏灵活性与硬件效率间平衡，经实验在吞吐量和能效上显著提升，精度有适度下降。
2026-07-22 cs.AR
MCBP: A Memory-Compute Efficient LLM Inference Accelerator Leveraging Bit-Slice-enabled Sparsity and Repetitiveness
本文提出MCBP，一种比特粒度计算与内存高效的算法-硬件协同设计，利用比特切片使能的重复性和稀疏性加速LLM推理，通过三项创新技术缓解GEMM、权重和KV cache访问瓶颈，在26个基准上实现9.43倍加速，能效显著优于现有GPU和SOTA加速器。
2025-09-12 cs.AR
A Bit Level Weight Reordering Strategy Based on Column Similarity to Explore Weight Sparsity in RRAM-based NN Accelerator
针对存内计算与权重稀疏性难以在RRAM神经网络加速器中兼容的问题，提出基于列相似性的比特级权重重排序策略，实现稀疏权重紧凑映射，可显著提升性能并降低能耗。
2025-11-18 cs.AR
PASS: Exploiting Post-Activation Sparsity in Streaming Architectures for CNN Acceleration
针对流式 CNN 加速器难以利用激活后稀疏性的问题，本文提出 PASS 方法，在现代 CNN 基准上较先进指令型稀疏加速器取得 1.41–1.93 倍 GOP/s/DSP 效率提升。
2023-07-15 cs.AR
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto（多伦多大学）；York University（约克大学）
在这项工作中，PRUNIX，一个框架，用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应，包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化，旨在提高非理想性容限以及稀疏性，以及一种新的自适应修剪算法（APA），旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较，并观察到当量化和其他非理想效应被占时，测试精度提高了13%，总体稀疏度为85%，这与其他方法相似
2022-02-03 cs.AR cs.LG
A Low-Power Accelerator for Deep Neural Networks with Enlarged Near-Zero Sparsity
在物联网中具有严格功率预算的设备中运行深度学习仍然是一个挑战。本文提出了一种用于嵌入式设备中处理深度神经网络的低功耗加速器。通过避免近零值数据的乘法来实现功率降低。提出了近零近似和一个专用的近零近似单元（NZAU）来预测和跳过一定阈值下的近零乘法。与跳过零值计算相比，我们的设计在LeNet-5和Alexnet中分别实现了1.92倍和1.51倍的总乘法进一步减少，而精度损失可以忽略不计。在所提出的加速器中，256个乘法器被分组为16个独立的处理通道（PL），以同时支持多达16个神经元激活。在每个PL中的数据预处理和缓冲的帮助下，即使数据过多地流入，乘法器也可以在大部分时间内进行时钟门控。该加速器采用UMC 65 nm工艺设计和仿真，工作频率为500 MHz，在处理Alexnet的全连接层FC 8时，速度比移动GPU Tegra K1快$>$ 4倍，而能耗则低717倍。
2017-05-22 cs.AR
Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator
Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
针对固定N:M稀疏性限制LLM表达力的问题，提出FLOW方法灵活选择逐层N:M值，并设计FlexCiM数字存内计算架构以低开销支持多样稀疏模式，实现最高36%准确率提升及1.75倍延迟和1.5倍能耗降低。
2025-04-19 cs.AI cs.AR cs.LG
SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University（亚利桑那州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出SCATTER算法-电路联合稀疏光子加速器，结合原位光再分配、功率门控与串扰感知稀疏训练，在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG
SQ-DM: Accelerating Diffusion Models with Aggressive Quantization and Temporal Sparsity
University of Michigan（密歇根大学）；NVIDIA（英伟达）
针对扩散模型推理慢的问题，提出对权重和激活值进行激进量化并利用时间稀疏性，设计了异构混合精度密集-稀疏架构的加速器，在保持4比特生成质量的同时实现6.91倍加速与51.5%节能。
2025-01-26 cs.AI cs.AR cs.CV
Sparsity-Aware Streaming SNN Accelerator with Output-Channel Dataflow for Automatic Modulation Classification
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出了一种稀疏感知流SNN加速器，通过结合稀疏性优势与高吞吐量，实现高效自动调制分类任务。
2026-01-06 cs.AR
AccSS3D: Accelerator for Spatially Sparse 3D DNNs
真实世界场景的语义理解和完成是3D视觉感知的基础，广泛应用于机器人、医学成像、自动驾驶和导航等高级应用。由于维数灾难，3D场景理解的计算和存储器需求随着体素分辨率以立方复杂度增长，对实现实时节能部署构成巨大障碍。由于自由空间而存在于3D世界中的固有空间稀疏性与已被广泛研究的通道稀疏性根本不同。我们提出了空间稀疏3D DNN加速器（AccSS 3D），这是第一个通过利用充足的空间稀疏性来加速3D场景理解的端到端解决方案。AccSS 3D是一个专门用于空间稀疏3D场景理解的算法并行架构协同设计系统，包括新颖的空间位置感知元数据结构、近零延迟和空间稀疏感知并行优化器、表面方向感知点云重新排序算法和协同设计的空间稀疏硬件加速器，该加速器通过脉动和多播互连利用数据重用。SSpNNA加速器核心与64 KB L1内存一起需要0.92 mm 2的面积，采用16 nm工艺，1 GHz。总体而言，AccSS 3D与Intel-i7- 8700 K 4核CPU相比，3D稀疏卷积实现了16.8倍的加速和2232倍的能效提升，这意味着端到端3D语义分割加速提高了11.8倍，能效提升了24.8倍（iso技术节点）
2020-11-25 cs.AR
BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration
Cornell University（康奈尔大学）
本文提出双向比特稀疏性BBS及免重训二值剪枝、张量编码方案，并协同设计BitVert比特串行加速器，在七个DNN上实现模型压缩、加速与节能。
2024-09-08 cs.AR cs.LG
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University（科罗拉多州立大学）
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署，因为它们提供紧凑的模型大小，同时保持推理准确性。由于参数矩阵的稀疏性，稀疏神经网络原则上可以在加速器架构中被利用，以改善能量效率和延迟。然而，为了在实践中实现这些改进，需要探索稀疏感知的软硬件协同设计。在本文中，我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明，与最先进的稀疏电子神经网络加速器相比，SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比，可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
VIKIN: A Reconfigurable Accelerator for KANs and MLPs with Two-Stage Sparsity Support
The Hong Kong University of Science and Technology（香港科技大学）；Monash University（莫纳什大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
VIKIN是一种支持KAN和MLP的可重构加速器，通过双阶段稀疏性支持和流水执行模式，实现KAN处理效率提升和MLP吞吐量增强，实验表明其在准确率和能效方面均优于现有方案。
2026-03-01 cs.AR
SATA: Sparsity-Aware Training Accelerator for Spiking Neural Networks
脉冲神经网络（SNN）由于其固有的高稀疏性激活而作为传统人工神经网络（ANN）的潜在能量有效替代方案获得了巨大的关注。最近，SNN与反向传播通过时间（BPTT）已经取得了更高的准确性结果的图像识别任务比其他SNN训练算法。尽管从算法的角度来看是成功的，但由于缺乏用于该SNN训练算法的硬件评估平台，先前的工作忽略了BPTT的硬件能量开销的评估。此外，尽管SNN长期以来一直被视为ANN的节能对应物，但SNN和ANN的训练成本之间的定量比较却缺失。为了解决上述问题，在这项工作中，我们介绍了SATA（稀疏感知训练加速器），一个基于BPTT的SNN训练加速器。所提出的SATA提供了一种简单且可重新配置的基于收缩的加速器架构，这使得基于BPTT的SNN训练算法的训练能量分析变得容易。通过利用稀疏性，SATA与不使用稀疏性的SATA相比，其计算能量效率增加了$5.58 \times$。基于SATA，我们给出了SNN训练的能量效率的定量分析，并比较了SNN和ANN的训练成本。结果表明，在Eyeriss类收缩的基础上，SNN消耗$1.27\times$更多的总能量与稀疏相比，人工神经网络。我们发现，如此高的训练能量成本来自时间重复的卷积运算和反向传播过程中的数据移动。此外，为了推动未来的SNN训练算法设计，我们提供了几个观察不同的SNN特定的训练参数的能量效率，并提出了一个SNN训练的能量估计框架。…
2022-12-19 cs.AR cs.NE
Dynasparse: Accelerating GNN Inference through Dynamic Sparsity Exploitation
图神经网络（GNN）推理被用于许多现实世界的应用中。GNN推理中的数据稀疏性，包括输入图和GNN模型中的稀疏性，为进一步加速推理提供了机会。此外，已经提出了许多用于模型压缩的修剪技术，这些技术增加了GNN的数据稀疏性。我们提出了Dynasparse，一个全面的硬件-软件协同设计的FPGA上，通过动态稀疏开发来加速GNN推理。为此，我们将GNN计算内核从基本计算原语中解耦，并探索硬件-软件协同设计如下：1）硬件设计：我们提出了一种新的统一的FPGA加速器设计，以有效地执行各种计算原语。我们开发了一个定制的软处理器，是紧密耦合的加速器执行一个运行时系统。此外，我们开发了有效的硬件机制来分析数据的稀疏性，并执行即时数据格式转换，为各种计算原语准备输入数据; 2）软件设计：我们开发了一个运行时系统，与加速器协同工作，以执行基于数据稀疏性的动态内核到原语映射。我们在最先进的FPGA平台Xilinx Alveo U250上实现了Dynasparse，并使用广泛使用的GNN模型（GCN，GraphSAGE，GIN和SGC）对设计进行了评估。对于上述GNN模型和各种输入图，与最先进的GNN加速器中采用的静态映射策略相比，所提出的加速器和动态内核到基元映射平均将推理延迟减少了$3.73\times$。与最先进的CPU（GPU）实现相比，Dynasparse在端到端延迟方面实现了高达$56.9\tim…
2023-03-22 cs.AR cs.DC
Weight Block Sparsity: Training, Compilation, and AI Engine Accelerators
Xilinx/AMD（赛灵思/超威半导体）
该研究提出了一套支持8x8权重块稀疏性的垂直系统，涵盖训练、编译与硬件加速，在Resnet50等模型上实现了精度损失极小情况下的推理加速，验证了软硬件协同的必要性。
2024-07-12 cs.AR cs.CL cs.LG
SpOctA: A 3D Sparse Convolution Accelerator with Octree-Encoding-Based Map Search and Inherent Sparsity-Aware Processing
针对3D稀疏卷积在通用平台上的映射搜索慢、计算与内存开销大问题，提出SpOctA加速器，通过八叉树编码协同优化、固有稀疏利用和非均匀缓存实现显著加速与能效提升。
2023-08-18 cs.AR
FlexNeRFer: A Multi-Dataflow, Adaptive Sparsity-Aware Accelerator for On-Device NeRF Rendering
本文提出FlexNeRFer加速器，通过多数据流NoC和自适应稀疏存储高效支持多样化NeRF模型，在28nm工艺下相较GPU和NeuRex分别实现最高243.3倍和86.9倍加速及显著能效提升。
2025-05-10 cs.AR
SnipSnap: A Joint Compression Format and Dataflow Co-Optimization Framework for Efficient Sparse LLM Accelerator Design
Nanjing University（南京大学）；Hong Kong University of Science and Technology（香港科技大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）；Sun Yat-sen University（中山大学）
SnipSnap通过联合优化压缩格式和数据流，显著提升稀疏LLM加速器的效率，实现内存能耗降低和速度提升。
2025-09-27 cs.AR
Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding
Fudan University（复旦大学）
本文提出Salca，通过软硬件协同设计，解决长上下文注意力解码中的计算与内存瓶颈，实现3.82倍速度提升和74.19倍能效提升。
2026-04-27 cs.AI cs.AR
Flexagon: A Multi-Dataflow Sparse-Sparse Matrix Multiplication Accelerator for Efficient DNN Processing
稀疏性是现代DNN模型中的一个增长趋势。现有的稀疏-稀疏矩阵乘法（SpMSpM）加速器被定制为特定的SpMSpM算法（即，内产品，外产品或古斯塔夫森），这决定了他们的整体效率。我们表明，这种静态的决定固有的结果在一个次优的动态解决方案。这是因为不同的SpMSpM内核显示不同的特征（即，维度、稀疏模式、稀疏度），这使得每个子图更好地适合不同的数据集。在这项工作中，我们提出Flexagon，第一个SpMSpM可重构的加速器，能够通过使用最适合每种情况下的特定的低功耗执行SpMSpM计算。Flexagon加速器基于一种新型的合并-还原网络（MRN），该网络将还原和合并的概念统一在同一衬底上，从而提高了效率。此外，Flexagon还包括一个3层存储层次结构，专门针对输入和输出压缩矩阵的不同访问特性。使用来自各种应用领域的当代DNN模型的详细周期级模拟，我们表明Flexagon相对于最先进的SIGMA类，Sparch类和Gamma类加速器实现了4.59倍，1.71倍和1.35倍的平均性能优势（平均性能/面积效率分别为265%，67%和18%）。
2023-01-25 cs.AR
Design Space Exploration of Sparsity-Aware Application-Specific Spiking Neural Network Accelerators
本文提出一种利用脉冲神经网络稀疏性的灵活硬件设计及周期精确仿真框架，通过设计空间探索优化逐层逻辑与硬件比率，实现硬件资源减少76%、速度提升31.25倍，并有效平衡精度与延迟。
2023-10-25 cs.AR
A complete discussion on fully reconfigurable, digital, scalable, graph and sparsity-aware near-memory accelerator for graph neural networks
The University of Texas At Austin（德克萨斯大学奥斯汀分校）
提出一种无DAC/ADC的可扩展近内存计算架构NEM-GNN，通过早期计算终止、预计算和图与稀疏感知的聚合机制，显著提升图神经网络的性能、能效和计算密度。
2026-06-20 cs.AR
SPADE: Sparse Pillar-based 3D Object Detection Accelerator for Autonomous Driving
Hanyang University（汉阳大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
SPADE通过算法-硬件协同设计最大化柱体编码的向量稀疏性，并加速向量稀疏卷积，在3D目标检测中显著减少计算量并提升能效。
2024-01-13 cs.AI cs.AR
Panacea: Novel DNN Accelerator using Accuracy-Preserving Asymmetric Quantization and Energy-Saving Bit-Slice Sparsity
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of Michigan（密歇根大学）
针对传统对称量化精度损失、现有非对称量化位片难以压缩导致的DNN推理效率问题，提出AQS-GEMM与两种协同优化方法，设计Panacea加速器，兼顾高精度与硬件效率，性能优于现有方案。
2024-12-13 cs.AI cs.AR
SOFA: A Compute-Memory Optimized Sparsity Accelerator via Cross-Stage Coordinated Tiling
针对Transformer推理中大规模令牌并行处理的存储与计算瓶颈，提出跨阶段协同的SOFA稀疏加速器，通过前导零预测、协同分块等机制实现能效与速度的显著提升。
2024-07-15 cs.AR
PULSE: Parametric Hardware Units for Low-power Sparsity-Aware Convolution Engine
本文提出PULSE，一种参数化硬件生成器，根据层间稀疏性定制SNN加速器，通过优先级编码压缩和高效激活转移，在FPGA上实现3.14倍于传统加速器的效率提升。
2024-02-09 cs.AR
APEX: A Dual-Sparsity Accelerator for Precise and Efficient SNN Inference
Indian Institute of Technology Madras（印度马德拉斯理工学院）
APEX是集成PASC-IF神经元的双稀疏SNN推理加速器，可在低开销下实现比标准IF神经元更高的精度，同时降低能耗。
2026-08-20 cs.AR
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
针对结构化稀疏硬件灵活性有限且需微调的问题，提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法，并开发软件框架TASDER，无需微调即可加速DNN，显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
PADE: A Predictor-Free Sparse Attention Accelerator via Unified Execution and Stage Fusion
School of Integrated Circuits, BNRist, Tsinghua University（清华大学集成电路学院，北京信息科学与技术国家研究中心）；School of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
PADE通过统一执行和阶段融合技术，实现无预测的稀疏注意力加速，提升硬件效率和能效。
2026-01-11 cs.AR eess.SP
Implementation of an Adaptive Transformer Accelerator for Accurate Outdoor Localization with Massive MIMO
Lund University（隆德大学）
本文提出一种基于Transformer的5G大规模MIMO实时定位系统，通过稀疏性利用和混合数据流架构实现高效计算，减少延迟并提升定位精度。
2026-09-15 cs.AR
Modeling and Optimizing Performance Bottlenecks for Neuromorphic Accelerators
Harvard University（哈佛大学）；Politecnico di Torino（都灵理工大学）；Intel（英特尔）；LMU Munich（慕尼黑大学）；Accenture Labs（埃森哲实验室）；BootLoop AI；TU Delft（代尔夫特理工大学）；Wordly
本文提出神经形态加速器的性能瓶颈分析与优化方法，通过理论建模和实证研究，建立三种瓶颈状态模型，并结合稀疏性感知训练与分区方法，实现显著的性能提升。
2025-11-26 cs.AR
Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask
Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；Google（谷歌）
稀疏性已经成为压缩和加速深度神经网络（DNN）的有前途的方法之一。在不同的稀疏性类别中，结构化稀疏性由于其在现代加速器上的高效执行而受到更多的关注。特别地，N：M稀疏性是有吸引力的，因为已经存在可以利用某些形式的N：M结构化稀疏性来产生更高计算效率的硬件加速器架构。在这项工作中，我们专注于N：M稀疏性，并在模型精度和计算成本（FLOPs）之间的权衡方面广泛研究和评估N：M稀疏性的各种训练配方。在此基础上，我们提出了两种新的基于衰减的剪枝方法，即“剪枝掩模衰减”和“稀疏结构衰减”。我们的评估表明，这些方法始终提供最先进的（SOTA）模型的准确性，与非结构化稀疏性，基于transformer的模型翻译任务。使用新的训练配方提高稀疏模型的准确性是以总训练计算（FLOPs）的边际增加为代价的。
2022-09-15 cs.AI cs.AR cs.LG
Transitive Array: An Efficient GEMM Accelerator with Result Reuse
本文提出传递稀疏性范式及传递数组加速器，通过有向无环图优化执行顺序并复用计算结果，实现无乘法GEMM加速，相比Olive和BitVert获得显著速度提升与能耗降低。
2025-04-23 cs.AR
SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception
针对现有SNN加速器适应性差、Vmem处理低效及稀疏优化不足的问题，提出可重构数字存内计算加速器SpiDR，支持多精度与零跳过，在65nm工艺下实现5 TOPS/W能效。
2024-11-05 cs.AR cs.LG cs.NE
FAT: An In-Memory Accelerator with Fast Addition for Ternary Weight Neural Networks
Nanyang Technological University（南洋理工大学）
卷积神经网络（CNN）在各种应用中表现出优异的性能，但具有高计算复杂性。应用量化来减少CNN的延迟和存储成本。在量化方法中，二进制和三进制权重网络（BWN和TWN）相对于8位和4位量化具有独特的优势。它们用加法取代CNN中的乘法运算，这在内存计算（IMC）设备上很受欢迎。BWN的IMC加速已经被广泛研究。然而，尽管小波网络比小波网络具有更高的精度和更好的稀疏性，但针对小波网络的内模传播加速研究有限。现有IMC设备上的TW是低效的，因为稀疏性没有被很好地利用，并且加法操作是低效的。在本文中，我们提出FAT作为一种新的IMC加速器的TWN。首先，我们提出了一个稀疏加法控制单元，它利用TWNs的稀疏性跳过零权重的空操作。其次，我们提出一种基于记忆体感测放大器的快速加法方案，以避免进位传播和将进位写回存储单元的时间开销。第三，我们进一步提出了一种组合静态数据映射，以减少激活和权重的数据移动，并增加跨内存列的并行性。仿真结果表明，加法运算在感测放大器的水平，FAT实现了2.00倍的加速比，1.22倍的功率效率，和1.22倍的面积效率相比，国家的最先进的IMC加速器ParaPIM。在平均稀疏度为80%的网络上，FAT与ParaPIM相比实现了10.02倍的加速比和12.19倍的能效。
2022-08-02 cs.AI cs.AR
Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design
Imperial College London（帝国理工学院）；Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
基于注意力的神经网络在许多人工智能任务中已经变得普遍。尽管它们具有出色的算法性能，但使用注意力机制和前馈网络（FFN）需要过多的计算和存储器资源，这通常会损害它们的硬件性能。虽然已经引入了各种稀疏变体，但大多数方法仅关注于减轻算法级别上的注意力的二次缩放，而没有明确考虑将其方法映射到实际硬件设计上的效率。此外，大多数努力只集中在注意力机制或FFN，但没有联合优化这两个部分，导致大多数当前的设计缺乏可扩展性时，处理不同的输入长度。本文从硬件的角度系统地考虑了不同变体中的稀疏模式。在算法层面上，我们提出了FABNet，一个硬件友好的变体，采用统一的蝴蝶稀疏模式来近似注意力机制和FFN。在硬件层面上，提出了一种新的自适应蝶形加速器，可以在运行时通过专用的硬件控制配置，以加速不同的蝶形层使用一个统一的硬件引擎。在Long-Range-Arena数据集上，FABNet实现了与普通Transformer相同的精度，同时将计算量减少了10到66倍，参数数量减少了2到22倍。通过联合优化算法和硬件，我们基于FPGA的蝶形加速器实现了14.2到23.2倍的加速比，超过了标准化为相同计算预算的最先进的加速器。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，在相同的功耗预算下，我们的系统速度分别提高了273.8和15.1倍。
2022-09-20 cs.AR cs.LG
Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）；ICT, Chinese Academy of Sciences（中国科学院计算技术研究所）
Deltoris作为算法-硬件协同设计框架，通过时间感知比特级稀疏性、推测性推理及定制加速器，实现具身AI中实时VLA推理，加速比显著且精度相当。
2026-08-06 cs.AR cs.LG
A Sparsity-Aware Autonomous Path Planning Accelerator with HW/SW Co-Design and Multi-Level Dataflow Optimization
本文提出一种基于FPGA的稀疏感知路径规划加速框架，通过软硬件协同设计、定制稀疏矩阵运算单元和多级数据流优化，在ZCU102平台上实现了优于CPU、GPU及现有FPGA方案的延迟、能效和吞吐量。
2025-07-22 cs.AR
BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator
University of Southern California（南加州大学）；Yale University（耶鲁大学）
研究针对双边位串行稀疏推理加速器工作负载不平衡问题，提出BRIM。它采用循环平衡剪枝和成对时隙捐赠两种机制，在等面积约束下评估，能提高PE利用率，实现显著加速和能效提升。
2026-07-23 cs.AI cs.AR
FPGA Co-Design for Efficient N:M Sparse and Quantized Model Inference
本文提出了一种FPGA协同设计方法，通过N:M稀疏性和量化技术提升LLM在资源受限环境下的推断效率。
2026-01-20 cs.AR cs.LG
Designing Spatial Architectures for Sparse Attention: STAR Accelerator via Cross-Stage Tiling
School of Integrated Circuits, Tsinghua University（清华大学集成电路学院）；Shanghai AI Lab（上海人工智能实验室）
STAR加速器通过跨阶段分片技术提升Transformer推理效率，实现9.2倍速度和71.2倍能效，同时优化多核架构以处理超长序列。
2025-12-24 cs.AR eess.SP
Multiply-and-Fire (MNF): An Event-driven Sparse Neural Network Accelerator
National University of Singapore（新加坡国立大学）
机器学习，特别是深度神经网络推理，已经成为许多计算系统的重要工作负载，从数据中心和HPC系统到基于边缘的计算。随着稀疏性的进步帮助提高了AI加速的效率，对于高性能和系统级加速来说，仍然需要提高系统效率。这项工作采用事件（或激活驱动）方法对稀疏性进行了独特的研究，旨在最大限度地减少无用工作，提高利用率，并提高性能和能源效率。我们的分析和实验结果表明，这种事件驱动的解决方案为CNN和MLP工作负载提供了一个新的方向，可以实现高效的AI推理。这项工作展示了最先进的能源效率和性能，其核心是基于激活的稀疏性和一种高度并行的可提高整体功能单元利用率（以30 fps）的方法。这项工作将能源效率提高了1.46 $\times$。总之，这种方法为下一代AI加速平台实现高效率，高性能设计提供了一个新的新方向。
2022-04-20 cs.AI cs.AR
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
FlexNN: A Dataflow-aware Flexible Deep Learning Accelerator for Energy-Efficient Edge Devices
本文提出FlexNN，一种面向边缘设备的灵活深度学习加速器，通过软件可配置描述符支持任意数据流以优化逐层数据移动和能耗，并结合细粒度稀疏性加速逻辑跳过冗余计算，显著提升了性能与能效。
2024-04-11 cs.AR cs.NE
SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive Thresholding
提出SLIM算法-硬件协同设计，通过自适应阈值化算法利用LLM稀疏性并结合NSP与PIM异构架构，大幅减少数据移动与能耗，在边缘设备上实现了显著的吞吐量和能效提升。
2025-07-12 cs.AR cs.DC
CoDR: Computation and Data Reuse Aware CNN Accelerator
University of Michigan（密歇根大学）
计算和数据重用对于资源有限的卷积神经网络（CNN）加速器至关重要。本文提出了通用计算重用，以在卷积层中同时利用权重稀疏性，重复性和相似性。此外，CoDR通过提出定制的行程长度编码方案来降低权重存储器访问的成本，并且通过引入输入和输出稳态递归来减少对中间结果的存储器访问的次数。与最近两个面积相同为2.85 mm^2的压缩CNN加速器相比，CoDR将SRAM访问减少了5.08倍和7.99倍，能耗减少了3.76倍和6.84倍。
2021-04-20 cs.AI cs.AR cs.LG
