S4: a High-sparsity, High-performance AI Accelerator
Moffett AI；The Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
利用神经网络底层的稀疏性已经成为减少推理过程中的内存占用、I/O成本和计算工作量的最有潜力的方法之一。随着更大的模型尺寸以及预训练巨型模型的趋势，可以利用的稀疏度变得更高。另一方面，与已经被广泛支持的量化选项相比，大多数计算平台不支持通过高度稀疏性的加速。在这项工作中，我们介绍了第一个商业硬件平台，支持高度稀疏加速高达32倍-S4。结合最先进的稀疏修剪技术，我们在S4上展示了几倍于Nvidia T4等主流推理平台的实际推理加速。我们还表明，在实践中，一个稀疏的模型，更大的尺寸可以实现更高的精度和更高的吞吐量比一个密集的模型，更小的尺寸。
2022-07-16 cs.AR cs.LG
Mixed-Precision Training and Compilation for RRAM-based Computing-in-Memory Accelerators
RWTH Aachen University, Germany（亚琛工业大学，德国）；RooflineAI GmbH, Germany（RooflineAI GmbH，德国）
本文提出混合精度训练与编译框架，解决RRAM计算在内存加速器中量化参数搜索空间大、精度与速度平衡的问题，实现2.48倍速度提升和0.086%精度损失。
2026-03-19 cs.ET cs.LG
Spartus: A 9.4 TOp/s FPGA-based LSTM Accelerator Exploiting Spatio-Temporal Sparsity
Institute of Neuroinformatics, University of Zurich（苏黎世大学神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）
长短期记忆（LSTM）递归网络经常用于涉及时间序列数据的任务，例如语音识别。与之前利用空间权重稀疏性或时间激活稀疏性的LSTM加速器不同，本文提出了一种名为“Spartus”的新加速器，它利用时空稀疏性来实现超低延迟推理。空间稀疏性是使用一种新的列平衡目标丢弃（CBTD）结构化修剪方法，产生结构化稀疏权重矩阵的平衡工作量。在Spartus硬件上运行的修剪网络实现了高达96%和94%的权重稀疏水平，TIMIT和Librispeech数据集的准确性损失可以忽略不计。为了在LSTM中引入时间稀疏性，我们将以前的DeltaGRU方法扩展到DeltaLSTM方法。将时空稀疏性与CBTD和DeltaLSTM相结合可以节省权重内存访问和相关的算术运算。Spartus架构具有可扩展性，在小型和大型FPGA上实现时均支持实时在线语音识别。Spartus对于1024个神经元的单个DeltaLSTM层的每个样本延迟平均为1 us。使用TIMIT数据集在我们的测试LSTM网络上利用时空稀疏性，使Spartus的速度比其理论硬件性能提高了46倍，实现了9.4 TOp/s的有效批处理吞吐量和1.1 TOp/s/W的功率效率。
2022-06-13 cs.AI cs.AR cs.CV
A High-Level Compiler Integration Approach for Deep Learning Accelerators Supporting Abstraction and Optimization
Technical University of Munich（慕尼黑技术大学）；TU Wien（维也纳技术大学）
本文提出基于TVM的高层编译器集成方法，结合CoSA设计空间探索自动调度张量，在Gemmini上实现与手工工具链相当的性能，简化GEMM类深度学习加速器集成。
2025-07-07 cs.LG
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
Accelerating Edge AI with Morpher: An Integrated Design, Compilation and Simulation Framework for CGRAs
National University of Singapore（新加坡国立大学）
本文介绍了开源架构自适应CGRA设计框架Morpher，通过集成编译、仿真与验证工具，支持将AI内核自动编译至用户定义架构，加速边缘AI应用的高效编译与功能验证。
2023-09-12 cs.AR cs.LG cs.PF
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration
University of Rochester（罗切斯特大学）；Arm ML Research Lab（Arm机器学习研究实验室）
利用稀疏性是在移动设备上加速量化卷积神经网络（CNN）推理的关键技术。现有的稀疏CNN加速器在很大程度上利用了非结构化的稀疏性，并实现了显著的加速。然而，由于无边界的、在很大程度上不可预测的稀疏模式，利用非结构化稀疏性需要复杂的硬件设计，具有显著的能量和面积开销，这对于能量和面积效率至关重要的移动/物联网推理场景尤其不利。我们建议利用结构化稀疏性，更具体地说，密度约束块（DBB）稀疏的权重和激活。DBB块张量限制了每个块的最大非零数量。因此，DBB暴露了静态可预测的稀疏模式，使精益稀疏利用硬件。我们提出了新的硬件原语实现DBB稀疏（静态）权重和（动态）激活，分别具有非常低的开销。在原语的基础上，我们描述了S2 TA，一个基于脉动阵列的CNN加速器，它利用了传统脉动阵列上不可用的联合权重和激活DBB稀疏性以及数据重用的新维度。在五个流行的CNN基准测试中，与具有零值时钟门控的脉动阵列的强基线相比，16 nm的S2 TA实现了超过2倍的加速和能量降低。与最近的两个非收缩稀疏加速器Eyeriss v2（65 nm）和Sparten（45 nm）相比，65 nm的S2 TA每次推理分别使用约2.2倍和3.1倍的能量。
2022-01-06 cs.AR cs.LG
Efficient Compilation and Mapping of Fixed Function Combinational Logic onto Digital Signal Processors Targeting Neural Network Inference and Utilizing High-level Synthesis
University of Southern California（南加州大学）
最近的努力，以提高性能的神经网络（NN）的加速器，以满足今天的应用需求已经引起了一个新的趋势，基于逻辑的NN推理依赖于固定功能的组合逻辑。将具有许多输入变量和乘积项的大型布尔函数映射到现场可编程门阵列（FPGA）上的数字信号处理器（DSP）需要考虑DSP块的结构和可重构性的新框架。本文提出的方法将固定功能组合逻辑块映射到一组布尔函数，其中与每个函数对应的布尔运算映射到DSP设备而不是FPGA上的查找表（LUT），以利用DSP块的高性能、低延迟和并行性。本文还提出了一种创新的设计和优化方法的编译和映射的神经网络，利用固定功能的组合逻辑DSP的FPGA上采用高级综合流程。我们在几个\REVone{datasets}和选定NN上的实验评估证明了我们的框架在推理延迟和输出准确性方面与采用DSP的现有技术基于FPGA的NN加速器相比的相当性能。
2022-07-30 cs.AR cs.LG
BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification
University of Tehran（德黑兰大学）；Arizona State University（亚利桑那州立大学）；University of Southern California（南加州大学）
本文首先提出了一种硬件友好的剪枝算法，用于降低长短期记忆（LSTM）神经网络加速器的能量消耗，提高加速速度。接下来，介绍了一个基于FPGA的平台，有效地执行基于所提出的算法的修剪网络。通过考虑LSTM模型的两个权重矩阵在修剪中的敏感性，可以使用不同的稀疏率（即，双比率稀疏性）应用于这些权重矩阵。为了减少存储器访问，采用了逐行稀疏模式。该硬件架构利用计算重叠和流水线技术实现低功耗和高速。在自然语言处理、二进制情感分类和语音识别的一些基准测试下，评估了所提出的剪枝算法和加速器的有效性。结果显示，例如，与最近发表的工作相比，该加速器可以提供高达272%的有效GOPS/W，并且对于PTB数据集的困惑度误差减少了高达1.4%。
2021-01-07 cs.AR cs.LG
AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers
Princeton University（普林斯顿大学）
针对Transformer加速中计算开销高、硬件利用率低的问题，提出低开销动态剪枝方案DynaTran与分块数据流，设计稀疏感知加速器AccelTran，在准确率、稀疏度、吞吐量与能效上均优于现有方案。
2023-05-01 cs.AR cs.LG
FLAASH: Flexible Accelerator Architecture for Sparse High-Order Tensor Contraction
School of EECS, Oregon State University（俄勒冈州立大学电气与计算机工程学院）
本文提出FLAASH，一种面向稀疏高阶张量收缩的灵活模块化加速器架构，通过将稀疏点积分配给多个稀疏点积引擎（SDPEs）实现并行计算，在深度学习工作负载上获得超过25倍加速，并随稀疏性和阶数增加展现显著性能提升。
2024-04-25 cs.AR cs.LG
SQ-DM: Accelerating Diffusion Models with Aggressive Quantization and Temporal Sparsity
University of Michigan（密歇根大学）；NVIDIA（英伟达）
针对扩散模型推理慢的问题，提出对权重和激活值进行激进量化并利用时间稀疏性，设计了异构混合精度密集-稀疏架构的加速器，在保持4比特生成质量的同时实现6.91倍加速与51.5%节能。
2025-01-26 cs.AI cs.AR cs.CV
Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator
Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
针对固定N:M稀疏性限制LLM表达力的问题，提出FLOW方法灵活选择逐层N:M值，并设计FlexCiM数字存内计算架构以低开销支持多样稀疏模式，实现最高36%准确率提升及1.75倍延迟和1.5倍能耗降低。
2025-04-19 cs.AI cs.AR cs.LG
SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University（亚利桑那州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出SCATTER算法-电路联合稀疏光子加速器，结合原位光再分配、功率门控与串扰感知稀疏训练，在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University（科罗拉多州立大学）
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署，因为它们提供紧凑的模型大小，同时保持推理准确性。由于参数矩阵的稀疏性，稀疏神经网络原则上可以在加速器架构中被利用，以改善能量效率和延迟。然而，为了在实践中实现这些改进，需要探索稀疏感知的软硬件协同设计。在本文中，我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明，与最先进的稀疏电子神经网络加速器相比，SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比，可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto（多伦多大学）；York University（约克大学）
在这项工作中，PRUNIX，一个框架，用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应，包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化，旨在提高非理想性容限以及稀疏性，以及一种新的自适应修剪算法（APA），旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较，并观察到当量化和其他非理想效应被占时，测试精度提高了13%，总体稀疏度为85%，这与其他方法相似
2022-02-03 cs.AR cs.LG
Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators
Bose Corp.（博士音响公司）；University of Oldenburg（奥尔登堡大学）
我们探索网络稀疏化策略，目的是将神经语音增强（SE）压缩到新一代基于低功耗微控制器的神经加速器（microNPU）的最佳配置。我们研究了三种独特的稀疏结构：权重修剪，块修剪和单元修剪，并讨论了它们的优点和缺点时，适用于SE。我们专注于计算吞吐量，内存占用和模型质量之间的相互作用。我们的方法支持上述所有三种结构，并联合学习整数量化权重和稀疏性。此外，我们展示了离线幅度为基础的修剪整数量化模型作为性能基线。虽然有效的语音增强是一个活跃的研究领域，我们的工作是第一个应用块修剪SE和第一个解决SE模型压缩的microNPU的上下文中。使用权重修剪，我们表明我们能够将已经紧凑的模型的内存占用从3.7MB压缩到87kB，同时仅损失0.1 dB SDR的性能。我们还显示了6.7倍的计算加速比，使用块修剪时相应的SDR下降仅为0.59 dB SDR。
2021-11-09 cs.LG cs.SD eess.AS
BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration
Cornell University（康奈尔大学）
本文提出双向比特稀疏性BBS及免重训二值剪枝、张量编码方案，并协同设计BitVert比特串行加速器，在七个DNN上实现模型压缩、加速与节能。
2024-09-08 cs.AR cs.LG
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题，提出ELSA方法，兼顾加速器支持的稀疏等级与吞吐量，以极小精度损失实现ViT的内存与推理效率提升，在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）；Tsinghua University（清华大学）
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器（如TPU）的高优先级。稀疏性的结构，即，修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式，使其更适合硬件加速，但保持相同的精度更具挑战性。在本文中，我们定量地衡量稀疏规律性和预测精度之间的权衡，提供了如何保持准确性，同时有更多的结构化稀疏模式的见解。我们的实验结果表明，粗粒度的修剪可以实现类似于非结构化修剪的稀疏率，而不会损失准确性。此外，由于索引节省效果，粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器（SCNN），我们的实验进一步证明，与细粒度稀疏相比，粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上，稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
LAPA: Log-Domain Prediction-Driven Dynamic Sparsity Accelerator for Transformer Model
School of Integrated Circuits Tsinghua University Beijing, China（集成电路学院清华大学北京中国）；School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China（集成电路学院清华大学北京中国上海人工智能实验室上海中国）
LAPA通过设计不对称领先一计算方案和混合精度多轮位移累积机制，提升Transformer模型的计算效率和能效。
2025-11-26 cs.CV cs.LG
HighLight: Efficient and Flexible DNN Acceleration with Hierarchical Structured Sparsity
MIT（麻省理工学院）；NVIDIA（英伟达）
本文提出分层结构化稀疏性 HSS 及加速器 HighLight，用简单稀疏模式分层表示多种稀疏度，以低硬件开销灵活加速稠密与稀疏 DNN，EDP 最高改善 6.4 倍。
2023-10-01 cs.AR cs.LG
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
针对结构化稀疏硬件灵活性有限且需微调的问题，提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法，并开发软件框架TASDER，无需微调即可加速DNN，显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask
Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；Google（谷歌）
稀疏性已经成为压缩和加速深度神经网络（DNN）的有前途的方法之一。在不同的稀疏性类别中，结构化稀疏性由于其在现代加速器上的高效执行而受到更多的关注。特别地，N：M稀疏性是有吸引力的，因为已经存在可以利用某些形式的N：M结构化稀疏性来产生更高计算效率的硬件加速器架构。在这项工作中，我们专注于N：M稀疏性，并在模型精度和计算成本（FLOPs）之间的权衡方面广泛研究和评估N：M稀疏性的各种训练配方。在此基础上，我们提出了两种新的基于衰减的剪枝方法，即“剪枝掩模衰减”和“稀疏结构衰减”。我们的评估表明，这些方法始终提供最先进的（SOTA）模型的准确性，与非结构化稀疏性，基于transformer的模型翻译任务。使用新的训练配方提高稀疏模型的准确性是以总训练计算（FLOPs）的边际增加为代价的。
2022-09-15 cs.AI cs.AR cs.LG
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University（斯坦福大学）
本文研究了CNN的结构化稀疏训练，采用逐步修剪技术，在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构，以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间，稀疏水平，和学习率配置方面的各种权衡。我们表明，我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本，同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性，我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明，与70%的目标稀疏，超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Compilation and Optimizations for Efficient Machine Learning on Embedded Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Advanced Digital Sciences Center（先进数字科学中心）；Georgia Institute of Technology（佐治亚理工学院）；University of California Irvine（加州大学欧文分校）
深度神经网络（DNN）在各种机器学习（ML）应用中取得了巨大成功，在计算机视觉、自然语言处理和虚拟现实等领域提供了高质量的推理解决方案。和小的形状因子。挑战还来自各种特定于应用的要求，包括实时响应、高吞吐量性能和可靠的推理准确性。为了应对这些挑战，我们引入了一系列有效的设计方法，包括高效的ML模型设计，定制的硬件加速器设计和硬件/软件协同设计策略，以实现嵌入式系统上的高效ML应用。
2022-08-26 cs.AR cs.LG
Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches
Applied AI（应用人工智能）；Artificial Intelligence Research Institute（人工智能研究所）；HSE University（俄罗斯高等经济大学）；Sb AI Lab（Sb人工智能实验室）；MWS AI（MWS人工智能）；Yandex；Independent Researcher（独立研究者）
本文通过基准测试轻量级后训练稀疏化方法，探讨了灵活（N:M）激活稀疏化在大语言模型中的应用，展示了激活稀疏化在保持生成能力方面的优势，并提出了适用于未来硬件的稀疏化模式。
2026-04-24 cs.AI cs.LG
FlexSA: Flexible Systolic Array Architecture for Efficient Pruned DNN Model Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现代深度学习模型具有高内存和计算成本。为了使它们快速和节省内存，通常使用结构化模型修剪。我们发现，修剪模型使用一个共同的训练加速器与大型脉动阵列是非常低效的性能。为了使脉动阵列有效的修剪和训练，我们提出了FlexSA，一个灵活的脉动阵列架构。FlexSA动态地重新配置脉动阵列结构，并提供多种亚脉动操作模式，这些模式专为不同大小和形状的张量的节能和内存带宽高效处理而设计。我们还提出了一个编译启发式平铺矩阵乘法和累加操作的培训工作量，以最好地利用FlexSA的资源。根据我们的评估，与具有大型脉动阵列的传统训练加速器相比，具有所提出的编译启发式的FlexSA将修剪和训练现代CNN模型的计算资源利用率提高了37%。FlexSA还将片上数据重用提高了1.7倍，与原始脉动阵列拆分相比节省了28%的能量。
2020-04-27 cs.AR cs.LG
Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
University of Maryland（马里兰大学）
本文提出一种基于机器学习的方法，利用决策树和深度强化学习为不同稀疏模式的SpGEMM任务自适应选择最优数据流方案，相比传统启发式方法可获得高达28倍的性能提升。
2024-08-29 cs.LG
SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception
针对现有SNN加速器适应性差、Vmem处理低效及稀疏优化不足的问题，提出可重构数字存内计算加速器SpiDR，支持多精度与零跳过，在65nm工艺下实现5 TOPS/W能效。
2024-11-05 cs.AR cs.LG cs.NE
SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University（上海交通大学电子信息与电气工程学院）
电阻式随机存取存储器（ReRAM）交叉开关是一种用于深度神经网络（DNN）加速器的很有前途的技术，这得益于其用于向量矩阵乘法和累加（VMM）的存储器内和原位模拟计算能力。然而，利用DNN中的稀疏性对于交叉开关架构是具有挑战性的。由于紧耦合交叉结构的限制，利用细粒度稀疏性不可避免地会导致复杂和昂贵的控制。作为对策，我们开发了一种新的基于ReRAM的DNN加速器，命名为稀疏乘法引擎（SME），基于硬件和软件协同设计框架。首先，我们编排的比特稀疏模式，以增加密度的比特稀疏的基础上现有的量化方法。其次，我们提出了一种新的权重映射机制，将权重的位跨横杆进行切片，并将激活结果拼接到外围电路中。该机制可以解耦紧耦合的交叉结构，并在交叉结构中累积稀疏性。最后，一个更好的挤出方案清空了前两个步骤中映射有高度稀疏非零的交叉杆。我们设计了SME架构，并讨论了它在其他量化方法和不同ReRAM单元技术中的用途。与现有的最先进的设计相比，SME使用Resent-50和MobileNet-v2分别将交叉杆的使用缩小到8.7倍和2.1倍，ImageNet的准确率下降不到0.3%。
2021-03-02 cs.AR cs.CV cs.LG
Pruning for Improved ADC Efficiency in Crossbar-based Analog In-memory Accelerators
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文提出交叉阵列适配剪枝方法D.U.B.，通过限制稀疏度为2的离散幂并鼓励列间非结构化与平衡稀疏性，有效降低模数转换器能耗，在VGG11和ResNet18上实现最高7.13倍ADC能效提升且准确率下降不到1%。
2024-03-19 cs.ET cs.LG
PCNN: Pattern-based Fine-Grained Regular Pruning towards Optimizing CNN Accelerators
Tsinghua University（清华大学）；Northeastern University（东北大学）；Xi’an Jiaotong University（西安交通大学）；Institute for Interdisciplinary Information Core Technology（交叉信息核心技术研究院）
权值修剪是实现模型压缩的一种有效方法。我们提出了PCNN，一个细粒度的规则的一维修剪方法。提出了一种新的稀疏模式掩码（SPM）索引格式，用于对PCNN中的稀疏性进行编码。利用有限剪枝模式的SPM和等长非零序列，PCNN可以有效地在硬件中使用。在VGG-16和ResNet-18上进行评估，我们的PCNN实现了高达8.4倍的压缩率，精度损失仅为0.2%。我们还实现了一个模式感知架构在55纳米工艺，实现了高达9.0倍的加速比和28.39 TOPS/W的效率，只有3.1%的索引片上存储器开销。
2020-06-15 cs.LG stat.ML
MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with Co-designed Compressed Neural Networks
National Tsing Hua University（台湾清华大学）；Information and Communication Labs, Industrial Technology Research Institute（工业技术研究院资讯与通讯研究所）
卷积神经网络（CNN）在深度学习应用中起着关键作用。然而，CNN的大量存储开销和大量计算成本在硬件加速器中是有问题的。内存计算（CIM）体系结构在有效计算大规模矩阵向量乘法方面表现出巨大的潜力。然而，密集的乘法和累加（MAC）操作执行的交叉阵列和有限的能力的CIM宏仍然是瓶颈，进一步提高能源效率和吞吐量。为了减少计算量，网络修剪和量化是两种广泛研究的压缩方法，以缩小模型的大小。然而，大多数模型压缩算法只能在基于数字的CNN加速器中实现。为了在基于静态随机存取存储器（SRAM）CIM的加速器中实现，模型压缩算法必须考虑CIM宏的硬件限制，例如可以同时导通的字线和位线的数量，以及如何将权重映射到SRAM CIM宏。在这项研究中，提出了一种软件和硬件协同设计的方法来设计一个SRAM的基于CIM的CNN加速器和SRAM的CIM感知模型压缩算法。为了减少批量归一化（BN）对MAC的高精度要求，提出了一种将BN融合到权值中的量化算法。此外，为了减少网络参数的数量，稀疏算法，考虑了CIM架构的建议。最后，MARS，基于CIM的CNN加速器，可以利用多个SRAM CIM宏作为处理单元，并支持稀疏神经网络，提出。
2021-05-25 cs.AR cs.ET cs.LG
Enabling Efficient and Flexible FPGA Virtualization for Deep Learning in the Cloud
Tsinghua University（清华大学）
FPGA在为深度神经网络（DNN）推理应用提供低延迟和高能效解决方案方面显示出巨大的潜力。目前，大多数基于FPGA的DNN加速器在云中以时分复用的方式运行，用于多个用户共享单个FPGA，并且需要重新编译$\sim$ 100 s开销。这种设计导致多用户隔离性差，性能损失严重，无法为公有云和私有云场景提供高效灵活的FPGA虚拟化。为了解决这些问题，我们介绍了一种新的虚拟化框架的指令架构集（ISA）的基础上DNN加速器共享一个FPGA。我们通过引入两级指令调度模块和基于多核的硬件资源池来实现隔离。这样的设计提供了隔离的和运行时可编程的硬件资源，进一步导致多个用户的性能隔离。另一方面，为了克服重编译的开销，我们提出了一种基于分片的指令框架包设计和两阶段的静态-动态编译。仅对轻量级的运行时信息进行重新编译，开销为$\sim$ 1 ms，保证了私有云的性能。我们广泛的实验结果表明，所提出的虚拟化设计实现了1.07- 1.69倍和1.88- 3.12倍的吞吐量提高比以前的静态设计使用单核和多核架构，分别。
2020-03-26 cs.AR cs.DC cs.LG
Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design
Imperial College London（帝国理工学院）；Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
基于注意力的神经网络在许多人工智能任务中已经变得普遍。尽管它们具有出色的算法性能，但使用注意力机制和前馈网络（FFN）需要过多的计算和存储器资源，这通常会损害它们的硬件性能。虽然已经引入了各种稀疏变体，但大多数方法仅关注于减轻算法级别上的注意力的二次缩放，而没有明确考虑将其方法映射到实际硬件设计上的效率。此外，大多数努力只集中在注意力机制或FFN，但没有联合优化这两个部分，导致大多数当前的设计缺乏可扩展性时，处理不同的输入长度。本文从硬件的角度系统地考虑了不同变体中的稀疏模式。在算法层面上，我们提出了FABNet，一个硬件友好的变体，采用统一的蝴蝶稀疏模式来近似注意力机制和FFN。在硬件层面上，提出了一种新的自适应蝶形加速器，可以在运行时通过专用的硬件控制配置，以加速不同的蝶形层使用一个统一的硬件引擎。在Long-Range-Arena数据集上，FABNet实现了与普通Transformer相同的精度，同时将计算量减少了10到66倍，参数数量减少了2到22倍。通过联合优化算法和硬件，我们基于FPGA的蝶形加速器实现了14.2到23.2倍的加速比，超过了标准化为相同计算预算的最先进的加速器。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，在相同的功耗预算下，我们的系统速度分别提高了273.8和15.1倍。
2022-09-20 cs.AR cs.LG
CoDR: Computation and Data Reuse Aware CNN Accelerator
University of Michigan（密歇根大学）
计算和数据重用对于资源有限的卷积神经网络（CNN）加速器至关重要。本文提出了通用计算重用，以在卷积层中同时利用权重稀疏性，重复性和相似性。此外，CoDR通过提出定制的行程长度编码方案来降低权重存储器访问的成本，并且通过引入输入和输出稳态递归来减少对中间结果的存储器访问的次数。与最近两个面积相同为2.85 mm^2的压缩CNN加速器相比，CoDR将SRAM访问减少了5.08倍和7.99倍，能耗减少了3.76倍和6.84倍。
2021-04-20 cs.AI cs.AR cs.LG
Stripe: Tensor Compilation via the Nested Polyhedral Model
Intel（英特尔公司）
硬件架构和机器学习（ML）库发展迅速。传统的编译器通常无法在各种新硬件产品中生成高性能代码。为了缓解这种情况，工程师们为每个ML库更新和硬件升级开发了手动调优的内核。不幸的是，这种方法需要过多的工程工作来扩展或维护任何程度的最先进的性能。在这里，我们提出了一个嵌套多面体模型表示高度并行化的计算有限的依赖关系之间的迭代。该模型为称为Stripe的中间表示（IR）提供了一个底层框架，该框架适用于标准编译器技术，同时自然地对现代ML计算的关键方面进行建模。Stripe代表了并行性、高效的内存布局和多个计算单元，这些计算单元处于一个可自动优化的抽象级别。我们描述了Stripe如何以LLVM的风格为ML启用编译器，允许独立开发算法，优化和硬件加速器。我们还讨论了Stripe相对于内核库和基于调度或基于调度空间的代码生成的设计探索优势。
2019-03-14 cs.DC cs.LG
BitStopper: An Efficient Transformer Attention Accelerator via Stage-fusion and Early Termination
School of Integrated Circuits Tsinghua University Beijing, China（集成电路学院清华大学北京中国）；School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China（集成电路学院清华大学北京中国上海人工智能实验室上海中国）
BitStopper通过阶段融合和提前终止技术，提升Transformer注意力加速器的效率和能效。
2025-12-06 cs.LG eess.SP
FPGA Co-Design for Efficient N:M Sparse and Quantized Model Inference
本文提出了一种FPGA协同设计方法，通过N:M稀疏性和量化技术提升LLM在资源受限环境下的推断效率。
2026-01-20 cs.AR cs.LG
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
VUSA: Virtually Upscaled Systolic Array Architecture to Exploit Unstructured Sparsity in AI Acceleration
NXP Semiconductors（恩智浦半导体）；University of Bremen（不莱梅大学）
VUSA提出一种基于非结构化稀疏性虚拟扩展的脉动阵列架构，在不增加物理乘加单元的情况下执行更大矩阵乘法，实现面积和能效显著优化，并支持任意稀疏度的通用AI加速。
2025-06-01 cs.AI cs.AR cs.LG
SparseDitto: An Agentic Sparse Compilation Framework through Architecture-Aware Synthesis on GPUs
University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
SparseDitto是基于LLM的系统，可为不同矩阵、算子和GPU定制稀疏矩阵GPU内核，在多类算子与GPU上较cuSPARSE实现显著加速，还可提升GCN训练速度。
2026-09-11 cs.DC cs.LG
UCNN: Exploiting Computational Reuse in Deep Neural Networks via Weight Repetition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
卷积神经网络（CNN）由于其每次操作的高精度和机器效率，已经开始渗透到电子社会的各个角落（从话音识别到场景生成）。在其核心，CNN计算由权重和输入向量之间的多维点积组成。本文研究了如何在CNN推理过程中利用权重重复--当相同的权重在权重向量中或权重向量之间多次出现时--来节省能量并提高性能。这概括了从CNN权重稀疏性提高效率的流行工作路线，因为由于重复的零权重而减少计算是由于重复的权重而减少计算的特殊情况。为了利用权重重复，本文提出了一种新的CNN加速器，称为唯一权重CNN加速器（UCNN）。UCNN使用权重重复来重用CNN子计算（例如，点积），并在存储在片外DRAM中时减小CNN模型大小-这两者都节省了能量。UCNN通过利用权重的稀疏性进一步提高了性能。我们使用加速器级循环和能量模型以及UCNN处理元素的RTL实现来评估UCNN。在三个当代CNN上，相对于使用Eyeriss风格稀疏优化的类似配置的基线加速器，UCNN将吞吐量归一化能耗提高了1.2 - 4倍。与此同时，UCNN处理元素相对于相同的基线仅增加了17-24%的面积开销。
2018-04-18 cs.LG cs.NE
Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights
School of Computing Informatics and Decision Systems Engineering at Arizona State University（亚利桑那州立大学计算、信息科学与工程学院）；Computer Science and Artificial Intelligence Laboratory at Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；School of Computer Science at University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学学院）；Parallel Computing Lab at Intel Labs（英特尔实验室并行计算实验室）
机器学习（ML）模型在许多重要领域中得到了广泛的应用。为了有效地处理这些计算和内存密集型应用程序，这些过参数化模型的张量通过利用张量的稀疏性、尺寸减小和量化来压缩。非结构化的稀疏性和不同维度的张量会产生不规则的计算、通信和内存访问模式;以传统方式在硬件加速器上处理它们本身并不能利用加速机会。本文对ML模型在硬件加速器上的稀疏和不规则张量计算的有效执行进行了全面的调查。特别是，它讨论了架构设计和软件支持中的增强模块;对不同的硬件设计和加速技术进行了分类，并根据硬件和执行成本对其进行了分析;分析了最近DNN可实现的加速;强调了硬件/软件/模型协同设计优化（模块间/模块内）方面的进一步机会。本文的要点包括：理解加速稀疏，不规则形状和量化张量的关键挑战;理解加速器系统中支持其有效计算的增强功能;分析选择编码，存储，提取，通信，计算和负载平衡非零的特定设计选择的权衡;理解结构化稀疏性如何提高存储效率和平衡计算;理解如何在加速器上编译和映射具有稀疏张量的模型;理解最近的设计趋势，以实现有效的加速和进一步的机会。
2021-07-22 cs.AR cs.CV cs.DC
SWIS -- Shared Weight bIt Sparsity for Efficient Neural Network Acceleration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
量化是神经网络计算系统性能和效率提高的先锋，正在向商品硬件迈进。我们提出了SWIS -共享权重位稀疏，有效的神经网络推理加速提供了改进的性能和存储压缩，通过离线权重分解和调度算法的量化框架。SWIS可以实现高达54.3%（19.8%）的点精度提高相比，权重截断时量化MobileNet-v2到4（2）位后训练（与再训练）显示利用共享位稀疏的权重的强度。SWIS加速器给出了高达6倍的加速比和1.9倍的能源改善，超过了最先进的位串行架构。
2021-03-03 cs.LG
CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way
Perceptin Inc.（Perceptin公司）；William & Mary（威廉与玛丽学院）；North Carolina State University（北卡罗来纳州立大学）；Northeastern University（东北大学）
假设硬件是实现实时移动智能的主要限制，业界主要致力于开发用于机器学习和推理的专用硬件加速器。本文对这一假设提出了质疑。通过借鉴最近的实时AI优化框架CoCoPIE，它认为通过有效的压缩编译器协同设计，可以在主流终端设备上实现实时人工智能，而无需特殊硬件。CoCoPIE是一个软件框架，在移动AI方面拥有众多记录：第一个支持所有主要DNN类型的框架，从CNN到RNN，Transformer，语言模型等;最快的DNN修剪和加速框架，与TensorFlow-Lite等其他框架上的DNN修剪相比，速度高达180倍;使许多代表性的人工智能应用程序能够在现成的移动设备上实时运行，而这些移动设备以前被认为只有在特殊的硬件支持下才有可能实现;使得现成的移动设备在能量效率和/或性能方面优于许多代表性的ASIC和FPGA解决方案。
2020-05-14 cs.LG cs.PF stat.ML
ViTCoD: Vision Transformer Acceleration via Dedicated Algorithm and Accelerator Co-Design
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
针对ViTs自注意力模块硬件效率受限的问题，提出算法与加速器协同设计框架ViTCoD，通过注意力图剪枝极化与轻量级auto-encoder减少数据移动，并设计专用加速器提升利用率，在90%稀疏度下最高实现235.3倍加速。
2025-03-03 cs.AR cs.CV cs.LG
Sparse Compressed Spiking Neural Network Accelerator for Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）
受人类大脑启发的脉冲神经网络（SNN）最近由于其用于传输二进制脉冲和高度稀疏激活图的相对简单和低功耗硬件而变得流行。然而，由于SNN包含额外的时间维度信息，SNN加速器将需要更多的缓冲区并花费更长的时间来推断，特别是对于更困难的高分辨率目标检测任务。因此，本文提出了一种稀疏压缩的脉冲神经网络加速器，它利用激活映射和权重的高稀疏性，通过利用所提出的门控一对所有产品进行低功耗和高度并行的模型执行。在IVS 3cls数据集上的神经网络实验结果显示，混合（1，3）时间步长的71.5 $\%$ mAP。采用台积电28 nm CMOS工艺的加速器在500 MHz下运行时可实现1024 $\times$ 576@29帧/秒的处理，能效为35.88 TOPS/W，每帧能耗为1.05 mJ。
2022-05-02 cs.AR cs.CV cs.LG
Skydiver: A Spiking Neural Network Accelerator Exploiting Spatio-Temporal Workload Balance
University of Shanghai for Science and Technology（上海理工大学）；Institute of Photonic Chips（光子芯片研究院）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）；Institute of Neuroinformatics（神经信息学研究所）
针对SNN硬件推理中时空稀疏性造成的工作负载不均衡问题，提出FPGA加速器Skydiver，通过APRC按通道预测负载并以CBWS调度，使均衡率超过90%，在分割与分类任务中提升吞吐并实现低能耗高精度。
2022-03-14 cs.AR cs.CV cs.LG
KForge: Program Synthesis for Diverse AI Hardware Accelerators
Anonymous Authors（匿名作者）
针对GPU内核难以跨多样化AI硬件加速器优化的问题，提出基于两个协作LLM智能体的平台无关框架KForge，通过单样本示例适配新平台，实现跨不同并行计算平台的有效程序合成。
2025-11-17 cs.AI cs.LG cs.MA
Fast Population-Based Reinforcement Learning on a Single Machine
InstaDeep Ltd（InstaDeep有限公司）
在强化学习中，训练智能体群体已经证明了稳定训练、提高探索和渐近性能以及生成一组不同的解决方案的巨大潜力。然而，基于人口的训练通常不被从业者考虑，因为它被认为是非常缓慢的（当顺序实施时），或计算昂贵的（如果代理在独立的加速器上并行训练）。在这项工作中，我们比较了实现并回顾了以前的研究，以表明明智地使用编译和向量化允许基于人口的训练在一台机器上进行，与训练单个代理相比，使用一个加速器具有最小的开销。我们还表明，当提供了一些加速器，我们的协议扩展到大人口规模的应用程序，如超参数调整。我们希望这项工作和我们的代码的公开发布将鼓励从业者更频繁地使用基于人群的学习来进行研究和应用。
2022-06-17 cs.AI cs.LG cs.NE
Accelerating Deep Convolutional Networks using low-precision and sparsity
Intel Labs（英特尔实验室）
我们探索技术，以显着提高深度卷积网络的计算效率和性能，而不影响其准确性。为了提高计算效率，我们专注于用极低精度（2位）权重网络实现高精度，为了加快执行时间，我们积极跳过对零值的操作。在Imagenet对象分类挑战中，我们使用低精度网络\footnote{github release of the source code coming soon}实现了76.6% Top-1/93% Top-5的最高报告准确率，同时与实现类似准确率的全精度网络相比，将计算要求降低了约3倍。此外，为了充分利用我们的低精度网络的优势，我们构建了一个深度学习加速器核心dLAC，它可以实现高达1 TFLOP/mm^2的单精度浮点运算（约2 TFLOP/mm^2的半精度）。
2016-10-02 cs.LG cs.NE
Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural Networks
Purdue University（普渡大学）
对抗攻击暴露了深度神经网络（DNN）的严重漏洞，因为它们能够通过对DNN输入的人类无法察觉的扰动来强制错误分类。我们探索了对抗攻击领域的一个新方向，提出了旨在降低DNN计算效率而不是其分类准确性的攻击。具体来说，我们提出并演示了稀疏攻击，这种攻击对抗性地修改DNN的输入，以减少其内部激活值的稀疏性（或零值的存在）。在资源受限的系统中，已经提出了广泛的硬件和软件技术来利用稀疏性来提高DNN效率。拟议的攻击增加了稀疏优化DNN实现的执行时间和能耗，引发了人们对其在延迟和能源关键型应用程序中部署的担忧。我们提出了一种系统的方法来生成稀疏攻击的对抗性输入，通过制定一个目标函数来量化网络的激活稀疏性，并使用迭代梯度下降技术最小化该函数。我们对图像识别DNN发起了对抗性稀疏攻击的白盒和黑盒版本，并证明它们将激活稀疏性降低了1.82倍。我们还评估了攻击对稀疏优化的DNN加速器的影响，并展示了延迟高达1.59倍的降级，还研究了攻击对稀疏优化的通用处理器的性能。最后，我们评估了激活阈值和输入量化等防御技术，并证明了所提出的攻击能够抵御它们，强调了在对抗性机器学习领域中进一步努力的必要性。
2020-09-14 cs.LG stat.ML
