Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University（亚利桑那州立大学）
本文介绍了Systolic-CNN，这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构，经过优化，可加速多租户云/边缘计算中各种卷积神经网络（CNN）的推理。由于在运行时间支持多个CNN模型的灵活性有限，以及可扩展性差，导致FPGA资源利用不足和计算并行性有限，因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构，有效地探索了空间和时间并行性，以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的，用户可以很容易地对其进行调整，以实现粗粒度计算资源的高达100%的利用率（即，DSP块）。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性，可以在运行时间分时加速各种CNN模型，而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明，对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet，Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟，分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
VSCNN: Convolution Neural Network Accelerator With Vector Sparsity
卷积神经网络（CNN）硬件加速器实现了人工智能技术的实时的应用。然而，大多数加速器仅支持密集的CNN计算，或者遭受复杂的控制以支持细粒度的稀疏网络。为了解决上述问题，本文提出了一种高效的CNN加速器，该加速器具有一维矢量广播输入，以相同的硬件和低开销支持密集网络以及矢量稀疏网络。所提出的设计在密集的CNN计算上实现了1.93倍的加速比。
2022-05-02 cs.AR
Revealing CNN Architectures via Side-Channel Analysis in Dataflow-based Inference Accelerators
University of Florida（佛罗里达大学）
本文提出一种针对数据流CNN推理加速器的内存侧信道攻击，利用数据复用和架构提示恢复CNN模型结构，并成功还原Lenet、Alexnet、VGGnet16和YOLOv2等模型。
2025-05-06 cs.AR cs.CR cs.LG
Maximizing CNN Accelerator Efficiency Through Resource Partitioning
卷积神经网络（CNN）正在彻底改变机器学习，但它们提出了重大的计算挑战。最近，已经提出了许多基于FPGA的加速器来提高CNN的性能和效率。当前的方法构建了一个单一的处理器，一次计算一个CNN层;处理器被优化以最大化计算层集合的吞吐量。然而，这种方法导致低效的设计，因为相同的处理器结构被用于计算维度完全不同的CNN层。我们提出了一种新的CNN加速器范式和一种伴随的自动化设计方法，该方法将可用的FPGA资源划分为多个处理器，每个处理器都是为CNN卷积层的不同子集量身定制的。使用与单个大型处理器相同的FPGA资源，多个较小的专用处理器提高了计算效率，并导致更高的整体吞吐量。在Xilinx Virtex-7 FPGA上评估流行的AlexNet CNN时，我们的设计方法实现了比最先进方法高3.8倍的吞吐量。对于最近的SqueezeNet和GoogLeNet，加速比是2.2倍和2.0倍。
2018-04-12 cs.AR
A 10.60 $μ$W 150 GOPS Mixed-Bit-Width Sparse CNN Accelerator for Life-Threatening Ventricular Arrhythmia Detection
University of Notre Dame（圣母大学）；AI Chip Center for Emerging Smart System（新兴智能系统芯片中心）；North Carolina State University（北卡罗来纳州立大学）
本文提出一种超低功耗混合位宽稀疏CNN加速器，通过稀疏处理单元架构在量化一维CNN中实现50%稀疏度，在TSMC 40nm工艺下以10.60 μW功耗实现150 GOPS性能和99.95%室性心律失常诊断准确率，适用于植入式和可穿戴医疗设备。
2024-10-22 cs.AI cs.AR
High Area/Energy Efficiency RRAM CNN Accelerator with Kernel-Reordering Weight Mapping Scheme Based on Pattern Pruning
电阻式随机存取存储器（RRAM）是一种新兴的用于存储器内处理（PIM）架构的设备，用于加速卷积神经网络（CNN）。然而，由于RRAM阵列中的高度耦合的交叉结构，在基于RRAM的CNN加速器中难以利用网络的稀疏性。为了优化稀疏网络在RRAM阵列中的权值映射，实现更高的面积和能量效率，提出了一种新的权值映射方案，并基于模式修剪和运算单元（Operation Unit，简称RRAM）机制提出了相应的RRAM CNN加速器架构。实验结果表明，与传统的权值映射方法相比，该方法可以获得4.16 - 5.20倍的crossbar面积效率、1.98 - 2.15倍的能量效率和1.15 - 1.35倍的性能加速。
2020-10-13 cs.AR
PIMSYN: Synthesizing Processing-in-memory CNN Accelerators
本文提出自动综合框架 PIMSYN，将 CNN 应用转换为 PIM 加速器执行工作流与硬件结构，并通过架构探索优化设计，显著提升能效。
2024-02-28 cs.AR
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络（CNN）推理加速器针对特定的CNN拓扑进行定制，并将参数存储在片内存储器（OCM）中，从而实现高能效和低推理延迟。然而，在这些加速器中，参数存储器的形状由吞吐量约束决定，并且不能很好地映射到底层OCM，这成为实现瓶颈。在这项工作中，我们提出了一种加速器的设计方法-频率补偿内存打包（FCMP）-它提高了OCM的利用效率，以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法，我们将其应用于中型CIFAR-10推理加速器的几种实现，并证明OCM利用率可降低高达30%，而不会损失推理吞吐量，从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S，从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN，利用片上权重，有史以来最大的拓扑结构实现了这种加速器架构。我们证明，通过将FCMP应用于ResNet加速器，OCM瓶颈得到缓解，这使得加速器能够从Alveo U250移植到更小的Alveo U280板，与其他技术相比，吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡，FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
Design of High-Throughput Mixed-Precision CNN Accelerators on FPGA
RWTH Aachen University（亚琛工业大学）
卷积神经网络（CNN）在各个应用领域都达到了高精度，但需要大量的计算并导致昂贵的数据移动。在交易准确性的同时降低这些成本的一种方法是减少权重和/或激活字长。因此，逐层混合精度量化允许更有效的结果，同时膨胀设计空间。在这项工作中，我们提出了一个深入的定量方法，有效地探索设计空间，考虑到有限的硬件资源，一个给定的FPGA。我们的整体探索方法垂直遍历从架构到逻辑级别的各种设计入口级别，并横向涵盖从处理元件到低功耗的优化，以实现高效的混合精度CNN加速器。我们得到的硬件加速器实现了真正的混合精度运算，能够有效执行逐层和逐通道量化CNN。映射前馈和身份快捷连接混合精度CNN导致竞争性的准确性-吞吐量权衡：ResNet-18的245帧/秒和87.48%的Top-5准确性，ResNet-152的92.9%的Top-5准确性和1.13 TOps/s。因此，与相应的浮点基线相比，参数所需的内存占用减少了4.9倍和9.4倍。
2022-08-09 cs.AI cs.AR cs.LG
A Novel FPGA-based CNN Hardware Accelerator: Optimization for Convolutional Layers using Karatsuba Ofman Multiplier
本文提出一种基于FPGA的CNN硬件加速器，利用Karatsuba Ofman乘法器优化AlexNet、VGG16和VGG19的卷积层，以更少硬件资源实现高速乘法。
2024-12-29 cs.AR
GnetDet: Object Detection Optimized on a 224mW CNN Accelerator Chip at the Speed of 106FPS
Gyrfalcon Technology Inc.（天鹰科技公司）
目标检测广泛应用于嵌入式设备。随着CNN（卷积神经网络）加速器芯片的广泛使用，期望目标检测应用以低功耗和高推理速度运行。此外，对于作为与主机CPU的协处理器工作的CNN加速器芯片，期望CPU负载尽可能低。在本文中，我们通过最小化CPU负载来优化CNN加速器芯片上的目标检测模型。生成的模型称为GnetDet。实验结果表明，GnetDet模型在224mW芯片上运行时，速度达到106FPS，具有良好的精度。
2021-02-19 cs.AR cs.CV
Snowflake: A Model Agnostic Accelerator for Deep Convolutional Neural Networks
深度卷积神经网络（CNN）是执行目标检测、分类、语义分割和自然语言处理任务的首选深度学习模型。CNN需要数十亿次操作来处理一帧。这种计算复杂性与卷积运算的固有并行性相结合，使CNN成为定制加速器的绝佳目标。然而，当针对不同的CNN层次结构和数据访问模式进行优化时，定制加速器很难达到接近100%的计算效率。在这项工作中，我们提出了Snowflake，这是一个可扩展且高效的加速器，对CNN工作负载不可知，并且旨在始终在接近峰值的硬件利用率下执行。Snowflake在现代CNN模型上的计算效率超过91%。在Xilinx Zynq XC 7Z 045 SoC上实现的Snowflake能够在AlexNet CNN模型上实现128 G-ops/s的峰值吞吐量和100帧每秒和120 G-ops/s的测量吞吐量，在GoogLeNet CNN模型上实现36帧每秒和116 G-ops/s的测量吞吐量，在ResNet-50 CNN模型上实现17帧每秒和122 G-ops/s的测量吞吐量。据我们所知，Snowflake是唯一一个能够在现代CNN上实现91%以上效率的实现系统，也是唯一一个将GoogLeNet和ResNet作为基准套件一部分的实现系统。
2017-08-08 cs.AR
CoDR: Computation and Data Reuse Aware CNN Accelerator
University of Michigan（密歇根大学）
计算和数据重用对于资源有限的卷积神经网络（CNN）加速器至关重要。本文提出了通用计算重用，以在卷积层中同时利用权重稀疏性，重复性和相似性。此外，CoDR通过提出定制的行程长度编码方案来降低权重存储器访问的成本，并且通过引入输入和输出稳态递归来减少对中间结果的存储器访问的次数。与最近两个面积相同为2.85 mm^2的压缩CNN加速器相比，CoDR将SRAM访问减少了5.08倍和7.99倍，能耗减少了3.76倍和6.84倍。
2021-04-20 cs.AI cs.AR cs.LG
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky（肯塔基大学）
CNN推理任务的加速使用通常被转换为矢量点积（VDP）运算的卷积运算。已经提出了几种基于光子微谐振器（MRR）的硬件架构来加速整数量化的CNN，与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而，现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡，这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量，从而严重降低了可实现的性能优势。为了解决这个缺点，我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性，我们发明了一种基于MRR的光学随机乘法器（OSM）。我们采用多个OSM的级联方式使用密集波分复用，打造一种新的基于随机计算的光学神经网络加速器（SCONNA）。SCONNA实现了显着的高吞吐量和能源效率，以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明，SCONNA在每秒帧数（FPS）、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进，平均比先前工作中的两个基于光子MRR的模拟CNN加速器高，对于大型CNN，Top-1精度下降仅高达0.4%，对于小型CNN，则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器，用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
SMART: A Heterogeneous Scratchpad Memory Architecture for Superconductor SFQ-based Systolic CNN Accelerators
超快\低功耗超导单通量量子（SFQ）的CNN收缩加速器的建立，以提高CNN的推理吞吐量。然而，由于缺乏随机存取能力，基于移位寄存器（SHIFT）的暂存存储器（SPM）阵列防止SFQ CNN加速器超过其峰值吞吐量的40%。本文首先记录了我们对各种低温存储器技术的研究，包括涡旋转换存储器（VTM），约瑟夫森CMOS SRAM，MRAM和超导纳米线存储器，在此期间，我们发现上述技术都没有使SFQ CNN加速器同时实现高吞吐量，小面积和低功耗。其次，我们提出了一个异构SPM架构，SMART，由一个随机存取阵列和一个随机存取阵列，以提高SFQ CNN收缩加速器的推理吞吐量。第三，我们提出了一个快速，低功耗和密集的流水线随机存取CMOS-SFQ阵列，通过建立SFQ无源传输线为基础的H树连接CMOS子银行。最后，我们创建了一个基于ILP的编译器来在SMART上部署CNN模型。实验结果表明，在芯片面积开销相同的情况下，与最新的基于SHIFT的SFQ CNN加速器相比，SMART在推理单张图像（一批图像）时，推理吞吐量提高了$3.9\times$（$2.2\times$），推理能量降低了$86\%$（$71\%$）。
2021-09-03 cs.AR cs.ET
To Spike or Not to Spike? A Quantitative Comparison of SNN and CNN FPGA Implementations
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
本文定量比较SNN与CNN在FPGA上的实现，提出脉冲事件队列编码和存储器组织技术提升能效，发现小规模基准SNN优势不明显，复杂基准趋势逆转。
2023-06-22 cs.AI cs.AR
HEANA: A Hybrid Time-Amplitude Analog Optical Accelerator with Flexible Dataflows for Energy-Efficient CNN Inference
University of Kentucky（肯塔基大学）
HEANA是一种混合时间-幅度模拟光学加速器，通过TAOM和BPCA解决串扰、数据流灵活性及原位累加问题，实现CNN推理的显著性能与能效提升。
2024-12-15 cs.AI cs.AR cs.ET
A Silicon Photonic Accelerator for Convolutional Neural Networks with Heterogeneous Quantization
Colorado State University（科罗拉多州立大学）
卷积神经网络（CNN）中的参数量化可以帮助生成具有较低内存占用和计算复杂性的高效模型。但是，均匀量化可能导致CNN模型精度的显著降低。相比之下，异构量化是一种很有前途的方法来实现紧凑的，量化的模型具有更高的推理精度。在本文中，我们提出了HQNNA，一个CNN加速器的基础上非相干硅光子，可以加速均匀量化和非均匀量化的CNN模型。我们的分析表明，HQNNA实现了比最先进的光子CNN加速器高出73.8倍的每比特能量和高出159.5倍的吞吐量能量效率。
2022-05-17 cs.AR cs.LG
HAPM -- Hardware Aware Pruning Method for CNN hardware accelerators in resource constrained devices
Universidad Tecnológica Nacional（阿根廷技术大学）
本文提出一种面向FPGA的通用CNN硬件架构及硬件感知剪枝方法HAPM，通过动态利用剪枝导致的稀疏性，在资源受限设备上实现低能耗与可接受推理时间的平衡，推理时间较标准剪枝提升45%。
2024-08-26 cs.AI cs.AR
A CNN Accelerator on FPGA Using Depthwise Separable Convolution
卷积神经网络（CNN）由于其高精度，在计算机视觉和模式识别领域得到了广泛的应用。然而，大型卷积运算是计算密集型的，通常需要强大的计算平台，例如图形处理单元（GPU）。这使得将CNN应用于便携式设备变得困难。最先进的CNN，如MobileNetV 2和Xception，采用深度可分离卷积来取代嵌入式平台的标准卷积。这大大减少了操作和参数，而精度损失有限。这种高度结构化的模型非常适合现场可编程门阵列（FPGA）实现。本文提出了一种可扩展的高性能深度可分离卷积优化的CNN加速器。该加速器可以安装在不同尺寸的FPGA中，在硬件资源和处理速度之间提供平衡。以MobileNetV 2为例，在Arria 10 SoC FPGA上实现，结果表明该加速器可以在3.75ms内对ImageNet中的每幅图片进行分类，约为266.6帧/秒。与CPU相比，这实现了20倍的加速。
2018-09-06 cs.AR eess.SP
An Analytical Cost Model for Fast Evaluation of Multiple Compute-Engine CNN Accelerators
本文提出多计算引擎CNN加速器的分析成本模型MCCM及评估方法，实现比传统综合快10万倍的快速评估，准确率超90%，支持端到端评估、瓶颈识别与设计空间探索，助力生成超越现有水平的加速器设计。
2025-04-06 cs.AR cs.PF
PASS: Exploiting Post-Activation Sparsity in Streaming Architectures for CNN Acceleration
针对流式 CNN 加速器难以利用激活后稀疏性的问题，本文提出 PASS 方法，在现代 CNN 基准上较先进指令型稀疏加速器取得 1.41–1.93 倍 GOP/s/DSP 效率提升。
2023-07-15 cs.AR
NOVA: NoC-based Vector Unit for Mapping Attention Layers on a CNN Accelerator
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对注意力层非线性操作密集、难以在边缘端神经加速器上高效映射的问题，本文提出可叠加于现有加速器、在 NoC 内执行非线性操作的 NOVA 向量单元，能效最高达现有硬件近似器的 37.8 倍。
2024-05-07 cs.AI cs.AR cs.LG
AoCStream: All-on-Chip CNN Accelerator With Stream-Based Line-Buffer Architecture
卷积神经网络（CNN）加速器由于其效率而被广泛使用，但是它们需要大量的存储器，导致使用缓慢且功耗高的外部存储器。本文利用两种方案，以减少所需的内存量，并最终实现一个CNN的合理性能，只有一个实际的设备，如低端FPGA的片上存储器。为了减少中间数据的存储量，提出了一种基于流的行缓冲器结构和用于该结构的缓冲器流，而不是传统的基于帧的结构，其中中间数据存储量与输入图像大小的平方成比例。该架构由层专用块组成，以流水线方式与输入和输出流一起操作。每个卷积层块具有仅存储几行输入数据的行缓冲器。行缓冲器的大小与输入图像的宽度成比例，因此该架构比传统的基于帧的架构需要更少的中间数据存储，特别是在现代目标检测CNN中越来越大的输入大小的趋势中。除了减少的中间数据存储之外，通过加速器感知修剪来减少权重存储。实验结果表明，一个完整的目标检测CNN可以实现，即使在低端的FPGA没有外部存储器。与以前的加速器具有类似的目标检测精度相比，所提出的加速器达到更高的吞吐量，即使用更少的FPGA资源的LUT，寄存器，DSP，显示出更高的效率。经训练的模型和实现的位文件可在https://github.com/HyeongjuKang/accelerator-aware-pruning和https://github.com/HyeongjuKang/aocstream上获得。
2022-12-22 cs.AR
SCALE-Sim: Systolic CNN Accelerator Simulator
SyslogArrays是当今深度学习加速器中最受欢迎的计算基板之一，因为它们为运行密集矩阵乘法提供了极高的效率。然而，研究界缺乏工具来洞察基于系统阵列的加速器的设计权衡和有效的映射策略。我们介绍了Sysphon CNN加速器模拟器（SCALE-Sim），这是一个可配置的基于脉动阵列的周期精确DNN加速器模拟器。SCALE-Sim向设计师展示各种微架构功能以及系统集成参数，以实现全面的设计空间探索。据我们所知，这是第一个为运行DNN而调整的系统阵列模拟器。使用SCALE-Sim，我们进行了一系列案例研究，并展示了带宽、数据流和纵横比对深度学习内核在视觉、语音、文本和游戏中的整体运行时间和能量的影响。我们相信这些见解将对架构师和ML从业者非常有益。
2019-02-02 cs.AR cs.DC
A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things
卷积神经网络（CNN）在图像检测中提供了显著的准确性。为了在物联网（IoT）设备中使用CNN实现图像检测，提出了一种流硬件加速器。所提出的加速器通过避免不必要的数据移动来优化能源效率。通过独特的滤波器分解技术，加速器可以支持任意卷积窗口大小。此外，通过使用单独的池化单元，可以与卷积并行计算最大池化函数，从而实现吞吐量的提高。原型加速器采用TSMC 65 nm技术实现，核心尺寸为5 mm 2。该加速器可以支持主要的CNN，并在350 mW时实现152 GOPS的峰值吞吐量和434 GOPS/W的能效，使其成为智能物联网设备的有前途的硬件加速器。
2017-07-08 cs.AR cs.CV
XNORBIN: A 95 TOp/s/W Hardware Accelerator for Binary Convolutional Neural Networks
ETH Zurich（苏黎世联邦理工学院）
部署最先进的CNN需要耗电的处理器和片外存储器。这排除了在低功耗嵌入式系统中实现CNN。最近的研究表明，CNN维持极端量化，将其权重和中间特征映射二值化，从而节省8-32 \x内存，并将能量密集型产品总和压缩为XNOR和popcount操作。我们提出了XNORBIN，一个二进制CNN的加速器，计算与内存紧密耦合，以实现积极的数据重用。XNORBIN采用UMC 65 nm技术实现，在0.8 V时的能效为95 TOp/s/W，面积效率为2.0 TOp/s/MGE。
2018-03-05 cs.AI cs.AR cs.CV
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
Improvements in Interlayer Pipelining of CNN Accelerators Using Genetic Algorithms
University of Notre Dame（圣母大学）
本文提出一种针对CNN的层融合技术，通过遗传算法优化基于图的拓扑排序以减少片外数据通信，在类SIMBA等移动架构上显著提升了能效和能量延迟积。
2023-11-20 cs.AR cs.LG cs.NE
BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep Learning
UC San Diego（加州大学圣迭戈分校）；Micron Technology（美光科技）；Colorado State University（科罗拉多州立大学）；Texas A&M University（得克萨斯A&M大学）
训练深度学习网络涉及在使用反向传播算法（BP）的同时跨深度网络的各个层进行连续权重更新。这导致训练期间的昂贵计算开销。因此，当今大多数深度学习加速器都采用预先训练的权重，并且只专注于改进推理阶段的设计。最近的趋势是通过整合训练模块来构建一个完整的深度学习加速器。这种努力需要一个超快的芯片架构来执行BP算法。在这篇文章中，我们提出了一种新的基于光子学的反向传播加速器，用于高性能深度学习训练。我们提出了一个卷积神经网络的设计，BPLight-CNN，它采用了硅光子为基础的反向传播加速器。BPLight-CNN是首款基于光子和忆阻器的CNN架构，用于端到端训练和预测。我们使用光子CAD框架（IPKISS）在包括LeNet和VGG-Net在内的深度学习基准模型上评估BPLight-CNN。与最先进的设计相比，所提出的设计实现了（i）在训练期间至少34倍的加速，34倍的计算效率提高和38.5倍的节能;以及（ii）在推理期间29倍的加速，31倍的计算效率提高和38.7倍的节能。所有这些比较都是在16位分辨率下完成的;与最先进的技术相比，BPLight-CNN实现了这些改进，但精度降低了约6%。
2021-02-19 cs.AR cs.ET cs.LG
Hardware-Efficient Template-Based Deep CNNs Accelerator Design
卷积神经网络（CNN）在边缘设备上的加速最近在图像分类和目标检测应用中取得了卓越的性能。本文提出了一种高效且可扩展的基于CNN的SoC-FPGA加速器设计，该设计采用预先训练的权重，采用16位定点量化和目标硬件规格来生成优化的模板，能够实现更高的性能与资源利用率的权衡。该模板分析了计算工作量、数据依赖性和外部内存带宽，并利用循环平铺变换和低层建模将卷积层和全连接层转换为输入和输出特征图之间的向量乘法，从而实现了片上单个计算单元。此外，该加速器在AlexNet、VGG 16和LeNet网络中进行了测试，并在200 MHz下运行，峰值性能为230 GOP/s，具体取决于ZYNQ板以及模拟和合成期间不同计算单元配置的状态空间探索。最后，我们提出的方法是对以前的开发Ultra 96更高的性能测量基准。
2022-07-21 cs.AR eess.IV
Communication Lower Bound in Convolution Accelerators
在当前的卷积神经网络（CNN）加速器中，通信（即，存储器访问）支配能量消耗。这项工作提供了全面的分析和方法，以尽量减少CNN加速器的通信。对于片外通信，我们推导出任何卷积层的理论下限，并提出了一个达到下限的卷积层。这个基本问题从未被先前的研究解决。基于精心设计的工作负载和存储映射方案，最大限度地减少了片上通信。此外，我们还设计了一个通信最佳的CNN加速器架构。基于65 nm工艺的评估表明，所提出的架构几乎达到了理论上的最小通信在一个三级存储层次结构，它是计算占主导地位。我们的加速器的能量效率与理论最佳值之间的差距仅为37- 87%。
2020-01-17 cs.AR cs.DC
Ternary-Input Binary-Weight CNN Accelerator Design for Miniature Object Classification System with Query-Driven Spatial DVS
本文提出了一种三输入二权值CNN加速器，用于微型物体分类系统中的查询驱动空间DVS，通过减少计算和内存需求，实现了更高的能效比。
2025-11-28 cs.AR cs.CV eess.IV
Understanding the Impact of On-chip Communication on DNN Accelerator Performance
近年来，深度神经网络以前所未有的速度蓬勃发展。它们在计算机视觉、自然语言处理、医学或经济学等领域都取得了出色的准确性。具体而言，卷积神经网络（CNN）特别适合于对象识别或识别任务。然而，这带来了很高的计算成本，促使使用专门的GPU架构甚至ASIC来实现高速度和能源效率。ASIC加速器简化了适用于CNN计算的某些流程的执行，这些流程意味着大量数据的不断移动，从而将片上通信转变为加速器内的关键功能。本文研究了边缘设备的CNN推理加速器内的通信流，旨在证明当前和未来在互连其处理元件的片上网络设计中的决策是合理的。利用这种分析，然后，我们定性地讨论了在这种情况下，引入无线片上网络的新范式的潜在影响。
2019-12-03 cs.AR
A Compilation Flow for the Generation of CNN Inference Accelerators on FPGAs
University of Toronto（多伦多大学）
我们提出了在FPGA上生成CNN推理加速器的编译流程。该流程使用TVM编译器将冻结模型转换为OpenCL内核，并使用英特尔OpenCL SDK编译为FPGA比特流。我们通过对TVM生成的基础OpenCL内核进行优化来提高生成的硬件的质量。这些优化提高了并行性，减少了内存访问延迟，提高了并发性并节省了片上资源。我们在TVM中自动执行这些优化，并通过在Intel Stratix~ 10 SX上为LeNet-5、MobileNetV 1和ResNet-34生成加速器进行评估。我们表明，优化提高了性能的生成的加速器高达846倍以上的基础加速器。优化后的加速器在CPU上的性能比TensorFlow高出4.57倍，比单线程TVM高出3.83倍，比56线程TVM仅高出0.34倍。我们优化的内核也优于通过类似方法（也使用高级合成）生成的内核，同时提供更多的功能和灵活性。然而，它的性能不如使用手动优化设计的方法。因此，我们认为我们的方法在预生产环境中非常有用，可以从提高的性能和快速原型设计中受益，实现FPGA的优势，而无需硬件设计专业知识。
2022-03-08 cs.AR cs.DC cs.LG
CODEBench: A Neural Architecture and Hardware Accelerator Co-Design Framework
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
最近，机器学习（ML）模型和加速器架构的自动化协同设计引起了业界和学术界的极大关注。然而，大多数协同设计框架要么探索有限的搜索空间，要么采用次优的探索技术，同时进行ML模型和加速器的设计决策调查。此外，训练ML模型和模拟加速器性能在计算上是昂贵的。为了解决这些限制，这项工作提出了一种新的神经架构和硬件加速器协同设计框架，称为CODEBench。它由两个新的基准测试子框架CNNBench和CCNBench组成，它们探索了卷积神经网络（CNN）和CNN加速器的扩展设计空间。CNNBench利用先进的搜索技术BOSHNAS，通过采用二阶梯度来有效地训练神经异方差代理模型，以收敛到最佳的CNN架构。ESTBENCH在广阔的设计空间中为各种加速器架构执行周期精确模拟。通过提出的称为BOSHCODE的协同设计方法，我们最好的CNN加速器对在CIFAR-10数据集上的准确率比最先进的对高出1.4%，同时延迟降低59.1%，能耗降低60.8%。在ImageNet数据集上，它实现了Top1精度提高3.7%，延迟降低43.8%，能耗降低11.2%。CODEBench优于最先进的框架，即，Auto-NBA，通过实现1.5%的高精度和34.7倍的高吞吐量，同时使CIFAR-10的能量延迟积（EDP）降低11.0倍，芯片面积降低4.0倍。
2022-12-07 cs.AR cs.LG eess.IV
Low Complexity Multiply-Accumulate Units for Convolutional Neural Networks with Weight-Sharing
卷积神经网络（CNN）是用于图像、语音和视频处理的最成功的机器学习技术之一。CNN需要大量的处理能力和内存带宽。已经提出了用于CNN的硬件加速器，CNN通常包含大量的乘法累加（MAC）单元，其乘法器在集成电路（IC）门计数和功耗方面很大。已经提出了“权重共享”加速器，其中训练的CNN中的全部权重值被压缩并放入bin中，并且bin索引用于访问权重共享值。我们通过在权重共享的CNN中实现并行累积共享MAC（PASM）来降低CNN的功率和面积。PASM重新构建了MAC，以计算每个权重的频率并将其放置在一个bin中。在随后的乘法阶段中计算累加值，从而显著减少了CNN的门计数和功耗。在本文中，我们实现了PASM的重量共享的CNN卷积硬件加速器，并分析其有效性。实验表明，对于时钟速度为1GHz的45纳米ASIC工艺上实现的，我们的方法的结果在更少的门，更小的逻辑，并降低了功耗，只有轻微的延迟增加。我们还表明，与PASM CNN加速器相同的权重共享可以在资源受限的FPGA中实现，其中FPGA具有有限数量的数字信号处理器（DSP）单元来加速MAC操作。
2018-05-01 cs.AR
Improving the Performance of a NoC-based CNN Accelerator with Gather Support
University of Nevada（内华达大学）；South China University of Technology（华南理工大学）
深度学习技术的日益广泛应用推动了对卷积神经网络（CNN）的高效并行计算架构的需求。设计众核CNN加速器时面临的一个重大挑战是处理处理元件之间的数据移动。除了一对一和一对多流量之外，CNN工作负载还引入了多对一流量。片上网络作为片上通信的事实标准，能够支持各种单播和组播业务。对于多对一业务，采用重复单播，这不是一种有效的方式。在本文中，我们提出了使用收集数据包的网格为基础的片上网络采用输出固定脉动阵列，支持多对一的流量。收集分组将从最终高效地通向目的地的中间结点收集数据。使用AlexNet和VGG-16的卷积层生成的流量跟踪来评估该方法，与重复单播方法相比，该方法在延迟和功率方面有所改善。
2021-08-01 cs.AR cs.LG cs.PF
FAT: An In-Memory Accelerator with Fast Addition for Ternary Weight Neural Networks
Nanyang Technological University（南洋理工大学）
卷积神经网络（CNN）在各种应用中表现出优异的性能，但具有高计算复杂性。应用量化来减少CNN的延迟和存储成本。在量化方法中，二进制和三进制权重网络（BWN和TWN）相对于8位和4位量化具有独特的优势。它们用加法取代CNN中的乘法运算，这在内存计算（IMC）设备上很受欢迎。BWN的IMC加速已经被广泛研究。然而，尽管小波网络比小波网络具有更高的精度和更好的稀疏性，但针对小波网络的内模传播加速研究有限。现有IMC设备上的TW是低效的，因为稀疏性没有被很好地利用，并且加法操作是低效的。在本文中，我们提出FAT作为一种新的IMC加速器的TWN。首先，我们提出了一个稀疏加法控制单元，它利用TWNs的稀疏性跳过零权重的空操作。其次，我们提出一种基于记忆体感测放大器的快速加法方案，以避免进位传播和将进位写回存储单元的时间开销。第三，我们进一步提出了一种组合静态数据映射，以减少激活和权重的数据移动，并增加跨内存列的并行性。仿真结果表明，加法运算在感测放大器的水平，FAT实现了2.00倍的加速比，1.22倍的功率效率，和1.22倍的面积效率相比，国家的最先进的IMC加速器ParaPIM。在平均稀疏度为80%的网络上，FAT与ParaPIM相比实现了10.02倍的加速比和12.19倍的能效。
2022-08-02 cs.AI cs.AR
IMAGINE: An 8-to-1b 22nm FD-SOI Compute-In-Memory CNN Accelerator With an End-to-End Analog Charge-Based 0.15-8POPS/W Macro Featuring Distribution-Aware Data Reshaping
Delft University of Technology（代尔夫特理工大学）；UCLouvain（鲁汶大学）
IMAGINE 提出一款 22nm FD-SOI 的 1-8b 存内计算 CNN 加速器，通过输入串行权重并行累加、通道拆分与 ADC 内模拟批归一化实现自适应摆幅和分布感知数据重塑，能效最高达 0.15-8POPS/W，超越以往电荷域设计 3-5 倍。
2024-12-27 cs.AI cs.AR
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators
ETH Zurich（苏黎世联邦理工学院）；DeepMind（深度思维）；Xilinx（赛灵思）
扩张卷积和转置卷积广泛应用于现代卷积神经网络（CNN）中。这些内核广泛用于CNN训练和应用推理，如图像分割和高分辨率图像生成。虽然这些内核越来越受欢迎，但由于其高内存密度，exascale计算需求和大能耗，它们对当前的计算系统造成了压力。我们发现，基于空间架构的常用低功耗CNN推理加速器并没有针对这两个卷积核进行优化。扩张卷积和转置卷积在映射到底层空间架构时会引入大量的零填充，从而显著降低性能和能效。解决这个问题的现有方法需要对用于计算直接卷积的简单，高效和广泛采用的架构进行重大设计更改。为了应对这一挑战，我们提出了EcoFlow，一组新的卷积和映射算法的扩张和转置卷积。这些算法经过量身定制，可以在现有的低成本、小规模空间架构上高效执行，并且对现有加速器的片上网络的改动最小。EcoFlow通过仔细的流程编排和针对空间架构定制的数据映射消除了零填充。EcoFlow可在针对CNN推理进行优化的架构上实现灵活且高性能的转置和扩张卷积。我们评估了EcoFlow在CNN训练工作负载和生成对抗网络（GAN）训练工作负载上的效率。在我们新的周期精确模拟器中进行的实验表明，与最先进的CNN推理加速器相比，EcoFlow 1）将端到端CNN训练时间减少了7- 85%，2）将端到端GAN训练性能提高了29- 42%。
2022-02-04 cs.AR cs.LG
Optimization of FPGA-based CNN Accelerators Using Metaheuristics
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）
近年来，卷积神经网络（CNN）已经证明了它们解决许多领域问题的能力，并且具有以前不可能的准确性。然而，这带来了广泛的计算需求，这使得通用CPU无法提供所需的实时性能。与此同时，FPGA对加速CNN推理的兴趣激增。这是由于他们能够创建具有不同并行级别的定制设计。此外，与GPU相比，FPGA提供更好的性能功耗比。基于FPGA的CNN加速器的当前趋势是实现多个卷积层处理器（CLP），每个处理器都是为一个层子集定制的。然而，CNN架构日益复杂，使得优化目标FPGA器件上的可用资源以提供最佳性能更具挑战性。在本文中，我们提出了一个CNN加速器和相应的自动化设计方法，采用元逻辑划分可用的FPGA资源，设计多CLP加速器。具体而言，所提出的设计工具采用模拟退火（SA）和禁忌搜索（TS）算法来找到所需的CLP的数量和它们各自的配置，以实现给定的目标FPGA器件的最佳性能。这里，重点是关键规格和硬件资源，包括数字信号处理器、块RAM和片外内存带宽。使用四个著名的基准CNN的实验结果和比较表明，所提出的加速框架是令人鼓舞的和有前途的。基于SA/TS的Multi-CLP在Xilinx VC 707和VC 709 FPGA板上加速AlexNet、SqueezeNet 1.1、VGGNet和GoogLeNet架构时，吞吐量比最先进的单/多CLP方法高1.31 - 2.37倍。
2022-09-22 cs.AR cs.CV cs.NE
FPGA-Based CNN Inference Accelerator Synthesized from Multi-Threaded C Software
Samsung Semiconductor Inc.（三星半导体公司）；University of Toronto（多伦多大学）
深度学习推理加速器是从用Pthreads并行化的C语言软件程序合成的。软件实现使用众所周知的生产者/消费者模型，并行线程通过FIFO队列互连。LegUp高级综合（HLS）工具将线程综合到并行FPGA硬件中，将软件并行性转换为空间并行性。生成一个完整的系统，其中卷积，池化和填充在合成加速器中实现，其余任务在嵌入式ARM处理器上执行。该加速器采用了降低的精度和一种新的方法，用于卷积中的零权重跳过。在中型Intel Arria 10 SoC FPGA上，VGG-16的峰值性能为138有效GOPS。
2018-07-27 cs.AR cs.LG cs.PF
Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs
University of Cambridge（剑桥大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；Microsoft Research Cambridge（微软剑桥研究院）；Imperial College London（帝国理工学院）；University of Macau（澳门大学）
现代深度卷积神经网络（CNN）对计算要求很高，但实际应用通常需要高吞吐量和低延迟。为了帮助解决这些问题，我们提出了Tomato，这是一个旨在自动生成高效CNN加速器的框架。生成的设计是流水线的，每个卷积层使用不同的算法在不同的精度。使用Tomato，我们展示了最先进的多精度多算法网络，包括在FPGA上运行的MobileNet-V1。据我们所知，这是CNN的第一个多精度多算法自动生成框架。在软件中，Tomato对预训练的网络进行微调，以使用短的2的幂和固定点权重的混合，同时将分类准确性的损失降到最低。微调的参数与模板化的硬件设计相结合，在FPGA中自动生成高效的推理电路。我们展示了我们的方法如何显着降低模型大小和计算复杂性，并允许我们将完整的ImageNet网络打包到单个FPGA上，而无需首次访问片外存储器。此外，我们还展示了Tomato如何在单个或多个FPGA上运行各种大小的网络。据我们所知，我们自动生成的加速器在延迟和吞吐量方面至少比最接近的基于FPGA的竞争对手高出2- 4倍;生成的加速器以每秒3000帧以上的速度运行ImageNet分类。
2019-10-21 cs.AR cs.LG eess.SP
ADEPT: Architecture-Driven Energy-Efficient CNN Fine-Tuning on PIM Accelerators
研究针对PIM架构上CNN微调计算和内存密集问题，提出硬件感知框架ADEPT。该框架考虑训练开销和层敏感度，引入新度量量化权衡，产生依赖平台的微调配置，能减少可训练参数和片外数据访问，微调时预测准确性损失最小。
2026-07-21 cs.AR cs.ET
Binary Weight Multi-Bit Activation Quantization for Compute-in-Memory CNN Accelerators
Department of Electrical and Electronic Engineering, The University of Hong Kong（电子工程系，香港大学）
针对存内计算 CNN 加速器，本文提出 BWMA 二值权重、多位激活量化方法，通过权重闭式解和可微激活量化提升精度与效率，并证明 4 位激活实现最佳硬件-性能平衡。
2025-08-29 cs.AR cs.LG
A Flexible Sparsity-Aware FPGA Accelerator with Column-Wise Compression for Efficient CNN Inference
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究研究所（INRS-EMT））
研究针对资源受限平台 CNN 加速难题，提出 SparHiXcel-v2 加速器，通过列向内核压缩技术及硬件 - 算法协同设计框架，在稀疏灵活性与硬件效率间平衡，经实验在吞吐量和能效上显著提升，精度有适度下降。
2026-07-22 cs.AR
Refresh Triggered Computation: Improving the Energy Efficiency of Convolutional Neural Network Accelerators
为了在能量受限的嵌入式系统中采用卷积神经网络（CNN），CNN实现的高能量效率是至关重要的。最近的许多研究提出了具有自定义计算单元的CNN加速器架构，该架构试图通过最小化来自基于DRAM的主存储器的数据传输来提高CNN的能效和性能。然而，在这些架构中，平均而言，DRAM仍然占系统总能耗的一半。DRAM的高能耗的一个关键因素是刷新开销，据估计，刷新开销消耗DRAM总能量的40%。在本文中，我们提出了一种新的机制，刷新触发计算（RTC），利用CNN应用程序的内存访问模式，以减少刷新操作的数量。我们提出了三种RTC设计（最小RTC，中期RTC，和全RTC），其中每一个都需要一个不同级别的侵略性定制的DRAM子系统。我们所有的设计都有很小的开销。即使是最激进的RTC设计（即，全RTC）在16 Gb DRAM芯片中仅施加0.18%的面积开销，并且对于更密集的芯片可以具有更少的开销。我们对六个知名CNN的实验评估表明，RTC分别将最不积极和最积极的RTC实现的平均DRAM能耗降低了24.4%和61.3%。除了CNN之外，我们还在其他领域的三个工作负载上评估了我们的RTC机制。我们表明，RTC节省31.9%和16.9%的DRAM能源的人脸识别和贝叶斯置信传播神经网络（BCPNN），分别。我们相信RTC可以应用于其他应用程序，其内存访问模式在足够长的时间内保持可预测性。
2020-10-07 cs.AR
Exploring Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators
Brno University of Technology（布拉格技术大学）
本文通过扩展Timeloop支持混合量化并提出多目标优化算法，联合优化CNN各层的位宽与映射，在MobileNetV1/V2和Eyeriss/Simba上实现最高37%能耗节省且精度不降。
2025-02-25 cs.AR cs.LG
SaleNet: A low-power end-to-end CNN accelerator for sustained attention level evaluation using EEG
Tsinghua University（清华大学）；Institute of Process Engineering, Chinese Academy of Sciences（中国科学院过程工程研究所）
本文提出了SaleNet-一个端到端的卷积神经网络（CNN），用于使用前额叶脑电图（EEG）进行持续注意力水平评估。提出了一种偏置驱动的剪枝方法，并结合组卷积、全局平均池（GAP）、近零剪枝、权值聚类和量化等技术对模型压缩进行压缩，实现了183.11倍的总压缩比。压缩SaleNet获得了一个国家的最先进的主题独立的持续注意力水平的分类准确率为84.2%，在这项工作中记录的6个主题的EEG数据库。SaleNet在Artix-7 FPGA上实现，具有竞争力的功耗为0.11 W，能效为8.19 GOps/W。
2022-09-03 cs.AR cs.LG eess.SP
Co-Design of CNN Accelerators for TinyML using Approximate Matrix Decomposition
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；University of Patras（帕特雷大学）；National Technical University of Athens (NTUA)（雅典国立技术大学）
本文提出利用近似矩阵分解优化CNN硬件实现，无需重新训练即可在严格约束下提升推理延迟，平均提升33%延迟，仅损失1.3%精度。
2026-04-17 cs.AR
ARMAN: A Reconfigurable Monolithic 3D Accelerator Architecture for Convolutional Neural Networks
针对不同CNN模型对加速器架构需求各异的问题，提出基于M3D技术的可重构脉动阵列加速器ARMAN，通过灵活配置实现功耗、能量和性能的优化，在多个基准上实现最高2倍、2.24倍、1.48倍和2倍的改进。
2024-02-06 cs.AR cs.ET
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
New York University（纽约大学）
PENDRAM提出一种广义DRAM数据映射策略及设计空间探索方法，通过优化CNN加速器的DRAM访问延迟与能耗，实现高性能高能效的嵌入式AI推理加速。
2024-08-05 cs.AI cs.AR cs.LG
DSLR-CNN: Efficient CNN Acceleration using Digit-Serial Left-to-Right Arithmetic
本文提出DSLR-CNN加速器，利用左到右最高有效位优先的数字串行算术实现数字级流水线，在AlexNet、VGG-16和ResNet-18上显著提升峰值性能与能量效率，优于传统位串行设计。
2025-01-03 cs.AR
