ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator
Arm Research（Arm研究院）；IBM Research（IBM研究院）；ETH Zürich（苏黎世联邦理工学院）
物联网应用中始终在线的TinyML感知任务需要非常高的能效。使用非易失性存储器（NVM）的模拟内存计算（CiM）承诺高效率，并且还提供自包含的片上模型存储。然而，模拟CiM引入了新的实际考虑因素，包括电导漂移、读/写噪声、固定模数（ADC）转换器增益等。必须解决这些额外的限制，以实现可以在模拟CiM上部署的模型，并具有可接受的精度损失。这项工作描述了$\textit{AnalogNets}$：TinyML模型的流行始终在线的应用程序的关键字发现（KWS）和视觉唤醒词（VWW）。该模型架构是专门为模拟CiM设计的，我们详细介绍了一种全面的训练方法，以保持在面对模拟非理想的准确性，并在推理时低精度数据转换器。我们还描述了AON-CiM，一个可编程的，最小面积的相变存储器（PCM）的模拟CiM加速器，与一个新的层串行的方法，以消除与全流水线设计相关的复杂互连的成本。我们在校准的模拟器以及真实硬件上评估了AnalogNets，发现KWS/VWW的PCM漂移（8位）24小时后，精度下降仅限于0.8 $\%$ /1.2 $\%$。在14 nm AON-CiM加速器上运行的模拟网络在使用8位激活时分别为KWS/VWW工作负载展示了8.58/4.37 TOPS/W，并在使用$4$位激活时增加到57.39/25.69 TOPS/W。
2021-11-10 cs.AR cs.ET cs.LG
COBRA: Algorithm-Architecture Co-optimized Binary Transformer Accelerator for Edge Inference
Department of Electrical Engineering and Computer Science University of California, Irvine, USA（电气工程与计算机科学系 加州大学伊维特分校）
COBRA通过算法-架构协同优化，采用1比特二值乘法单元和注意力模块硬件优化，在边缘FPGA上实现高吞吐和高能效，大幅优于GPU和现有二值加速器。
2025-04-24 cs.AR cs.LG
An Analog and Digital Hybrid Attention Accelerator for Transformers with Charge-based In-memory Computing
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对Transformer自注意力计算复杂度高、内存访问频繁的问题，提出一款65nm工艺的模数混合注意力加速器，通过模拟存内计算核心实时剪枝75%低得分令牌、数字核心处理剩余令牌保证精度，实现了高能效与高面积效率。
2024-09-20 cs.AR cs.LG
Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators
Boston University（波士顿大学）；Harvard University（哈佛大学）；Lightmatter
针对模拟DNN加速器中高精度数据转换器成本高的问题，提出利用剩余数系（RNS）组合低精度运算实现高精度，还采用冗余RNS实现容错，可大幅降低数据转换器能耗。
2023-06-15 cs.AR cs.ET cs.LG
An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of Binary Neural Networks
University of Kentucky（肯塔基大学）
与全精度卷积神经网络（CNN）相比，二进制神经网络（BNN）越来越受到青睐，以减少推理处理的内存和计算需求，同时降低精度。BNN将CNN模型参数转换为1位精度，允许使用简单的XNOR和位计数操作处理BNN的推断。这使得BNN适合硬件加速。已经提出了几种基于光子集成电路（PIC）的BNN加速器。尽管这些加速器提供比它们的电子对应物显著更高的吞吐量和能量效率，但是这些加速器中所利用的XNOR和位计数电路需要进一步增强以提高它们的面积、能量效率和吞吐量。本文旨在满足这一需求。为此，我们发明了一种基于单MRR的光学XNOR门（OXG）。此外，我们提出了一种新的设计的位计数电路，我们称之为光电荷累加器（PCA）。采用密集波分复用（DWDM）级联多个OXG，并将其连接到PCA，构建了一种基于XNOR比特数的二进制神经网络加速器（OXBNN）。我们对四个现代BNN的推理进行的评估表明，OXBNN在每秒帧数（FPS）和FPS/W（能源效率）方面分别比先前工作中的两个基于PIC的BNN加速器的几何平均值提高了62倍和7.6倍。我们开发了一个事务级、事件驱动的基于Python的模拟器，用于评估加速器（https：//github.com/uky-UCAT/B_ONN_SIM）。
2023-03-20 cs.AR cs.CV cs.LG
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络（CNN）推理加速器针对特定的CNN拓扑进行定制，并将参数存储在片内存储器（OCM）中，从而实现高能效和低推理延迟。然而，在这些加速器中，参数存储器的形状由吞吐量约束决定，并且不能很好地映射到底层OCM，这成为实现瓶颈。在这项工作中，我们提出了一种加速器的设计方法-频率补偿内存打包（FCMP）-它提高了OCM的利用效率，以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法，我们将其应用于中型CIFAR-10推理加速器的几种实现，并证明OCM利用率可降低高达30%，而不会损失推理吞吐量，从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S，从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN，利用片上权重，有史以来最大的拓扑结构实现了这种加速器架构。我们证明，通过将FCMP应用于ResNet加速器，OCM瓶颈得到缓解，这使得加速器能够从Alveo U250移植到更小的Alveo U280板，与其他技术相比，吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡，FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
Photonic Reconfigurable Accelerators for Efficient Inference of CNNs with Mixed-Sized Tensors
基于光子微谐振器（MRR）的硬件加速器已被证明可以为处理深度卷积神经网络（CNN）提供破坏性的加速和能效改进。然而，以前的基于MRR的CNN加速器无法为具有混合大小张量的CNN提供有效的适应性。这样的CNN的一个示例是深度可分离的CNN。在这种不灵活的加速器上使用混合大小的张量执行CNN的推理通常会导致硬件利用率低，这会降低加速器可实现的性能和能效。在本文中，我们提出了一种新的方式，在基于MRR的CNN加速器中引入可重构性，以实现加速器硬件组件和使用硬件组件处理的CNN张量之间的大小兼容性的动态最大化。基于加速器中所用硬件组件的布局和相对位置，我们将来自先前工作的最先进的基于MRR的CNN加速器分为两类。然后，我们使用我们的方法在这两个类的加速器中引入可重构性，从而提高它们的并行性，有效映射不同大小，速度和整体能源效率的张量的灵活性。我们评估我们的可重构加速器对三个以前的作品面积比例的前景（所有加速器的硬件面积相等）。我们对四种现代CNN的推理进行的评估表明，与先前工作中基于MRR的加速器相比，我们设计的可重构CNN加速器在每秒帧数（FPS）和FPS/W方面的改进高达1.8倍。
2022-07-12 cs.AI cs.AR cs.CV
The Data Conversion Bottleneck in Analog Computing Accelerators
本文指出模拟计算加速器因数据转换产生性能瓶颈，通过案例研究评估自建光学傅里叶变换与卷积加速器，发现其仅在纯傅里叶变换和卷积任务中显著加速。
2023-12-30 cs.AR physics.optics
Arrow: A RISC-V Vector Accelerator for Machine Learning Inference
在本文中，我们介绍了Arrow，这是一种可配置的硬件加速器架构，它实现了RISC-V v0.9向量ISA扩展的一个子集，旨在进行边缘机器学习推理。我们的实验结果表明，Arrow协处理器可以执行一套矢量和矩阵基准测试的基本机器学习推理2 - 78倍的速度比标量RISC处理器，而消耗20% - 99%的能量时，实现在Xilinx XC 7A 200 T-1 SBG 484 C FPGA。
2021-07-15 cs.AR
Low- and Mixed-Precision Inference Accelerators
随着边缘计算的日益普及，对电池受限的物联网设备有效执行神经网络推理的需求大大增加。虽然算法的发展使神经网络能够解决越来越复杂的任务，但由于严格的能量、延迟和内存要求，这些网络在边缘设备上的部署可能存在问题。减轻这些要求的一种方法是通过大量量化神经网络，即降低操作数的精度。通过将量化发挥到极致，例如通过使用二进制值，出现了提高能量效率的新机会。已经创建了几个利用低精度推理机会的硬件加速器，所有这些硬件加速器都旨在在边缘实现神经网络推理。在这一章中，设计选择和它们的影响的灵活性和能源效率的几个加速器支持极端量化的网络进行审查。
2022-06-24 cs.AR
Late Breaking Result: FPGA-Based Emulation and Fault Injection for CNN Inference Accelerators
本文提出基于FPGA的仿真平台，结合Tengine框架生成CNN加速器实现并注入故障，以NVDLA执行ResNet-18为案例，证明其在Zynq UltraScale+ SoC上的容错分析速度比软件仿真快一个数量级。
2025-01-22 cs.AR
FusionAccel: A General Re-configurable Deep Learning Inference Accelerator on FPGA for Convolutional Neural Networks
深度学习加速器是加速深度学习网络计算的方法之一，主要基于卷积神经网络加速。针对并行卷积神经网络加速器并非完全开源和平台排他性的问题，提出了一种可扩展的卷积神经网络加速器硬件架构FusionAccel。它可以适应不同的网络结构，并可以在编译前重构和在运行时重新配置。本文在Xilinx Spartan-6 FPGA上实现了RTL级卷积神经网络加速器的设计和功能验证。结果与Caffe-CPU相同。由于整个项目是基于RTL的，所以在替换了一些FPGA专用的IP后，可以移植到ASIC上。
2019-07-04 cs.AR
TCN-CUTIE: A 1036 TOp/s/W, 2.72 uJ/Inference, 12.2 mW All-Digital Ternary Accelerator in 22 nm FDX Technology
Tiny机器学习（TinyML）应用会施加uJ/Inference约束，最大功耗为数十mW。以合理的精度水平满足这些要求是极具挑战性的。这项工作通过在基于RISC-V的片上系统（SoC）中实现灵活的全数字三值神经网络（TNN）加速器来应对挑战。除了支持三元卷积神经网络，我们引入扩展的加速器设计，使时间膨胀的时间卷积神经网络（TCN）的处理。该设计实现了5.5 uJ/推理，12.2 mW，8000推理/秒在0.5 V的动态视觉传感器（DVS）为基础的TCN，和2.72 uJ/推理，12.2 mW，3200推理/秒在0.5 V的非平凡9层，每层96通道卷积网络与CIFAR-10的准确度为86%，在94.5%的准确度和2.52 uJ/推理，12.2 mW，3200推理/秒。峰值能效为1036 TOp/s/W，比最先进的硅验证TinyML量化加速器高出1.67倍，同时实现了具有竞争力的精度。
2022-12-01 cs.AR
AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers
Princeton University（普林斯顿大学）
针对Transformer加速中计算开销高、硬件利用率低的问题，提出低开销动态剪枝方案DynaTran与分块数据流，设计稀疏感知加速器AccelTran，在准确率、稀疏度、吞吐量与能效上均优于现有方案。
2023-05-01 cs.AR cs.LG
A Compilation Flow for the Generation of CNN Inference Accelerators on FPGAs
University of Toronto（多伦多大学）
我们提出了在FPGA上生成CNN推理加速器的编译流程。该流程使用TVM编译器将冻结模型转换为OpenCL内核，并使用英特尔OpenCL SDK编译为FPGA比特流。我们通过对TVM生成的基础OpenCL内核进行优化来提高生成的硬件的质量。这些优化提高了并行性，减少了内存访问延迟，提高了并发性并节省了片上资源。我们在TVM中自动执行这些优化，并通过在Intel Stratix~ 10 SX上为LeNet-5、MobileNetV 1和ResNet-34生成加速器进行评估。我们表明，优化提高了性能的生成的加速器高达846倍以上的基础加速器。优化后的加速器在CPU上的性能比TensorFlow高出4.57倍，比单线程TVM高出3.83倍，比56线程TVM仅高出0.34倍。我们优化的内核也优于通过类似方法（也使用高级合成）生成的内核，同时提供更多的功能和灵活性。然而，它的性能不如使用手动优化设计的方法。因此，我们认为我们的方法在预生产环境中非常有用，可以从提高的性能和快速原型设计中受益，实现FPGA的优势，而无需硬件设计专业知识。
2022-03-08 cs.AR cs.DC cs.LG
SPRING: A Sparsity-Aware Reduced-Precision Monolithic 3D CNN Accelerator Architecture for Training and Inference
CNN在广泛的应用中优于传统的机器学习算法。然而，它们的计算复杂性使得有必要设计高效的硬件加速器。大多数CNN加速器都专注于探索利用计算并行性的Challowlow风格。然而，稀疏性带来的潜在性能加速尚未得到充分解决。如果在网络评估中利用稀疏性，CNN的计算和内存占用可以显着减少。为了利用稀疏性，一些加速器设计在CNN加速器上探索稀疏性编码和评估。然而，稀疏编码仅在激活或权重上执行，并且仅在推理中执行。已经表明，激活和权重在训练期间也具有高稀疏性水平。因此，稀疏感知计算也应该在训练中考虑。为了进一步提高性能和能效，一些加速器以有限的精度评估CNN。然而，这仅限于推理，因为如果在训练中使用，降低的精度会牺牲网络准确性。此外，CNN评估通常是内存密集型的，特别是在训练中。在本文中，我们提出了SPRING，一个SParsity-aware降低精度的单片3D CNN加速器，用于训练和推理。SPRING支持CNN训练和推理。它使用二进制掩码方案对激活和权重中的稀疏性进行编码。它使用随机舍入算法来训练CNN，降低精度而不损失精度。为了缓解CNN评估中的内存瓶颈，特别是在训练中，SPRING使用高效的单片3D NVM接口来增加内存带宽。与GTX 1080 Ti相比，SPRING在CNN训练方面的性能、功耗降低和能效分别提高了15.6倍、4.2倍和66.0倍，在推理方面分别提高了15.5倍、4.5…
2020-02-03 cs.AR
SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN Accelerators for Edge Inference
University of Glasgow（格拉斯哥大学）；Northeastern University（东北大学）
边缘计算设备固有地面临严格的资源约束，这在部署具有高内存和计算需求的深度神经网络（DNN）时尤为明显。FPGA通常用于边缘设备。由于这些可重构电路可以实现比通用处理器更高的吞吐量和更低的功耗，因此它们特别适合DNN加速。然而，为边缘设备设计基于FPGA的DNN加速器的现有解决方案具有很高的开发开销，因为重复的FPGA合成通道、在模拟设计的硬件描述语言（HDL）中的重新实现以及加速器系统集成的成本。在本文中，我们提出了SECDA，这是一种新的硬件/软件协同设计方法，可以减少使用FPGA的边缘设备上优化DNN推理加速器的设计时间。SECDA将经济高效的SystemC仿真与硬件执行相结合，通过缩短设计评估时间来简化设计空间探索和开发过程。作为一个案例研究，我们使用SECDA在PYNQ-Z1板上有效地开发了两种不同的DNN加速器设计，PYNQ-Z1板是一个包含边缘FPGA的平台。我们快速迭代地探索系统的硬件/软件堆栈，同时识别和缓解性能瓶颈。我们评估了两个加速器设计与四个常见的DNN模型，实现了平均性能加速高达3.5 $\times$的模型与2.9 $\times$减少能源消耗超过CPU的推理。我们的代码可在https://github.com/gicLAB/SECDA上获得
2021-10-01 cs.AR cs.DC cs.LG
Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
Poznan University of Technology（波兹南理工大学）；University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学）
研究针对资源受限硬件上设备端模型自适应难题，提出用异构自适应管道，借助Hailo-8L加速器提取冻结主干特征，划分计算图，在多架构和数据集上提升训练速度、吞吐量并降低能耗，证明该方法实用。
2026-07-21 cs.AR cs.CV cs.LG
Multiscale Co-Design Analysis of Energy, Latency, Area, and Accuracy of a ReRAM Analog Neural Training Accelerator
神经网络是自然语言处理和模式识别的一种越来越有吸引力的算法。具有> 50 M参数的深度网络是通过现代GPU集群以<50 pJ/op的速度运行而实现的，最近，生产加速器能够在板级上以<5 pJ/op的速度运行。然而，随着CMOS规模的放缓，将需要新的范例来实现下几个数量级的性能功耗比增益。使用模拟电阻式存储器（ReRAM）交叉开关在加速器中执行关键矩阵运算是一个有吸引力的选择。这项工作提出了一个详细的设计，使用最先进的14/16 nm PDK的模拟交叉开关电路块的设计，以处理三个关键的内核所需的训练和推理的神经网络。给出了详细的电路和器件级能量、延迟、面积和精度分析，并与使用标准数字ReRAM和SRAM操作的相关设计进行了比较。模拟加速器与仅利用数字ReRAM的类似块相比具有270倍的能量和540倍的延迟优势，并且每个乘法和累加（MAC）仅需要11 fJ。与基于SRAM的加速器相比，能量提高了430倍，延迟提高了34倍。尽管模拟加速器中的训练精度降低，但提出了几种改进方法。与此加速器块的类似仅数字版本相比，可能的收益表明，继续优化模拟电阻式存储器是有价值的。对训练加速器的电路和器件进行了详细的分析，为进一步的体系结构级研究奠定了基础。
2018-02-17 cs.AR cs.NE
DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN Training and Inference
Keio University（庆应义塾大学）；RIKEN Center for Computational Science（理化学研究所计算科学研究中心）
本文提出DAISM架构，通过在传统SRAM中实现数字近似乘法器并利用多字线激活进行位并行计算，显著提升DNN训练与推理的面积效率。
2024-01-18 cs.AR cs.LG
AMPLE: Event-Driven Accelerator for Mixed-Precision Inference of Graph Neural Networks
Imperial College London（帝国理工学院）
针对现有FPGA加速器双缓冲机制未考虑图节点非规则分布的问题，提出事件驱动加速器AMPLE，采用混合精度量化和预取技术，在2K至700K节点数据集上实现比CPU和GPU分别快243倍和7.2倍的平均加速。
2025-02-28 cs.AI cs.AR cs.LG
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元，这是一个硬件推理加速器，用于嵌入式系统的卷积深度神经网络，具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算，从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上，从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比，整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作，用于卷积和全连接计算。本文提出了一种方案，重用的输入，重量，和输出的所有层，以减少DRAM访问。此外，本文提出了一种可配置的架构，可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
Mitigating Edge Machine Learning Inference Bottlenecks: An Empirical Study on Accelerating Google Edge Models
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌公司）；ETH Zürich（苏黎世联邦理工学院）
随着对边缘计算需求的增长，许多现代消费设备现在都包含边缘机器学习（ML）加速器，这些加速器可以计算各种神经网络（NN）模型，同时仍然适合严格的资源限制。我们使用24个Google边缘NN模型（包括CNN，LSTM，换能器和RCNN）分析了商业边缘TPU，并发现加速器在计算吞吐量，能源效率和内存访问处理方面存在三个缺点。我们全面研究了所有Google边缘模型中每个NN层的特征，发现这些缺点来自加速器的一刀切方法，因为不同模型和同一模型中不同层的关键层特征存在大量异质性。我们提出了一个新的加速框架，称为门萨。Mensa集成了多个异构ML边缘加速器（包括片上和近数据加速器），每个加速器都满足特定模型子集的特征。在运行时，Mensa将每个层安排在最适合的加速器上运行，同时考虑效率和层间依赖性。当我们分析Google edge NN模型时，我们发现所有层都自然地分组为少量的集群，这使得我们能够为这些模型设计一个高效的Mensa实现，只需三个专门的加速器。在所有24款Google Edge机型中，Mensa将能效和吞吐量分别提高了Edge TPU的3.0倍和3.1倍，以及Eyeriss v2的2.4倍和4.3倍。
2021-03-01 cs.AR cs.LG
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命，以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算（MAC/W）的数量，其中，最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器（TMA），具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器，无需任何乘法即可工作，这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后，我们比较了我们的加速器的吞吐量和功耗，以前的作品。所提出的加速器在能量和面积方面优于现有技术，实现2.3 TMACS/W@1.0 V，65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs
1 SKLP, \ Institute \ of \ Computing \ Technology, \ Chinese \ Academy \ of \ Sciences, \ Beijing, \ China
本文提出一种无需ADC和DAC的ReRAM模拟计算加速器RACA，利用ReRAM噪声实现随机二值化神经元及Sigmoid和SoftMax激活函数，在保持推理精度的同时提升能效和面积效率。
2024-12-27 cs.AI cs.AR
SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
SeVeDo通过分层分组量化和SVD引导混合精度，提高低比特推理的能效，实现13.8TOPS/W的峰值能效，优于传统设计。
2026-01-22 cs.AR cs.LG
ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-DRAM CNN Processing
University of Kentucky（肯塔基大学）
随着卷积神经网络（CNN）在与机器学习和人工智能（AI）相关的现实世界应用中的快速增长，最近已经提出了用于CNN推理和训练的几种硬件加速器设计。在本文中，我们提出了ATRIA，一种新的基于比特位的随机算法的In-DRAM加速器，用于CNN的节能和高速推理。ATRIA在DRAM单元阵列中采用轻量级修改来实现基于位并行随机算术的DRAM内部乘法累加（MAC）操作的加速。ATRIA通过仅在五个连续的存储器操作周期中执行16个MAC操作，显著改善了处理CNN推断的延迟、吞吐量和效率。我们在ATRIA上映射了四个基准CNN的推理任务，以将其性能与之前工作中的五个最先进的DRAM内CNN加速器进行比较。我们的分析结果表明，ATRIA在CNN推理准确性方面仅下降了3.5%，并且与先前工作中性能最好的DRAM内加速器相比，每秒帧数（FPS）和效率（FPS/W/mm 2）仍然提高了3.2倍。
2021-05-26 cs.AI cs.AR cs.LG
Google Neural Network Models for Edge Devices: Analyzing and Mitigating Machine Learning Inference Bottlenecks
Carnegie Mellon Univ.（卡内基梅隆大学）；Stanford Univ.（斯坦福大学）；Univ. of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）；ETH Zürich（苏黎世联邦理工学院）
新兴的边缘计算平台通常包含机器学习（ML）加速器，可以加速各种神经网络（NN）模型的推理。这些模型被设计为适合边缘计算平台的有限区域和能量约束，每个模型针对各种应用（例如，面部检测、语音识别、翻译、图像描述、视频分析）。为了了解边缘机器学习加速器的性能，我们使用24个Google Edge NN模型（涵盖各种NN模型类型）并分析每个模型中的每个NN层来表征商业Google Edge TPU的性能。我们发现Edge TPU存在三个主要缺点：（1）它的运行速度明显低于峰值计算吞吐量，（2）它的运行速度明显低于其理论能效，（3）它的存储系统是一个很大的能量和性能瓶颈。我们的表征表明，Edge TPU的一刀切的整体设计忽略了不同NN模型之间以及同一NN模型中不同NN层之间的高度异质性，导致了我们观察到的缺点。我们提出了一个新的加速框架，称为门萨。Mensa集成了多个异构边缘ML加速器（包括片上和近数据加速器），每个加速器都满足NN模型和层的特定子集的特征。在NN推理过程中，对于每个NN层，Mensa决定在哪个加速器上调度该层，同时考虑每个加速器对该层的最优性和层间通信成本。在所有24个Google edge NN模型中，Mensa将能效和吞吐量提高了3.0倍和3.1倍，比Edge TPU提高了2.4倍和4.3倍，而Eyeriss~v2是最先进的加速器。
2021-09-29 cs.AR cs.LG
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University（亚利桑那州立大学）
本文介绍了Systolic-CNN，这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构，经过优化，可加速多租户云/边缘计算中各种卷积神经网络（CNN）的推理。由于在运行时间支持多个CNN模型的灵活性有限，以及可扩展性差，导致FPGA资源利用不足和计算并行性有限，因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构，有效地探索了空间和时间并行性，以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的，用户可以很容易地对其进行调整，以实现粗粒度计算资源的高达100%的利用率（即，DSP块）。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性，可以在运行时间分时加速各种CNN模型，而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明，对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet，Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟，分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
FPGA-Based CNN Inference Accelerator Synthesized from Multi-Threaded C Software
Samsung Semiconductor Inc.（三星半导体公司）；University of Toronto（多伦多大学）
深度学习推理加速器是从用Pthreads并行化的C语言软件程序合成的。软件实现使用众所周知的生产者/消费者模型，并行线程通过FIFO队列互连。LegUp高级综合（HLS）工具将线程综合到并行FPGA硬件中，将软件并行性转换为空间并行性。生成一个完整的系统，其中卷积，池化和填充在合成加速器中实现，其余任务在嵌入式ARM处理器上执行。该加速器采用了降低的精度和一种新的方法，用于卷积中的零权重跳过。在中型Intel Arria 10 SoC FPGA上，VGG-16的峰值性能为138有效GOPS。
2018-07-27 cs.AR cs.LG cs.PF
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators
ETH Zurich（苏黎世联邦理工学院）；DeepMind（深度思维）；Xilinx（赛灵思）
扩张卷积和转置卷积广泛应用于现代卷积神经网络（CNN）中。这些内核广泛用于CNN训练和应用推理，如图像分割和高分辨率图像生成。虽然这些内核越来越受欢迎，但由于其高内存密度，exascale计算需求和大能耗，它们对当前的计算系统造成了压力。我们发现，基于空间架构的常用低功耗CNN推理加速器并没有针对这两个卷积核进行优化。扩张卷积和转置卷积在映射到底层空间架构时会引入大量的零填充，从而显著降低性能和能效。解决这个问题的现有方法需要对用于计算直接卷积的简单，高效和广泛采用的架构进行重大设计更改。为了应对这一挑战，我们提出了EcoFlow，一组新的卷积和映射算法的扩张和转置卷积。这些算法经过量身定制，可以在现有的低成本、小规模空间架构上高效执行，并且对现有加速器的片上网络的改动最小。EcoFlow通过仔细的流程编排和针对空间架构定制的数据映射消除了零填充。EcoFlow可在针对CNN推理进行优化的架构上实现灵活且高性能的转置和扩张卷积。我们评估了EcoFlow在CNN训练工作负载和生成对抗网络（GAN）训练工作负载上的效率。在我们新的周期精确模拟器中进行的实验表明，与最先进的CNN推理加速器相比，EcoFlow 1）将端到端CNN训练时间减少了7- 85%，2）将端到端GAN训练性能提高了29- 42%。
2022-02-04 cs.AR cs.LG
ALADIN: Accuracy-Latency-Aware Design-space Inference Analysis for Embedded AI Accelerators
ALADIN是一种面向嵌入式AI加速器的精度-延迟感知设计空间推理分析框架，通过混合精度量化神经网络的渐进细化过程，实现对精度、延迟和资源消耗的高效评估与优化。
2026-02-12 cs.AI cs.AR cs.LG
P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
Department of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系）；EAST-MICAS, KU Leuven（KU莱顿大学EAST-MICAS）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
本文提出P3-LLM，通过混合精度量化和PIM架构设计，提升边缘LLM推理效率，实现4.9倍以上的加速效果。
2026-05-03 cs.AR cs.LG
Chameleon: A Multiplier-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data
Delft University of Technology（代尔夫特理工大学）
Chameleon通过统一学习和推理架构、高效捕捉长期时序依赖以及无矩阵乘法计算阵列，实现了端到端的少样本学习和持续学习，同时在低功耗下保持高精度。
2026-07-21 cs.AR cs.LG
A Survey of FPGA-Based Neural Network Accelerator
最近的研究表明，神经网络在机器学习中比传统的基于手工特征和模型的算法具有显著的优势。神经网络在图像、语音和视频识别等领域得到了广泛的应用。但神经网络推理的高计算和存储复杂性给其应用带来了很大困难。CPU平台很难提供足够的计算能力。GPU平台以其高计算能力和易用的开发框架成为神经网络处理的首选平台。另一方面，基于FPGA的神经网络推理加速器也成为一个研究课题。通过专门设计的硬件，FPGA是下一个可能在速度和能效方面超越GPU的解决方案。已经提出了各种基于FPGA的加速器设计，其具有软件和硬件优化技术以实现高速和能量效率。本文综述了基于FPGA的神经网络推理加速器的研究进展，并对其中的主要技术进行了总结。从软件到硬件，从电路级到系统级，对基于FPGA的神经网络推理加速器的设计进行了全面的分析，为以后的工作提供了指导。
2018-12-06 cs.AR
Scale-out Systolic Arrays
EPFL（洛桑联邦理工学院）；CodeDepot；SungKyunKwan University（成均馆大学）
多pod脉动阵列正在成为DNN推理加速器的首选架构。尽管它们具有潜力，但设计多舱收缩阵列以最大化有效吞吐量/瓦特（即，在考虑阵列利用率时调整的吞吐量/瓦特）带来了一系列独特的挑战。在这项工作中，我们研究了三个关键支柱，在多荚脉动阵列设计，即阵列粒度，互连和平铺。我们确定了跨工作负载的最佳阵列粒度，并表明最先进的商业加速器对单租户工作负载使用了次优的阵列大小。然后，我们评估互连的带宽/延迟权衡，并表明蝴蝶网络提供了一个可扩展的拓扑结构的加速器与大量的豆荚。最后，我们介绍了一种新的数据分片方案，自定义分区大小，以最大限度地利用最佳大小的豆荚。我们提出了横向扩展的Sysplant阵列，这是一个基于这三个支柱的单租户和多租户的多pod推理加速器。我们表明，SOSA在最先进的DNN推理工作负载的有效吞吐量方面表现出高达600 TeraOps/s的扩展，并且比最先进的多pod加速器性能高出1.5倍。
2022-03-22 cs.AR cs.LG
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens（雅典国立技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
深度神经网络（DNN）非常受欢迎，因为它们在机器学习（ML）中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性，但代价是高计算复杂性。为了实现DNN推理的有效执行，越来越多的研究工作，因此，利用DNN固有的错误恢复能力，并采用近似计算（AC）原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先，我们分析了最先进的，并通过识别近似家庭，我们集群的近似类型方面的各自的作品。接下来，我们分析所执行评估的复杂性（相对于数据集和DNN大小），以评估近似DNN加速器的效率，潜力和局限性。此外，提供了广泛的讨论，关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后，我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
SpeedLLM: An FPGA Co-design of Large Language Model Inference Accelerator
本文提出在Xilinx Alevo U280上针对Tinyllama优化的FPGA加速器SpeedLLM，通过数据流并行、内存复用和Llama2算子融合，实现最高4.8倍性能提升和1.18倍能耗降低。
2025-05-07 cs.AR
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky（肯塔基大学）
CNN推理任务的加速使用通常被转换为矢量点积（VDP）运算的卷积运算。已经提出了几种基于光子微谐振器（MRR）的硬件架构来加速整数量化的CNN，与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而，现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡，这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量，从而严重降低了可实现的性能优势。为了解决这个缺点，我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性，我们发明了一种基于MRR的光学随机乘法器（OSM）。我们采用多个OSM的级联方式使用密集波分复用，打造一种新的基于随机计算的光学神经网络加速器（SCONNA）。SCONNA实现了显着的高吞吐量和能源效率，以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明，SCONNA在每秒帧数（FPS）、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进，平均比先前工作中的两个基于光子MRR的模拟CNN加速器高，对于大型CNN，Top-1精度下降仅高达0.4%，对于小型CNN，则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器，用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
Hyft: A Reconfigurable Softmax Accelerator with Hybrid Numeric Format for both Training and Inference
Hyft提出一种混合数值格式的可重构Softmax加速器，通过为不同非线性运算自适应选择最合适的数值格式，在训练和推理中实现硬件资源利用率降低10倍、处理延迟降低6倍，且几乎不影响Transformer精度。
2024-09-04 cs.AR
HEANA: A Hybrid Time-Amplitude Analog Optical Accelerator with Flexible Dataflows for Energy-Efficient CNN Inference
University of Kentucky（肯塔基大学）
HEANA是一种混合时间-幅度模拟光学加速器，通过TAOM和BPCA解决串扰、数据流灵活性及原位累加问题，实现CNN推理的显著性能与能效提升。
2024-12-15 cs.AI cs.AR cs.ET
S4: a High-sparsity, High-performance AI Accelerator
Moffett AI；The Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
利用神经网络底层的稀疏性已经成为减少推理过程中的内存占用、I/O成本和计算工作量的最有潜力的方法之一。随着更大的模型尺寸以及预训练巨型模型的趋势，可以利用的稀疏度变得更高。另一方面，与已经被广泛支持的量化选项相比，大多数计算平台不支持通过高度稀疏性的加速。在这项工作中，我们介绍了第一个商业硬件平台，支持高度稀疏加速高达32倍-S4。结合最先进的稀疏修剪技术，我们在S4上展示了几倍于Nvidia T4等主流推理平台的实际推理加速。我们还表明，在实践中，一个稀疏的模型，更大的尺寸可以实现更高的精度和更高的吞吐量比一个密集的模型，更小的尺寸。
2022-07-16 cs.AR cs.LG
A Time-Encoded Analog Photonic Interposer for Energy-EfficientIntegration of Analog Vision Sensors and Analog Accelerators
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Case Western Reserve University（凯斯西储大学）
本研究提出时间编码模拟光子中介层，通过ATC转换模拟信号为时间间隔传输，实现模拟视觉传感器与加速器的高能效集成，在VWW数据集上EDP提升2.04倍，泛化性能优异。
2026-09-04 cs.AR
EdgeDRNN: Recurrent Neural Network Accelerator for Edge Inference
低延迟、低功耗便携式循环神经网络（RNN）加速器为物联网、机器人和人机交互等实时应用提供强大的推理能力。我们提出了一种基于门控循环单元（GRU）的轻量级RNN加速器，称为EdgeDRNN，它针对批量大小为1的低延迟边缘RNN推理进行了优化。EdgeDRNN采用了受脉冲神经网络启发的Delta网络算法来利用RNN的时间稀疏性。权重存储在便宜的DRAM中，这使得EdgeDRNN能够在最便宜的FPGA上计算大型多层RNN。稀疏更新将DRAM权重存储器访问减少多达10倍，并且可以动态地改变增量以在延迟和准确性之间进行权衡。EdgeDRNN在大约0.5ms内更新500万个参数的2层GRU-RNN。它实现了与92 W Nvidia 1080 GPU相当的延迟。它在延迟方面比NVIDIA Jetson Nano、Jetson TX 2和Intel Neural Compute Stick 2高出5倍。对于批量大小为1的情况，EdgeDRNN实现了20.2GOp/s的平均有效吞吐量和比商业边缘AI平台高出4倍以上的墙壁插头功率效率。
2020-12-25 cs.AR
AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch
National Technical University of Athens（雅典国立技术大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当前最先进的技术采用近似乘法器来解决DNN加速器的高度增加的功率需求。然而，由于DNN框架中缺乏对近似算法的足够支持，评估近似DNN的准确性是很麻烦的。我们通过提出AdaPT来解决这种效率低下的问题，AdaPT是一个快速仿真框架，它扩展了PyTorch以支持近似推理和近似感知再训练。AdaPT可以无缝部署，并与大多数DNN兼容。我们评估了几个DNN模型和应用领域的框架，包括CNN，LSTM和GANs，用于一些具有不同位宽值的近似乘法器。结果显示，近似重新训练的错误恢复显著，并且相对于基线近似实现，推理时间减少了53.9倍。
2022-10-11 cs.AR cs.LG
RACE-AIMC: Selective Inference for Heterogeneous Analog In-Memory Accelerators at the Edge
WD Research（西部数据研究机构）
RACE-AIMC框架为边缘端异构模拟内存内加速器，通过离线选最优加速器并计算错误上界、在线轻量检查的方式，在保证准确率的同时降低了能耗。
2026-09-04 cs.AR cs.ET cs.LG
PRIMAL: Processing-In-Memory Based Low-Rank Adaptation for LLM Inference Accelerator
National University of Singapore（新加坡国立大学）
PRIMAL通过内存计算和低秩适应技术，实现LLM推理加速，相比NVIDIA H100在吞吐量和能效上有显著提升。
2026-01-20 cs.AR
Scaling Analog Photonic Accelerators for Byte-Size, Integer General Matrix Multiply (GEMM) Kernels
本文提出可扩展光子GEMM加速器SPOGA，通过零差光信号模拟求和与换能中位置加权等技术，突破4位操作数限制，支持字节大小整数GEMM内核，在吞吐量、能效和面积效率上显著超越现有光子方案。
2024-07-08 cs.AR cs.ET cs.PF
HCiM: ADC-Less Hybrid Analog-Digital Compute in Memory Accelerator for Deep Learning Workloads
针对模拟CiM加速器中ADC带来的高功耗与面积开销问题，提出无ADC的混合模数加速器HCiM，结合模拟交叉阵列与数字CiM阵列处理缩放因子，实现最高28%的能耗降低。
2024-03-20 cs.AR
LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
Northeastern University（东北大学）；Adobe（奥多比公司）
本文提出LUTMUL方法，利用数量远超DSP的查找表执行乘法运算，结合可重构数据流架构突破传统FPGA加速器性能极限，在ImageNet上实现每秒1627张图像的推理吞吐量和70.95%的top-1准确率。
2024-11-01 cs.AI cs.AR cs.LG
Subtractor-Based CNN Inference Accelerator
Dalhousie University（达尔豪斯大学）
本研究提出基于减法器的CNN推理加速方法，通过权重处理将乘加运算替换为减法以降低功耗和面积，可调控性能与精度的权衡，在MNIST数据集上实现了显著的功耗和面积优化且精度损失极低。
2023-10-02 cs.AI cs.AR
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题，提出可配置硬件加速器ViTA，采用头级流水线和层间MLP优化避免重复片外内存访问，在多数模型上实现近90%硬件利用率，功耗0.88W，适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中，对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围，这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂，特别是对于训练。我们提出TRIM，这是一种基础设施，可以帮助硬件架构师探索深度神经网络加速器的设计空间，以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估，同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标，TRIM可以快速探索不同的硬件设计选项，选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间，通过几个案例研究。TRIM是一个强大的工具，可以帮助架构师评估不同的硬件选择，以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
