A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things
卷积神经网络(CNN)在图像检测中提供了显著的准确性。为了在物联网(IoT)设备中使用CNN实现图像检测,提出了一种流硬件加速器。所提出的加速器通过避免不必要的数据移动来优化能源效率。通过独特的滤波器分解技术,加速器可以支持任意卷积窗口大小。此外,通过使用单独的池化单元,可以与卷积并行计算最大池化函数,从而实现吞吐量的提高。原型加速器采用TSMC 65 nm技术实现,核心尺寸为5 mm 2。该加速器可以支持主要的CNN,并在350 mW时实现152 GOPS的峰值吞吐量和434 GOPS/W的能效,使其成为智能物联网设备的有前途的硬件加速器。
2017-07-08 cs.AR cs.CV
Mega: A 22 nm Convolutional Spiking Neural Network Accelerator Achieving 0.375 pJ/SOP for Efficient Edge Vision
Eindhoven University of Technology(埃因霍温理工大学)
提出Mega数字架构,通过高度并行化3×3卷积、统一数据内存和高效脉冲映射处理,在22nm FDSOI工艺上实现0.375 pJ/SOP的能效,较现有技术提升4倍。
2026-06-29 cs.AR
VWA: Hardware Efficient Vectorwise Accelerator for Convolutional Neural Network
卷积神经网络(CNN)的硬件加速器实现了人工智能技术的实时应用。然而,大多数现有的设计遭受低硬件利用率或高面积成本,由于复杂的布线。本文提出了一种硬件高效的矢量CNN加速器,该加速器采用3 $\times$ 3滤波器优化的脉动阵列,使用1-D广播时钟产生部分和。这使得不同类型的内核可以轻松地重新配置交错输入或逐元素输入的卷积。这种简单且规则的数据流导致低面积成本,同时获得高硬件利用率。在VGG-16、ResNet-34、GoogLeNet和Mobilenet上,硬件利用率分别达到99%、97%、93.7%和94%。采用台积电40 nm工艺的硬件实现采用266.9K“与非”门数和191 KB SRAM,支持168 GOPS吞吐量,在500 MHz工作频率下运行时功耗仅为154.98 mW,具有优于其他设计的面积和功耗效率。
2022-05-02 cs.AR
PipeCNN: An OpenCL-Based FPGA Accelerator for Large-Scale Convolution Neuron Networks
卷积神经网络在图像分类、视频分析和语音识别等领域有着广泛的应用。作为计算密集型,CNN计算主要由具有高功耗的GPU加速。最近,研究进行了利用FPGA作为CNN加速器,因为它的可重构性和能源效率的优势比GPU,特别是当基于OpenCL的高级合成工具,现在提供快速验证和实施流程。以前的基于OpenCL的设计只关注于创建一个通用的框架来识别与性能相关的硬件参数,而没有利用FPGA的特殊能力,流水线内核功能,以最大限度地减少内存带宽的要求。在这项工作中,我们提出了一个FPGA加速器的深度流水线OpenCL内核的新架构。为了提高设计效率,还提出了数据重用和任务映射技术。通过在Altera Stratix-V A7 FPGA上实现AlexNet和VGG两个具有代表性的大规模CNN,验证了所提出的方案。与以前的工作相比,我们已经实现了33.9 GOPS的类似峰值性能,DSP块上的资源减少了34%。我们的设计是开放的,因此可以重用,以探索新的架构神经网络加速器。
2016-11-08 cs.AR
Snowflake: A Model Agnostic Accelerator for Deep Convolutional Neural Networks
深度卷积神经网络(CNN)是执行目标检测、分类、语义分割和自然语言处理任务的首选深度学习模型。CNN需要数十亿次操作来处理一帧。这种计算复杂性与卷积运算的固有并行性相结合,使CNN成为定制加速器的绝佳目标。然而,当针对不同的CNN层次结构和数据访问模式进行优化时,定制加速器很难达到接近100%的计算效率。在这项工作中,我们提出了Snowflake,这是一个可扩展且高效的加速器,对CNN工作负载不可知,并且旨在始终在接近峰值的硬件利用率下执行。Snowflake在现代CNN模型上的计算效率超过91%。在Xilinx Zynq XC 7Z 045 SoC上实现的Snowflake能够在AlexNet CNN模型上实现128 G-ops/s的峰值吞吐量和100帧每秒和120 G-ops/s的测量吞吐量,在GoogLeNet CNN模型上实现36帧每秒和116 G-ops/s的测量吞吐量,在ResNet-50 CNN模型上实现17帧每秒和122 G-ops/s的测量吞吐量。据我们所知,Snowflake是唯一一个能够在现代CNN上实现91%以上效率的实现系统,也是唯一一个将GoogLeNet和ResNet作为基准套件一部分的实现系统。
2017-08-08 cs.AR
PSA: A Pruning-Friendly Sparse-Aware Accelerator for Efficient Sparse Convolution in SNNs
ZJUI-UIUC Institute, Zhejiang University(浙江大学中法联合学院);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出面向SNN高效稀疏卷积的剪枝友好型稀疏感知加速器PSA,通过SAMA数据流、SIG-im2col机制及剪枝友好型门控机制,在ResNet-18/CIFAR-10上实现能效4.45倍提升、EDP降低18.52倍。
2026-10-16 cs.AR
A Low-Power Sparse Convolution Accelerator with Idle-First-Task-Assignment for Edge Vision
TUD Dresden University of Technology(德累斯顿工业大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI Dresden)(可扩展数据分析与人工智能中心);Centre for Tactile Internet with Human-in-the-loop (CeTI)(人机交互触觉互联网中心)
本文针对边缘视觉监控系统的资源约束,提出基于IFTA调度的低功耗稀疏卷积加速器,采用16 nm工艺实现,在ImageNet上对稀疏VGG16、MobileNetV2的加速效果优于传统密集及现有稀疏加速器。
2026-07-31 cs.AR
Communication Lower Bound in Convolution Accelerators
在当前的卷积神经网络(CNN)加速器中,通信(即,存储器访问)支配能量消耗。这项工作提供了全面的分析和方法,以尽量减少CNN加速器的通信。对于片外通信,我们推导出任何卷积层的理论下限,并提出了一个达到下限的卷积层。这个基本问题从未被先前的研究解决。基于精心设计的工作负载和存储映射方案,最大限度地减少了片上通信。此外,我们还设计了一个通信最佳的CNN加速器架构。基于65 nm工艺的评估表明,所提出的架构几乎达到了理论上的最小通信在一个三级存储层次结构,它是计算占主导地位。我们的加速器的能量效率与理论最佳值之间的差距仅为37- 87%。
2020-01-17 cs.AR cs.DC
QUILL: An Algorithm-Architecture Co-Design for Cache-Local Deformable Attention
针对可变形Transformer因不规则内存访问、低算术强度难以硬件适配的问题,提出算法-架构协同设计的调度感知加速器QUILL,可实现缓存友好的单次可变形注意力计算,显著提升吞吐量与能效且精度损失极小。
2025-11-17 cs.AR cs.CV cs.LG
SPOTS: An Accelerator for Sparse Convolutional Networks Leveraging Systolic General Matrix-Matrix Multiplication
提出了一种新的稀疏卷积神经网络(CNN)硬件加速器,通过构建一个硬件单元来执行输入特征映射的图像到列(IM 2COL)变换,并结合一个基于脉动阵列的通用矩阵-矩阵乘法(GEMM)单元。我们的设计仔细重叠的IM 2COL转换与GEMM计算,以最大限度地提高并行性。我们提出了一种新颖的设计IM 2COL单元,它使用一组分布式本地存储器连接的环形网络,提高了能源效率和延迟的输入特征映射流只有一次。我们为GEMM单元提出了一个高大的脉动阵列,同时还提供了将其组织为多个小型GEMM单元的能力,这使我们的设计能够处理各种CNN及其参数。此外,我们的设计通过有效地将稀疏数据映射到硬件单元,利用输入特征映射和权重的稀疏性来提高性能。我们的原型SPOTS比Eyeriss平均快1.74倍。与CPU和GPU实现相比,它的能效分别提高了78倍和12倍。
2021-11-24 cs.AR
A Silicon Photonic Accelerator for Convolutional Neural Networks with Heterogeneous Quantization
Colorado State University(科罗拉多州立大学)
卷积神经网络(CNN)中的参数量化可以帮助生成具有较低内存占用和计算复杂性的高效模型。但是,均匀量化可能导致CNN模型精度的显著降低。相比之下,异构量化是一种很有前途的方法来实现紧凑的,量化的模型具有更高的推理精度。在本文中,我们提出了HQNNA,一个CNN加速器的基础上非相干硅光子,可以加速均匀量化和非均匀量化的CNN模型。我们的分析表明,HQNNA实现了比最先进的光子CNN加速器高出73.8倍的每比特能量和高出159.5倍的吞吐量能量效率。
2022-05-17 cs.AR cs.LG
A CNN Accelerator on FPGA Using Depthwise Separable Convolution
卷积神经网络(CNN)由于其高精度,在计算机视觉和模式识别领域得到了广泛的应用。然而,大型卷积运算是计算密集型的,通常需要强大的计算平台,例如图形处理单元(GPU)。这使得将CNN应用于便携式设备变得困难。最先进的CNN,如MobileNetV 2和Xception,采用深度可分离卷积来取代嵌入式平台的标准卷积。这大大减少了操作和参数,而精度损失有限。这种高度结构化的模型非常适合现场可编程门阵列(FPGA)实现。本文提出了一种可扩展的高性能深度可分离卷积优化的CNN加速器。该加速器可以安装在不同尺寸的FPGA中,在硬件资源和处理速度之间提供平衡。以MobileNetV 2为例,在Arria 10 SoC FPGA上实现,结果表明该加速器可以在3.75ms内对ImageNet中的每幅图片进行分类,约为266.6帧/秒。与CPU相比,这实现了20倍的加速。
2018-09-06 cs.AR eess.SP
Efficient Accelerator for Dilated and Transposed Convolution with Decomposition
National Chiao Tung University(国立交通大学)
用于扩张和转置卷积的硬件加速使得能够实时的执行相关任务,如分割,但是当前的设计是特定于这些卷积类型的,或者遭受用于可重构设计的复杂控制。本文提出了一种设计,分别为扩张卷积和转置卷积分解输入或权重,以跳过冗余计算,从而在现有的密集CNN硬件上有效地执行。该架构可以减少87.8%的周期数,实现8.2倍的加速比在一个天真的执行ENet的情况下。
2022-05-02 cs.AR cs.LG
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元,这是一个硬件推理加速器,用于嵌入式系统的卷积深度神经网络,具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算,从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上,从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比,整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作,用于卷积和全连接计算。本文提出了一种方案,重用的输入,重量,和输出的所有层,以减少DRAM访问。此外,本文提出了一种可配置的架构,可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
A 58.6mW Real-Time Programmable Object Detector with Multi-Scale Multi-Object Support Using Deformable Parts Model on 1920x1080 Video at 30fps
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种可编程的,节能的和实时的【形】目标检测加速器使用可变形的部分模型(变形),与传统的刚体模型的精度提高2倍。对于8个可变形部分的检测,使用三种方法来解决高计算复杂性:分类修剪以减少33倍的部分分类,矢量量化以减少15倍的存储器大小,以及特征基投影以减少2倍的每个分类的成本。该芯片采用65 nm CMOS工艺实现,可以以30 fps的速度处理高清(1920 x1080)图像,无需任何片外存储,同时功耗仅为58.6mW(0.94nJ/像素,1168 GOPS/W)。该芯片具有两个分类引擎,可同时检测两种不同类别的对象。经过测试的60 fps高吞吐量,分类引擎可以进行时间复用,以检测甚至超过两个对象类别。通过改变修剪因子或禁用零件分类,它是能量可扩展的。
2016-07-27 cs.AR cs.CV
An Evaluation of Edge TPU Accelerators for Convolutional Neural Networks
Enfabrica;Google(谷歌);Cruise;Google Research(谷歌研究院)
Edge TPU是低功耗边缘设备的加速器领域,广泛用于Coral和Pixel设备等各种Google产品。在本文中,我们首先讨论了边缘TPU的主要微架构细节。然后,我们广泛评估了三类边缘TPU,涵盖不同的计算生态系统,这些TPU目前部署在Google产品中,或者是423 K独特的卷积神经网络中的产品管道。基于这一广泛的研究,我们讨论了关键的和可解释的微架构的见解研究类边缘TPU。我们主要讨论Edge TPU加速器如何在具有不同结构的卷积神经网络上执行。最后,我们介绍了我们正在努力开发高精度的学习机器学习模型,以估计加速器的主要性能指标,如延迟和能耗。这些学习的模型使加速器的评估速度大大加快(以毫秒为单位),作为耗时的周期精确模拟器的替代方案,并为快速硬件/软件协同设计提供了令人兴奋的机会。
2022-10-11 cs.AR cs.LG
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维);Xilinx(赛灵思)
扩张卷积和转置卷积广泛应用于现代卷积神经网络(CNN)中。这些内核广泛用于CNN训练和应用推理,如图像分割和高分辨率图像生成。虽然这些内核越来越受欢迎,但由于其高内存密度,exascale计算需求和大能耗,它们对当前的计算系统造成了压力。我们发现,基于空间架构的常用低功耗CNN推理加速器并没有针对这两个卷积核进行优化。扩张卷积和转置卷积在映射到底层空间架构时会引入大量的零填充,从而显著降低性能和能效。解决这个问题的现有方法需要对用于计算直接卷积的简单,高效和广泛采用的架构进行重大设计更改。为了应对这一挑战,我们提出了EcoFlow,一组新的卷积和映射算法的扩张和转置卷积。这些算法经过量身定制,可以在现有的低成本、小规模空间架构上高效执行,并且对现有加速器的片上网络的改动最小。EcoFlow通过仔细的流程编排和针对空间架构定制的数据映射消除了零填充。EcoFlow可在针对CNN推理进行优化的架构上实现灵活且高性能的转置和扩张卷积。我们评估了EcoFlow在CNN训练工作负载和生成对抗网络(GAN)训练工作负载上的效率。在我们新的周期精确模拟器中进行的实验表明,与最先进的CNN推理加速器相比,EcoFlow 1)将端到端CNN训练时间减少了7- 85%,2)将端到端GAN训练性能提高了29- 42%。
2022-02-04 cs.AR cs.LG
GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
图卷积神经网络(GCN)已经成为输入数据是相关的各种应用领域中的关键技术。GCN的一个独特属性是它的两个主要执行阶段(聚合和组合)表现出截然不同的数据流。因此,先前的GCN加速器通过将聚合和组合阶段铸造为一系列稀疏-密集矩阵乘法来解决这个研究空间。然而,以前的工作经常受到低效数据移动的影响,留下了大量的性能。我们提出了GROW,GCN加速器的基础上Gustavson的算法架构的行积的稀疏密集GEMM加速器。GROW共同设计的软件/硬件在GCN的局部性和并行性方面取得了平衡,与最先进的GCN加速器相比,实现了显著的能效改进。
2022-12-01 cs.AI cs.AR cs.LG
Optimizing Temporal Convolutional Network inference on FPGA-based accelerators
卷积神经网络广泛应用于各种应用中,通常包括图像和视频分类、识别和分割等计算机视觉任务。最近的研究结果表明,涉及一维卷积和膨胀的多层(深度)网络可以有效地用于时间序列和序列分类和分割,以及涉及序列建模的任务。这些结构通常被称为时间卷积网络(TCN),已被证明在准确性和训练时间方面始终优于递归神经网络[1]。虽然基于FPGA的经典CNN推理加速器很普遍,但文献缺乏对TCN模型推理可用性的定量评估。在本文中,我们提出了这样的评估,考虑到CNN加速器的特定功能,支持TCN内核作为参考和一组最先进的TCN作为基准。实验结果表明,在TCN执行过程中,操作强度对整体性能至关重要。我们提出了一种基于批处理的卷积调度,可以将效率提高到理论峰值性能的96%。总体而言,我们可以在Ultrascale+ ZU 3EG上实现高达111.8 GOPS/s和33.9 GOPS/s/W的功率效率(相对于纯软件实现,加速高达10倍,功率效率提高3倍)。
2020-05-07 cs.AR eess.SP
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto(多伦多大学);York University(约克大学)
在这项工作中,PRUNIX,一个框架,用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应,包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化,旨在提高非理想性容限以及稀疏性,以及一种新的自适应修剪算法(APA),旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较,并观察到当量化和其他非理想效应被占时,测试精度提高了13%,总体稀疏度为85%,这与其他方法相似
2022-02-03 cs.AR cs.LG
SqueezeJet: High-level Synthesis Accelerator Design for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度卷积神经网络通过在诸如对象识别和目标检测之类的计算机视觉问题中提供准确得多的解决方案,已经主导了模式识别场景。这些解决方案中的大多数都需要巨大的计算成本,需要数十亿次乘法累加运算,因此,在嵌入式移动(资源-功率受限)硬件上运行的实时应用中使用它们非常具有挑战性。这项工作提出了架构,高层次的综合设计,并实现SqueezeJet,一个FPGA加速器的推理阶段的SqueezeNet DCNN架构,这是专门设计用于嵌入式系统。结果表明,与运行在嵌入式移动处理器上的SqueezeNet软件实现相比,SqueezeJet可以实现15.16倍的速度提升,而前5名的精度下降不到1%。
2018-05-06 cs.AR cs.CV
A scalable and efficient convolutional neural network accelerator using HLS for a System on Chip design
Aarhus University(奥胡斯大学)
提出了一种用于片上系统设计的可配置卷积神经网络加速器(CNNA)。目标是在嵌入式SoC平台上加速不同深度学习网络的推理。提出的CNNA具有可扩展的架构,它使用高级综合(HLS)和SystemC的硬件加速器。它能够加速从Python导出的任何卷积神经网络(CNN),并支持卷积、最大池化和全连接层的组合。本文提出了一种定点量化权值的训练方法。CNNA是基于模板的,使其能够针对Xilinx Zynq平台的不同目标进行扩展。这种方法支持设计空间探索,这使得在C和RTL仿真期间探索CNNA的几种配置成为可能,使其适合所需的平台和模型。使用CNN VGG 16在Xilinx Ultra 96板上使用PYNQ测试该解决方案。与类似的浮点模型相比,使用自动缩放的定点Q2.14格式进行训练的结果具有较高的准确性。它能够在2.0秒内执行推理,而平均功耗为2.63 W,相当于6.0 GOPS/W的功率效率。
2020-10-07 cs.AR cs.CV
A Parameterizable Convolution Accelerator for Embedded Deep Learning Applications
本文提出了一种可参数化的卷积加速器设计方法,通过高级综合工具实现多约束优化,提升嵌入式深度学习应用的性能与效率。
2026-02-03 cs.AR cs.CV
NeuroMAX: A High Throughput, Multi-Threaded, Log-Based Accelerator for Convolutional Neural Networks
Kansas State University(堪萨斯州立大学)
卷积神经网络(CNN)由于其巨大的计算成本,需要高吞吐量的硬件加速器用于实时的应用。大多数传统的CNN加速器依赖于单核线性处理元件(PE)结合1D卷积来加速卷积运算。这将每PE计数的峰值吞吐量的最大可实现比率限制为1。大多数过去的作品优化他们的硬件,以达到接近100%的硬件利用率,以达到这个比例。在本文中,我们介绍了一个高吞吐量,多线程,基于日志的PE核心。与具有相同输出位精度的单个线性乘法器PE核相比,所设计的核在每PE计数的峰值吞吐量方面提供了200%的增加,而面积开销仅增加6%。我们还提出了一个2D权重广播数据流,它利用PE核心的多线程特性来实现各种CNN的每层高硬件利用率。我们称之为NeuroMAX的整个架构在Xilinx Zynq 7020 SoC上以200 MHz处理时钟实现。详细的分析进行吞吐量,硬件利用率,面积和功耗故障,和延迟,以显示性能改善相比,以前的FPGA和ASIC设计。
2020-07-19 cs.AR cs.LG
A Streaming Accelerator for Deep Convolutional Neural Networks with Image and Feature Decomposition for Resource-limited System Applications
University of California, Los Angeles(加州大学洛杉矶分校);Kneron Inc.(耐能智慧股份有限公司);National Chiao Tung University(台湾交通大学)
深度卷积神经网络(CNN)被广泛用于现代人工智能(AI)和智能视觉系统中,但也受到资源有限场景(诸如移动设备、物联网(IoT)、无人机(UAV))上的计算延迟、吞吐量和能效的限制。提出了一种硬件流架构来加速最先进的深度CNN的卷积和池化计算。它通过最大化本地数据重用来减少片外DRAM数据访问,从而优化了能效。此外,图像和功能分解技术被引入到优化存储器访问模式的任意大小的图像和功能的数量在有限的片上SRAM容量。原型加速器采用TSMC 65 nm CMOS工艺实现,核心面积为2.3 mm x 0.8 mm,峰值吞吐量为144 GOPS,峰值能效为0.8 TOPS/W。
2017-09-15 cs.AI cs.AR
An FPGA-Based Reconfigurable Accelerator for Convolution-Transformer Hybrid EfficientViT
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
本文针对EfficientViT混合架构提出FPGA可重构加速器,通过可重构计算架构和时分复用流水线数据流实现层内与层间融合,在ZCU102上取得780.2 GOPS吞吐量和105.1 GOPS/W能效,显著超越现有工作。
2024-03-29 cs.AR cs.LG
Hardware Architecture of Embedded Inference Accelerator and Analysis of Algorithms for Depthwise and Large-Kernel Convolutions
Canon Inc.(佳能公司);Canon Information Technology (Beijing) Co., Ltd. (CIB)(佳能信息技术(北京)有限公司)
为了有效地处理现代卷积神经网络(CNN),提出了一种CNN推理加速器的硬件架构,以处理深度卷积和正则卷积,这两者都是嵌入式计算机视觉算法的基本构建块。与相关工作不同的是,所提出的架构可以支持不同大小的过滤器内核具有很高的灵活性,因为它不需要额外的成本内核内并行,它可以生成卷积结果比相关工作的架构更快。实验结果表明,所提出的硬件架构支持dependent卷积和扩张卷积的重要性。除了大核的深度卷积,本文还分析了一种新的DDC层结构,它包括深度卷积和扩张卷积的组合。对于人脸检测,当DDC层应用于网络时,计算成本减少了30%,模型大小减少了20%。对于图像分类,通过简单地将$3 \times 3$滤波器替换为深度卷积中的$5 \times 5$滤波器,精度提高了1%。
2021-04-29 cs.AR cs.CV eess.IV
ARMAN: A Reconfigurable Monolithic 3D Accelerator Architecture for Convolutional Neural Networks
针对不同CNN模型对加速器架构需求各异的问题,提出基于M3D技术的可重构脉动阵列加速器ARMAN,通过灵活配置实现功耗、能量和性能的优化,在多个基准上实现最高2倍、2.24倍、1.48倍和2倍的改进。
2024-02-06 cs.AR cs.ET
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien));Information Technology University (ITU)(信息技术大学(ITU))
用于卷积神经网络(CNN)的最先进的加速器通常只专注于加速卷积层,但不会优先考虑完全连接的层。因此,它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程,这可以提供更高的性能/能量效率潜力。为此,我们提出了一种新型的大规模并行神经阵列(MPNA)加速器,它集成了两个异构的脉动阵列和各自的高度优化的卷积模式,以共同加速卷积(CONV)和全连接(FC)层。除了充分利用可用的片外内存带宽之外,这些优化的FIFO还实现了所有数据类型(即,重量,输入和输出激活),从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构,并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W,功耗为239 mW。实验结果表明,我们的MPNA架构提供了1.7倍的整体性能提高相比,国家的最先进的加速器,和51%的节能相比,基线架构。
2018-10-30 cs.AR cs.DC cs.LG
Tetris: Re-architecting Convolutional Neural Network Computation for Machine Learning Accelerators
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
推理效率是设计深度学习加速器的主要考虑因素。以往的工作主要集中在跳过零值来处理显著的无效计算,而非零值中的零比特作为无效计算的另一个主要来源,往往被忽略。其原因在于在处理单元中进行乘加(MAC)操作期间提取必要比特的困难。基于现代深度卷积神经网络模型总权值中零比特所占比例高达68.9%的事实,提出了一种权值捏合技术,该技术可以同时消除权值为零或非零权值中零比特所导致的无效计算。此外,提出了一种分裂累加(SAC)计算模式来代替传统的MAC,并设计了相应的硬件加速器Tetris来支持硬件级的权重揉捏。实验结果证明,与最先进的基线相比,Tetris可以将推理速度提高1.50倍,并将功率效率提高5.33倍。
2018-11-14 cs.AR cs.LG
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University(亚利桑那州立大学);Nanyang Technological University(南洋理工大学)
基于FPGA的卷积神经网络(CNN)硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而,基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中,我们证明了当CNN在权重和激活的二进制约束下进行训练时,FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说,我们提出了一种优化的FPGA加速器架构,专为逐位卷积和归一化而设计,具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感,而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明,在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍,能效高75倍,可以处理小批量的在线个人请求。对于处理大批量静态数据,该解决方案在吞吐量方面与Titan X GPU不相上下,同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich(苏黎世联邦理工学院集成系统实验室)
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后,现在,对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制,并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的,硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明,ResNet-34的平均压缩比相对于未压缩数据为4.4倍,比现有方法的增益为60%,压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
Synapse Compression for Event-Based Convolutional-Neural-Network Accelerators
GrAI Matter Labs(GrAI Matter实验室)
制造可行的神经形态芯片需要新颖的计算机体系结构来实现大脑毫不费力地支持的大规模并行和高效的信息处理。新兴的基于事件的架构正在使这一梦想成为现实。然而,突触连接的大内存需求是现代卷积神经网络(CNN)在大规模并行、基于事件(尖峰)架构上执行的一个障碍。这项工作克服了这一障碍,通过贡献一个轻量级的硬件方案,压缩突触存储器的要求了几千倍,使复杂的CNN在一个小形状因子的单个芯片上执行。在12纳米技术的硅实现表明,该技术只增加了2%的系统的实施成本,尽管实现了高达374倍的总内存占用减少相比,以前公布的最好的技术。
2023-01-24 cs.AI cs.AR
LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
已经引入了图卷积网络(GCN)来有效地处理非欧几里德图数据。然而,GCN在计算和存储器访问中引起大量的不规则性,这妨碍了传统神经网络加速器的有效使用。此外,现有的专用GCN加速器需要高存储容量,并且难以在资源有限的边缘设备上实现。在这项工作中,我们提出了LW-GCN,一个轻量级的基于FPGA的加速器与软硬件协同设计的过程,以解决不规则的计算和内存访问GCN推理。LW-GCN将主要的GCN运算分解为稀疏-密集矩阵乘法(SDMM)和密集矩阵乘法(DMM)。我们提出了一种新的压缩格式来平衡PE之间的工作负载并防止数据危险。此外,我们应用数据量化和工作负载平铺,并映射到一个统一的架构上的资源有限的硬件上的GCN推理的SDMM和DMM。在Xilinx Kintex-7 FPGA上使用三个流行的数据集对GCN和GraphSAGE进行了评估。与现有的CPU、GPU和最先进的基于FPGA的加速器相比,LW-GCN将延迟降低了60倍、12倍和1.7倍,并将能效提高了912倍。511 x和3.87x。此外,与NVIDIA最新的边缘GPU Jetson Xavier NX相比,LW-GCN分别实现了32倍的加速和84倍的节能。
2021-11-04 cs.AR cs.DC cs.LG
XNORBIN: A 95 TOp/s/W Hardware Accelerator for Binary Convolutional Neural Networks
ETH Zurich(苏黎世联邦理工学院)
部署最先进的CNN需要耗电的处理器和片外存储器。这排除了在低功耗嵌入式系统中实现CNN。最近的研究表明,CNN维持极端量化,将其权重和中间特征映射二值化,从而节省8-32 \x内存,并将能量密集型产品总和压缩为XNOR和popcount操作。我们提出了XNORBIN,一个二进制CNN的加速器,计算与内存紧密耦合,以实现积极的数据重用。XNORBIN采用UMC 65 nm技术实现,在0.8 V时的能效为95 TOp/s/W,面积效率为2.0 TOp/s/MGE。
2018-03-05 cs.AI cs.AR cs.CV
PhotoFourier: A Photonic Joint Transform Correlator-Based Neural Network Accelerator
University of California, Los Angeles(加州大学洛杉矶分校);The George Washington University(乔治华盛顿大学)
在过去的几年里,人们做了大量的工作来解决低延迟和高吞吐量卷积神经网络推理的挑战。集成光子学具有显著加速神经网络的潜力,因为它具有低延迟的特性。结合联合变换相关器(JTC)的概念,计算上昂贵的卷积函数可以立即计算(光的飞行时间),几乎没有成本。这种“自由”卷积计算提供了所提出的基于PhotoFourier JTC的CNN加速器的理论基础。PhotoFourier解决了傅立叶域中片上光子计算带来的无数挑战,包括1D透镜和高成本光电转换。与最先进的光子神经网络加速器相比,所提出的光傅立叶加速器实现了超过28倍的能量延迟产品。
2022-11-10 cs.AR cs.ET cs.LG
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);UC-Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要,特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN(SCNN)加速器架构,该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说,SCNN采用了一种新的卷积算法,可以在压缩编码中保持稀疏权重和激活,从而消除了不必要的数据传输并降低了存储要求。此外,SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列,在那里它们被广泛地重用。此外,乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明,在当代神经网络上,SCNN可以将性能和能量分别提高2.7倍和2.3倍,而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
SafeLight: Enhancing Security in Optical Convolutional Neural Network Accelerators
Colorado State University(科罗拉多州立大学);University of Kentucky(肯塔基大学)
针对光学神经网络(ONN)加速器面临的硬件木马(HT)攻击威胁,本文分析其对CNN模型性能的影响,提出增强鲁棒性的技术以恢复精度下降,提升光学卷积神经网络加速器的安全性。
2024-11-22 cs.AR cs.CR cs.LG