An Application-Specific VLIW Processor with Vector Instruction Set for CNN Acceleration
RWTH Aachen University(亚琛工业大学)
近年来,神经网络在对象识别等领域已经超越了经典算法,例如在著名的ImageNet挑战中。因此,人们正在努力开发快速有效的加速器,特别是卷积神经网络(CNN)。在这项工作中,我们提出了ConvAix,一个完全C可编程的处理器,它-与许多现有的架构相反-不依赖于一个硬连线的乘法和累加(MAC)单元阵列。相反,它利用精心设计的向量指令集将计算映射到独立的向量通道上。所提出的处理器是针对延迟敏感的应用程序,并能够执行多达192个MAC操作每周期。ConvAix在28 nm CMOS中以400 MHz的目标时钟频率工作,从而在其目标域内提供最先进的性能和适当的灵活性。来自众所周知的CNN(AlexNet,VGG-16)的几个2D卷积层的仿真结果显示,使用具有16位定点运算的向量指令,平均ALU利用率为72.5%。与其他知名设计相比,ConvAix的灵活性较低,具有竞争力的能源效率高达497 GOP/s/W,同时在面积效率和处理速度方面甚至超过了它们。
2019-04-10 cs.AR cs.LG
GnetSeg: Semantic Segmentation Model Optimized on a 224mW CNN Accelerator Chip at the Speed of 318FPS
Gyrfalcon Technology Inc.(矛隼科技公司)
语义分割是将图像上属于同一类的像素聚类的任务。在自动驾驶、医学影像分析、工业检测、智能手机摄像头分割等实际应用中,语义分割模型在移动设备和边缘设备上的加速应用是行业的实际需求。近年来,CNN(卷积神经网络)加速器的广泛应用已经成为人们的见证。它们在功率效率、推理速度等方面具有优势,非常适合在边缘设备上加速语义分割模型。然而,CNN加速器芯片在灵活性和存储器方面也有局限性。此外,CPU负载非常关键,因为CNN加速器芯片与主机CPU作为协处理器工作。本文对语义分割模型进行了优化,目的是充分利用CNN加速器芯片上有限的内存和支持的运算符,同时将CNN模型的CPU负载降为零。生成的模型称为GnetSeg。此外,我们提出了GnetSeg模型的掩码的整数编码,这最大限度地减少了CNN加速器和主机CPU之间的数据传输延迟。实验结果表明,该模型在224mW芯片上运行时,速度达到318FPS,具有良好的准确性,适用于人体分割等应用。
2021-01-09 cs.CV eess.IV
CNN-MERP: An FPGA-Based Memory-Efficient Reconfigurable Processor for Forward and Backward Propagation of Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息生产系统研究生院)
大规模深度卷积神经网络(CNN)广泛用于机器学习应用中。虽然CNN涉及巨大的复杂性,但提供高密度计算资源集成的VLSI(ASIC和FPGA)芯片被认为是CNN实现的有前途的平台。然而,在计算单元的大规模并行性下,受超大规模集成电路芯片引脚数限制的外部内存带宽成为系统瓶颈。此外,VLSI解决方案通常被认为缺乏针对CNN的各种参数进行重新配置的灵活性。本文提出CNN-MERP来解决这些问题。CNN-MERP采用了高效的存储层次结构,可显著降低片上/片外数据分配、数据流优化和数据重用等多重优化对带宽的要求。提出的2级可重构性是用来使快速和有效的重新配置,这是基于控制逻辑和多引导功能的FPGA。结果,实现了1.94MB/GFlop的外部内存带宽要求,这比现有技术低55%。在有限的DRAM带宽下,Vertex UltraScale平台实现了1244 GFlop/s的系统吞吐量,比最先进的FPGA实现高5.48倍。
2017-03-22 cs.AR cs.LG
DroNet: Efficient convolutional neural network detector for real-time UAV applications
University of Cyprus(塞浦路斯大学);Imperial College London(伦敦帝国学院)
无人驾驶飞机(无人机)正在成为环境和基础设施监测的一项有前途的技术,广泛用于各种应用。许多这样的应用需要使用计算机视觉算法,以便分析从机载相机捕获的信息。这些应用包括检测车辆以进行紧急响应和交通监控。因此,本文探讨了基于深度卷积神经网络(CNN)的单发物体检测器的开发中所涉及的权衡,该检测器可以使无人机在资源受限的环境下执行车辆检测,例如在无人机中。本文提出了一个整体的方法来设计这样的系统,数据汇集和训练阶段,CNN架构,并有效地映射这样一个CNN在一个轻量级的嵌入式处理平台,适合部署在无人机上的优化。通过分析,我们提出了一种CNN架构,能够从空中无人机图像中检测车辆,并且可以在5-18帧/秒之间运行,适用于各种平台,总体精度为~ 95%。总体而言,所提出的架构是适合无人机应用,利用低功耗的嵌入式处理器,可以部署在商用无人机。
2018-07-18 cs.CV
High-Throughput CNN Inference on Embedded ARM big.LITTLE Multi-Core Processors
National University of Singapore(新加坡国立大学);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校);Indian Institute of Technology Ropar(印度理工学院罗巴尔分校)
物联网边缘智能需要卷积神经网络(CNN)推理在边缘设备本身中进行。ARM big.LITTLE架构是流行的商业边缘设备的核心。它由单个ISA异构内核组成,这些内核被分组到多个同构集群中,从而实现功耗和性能的权衡。所有的核心预计将同时采用推理,以达到最大的吞吐量。然而,跨集群并行化来自卷积核的计算所涉及的高通信开销对吞吐量是有害的。我们提出了一个称为Pipe-it的替代框架,该框架采用流水线设计将卷积层拆分到集群中,同时将其各自内核的并行化限制在指定的集群中。我们开发了一个性能预测模型,该模型仅利用卷积层描述符来预测所有允许的核心配置(类型和计数)上每个层的执行时间。然后,Pipe-it利用预测,使用高效的设计空间探索算法创建平衡的管道。Pipe-it的平均吞吐量比先前的最高吞吐量高出39%。
2020-01-22 cs.DC cs.LG cs.PF
A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design
Korea University(高丽大学)
在本文中,我们提出了一种节能的SNN架构,它可以无缝运行深度脉冲神经网络(SNN),提高准确性。首先,我们提出了一种转换感知训练(CAT),以减少ANN到SNN的转换损失,而无需硬件实现开销。在建议的CAT,激活函数开发模拟SNN神经网络训练过程中,有效地利用,以减少转换后的数据表示错误。基于CAT技术,我们还提出了一个时间到第一个尖峰编码,允许轻量级对数计算,利用尖峰时间信息。SNN处理器的设计,支持所提出的技术已实现使用28纳米CMOS工艺。当运行具有5位对数权重的VGG-16时,处理器分别实现了91.7%,67.9%和57.4%的前1精度,推理能量为486.7uJ,503.6uJ和1426 uJ,以处理CIFAR-10,CIFAR-100和Tiny-ImageNet。
2022-08-09 cs.LG cs.NE
Designing a Convolutional Neural Network for High-Accuracy Oral Cavity Squamous Cell Carcinoma (OCSCC) Detection
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
该研究训练用于识别口腔鳞状细胞癌的CNN,结合图像采集增强硬件与开放应用,评估不同分辨率对检测精确率、召回率和mAP的影响。
2025-10-17 cs.CV
DEX: Data Channel Extension for Efficient CNN Inference on Tiny AI Accelerators
Nokia Bell Labs(诺基亚贝尔实验室);UNIST(蔚山国家科学技术研究院);University of Glasgow(格拉斯哥大学)
针对微型AI加速器数据内存有限需下采样输入导致CNN精度下降的问题,提出数据通道扩展方法DEX,利用闲置资源将原始图像空间信息扩展到输入通道,在不增加推理延迟的前提下平均提升精度3.5个百分点。
2024-12-09 cs.LG
Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa(莫拉图瓦大学)
卷积神经网络(CNN)广泛用于深度学习应用,例如视觉系统、机器人等。然而,现有的软件解决方案效率不高。因此,已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中,基于现场可编程门阵列(FPGA)的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中,我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加(MAC)单元与高速缓存技术和互连网络,以利用最大的数据并行。与现有的解决方案相比,我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此,我们的架构实现了显著降低资源利用率与竞争力的准确性。此外,我们开发了一个汇编类型的微指令来访问协处理结构,以管理逐层并行,从而使有限的资源重用。最后,我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构,在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
Unsupervised learning based end-to-end delayless generative fixed-filter active noise control
School of Electrical \& Electronic Engineering, Nanyang Technological University, Singapore. Emails
针对现有生成式固定滤波器有源噪声控制框架需标注噪声数据训练网络的问题,提出无监督GFANC方法,通过构建端到端可微系统以累积平方误差为损失训练网络,省去标注流程且降噪性能更优。
2024-02-08 cs.LG eess.SP
PSCNN: A 885.86 TOPS/W Programmable SRAM-based Computing-In-Memory Processor for Keyword Spotting
National Yang Ming Chiao Tung University(阳明交通大学)
内存计算(Computing-in-Memory,CIM)由于其大规模并行性和低功耗的特点,近年来受到了广泛关注。然而,目前的CIM设计受到小CIM宏的大面积开销和模型执行的可编程性差的影响。本文提出了一种可编程CIM处理器,它具有单个大尺寸CIM宏而不是多个较小的CIM宏,用于功率有效的计算和灵活的指令集,以简单的方式支持各种二进制1-D卷积神经网络(CNN)模型。此外,该架构采用池化回写方法来支持融合或独立的卷积/池化操作,以减少35.9%的延迟,采用TSMC 28 nm工艺制造的设计实现了150.8 GOPS的吞吐量和885.86 TOPS/在执行我们的二进制关键字定位模型时,10 MHz时的功耗效率为10 W,与以前的设计相比,它具有更高的功耗效率和灵活性。
2022-05-02 cs.AR cs.LG eess.AS
TinyCNN: A Tiny Modular CNN Accelerator for Embedded FPGA
University of California, Riverside(加州大学河滨分校)
近年来,基于卷积神经网络(CNN)的方法在大量的应用中取得了巨大的成功,并且已经成为计算机视觉中最强大和最广泛使用的技术之一。然而,基于CNN的方法是计算密集型和资源消耗型的,因此很难集成到嵌入式系统中,如智能手机,智能眼镜和机器人。FPGA是加速CNN的最有前途的平台之一,但是有限的片上存储器大小限制了用于CNN的FPGA加速器的性能。在本文中,我们提出了一个框架,设计CNN加速器的嵌入式FPGA的图像分类。所提出的框架提供了一种工具,用于CNN的FPGA资源感知设计空间探索,并自动生成要在目标FPGA上编程的CNN的硬件描述。该框架由三个主要后端组成:软件、硬件生成和仿真/精度调整。软件后端用作设计者设计CNN并根据可用的硬件资源对其进行训练的API。使用CNN模型,硬件后端生成必要的硬件组件,并将其集成以生成CNN的硬件描述。最后,仿真/精度调整后端调整层间精度单元以最小化分类误差。我们在CNN加速器(FPGA)中使用16位定点数据,并将其与在ARM处理器上运行的完全相似的软件版本(32位浮点数据)进行比较。我们遇到的加速(FPGA)版本的分类约3%的准确率损失。作为回报,我们通过在FPGA上使用加速版本进行分类,获得了高达15.75倍的加速比。
2019-11-15 cs.CV cs.LG stat.ML
3D CNN-PCA: A Deep-Learning-Based Parameterization for Complex Geomodels
Stanford University(斯坦福大学)
地质参数化使得地质模型能够以相对较小的变量集来表示。因此,参数化在数据同化和不确定性量化方面非常有用。在这项研究中,一个基于深度学习的地质参数化算法,CNN-PCA,开发了复杂的三维地质模型。CNN-PCA需要使用卷积神经网络作为地质模型的低维主成分分析表示的后处理器。这里介绍的3D处理与2D CNN-PCA程序中使用的处理略有不同。具体来说,我们引入了一种新的基于监督学习的重建丢失,它与风格丢失和硬数据丢失结合使用。风格损失使用从预训练用于视频分类的3D CNN提取的特征。三维CNN-PCA算法适用于生成有条件的三维实现,定义在$60\times60\times40$网格上,用于三种地质情况(二元和双峰通道化系统,以及三相通道-堤坝-泥浆系统)。CNN-PCA实现显示出与使用基于对象的方法生成的参考模型在视觉上一致的地质特征。3D CNN-PCA模型测试集的流量响应统计($\text{P}_{10}$、$\text{P}_{50}$、$\text{P}_{90}$百分位数结果)与参考地质模型一致。最后,将CNN-PCA与ESMDA成功地应用于双模信道化系统的历史匹配。
2020-07-16 cs.CE cs.CV cs.LG
Synergy: A HW/SW Framework for High Throughput CNNs on Embedded Heterogeneous SoC
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
卷积神经网络(CNN)已被广泛应用于不同的应用领域。在使用高性能GPU、FPGA和定制ASIC加速其训练和推理方面取得了重大进展。最近移动和物联网设备的激增需要在嵌入式类、资源受限的平台上进行实时、节能的深度神经网络推理。在这种情况下,我们提出了{ \em Synergy},这是一种基于嵌入式异构片上系统(SoC)架构(Xilinx Zynq)的自动化、软硬件协同设计、流水线、高吞吐量CNN推理框架。{ \em Synergy}通过多线程技术利用所有可用的片上资源,包括双核ARM处理器以及作为加速器的FPGA和NEON SIMD引擎。此外,{ \em Synergy}提供异构加速器(FPGA和NEON)的统一抽象,并通过工作窃取平衡加速器之间的工作负载,在运行时适应不同的网络配置,而无需更改底层硬件加速器架构。{ \em Synergy}在7个CNN模型上实现了7.3倍的平均加速,优于经过良好优化的纯软件解决方案。与相同SoC架构上的当代CNN实现相比,{ \em Synergy}表现出更高的吞吐量和能效。
2018-03-28 cs.AR cs.DC cs.LG
Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference
Georgia Institute of Technology(佐治亚理工学院);Arizona State University(亚利桑那州立大学)
本文提出算法-硬件协同设计方法,引入对数Posit(LP)数据类型动态适应DNN参数分布,开发基于遗传算法的LPQ框架优化逐层参数,并设计统一混合精度LPA加速器,在保持<1%准确率下降的同时实现约2倍性能和2.2倍能效提升。
2024-03-26 cs.AI cs.AR cs.LG