A Resource-Driven Approach for Implementing CNNs on FPGAs Using Adaptive IPs
Lab. H. Curien, UMR 5516 CNRS, IOGS, Univ. J. Monnet(H. Curien实验室,UMR 5516,法国国家科学研究中心,高等研究与应用学院,圣艾蒂安约翰·莫内特大学)
针对FPGA上CNN实现的资源适配需求,提出可参数化、定点运算的自适应卷积IP核库,4款IP核适配不同资源约束,实验验证了性能与资源的权衡关系,方法具备架构通用性。
2025-10-03 cs.AR
Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions
Imperial College London(帝国理工学院)
在过去的十年中,卷积神经网络(CNN)在各种人工智能任务中表现出了最先进的性能。为了加速CNN的实验和开发,已经发布了几个软件框架,主要针对耗电的CPU和GPU。在这种背景下,FPGA形式的可重构硬件构成了一种潜在的替代平台,可以集成到现有的深度学习生态系统中,以提供性能、功耗和可编程性之间的可调平衡。在本文中,现有的CNN到FPGA的工具流程的调查,包括他们的关键特性,其中包括支持的应用程序,架构选择,设计空间探索方法和实现的性能进行了比较研究。此外,主要的挑战和目标介绍了CNN算法研究的最新趋势。最后,提出了一种统一的评估方法,旨在全面,完整和深入的评估CNN到FPGA的工具流程。
2018-03-15 cs.AR cs.CV cs.LG
H2PIPE: High throughput CNN Inference on FPGAs with High-Bandwidth Memory
University of Toronto(多伦多大学);Microsoft(微软公司);Vector Institute(向量研究所)
本研究针对大型CNN层流水线加速的高带宽需求,对HPIPE加速器扩展以结合HBM与片上存储,通过算法优化权重缓冲区布局与FIFO深度减少停顿,实现了显著的推理加速。
2024-08-17 cs.AR cs.LG
fpgaHART: A toolflow for throughput-oriented acceleration of 3D CNNs for HAR onto FPGAs
Imperial College London(帝国理工学院)
本文提出 fpgaHART 工具流,利用 SDF 图与设计空间变换优化 HAR 3D CNN 在 FPGA 上的映射,实现高吞吐量并达到优于手工专用设计的竞争力。
2023-05-31 cs.AI cs.AR cs.CV
Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs
University of Cambridge(剑桥大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院);Microsoft Research Cambridge(微软剑桥研究院);Imperial College London(帝国理工学院);University of Macau(澳门大学)
现代深度卷积神经网络(CNN)对计算要求很高,但实际应用通常需要高吞吐量和低延迟。为了帮助解决这些问题,我们提出了Tomato,这是一个旨在自动生成高效CNN加速器的框架。生成的设计是流水线的,每个卷积层使用不同的算法在不同的精度。使用Tomato,我们展示了最先进的多精度多算法网络,包括在FPGA上运行的MobileNet-V1。据我们所知,这是CNN的第一个多精度多算法自动生成框架。在软件中,Tomato对预训练的网络进行微调,以使用短的2的幂和固定点权重的混合,同时将分类准确性的损失降到最低。微调的参数与模板化的硬件设计相结合,在FPGA中自动生成高效的推理电路。我们展示了我们的方法如何显着降低模型大小和计算复杂性,并允许我们将完整的ImageNet网络打包到单个FPGA上,而无需首次访问片外存储器。此外,我们还展示了Tomato如何在单个或多个FPGA上运行各种大小的网络。据我们所知,我们自动生成的加速器在延迟和吞吐量方面至少比最接近的基于FPGA的竞争对手高出2- 4倍;生成的加速器以每秒3000帧以上的速度运行ImageNet分类。
2019-10-21 cs.AR cs.LG eess.SP
A Novel FPGA-based CNN Hardware Accelerator: Optimization for Convolutional Layers using Karatsuba Ofman Multiplier
本文提出一种基于FPGA的CNN硬件加速器,利用Karatsuba Ofman乘法器优化AlexNet、VGG16和VGG19的卷积层,以更少硬件资源实现高速乘法。
2024-12-29 cs.AR
HARFLOW3D: A Latency-Oriented 3D-CNN Accelerator Toolflow for HAR on FPGA Devices
Imperial College London(伦敦帝国学院);Centre of Research and Technology Hellas(希腊研究与技术中心)
本文提出 HARFLOW3D 工具流,利用解析、建模、调度、资源感知优化和自动综合,将多种 ONNX 3D CNN 高效映射到 FPGA,以降低 HAR 推理延迟,最高较现有工作提升 5 倍。
2023-05-29 cs.AR cs.CV cs.LG
unzipFPGA: Enhancing FPGA-based CNN Engines with On-the-Fly Weights Generation
Samsung AI Center(三星人工智能中心);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
单计算引擎已成为基于FPGA的卷积神经网络(CNN)的流行设计选择,从而能够在不重新配置结构的情况下部署各种模型。然而,这种灵活性通常会导致内存限制层的性能显著降低,并且由于引擎固定配置上某些层的次优映射而导致资源利用不足。在这项工作中,我们研究了一类模型的CNN引擎设计方面的影响,这些模型引入了预卷积阶段以在运行时间确定权重。我们将这些方法称为动态方法。为了最大限度地减少有限的带宽对内存绑定层的负面影响,我们提出了一种新的硬件组件,使芯片上的动态生成的权重。我们进一步介绍了一个输入选择性处理元件(PE)的设计,平衡次优映射层上的PE之间的负载。最后,我们提出了unzipFPGA,一个框架,训练飞行模型和遍历设计空间,以选择最高性能的CNN引擎配置。定量评估显示,unzipFPGA在受限带宽下的优化现状和修剪CNN引擎的平均加速比为2.14倍和71%,并且性能密度比最先进的基于FPGA的CNN加速器高出3.69倍。
2021-04-03 cs.AR cs.CV cs.LG
f-CNN$^{\text{x}}$: A Toolflow for Mapping Multi-CNN Applications on FPGAs
Imperial College London(帝国理工学院)
卷积神经网络(CNN)的预测能力一直是新兴延迟敏感型应用(如自动无人机和车辆)的重要因素。这样的系统采用多个CNN,每个CNN都针对特定的任务进行训练。在单个FPGA设备上高效映射多个CNN是一项具有挑战性的任务,因为需要在设计时优化计算资源和外部内存带宽的分配。本文提出了f-CNN $^{\text{x}}$,这是一种用于在FPGA上优化多个CNN映射的自动化工具流程,包括一种新型的多CNN硬件架构以及一种自动化设计空间探索方法,该方法考虑每个模型的用户指定性能要求,以分配计算资源并生成可合成的加速器。此外,f-CNN $^{\text{x}}$采用了一种新的调度算法,该算法消除了CNN之间内存带宽争用的限制,并保持了架构的高利用率。实验评估表明,f-CNN $^{\text{x}}$的设计比竞争感知FPGA映射的性能高出50%,并为多CNN系统提供了比高度优化的GPU设计高出6. 8倍的每瓦性能。
2021-06-07 cs.AI cs.AR cs.CV
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络(CNN)推理加速器针对特定的CNN拓扑进行定制,并将参数存储在片内存储器(OCM)中,从而实现高能效和低推理延迟。然而,在这些加速器中,参数存储器的形状由吞吐量约束决定,并且不能很好地映射到底层OCM,这成为实现瓶颈。在这项工作中,我们提出了一种加速器的设计方法-频率补偿内存打包(FCMP)-它提高了OCM的利用效率,以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法,我们将其应用于中型CIFAR-10推理加速器的几种实现,并证明OCM利用率可降低高达30%,而不会损失推理吞吐量,从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S,从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN,利用片上权重,有史以来最大的拓扑结构实现了这种加速器架构。我们证明,通过将FCMP应用于ResNet加速器,OCM瓶颈得到缓解,这使得加速器能够从Alveo U250移植到更小的Alveo U280板,与其他技术相比,吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡,FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
Design of High-Throughput Mixed-Precision CNN Accelerators on FPGA
RWTH Aachen University(亚琛工业大学)
卷积神经网络(CNN)在各个应用领域都达到了高精度,但需要大量的计算并导致昂贵的数据移动。在交易准确性的同时降低这些成本的一种方法是减少权重和/或激活字长。因此,逐层混合精度量化允许更有效的结果,同时膨胀设计空间。在这项工作中,我们提出了一个深入的定量方法,有效地探索设计空间,考虑到有限的硬件资源,一个给定的FPGA。我们的整体探索方法垂直遍历从架构到逻辑级别的各种设计入口级别,并横向涵盖从处理元件到低功耗的优化,以实现高效的混合精度CNN加速器。我们得到的硬件加速器实现了真正的混合精度运算,能够有效执行逐层和逐通道量化CNN。映射前馈和身份快捷连接混合精度CNN导致竞争性的准确性-吞吐量权衡:ResNet-18的245帧/秒和87.48%的Top-5准确性,ResNet-152的92.9%的Top-5准确性和1.13 TOps/s。因此,与相应的浮点基线相比,参数所需的内存占用减少了4.9倍和9.4倍。
2022-08-09 cs.AI cs.AR cs.LG
A Compilation Flow for the Generation of CNN Inference Accelerators on FPGAs
University of Toronto(多伦多大学)
我们提出了在FPGA上生成CNN推理加速器的编译流程。该流程使用TVM编译器将冻结模型转换为OpenCL内核,并使用英特尔OpenCL SDK编译为FPGA比特流。我们通过对TVM生成的基础OpenCL内核进行优化来提高生成的硬件的质量。这些优化提高了并行性,减少了内存访问延迟,提高了并发性并节省了片上资源。我们在TVM中自动执行这些优化,并通过在Intel Stratix~ 10 SX上为LeNet-5、MobileNetV 1和ResNet-34生成加速器进行评估。我们表明,优化提高了性能的生成的加速器高达846倍以上的基础加速器。优化后的加速器在CPU上的性能比TensorFlow高出4.57倍,比单线程TVM高出3.83倍,比56线程TVM仅高出0.34倍。我们优化的内核也优于通过类似方法(也使用高级合成)生成的内核,同时提供更多的功能和灵活性。然而,它的性能不如使用手动优化设计的方法。因此,我们认为我们的方法在预生产环境中非常有用,可以从提高的性能和快速原型设计中受益,实现FPGA的优势,而无需硬件设计专业知识。
2022-03-08 cs.AR cs.DC cs.LG
Accelerating CNN inference on FPGAs: A Survey
Institut Pascal(帕斯卡研究所);IETR, INSA Rennes(雷恩国立应用科学学院电子与电信研究所)
卷积神经网络(CNN)目前被用来解决越来越多的问题,从语音识别到图像分类和分割。CNN所需的大量处理需要专用和定制的硬件支持方法。此外,CNN工作负载具有流式传输性质,非常适合于可重新配置的硬件架构,例如FPGA。在过去的3年里,关于CNN FPGA加速主题的研究数量和多样性表明了巨大的工业和学术兴趣。本文介绍了一种基于FPGA的CNN推理加速器。计算工作量,其并行性和所涉及的内存访问进行了分析。在神经元层面,解释了卷积层和全连接层的优化,并比较了不同方法的性能。在网络层面,涵盖了近似计算和数据路径优化方法,并比较了最先进的方法。本调查中研究的方法和工具代表了FPGA CNN推理加速器的最新趋势,并将推动高效硬件深度学习的未来发展。
2018-05-26 cs.AR cs.CV cs.DC
A CNN Accelerator on FPGA Using Depthwise Separable Convolution
卷积神经网络(CNN)由于其高精度,在计算机视觉和模式识别领域得到了广泛的应用。然而,大型卷积运算是计算密集型的,通常需要强大的计算平台,例如图形处理单元(GPU)。这使得将CNN应用于便携式设备变得困难。最先进的CNN,如MobileNetV 2和Xception,采用深度可分离卷积来取代嵌入式平台的标准卷积。这大大减少了操作和参数,而精度损失有限。这种高度结构化的模型非常适合现场可编程门阵列(FPGA)实现。本文提出了一种可扩展的高性能深度可分离卷积优化的CNN加速器。该加速器可以安装在不同尺寸的FPGA中,在硬件资源和处理速度之间提供平衡。以MobileNetV 2为例,在Arria 10 SoC FPGA上实现,结果表明该加速器可以在3.75ms内对ImageNet中的每幅图片进行分类,约为266.6帧/秒。与CPU相比,这实现了20倍的加速。
2018-09-06 cs.AR eess.SP
Continuous-Flow Data-Rate-Aware CNN Inference on FPGA
Department of Applied Computer Science, Fulda University of Applied Sciences(应用计算机科学系,弗劳达应用科学大学);Department of Electronic Engineering, ETSI de Telecomunicación, Universidad Politécnica de Madrid(电子工程系,马德里理工大学电信学院);Department of Electrical Engineering, Linköping University(电气工程系,林雪平大学)
本文提出了一种数据率感知的连续流CNN架构,通过优化硬件利用率达到接近100%,实现了在FPGA上高效运行复杂CNN模型。
2026-03-07 cs.AI cs.AR cs.LG
Real Time FPGA Based CNNs for Detection, Classification, and Tracking in Autonomous Systems: State of the Art Designs and Optimizations
本文全面综述了FPGA上部署CNN实现视觉任务的最新进展,涵盖算法优化、硬件平台、开发工具、混合加速架构及软硬件协同设计,为边缘嵌入式低功耗高性能视觉系统开发提供参考。
2025-09-04 cs.AR
Maximizing CNN Accelerator Efficiency Through Resource Partitioning
卷积神经网络(CNN)正在彻底改变机器学习,但它们提出了重大的计算挑战。最近,已经提出了许多基于FPGA的加速器来提高CNN的性能和效率。当前的方法构建了一个单一的处理器,一次计算一个CNN层;处理器被优化以最大化计算层集合的吞吐量。然而,这种方法导致低效的设计,因为相同的处理器结构被用于计算维度完全不同的CNN层。我们提出了一种新的CNN加速器范式和一种伴随的自动化设计方法,该方法将可用的FPGA资源划分为多个处理器,每个处理器都是为CNN卷积层的不同子集量身定制的。使用与单个大型处理器相同的FPGA资源,多个较小的专用处理器提高了计算效率,并导致更高的整体吞吐量。在Xilinx Virtex-7 FPGA上评估流行的AlexNet CNN时,我们的设计方法实现了比最先进方法高3.8倍的吞吐量。对于最近的SqueezeNet和GoogLeNet,加速比是2.2倍和2.0倍。
2018-04-12 cs.AR
Tactics to Directly Map CNN graphs on Embedded FPGAs
IETR, INSA Rennes(雷恩国立应用科学学院电子与电信研究所);Atos/Bull CEPP CINES(源讯/布尔公司 CEPP CINES)
深度卷积神经网络(CNN)是图像分类的最新技术。由于CNN前馈传播涉及高度规则的并行计算,因此当在细粒度并行可编程逻辑器件上运行时,其受益于显著的加速。因此,一些研究提出了基于FPGA的CNN加速器。然而,由于CNN所需的巨大计算能力,以前的研究都没有提出一个直接映射的CNN到FPGA的物理资源,分配每个处理演员到自己的硬件instance.In本文中,我们证明了所谓的直接硬件映射(DHM)的可行性,并讨论了几个策略,我们探索,使DHM在实践中可用。作为概念证明,我们引入了HADDOC 2开源工具,该工具自动将CNN描述转换为具有平台无关的直接硬件映射的可合成硬件描述。
2017-11-20 cs.AR cs.CV cs.DC
Energy-Efficient FPGA Framework for Non-Quantized Convolutional Neural Networks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);International Hellenic University(国际希腊大学)
该研究提出一种基于Darknet的FPGA框架,在保持CNN全精度参数的同时实现高效计算,相比量化框架,在不损失精度的前提下提供相近性能与能效。
2025-10-15 cs.AR
Optimization of FPGA-based CNN Accelerators Using Metaheuristics
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学)
近年来,卷积神经网络(CNN)已经证明了它们解决许多领域问题的能力,并且具有以前不可能的准确性。然而,这带来了广泛的计算需求,这使得通用CPU无法提供所需的实时性能。与此同时,FPGA对加速CNN推理的兴趣激增。这是由于他们能够创建具有不同并行级别的定制设计。此外,与GPU相比,FPGA提供更好的性能功耗比。基于FPGA的CNN加速器的当前趋势是实现多个卷积层处理器(CLP),每个处理器都是为一个层子集定制的。然而,CNN架构日益复杂,使得优化目标FPGA器件上的可用资源以提供最佳性能更具挑战性。在本文中,我们提出了一个CNN加速器和相应的自动化设计方法,采用元逻辑划分可用的FPGA资源,设计多CLP加速器。具体而言,所提出的设计工具采用模拟退火(SA)和禁忌搜索(TS)算法来找到所需的CLP的数量和它们各自的配置,以实现给定的目标FPGA器件的最佳性能。这里,重点是关键规格和硬件资源,包括数字信号处理器、块RAM和片外内存带宽。使用四个著名的基准CNN的实验结果和比较表明,所提出的加速框架是令人鼓舞的和有前途的。基于SA/TS的Multi-CLP在Xilinx VC 707和VC 709 FPGA板上加速AlexNet、SqueezeNet 1.1、VGGNet和GoogLeNet架构时,吞吐量比最先进的单/多CLP方法高1.31 - 2.37倍。
2022-09-22 cs.AR cs.CV cs.NE
To Spike or Not to Spike? A Quantitative Comparison of SNN and CNN FPGA Implementations
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU))
本文定量比较SNN与CNN在FPGA上的实现,提出脉冲事件队列编码和存储器组织技术提升能效,发现小规模基准SNN优势不明显,复杂基准趋势逆转。
2023-06-22 cs.AI cs.AR
FPGA-Based CNN Inference Accelerator Synthesized from Multi-Threaded C Software
Samsung Semiconductor Inc.(三星半导体公司);University of Toronto(多伦多大学)
深度学习推理加速器是从用Pthreads并行化的C语言软件程序合成的。软件实现使用众所周知的生产者/消费者模型,并行线程通过FIFO队列互连。LegUp高级综合(HLS)工具将线程综合到并行FPGA硬件中,将软件并行性转换为空间并行性。生成一个完整的系统,其中卷积,池化和填充在合成加速器中实现,其余任务在嵌入式ARM处理器上执行。该加速器采用了降低的精度和一种新的方法,用于卷积中的零权重跳过。在中型Intel Arria 10 SoC FPGA上,VGG-16的峰值性能为138有效GOPS。
2018-07-27 cs.AR cs.LG cs.PF
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University(亚利桑那州立大学);Nanyang Technological University(南洋理工大学)
基于FPGA的卷积神经网络(CNN)硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而,基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中,我们证明了当CNN在权重和激活的二进制约束下进行训练时,FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说,我们提出了一种优化的FPGA加速器架构,专为逐位卷积和归一化而设计,具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感,而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明,在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍,能效高75倍,可以处理小批量的在线个人请求。对于处理大批量静态数据,该解决方案在吞吐量方面与Titan X GPU不相上下,同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Automated flow for compressing convolution neural networks for efficient edge-computation with FPGA
LeapMind, Inc.(LeapMind 公司)
基于深度卷积神经网络(CNN)的解决方案是计算机视觉任务的当前最先进技术。由于这些模型的尺寸很大,它们通常在CPU或GPU集群上运行。然而,功率要求和成本预算可能是物联网应用采用CNN的主要障碍。最近的研究强调,CNN在其结构中包含显著的冗余,并且可以量化以降低位宽参数和激活,同时保持可接受的精度。由于二进制化CNN中涉及的逐位逻辑运算,低位宽尤其是单位宽(二进制)CNN特别适合于基于FPGA实现的移动应用。此外,向较低位宽的过渡为性能优化和模型改进开辟了新的途径。在本文中,我们提出了一个自动流程,从训练的TensorFlow模型到FPGA片上系统实现二值化CNN。该流程涉及模型参数和激活的量化,嵌入式C中网络和模型的生成,然后自动生成用于二进制卷积的FPGA加速器。通过在低成本、低功耗的Cyclone-V FPGA器件上实现二进制化的“YOLOV 2”来演示自动化流程。使用二值化YOLOV 2的目标检测实验表明,与CPU和移动CPU平台相比,FPGA上的模型大小和推理速度具有显着的性能优势。此外,从训练模型到FPGA合成的整个自动化流程可以在一小时内完成。
2017-12-18 cs.AI cs.AR cs.NE
Combined Integer and Variable Precision (CIVP) Floating Point Multiplication Architecture for FPGAs
在本文中,我们提出了一种架构/方法,使FPGA适合整数以及可变精度浮点乘法。本文的工作对于多媒体处理等需要变精度浮点乘法的应用具有重要意义。在所提出的架构/方法中,我们建议分别用专用24x24位和24x9位乘法器替换FPGA中现有的18x18位和25x18位专用乘法器。我们已经证明,我们在FPGA中提供专用24x24位和24x9位乘法器的方法将使它们能够有效地执行整数以及单精度、双精度和四精度浮点乘法。
2007-11-16 cs.AR
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络(DNN)已经彻底改变了许多应用,但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是,为了使分布式集群以高利用率工作,分配给每个节点的工作负载必须很大,这意味着SGD小批量大小的增长非常重要。在本文中,我们提出了一个名为FPDeep的框架,它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先,该设计不受批量增长的影响。第二,新的工作负载和权重划分导致节点之间的负载平衡。第三,整个系统是一个细粒度的管道。这导致了高并行性和利用率,并且还最小化了在等待反向传播时需要缓存的时间。因此,存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明,FPDeep对大量FPGA具有良好的可扩展性,限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器,FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?
图形处理单元(GPU)目前是深度学习(DL)加速器的主要可编程架构。然而,在DL加速器中采用现场可编程门阵列(FPGA)的势头越来越猛。在本文中,我们证明了直接硬件映射(DHM)的卷积神经网络(CNN)在嵌入式FPGA上大大优于GPU实现的能源效率和执行时间。然而,DHM是高度资源密集型的,并且在实现最先进的CNN时不能完全替代GPU。因此,我们提出了一种混合的FPGA-GPU DL加速方法,并证明异构加速优于GPU加速,即使包括通信开销。实验结果在嵌入Nvidia(R)Jetson TX 2 CPU-GPU板和Intel(R)Cyclone 10 GX FPGA板的异构多平台设置上进行。实验了SqueezeNet、MobileNetv 2和ShuffleNetv 2面向移动的CNN。我们表明,异构FPG-AGPU加速优于GPU加速,用于MobileNetv 2(12%-30%的能量减少,4%至26%的延迟减少),SqueezeNet(21%-28%的能量减少,相同的延迟)和ShuffleNetv 2(25%的能量减少,21%的延迟减少)的分类推理任务。
2021-02-02 cs.AR
Synergy: A HW/SW Framework for High Throughput CNNs on Embedded Heterogeneous SoC
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
卷积神经网络(CNN)已被广泛应用于不同的应用领域。在使用高性能GPU、FPGA和定制ASIC加速其训练和推理方面取得了重大进展。最近移动和物联网设备的激增需要在嵌入式类、资源受限的平台上进行实时、节能的深度神经网络推理。在这种情况下,我们提出了{ \em Synergy},这是一种基于嵌入式异构片上系统(SoC)架构(Xilinx Zynq)的自动化、软硬件协同设计、流水线、高吞吐量CNN推理框架。{ \em Synergy}通过多线程技术利用所有可用的片上资源,包括双核ARM处理器以及作为加速器的FPGA和NEON SIMD引擎。此外,{ \em Synergy}提供异构加速器(FPGA和NEON)的统一抽象,并通过工作窃取平衡加速器之间的工作负载,在运行时适应不同的网络配置,而无需更改底层硬件加速器架构。{ \em Synergy}在7个CNN模型上实现了7.3倍的平均加速,优于经过良好优化的纯软件解决方案。与相同SoC架构上的当代CNN实现相比,{ \em Synergy}表现出更高的吞吐量和能效。
2018-03-28 cs.AR cs.DC cs.LG
A Flexible Sparsity-Aware FPGA Accelerator with Column-Wise Compression for Efficient CNN Inference
Institut national de la recherche scientifique (INRS-EMT)(国家科学研究研究所(INRS-EMT))
研究针对资源受限平台 CNN 加速难题,提出 SparHiXcel-v2 加速器,通过列向内核压缩技术及硬件 - 算法协同设计框架,在稀疏灵活性与硬件效率间平衡,经实验在吞吐量和能效上显著提升,精度有适度下降。
2026-07-22 cs.AR
ARMOR: Robust and Efficient CNN-Based SAR ATR through Model-Hardware Co-Design
University of Southern California(南加州大学)
ARMOR通过模型-硬件协同设计,在FPGA平台上实现SAR ATR的鲁棒性和高效性。
2026-03-04 cs.AR
An FPGA Compiler for On-the-Fly Adaptive CNN Deployment and Reconfiguration
本文提出全栈 FPGA 编译器 ForgeMorph,通过编译时多目标设计空间探索与运行时网络结构动态重配置,实现自适应 CNN 的高效灵活部署。
2025-06-11 cs.AR
Combined Integer and Floating Point Multiplication Architecture(CIFM) for FPGAs and Its Reversible Logic Implementation
提出了一种基于FPGA的整数浮点乘法器(CIFM)的设计思想。作者建议用小型4x4位乘法器设计的专用24x24乘法器替换FPGA中现有的18x18专用乘法器。还建议对于每个设计有4x 4位乘法器的专用24 x 24位乘法器块,应提供四个冗余4x 4乘法器,以增强自修复性(从故障中恢复)。在所提出的CIFM中,还提供了在运行时间的可重构性,从而导致低功率。提供专用24 × 24位乘法器的主要动机来源于单精度的浮点乘法器需要24 × 24位整数乘法器用于尾数乘法的事实。一个可重新配置的,可自我修复的24x24位乘法器(用4x4位乘法模块实现)将理想地满足这一目的,使FPGA更适合整数以及浮点运算。本文还提出了一种专用的4 × 4位乘法器。此外,近年来,可逆逻辑已经成为一种有前途的技术,其在低功耗CMOS、量子计算、纳米技术和光计算中具有应用。没有可逆逻辑就不可能实现量子计算。因此,本文还提供了所提出的CIFM的可逆逻辑实现。本文设计和提出的可逆CIFM将成为完全可逆FPGA的基础。
2006-10-14 cs.AR
Energy-Efficient Visual Inspection with FFT-Based CNNs and Adaptive Floating-Point Quantization
RPTU University Kaiserslautern-Landau(莱布尼茨技术大学凯泽斯劳滕-兰道分校);Wipotec Wiege- und Positioniersysteme GmbH(维波特称重与定位系统有限公司)
该研究针对工业CPU-FPGA平台,结合FFT卷积与自适应FP8量化优化LeNet-5加速器,实现故障检测准确率提升与能效增强。
2026-08-21 cs.AR
Layer-specific Optimization for Mixed Data Flow with Mixed Precision in FPGA Design for CNN-based Object Detectors
卷积神经网络(CNN)需要密集的计算和频繁的存储器访问,这导致了低的处理速度和大的功耗。虽然CNN中不同层的特性通常非常不同,但是先前的硬件设计已经为它们采用了共同的优化方案。本文提出了一种层特定的设计,采用不同的组织,优化不同的层。所提出的设计采用了两个特定于层的优化:特定于层的混合数据流和特定于层的混合精度。混合数据流旨在最小化片外访问,同时要求FPGA器件的最小片上存储器(BRAM)资源。混合精度量化是为了实现无损精度和积极的模型压缩,从而进一步减少芯片外访问。贝叶斯优化方法用于为每个层选择最佳稀疏度,从而在精度和压缩之间实现最佳权衡。这种混合方案允许将整个网络模型存储在FPGA的BRAM中,以积极减少片外访问,从而实现显著的性能增强。与全精度网络相比,模型大小减少了22.66-28.93倍,VOC,COCO和ImageNet数据集的准确性下降可以忽略不计。此外,混合低功耗和混合精度的组合显着优于以前的作品在吞吐量,片外访问,和片内存储器的要求。
2020-09-03 cs.AR cs.CV cs.DC
CNN-Based Equalization for Communications: Achieving Gigabit Throughput with a Flexible FPGA Hardware Architecture
RPTU Kaiserslautern-Landau(莱茵-普法尔茨-特里尔大学(凯撒斯劳滕-兰道));KIT(卡尔斯鲁厄理工学院)
本文提出了一种基于CNN的均衡器的高性能FPGA实现,通过跨层设计和可变并行度架构,在满足光通信高吞吐量需求的同时保持灵活性,其误码率比传统均衡器低约四倍,吞吐量超过40 GBd并大幅超越GPU。
2024-04-22 cs.AR cs.LG eess.SP
At the Edge of the Heart: ULP FPGA-Based CNN for On-Device Cardiac Feature Extraction in Smart Health Sensors for Astronauts
Smart Sensors Group, Hamburg University of Technology(汉堡工业大学智能传感器组);Networked Cyber-Physical Systems, Hamburg University of Technology(汉堡工业大学网络化物理系统);Distributed Systems, Kiel University(基尔大学分布式系统)
本文提出一种基于ULP FPGA的CNN方案,用于在资源受限的智能健康传感器中实现实时心音图特征分类,展示了在极端环境下高效且低功耗的可行性。
2026-04-28 cs.AI cs.AR
A Data-Center FPGA Acceleration Platform for Convolutional Neural Networks
Xilinx, Inc.(赛灵思公司);Tencent(腾讯)
密集型计算正在进入具有多个深度学习工作负载的数据中心。为了平衡计算效率、性能和总拥有成本(TCO),使用具有可重新配置逻辑的现场可编程门阵列(FPGA)提供了可接受的加速能力,并与云中的各种计算敏感任务兼容。在本文中,我们开发了一个FPGA加速平台,该平台利用统一的框架架构在数据中心进行通用卷积神经网络(CNN)推理加速。为了克服计算限制,4,096个DSP被组装并成形为用于不同类型卷积的超级瓦片单元(SU),其在500 MHz下提供高达4.2 TOP/s的16位定点性能。提出了基于任务调度的计算映射方法,并通过调度-组装缓冲模型和广播缓存解决了内存约束问题。对于各种非卷积算子,滤波器处理单元被设计用于通用滤波器类/逐点算子。在实验中,CNN模型在服务器级CPU、GPU和FPGA上运行的性能进行了比较。结果表明,我们的设计实现了最佳的FPGA峰值性能和与数据中心中最先进的GPU相同的吞吐量,延迟降低了50倍以上。
2019-09-17 cs.AR cs.CV cs.LG
LPYOLO: Low Precision YOLO for Face Detection on FPGA
Aselsan Inc.(阿瑟尔桑公司);Gazi University(加齐大学)
近年来,边缘计算设备的数量和在其上的人工智能应用已经过快地发展。在边缘计算中,决策过程和计算从服务器移动到边缘设备。因此,需要廉价且低功率的设备。FPGA是非常低功耗的,倾向于进行并行操作,并且非常适合运行卷积神经网络(CNN)的设备,卷积神经网络是人工智能应用的基本单元。监控系统中的人脸检测是安全市场上最受期待的应用。在这项工作中,TinyYolov 3架构重新设计和部署的人脸检测。它是一种基于CNN的目标检测方法,并为嵌入式系统开发。选择PYNQ-Z2作为目标板,其上具有低端Xilinx Zynq 7020片上系统(SoC)。重新设计的TinyYolov 3模型通过Brevitas库以多种位宽精度定义,该库以整数量化形式提供基本的CNN层和激活。然后,使用WiderFace数据集在量化结构中训练模型。为了降低延迟和功耗,FPGA的片内存储器被配置为整个网络参数的存储器,并且最后一个激活函数被修改为重新缩放的HardTanh而不是Sigmoid。此外,高度并行性应用于FPGA的逻辑资源。使用FINN框架和FINN-HLS库将模型转换为基于HLS的应用程序,其中包括C++中的层定义。然后,对模型进行合成和部署。SoC的CPU采用多线程机制,负责预处理、后处理和TCP/IP流操作。因此,2.4瓦的总板功耗,18帧每秒(FPS)的吞吐量和0.757 mAP的准确率在轻松类别的宽面实现了…
2022-07-21 cs.AR cs.CV cs.LG
NEURAghe: Exploiting CPU-FPGA Synergies for Efficient and Flexible CNN Inference Acceleration on Zynq SoCs
深度卷积神经网络(CNN)在需要人类水平理解数据的任务中获得了出色的结果,如图像或语音识别。然而,它们的计算负荷是显著的,这激发了CNN专用加速器的发展。这项工作提出了NEURAghe,这是一种灵活高效的硬件/软件解决方案,用于在Zynq SoC上加速CNN。NEURAghe利用Zynq ARM内核和部署在可重构逻辑上的强大灵活的卷积特定处理器的协同使用。卷积专用处理器嵌入了卷积引擎和可编程软核,将ARM处理器从大部分监督职责中解放出来,并允许加速器以超精细的粒度由软件控制。这种方法为协作异构计算开辟了道路:虽然加速器负责CNN的大部分工作负载,但ARM内核可以无缝执行计算图中难以加速的部分,利用NEON矢量引擎进一步加速计算。通过配套的NeuDNN SW堆栈,NEURAghe支持端到端基于CNN的分类,峰值性能为169 Gops/s,能效为17 Gops/W。由于我们的异构计算模型,我们的平台在最先进的基础上进行了改进,在端到端执行VGG-16时实现了5.5 fps的帧速率,在ResNet-18上实现了6.6 fps。
2017-12-04 cs.AR cs.DC cs.NE
Energy-Efficient CNN Acceleration with MSDF Digit-Serial Arithmetic on FPGA
Faculty of Informatics and Data Science, University of Regensburg(信息与数据科学学院,莱茵河畔雷根斯堡大学)
提出融合乘加(MMA)架构,通过合并MSDF数字串行算术中的乘法和加法操作减少初始延迟,在FPGA上实现U-Net卷积层加速,能效达15.14 GOPS/W,比CPU高约8倍。
2026-06-25 cs.AR cs.CV
Reuse Kernels or Activations? A Flexible Dataflow for Low-latency Spectral CNN Acceleration
本文针对谱域CNN的核爆炸问题,提出灵活数据流与调度算法,在FPGA上实现低延迟加速,减少42%数据传输,VGG16推理延迟降至9毫秒。
2023-10-17 cs.AR eess.SP
Arithmetic Packing on Wide Integer Datapaths in DSP Primitives of Modern FPGA Devices
Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希·亚历山大大学);AMD Research and Advanced Development(AMD研究与先进开发部)
提出利用DSP内部预加法器动态打包任意位宽多输入到宽乘法器路径的方法,并设计两种架构分别优化矩阵向量乘和卷积,集成到FINN框架后相比参考实现LUT减少21%,FPS/DSP提升36%。
2026-06-09 cs.AR
MINT: Dynamic-Precision CNN Inference with MSDF Digit-Serial Arithmetic on FPGA
University of Regensburg(雷根斯堡大学);Chosun University(朝鲜大学);Ostbayerische Technische Hochschule(东巴伐利亚应用技术大学)
提出MINT,一种基于从左到右算术的动态精度CNN推理加速器,通过MSDF串行并行内积单元和预算约束贪心搜索,在VGG-16和ResNet-18上实现平均5.64和6.04位精度,相比INT8吞吐量提升32.6%和26.0%,能效提升82.10%和62.90%。
2026-07-01 cs.AR math.LO math.OC
Enhancing Energy-efficiency by Solving the Throughput Bottleneck of LSTM Cells for Embedded FPGAs
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文提出一种新颖的LSTM单元优化方法,旨在端设备FPGA上实现高能效推理,实验表明该方法在交通速度预测任务中显著提升了吞吐量与能效。
2023-11-25 cs.AI cs.AR cs.LG
An Energy-Efficient FPGA-based Deconvolutional Neural Networks Accelerator for Single Image Super-Resolution
卷积神经网络(CNN)在各种计算机视觉应用中表现出优异的性能。近年来,已经提出了基于FPGA的CNN加速器以优化性能和功率效率。大多数加速器都是针对在低分辨率(LR)图像上执行的目标检测和识别算法而设计的。然而,实时图像超分辨率(SR)不能在典型的加速器上实现,因为生成高分辨率(HR)图像所需的执行周期很长,例如超高清(UHD)系统中使用的图像。在本文中,我们提出了一种新的CNN加速器与高效的并行化方法SR应用。首先,我们提出了一种新的方法来优化用于增加特征图的去卷积神经网络(DCNN)。其次,我们提出了一种新的方法来优化CNN低功耗,使SR算法可以在显示应用中以低功耗驱动。最后,我们将一个基于DCNN的SR算法压缩成一个最佳模型,以使用片上存储器进行有效的推理。我们提出了一个节能的架构SR和验证我们的架构上的移动面板与四高清晰度(QHD)的分辨率。我们的实验结果表明,在相同的硬件资源,建议的DCNN加速器实现了高达108倍的吞吐量比传统的DCNN加速器。此外,我们的SR系统在SR比例因子为2、3和4时分别实现了144.9 GOPS/W、293.0 GOPS/W和500.2 GOPS/W的能效。此外,我们证明了我们的系统可以恢复HR图像的高质量,同时大大减少了数据的位宽和参数的数量相比,传统的SR算法。
2018-12-18 cs.AR cs.DC
Towards a Multi-array Architecture for Accelerating Large-scale Matrix Multiplication on FPGAs
大规模浮点矩阵乘法是许多科学和工程应用中的基本核心。现有的工作大多集中在FPGA上采用线性脉动阵列加速矩阵乘法。本文提出了一种可扩展的,高度可配置的多阵列架构,对这种架构的扩展。此外,我们提出了一个工作窃取计划,以确保平等的工作负载分区之间的多个线性阵列。此外,一个分析模型,以确定最佳的设计参数。在真实卷积神经网络(CNN)上的实验表明,我们可以获得线性阵列结构的最佳扩展。
2018-03-10 cs.AR
Low Complexity Multiply-Accumulate Units for Convolutional Neural Networks with Weight-Sharing
卷积神经网络(CNN)是用于图像、语音和视频处理的最成功的机器学习技术之一。CNN需要大量的处理能力和内存带宽。已经提出了用于CNN的硬件加速器,CNN通常包含大量的乘法累加(MAC)单元,其乘法器在集成电路(IC)门计数和功耗方面很大。已经提出了“权重共享”加速器,其中训练的CNN中的全部权重值被压缩并放入bin中,并且bin索引用于访问权重共享值。我们通过在权重共享的CNN中实现并行累积共享MAC(PASM)来降低CNN的功率和面积。PASM重新构建了MAC,以计算每个权重的频率并将其放置在一个bin中。在随后的乘法阶段中计算累加值,从而显著减少了CNN的门计数和功耗。在本文中,我们实现了PASM的重量共享的CNN卷积硬件加速器,并分析其有效性。实验表明,对于时钟速度为1GHz的45纳米ASIC工艺上实现的,我们的方法的结果在更少的门,更小的逻辑,并降低了功耗,只有轻微的延迟增加。我们还表明,与PASM CNN加速器相同的权重共享可以在资源受限的FPGA中实现,其中FPGA具有有限数量的数字信号处理器(DSP)单元来加速MAC操作。
2018-05-01 cs.AR
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs
School of Computing, National University of Singapore(新加坡国立大学计算机学院);AMD Research and Advanced Development(AMD研究与高级开发部);Tampere University(坦佩雷大学);AMD(AMD公司)
本文提出minifloats低精度浮点格式,并在FPGA上系统比较其与整数表示在3至8位下的精度与硬件成本,证明其对视觉Transformer等负载具有优势。
2024-07-05 cs.AI cs.AR cs.CV
SIRA: Scaled-Integer Range Analysis for Optimizing FPGA Dataflow Neural Network Accelerators
本文提出静态分析技术 SIRA,利用区间算术获得量化张量范围、缩放与偏置,并在 FINN 中优化 FPGA 数据流加速器,显著降低 LUT、DSP 与累加器位宽。
2025-08-29 cs.AR
Efficient Edge AI: Deploying Convolutional Neural Networks on FPGA with the Gemmini Accelerator
FZI Research Center for Information Technology(FZI信息技术研究中心);University of Tübingen(蒂宾根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对边缘AI部署的能耗隐私需求与非现成设备部署难题,提出经修改的Gemmini加速器结合开源软件的FPGA端到端CNN部署工作流,在Xilinx ZCU102上部署YOLOv7达36.5 GOP/s/W能效,优于同类方案,并验证了交通监控场景集成可行性。
2024-08-14 cs.AI cs.AR cs.DC
A Cost-Efficient FPGA Implementation of Tiny Transformer Model using Neural ODE
Keio University(庆应义塾大学)
本文提出一种以Neural ODE为骨干的轻量级混合Transformer模型,并通过QAT量化后在FPGA上实现,在STL10上达到79.68%准确率,整体加速9.85倍、能效提升7.10倍。
2024-10-17 cs.AR cs.LG
DPUConfig: Optimizing ML Inference in FPGAs Using Reinforcement Learning
University of Thessaly(色萨利大学)
DPUConfig通过强化学习动态优化FPGA上的机器学习推理配置,提升能效和性能。
2026-02-13 cs.AR
AIM: Accelerating Arbitrary-precision Integer Multiplication on Heterogeneous Reconfigurable Computing Platform Versal ACAP
本文提出 AIM 框架,在 AMD/Xilinx Versal ACAP 异构平台上自动化和优化任意精度整数乘法设计,实验表明其能效最高可达 CPU 的 12.6 倍和 GPU 的 2.1 倍。
2023-09-21 cs.AR
DPUV4E: High-Throughput DPU Architecture Design for CNN on Versal ACAP
针对Versal ACAP平台内存带宽不足、AIE性能难充分发挥的问题,提出支持多配置的DPUV4E架构,通过专用计算单元与功能扩展提升能效、降低资源占用与推理延迟,显著提升多类CNN模型的推理吞吐量。
2025-06-13 cs.AI cs.AR