FSpGEMM: An OpenCL-based HPC Framework for Accelerating General Sparse Matrix-Matrix Multiplication on FPGAs
通用稀疏矩阵-矩阵乘法(SpGEMM)是许多科学计算、高性能计算(HPC)和图形分析应用的组成部分。本文提出了一种新的压缩稀疏向量(CSV)格式表示稀疏矩阵和FSpGEMM,一个基于OpenCL的HPC框架,用于加速FPGA上的一般稀疏矩阵矩阵乘法。建议的FSpGEMM框架包括一个FPGA内核实现的吞吐量优化的硬件架构的基础上古斯塔夫森的算法和主机程序实现预处理功能的输入矩阵转换为CSV格式的建议的架构。FSpGEMM利用一个新的缓冲方案定制古斯塔夫森的算法。我们比较了在英特尔Arria 10 GX FPGA开发板上实现的FSpGEMM与在英特尔至强E5-2637 CPU上实现的英特尔数学内核库(MKL)和在NVIDIA GTX TITAN X GPU上实现的cuSPARSE,分别用于乘以从SuiteSparse Matrix Collection中选择的一组稀疏矩阵。实验结果表明,所提出的FSpGEMM解决方案实现了平均4.9倍和1.7倍的高性能与31.9倍和13.1倍的低能耗每SpGEMM计算比CPU和GPU的实现,分别。
2021-12-19 cs.AR cs.PF
Exploration of Low Numeric Precision Deep Learning Inference Using Intel FPGAs
CNN已经被证明在量化到较低精度时保持合理的分类精度。量化到低于8位的激活和权重可能导致精度下降到可接受的阈值以下。存在用于通常通过增加计算来缩小有限数值精度的精度差距的技术。这导致吞吐量和准确性之间的权衡,并且可以通过激活和权重数据宽度的各种组合针对不同的网络进行定制。FPGA等硬件架构通过独特的逻辑配置提供了数据宽度特定计算的机会,从而实现了全精度网络无法实现的高度优化处理。三进制和二进制加权网络分别为2位和1位数据提供了一种有效的推理方法。大多数硬件架构可以利用较小数据路径带来的内存存储和带宽节省,但很少有架构可以利用计算级别的有限数值精度。在本文中,我们提出了一种硬件设计的FPGA,利用带宽,内存,功耗和计算有限的数值精度数据的节省。我们提供了对各种网络的吞吐量和准确性之间的权衡以及它们如何映射到我们的框架的见解。此外,我们还展示了对于三进制和二进制情况,有限的数字精度计算如何有效地映射到FPGA上。从Arria 10开始,我们展示了一个在硬件中运行的2位激活和三进制加权的AlexNet,它在ImageNet数据集上每秒可实现3,700张图像,前1精度为0.49。使用为我们的低数值精度框架设计的硬件建模器,我们对运行修改后的ResNet-34的55.5 TOPS Stratix 10设备的性能进行了最显著的预测,与单精度的相比,精度仅下降了3.7%。
2018-06-12 cs.AR cs.DC
FSHMEM: Supporting Partitioned Global Address Space on FPGAs for Large-Scale Hardware Acceleration Infrastructure
分区全局地址空间(Partitioned Global Address Space,PGAS)通过全局共享内存空间提供高效的单边通信,已成为高性能计算(High Performance Computing,HPC)中最有前途的并行计算模型之一。与此同时,FPGA作为HPC系统的替代计算平台,以其定制计算和设计灵活性的优势而受到关注。然而,与传统的消息传递接口不同,PGAS的探索尚未在FPGA上进行。本文提出了FSHMEM,一个软件/硬件框架,使FPGA上的PGAS编程模型。我们在FPGA上实现了GASNet规范的核心功能,以实现硬件中的原生PGAS集成,同时其编程接口被设计为与传统软件高度兼容。实验结果表明,FSHMEM的峰值带宽达到3813 MB/s,是理论最大值的95%以上,比已有的工作高出9.5 $\times$。对于远程写入和读取操作,它分别记录0.35 $us$和0.59 $us$延迟。最后,我们对集成英特尔深度学习加速器的两个英特尔D5005 FPGA节点进行了案例研究。采用FSHMEM编程的两节点系统在矩阵乘法和卷积运算方面分别实现了1.94 $\times$和1.98 $\times$的加速比,显示了其在HPC基础设施中的可扩展性。
2022-07-11 cs.AR cs.DC
Evaluating FPGA Accelerator Performance with a Parameterized OpenCL Adaptation of the HPCChallenge Benchmark Suite
FPGA在数据中心应用中的采用率越来越高,因为新一代高级工具已经问世,这些工具显著缩短了FPGA加速器的开发时间,但仍能提供高质量的结果。然而,目前还没有专门针对HPC应用的FPGA架构、编程工具和库进行比较的高级基准测试套件。为了填补这一空白,我们为Xilinx和Intel FPGA开发了基于OpenCL的HPCC基准测试套件的开源实现。该基准测试可用于分析FPGA设备、卡和开发工具流的当前功能,跟踪随时间推移的进展,并指出HPC领域中FPGA加速的具体困难。此外,基准测试记录了经过验证的性能优化模式。我们将继续优化和移植新一代FPGA和设计工具的基准,并鼓励积极参与,为社区创造有价值的工具。
2020-06-12 cs.AR cs.DC
Energy Efficient Video Fusion with Heterogeneous CPU-FPGA Devices
本文提出了一个完整的视频融合系统与硬件加速,并探讨了在CPU或FPGA设备之间的计算能量权衡。视频融合应用是基于双树复小波变换(DT-CWT)。在这项工作中,变换映射到硬件加速器使用高层次的FPGA合成工具,也矢量化的单指令多数据(SIMD)引擎在CPU中可用的代码。加速系统将计算时间和能量减少了2倍。此外,结果显示了一个关键发现,即FPGA并不总是加速的最佳选择,当小波分解将帧大小降低到某个阈值以下时,应选择SIMD引擎。这种对工作负载大小的依赖性意味着,在SIMD引擎和FPGA之间进行智能选择的自适应系统可以实现最大的能源和性能效率点。
2016-02-08 cs.AR cs.PF
Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?
图形处理单元(GPU)目前是深度学习(DL)加速器的主要可编程架构。然而,在DL加速器中采用现场可编程门阵列(FPGA)的势头越来越猛。在本文中,我们证明了直接硬件映射(DHM)的卷积神经网络(CNN)在嵌入式FPGA上大大优于GPU实现的能源效率和执行时间。然而,DHM是高度资源密集型的,并且在实现最先进的CNN时不能完全替代GPU。因此,我们提出了一种混合的FPGA-GPU DL加速方法,并证明异构加速优于GPU加速,即使包括通信开销。实验结果在嵌入Nvidia(R)Jetson TX 2 CPU-GPU板和Intel(R)Cyclone 10 GX FPGA板的异构多平台设置上进行。实验了SqueezeNet、MobileNetv 2和ShuffleNetv 2面向移动的CNN。我们表明,异构FPG-AGPU加速优于GPU加速,用于MobileNetv 2(12%-30%的能量减少,4%至26%的延迟减少),SqueezeNet(21%-28%的能量减少,相同的延迟)和ShuffleNetv 2(25%的能量减少,21%的延迟减少)的分类推理任务。
2021-02-02 cs.AR
Efficient Approaches for GEMM Acceleration on Leading AI-Optimized FPGAs
针对两款主流AI优化型FPGA架构差异大的问题,本文提出适配各自架构特性的GEMM优化系统框架,在int8精度下实现了高吞吐量与能效,并给出优化指导与可编程性权衡分析。
2024-04-17 cs.AR
Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions
Imperial College London(帝国理工学院)
在过去的十年中,卷积神经网络(CNN)在各种人工智能任务中表现出了最先进的性能。为了加速CNN的实验和开发,已经发布了几个软件框架,主要针对耗电的CPU和GPU。在这种背景下,FPGA形式的可重构硬件构成了一种潜在的替代平台,可以集成到现有的深度学习生态系统中,以提供性能、功耗和可编程性之间的可调平衡。在本文中,现有的CNN到FPGA的工具流程的调查,包括他们的关键特性,其中包括支持的应用程序,架构选择,设计空间探索方法和实现的性能进行了比较研究。此外,主要的挑战和目标介绍了CNN算法研究的最新趋势。最后,提出了一种统一的评估方法,旨在全面,完整和深入的评估CNN到FPGA的工具流程。
2018-03-15 cs.AR cs.CV cs.LG
A Reconfigurable Framework for AI-FPGA Agent Integration and Acceleration
Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Moratuwa(莫拉图瓦大学);Stanford University(斯坦福大学);Istinye University(伊斯提耶大学)
本文提出AI-FPGA代理框架,通过动态分区和硬件卸载实现深度学习推理的高效加速,实验显示在延迟和能效方面优于CPU和GPU。
2026-01-27 cs.AR
Real Time FPGA Based CNNs for Detection, Classification, and Tracking in Autonomous Systems: State of the Art Designs and Optimizations
本文全面综述了FPGA上部署CNN实现视觉任务的最新进展,涵盖算法优化、硬件平台、开发工具、混合加速架构及软硬件协同设计,为边缘嵌入式低功耗高性能视觉系统开发提供参考。
2025-09-04 cs.AR
FFCNN: Fast FPGA based Acceleration for Convolution neural network inference
Atos-BULL;Université Paris Est Créteil(巴黎东克雷泰伊大学)
提出了一种新的基于OpenCL的大规模卷积神经网络加速器,称为卷积神经网络FPGA快速推理(FFCNN)。FFCNN基于深度流水线的OpenCL内核架构。如前所述,OpenCL框架等高级综合工具可以轻松地将最初为CPU和GPU设计的代码移植到FPGA上,但仍然难以使OpenCL代码在FPGA上高效运行。这项工作的目的是提出一个有效的FPGA实现OpenCL高性能计算应用。为此,提出了数据重用和任务映射技术,以提高设计效率。此外,在开发FFCNN时还考虑了以下动机:1)FFCNN旨在基于英特尔OpenCL SDK的FPGA设计流程上轻松实现。2)在FFFCN中,已经集成了不同的技术来提高存储器带宽和吞吐量。对两种深度CNN进行了大规模图像分类的性能分析。所得到的结果,并与其他作品的设计,以加速相同类型的架构的比较,显示效率和竞争力的建议加速器设计显着提高性能和资源利用率。
2022-08-28 cs.AI cs.AR cs.CV
Exploiting temporal parallelism for LSTM Autoencoder acceleration on FPGA
本文提出一种基于FPGA的数据流架构,通过时间并行性实现多层LSTM-AE的并发处理,实验显示在CPU和GPU上具有显著的加速效果和能效提升。
2026-03-14 cs.AR cs.LG
Small Logic-based Multipliers with Incomplete Sub-Multipliers for FPGAs
本文针对FPGA上低精度AI推理需求,提出基于不完整非矩形子乘法器瓦片的小型逻辑乘法器设计方法,并利用整数线性规划求解最优结构,在FPGA综合实验中验证了其优于现有设计。
2024-05-03 cs.AR
An OpenCL(TM) Deep Learning Accelerator on Arria 10
Intel Corporation(英特尔公司)
卷积神经网络(CNN)已经成为执行视觉任务的实用手段,特别是在图像分类领域。众所周知,FPGA能够有效地执行卷积,然而,最近在FPGA上运行CNN的努力显示出比GPU等其他设备有限的优势。由于FPGA器件上有限的外部内存带宽,FPGA上的先前方法通常是内存受限的。我们展示了一个用OpenCL(TM)编写的新架构,我们称之为深度学习加速器(DLA),它最大限度地提高了数据重用率,并最大限度地减少了外部内存带宽。此外,我们展示了如何使用Winograd变换来显着提高FPGA的性能。因此,在英特尔的Arria 10设备上运行我们的DLA时,我们可以实现1020 img/s的性能,或者在运行AlexNet CNN基准测试时达到23 img/s/W。这相当于1382 GFLOPs,比最先进的FPGA快10倍,GFLOPS高8.4倍,效率高5.8倍。此外,23 img/s/W与nVidia TitanX GPU上最知名的AlexNet实现相比具有竞争力。
2017-01-13 cs.AR cs.CV cs.DC
FPGA-based Accelerators of Deep Learning Networks for Learning and Classification: A Review
Department of Computer Engineering, King Fahd University of Petroleum \& Minerals, Dhahran-31261, Saudi Arabia;Center for Communications;IT Research, Research Institute, King Fahd University of Petroleum \& Minerals, Dhahran-31261, Saudi Arabia
由于数字技术的最新进展和可靠数据的可用性,人工智能领域深度学习已经出现,并已证明其在解决复杂学习问题方面的能力和有效性。特别地,卷积神经网络(CNN)已经证明了它们在图像检测和识别应用中的有效性。然而,它们需要密集的CPU操作和内存带宽,这使得普通CPU无法达到期望的性能水平。因此,使用专用集成电路(ASIC)、现场可编程门阵列(FPGA)和图形处理单元(GPU)的硬件加速器已被用于提高CNN的吞吐量。更确切地说,FPGA最近已被用于加速深度学习网络的实现,因为它们能够最大限度地提高并行性以及能效。在本文中,我们回顾了最近在FPGA上加速深度学习网络的现有技术。我们强调的关键功能采用的各种技术,以提高加速性能。此外,我们还提供了增强FPGA用于CNN加速的建议。本文研究的技术代表了基于FPGA的深度学习网络加速器的最新趋势。因此,这篇综述有望指导高效硬件加速器的未来发展,并对深度学习研究人员有用。
2019-01-01 cs.AR cs.CV cs.LG
DLA: Compiler and FPGA Overlay for Neural Network Inference Acceleration
叠加技术在现场可编程门阵列(FPGA)中显示出了巨大的潜力,因为它们允许快速的开发周期,并消除了传统FPGA硬件设计流程的许多挑战。然而,这通常伴随着显著的性能负担,导致在实际应用中很少采用覆盖。在本文中,我们量身定制的覆盖到一个特定的应用领域,我们展示了我们如何保持其完整的可编程性,而不支付传统上与覆盖的性能开销。具体来说,我们引入了一个覆盖的深度神经网络推理只有~1%的开销,以支持控制和重编程逻辑使用轻量级超长指令字(VLIW)网络。此外,我们还实现了一个复杂的特定于领域的图形编译器,该编译器编译了Caffe或Tensorflow等深度学习语言,以轻松定位我们的覆盖。我们展示了我们的图编译器如何执行架构驱动的软件优化,以显着提高卷积神经网络和递归神经网络(CNN/RNN)的性能-与朴素的实现相比,我们展示了ResNet-101的3倍改进和长短期记忆(LSTM)单元的12倍改进。最后,我们描述了如何定制我们的硬件覆盖,并使用我们的图形编译器在英特尔Arria 10 1150上实现GoogLeNet上的约900 fps-这是同类FPGA上有史以来最快的速度。
2018-07-13 cs.AR cs.DC eess.SP
Embedded FPGA Acceleration of Brain-Like Neural Networks: Online Learning to Scalable Inference
Department of Computer Science KTH Royal Institute of Technology(计算机科学系 瑞典皇家理工学院);Department of Mathematics Stockholm University(数学系 斯德哥尔摩大学)
本研究首次在嵌入式FPGA上实现BCPNN脑类神经网络加速器,支持在线学习与推理,相比ARM基线实现17.5倍延迟降低和94%能耗节省,推动边缘神经形态计算实用化。
2025-06-23 cs.AI cs.AR
Revisiting FPGA Acceleration of Molecular Dynamics Simulation with Dynamic Data Flow Behavior in High-Level Synthesis
分子动力学(MD)模拟是过去十年中生物科学家和研究人员探索人类健康和疾病的最重要工具之一。然而,由于MD算法的计算复杂性,在传统的多核处理器上模拟相对简单的生物实体需要数周甚至数月。分子动力学模拟中的关键路径是模拟环境中粒子间的力的计算,具有丰富的并行性。在众多的加速平台中,FPGA以其低功耗、高能效的特点成为一个极具吸引力的选择。然而,由于其使用RTL的编程成本高,还没有主流的MD软件包采用FPGA进行加速。在本文中,我们重新审视的高层次综合(HLS)的MD的FPGA加速,以提供负担得起的编程成本。我们的MD加速经验表明,HLS优化,如循环流水线,模块复制和内存分区是必不可少的,以提高性能,实现了9.5倍的加速比相比,12核CPU。更重要的是,我们观察到,即使是完全优化的HLS设计仍然可能比参考RTL架构慢2倍,这是由于当前HLS工具尚未支持的常见动态(条件)数据流行为。为了支持这种行为,我们通过一个通用的RTL模板进一步定制了一系列处理元素以及一个数据驱动的流网络,并完全自动化了设计流程。我们的最终实验结果表明,与12核英特尔至强服务器相比,在Convey HC1ex FPGA上广泛使用的ApoA1 MD基准测试的性能加速为19.4倍,能效为39倍。
2016-11-11 cs.AR physics.atom-ph physics.comp-ph
A Statically and Dynamically Scalable Soft GPGPU
本文提出一种静态与动态可扩展的软 GPGPU 架构,通过将处理器流水线与 FPGA 物理结构匹配,在 Intel Agilex FPGA 上实现 771 MHz 的峰值性能,并支持逐条指令的线程空间子集动态指定。
2024-01-08 cs.AR
On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出在Xilinx Kria KV260上部署Qwen2.5-0.5B的框架,结合AWQ压缩和FPGA加速,实现55.08%压缩率及5.1 tokens/s吞吐,优于基线。
2025-04-24 cs.AR cs.LG
Hardware Acceleration of Fully Quantized BERT for Efficient Natural Language Processing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
BERT是最新的基于transformer的模型,在各种NLP任务中实现了最先进的性能。在本文中,我们研究的硬件加速BERT在FPGA上的边缘计算。为了解决巨大的计算复杂性和内存占用的问题,我们提出了对BERT(B-BERT)进行完全的扩展,包括权重、激活、softmax、层归一化和所有的中间结果。实验结果表明,该算法可以实现7.94倍的权值压缩,而性能损失可以忽略不计。然后,我们提出了一个加速器量身定制的BERT和评估Xilinx ZCU 102和ZCU 111 FPGA。它可以实现3.18 fps/W的性能每瓦,这是28.91倍和12.72倍的英特尔(R)核心(TM)i7-8700 CPU和NVIDIA K80 GPU,分别。
2021-03-04 cs.AR cs.CL