A Compilation Flow for the Generation of CNN Inference Accelerators on FPGAs
University of Toronto(多伦多大学)
我们提出了在FPGA上生成CNN推理加速器的编译流程。该流程使用TVM编译器将冻结模型转换为OpenCL内核,并使用英特尔OpenCL SDK编译为FPGA比特流。我们通过对TVM生成的基础OpenCL内核进行优化来提高生成的硬件的质量。这些优化提高了并行性,减少了内存访问延迟,提高了并发性并节省了片上资源。我们在TVM中自动执行这些优化,并通过在Intel Stratix~ 10 SX上为LeNet-5、MobileNetV 1和ResNet-34生成加速器进行评估。我们表明,优化提高了性能的生成的加速器高达846倍以上的基础加速器。优化后的加速器在CPU上的性能比TensorFlow高出4.57倍,比单线程TVM高出3.83倍,比56线程TVM仅高出0.34倍。我们优化的内核也优于通过类似方法(也使用高级合成)生成的内核,同时提供更多的功能和灵活性。然而,它的性能不如使用手动优化设计的方法。因此,我们认为我们的方法在预生产环境中非常有用,可以从提高的性能和快速原型设计中受益,实现FPGA的优势,而无需硬件设计专业知识。
2022-03-08 cs.AR cs.DC cs.LG
Comprehensive Evaluation of OpenCL-based Convolutional Neural Network Accelerators in Xilinx and Altera FPGAs
Robotic and Technology of Computers Lab(机器人及计算机技术实验室);School of Electrical, Computer and Energy Engineering(电气、计算机与能源工程学院);University of Seville(塞维利亚大学);Arizona State University(亚利桑那州立大学)
深度学习极大地推进了人工智能的发展,在工业界和学术界都获得了广泛的欢迎。特别感兴趣的是卷积神经网络(CNN),它从视觉皮层的分层结构中获得灵感,形成卷积操作的深层,以及完全连接的分类器。这些深度CNN架构的硬件实现面临着内存瓶颈的挑战,这些内存瓶颈需要许多卷积和全连接层,这些层需要大量的通信来进行并行计算。基于多核CPU的解决方案由于内存墙和低并行性而证明了它们对这个问题的不足。众核GPU架构表现出卓越的性能,但它们消耗高功率,并且由于高速缓存和主内存之间的不一致性而具有内存限制。FPGA设计解决方案也在积极探索中,这些解决方案允许使用嵌入式BlockRAM实现存储层次结构。这促进了多个处理单元之间共享内存元素的并行使用,避免了数据的可复制性和不一致性。这使得FPGA成为CNN实时分类的潜在强大解决方案。Altera和Xilinx都采用GPU的OpenCL协同设计框架进行FPGA设计,作为伪自动开发解决方案。本文对Altera和Xilinx OpenCL框架的5层深度CNN进行了全面评估和比较。讨论了CNN的硬件资源、时间性能和OpenCL架构。Xilinx展示了更快的合成速度、更好的FPGA资源利用率和更紧凑的电路板。Altera提供多平台工具、成熟的设计社区和更好的执行时间。
2016-09-29 cs.CV cs.DC
DeCoILFNet: Depth Concatenation and Inter-Layer Fusion based ConvNet Accelerator
卷积神经网络(CNN)在各个领域迅速流行。由于它们的结构越来越深,计算量越来越大,很难将它们部署在能源受限的移动应用程序上。FPGA等硬件加速器已经成为一种有吸引力的替代方案。然而,由于FPGA的片上存储器和计算资源有限,满足高存储器吞吐量要求和利用CNN的并行性是一个重大挑战。我们提出了一种基于FPGA的高性能架构-基于深度级联和层间融合的ConvNet加速器- DeCoILFNet,它通过跨深度平坦化来利用CNN的层内并行性,并将其与跨层的高度流水线化数据流相结合,从而实现层间融合。这种架构大大减少了片外存储器访问,并最大限度地提高了吞吐量。与3.5GHz六核Intel Xeon E7 caffe-implementation相比,我们的120 MHz FPGA加速器速度快30倍。此外,与最先进的FPGA加速器相比,我们的设计将外部存储器访问减少了11.5倍,同时时钟周期数加快了2倍以上。
2018-12-01 cs.DC
Layer-specific Optimization for Mixed Data Flow with Mixed Precision in FPGA Design for CNN-based Object Detectors
卷积神经网络(CNN)需要密集的计算和频繁的存储器访问,这导致了低的处理速度和大的功耗。虽然CNN中不同层的特性通常非常不同,但是先前的硬件设计已经为它们采用了共同的优化方案。本文提出了一种层特定的设计,采用不同的组织,优化不同的层。所提出的设计采用了两个特定于层的优化:特定于层的混合数据流和特定于层的混合精度。混合数据流旨在最小化片外访问,同时要求FPGA器件的最小片上存储器(BRAM)资源。混合精度量化是为了实现无损精度和积极的模型压缩,从而进一步减少芯片外访问。贝叶斯优化方法用于为每个层选择最佳稀疏度,从而在精度和压缩之间实现最佳权衡。这种混合方案允许将整个网络模型存储在FPGA的BRAM中,以积极减少片外访问,从而实现显著的性能增强。与全精度网络相比,模型大小减少了22.66-28.93倍,VOC,COCO和ImageNet数据集的准确性下降可以忽略不计。此外,混合低功耗和混合精度的组合显着优于以前的作品在吞吐量,片外访问,和片内存储器的要求。
2020-09-03 cs.AR cs.CV cs.DC
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络(DNN)已经彻底改变了许多应用,但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是,为了使分布式集群以高利用率工作,分配给每个节点的工作负载必须很大,这意味着SGD小批量大小的增长非常重要。在本文中,我们提出了一个名为FPDeep的框架,它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先,该设计不受批量增长的影响。第二,新的工作负载和权重划分导致节点之间的负载平衡。第三,整个系统是一个细粒度的管道。这导致了高并行性和利用率,并且还最小化了在等待反向传播时需要缓存的时间。因此,存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明,FPDeep对大量FPGA具有良好的可扩展性,限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器,FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
FeCaffe: FPGA-enabled Caffe with OpenCL for Deep Learning Training and Inference on Intel Stratix 10
Intel Corporation(英特尔公司)
近年来,深度学习和卷积神经网络(CNN)在学术和工业领域变得越来越受欢迎和重要,因为与传统方法相比,它们能够提供更好的准确性,并在分类,检测和识别领域产生更好的结果。目前,市场上有许多流行的深度学习开发框架,如Caffe,TensorFlow,Pytorch,大多数框架原生支持CPU,默认情况下将GPU视为主线加速器。FPGA设备被视为潜在的异构平台,仍然不能为流行框架中的CNN开发提供全面的支持,特别是对训练阶段。在本文中,我们首先提出了FeCaffe,即FPGA使能的Caffe,一种基于Caffe的分层软硬件设计方法,使FPGA能够支持主线深度学习开发特性,例如使用Caffe进行训练和推理。此外,本文还以经典的CNN网络为例,给出了FeCaffe的一些性能测试,并对内核执行时间进行了详细分析。最后,从FPGA内核设计、系统流水线、网络架构、用例应用、异构平台等方面提出了FeCaffe性能和效率的优化方向。实验结果表明,FeCaffe能够在CNN网络训练和推理过程中分别支持几乎所有的功能,具有高度的设计灵活性、可扩展性和可重用性,可用于深度学习开发。与之前的研究相比,我们的架构可以支持更多的网络和训练设置,当前配置可以分别为LeNet实现6.4倍和8.4倍的向前和向后平均执行时间改进。
2019-11-18 cs.DC cs.LG
DNNVM : End-to-End Compiler Leveraging Heterogeneous Optimizations on FPGA-based CNN Accelerators
Xilinx(赛灵思);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
近年来,卷积神经网络(CNN)已经成为若干人工智能领域的最先进的方法。越来越复杂的CNN模型既受计算限制又受I/O限制。自定义指令集架构(ISA)驱动的基于FPGA的加速器实现了通用性和效率之间的平衡,但仍有许多需要优化的地方。我们提出了全栈编译器DNNVM,这是一个集成的优化器的图形,循环和数据布局,和一个汇编程序,运行时支持和验证环境。DNNVM在深度学习框架的背景下工作,并将CNN模型转换为有向非循环图:XGraph。基于XGraph,我们将数据布局和管道的优化挑战转化为图级问题。DNNVM通过启发式子图同构算法枚举所有潜在的有利融合机会,利用流水线和数据布局优化,搜索整个计算图的最佳执行策略选择。在Xilinx ZU2@330 MHz和ZU9@330 MHz上,我们通过未经优化的简单实现在基准测试中实现了同等先进的性能,并且通过利用DNNVM中的异构优化,吞吐量进一步提高到1.26倍。最后,使用ZU9@330 MHz,我们实现了VGG和ResNet 50的最先进性能。我们实现了2.82 TOPs/s的吞吐量和123.7 GOPs/s/W的能源效率的VGG。此外,ResNet 50的TOPs/s为1.38,GoogleNet为1.41。
2019-07-25 cs.CV cs.DC
A flexible FPGA accelerator for convolutional neural networks
本文提出一种无需重配置即可利用多种数据复用形式的灵活FPGA CNN推理加速器,并通过TensorFlow协同设计降低编程难度,在VC709上实现了接近理论峰值的高持续性能。
2025-08-24 cs.DC
Block Convolution: Towards Memory-Efficient Inference of Large-Scale CNNs on FPGA
深度卷积神经网络近年来取得了令人瞩目的进展。然而,在推理过程中产生的大量中间结果对资源受限的FPGA的加速器设计构成了重大挑战。由于有限的片上存储,中间层的部分结果频繁地在片上存储器和片外DRAM之间来回传输,导致延迟和能耗的不可忽略的增加。在本文中,我们提出了块卷积,一个硬件友好,简单,但有效的卷积操作,可以完全避免在运行时的中间特征图的片外传输。块卷积的基本思想是在使用空间分片时消除特征图块在空间维度上的依赖性,这是通过将特征图分成独立块来实现的,以便可以对各个块单独执行卷积。我们进行了广泛的实验,以证明所提出的块卷积的算法侧和硬件侧的功效。具体来说,我们评估了1)VGG-16,ResNet-18,ResNet-50和MobileNet-V1用于ImageNet分类任务的块卷积; 2)SSD,COCO目标检测任务的FPN,以及3)Set5单图像超分辨率任务的VDSR。实验结果表明,块卷积可以实现相当或更高的精度。我们还展示了两个CNN加速器通过算法/硬件协同设计的基础上块卷积的内存有限的FPGA,和评估表明,这两个加速器大大优于基线没有片外传输的中间特征映射。
2021-05-19 cs.AR cs.DC
A reduced-precision streaming SpMV architecture for Personalized PageRank on FPGA
稀疏矩阵向量乘法通常用于许多数据分析工作负载中,其中低延迟和高吞吐量比精确的数值收敛更有价值。FPGA提供快速的执行时间,同时通过降低精度的定点运算提供对结果精度的精确控制。在这项工作中,我们提出了一种新的流实现坐标格式(COO)稀疏矩阵向量乘法,并研究其有效性时,应用于个性化PageRank算法,在电子商务网站和社交网络的推荐系统的一个常见的构建块。我们的实现在8个不同数据集上实现了高达6倍的参考浮点FPGA架构和最先进的多线程CPU实现,同时保持了结果的数值保真度,并达到了比CPU实现高42倍的能效。
2020-09-22 cs.AR cs.DC
NEURAghe: Exploiting CPU-FPGA Synergies for Efficient and Flexible CNN Inference Acceleration on Zynq SoCs
深度卷积神经网络(CNN)在需要人类水平理解数据的任务中获得了出色的结果,如图像或语音识别。然而,它们的计算负荷是显著的,这激发了CNN专用加速器的发展。这项工作提出了NEURAghe,这是一种灵活高效的硬件/软件解决方案,用于在Zynq SoC上加速CNN。NEURAghe利用Zynq ARM内核和部署在可重构逻辑上的强大灵活的卷积特定处理器的协同使用。卷积专用处理器嵌入了卷积引擎和可编程软核,将ARM处理器从大部分监督职责中解放出来,并允许加速器以超精细的粒度由软件控制。这种方法为协作异构计算开辟了道路:虽然加速器负责CNN的大部分工作负载,但ARM内核可以无缝执行计算图中难以加速的部分,利用NEON矢量引擎进一步加速计算。通过配套的NeuDNN SW堆栈,NEURAghe支持端到端基于CNN的分类,峰值性能为169 Gops/s,能效为17 Gops/W。由于我们的异构计算模型,我们的平台在最先进的基础上进行了改进,在端到端执行VGG-16时实现了5.5 fps的帧速率,在ResNet-18上实现了6.6 fps。
2017-12-04 cs.AR cs.DC cs.NE
Fast Arbitrary Precision Floating Point on FPGA
需要任意精度浮点(APFP)数用于其核心计算的数值代码由基本算术运算主导,这是由于尾数位的数目的乘法的超线性复杂性。传统的基于软件的架构上的APFP计算由于缺乏本地硬件支持而变得非常昂贵,需要使用在机器字大小的块上操作的指令来仿真基本操作。在这项工作中,我们展示了如何APFP乘法编译时固定精度的操作数可以实现为深FPGA流水线与递归定义的Karatsuba分解顶部的本地DSP乘法。当将我们在Alveo U250加速器上实现的设计与运行GNU多精度浮点可靠(MPFR)库的双插槽36核Xeon节点进行比较时,我们在4.8 GOp/s的速度下实现了9.8倍的加速,对于512位乘法,在1.2 GOp/s的速度下实现了5.3倍的加速,对于1024位乘法,分别对应于超过351 x和191 x CPU内核的吞吐量。我们将此架构应用于一般的矩阵-矩阵乘法,在Xeon节点上以2.0 GOp/s的速度获得10倍的加速,相当于超过375倍的CPU内核,有效地允许单个FPGA取代小型CPU集群。由于一些数值代码对APFP的依赖性很大,例如半定规划求解器,我们希望这些收益能够转化为现实世界的加速。我们的可配置和灵活的基于HLS-based的代码提供了一个高层次的软件接口,即插即用加速,作为一个开源项目发布。
2022-04-13 cs.DC
Exploration of Low Numeric Precision Deep Learning Inference Using Intel FPGAs
CNN已经被证明在量化到较低精度时保持合理的分类精度。量化到低于8位的激活和权重可能导致精度下降到可接受的阈值以下。存在用于通常通过增加计算来缩小有限数值精度的精度差距的技术。这导致吞吐量和准确性之间的权衡,并且可以通过激活和权重数据宽度的各种组合针对不同的网络进行定制。FPGA等硬件架构通过独特的逻辑配置提供了数据宽度特定计算的机会,从而实现了全精度网络无法实现的高度优化处理。三进制和二进制加权网络分别为2位和1位数据提供了一种有效的推理方法。大多数硬件架构可以利用较小数据路径带来的内存存储和带宽节省,但很少有架构可以利用计算级别的有限数值精度。在本文中,我们提出了一种硬件设计的FPGA,利用带宽,内存,功耗和计算有限的数值精度数据的节省。我们提供了对各种网络的吞吐量和准确性之间的权衡以及它们如何映射到我们的框架的见解。此外,我们还展示了对于三进制和二进制情况,有限的数字精度计算如何有效地映射到FPGA上。从Arria 10开始,我们展示了一个在硬件中运行的2位激活和三进制加权的AlexNet,它在ImageNet数据集上每秒可实现3,700张图像,前1精度为0.49。使用为我们的低数值精度框架设计的硬件建模器,我们对运行修改后的ResNet-34的55.5 TOPS Stratix 10设备的性能进行了最显著的预测,与单精度的相比,精度仅下降了3.7%。
2018-06-12 cs.AR cs.DC
Synergy: A HW/SW Framework for High Throughput CNNs on Embedded Heterogeneous SoC
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
卷积神经网络(CNN)已被广泛应用于不同的应用领域。在使用高性能GPU、FPGA和定制ASIC加速其训练和推理方面取得了重大进展。最近移动和物联网设备的激增需要在嵌入式类、资源受限的平台上进行实时、节能的深度神经网络推理。在这种情况下,我们提出了{ \em Synergy},这是一种基于嵌入式异构片上系统(SoC)架构(Xilinx Zynq)的自动化、软硬件协同设计、流水线、高吞吐量CNN推理框架。{ \em Synergy}通过多线程技术利用所有可用的片上资源,包括双核ARM处理器以及作为加速器的FPGA和NEON SIMD引擎。此外,{ \em Synergy}提供异构加速器(FPGA和NEON)的统一抽象,并通过工作窃取平衡加速器之间的工作负载,在运行时适应不同的网络配置,而无需更改底层硬件加速器架构。{ \em Synergy}在7个CNN模型上实现了7.3倍的平均加速,优于经过良好优化的纯软件解决方案。与相同SoC架构上的当代CNN实现相比,{ \em Synergy}表现出更高的吞吐量和能效。
2018-03-28 cs.AR cs.DC cs.LG
An Energy-Efficient FPGA-based Deconvolutional Neural Networks Accelerator for Single Image Super-Resolution
卷积神经网络(CNN)在各种计算机视觉应用中表现出优异的性能。近年来,已经提出了基于FPGA的CNN加速器以优化性能和功率效率。大多数加速器都是针对在低分辨率(LR)图像上执行的目标检测和识别算法而设计的。然而,实时图像超分辨率(SR)不能在典型的加速器上实现,因为生成高分辨率(HR)图像所需的执行周期很长,例如超高清(UHD)系统中使用的图像。在本文中,我们提出了一种新的CNN加速器与高效的并行化方法SR应用。首先,我们提出了一种新的方法来优化用于增加特征图的去卷积神经网络(DCNN)。其次,我们提出了一种新的方法来优化CNN低功耗,使SR算法可以在显示应用中以低功耗驱动。最后,我们将一个基于DCNN的SR算法压缩成一个最佳模型,以使用片上存储器进行有效的推理。我们提出了一个节能的架构SR和验证我们的架构上的移动面板与四高清晰度(QHD)的分辨率。我们的实验结果表明,在相同的硬件资源,建议的DCNN加速器实现了高达108倍的吞吐量比传统的DCNN加速器。此外,我们的SR系统在SR比例因子为2、3和4时分别实现了144.9 GOPS/W、293.0 GOPS/W和500.2 GOPS/W的能效。此外,我们证明了我们的系统可以恢复HR图像的高质量,同时大大减少了数据的位宽和参数的数量相比,传统的SR算法。
2018-12-18 cs.AR cs.DC
GCV-Turbo: End-to-end Acceleration of GNN-based Computer Vision Tasks on FPGA
University of Southern California(南加州大学);DEVCOM Army Research Office(DEVCOM陆军研究办公室)
提出 FPGA 加速器 GCV-Turbo,通过统一 CNN/GNN 硬件架构与 PyTorch 兼容编译器端到端优化,在六类任务上显著降低延迟并保持专用加速器性能。
2024-04-10 cs.CV cs.DC eess.IV
DYNAMAP: Dynamic Algorithm Mapping Framework for Low Latency CNN Inference
现有的卷积神经网络(CNN)的FPGA加速工作大多集中在采用单一的策略(算法、卷积等)。在所有的层面上。这种方法在复杂和深度CNN上无法实现最佳延迟。新兴的CNN具有不同的每层计算特征,包括并行性、算术强度、局部性和内存占用。需要每层策略选择和细粒度调优来实现较低的端到端延迟。然而,专用于每层的专用硬件模块限制了每层的利用率,并对端到端延迟产生不利影响。本文通过一个算法-架构协同优化框架DYNAMAP来解决这些问题,该框架包括:(1)一个统一的硬件覆盖层,可以跨层重用,支持所有三个流行卷积算法家族的动态映射,并进一步允许灵活的底层切换,以最大化每层的硬件利用率;(2)一种新的软件设计空间探索(DSE)流程,其定制硬件覆盖并选择最优策略映射。我们表明,算法映射空间随网络深度呈指数增长,而最佳算法选择问题一般是NP-困难的,通过利用CNN模型的串并行结构,我们证明了最佳算法映射的多项式时间解。DYNAMAP针对任何CNN进行了优化,包括那些在各层中具有不同计算和内存要求的CNN。我们使用两种最先进的CNN- GoogleNet和Inception-V4来演示DYNAMAP。生成的加速器实现高达$2.8\times$和$1.4\times$的加速,分别与最先进的FPGA实现相比,wrt推理延迟。
2021-03-13 cs.DC
High Performance Scalable FPGA Accelerator for Deep Neural Networks
Intel Corporation(英特尔公司)
低精度是实现更高人工智能操作(AI-TOPS)的第一步。然而,子8位精度计算的算法空间是多种多样的,经常发生破坏性的变化,使FPGA成为深度神经网络推理的自然选择,在这项工作中,我们提出了一个基于FPGA的加速器,用于CNN推理加速。我们使用{ \it INT-8-2}计算(具有{ \it 8 bit}激活和{2 bit}权重),该计算最近在文献中显示出前景,并且目前没有已知的ASIC、CPU或GPU原生支持。使用基于自适应逻辑模块(ALM)的新型设计,与传统的基于DSP的设计不同,我们能够为{ \it Arria 10}实现5个AI-TOPS的高性能测量,并为{ \it Stratix 10}在0.7 TOPS/W下预测76个AI-TOPS的性能。这超过了已知的CPU,GPU性能,接近最知名的ASIC(TPU)数字,同时保留了FPGA平台对其他应用的多功能性。
2019-08-29 cs.DC cs.LG
Towards Lattice Quantum Chromodynamics on FPGA devices
在本文中,我们描述了一个单节点,双精度的现场可编程门阵列(FPGA)实现的共轭梯度算法的背景下,格量子色动力学。作为我们提案的基准,我们在三个Xilinx硬件解决方案上的4维网格上数值反演Dirac-Wilson算子:Zynq Ultrascale+评估板,Alveo U250加速器和市场上最大的设备VU 13 P设备。在我们的实现中,我们将软件/硬件部分分开,使得Dirac算子的整个乘法在硬件中执行,而算法的其余部分在主机上运行。我们发现,FPGA实现可以提供与使用当前CPU或英特尔的许多核心至强融核加速器获得的性能相当。一个可能的多节点FPGA为基础的系统进行了讨论,我们认为,节能的高性能计算(HPC)系统可以实现仅使用FPGA器件。
2019-12-04 cs.DC
MELOPPR: Software/Hardware Co-design for Memory-efficient Low-latency Personalized PageRank
个性化PageRank(PPR)是一种从源节点评估周围节点重要性的图算法。PPR广泛应用于社交网络相关的应用,如推荐系统,需要实时响应(延迟),以获得更好的用户体验。现有的工作要么集中在算法优化,以提高精度,而忽略了硬件实现或集中在分布式全局图形处理的大规模系统,以提高吞吐量,而不是响应时间。在边缘设备上使用紧凑的内存预算优化低延迟本地PPR算法仍然未被探索。在这项工作中,我们提出了一个内存高效,低延迟的PPR解决方案,即MeLoPPR,大大降低了内存需求和延迟和精度之间的灵活权衡。MeLoPPR由阶段分解和线性分解组成,利用节点得分的稀疏性:通过阶段分解和线性分解,MeLoPPR将大图上的计算分解为一组更小的子图,大大节省了计算内存;通过稀疏性利用,MeLoPPR选择对精度贡献最大的子图,减少所需的计算量。此外,通过软件/硬件协同设计,我们提出了一个硬件实现的混合CPU和FPGA加速平台,进一步加快子图计算。我们评估建议MeLoPPR内存受限的设备,包括个人笔记本电脑和Xilinx Kintex-7 KC 705 FPGA使用六个真实世界的图形。首先,MeLoPPR在CPU上节省了1.5倍至13.4倍的内存,在FPGA上节省了73倍至8699倍的内存。其次,MeLoPPR允许在精度和执行时间之间灵活权衡:当精度为80%时,CPU上的加速比高达15倍,FPGA上的加速比高达707倍…
2021-04-13 cs.AR cs.DC
Callipepla: Stream Centric Instruction Set and Mixed Precision for Accelerating Conjugate Gradient Solver
FPGA处理能力的持续增长加上高带宽存储器(HBM),使得像Xilinx U280这样的系统成为线性求解器的可靠平台,这些线性求解器通常主导着科学和工程应用的运行时间。在本文中,我们提出了Callipepla,一个加速器的预处理共轭梯度线性求解器(CG)。CG的FPGA加速面临三个挑战:(1)如何支持任意问题并动态终止加速处理,(2)如何协调处理模块之间的长向量数据流,以及(3)如何节省片外内存带宽并保持双倍(FP 64)精度准确度。为了解决这三个挑战,我们提出了(1)用于高效流处理和控制的以流为中心的指令集,(2)向量流重用(VSR)和分散式向量流调度,以协调模块之间的向量数据流,并通过双存储器通道设计进一步减少片外存储器访问,以及(3)混合精度方案,以节省带宽而仍然实现有效的双精度的质量解决方案。据我们所知,这是第一个工作,介绍了VSR的概念,片上模块之间的数据重用,以减少不必要的片外访问的FPGA加速器。我们在Xilinx U280 HBM FPGA上实现了加速器原型。我们的评估表明,与Xilinx HPC产品XcgSolver相比,Callipepla实现了3.94倍的加速比,3.36倍的吞吐量和2.94倍的能效。与内存带宽是Callipepla 4倍的NVIDIA A100 GPU相比,我们仍然实现了77%的吞吐量,能源效率提高了3.34倍。该代码可在https://gi…
2022-12-29 cs.AR cs.DC