Enabling Efficient and Flexible FPGA Virtualization for Deep Learning in the Cloud
Tsinghua University(清华大学)
FPGA在为深度神经网络(DNN)推理应用提供低延迟和高能效解决方案方面显示出巨大的潜力。目前,大多数基于FPGA的DNN加速器在云中以时分复用的方式运行,用于多个用户共享单个FPGA,并且需要重新编译$\sim$ 100 s开销。这种设计导致多用户隔离性差,性能损失严重,无法为公有云和私有云场景提供高效灵活的FPGA虚拟化。为了解决这些问题,我们介绍了一种新的虚拟化框架的指令架构集(ISA)的基础上DNN加速器共享一个FPGA。我们通过引入两级指令调度模块和基于多核的硬件资源池来实现隔离。这样的设计提供了隔离的和运行时可编程的硬件资源,进一步导致多个用户的性能隔离。另一方面,为了克服重编译的开销,我们提出了一种基于分片的指令框架包设计和两阶段的静态-动态编译。仅对轻量级的运行时信息进行重新编译,开销为$\sim$ 1 ms,保证了私有云的性能。我们广泛的实验结果表明,所提出的虚拟化设计实现了1.07- 1.69倍和1.88- 3.12倍的吞吐量提高比以前的静态设计使用单核和多核架构,分别。
2020-03-26 cs.AR cs.DC cs.LG
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络(DNN)已经彻底改变了许多应用,但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是,为了使分布式集群以高利用率工作,分配给每个节点的工作负载必须很大,这意味着SGD小批量大小的增长非常重要。在本文中,我们提出了一个名为FPDeep的框架,它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先,该设计不受批量增长的影响。第二,新的工作负载和权重划分导致节点之间的负载平衡。第三,整个系统是一个细粒度的管道。这导致了高并行性和利用率,并且还最小化了在等待反向传播时需要缓存的时间。因此,存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明,FPDeep对大量FPGA具有良好的可扩展性,限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器,FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
FPGA Acceleration of Short Read Alignment
在生物信息学中,将数百万个短的DNA或RNA读段(每个读段具有75至250个碱基对)与参考基因组进行比对是一个重要的计算问题。我们提出了一个灵活和快速的基于FPGA的短读比对工具。我们的对准器利用FPGA的处理能力以及更大的主机内存带宽和软件灵活性来提高性能并实现高水平的可配置性。这种灵活的设计支持各种参考基因组大小,而不会像其他软件和基于FPGA的比对器那样性能下降。它还能够更好地支持新的比对算法的功能,这些算法经常出现在快速发展的生物信息学领域。我们在一个案例研究中证明了这些优势,在该案例研究中,我们比对了来自假设的小鼠/人异种移植物的RNA-Seq数据。在这个案例研究中,我们的比对器比BWA-SW提供了5.6倍的加速,节能21%,同时还将不正确的短读段分类减少了29%。为了证明我们的系统的灵活性,我们表明,加速比可以大大提高,同时保留了BWA-SW的大部分准确性增益。加速比可以增加到71.3倍,同时仍然享受28%的不正确分类改善和52%的改善,在未对齐的读取。
2018-04-30 cs.CE cs.DC q-bio.GN
SpecReuse: Spectral Graph Reuse for Efficient Vision GNN Inference on FPGAs
University of Southern California(南加州大学)
针对FPGA上视觉GNN推理中动态图构建的性能瓶颈,提出SpecReuse算法与加速器,通过谱描述符漂移检测实现图复用,实现最高2.69倍加速和约58-65%能耗降低。
2026-09-17 cs.DC
FLEX: Leveraging FPGA-CPU Synergy for Mixed-Cell-Height Legalization Acceleration
The Hong Kong University of Science and Technology(香港科技大学)
FLEX通过FPGA-CPU协同加速混合单元高度合法化,采用多粒度流水技术提升速度,相比现有方法提升18.3倍,同时提高合法化质量4%。
2025-12-04 cs.AR cs.DC
Sparse Tucker Tensor Decomposition on a Hybrid FPGA-CPU Platform
推荐系统、社会网络分析、医学成像和数据采掘通常涉及处理稀疏的高维数据。这种高维数据自然地表示为张量,并且它们不能通过传统的矩阵或向量计算来有效地处理。稀疏Tucker分解是压缩和分析这些稀疏高维数据集的重要算法。当能源效率和数据隐私成为主要问题时,资源受限平台上的硬件加速器对于张量算法的部署至关重要。在这项工作中,我们提出了一个混合计算框架,包含CPU和FPGA来加速稀疏塔克因式分解。该算法有三个主要模块:张量时间矩阵(TTM),克罗内克积和QR分解与列旋转(QRP)。此外,我们加速前两个模块上的Xilinx FPGA和后一个CPU上。我们的混合平台实现了$23.6 \times \sim 1091\times$的加速和超过$93.519\% \sim 99.514 \%$的能源节约与CPU的合成和真实世界的数据集。
2020-10-20 cs.DC
ShortcutFusion: From Tensorflow to FPGA-based accelerator with reuse-aware memory allocation for shortcut data
残差块是最近最先进的CNN(如EfficientNet或EfficientDet)中非常常见的组件。在ResNet 152中,XML数据占特征地图访问的近40%[8]。以前的DNN编译器、加速器大多忽略了快捷方式的数据优化。本文介绍了ShortcutFusion,基于FPGA的加速器的优化工具,具有重用意识的静态内存分配的快捷数据,最大限度地提高片上数据重用给定的资源约束。从TensorFlow DNN模型中,所提出的设计为一组节点生成指令集,这些节点为每个残留块使用优化的数据重用。在Xilinx KCU 1500 FPGA卡上实现的加速器设计比NVIDIA RTX 2080 Ti快2.8倍,能效高9.9倍,输入尺寸为256 x256。.与基线的结果相比,在基线中,权重、输入和输出每层都从片外存储器访问一次,ShortcutFusion将RetinaNet、Yolov 3、ResNet 152和EfficientNet的DRAM访问减少了47.8-84.8%。考虑到与ShortcutMining [8]类似的缓冲区大小,它也在硬件中挖掘快捷方式数据,所提出的工作将特征映射的片外访问减少了5.27倍,同时从片外存储器访问权重仅一次。
2022-02-13 cs.AR cs.DC
Combining Multiple Optimised FPGA-based Pulsar Search Modules Using OpenCL
现场可编程门阵列(FPGA)作为加速硬件广泛应用于平方公里阵列(SKA)的中央信号处理设计中。频域加速搜索模块是SKA 1-MID脉冲星搜索引擎的重要组成部分。为了开发一个尚未最终确定的硬件,跨学科的互操作性和实现快速原型,OpenCL作为一种高级FPGA综合方法被用来创建FDAS的子模块。FT卷积和谐波求和加上其他一些次要的子模块是FDAS模块中的元素,这些元素之前已经单独进行了很好的优化。在本文中,我们探讨了结合良好的优化设计,处理随之而来的需要权衡和妥协的设计空间。采用流水线计算来高速处理多个输入数组。硬件目标是采用多个高端FPGA来处理组合FDAS模块。结果显示了有趣的结果,其中最佳的单个解决方案不一定是需要共享FPGA资源和内存带宽的流水线速度的最佳解决方案。通过对流水线提出多种缓冲技术,组合的FDAS模块可以在没有流水线计算的情况下实现高达2倍的加速比。我们在工作站上托管的多个FPGA板(Arria 10)上进行了广泛的实验评估,并与技术相当的中档GPU进行了比较。
2018-06-29 cs.DC
Accelerated Digital Twin Learning for Edge AI: A Comparison of FPGA and Mobile GPU
Impact Lab, School of Computing and Augmented Intelligence(影响实验室,计算与增强智能学院);Arizona State University(亚利桑那州立大学)
本文提出一种基于FPGA的加速数字孪生学习框架,相较于移动GPU和云GPU,在性能、能效和内存占用方面均表现出色,适用于边缘AI中的关键医疗应用。
2025-12-13 cs.AI cs.DC
Automatic Nested Loop Acceleration on FPGAs Using Soft CGRA Overlay
卸载计算密集型嵌套循环在FPGA加速器上执行已被许多研究人员证明是跨许多应用领域的有效性能增强技术。为了构建具有高设计效率的加速器,研究人员越来越多地转向使用叠加架构作为构建在现成FPGA之上的中间代目标。然而,实现所需的性能开销权衡仍然是一个主要的生产力挑战,因为需要在覆盖多个架构参数的大型设计空间上进行复杂的特定于应用程序的定制。在这项工作中,提出了一种利用常规软粗粒度可重构阵列(SCGRA)覆盖的自动嵌套循环加速框架。给定高级资源约束,框架自动定制覆盖架构设计参数、高级编译选项以及加速器与主机处理器之间的通信,以针对给定应用程序优化性能。在我们的实验中,以10到20分钟的额外工具运行时间为代价,所提出的定制过程导致了比由相同框架生成的基线加速器高出5倍的额外加速。总的来说,与在Zedboard上仅在主机ARM处理器上运行的等效软件相比,由此产生的加速器实现了高达10倍的加速。
2015-08-27 cs.AR cs.DC
DeCoILFNet: Depth Concatenation and Inter-Layer Fusion based ConvNet Accelerator
卷积神经网络(CNN)在各个领域迅速流行。由于它们的结构越来越深,计算量越来越大,很难将它们部署在能源受限的移动应用程序上。FPGA等硬件加速器已经成为一种有吸引力的替代方案。然而,由于FPGA的片上存储器和计算资源有限,满足高存储器吞吐量要求和利用CNN的并行性是一个重大挑战。我们提出了一种基于FPGA的高性能架构-基于深度级联和层间融合的ConvNet加速器- DeCoILFNet,它通过跨深度平坦化来利用CNN的层内并行性,并将其与跨层的高度流水线化数据流相结合,从而实现层间融合。这种架构大大减少了片外存储器访问,并最大限度地提高了吞吐量。与3.5GHz六核Intel Xeon E7 caffe-implementation相比,我们的120 MHz FPGA加速器速度快30倍。此外,与最先进的FPGA加速器相比,我们的设计将外部存储器访问减少了11.5倍,同时时钟周期数加快了2倍以上。
2018-12-01 cs.DC
HyScale-GNN: A Scalable Hybrid GNN Training System on Single-Node Heterogeneous Architecture
图神经网络(GNN)在许多涉及图结构数据的现实应用中取得了成功。大多数现有的单节点GNN训练系统能够训练具有数千万条边的中等规模图;然而,将它们扩展到具有数十亿条边的大规模图仍然具有挑战性。此外,将GNN训练算法映射到计算节点上具有挑战性,因为最先进的机器具有由多个处理器和各种加速器组成的异构架构。我们提出了HyScale-GNN,一个新的系统训练GNN模型上的单节点异构体系结构。HyScale-GNN执行混合训练,利用处理器和加速器协同训练模型。我们的系统设计克服了现有工作的内存大小限制,并针对大规模图上的GNN训练进行了优化。我们提出了一个两阶段的数据预取方案,以减少GNN训练过程中的通信开销。为了提高任务映射的效率,我们提出了一种动态的资源管理机制,在运行时调整工作负载分配和资源分配。我们在CPU-GPU和CPU-FPGA异构架构上评估HyScale-GNN。使用几个大规模数据集和两个广泛使用的GNN模型,我们将我们的设计与PyTorch-Geometric中实现的多GPU基线进行了性能比较。CPU-GPU设计和CPU-FPGA设计分别实现了高达2.08倍和12.6倍的加速比。与P3和DistDGL等最先进的大规模多节点GNN训练系统相比,我们的CPU-FPGA设计使用单个节点实现了高达5.27倍的加速比。
2023-03-01 cs.DC
Accelerating Sparse DNN Models without Hardware-Support via Tile-Wise Sparsity
Shanghai Jiao Tong University(上海交通大学);NVIDIA(英伟达);Shanghai Qi Zhi Institute(上海期智研究院);University of Rochester(罗切斯特大学)
网络修剪可以降低深度神经网络(DNN)模型的高计算成本。然而,为了保持其精度,稀疏模型通常携带随机分布的权重,导致不规则的计算。因此,稀疏模型不能在商用硬件上实现有意义的加速(例如,GPU)为密集矩阵计算而构建。因此,先前的工作通常修改或设计全新的稀疏优化架构,以利用稀疏性。我们提出了一种算法软件协同设计的修剪方法,实现延迟加速现有的密集架构。我们的工作建立在矩阵乘法通常将大矩阵分解为多个较小的瓦片以进行并行执行的见解之上。我们提出了一种平铺友好的“瓦片式”稀疏模式,它在瓦片级别保持规则模式,以实现高效执行,但允许在全球范围内进行不规则的任意修剪,以保持高精度。我们在GPU张量核心上实现并评估了稀疏模式,在密集模型上实现了1.95倍的加速。
2020-08-29 cs.AI cs.DC
Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
Western New England University(韦斯滕新英格兰大学);Rice University(Rice大学)
针对神经网络训练加速问题,本工作在MNIST数据集上用OpenMP实现推测反向传播,通过多线程重叠前向与反向传播步骤,CPU实验获24%整体加速比及35%单步最大加速比,计划在FPGA上综合以验证硬件加速潜力。
2025-11-09 cs.AR cs.DC cs.LG
Accelerating Transposed Convolutions on FPGA-based Edge Devices
School of Computing Science, University of Glasgow(计算科学学院,格拉斯哥大学)
针对边缘设备上转置卷积的低效问题,提出软硬件协同设计的加速器MM2IM,结合矩阵乘法与col2IM高效处理TCONV,在多种模型和配置下显著提升速度并降低能耗。
2025-07-10 cs.AR cs.DC cs.LG
Integrating NVIDIA Deep Learning Accelerator (NVDLA) with RISC-V SoC on FireSim
University of Kansas(堪萨斯大学);University of California, Berkeley(加州大学伯克利分校)
NVDLA是一个开源的深度神经网络(DNN)加速器,自Nvidia推出以来,受到了社区的广泛关注。它是一个功能齐全的硬件IP,可以作为一个很好的参考进行研究和开发的SoC与集成加速器。然而,需要昂贵的FPGA板在真实的SoC中使用该IP进行实验。此外,由于NVDLA在FPGA上以较低的频率进行时钟控制,因此很难使用这种设置进行准确的性能分析。为了克服这些限制,我们使用FireSim(一种周期精确的FPGA加速模拟器)将NVDLA集成到Amazon云FPGA上的真实RISC-V SoC中。然后,我们通过运行YOLOv 3目标检测算法来评估NVDLA的性能。我们的结果表明,NVDLA在运行YOLOv 3时可以维持7.5 fps。我们进一步分析了性能,显示与NVDLA共享最后一级缓存可以导致高达1.56倍的加速。然后,我们确定,共享的内存系统与加速器可能会导致不可预测的执行时间的实时任务在这个平台上运行。我们认为这是一个重要的问题,必须解决,以便片上DNN加速器被纳入实时嵌入式系统。
2019-12-06 cs.CV cs.DC
MKPipe: A Compiler Framework for Optimizing Multi-Kernel Workloads in OpenCL for FPGA
OpenCL for FPGA使开发人员能够使用类似于处理器的编程模型来设计FPGA。最近的工作表明,在OpenCL级别的代码优化是很重要的,以实现高计算效率。然而,现有的工作要么主要集中在优化单个内核或完全依赖于通道来设计多内核流水线。在本文中,我们提出了一个源代码到源代码的编译器框架,MKPipe,用于优化多内核工作负载的OpenCL FPGA。除了通道,我们提出了新的方案,使多内核管道。我们的优化编译器采用了系统的方法来探索这些优化方法的权衡。为了使内核执行之间更有效的重叠,我们还提出了一种新的工作项/工作组ID重新映射技术。此外,我们提出了新的算法的吞吐量平衡和资源平衡,调整优化对单个内核的多内核工作负载。我们的研究结果表明,我们的编译器优化的多内核实现了高达3.6倍(平均1.4倍)的加速比超过基线,其中内核已经被单独优化。
2020-02-05 cs.DC cs.PF
FPGA-Based Near-Memory Acceleration of Modern Data-Intensive Applications
现代数据密集型应用需要高计算能力和严格的功耗限制。不幸的是,由于计算单元和存储器单元之间的昂贵的数据移动,这样的应用遭受当前计算系统中的执行周期和能量的显著浪费。基因组分析和天气预报是这类应用的两个例子。最近的FPGA将可重配置结构与高带宽存储器(HBM)相结合,以实现更高效的数据移动,并提高整体性能和能效。这种趋势是向近内存计算的范式转变的一个例子。我们利用这样一个FPGA与高带宽存储器(HBM),以改善基因组分析和代表性的内核从天气预测模型的预对齐过滤步骤。我们的评估表明,在高端IBM POWER9系统和传统的FPGA板与DDR4内存的大加速和节能。我们的结论是,基于FPGA的近内存计算有可能减轻现代数据密集型应用程序的数据移动瓶颈。
2021-07-03 cs.AR cs.DC
BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training
University of Science and Technology of China(中国科学技术大学);Huawei Technologies(华为技术有限公司)
随着机器学习算法复杂度的增加,深度神经网络(DNN)的规模迅速增长。为了满足DNN训练对计算量和内存的要求,基于模型并行的分布式深度学习得到了广泛的认可。我们提出了一个新的流水线并行训练框架BaPipe,它可以自动探索DNN分布式训练的流水线并行训练方法和平衡分区策略。在BaPipe中,每个加速器计算网络不同部分的前向传播和后向传播,以实现批内流水线并行策略。BaPipe使用一种新的负载均衡自动探索策略,该策略考虑DNN模型的参数以及加速器集群的计算、内存和通信资源。我们在GPU集群上训练了不同的DNN,如VGG-16,ResNet-50和GNMT,并模拟了不同FPGA集群的性能。与最先进的数据并行和流水线并行框架相比,BaPipe在各种平台上提供高达3.2倍的加速和4倍的内存减少。
2021-01-14 cs.AI cs.DC
FSHMEM: Supporting Partitioned Global Address Space on FPGAs for Large-Scale Hardware Acceleration Infrastructure
分区全局地址空间(Partitioned Global Address Space,PGAS)通过全局共享内存空间提供高效的单边通信,已成为高性能计算(High Performance Computing,HPC)中最有前途的并行计算模型之一。与此同时,FPGA作为HPC系统的替代计算平台,以其定制计算和设计灵活性的优势而受到关注。然而,与传统的消息传递接口不同,PGAS的探索尚未在FPGA上进行。本文提出了FSHMEM,一个软件/硬件框架,使FPGA上的PGAS编程模型。我们在FPGA上实现了GASNet规范的核心功能,以实现硬件中的原生PGAS集成,同时其编程接口被设计为与传统软件高度兼容。实验结果表明,FSHMEM的峰值带宽达到3813 MB/s,是理论最大值的95%以上,比已有的工作高出9.5 $\times$。对于远程写入和读取操作,它分别记录0.35 $us$和0.59 $us$延迟。最后,我们对集成英特尔深度学习加速器的两个英特尔D5005 FPGA节点进行了案例研究。采用FSHMEM编程的两节点系统在矩阵乘法和卷积运算方面分别实现了1.94 $\times$和1.98 $\times$的加速比,显示了其在HPC基础设施中的可扩展性。
2022-07-11 cs.AR cs.DC
HitGNN: High-throughput GNN Training Framework on CPU+Multi-FPGA Heterogeneous Platform
随着真实世界图形的大小增加,训练图神经网络(GNN)变得非常耗时,并且需要加速。虽然以前的工作已经证明了利用FPGA加速GNN训练的潜力,但由于硬件专业知识和大量开发工作的必要性,很少有工作可以用多个FPGA加速GNN训练。为此,我们提出了HitGNN,这是一个框架,使用户能够轻松地将GNN训练工作负载映射到CPU-Multi-FPGA平台上以进行加速。特别是,HitGNN将用户定义的同步GNN训练算法、GNN模型和平台元数据作为输入,基于平台元数据确定设计参数,并自动执行到CPU+Multi-FPGA平台的硬件映射。HitGNN由以下构建块组成:(1)高级应用编程接口(API),允许用户仅用几行代码指定各种同步GNN训练算法和GNN模型;(2)软件生成器,生成执行小批量采样的主机程序,管理CPU-FPGA通信,并处理FPGA之间的工作负载平衡;(3)加速器生成器,其生成具有优化的数据路径和存储器组织的GNN内核。我们表明,现有的同步GNN训练算法,如DistDGL和PaGraph,可以很容易地部署在一个CPU+多FPGA平台上使用我们的框架,同时实现高训练吞吐量。与在多GPU平台上加速同步GNN训练的最先进框架相比,HitGNN实现了高达27.21倍的带宽效率,以及高达4.26倍的加速比,使用比GPU少得多的计算能力和内存带宽。此外,HitGNN在CPU+Multi-FPGA平台…
2023-03-02 cs.AR cs.DC
GraphLeap: Decoupling Graph Construction and Convolution for Vision GNN Acceleration on FPGA
University of Southern California, Los Angeles, California, USA(美国南加州大学)
GraphLeap通过解耦图构建与特征更新,提升FPGA上视觉图神经网络的推理速度,实现95.7倍CPU和8.5倍GPU的加速效果。
2026-04-23 cs.CV cs.DC
MELOPPR: Software/Hardware Co-design for Memory-efficient Low-latency Personalized PageRank
个性化PageRank(PPR)是一种从源节点评估周围节点重要性的图算法。PPR广泛应用于社交网络相关的应用,如推荐系统,需要实时响应(延迟),以获得更好的用户体验。现有的工作要么集中在算法优化,以提高精度,而忽略了硬件实现或集中在分布式全局图形处理的大规模系统,以提高吞吐量,而不是响应时间。在边缘设备上使用紧凑的内存预算优化低延迟本地PPR算法仍然未被探索。在这项工作中,我们提出了一个内存高效,低延迟的PPR解决方案,即MeLoPPR,大大降低了内存需求和延迟和精度之间的灵活权衡。MeLoPPR由阶段分解和线性分解组成,利用节点得分的稀疏性:通过阶段分解和线性分解,MeLoPPR将大图上的计算分解为一组更小的子图,大大节省了计算内存;通过稀疏性利用,MeLoPPR选择对精度贡献最大的子图,减少所需的计算量。此外,通过软件/硬件协同设计,我们提出了一个硬件实现的混合CPU和FPGA加速平台,进一步加快子图计算。我们评估建议MeLoPPR内存受限的设备,包括个人笔记本电脑和Xilinx Kintex-7 KC 705 FPGA使用六个真实世界的图形。首先,MeLoPPR在CPU上节省了1.5倍至13.4倍的内存,在FPGA上节省了73倍至8699倍的内存。其次,MeLoPPR允许在精度和执行时间之间灵活权衡:当精度为80%时,CPU上的加速比高达15倍,FPGA上的加速比高达707倍…
2021-04-13 cs.AR cs.DC
Reconfigurable Low-latency Memory System for Sparse Matricized Tensor Times Khatri-Rao Product on FPGA
University of Southern California(南加利福尼亚大学);US Army Research Lab(美国陆军研究实验室)
张量分解已经成为包括机器学习在内的各个领域的许多应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao乘积(MTTKRP)是张量计算中计算量最大的核函数之一。尽管具有显著的计算并行性,MTTKRP是一个具有挑战性的内核优化,由于其不规则的内存访问特性。本文重点研究了多面存储系统,探讨了MTTKRP的数据结构的空间和时间局部性。此外,用户可以根据FPGA加速器中使用的计算单元的行为重新配置我们的设计。我们的系统有效地访问所有的MTTKRP数据结构,同时减少总的内存访问时间,使用分布式缓存和直接内存访问(DMA)子系统。此外,我们的工作提高了3.5倍的存储器访问时间相比,商业存储器控制器IP。此外,我们的系统显示2倍和1.26倍的加速比相比,只有缓存和DMA的内存系统,分别。
2021-09-18 cs.AI cs.AR cs.DC
HyPar-Flow: Exploiting MPI and Keras for Scalable Hybrid-Parallel DNN Training using TensorFlow
The Ohio State University(俄亥俄州立大学)
为了减少大规模DNN的训练时间,科学家们已经开始探索数据并行、模型并行和混合并行等并行化策略。虽然数据并行已经得到了广泛的研究和发展,但在有效实现模型并行和混合并行方面还存在一些问题。我们关注的四个主要问题是:1)定义跨进程的分布式模型的概念,2)实现跨进程边界的前向/反向传播,这需要显式通信,3)在固有的顺序任务上获得并行加速,以及4)实现可扩展性而不损失模型的准确性。为了解决这些问题,我们创建了HyPar-Flow --一个模型大小/类型不可知的,可扩展的,实用的和用户透明的系统,用于通过利用MPI,Keras和TensorFlow进行混合并行训练。HyPar-Flow提供了一个API,可用于对任何Keras模型进行大规模的数据、模型和混合并行训练。我们创建了用户提供的Keras模型的内部分布式表示,利用TF的Eager执行功能进行跨进程的分布式前向/反向传播,利用流水线来提高性能,并利用高效的MPI原语进行可扩展的通信。在模型分区之间,我们使用send和recv来交换层数据/部分错误,而allreduce用于累积/平均模型副本之间的梯度。除了HyPar-Flow的设计和实现,我们还提供了三个最先进的HPC系统的全面正确性和性能结果,包括TACC Frontera(Top500.org上排名第5)。对于超深度模型ResNet-1001,HyPar-Flow提供:1)基于Horo…
2020-02-19 cs.AI cs.DC cs.LG
LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
已经引入了图卷积网络(GCN)来有效地处理非欧几里德图数据。然而,GCN在计算和存储器访问中引起大量的不规则性,这妨碍了传统神经网络加速器的有效使用。此外,现有的专用GCN加速器需要高存储容量,并且难以在资源有限的边缘设备上实现。在这项工作中,我们提出了LW-GCN,一个轻量级的基于FPGA的加速器与软硬件协同设计的过程,以解决不规则的计算和内存访问GCN推理。LW-GCN将主要的GCN运算分解为稀疏-密集矩阵乘法(SDMM)和密集矩阵乘法(DMM)。我们提出了一种新的压缩格式来平衡PE之间的工作负载并防止数据危险。此外,我们应用数据量化和工作负载平铺,并映射到一个统一的架构上的资源有限的硬件上的GCN推理的SDMM和DMM。在Xilinx Kintex-7 FPGA上使用三个流行的数据集对GCN和GraphSAGE进行了评估。与现有的CPU、GPU和最先进的基于FPGA的加速器相比,LW-GCN将延迟降低了60倍、12倍和1.7倍,并将能效提高了912倍。511 x和3.87x。此外,与NVIDIA最新的边缘GPU Jetson Xavier NX相比,LW-GCN分别实现了32倍的加速和84倍的节能。
2021-11-04 cs.AR cs.DC cs.LG