Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会，以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi，这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架，并给出了早期结果，表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
MAFIA: Machine Learning Acceleration on FPGAs for IoT Applications
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
ML最近的突破产生了新的模型类别，允许ML推理直接在毫瓦供电的物联网设备上运行。一方面，现有的ML到FPGA编译器是为大型FPGA上的深度神经网络而设计的。另一方面，通用HLS工具无法利用ML推理的特定属性，从而导致次优性能。我们提出了MAFIA，这是一种在小型FPGA上编译ML推理的工具，用于物联网应用。MAFIA为线性代数运算提供原生支持，并可以表达各种ML算法，包括最先进的模型。我们表明，MAFIA生成的程序优于最佳性能的商业HLS编译器的变种平均2.5倍。
2021-07-08 cs.AR cs.DC cs.LG
Evolutionary Bin Packing for Memory-Efficient Dataflow Inference Acceleration on FPGA
与在CPU或GPU上执行的CNN相比，在现场可编程门阵列（FPGA）中实现的卷积神经网络（CNN）低功耗推理加速器已经证明了更高的能效和更低的延迟。然而，CNN参数存储器的复杂形状通常不能很好地映射到FPGA片上存储器（OCM），这导致OCM利用率差，并最终限制了可以在FPGA上有效加速的CNN的大小和类型。在这项工作中，我们提出了一种设计方法，提高了CNN参数到FPGA OCM的映射效率。我们帧的映射作为装箱问题，并确定传统的装箱算法不适合解决FPGA和CNN特定的约束内的问题。我们杂交遗传算法和模拟退火与传统的装箱算法，以创建灵活的映射器能够分组参数存储器，使每个组最适合FPGA片上存储器。我们评估这些算法的各种FPGA推理加速器。对于所有CNN用例，我们的混合映射器在几秒钟内收敛到最佳解决方案，深度CNN的OCM利用效率提高了65%，并且比当前最先进的模拟退火方法快了200 $\times$。
2020-03-24 cs.DC cs.NE eess.SP
Exploring the acceleration of the Met Office NERC Cloud model using FPGAs
使用现场可编程门阵列（FPGA）来加速计算内核，有可能对科学代码和HPC社区产生巨大的好处。随着FPGA编程技术的最新发展，移植内核的能力变得越来越容易。然而，要从这项技术中获得合理的性能，仅仅将代码转移到FPGA上是不够的，相反，必须重新考虑算法并以数据流的方式重新设计，以适应目标架构。在本文中，我们描述了移植，通过HLS，计算最密集的内核之一的气象局NERC云模型（MONC），气候和天气研究人员使用的大气模型，到FPGA上。我们详细描述了所采取的步骤，以适应算法，使其适合的架构和这对内核性能的影响。使用PCIe安装的FPGA与板载DRAM，我们考虑在一个更大的基础设施中集成此内核，并探索我们的方法的性能特征，与现代HPC机器中流行的英特尔CPU相比，在涉及非常大的网格的问题大小。这项工作的结果是一份经验报告，详细介绍了将这种复杂的计算内核移植到FPGA时所面临的挑战和吸取的经验教训，并探讨了FPGA在加速传统HPC工作负载方面可以发挥的作用及其基本限制。
2020-10-04 cs.DC
FPGA-Based Near-Memory Acceleration of Modern Data-Intensive Applications
现代数据密集型应用需要高计算能力和严格的功耗限制。不幸的是，由于计算单元和存储器单元之间的昂贵的数据移动，这样的应用遭受当前计算系统中的执行周期和能量的显著浪费。基因组分析和天气预报是这类应用的两个例子。最近的FPGA将可重配置结构与高带宽存储器（HBM）相结合，以实现更高效的数据移动，并提高整体性能和能效。这种趋势是向近内存计算的范式转变的一个例子。我们利用这样一个FPGA与高带宽存储器（HBM），以改善基因组分析和代表性的内核从天气预测模型的预对齐过滤步骤。我们的评估表明，在高端IBM POWER9系统和传统的FPGA板与DDR4内存的大加速和节能。我们的结论是，基于FPGA的近内存计算有可能减轻现代数据密集型应用程序的数据移动瓶颈。
2021-07-03 cs.AR cs.DC
A Competitive Edge: Can FPGAs Beat GPUs at DCNN Inference Acceleration in Resource-Limited Edge Computing Applications?
当作为生成模型进行训练时，深度学习算法在涉及高维数据的任务（如图像去噪和超分辨率）上表现出卓越的性能。在一个由移动和边缘设备主导的日益互联的世界中，对这些算法在嵌入式平台上本地运行的需求激增。FPGA凭借其可重编程性和低功耗特性，是这些边缘计算应用的理想候选者。因此，我们设计了一个时空并行的硬件架构，能够加速一个去卷积算法优化的电源效率的推理资源有限的FPGA。我们提出了这种基于FPGA的加速器，用于低功耗边缘计算应用中的解卷积神经网络（DCNN）推理。为此，我们开发了系统地利用微观建筑创新，设计空间探索和统计分析的方法。使用Xilinx PYNQ-Z2 FPGA，我们利用我们的架构来加速使用Wasserstein GAN框架在MNIST和CelebA数据集上训练的两个DCNN的推理。在这些网络上，与NVIDIA Jetson TX 1边缘计算GPU相比，我们的FPGA设计实现了更高的吞吐量与功率比，同时降低了运行间变化。
2021-03-09 cs.AR cs.DC eess.IV
FTRANS: Energy-Efficient Acceleration of Transformers using FPGA
University of Connecticut（康涅狄格大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；Syracuse University（雪城大学）；Microsoft Corporation（微软公司）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在自然语言处理（NLP）中，“Transformer”架构被提出作为第一个完全基于自我注意力机制而不使用序列对齐递归神经网络（RNN）或卷积的转换模型，并且它在序列到序列任务中实现了显着的改进。这些预先训练的语言表示所引入的密集计算和存储阻碍了它们在计算和内存受限的设备中的普及。现场可编程门阵列（FPGA）以其高并行性和低延迟的特点被广泛用于加速深度学习算法。然而，经过训练的模型仍然太大，无法适应FPGA结构。在本文中，我们提出了一个有效的加速框架，Ftranss，基于transformer的大规模语言表示。我们的框架包括增强的块循环矩阵（CCN）为基础的权重表示，使模型压缩的大规模语言表示在算法级的精度下降，并在架构级的加速设计。实验结果表明，我们提出的框架显着减少了NLP模型的模型大小高达16倍。与CPU相比，我们的FPGA设计实现了27.07倍和81倍的性能和能效提升，与GPU相比，能效提升高达8.80倍。
2020-07-16 cs.DC cs.LG
FSHMEM: Supporting Partitioned Global Address Space on FPGAs for Large-Scale Hardware Acceleration Infrastructure
分区全局地址空间（Partitioned Global Address Space，PGAS）通过全局共享内存空间提供高效的单边通信，已成为高性能计算（High Performance Computing，HPC）中最有前途的并行计算模型之一。与此同时，FPGA作为HPC系统的替代计算平台，以其定制计算和设计灵活性的优势而受到关注。然而，与传统的消息传递接口不同，PGAS的探索尚未在FPGA上进行。本文提出了FSHMEM，一个软件/硬件框架，使FPGA上的PGAS编程模型。我们在FPGA上实现了GASNet规范的核心功能，以实现硬件中的原生PGAS集成，同时其编程接口被设计为与传统软件高度兼容。实验结果表明，FSHMEM的峰值带宽达到3813 MB/s，是理论最大值的95%以上，比已有的工作高出9.5 $\times$。对于远程写入和读取操作，它分别记录0.35 $us$和0.59 $us$延迟。最后，我们对集成英特尔深度学习加速器的两个英特尔D5005 FPGA节点进行了案例研究。采用FSHMEM编程的两节点系统在矩阵乘法和卷积运算方面分别实现了1.94 $\times$和1.98 $\times$的加速比，显示了其在HPC基础设施中的可扩展性。
2022-07-11 cs.AR cs.DC
FLEX: Leveraging FPGA-CPU Synergy for Mixed-Cell-Height Legalization Acceleration
FLEX通过FPGA-CPU协同加速混合单元高度合法化，采用多粒度流水技术提升速度，相比现有方法提升18.3倍，同时提高合法化质量4%。
2025-12-04 cs.AR cs.DC
GenGNN: A Generic FPGA Framework for Graph Neural Network Acceleration
Georgia Institute of Technology（佐治亚理工学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
图神经网络（GNN）最近大受欢迎，这要归功于它们对无处不在的图相关问题（如量子化学、药物发现和高能物理）的广泛适用性。然而，同时满足对新GNN模型和快速推理的需求是具有挑战性的，因为开发高效FPGA加速器的难度与创建新GNN模型的快速步伐之间存在差距。现有技术集中于特定类别的GNN的加速，但缺乏跨现有模型工作或扩展到新的和新兴的GNN模型的一般性。在这项工作中，我们提出了一个通用的GNN加速框架，使用高级合成（HLS），命名为GenGNN，具有双重目标。首先，我们的目标是提供超快的GNN推理，而无需任何图形预处理以满足实时要求。其次，我们的目标是支持一组不同的GNN模型，并具有灵活适应新模型的可扩展性。该框架具有适用于所有模型的优化消息传递结构，并结合了丰富的模型特定组件库。我们在Xilinx Alveo U50 FPGA上验证了我们的实现，并观察到相对于CPU（6226 R）基线的速度提高了25倍，相对于GPU（A6000）基线的速度提高了13倍。我们的HLS代码将在接受后在GitHub上开源。
2022-01-20 cs.DC cs.LG
Automatic Nested Loop Acceleration on FPGAs Using Soft CGRA Overlay
卸载计算密集型嵌套循环在FPGA加速器上执行已被许多研究人员证明是跨许多应用领域的有效性能增强技术。为了构建具有高设计效率的加速器，研究人员越来越多地转向使用叠加架构作为构建在现成FPGA之上的中间代目标。然而，实现所需的性能开销权衡仍然是一个主要的生产力挑战，因为需要在覆盖多个架构参数的大型设计空间上进行复杂的特定于应用程序的定制。在这项工作中，提出了一种利用常规软粗粒度可重构阵列（SCGRA）覆盖的自动嵌套循环加速框架。给定高级资源约束，框架自动定制覆盖架构设计参数、高级编译选项以及加速器与主机处理器之间的通信，以针对给定应用程序优化性能。在我们的实验中，以10到20分钟的额外工具运行时间为代价，所提出的定制过程导致了比由相同框架生成的基线加速器高出5倍的额外加速。总的来说，与在Zedboard上仅在主机ARM处理器上运行的等效软件相比，由此产生的加速器实现了高达10倍的加速。
2015-08-27 cs.AR cs.DC
HyperLogLog Sketch Acceleration on FPGA
数据草图是一组广泛使用的近似数据汇总技术。它们的基本属性是输入基数上的次线性内存复杂度，这是处理具有巨大基域（URL，IP地址，用户ID等）的流或数据集时的一个重要方面。在众多可用的数据草图中，HyperLogLog已成为基数计数（数据集中有多少不同的数据项）的参考。虽然它不计算每个数据项（以减少内存消耗），但它提供了对结果的概率保证，因此经常用于分析数据流。在本文中，我们将探讨如何在FPGA上实现HyperLogLog，以受益于可用的并行性和处理来自高速网络的数据流的能力。我们的多流水线高基数HyperLogLog实现提供的吞吐量比在双插槽英特尔至强E5-2630 v3系统上运行的优化HyperLogLog高1.8倍，该系统共有16个内核和32个超线程。
2020-10-20 cs.DC
AccD: A Compiler-based Framework for Accelerating Distance-related Algorithms on CPU-FPGA Platforms
作为一种有前途的解决方案，以提高距离相关算法的性能（例如，K-means和KNN），基于FPGA的加速吸引了大量的关注，但也带来了许多挑战。在这项工作中，我们提出了AccD，一个基于编译器的框架，用于加速CPU-FPGA平台上的距离相关算法。具体来说，AccD提供了一种特定于域的语言来有效地统一与距离相关的算法，并提供了一个优化编译器来协调CPU上的算法优化和FPGA上的硬件加速的好处。AccD的输出是一种高性能和高能效的设计，可以轻松地在主流CPU-FPGA平台上进行综合和部署。密集的实验表明，AccD设计实现了31.42倍的加速比和99.63倍的平均更高的能源效率比标准的基于CPU的实现。
2019-08-26 cs.DC cs.PL
Honeycomb: ordered key-value store acceleration on an FPGA-based SmartNIC
本文提出软硬件混合系统Honeycomb，通过基于FPGA的SmartNIC加速有序键值存储的读操作，结合乱序执行和批量同步等设计克服PCIe瓶颈，在YCSB等负载下实现显著吞吐量和性价比提升。
2023-04-06 cs.AR cs.DC
FPGA Acceleration of Short Read Alignment
在生物信息学中，将数百万个短的DNA或RNA读段（每个读段具有75至250个碱基对）与参考基因组进行比对是一个重要的计算问题。我们提出了一个灵活和快速的基于FPGA的短读比对工具。我们的对准器利用FPGA的处理能力以及更大的主机内存带宽和软件灵活性来提高性能并实现高水平的可配置性。这种灵活的设计支持各种参考基因组大小，而不会像其他软件和基于FPGA的比对器那样性能下降。它还能够更好地支持新的比对算法的功能，这些算法经常出现在快速发展的生物信息学领域。我们在一个案例研究中证明了这些优势，在该案例研究中，我们比对了来自假设的小鼠/人异种移植物的RNA-Seq数据。在这个案例研究中，我们的比对器比BWA-SW提供了5.6倍的加速，节能21%，同时还将不正确的短读段分类减少了29%。为了证明我们的系统的灵活性，我们表明，加速比可以大大提高，同时保留了BWA-SW的大部分准确性增益。加速比可以增加到71.3倍，同时仍然享受28%的不正确分类改善和52%的改善，在未对齐的读取。
2018-04-30 cs.CE cs.DC q-bio.GN
Systimator: A Design Space Exploration Methodology for Systolic Array based CNNs Acceleration on the FPGA-based Edge Nodes
Information Technology University（信息技术大学）；Vienna University of Technology（维也纳工业大学）
基于物联网的智能应用的发展要求将人工智能算法移植到边缘计算设备。CNN构成了这些AI算法的很大一部分。基于系统阵列的CNN加速由于其允许可扩展架构的能力而被广泛提倡。然而，CNN本质上是内存和计算密集型算法，因此在资源受限的边缘计算设备上实现提出了重大挑战。内存受限的低成本FPGA设备构成了这些边缘计算设备的很大一部分。因此，当移植到这样的边缘计算设备时，设计者对于如何选择可以适合可用硬件资源的合适脉动阵列配置没有指导。在本文中，我们提出了系统，设计空间探索为基础的方法，提供了一组设计点，可以映射到目标FPGA器件的内存范围内。该方法是基于一个分析模型，制定估计所需的资源脉动阵列，假设多个数据重用模式。该方法还提供了每个候选设计点的性能估计。我们表明，Systitron提供了一个深入的分析的资源需求的脉动阵列为基础的CNN。我们提供了在Xilinx ARTIX 7 FPGA上移植基于CNN的对象检测器TINY YOLO卷积层的资源估计结果。
2019-02-08 cs.DC cs.LG eess.IV
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络（DNN）已经彻底改变了许多应用，但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是，为了使分布式集群以高利用率工作，分配给每个节点的工作负载必须很大，这意味着SGD小批量大小的增长非常重要。在本文中，我们提出了一个名为FPDeep的框架，它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先，该设计不受批量增长的影响。第二，新的工作负载和权重划分导致节点之间的负载平衡。第三，整个系统是一个细粒度的管道。这导致了高并行性和利用率，并且还最小化了在等待反向传播时需要缓存的时间。因此，存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明，FPDeep对大量FPGA具有良好的可扩展性，限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器，FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
DLA: Compiler and FPGA Overlay for Neural Network Inference Acceleration
叠加技术在现场可编程门阵列（FPGA）中显示出了巨大的潜力，因为它们允许快速的开发周期，并消除了传统FPGA硬件设计流程的许多挑战。然而，这通常伴随着显著的性能负担，导致在实际应用中很少采用覆盖。在本文中，我们量身定制的覆盖到一个特定的应用领域，我们展示了我们如何保持其完整的可编程性，而不支付传统上与覆盖的性能开销。具体来说，我们引入了一个覆盖的深度神经网络推理只有~1%的开销，以支持控制和重编程逻辑使用轻量级超长指令字（VLIW）网络。此外，我们还实现了一个复杂的特定于领域的图形编译器，该编译器编译了Caffe或Tensorflow等深度学习语言，以轻松定位我们的覆盖。我们展示了我们的图编译器如何执行架构驱动的软件优化，以显着提高卷积神经网络和递归神经网络（CNN/RNN）的性能-与朴素的实现相比，我们展示了ResNet-101的3倍改进和长短期记忆（LSTM）单元的12倍改进。最后，我们描述了如何定制我们的硬件覆盖，并使用我们的图形编译器在英特尔Arria 10 1150上实现GoogLeNet上的约900 fps-这是同类FPGA上有史以来最快的速度。
2018-07-13 cs.AR cs.DC eess.SP
Towards a Uniform Architecture for the Efficient Implementation of 2D and 3D Deconvolutional Neural Networks on FPGAs
三维反卷积广泛应用于许多计算机视觉应用中。然而，大多数以前的工作只集中在FPGA上加速2D去卷积神经网络（DCNN），而3D DCNN的加速尚未深入研究，因为它们具有比2D DCNN更高的计算复杂性和稀疏性。在本文中，我们专注于在FPGA上加速2D和3D DCNN，提出了在统一架构上映射2D和3D DCNN的有效方案。通过在Xilinx VC709平台上实现我们的设计，我们可以实现高达3.0 TOPS的高硬件效率。与CPU和GPU解决方案的比较表明，与CPU解决方案相比，我们可以实现高达63.3倍的吞吐量提高，与GPU解决方案相比，我们可以实现高达8.3倍的能效提高。
2019-03-06 cs.DC
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Exploring the acceleration of Nekbone on reconfigurable architectures
硬件技术的进步正在努力与科学野心相匹配，一个关键问题是我们如何更有效地使用我们已经拥有的晶体管。对于HPC来说尤其如此，在HPC中，往往倾向于在问题上进行计算，而代码本身通常至少在某种程度上受到其他因素的约束。通过重新设计算法并从冯·诺依曼风格转移到冯·诺依曼风格，与更通用的架构相比，在可重构架构上可能有更多的机会解决这些瓶颈。在本文中，我们探讨了移植Nekbone的AX内核，一个广泛流行的HPC迷你应用程序，FPGA使用高级综合通过葡萄。虽然计算是此代码的重要部分，但它也是CPU上的内存限制，关键问题是是否可以通过利用FPGA来改善这一点。我们首先探索优化策略，以获得良好的性能，超过4000倍的运行时间之间的差异，我们的内核的第一个和最终版本的FPGA。随后，将我们的方法在Alveo U280上的性能和功耗效率与24核Xeon Platinum CPU和NVIDIA V100 GPU进行了比较，FPGA的性能约为CPU的四倍，实现了近四分之三的GPU性能，并且比两者的功耗效率更高。这项工作的结果是一个比较和一套技术，既适用于Nekbone的FPGA具体，也有兴趣更广泛地在可重构架构上加速HPC代码。
2020-11-10 cs.DC
Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA
Hong Kong University of Science and Technology（香港科技大学）；Indian Institute of Technology (IIT) Goa（印度理工学院果阿分校）
决策树是各种应用场景中常用的机器学习模型。在大数据时代，传统的决策树归纳算法由于对数据存储的严格要求而不适合学习大规模数据集。在线决策树学习算法已被设计来解决这个问题，同时训练与传入的样本，并提供推理结果。然而，即使是最新的在线树学习算法仍然遭受高内存使用或高计算强度与依赖性和长延迟，使它们具有挑战性的硬件实现。为了克服这些困难，我们引入了一个新的基于分位数的算法，以改善归纳的Hoeffding树，一个国家的最先进的在线学习模型。所提出的算法是轻量级的内存和计算需求，同时仍然保持较高的泛化能力。从硬件的角度研究了一系列针对该算法的优化技术，包括粗粒度和细粒度并行、动态和基于内存的资源共享、带数据转发的流水线等。我们进一步提出了一个高性能，硬件高效和可扩展的在线决策树学习系统的现场可编程门阵列（FPGA）与系统级优化技术。实验结果表明，我们提出的算法优于国家的最先进的Hoeffding树学习方法，导致0.05%至12.3%的提高推理精度。完整学习系统在FPGA上的实际实现表明，与最先进的设计相比，执行时间加快了384倍至1581倍。
2020-09-03 cs.DC cs.LG
Towards Hardware Support for FPGA Resource Elasticity
FPGA越来越多地部署在云中，以加速各种应用。它们将在多个租户之间共享，以提高总拥有成本。部分重新配置技术通过将FPGA划分为区域，每个区域托管特定应用程序的加速器，从而实现FPGA上的多租户。然而，区域的大小一旦被定义就不能改变，导致FPGA资源利用率低下。本文主张将应用程序的加速需求划分为多个小的计算模块。设计的FPGA外壳可以重新配置可用的PR区域与这些模块，并使它们能够相互通信的交叉互连与Wishbone总线接口。对于每个重新配置的PR区域，它使用有效的目的地址和互连的带宽分配来更新寄存器文件。源自Wishbone主接口的任何无效通信请求在交叉开关的对应主端口中被屏蔽。用于PR区域的分配带宽由交叉开关的从端口中的加权轮询仲裁器确保。最后，设想的资源管理器可以基于应用的加速需求和PR区域的可用性来增加或减少分配给应用的PR区域的数量。
2022-07-04 cs.AR cs.DC
CFU Playground: Full-Stack Open-Source Framework for Tiny Machine Learning (tinyML) Acceleration on FPGAs
Harvard University（哈佛大学）；Google（谷歌）；Purdue University（普渡大学）；Stanford University（斯坦福大学）
本文提出全栈开源框架CFU Playground，支持FPGA上嵌入式机器学习加速器的快速软硬件协同设计与评估，结合自动化黑盒优化探索设计空间，实现了55至75倍的显著加速。
2023-04-05 cs.AR cs.DC cs.LG
NEURAghe: Exploiting CPU-FPGA Synergies for Efficient and Flexible CNN Inference Acceleration on Zynq SoCs
深度卷积神经网络（CNN）在需要人类水平理解数据的任务中获得了出色的结果，如图像或语音识别。然而，它们的计算负荷是显著的，这激发了CNN专用加速器的发展。这项工作提出了NEURAghe，这是一种灵活高效的硬件/软件解决方案，用于在Zynq SoC上加速CNN。NEURAghe利用Zynq ARM内核和部署在可重构逻辑上的强大灵活的卷积特定处理器的协同使用。卷积专用处理器嵌入了卷积引擎和可编程软核，将ARM处理器从大部分监督职责中解放出来，并允许加速器以超精细的粒度由软件控制。这种方法为协作异构计算开辟了道路：虽然加速器负责CNN的大部分工作负载，但ARM内核可以无缝执行计算图中难以加速的部分，利用NEON矢量引擎进一步加速计算。通过配套的NeuDNN SW堆栈，NEURAghe支持端到端基于CNN的分类，峰值性能为169 Gops/s，能效为17 Gops/W。由于我们的异构计算模型，我们的平台在最先进的基础上进行了改进，在端到端执行VGG-16时实现了5.5 fps的帧速率，在ResNet-18上实现了6.6 fps。
2017-12-04 cs.AR cs.DC cs.NE
GraphLeap: Decoupling Graph Construction and Convolution for Vision GNN Acceleration on FPGA
University of Southern California, Los Angeles, California, USA（美国南加州大学）
GraphLeap通过解耦图构建与特征更新，提升FPGA上视觉图神经网络的推理速度，实现95.7倍CPU和8.5倍GPU的加速效果。
2026-04-23 cs.CV cs.DC
GCV-Turbo: End-to-end Acceleration of GNN-based Computer Vision Tasks on FPGA
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
提出 FPGA 加速器 GCV-Turbo，通过统一 CNN/GNN 硬件架构与 PyTorch 兼容编译器端到端优化，在六类任务上显著降低延迟并保持专用加速器性能。
2024-04-10 cs.CV cs.DC eess.IV
VTR: An Optimized Vision Transformer for SAR ATR Acceleration on FPGA
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
针对 SAR ATR 中 ViT 数据需求高、计算重且难部署的问题，本文提出融合 SPT 与 LSA 的轻量模型 VTR，并设计专用 FPGA 加速器以实现实时部署。
2024-04-06 cs.AI cs.AR cs.CV
High Performance Scalable FPGA Accelerator for Deep Neural Networks
Intel Corporation（英特尔公司）
低精度是实现更高人工智能操作（AI-TOPS）的第一步。然而，子8位精度计算的算法空间是多种多样的，经常发生破坏性的变化，使FPGA成为深度神经网络推理的自然选择，在这项工作中，我们提出了一个基于FPGA的加速器，用于CNN推理加速。我们使用{ \it INT-8-2}计算（具有{ \it 8 bit}激活和{2 bit}权重），该计算最近在文献中显示出前景，并且目前没有已知的ASIC、CPU或GPU原生支持。使用基于自适应逻辑模块（ALM）的新型设计，与传统的基于DSP的设计不同，我们能够为{ \it Arria 10}实现5个AI-TOPS的高性能测量，并为{ \it Stratix 10}在0.7 TOPS/W下预测76个AI-TOPS的性能。这超过了已知的CPU，GPU性能，接近最知名的ASIC（TPU）数字，同时保留了FPGA平台对其他应用的多功能性。
2019-08-29 cs.DC cs.LG
