Hybrid Computing for Interactive Datacenter Applications
针对FPGA启动成本高导致难以处理延迟敏感和突发工作负载的问题,提出混合FPGA-CPU计算框架及轻量级调度器Spork,利用FPGA处理稳定负载、CPU处理突发负载,实现比同构平台更高的能效和更低的成本。
2023-04-10 cs.DC
Xar-Trek: Run-time Execution Migration among FPGAs and Heterogeneous-ISA CPUs
数据中心服务器的异构性越来越大:从x86主机CPU,到ARM或RISC-V CPU(在SSD/SSD中),再到FPGA。以前的工作已经证明,在运行时间跨异构ISA CPU迁移应用程序执行可以产生显着的性能和能量增益,相对较少的程序员工作。然而,在这种情况下,FPGA往往被忽视:使用FPGA的硬件加速涉及静态实现选定的应用程序功能,这阻碍了动态和透明的迁移。我们提出Xar-Trek,一个新的编译器和运行时间软件框架,克服了这一限制。Xar-Trek为多个CPU ISA编译应用程序,并选择应用程序功能在FPGA上加速,允许在运行时间在异构ISA CPU和FPGA之间执行迁移。Xar-Trek的运行时间监控服务器工作负载,并根据调度策略将应用程序功能迁移到FPGA或异构ISA CPU。我们开发了一个启发式的政策,使用应用程序的工作负载配置文件,使调度决策。我们在配备x86-64服务器CPU、ARM 64服务器CPU和Alveo加速卡的系统上进行的评估显示,与无迁移基线相比,性能提高了88%-1%。
2021-10-27 cs.DC
High Bandwidth Memory on FPGAs: A Data Analytics Perspective
由于现代工作负载的需求和随之而来的硬件专业化的必要性,基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下,供应商正在快速调整可重新配置的设备,以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器(HBM)是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中,我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载,并在FPGA上实现它们,以显示它们在哪些情况下受益于HBM:范围选择,哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库(MonetDB),并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下,基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能,高达1.8倍(选择),12.9倍(加入)和3.2倍(SGD)。
2020-04-02 cs.AR cs.DC
Honeycomb: ordered key-value store acceleration on an FPGA-based SmartNIC
本文提出软硬件混合系统Honeycomb,通过基于FPGA的SmartNIC加速有序键值存储的读操作,结合乱序执行和批量同步等设计克服PCIe瓶颈,在YCSB等负载下实现显著吞吐量和性价比提升。
2023-04-06 cs.AR cs.DC
Compiler-Driven FPGA Virtualization with SYNERGY
FPGA在现代应用中越来越普遍,云提供商现在支持数据中心的按需FPGA加速。数据中心中的应用程序在虚拟基础架构上运行,其中整合、多租户和工作负载迁移实现了规模经济,这对提供商的业务至关重要。然而,虚拟化FPGA的一般策略尚未出现。虽然制造商的斗争与基于硬件的方法,我们提出了一个编译器/运行时为基础的解决方案,称为协同。我们展示了一个编译器转换的Verilog程序,产生的代码能够产生控制软件在子时钟滴答粒度根据原程序的语义。Synergy使用此属性在当前可用的硬件上有效地支持核心虚拟化原语:挂起和恢复、程序迁移和空间/时间多路复用。我们使用Synergy在Amazon F1上的Altera SoC和Xilinx FPGA集群中虚拟化FPGA工作负载。这些工作负载无需修改,运行性能是非虚拟化性能的3- 4倍,并且FPGA结构利用率略有增加。
2021-08-28 cs.AR cs.DC cs.PL
Python in the front, party in the Backline: compiling quantum workloads across CPUs, GPUs, and FPGAs
Xanadu Quantum Technologies Inc.(Xanadu量子技术有限公司)
针对量子工作负载跨异构硬件执行的低延迟需求,提出基于PennyLane和Catalyst的Backline编译框架,通过Python前端和MLIR实现CPU、GPU、FPGA的编译执行,实测微秒级往返延迟。
2026-09-10 cs.DC cs.PL quant-ph
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会,以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi,这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架,并给出了早期结果,表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Accelerating CNN inference on FPGAs: A Survey
Institut Pascal(帕斯卡研究所);IETR, INSA Rennes(雷恩国立应用科学学院电子与电信研究所)
卷积神经网络(CNN)目前被用来解决越来越多的问题,从语音识别到图像分类和分割。CNN所需的大量处理需要专用和定制的硬件支持方法。此外,CNN工作负载具有流式传输性质,非常适合于可重新配置的硬件架构,例如FPGA。在过去的3年里,关于CNN FPGA加速主题的研究数量和多样性表明了巨大的工业和学术兴趣。本文介绍了一种基于FPGA的CNN推理加速器。计算工作量,其并行性和所涉及的内存访问进行了分析。在神经元层面,解释了卷积层和全连接层的优化,并比较了不同方法的性能。在网络层面,涵盖了近似计算和数据路径优化方法,并比较了最先进的方法。本调查中研究的方法和工具代表了FPGA CNN推理加速器的最新趋势,并将推动高效硬件深度学习的未来发展。
2018-05-26 cs.AR cs.CV cs.DC
Fast and energy-efficient derivatives risk analysis: Streaming option Greeks on Xilinx and Intel FPGAs
针对量化金融衍生品风险分析的CPU瓶颈问题,本文将行业基准STAC-A2™移植到Intel FPGA并提出主机数据流方法,在Xilinx和Intel FPGA上均实现性能与能效的大幅提升,还探索了可推广的优化移植技术。
2024-02-02 cs.AR cs.DC cs.MS
Evaluating Versal AI Engines for option price discovery in market risk analysis
本文研究Versal ACAP及其AI引擎在STAC-A2基准下的市场风险分析性能,发现AIE方法因硬件限制慢于纯PL版本。
2024-02-19 cs.DC
libhclooc: Software Library Facilitating Out-of-core Implementations of Accelerator Kernels on Hybrid Computing Platforms
图形处理单元(GPU)、英特尔至强融核协处理器(PHI)和现场可编程门阵列(FPGA)等硬件加速器现在普遍存在于超大规模高性能计算(HPC)、云和大数据平台中,以促进需要高能效的工作负载的执行。它们提供了独特的接口和编程模型,因此造成了一些限制,必须解决这些限制以促进大型工作负载的执行。没有一个库提供一个统一的接口,允许程序员编写可重用的数据并行内核的核外实现,这些内核可以在不同的主流加速器(如GPU、PHI和FPGA)上高效运行。我们在本文中解决了这一不足。我们提出了一个名为libhclooc的库,它提供了一个统一的接口,方便在三种不同的主流加速器(GPU,英特尔至强Phis,FPGA)上的数据并行内核的核外实现。我们使用libhclooc API实现了核外矩阵-矩阵乘法(MMOOC),并展示了其优于供应商实现的性能。我们发现,与Nvidia K40 c GPU,Nvidia P100 PCIe GPU和Intel Xeon Phi 3120 P的最新优化实现相比,它的最大开销分别为10%,4%和8%(由于抽象)。我们还表明,使用libhclooc API减少了75%的代码行数,从而大大提高了程序员的工作效率。
2018-08-15 cs.DC
Efficient Ab-Initio Molecular Dynamic Simulations by Offloading Fast Fourier Transformations to FPGAs
Paderborn University(帕德博恩大学)
本研究针对从头算分子动力学模拟计算量大的问题,探索将其核心的3D快速傅里叶变换卸载到FPGA的可行性,同时验证该类模拟对低精度计算的容忍度,为高能效加速此类HPC负载提供新方向。
2020-06-15 cs.DC physics.comp-ph
LAAFD: LLM-based Agents for Accelerated FPGA Design
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
LAAFD利用大语言模型将通用C++转换为优化的Vitis HLS内核,实现高性能FPGA设计,同时降低专业门槛。
2026-02-04 cs.DC
Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators
Illinois Institute of Technology(伊利诺伊理工大学);Embedded Computing and Signal Processing (ECASP) Research Laboratory(嵌入式计算与信号处理(ECASP)研究实验室)
本文提出一种基于低功耗嵌入式FPGA的可重构分布式集群,用于探索深度学习工作负载的分布式调度优化,通过流水线结构和资源手动分配在延迟与功耗效率方面获得最佳性能。
2023-05-24 cs.AR cs.DC cs.LG
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法,用于在许多用户之间仲裁这些昂贵的培训资源,已经展示了如何优化各种多任务,多用户目标,如公平性和完工时间。不幸的是,现有的性能分析器在很大程度上没有考虑性能异质性。在本文中,我们提出了Gavel,一个异构性感知调度系统,广泛的现有的调度策略。Gavel将这些策略表示为优化问题,使得以异构感知的方式为目标进行优化变得容易,同时也认识到了空间共享等性能优化。然后,Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载,并将最终目标(如平均作业完成时间和完工时间)提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
FPsPIN: An FPGA-based Open-Hardware Research Platform for Processing in the Network
提出FPsPIN,一种基于FPGA的sPIN完整开源实现,通过卸载MPI数据类型处理实现96%重叠率,为智能网卡端到端实验提供可适应研究平台。
2024-05-25 cs.DC cs.NI cs.PF
Beyond the GPU: The Strategic Role of FPGAs in the Next Wave of AI
Instituto Tecnológico y de Estudios Superiores de Monterrey(蒙特雷理工大学)
针对GPU在低延迟、能效等方面的局限,提出利用FPGA的可重构特性直接映射AI算法,实现并行流水线与确定性时序,通过现场重配置、SoC集成等技术优化推理流程,缩短部署路径并实现硬件-算法协同设计。
2025-11-04 cs.AI cs.DC
Stencil-HMLS: A multi-layered approach to the automatic optimisation of stencil codes on FPGA
针对FPGA编程难阻碍其在HPC普及的问题,提出多层stencil代码自动优化方法Stencil-HMLS与HLS方言,结合PSyclone Fortran DSL实现了显著的性能与能效提升。
2023-10-03 cs.DC cs.PF cs.PL
TAPA-CS: Enabling Scalable Accelerator Design on Distributed HBM-FPGAs
针对云级多FPGA加速器开发工具不足的问题,提出开源任务并行框架TAPA-CS,可自动分区编译大型设计、保障高频率高吞吐量,经多类工作负载验证具备良好扩展性,助力复杂FPGA加速器开发。
2024-02-02 cs.AR cs.DC
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University(斯坦福大学);Tata Consultancy Services(塔塔咨询服务公司)
现代实时业务分析由异构工作负载(例如,数据库查询、图形处理和机器学习)组成。这些分析应用程序需要能够捕获组成工作负载的所有方面(包括它们所使用的数据模型以及跨处理引擎的数据移动)的编程环境。Polystore系统适合此类应用;然而,这些系统目前在CPU上执行,摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++,一种使用硬件加速器(例如FPGA,CGRA和GPU)加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能,这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性,并引入了新的研究问题,这些问题是由硬件加速器的使用引起的(例如,优化和映射跨异构计算单元的查询计划,以及利用硬件流水线和并行性来提高性能)。在本文中,我们详细讨论了这些挑战,并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
AutoAccel: Automated Accelerator Generation and Optimization with Composable, Parallel and Pipeline Architecture
CPU-FPGA异构架构正吸引着越来越多的关注,试图提高当今计算机的计算能力和能源效率。这些架构为程序员提供了重新编程FPGA的能力,以灵活地加速许多工作负载。然而,这种优势往往被FPGA的可编程性差所掩盖,FPGA的编程通常是RTL设计实践。虽然高级综合(HLS)的最新进展显着提高了FPGA的可编程性,它仍然让程序员面临的挑战,确定最佳的设计配置在一个巨大的设计空间。本文旨在应对这一挑战,并为从软件程序到高质量FPGA加速器铺平道路。具体来说,我们首先提出了组合,并行和流水线(CPP)的微架构作为加速器设计的模板。这样一个定义良好的模板是能够支持高效的加速器设计的广泛类的计算内核,更重要的是,大大减少了设计空间。此外,我们引入了一个分析模型,以捕捉性能和资源之间的权衡不同的设计配置的CPP微架构,这奠定了基础,快速设计空间探索。在CPP微架构及其分析模型的基础上,我们开发了AutoAccel框架,使整个加速器生成自动化。AutoAccel接受软件程序作为输入,并根据基于分析模型的设计空间探索的结果执行一系列代码转换,以构建所需的CPP微体系结构。我们的实验表明,对于广泛的一类计算内核,Autocom生成的加速器的平均性能超过其相应的软件实现72倍。
2018-07-30 cs.AR cs.DC
Optimized Partitioning and Priority Assignment of Real-Time Applications on Heterogeneous Platforms with Hardware Acceleration
硬件加速器,例如基于GPU和FPGA的硬件加速器,为高效并行化功能提供了绝佳的机会。最近,现代嵌入式平台开始配备此类加速器,从而为新兴的高度计算密集型工作负载(如下一代自动驾驶系统所需的工作负载)提供了令人信服的选择。除了对计算效率的需求之外,这种工作负载通常还具有实时的【形】要求,需要满足这些要求以保证系统的安全和正确行为。为此,本文提出了一个整体的框架,以帮助设计师分区实时的【形】应用程序在异构平台上的硬件加速器。该模型的灵感来自博世在WATERS 2019挑战赛中提出的先进驾驶辅助系统的现实设置,进一步推广到更广泛的异构架构。所得到的分析被线性化并用于编码优化问题,该优化问题共同(i)保证时序约束,(ii)找到合适的任务到核心的映射,(iii)为每个任务分配优先级,以及(iv)选择要加速的计算,在加速器提供的较小的最坏情况执行时间与同步和排队延迟之间寻求最方便的折衷。
2022-04-19 cs.DC
Dynamic Physiological Partitioning on a Shared-nothing Database Cluster
传统的DBMS服务器通常在其大部分日常工作负载中过度配置,并且由于它们没有显示出足够好的能量比例,因此在未充分利用的情况下浪费了大量能量。一个小型(弱)服务器集群,其大小可以根据当前工作负载动态调整,为这些工作负载提供更好的能量特性。然而,平衡节点之间的利用率所必需的数据迁移是一项重要且耗时的任务,可能会消耗节省的能量。出于这个原因,需要一个复杂且易于调整的分区方案来促进动态重组。在本文中,我们采用了一种技术,最初创建的SMP系统,称为生理分区,在节点之间分布数据,可以很容易地重新分区数据,而不中断事务。我们动态分区数据库表的基础上节点的利用率和给定的能量约束,并比较我们的方法与物理分区和逻辑分区方法。为了量化可能的节能和查询运行时,它可以想象的缺点,我们评估我们的实验集群上的实现,并比较结果w.r.t.性能和能耗。根据工作负载的不同,我们可以在不牺牲太多性能的情况下大幅节省能源。
2014-07-02 cs.DB cs.DC
Data-aware Dynamic Execution of Irregular Workloads on Heterogeneous Systems
针对异构系统调度依赖手动划分的问题,提出DyPe调度框架,通过动态分析数据特征和算子间并行性自动优化执行,在GPU-FPGA系统上相比静态调度和仅GPU方案显著提升性能与能效。
2025-02-10 cs.AR cs.DC
A Domain Specific Approach to High Performance Heterogeneous Computing
异构计算系统的用户面临两个问题:首先,在理解他们的应用程序的可观察的特性,如延迟和结果的质量之间的权衡关系,其次,如何利用这些特性的知识,有效地分配工作到分布式计算平台。特定领域的方法可以解决这两个问题。通过考虑操作或功能的子集,可观察特性或域度量的模型可以被提前制定,并且在任务实例的运行时被填充。然后,这些度量模型可以用于将工作分配表示为受约束的整数规划,该规划可以使用逻辑学、机器学习或混合线性规划(MILP)框架来求解。这些索赔说明使用计算金融衍生品定价的示例域,与工作负载延迟或完工时间和定价准确性的域指标。对于128个基于Black-Scholes和Heston模型的期权定价任务的大而不同的工作负载,在16个多核CPU、GPU和FPGA平台的不同阵列上运行,模型对完工时间和准确性的预测通常在运行时性能的10%以内。当这些模型被用作机器学习和基于MILP的工作负载分配方法的输入时,可以看到比启发式方法的延迟改善高达24和270倍。
2016-03-14 cs.CE cs.DC
C2C-Explorer: An Exploration Framework for Chip-to-Chip Interconnect Architectures in LLM Cloud Computing Systems
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Advanced Innovation Center for Integrated Circuits, School of Integrated Circuits, Peking University(北京大学集成电路学院北京先进集成电路创新中心);Hupan Lab(湖畔实验室);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Cloud, Alibaba Group(阿里巴巴集团阿里云)
C2C-Explorer是一种自适应贝叶斯DSE框架,整合流量生成器、可扩展互连模拟器与评估器,用于探索LLM云计算系统的C2C互连架构,在DeepSeek-R1-671B负载中可提升有效吞吐量并降低内存占用。
2026-08-11 cs.AR cs.CE cs.DC
FlowGNN: A Dataflow Architecture for Real-Time Workload-Agnostic Graph Neural Network Inference
Georgia Institute of Technology(佐治亚理工学院)
图神经网络(GNN)最近受到了广泛的欢迎,这要归功于它们对量子化学、药物发现和高能物理等图形相关问题的广泛适用性。然而,由于开发高效的加速器和快速创建新的GNN模型之间的差距,同时满足对新的GNN模型和快速推理的需求是具有挑战性的。现有技术集中于加速特定类别的GNN,例如图卷积网络(GCN),但缺乏支持广泛范围的现有或新的GNN模型的一般性。此外,大多数作品依赖于图的预处理,以利用数据的局部性,使他们不适合实时的【形】应用程序。为了解决这些限制,在这项工作中,我们提出了一个通用的GNN加速架构,名为FlowGNN,它可推广到大多数消息传递GNN。贡献是三方面的。首先,我们提出了一种新颖的和可扩展的的GNN架构,它通常支持广泛的GNN模型与消息传递机制。该架构具有一个可配置的并行优化,用于同时计算节点嵌入,边缘嵌入和消息传递,这通常适用于所有模型。我们还提出了一个丰富的模型特定的组件库。其次,我们提供了超快的实时的【形】GNN推理,而无需任何图形预处理,使其与动态变化的图形结构无关。第三,我们在Xilinx Alveo U 50 FPGA板上验证了我们的架构,并测量了板上端到端性能。我们在CPU(6226 R)上实现了高达24- 254倍的加速,在GPU(A6000)上实现了1.3- 477倍的加速(批量大小为1到1024);我们还在四个数据集上以1.26倍的加速和1.55倍的能效优…
2022-10-19 cs.DC cs.LG
Cost-effective Energy Monitoring of a Zynq-based Real-time System including dual Gigabit Ethernet
已经在CPU驱动的片上系统(SoC)中建立的细粒度功率管理特征的持续集成使得传统的现场可编程门阵列(FPGA)和最近的混合可编程SoC(pSoC)能够达到更能量敏感的应用领域(例如,汽车和机器人)。通过将固定功能的多核SoC与灵活、可配置的FPGA结构相结合,后者可用于实现异构实时系统(RTS),这些系统通常实现具有高计算和通信(I/O)密度的复杂专用架构。它们的工作负载、当前活动的省电特性以及功耗的动态变化要求在所有相关供电轨上进行精确的电压和电流检测,以便能够可靠地评估各种电源管理技术。在本文中,我们提出了一个低成本的18通道16位分辨率测量(子)系统,能够200 kSPS(千采样每秒)的仪器目前的pSoC开发板。为此,我们将同时采样模数转换器(ADC)和模拟电压/电流检测电路与Cortex M7微控制器结合起来,并使用SD卡进行存储。此外,我们建议将以太网PHY等关键I/O组件纳入电源监控,以全面了解RTS的时间行为,不仅涵盖FPGA和CPU上的计算,还包括通信,例如,传感器值的接收和致动信号的发送。我们提出了一个与两个千兆以太网PHY和一个HDMI输入相结合的测量系统的FMC大小的实现。搭配Xilinx的ZC 702开发板,我们能够同步采集Zynq pSoC和两个PHY的电源轨迹,精确到足以识别单个以太网帧。
2019-03-22 cs.DC cs.PF eess.SP
Stannic: Systolic STochAstic ONliNe SchedulIng AcCelerator
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对异构HPC系统中随机工作负载调度效率低的问题,提出两种FPGA加速器微架构Hercules和Stannic,通过并行化和预计算实现近实时调度,速度提升达1060倍。
2026-06-16 cs.DC cs.SY eess.SY