An MLIR pipeline for offloading Fortran to FPGAs via OpenMP
针对摩尔定律放缓下FPGA加速HPC工作负载的需求，首次在MLIR中实现通过OpenMP target指令将选择性代码卸载到FPGA的方案，结合OpenMP与HLS方言提供可移植编译流程，支持MLIR兼容前端，减少开发工作量并展示生态系统组合性优势。
2025-11-11 cs.DC cs.PL
Study of Automatic GPU Offloading Method from Various Language Applications
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，CUDA等技术技能的障碍很高。在此基础上，我提出了环境适应软件，根据要放置的硬件，可以自动转换，配置和高性能操作一次编写的代码。然而，目前用于卸载的源语言主要是C/C++语言应用，还没有针对不同语言应用的通用卸载研究。在本文中，我研究了一种通用的方法，自动卸载各种语言的应用程序，不仅在C语言，而且在Python和Java。
2020-11-06 cs.DC
Improvement of Automatic GPU Offloading Technology for Application Loop Statements
近年来，随着摩尔定律的放缓，CPU以外的硬件（如GPU或FPGA）的利用率正在增加。然而，当使用CPU以外的异构硬件时，CUDA和HDL等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。部分卸载到GPU和FPGA之前是自动化的。在本文中，我改进并提出了一个自动GPU卸载方法，以扩大适用的软件和提高性能更多。我评估所提出的方法在多个应用程序的有效性。
2020-02-27 cs.DC
DAK: Direct-Access-Enabled GPU Memory Offloading with Optimal Efficiency for LLM Inference
Cornell University（康奈尔大学）
本文提出DAK框架，通过直接访问远程内存优化GPU内存卸载，提升系统带宽效率，实验显示在NVLink-C2C和PCIe系统中性能提升达3倍和1.8倍。
2026-04-28 cs.DC
Parallel processing area extraction and data transfer number reduction for automatic GPU offloading of IoT applications
对于开放物联网，我们提出了Tacit Computing技术，以发现具有用户所需数据的设备并动态使用它们，并将自动GPU卸载技术作为Tacit Computing的基本技术。然而，它可以改善有限的应用程序，因为它只优化可并行循环语句提取。因此，在本文中，为了提高更多的应用程序的性能自动，我们提出了一种改进的方法，减少CPU和GPU之间的数据传输。我们通过将其应用于Darknet来评估我们提出的卸载方法，发现它可以以仅使用CPU的3倍速度处理它。
2018-11-09 cs.DC
Proposal of Automatic Offloading Method in Mixed Offloading Destination Environment
针对异构硬件使用技术门槛高且现有技术无法在GPU、FPGA、众核CPU混合环境下自动合理卸载应用的问题，提出了作为环境自适应软件新要素的混合目标环境自动卸载方法。
2024-09-13 cs.DC
Study of Automatic GPU Offloading Technology for Open IoT
物联网技术已经取得了进展。开放式物联网（Open IoT）的概念通过整合水平分离的设备和服务来实现各种物联网服务。对于开放物联网时代，我们提出了隐性计算技术，以发现用户需要的数据设备，并动态使用它们。然而，现有的默会计算并不关心性能和操作成本。因此，本文提出了一种GPU自动卸载技术，作为默会计算的基础技术，该技术利用遗传算法提取合适的卸载循环语句来提高性能。我们评估了一个C/C++矩阵操作，以验证GPU卸载的有效性，并确认在1小时的调整时间内性能提高了35倍以上。
2018-06-04 cs.DC
Evaluating OpenMP Offloading for Intra-node Multi-GPU Programming across NVIDIA, AMD, and Intel Architectures: A 3D Heat Transfer Case Study
Rudolfovo-Science and Technology Centre Novo mesto（鲁多尔沃夫诺沃梅斯托科学与技术中心）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Department of Computer Science, FSTM, University of Luxembourg（卢森堡大学科学技术学院计算机科学系）
本研究以3D热传导为例，对比分析OpenMP Offloading在三类GPU上的性能，发现其多GPU实现较单GPU可获2倍、4倍左右性能提升。
2026-09-16 cs.DC
The benefits and challenges of explicit memory management in OpenMP Target GPU offloading
University of California San Diego（加州大学圣迭戈分校）
本文指出OpenMP Target Offload的半自动缓冲区同步功能存在正确性、性能等缺陷，说明OpenMP原生支持的缓冲区局部性显式处理可避免多数此类问题，但也有自身不足。
2026-08-18 cs.DC
Exploring Thread Coarsening on FPGA
在过去的几年里，人们越来越有兴趣在数据中心和高性能计算集群中使用FPGA以及GPU和其他加速器。因此，为CPU、GPU和FPGA提供统一的高级编程接口变得越来越重要。这导致了编译器工具链的开发，以在FPGA上部署OpenCL代码。然而，GPU和FPGA之间的基本架构差异导致了性能可移植性问题：已经表明，针对GPU优化的OpenCL代码不一定能很好地映射到FPGA，通常需要手动优化来提高性能。在本文中，我们探讨了使用线程粗化-一种编译器技术，将多个线程的工作合并到一个线程-在FPGA上运行的OpenCL代码。虽然这种优化已经在CPU和GPU上进行了探索，但FPGA的体系结构特征及其提供的并行性的性质导致了不同的性能考虑，因此有必要对FPGA上的线程粗化进行分析。我们的评估，在我们的微基准测试和一组应用程序从开源基准测试套件，表明线程粗化可以产生性能优势（高达3- 4倍的加速）在FPGA上运行的OpenCL代码在有限的资源利用成本。
2022-09-12 cs.DC
Taming GPU Underutilization via Static Partitioning and Fine-grained CPU Offloading
KTH Royal Institute of Technology（皇家理工学院）；William & Mary（威廉与玛丽学院）
本文通过静态分区和细粒度CPU卸载技术，减少GPU资源空置，提升系统吞吐量和能效，同时解决多实例GPU在HPC工作负载中的性能干扰问题。
2026-04-09 cs.DC
Heterogeneous FPGA+GPU Embedded Systems: Challenges and Opportunities
边缘计算范式已经出现，以处理云计算问题，例如可扩展性，安全性和低响应时间等。这种新的计算趋势严重依赖于无处不在的边缘嵌入式系统。性能和能耗是设计此类系统时应考虑的两个主要因素。本文从性能和能耗两个方面研究了由嵌入式FPGA和GPU（作为加速器）组成的异构嵌入式系统为应用提供的机遇和挑战。我们研究三个设计，建模和调度的挑战，在整个文件。我们还提出了三种技术来应对这三个挑战。将所提出的技术应用于图像直方图、密集矩阵-向量乘法和稀疏矩阵-向量乘法三个应用，当FPGA和GPU并行执行相应的应用时，性能和能耗分别提高了1.79倍和2.29倍。
2019-01-25 cs.DC
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础，通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU，基准测试显示其相较第四代至强CPU实现显著加速，计算负载越高优势越明显。
2024-03-12 cs.DC
High Performance Computing with FPGAs and OpenCL
在这项工作中，我们评估了FPGA加速HPC工作负载的潜力，作为GPU的一种更节能的替代方案。使用高级综合和大量优化技术，我们证明了FPGA可以实现比CPU更好的性能，并且在典型的HPC工作负载中比CPU和GPU都具有更好的能效。此外，我们表明，对于模板计算的特定情况，FPGA独特的架构优势使其能够超越高端CPU，Xeon Phi和GPU设备。与以前的工作不同，我们的基于FPGA的模板加速器结合了空间分块与时间分块，以实现高性能，而不限制输入大小。凭借对高阶模板的支持，我们迄今为止在任何阶数的2D和3D模板计算中实现了最高的单FPGA性能。
2019-09-15 cs.DC
AQUA: Network-Accelerated Memory Offloading for LLMs in Scale-Up GPU Domains
针对云托管LLM推理时GPU显存不足、请求突发下响应性差且页交换开销高的问题，提出GPU显存管理框架Aqua，通过网络加速内存卸载降低页交换开销，实验验证其响应性和吞吐量较现有方案分别提升20倍和4倍。
2025-02-21 cs.DC
Proposal of Automatic Offloading for Function Blocks of Applications
当使用CPU以外的异构硬件时，OpenCL等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中，我提出并评估了一种自动提取方法，适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我评估所提出的方法在多个应用程序的有效性。
2020-04-21 cs.DC
GPU-Augmented OLAP Execution Engine: GPU Offloading
Independent Researcher Daegu, Republic of Korea
本文提出一种GPU增强的OLAP执行引擎，通过风险感知门控机制选择性卸载高影响原语以提升执行效率。
2025-12-24 cs.AR cs.DB cs.DC
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
SPPO:Efficient Long-sequence LLM Training via Adaptive Sequence Pipeline Parallel Offloading
针对长序列 LLM 训练的显存与资源瓶颈，提出 SPPO 框架，通过自适应卸载、两级激活管理和启发式流水线调度，仅用 128 张 A100 完成 7B 模型、4M token 训练，吞吐量最高提升 3.38 倍。
2025-03-13 cs.DC
Practical offloading for fine-tuning LLM on commodity GPU via learned sparse projectors
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
本文提出LSP-Offload框架，通过学习稀疏投影器减少通信开销并设计逐层调度，使消费级GPU能以接近原生速度微调十亿级参数LLM，相比现有卸载方法端到端时间减少33.1%-62.5%。
2025-02-09 cs.AI cs.DC
Automatic BLAS Offloading on Unified Memory Architecture: A Study on NVIDIA Grace-Hopper
针对代码移植GPU需大量工作且现有自动卸载工具因数据传输成本高不实用的问题，本研究利用NVIDIA Grace-Hopper的统一内存架构，提出无需代码更改或重新编译的自动BLAS卸载工具，在量子化学/物理代码测试中获显著性能收益。
2025-04-15 cs.DC
Accelerating Mixture-of-Experts Inference by Hiding Offloading Latency with Speculative Decoding
针对MoE模型卸载推理中硬件利用率低的问题，提出SpecMoEOff框架，利用投机解码扩大专家工作负载并协调GPU与CPU，实现高达2.5倍的解码吞吐量提升。
2025-10-31 cs.DC
CNNLab: a Novel Parallel Framework for Neural Networks using GPU and FPGA-a Practical Study with Trade-off Analysis
UCSB（加州大学圣巴巴拉分校）；USTC（中国科学技术大学）
设计和实现高效的、可证明正确的并行神经网络处理是具有挑战性的。现有的高级并行抽象（如MapReduce）表现力不足，而MPI和Pthreads等低级工具则让ML专家反复解决相同的设计挑战。然而，多样性和大规模的数据量对构建灵活和高性能的深度学习神经网络实现提出了重大挑战。为了提高性能并保持可扩展性，我们提出了CNNLab，一种使用基于GPU和FPGA的加速器的新型深度学习框架。CNNLab为用户提供了一个统一的编程模型，使得硬件实现和调度对程序员是不可见的。在运行时，CNNLab在将任务卸载到加速器之前，利用GPU和FPGA之间的权衡。在最先进的Nvidia K40 GPU和Altera DE 5 FPGA板上的实验结果表明，CNNLab可以提供一个通用的框架，有效地支持不同的应用程序，而不会增加程序员的负担。此外，我们分析了详细的定量性能，吞吐量，功率，能量和性能密度的两种方法。实验结果利用GPU和FPGA之间的权衡，并为深度学习研究社区提供了有用的实践经验。
2016-06-20 cs.DC cs.LG
ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference
University of California, Merced（加州大学梅尔德分校）；University of Chicago（芝加哥大学）；Yotta Labs（Yotta实验室）
ChunkFlow通过通信感知分块预取优化分层卸载，减少GPU内存占用并提升推理效率，在不同工作负载下实现内存与延迟的可调平衡。
2026-05-11 cs.DC cs.LG
Are FPGAs Suitable for Edge Computing?
物联网（IoT）和人工智能应用的快速发展催生了一种新的计算范式--边缘计算。在本文中，我们从吞吐量对工作负载大小的敏感性、架构对算法特征的适应性和能效的角度研究了部署FPGA用于边缘计算的适用性。这一目标是通过在Intel Arria 10 GX 1150 FPGA和Nvidia Tesla K40 m GPU上进行比较实验来实现的。实验结果表明，采用FPGA进行边缘计算比GPU具有三方面的关键优势：1）FPGA可以提供与应用程序工作负载大小无关的一致吞吐量，这对于聚合来自各种物联网传感器的单个服务请求至关重要;（2）FPGA以细粒度和大规模提供空间和时间并行性，这保证了持续的高性能，以加速高并发性和高依赖性算法;以及（3）FPGA具有3-4倍的功耗和高达30.7倍的能效，提供更好的热稳定性和更低的每功能能源成本。
2018-04-17 cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Study of Resource Amount Configuration for Automatic Application Offloading
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上，我提出了环境适应软件，根据要放置的硬件，可以自动转换，配置和高性能操作一次编写的代码。然而，尽管到目前为止已经研究了根据迁移目的地环境的代码转换，但是还没有研究适当地设置资源量。本文作为环境自适应软件的一个新元素，为了使应用程序能够以高性价比运行，研究了一种优化CPU资源量和卸载设备的方法。
2020-11-20 cs.DC
DiOMP-Offloading: Toward Portable Distributed Heterogeneous OpenMP
针对传统HPC混合编程模型在分布式GPU内存管理与可移植性上的不足，提出分布式OpenMP框架DiOMP，融合OpenMP目标卸载与PGAS模型，实验证明其在多类异构平台上具备更优性能、可扩展性与可编程性。
2025-06-03 cs.DC
Performance Portable Monte Carlo Particle Transport on Intel, NVIDIA, and AMD GPUs
OpenMC是一个开源的蒙特卡罗中性粒子输运应用程序，最近已使用OpenMP目标卸载模型移植到GPU。我们研究了OpenMC在Frontier、Polaris和Aurora超级计算机上的大规模性能，证明了OpenMC在所有三大GPU供应商（AMD、NVIDIA和Intel）上都实现了性能可移植性。OpenMC的GPU性能与传统的基于CPU的OpenMC版本以及其他几种最先进的基于CPU的蒙特卡罗粒子输运应用程序进行了比较。我们还通过分析OpenMC在几种传统GPU和CPU架构上的性能来提供历史背景。这项工作包括一些第一次公布的结果，科学模拟应用程序的规模上的超级计算机采用英特尔的最大系列“老桥”GPU。它也是大型科学生产应用程序的首批演示之一，该应用程序使用OpenMP目标卸载模型在所有三个主要GPU平台上实现高性能。
2024-03-19 cs.DC
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Unified schemes for directive-based GPU offloading
针对OpenACC和OpenMP target在GPU卸载中的互补优缺点，开发仅含头文件的库Solomon，统一两者接口并提供三种符号以降低学习和实现成本，支持多厂商GPU，已开源且在N体模拟等场景验证。
2024-11-28 astro-ph.IM cs.DC cs.PF
Accelerated Digital Twin Learning for Edge AI: A Comparison of FPGA and Mobile GPU
Impact Lab, School of Computing and Augmented Intelligence（影响实验室，计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
本文提出一种基于FPGA的加速数字孪生学习框架，相较于移动GPU和云GPU，在性能、能效和内存占用方面均表现出色，适用于边缘AI中的关键医疗应用。
2025-12-13 cs.AI cs.DC
PIPO: Pipelined Offloading for Efficient Inference on Consumer Devices
School of Computer Science, Nanjing University, China（南京大学计算机科学学院）
针对大语言模型在消费级设备部署中内存不足、卸载推理GPU利用率低的问题，提出PIPO流水线卸载框架，通过细粒度流水线与优化传输计算提升并发调度效率，实验验证其可大幅提升GPU利用率与推理吞吐量。
2025-06-13 cs.AI cs.DC cs.LG
ZenFlow: Enabling Stall-Free Offloading for LLM Training
University of Virginia（弗吉尼亚大学）；University of California, Merced（加州大学梅尔塞德斯分校）；Argonne National Laboratory（阿贡国家实验室）；Snowflake AI Research（Snowflake人工智能研究）
ZenFlow通过异步更新和梯度选择，优先处理重要参数，解耦GPU与CPU更新，实现无停滞卸载训练，获得高达5倍加速并减少85%以上GPU停滞。
2026-10-16 cs.DC cs.LG
Harmonic-summing Module of SKA on FPGA--Optimising the Irregular Memory Accesses
平方公里阵列（SKA）将成为世界上最大的射电望远镜，它将加强和促进大量的科学项目，包括寻找射电望远镜。频域加速搜索是一种有效的二进制搜索方法。其中的一个重要部分是谐波求和模块，这也是本文的研究对象。谐波求和模块中的大多数操作对于FPGA来说都是相对便宜的操作。主要的挑战是对片外存储器的大量点访问，这些访问不是连续的，而是不规则的。虽然谐波求和本身可能不是FPGA加速的目标，但它是脉冲星搜索管道的一部分，其中包含许多其他计算密集型模块，这些模块可以在FPGA上有效执行。因此，将谐波求和也放在FPGA上将避免板外通信，这可能会破坏其他加速优势。本文研究了两种谐波求和方法：1）在片外存储器中存储中间数据和2）直接处理输入信号而不存储。对于第二种类型，提出并评估了两种缓存数据的方法：1）预加载频繁接触的点2）预加载用于生成输出点块的所有必要点。采用OpenCL来实现所提出的方法。在广泛的实验评估中，在FPGA板和GPU卡上评估相同的OpenCL内核代码。对于所提出的预加载方法，预加载所有必要的点的方法，同时重新排序的输入信号是比所有其他方法更快。虽然在原始性能方面，单个FPGA板无法与GPU竞争，但在能耗方面，GPU在执行相同NDRange内核时的能耗比FPGA高出2.6倍。
2018-06-29 cs.DC
On the Feasibility of FPGA Acceleration of Molecular Dynamics Simulations
经典分子动力学（MD）模拟是生命和材料科学中的重要工具，因为它们可以详细研究化学和生物过程。然而，粒子-粒子相互作用的固有可扩展性问题和后续时间步长的顺序依赖性使得MD计算密集且难以扩展。为此，专门的基于FPGA的加速器已经被反复提出来改善这个问题。然而，到目前为止，没有一个领先的MD仿真软件包完全支持FPGA加速，并且到目前为止，GPU与FPGA加速代码的直接比较仍然难以捉摸。在这份报告中，我们的目标是通过比较GPU密集计算节点上测量的应用程序性能与基于FPGA的单节点系统的性能和成本估计来澄清这个问题。我们的研究结果表明，基于FPGA的系统确实可以优于类似配置的基于GPU的系统，但由于主机上的软件开销，整体应用程序级加速仍然保持在2倍左右。考虑到GPU和FPGA解决方案的价格，我们观察到基于GPU的解决方案提供了更好的成本/性能权衡，因此纯基于FPGA的解决方案可能不会在商业上可行。然而，我们还注意到，扩展的多节点系统可能会从混合组合中受益，其中GPU用于计算密集型部件，FPGA用于延迟和通信敏感任务。
2018-08-08 cs.DC cs.PF physics.comp-ph
Towards a Uniform Architecture for the Efficient Implementation of 2D and 3D Deconvolutional Neural Networks on FPGAs
三维反卷积广泛应用于许多计算机视觉应用中。然而，大多数以前的工作只集中在FPGA上加速2D去卷积神经网络（DCNN），而3D DCNN的加速尚未深入研究，因为它们具有比2D DCNN更高的计算复杂性和稀疏性。在本文中，我们专注于在FPGA上加速2D和3D DCNN，提出了在统一架构上映射2D和3D DCNN的有效方案。通过在Xilinx VC709平台上实现我们的设计，我们可以实现高达3.0 TOPS的高硬件效率。与CPU和GPU解决方案的比较表明，与CPU解决方案相比，我们可以实现高达63.3倍的吞吐量提高，与GPU解决方案相比，我们可以实现高达8.3倍的能效提高。
2019-03-06 cs.DC
DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference
School of Computing, National University of Singapore（计算学院，新加坡国立大学）
本文针对MoE模型在内存受限设备部署中因GPU内存有限导致的频繁数据传输抵消速度优势的问题，提出DAOP推理引擎，通过动态分配专家、选择性预计算等优化，性能优于传统方法且保持精度。
2026-08-24 cs.DC cs.LG
Beyond the GPU: The Strategic Role of FPGAs in the Next Wave of AI
Instituto Tecnológico y de Estudios Superiores de Monterrey（蒙特雷理工大学）
针对GPU在低延迟、能效等方面的局限，提出利用FPGA的可重构特性直接映射AI算法，实现并行流水线与确定性时序，通过现场重配置、SoC集成等技术优化推理流程，缩短部署路径并实现硬件-算法协同设计。
2025-11-04 cs.AI cs.DC
TriMoE: Augmenting GPU with AMX-Enabled CPU and DIMM-NDP for High-Throughput MoE Inference via Offloading
SKLP, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（SKLP，计算技术研究所，中国科学院，北京）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京）
TriMoE通过结合AMX启用的CPU和DIMM-NDP，优化MoE推理的计算单元分配，提升高吞吐量性能。
2026-03-01 cs.AI cs.AR cs.DC
Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文提出 TERAIO 框架，依据张量生命周期分析生成卸载与预取计划，并通过 GPUDirect Storage 在 GPU 和 SSD 间直接迁移，以低成本扩展 GPU 显存，显著提升 LLM 训练性能。
2025-06-06 cs.AI cs.DC cs.LG
GriNNder: Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading
Seoul National University（首尔大学）
GriNNder通过结构化存储卸载框架，利用NVMe SSD的高容量和带宽，实现有限内存下的全图GNN训练，实验显示其在单GPU上实现了9.78倍的加速和与分布式系统相当的吞吐量。
2026-05-12 cs.DC
LoHan: Low-Cost High-Performance Framework to Fine-Tune 100B Model on a Consumer GPU
本文提出低成本高性能框架LoHan，通过主动梯度卸载和流量感知激活交换机制优化服务器内张量移动，实现单张消费级GPU微调100B以上模型，吞吐量超越基线且成本效益优于DGX-A100集群。
2024-12-24 cs.DC
FPGA or GPU? Analyzing comparative research for application-specific guidance
Western New England University, Member IEEE, Springfield, MA, USA（西部新英格兰大学）；Department of ECE , The Citadel , Charleston, NC, USA（电子与计算机工程系，特 CITADEL，查尔斯顿，NC，USA）
本文通过综合比较FPGA与GPU的研究文献，分析其性能、能效和可编程性，为不同领域应用选择合适加速器提供指导。
2025-11-09 cs.AR cs.CL cs.DC
A 400Gbit Ethernet core enabling High Data Rate Streaming from FPGAs to Servers and GPUs in Radio Astronomy
本文针对射电天文学海量数据实时处理中GPU受限于I/O速率的问题，开发并测试了多种从NIC到GPU的数据流传输技术，并提出开源UDP/IPv4 400GbE封装器，实现FPGA到GPU的高速数据流传输，显著降低后端成本、功耗与复杂度。
2024-11-23 astro-ph.IM cs.DC
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
Sapienza University of Rome（罗马大学）
本文通过实证研究探讨了不同LLM在不同硬件平台上的行为，重点分析了层卸载和抢占对性能的影响，揭示了卸载和抢占对解码吞吐量的非线性影响以及其在不同模型和硬件平台上的差异，为设计高效的多模型LLM服务系统提供了指导。
2026-05-19 cs.AI cs.DC
MLP-Offload: Multi-Level, Multi-Path Offloading for LLM Pre-training to Break the GPU Memory Wall
Argonne National Laboratory（阿贡国家实验室）；Rochester Institute of Technology（罗切斯特理工学院）
针对大语言模型预训练中GPU内存不足、现有卸载技术I/O开销大的问题，提出MLP-Offload多级多路径卸载引擎，通过跨层高效卸载优化器状态缓解I/O瓶颈，280B参数模型下迭代速度达前沿方案的2.5倍。
2025-09-02 cs.AI cs.DC cs.LG
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会，以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi，这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架，并给出了早期结果，表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Comparative Analysis of FPGA and GPU Performance for Machine Learning-Based Track Reconstruction at LHCb
LIP6, LPNHE Sorbonne Université CNRS, IN2P3 Paris, France（LIP6、LPNHE 索邦大学 CNRS、IN2P3 巴黎）；Massachusetts Institute of Technology（麻省理工学院）；Sorbonne Université CNRS, IN2P3 Paris, France（索邦大学 CNRS、IN2P3 巴黎）
本文比较了LHCb实验一级触发器中径迹重建流水线首步多层感知机在FPGA（使用HLS4ML）与GPU上的推断吞吐量，证明FPGA具备高吞吐、低延迟且低功耗的潜力。
2025-04-30 cs.DC cs.LG hep-ex
Virtual Screening on FPGA: Performance and Energy versus Effort
基于FPGA的加速器卡已成为GPU和CPU的替代品，可在具有某些要求（如能效）或属性（如定点计算）的应用中加速计算。在本文中，我们展示了在几种类型的加速器上绘制用于药物发现的工业应用的结果和经验。我们特别强调了FPGA与CPU和GPU在性能和能效方面的努力与优势。对于这个应用程序，即使广泛使用FPGA特定的功能，并执行不同的优化，在GPU上的结果仍然更好，无论是在能源和性能方面。
2022-10-19 cs.AR cs.DC cs.PF
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；Harvard University（哈佛大学）
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题，提出NEO系统通过CPU卸载部分注意力计算与KV缓存，结合非对称流水线与负载感知调度，在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
A Competitive Edge: Can FPGAs Beat GPUs at DCNN Inference Acceleration in Resource-Limited Edge Computing Applications?
当作为生成模型进行训练时，深度学习算法在涉及高维数据的任务（如图像去噪和超分辨率）上表现出卓越的性能。在一个由移动和边缘设备主导的日益互联的世界中，对这些算法在嵌入式平台上本地运行的需求激增。FPGA凭借其可重编程性和低功耗特性，是这些边缘计算应用的理想候选者。因此，我们设计了一个时空并行的硬件架构，能够加速一个去卷积算法优化的电源效率的推理资源有限的FPGA。我们提出了这种基于FPGA的加速器，用于低功耗边缘计算应用中的解卷积神经网络（DCNN）推理。为此，我们开发了系统地利用微观建筑创新，设计空间探索和统计分析的方法。使用Xilinx PYNQ-Z2 FPGA，我们利用我们的架构来加速使用Wasserstein GAN框架在MNIST和CelebA数据集上训练的两个DCNN的推理。在这些网络上，与NVIDIA Jetson TX 1边缘计算GPU相比，我们的FPGA设计实现了更高的吞吐量与功率比，同时降低了运行间变化。
2021-03-09 cs.AR cs.DC eess.IV
Architectural improvements and 28 nm FPGA implementation of the APEnet+ 3D Torus network for hybrid HPC systems
现代图形处理单元（GPU）现在被认为是通用计算的加速器。GPU和互连网络之间的紧密交互是在大型HPC集群上表达多GPU系统能力计算的全部潜力的策略;这就是为什么高效和可扩展的互连是最终为科学HPC提供GPU的关键技术的原因。在本文中，我们展示了APEnet+网络结构的最新架构和性能改进，这是一个基于FPGA的PCIe板，具有6个完全双向的板外链路，每个方向的原始带宽为34 Gbps，以及朝向主机PC的X8 Gen 2带宽。该板实现了远程直接内存访问（RDMA）协议，该协议利用Fermi和Kepler级NVIDIA GPU的对等（P2P）功能来获得真正的零拷贝、低延迟GPU到GPU传输。最后，我们报告了2013年的开发活动，重点是采用最新一代28纳米FPGA和在这个新平台上进行的初步测试。
2013-11-14 cs.AR cs.DC physics.comp-ph
DALI: A Workload-Aware Offloading Framework for Efficient MoE Inference on Local PCs
Institute of Automation, CAS（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shanghai Jiao Tong University（上海交通大学）；AiRiA
DALI通过动态分配和残差预取技术，提升本地PC上MoE推理效率，实现显著加速。
2026-02-03 cs.DC cs.LG
