Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会，以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi，这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架，并给出了早期结果，表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础，通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU，基准测试显示其相较第四代至强CPU实现显著加速，计算负载越高优势越明显。
2024-03-12 cs.DC
Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators
Department of Computer Science（计算机科学系）；San Francisco State University（旧金山州立大学）；Argonne National Laboratory（阿贡国家实验室）；Lawrence Berkeley National Laboratory（伯克利国家实验室）
本文通过分离测量Prefill和Decode阶段，评估GPU与新兴AI加速器在Llama2-7B模型上的推理性能，发现GPU在计算密集的Prefill阶段占优，而GroqRack在Decode延迟上更优，但GPU随批处理增大在吞吐上反超。
2026-06-17 cs.AI cs.AR cs.DC
FusionStitching: Deep Fusion and Code Generation for Tensorflow Computations on GPUs
近年来，机器学习在工业领域的应用越来越广泛。其中许多都基于流行的AI框架，如Tensorflow，Torch，Caffe或MxNet等，并由GPU等加速器平台提供支持。在GPU上运行Tensorflow计算的一个重要挑战是细粒度问题，即单个操作的FLOPS远远不足以充分利用底层加速器的计算能力。XLA框架为进一步探讨这个问题提供了坚实的基础。在本文中，我们提出了FusionStitching，一种新颖的，全面的运算融合和代码生成系统缝合到大型GPU内核的计算。在四个公共模型和我们的两个大型内部应用程序上的实验结果显示，与XLA融合基线相比，GPU内核启动又减少了55%（几何平均值）。这将我们两个延迟关键型内部应用程序的E2E性能提高了20%。
2018-11-13 cs.DC cs.MS
DisDP: Disaggregating Compute, Network, and Storage for Model-Sharded Data-Parallel Training
Zhejiang University（浙江大学）
研究针对模型分片数据并行训练中网络通信开销大问题，提出DisDP架构，通过将计算、网络和存储解耦，把集合操作卸载到智能网卡和交换机，存储卸载到增强型参数服务器，提升了GPU利用率，实验验证了该方法的高效性。
2026-07-29 cs.DC
Accelerating High-Order Stencils on GPUs
在HPC应用中，广泛使用了速度计算。如今，许多HPC平台使用GPU作为加速器。因此，了解如何在GPU上快速执行模板计算非常重要。虽然在GPU上的低阶扩展的实现策略已经在文献中得到了很好的研究，但并不是所有提出的增强都能很好地用于高阶扩展，例如用于地震建模的增强。此外，处理边界条件通常需要不同的计算逻辑，这使得GPU上线程级并行性的有效利用变得复杂。在本文中，我们研究了高阶扩展及其在GPU上的独特特性。我们手工制作了一系列CUDA中25点地震建模模板和相关边界条件的实现。我们评估它们的代码形状、存储层次结构使用、数据获取模式和其他性能属性。我们使用几种成熟和新兴的工具对这些支架进行了实证评估，并讨论了我们的定量研究结果。在我们的实现中，我们实现了两倍的性能的专有代码开发的C和映射到GPU使用OpenACC。此外，我们的一些实现具有出色的性能可移植性。
2020-09-15 cs.DC
Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs
University of Connecticut（康涅狄格大学）；University of Rochester（罗切斯特大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本研究初步评估并比较了Graphcore IPU、Sambanova RDU及NVIDIA/AMD GPU等新兴AI/ML加速器，通过基准测试揭示数据流架构优势，为下一代硬件设计提供参考。
2024-03-19 cs.AR cs.DC cs.LG
Dual-pronged deep learning preprocessing on heterogeneous platforms with CPU, Accelerator and CSD
Tsinghua University（清华大学）；Xi’an Jiaotong University（西安交通大学）；University of Alberta（阿尔伯塔大学）；Hunan University（湖南大学）
DDLP通过结合CPU、加速器和CSD，优化深度学习预处理的计算与传输效率，显著提升学习速度并降低能耗。
2026-01-29 cs.DC
Toward Heterogeneous, Distributed, and Energy-Efficient Computing with SYCL
本文提出基于SYCL的高层编程接口，通过Celerity和SYnergy两个扩展分别解决加速器集群工作负载分配与高能效计算问题，从而简化异构高性能计算系统编程。
2025-05-09 cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington（华盛顿大学）；Duke University（杜克大学）；Microsoft（微软公司）
本文提出 Symphony DNN 服务系统，通过可调度窗口与跨加速器细粒度协调实现延迟批量调度，在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
Compressed Multi-Row Storage Format for Sparse Matrices on Graphics Processing Units
提出了一种新的存储稀疏矩阵的格式，用于在现代图形处理单元（GPU）上进行高效的稀疏矩阵向量（SpMV）乘积计算。这种格式扩展了标准的压缩行存储（CRS）格式，可以快速转换，并从它。计算性能的两个SpMV内核的新格式确定为超过130稀疏矩阵的费米级和开普勒级GPU和比较，现有的5个通用算法和工业实现，包括英伟达cuSparse CSR和HYB内核。我们发现最高可达$\approx 60%$的加速比超过了五个备选内核中的最佳内核。
2014-04-25 cs.DC physics.comp-ph
Practical GPU Choices for Earth Observation: ResNet-50 Training Throughput on Integrated, Laptop, and Cloud Accelerators
Dept.\ of Computer, Mathematical \& Natural Sciences University of Maryland College Park, MD, USA
本研究实现了基于ResNet的Sentinel-2影像LULC分类管道，在三种异构GPU上基准测试，发现NVIDIA RTX 3060和Tesla T4较Apple M3 Pro训练速度提升2倍且精度高，证明消费级与免费云GPU部署深度学习LULC模型的可行性。
2025-08-25 cs.DC cs.LG
Exploring the Behavior of Coherent Accelerator Processor Interface (CAPI) on IBM Power8+ Architecture and FlashSystem 900
Coherent Accelerator Processor Interface（CAPI）是一个通用术语，用于表示为连接到IBM POWER 8+ System的闪存提供高吞吐量和低延迟路径的基础设施。CAPI加速卡作为对等体连贯地连接到Power8+处理器。这消除了IO子系统的开销和复杂性，并允许加速器作为应用程序的一部分进行操作。在本文中，我们提出了实验的结果，IBM FlashSystem 900（FS 900）与CAPI加速卡使用“CAPI-Flash IBM数据引擎NoSQL软件”库。此库提供应用程序，通过用户空间API对底层闪存存储进行直接存取，以管理和访问闪存中的数据。这将内核IO驱动程序功能卸载到专用CAPI FPGA加速器硬件。我们使用CAPI加速卡进行了实验，以分析FS 900的性能，使用关键值层API，采用NASA的MODIS陆地表面反射率数据集作为大型数据集用例。我们通过改变线程的数量，对大小从1 MB到3 TB的数据集执行读和写操作。然后，我们将此性能与其他异构存储和内存设备（如NVM，SSD和RAM）进行了比较，而无需在同步和异步文件IO操作模式下使用CAPI加速器。结果表明，FS 900和CAPI，加上RAM中的元数据缓存，提供了最高的IO/s和OP/s的读操作。这比仅仅使用RAM更高，同时使用更少的CPU资源。在FS 900、SSD和NVM中，FS…
2019-09-12 cs.DC
Virtual Screening on FPGA: Performance and Energy versus Effort
基于FPGA的加速器卡已成为GPU和CPU的替代品，可在具有某些要求（如能效）或属性（如定点计算）的应用中加速计算。在本文中，我们展示了在几种类型的加速器上绘制用于药物发现的工业应用的结果和经验。我们特别强调了FPGA与CPU和GPU在性能和能效方面的努力与优势。对于这个应用程序，即使广泛使用FPGA特定的功能，并执行不同的优化，在GPU上的结果仍然更好，无论是在能源和性能方面。
2022-10-19 cs.AR cs.DC cs.PF
Evaluation of POSIT Arithmetic with Accelerators
该研究在 FPGA 与 GPU 上实现 Posit(32,2) 加速器，评估其对稠密矩阵 Cholesky 和 LU 分解的加速、精度及能效，发现其精度优于标准 32 位格式且最新 GPU 能效更高。
2024-01-25 cs.AR cs.DC cs.MS
HBM Is Not All You Need: Efficient Disaggregated LLM Serving across Memory-heterogeneous Accelerators
Shanghai Jiao Tong University（上海交通大学）；UltraRISC
针对LLM推理中预填充阶段HBM带宽闲置问题，提出HMA-Serve系统，通过分阶段量化、计算-传输流水线和延迟反量化，在GDDR加速器上高效执行预填充，实现3.2倍吞吐提升和4.8倍性价比提升。
2026-06-29 cs.AR cs.DC
TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU
Brno University of Technology（布尔诺理工大学）
深度神经网络（DNN）硬件加速器的能量效率可以通过引入近似运算电路来提高。为了量化使用这些电路引入的误差并避免昂贵的硬件原型，DNN加速器的软件仿真器通常在CPU或GPU上执行。然而，这种仿真通常比在CPU或GPU上运行并使用标准浮点算术指令和常见DNN库操作的软件DNN实现慢两个或三个数量级。原因是在普通CPU和GPU上没有硬件支持近似算术运算，并且必须昂贵地仿真这些运算。为了解决这个问题，我们提出了一种有效的模拟方法，用于在GPU上模拟的给定DNN加速器中使用的近似电路。所有相关的近似电路都被实现为查找表，并通过支持CUDA的GPU的纹理存储器机制进行访问。我们利用的事实，纹理存储器进行了优化，不规则的只读访问，在某些GPU架构，甚至实现为一个专用的缓存。这种技术使我们能够将仿真DNN加速器的推理时间减少约200倍，相对于复杂DNN（如ResNet）上的优化CPU版本。所提出的方法扩展了TensorFlow库，可在https://github.com/ehw-fit/tf-approximate上在线获得。
2020-02-21 cs.DC cs.LG
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积（MAC）密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中，我们重新审视NTX（一种为大规模训练深度神经网络而开发的高效加速器），将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成，这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示，该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果，我们表明，缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效，以及1.4 Tflop/s的计算性能，用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明，NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
NVIDIA（英伟达）；NVIDIA/UIUC（英伟达/伊利诺伊大学厄巴纳-香槟分校）
本文提出LSM-GNN框架，通过优化数据传输方案提升多GPU环境下GNN训练效率，实验表明其在单节点双GPU配置下优于双节点四GPU的Dist-DGL基线，实现端到端训练时间的3.75倍加速。
2026-03-28 cs.DC cs.LG
FPGA or GPU? Analyzing comparative research for application-specific guidance
Western New England University, Member IEEE, Springfield, MA, USA（西部新英格兰大学）；Department of ECE , The Citadel , Charleston, NC, USA（电子与计算机工程系，特 CITADEL，查尔斯顿，NC，USA）
本文通过综合比较FPGA与GPU的研究文献，分析其性能、能效和可编程性，为不同领域应用选择合适加速器提供指导。
2025-11-09 cs.AR cs.CL cs.DC
Technical Report: Accelerating Dynamic Graph Analytics on GPUs
由于图形分析通常涉及计算密集型操作，因此GPU已被广泛用于加速处理。然而，在诸如社交网络、网络安全和欺诈检测的许多应用中，它们的代表图频繁地演变，并且必须在GPU上执行图结构的重建以并入更新。因此，图的重建成为处理高速图流的瓶颈。在本文中，我们提出了一个基于GPU的动态图存储方案，以支持现有的图形算法容易。此外，我们提出了并行更新算法，以支持高效的流更新，使维护的图形是立即可用于GPU上的高速分析处理。我们在大规模真实数据集和合成数据集上使用三个流应用程序进行了广泛的实验，证明了我们所提出的方法的优越性能。
2018-06-27 cs.DC cs.DS
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
Meta；AMD
Meta针对异构硬件集群中AMD GPU性能可移植性问题，提出三项协同设计原则，实现推荐模型训练吞吐量最高1.5倍提升，相关成果已上游至开源PyTorch等生态。
2026-10-16 cs.AR cs.DC cs.LG
On-Device Neural Net Inference with Mobile GPUs
Google Research（谷歌研究院）
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而，由于有限的计算能力、热约束和能耗，仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近，设备制造商正在将神经处理单元添加到高端手机中，用于设备上的推理，但这些仅占手持设备的一小部分。在本文中，我们介绍了如何利用移动GPU（几乎每部手机上无处不在的硬件加速器）为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构，我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中，并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
Heterogeneous Parallelization and Acceleration of Molecular Dynamics Simulations in GROMACS
诸如图形处理单元（GPU）之类的加速器设备的引入已经对分子动力学模拟产生了深远的影响，并且使得能够使用商品硬件实现数量级的性能进步。为了充分获得这些好处，有必要重新制定一些最基本的算法，包括Verlet列表，对搜索和截断。在这里，我们提出了异构并行化和加速设计的分子动力学实现的GROMACS代码库在过去的十年。该设置涉及一种基于集群的通用方法来实现对列表和非绑定对交互，该方法有效地利用了GPU和CPU SIMD加速，包括在CPU和GPU之间负载平衡任务的能力。算法的工作效率针对每种类型的硬件进行了调整，并且为了更有效地使用加速器，我们引入了具有滚动修剪更新的双对列表。结合新的直接GPU-GPU通信以及GPU集成，通过跨多个GPU的强大可扩展性和高效的多节点并行化，可实现单GPU模拟的卓越性能。
2020-09-07 cs.DC cs.DS cs.PF
T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Linnaeus University（林奈大学）
T-CCL利用张量内存加速器卸载数据移动和归约，以流水线异步操作减少SM占用，实现资源高效集合通信，相比NCCL最高提速3.42倍，并提升重叠计算与推理吞吐。
2026-10-07 cs.AI cs.DC
AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall
Shiv Nadar Institution of Eminence（Shiv Nadar卓越学院）
本综述梳理了各类面向大语言模型的AI硬件加速器架构，基于Transformer与Roofline分析指出内存是加速核心约束，对比各平台特性并展望了未来以内存为中心的异构系统发展方向。
2026-08-31 cs.AR cs.DC
MatKV: Trading Compute for Flash Storage in LLM Inference
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
MatKV通过预先计算并存储键值向量以提升RAG推理效率，减少能耗和时间，同时保持问答准确性。
2025-12-20 cs.AI cs.DC cs.LG
Efficient Use of Limited-Memory Accelerators for Linear Learning on Heterogeneous Systems
IBM Research - Zurich（IBM苏黎世研究院）；EPFL（洛桑联邦理工学院）
我们提出了一种通用算法构建块，以加速在异构计算系统上训练机器学习模型。当训练数据超过其内存容量时，我们的方案允许有效地使用计算加速器（如GPU和FPGA）来训练大规模机器学习模型。此外，它在大小和处理速度方面提供了对任何系统的存储层次结构的自适应性。我们的技术是建立在关于原始-对偶坐标方法的新的理论见解之上的，并使用对偶间隙信息来动态地决定哪部分数据应该用于快速处理。为了说明我们的方法的强大功能，我们展示了它在超过现代GPU内存大小的大规模数据集上训练广义线性模型的性能，显示了比现有方法快一个数量级的加速。
2017-11-07 cs.DC cs.LG math.OC
Union: A Unified HW-SW Co-Design Ecosystem in MLIR for Evaluating Tensor Operations on Spatial Accelerators
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；IBM Research（IBM研究院）；NVIDIA（英伟达）；Sandia National Laboratories（桑迪亚国家实验室）
为了满足商业和科学应用中对深度学习的极端计算需求，Bronlow加速器越来越受欢迎。虽然这些“特定领域”加速器不像CPU和GPU那样完全可编程，但它们在数据编排方面保留了不同程度的灵活性，即，优化了窗口和平铺，以提高效率。当设计新算法和映射方法以在新硬件上执行目标问题的算法时，存在若干挑战。以前的作品已经单独解决了这些挑战。为了解决这一挑战作为一个整体，在这项工作中，我们提出了一个HW-SW协同设计生态系统的空间加速器称为联盟内流行的MLIR编译器基础设施。我们的框架允许探索不同的算法和它们在几个加速器成本模型上的映射。Union还包括一个即插即用的加速器成本模型库和映射器，可以很容易地扩展。算法和加速器成本模型通过一种新颖的映射抽象连接，该映射抽象捕获空间加速器的映射空间，该空间加速器可以基于来自硬件、工作负载和映射器的约束进行系统地修剪。我们通过几个案例研究展示了Union对社区的价值，这些案例研究使用不同的映射方案在不同的加速器架构上卸载不同的张量操作（CONV/GEMM/张量收缩）。
2021-11-07 cs.AR cs.DC cs.LG
