Ocularone-Bench: Benchmarking DNN Models on GPUs to Assist the Visually Impaired
提出Ocularone-Bench基准套件，通过构建专用数据集并评估YOLO等DNN模型在边缘设备和高端GPU上的准确性与延迟权衡，为视障人士导航等视觉应用提供移动部署的实时可行性见解。
2025-03-27 cs.DC
Benchmarking Zero-Setup Quantum Circuit Simulators
BlueQubit Inc（BlueQubit公司）；Carnegie Mellon University（卡内基梅隆大学）
该研究对GPU加速的MPS和PPS量子模拟方法进行基准测试，比较多个工具，发现MPS中GPU运行时随键维度次二次缩放，PPS中GPU在特定基准测试下加速显著且能达高精度，还提供模拟器特征描述及代码配置仓库。
2026-09-03 cs.DC cs.PF quant-ph
Benchmarking Confidential Computing Performance on NVIDIA Blackwell GPUs
本文在NVIDIA B200 GPU上结合Intel TDX机密VM与NVIDIA Blackwell GPU的CC技术，测试大语言模型推理/训练在TEE中的性能，得出正确配置下机密推理吞吐量仅增1%-3%等结果并给出部署指南。
2026-09-02 cs.CR cs.DC
Benchmarking State-of-the-Art Deep Learning Software Tools
Hong Kong Baptist University（香港浸会大学）
深度学习已被证明是一种成功的机器学习方法，可用于各种任务，其普及导致了众多开源深度学习软件工具。训练深度网络通常是一个非常耗时的过程。为了解决深度学习中的计算挑战，许多工具利用多核CPU和众核GPU等硬件功能来缩短训练时间。然而，在不同的硬件平台上训练不同类型的深度网络时，不同的工具表现出不同的功能和运行性能，这使得最终用户很难选择合适的软件和硬件。在本文中，我们的目标是对最先进的GPU加速的深度学习软件工具进行比较研究，包括Caffe，CNTK，MXNet，TensorFlow和Torch。我们首先在两个CPU平台和三个GPU平台上使用三种流行的神经网络对这些工具的运行性能进行基准测试。然后，我们在多个GPU上对一些分布式版本进行基准测试。我们的贡献是双重的。首先，对于深度学习工具的最终用户，我们的基准测试结果可以作为选择适当硬件平台和软件工具的指南。其次，对于深度学习工具的软件开发人员，我们的深入分析指出了未来进一步优化运行性能的可能方向。
2017-02-17 cs.DC cs.LG
Packaging HEP Heterogeneous Mini-apps for Portable Benchmarking and Facility Evaluation on Modern HPCs
针对 HEP 异构迷你应用在新 HPC 设施部署繁琐的问题，本文利用容器化与 Spack 等自动化配置构建技术实现交钥匙部署，以最少干预完成跨平台、跨设施基准评估并持续跟踪性能。
2025-05-13 cs.DC hep-ex
Towards a Benchmarking Suite for Kernel Tuners
随着计算系统变得越来越复杂，程序员越来越难以在硬件更新时保持代码优化。自动调优器试图通过向用户隐藏尽可能多的基于架构的优化细节来缓解这一问题，以便代码可以在不同代的系统中有效地使用。在这篇文章中，我们介绍了一个新的基准测试套件，用于评估现代自动调谐器针对GPU使用的优化算法的性能。该套件包含可调的GPU内核，这些内核代表了现实世界的应用程序，允许在优化算法之间进行比较，并检查代码优化、搜索空间难度和性能可移植性。我们的框架通过定义一个共享的问题接口，方便了新的自动调谐器和基准测试的集成。我们的基准套件进行评估的基础上，五个特点：收敛速度，局部极小中心，最佳加速，置换功能的重要性（PFI），和性能的可移植性。结果表明，优化参数对性能影响很大，需要进行全局优化。每个参数的重要性在GPU架构中是一致的，但是，具体值需要针对每个架构进行优化。我们的可移植性研究强调了针对特定目标架构自动调优每个应用程序的至关重要性。结果表明，简单地将最佳配置从一个架构转移到另一个架构可以导致最佳性能的58.5%到99.9%，具体取决于GPU架构。这突出了自动调整在现代计算系统中的重要性，以及我们的基准套件在促进优化算法的研究及其在实现特定目标架构的最佳性能方面的有效性方面的价值。
2023-03-15 cs.DC
Going green: optimizing GPUs for energy efficiency through model-steered auto-tuning
图形处理单元（GPU）在过去十年中彻底改变了计算领域。然而，配备GPU的数据中心和计算设施不断增长的能源需求带来了巨大的资本和环境成本。GPU应用程序的能耗在很大程度上取决于它们的优化程度。自动调整是一种有效且常用的技术，用于找到算法、应用程序和硬件参数的最佳组合，以优化GPU应用程序的性能。在本文中，我们介绍了新的能源监测和优化功能的内核调谐器，通用的自动调整工具的GPU应用程序。这些功能使我们能够研究执行时间调优与提高能效的各种方法之间的差异，并研究调优难度的差异。此外，我们的GPU功耗模型通过提供GPU可能最节能的时钟频率，大大减少了大的调优搜索空间。
2022-11-14 cs.DC cs.PF
KernelFoundry: Hardware-aware evolutionary GPU kernel optimization
Intel Corporation（英特尔公司）
KernelFoundry通过MAP-Elites搜索、元提示进化和模板参数优化，高效探索GPU内核设计空间，实现SYCL内核在KernelBench上的2.3倍加速。
2026-09-04 cs.DC cs.LG
Tensor Contractions with Extended BLAS Kernels on CPU and GPU
张量压缩构成了数值多线性代数的关键计算成分。然而，随着张量的阶数和维数的增长，基于张量的计算的时间和空间复杂度快速增长。张量收缩的现有方法通常涉及显式复制和转置操作。在本文中，我们提出并评估了一个新的BLAS-like的原始的mendedbatchedgemm，能够有效地执行广泛的张量收缩的CPU和GPU。通过系统的基准测试，我们证明了我们的方法比传统方法的优势。具体地说，我们实现了塔克分解，并表明使用我们的内核产生100倍的加速比使用现有的国家的最先进的库的实现。
2016-10-02 cs.DC
Autotuning GPU Kernels via Static and Predictive Analysis
优化GPU内核的性能对于人类程序员和代码生成器来说都是一个挑战。例如，CUDA程序员必须为内核设置线程和块参数，但可能没有直觉做出正确的选择。类似地，编译器可以生成工作代码，但是可能由于不针对GPU模型或执行代码转换而错过调优机会。虽然经验自动调优解决了其中的一些挑战，但它需要大量的实验和搜索最佳代码变体。本文提出了一种基于静态分析的CUDA内核优化方法，该方法考虑了GPU的细粒度代码结构和特定的GPU架构特征。值得注意的是，我们的方法不需要任何程序运行，以发现接近最佳的参数设置。我们证明了我们的方法的适用性，使代码自动调谐器，如Orio产生有竞争力的代码变体相比，基于药物的方法，没有高成本的实验。
2017-06-29 cs.DC cs.PF
Bringing Auto-tuning to HIP: Analysis of Tuning Impact and Difficulty on AMD and Nvidia GPUs
本文通过扩展 Kernel Tuner 为 AMD HIP 引入自动调优器，在四块 GPU 上分析四个基准内核，发现自动调优在 AMD 上性能提升（10 倍）远超 Nvidia（2 倍），并强调针对 AMD 专门调优的必要性。
2024-07-16 cs.DC cs.PF
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Zurich（苏黎世大学）
本文提出GPU优化的k近邻算法FastGraph，通过支持梯度流的GPU驻留分箱分区方案与自适应调优，在低维场景下相比主流库实现20-40倍加速且无额外内存开销，可有效提升GNN工作流性能。
2026-10-26 cs.DC
Benchmarking Resource Usage for Efficient Distributed Deep Learning
MIT（麻省理工学院）；Northeastern University（东北大学）
深度学习（DL）工作流程需要不断增加的计算和能源预算，以实现超大收益。神经结构搜索、超参数扫描和快速原型设计消耗了大量资源，这可能会阻止资源受限的研究人员进行大型模型实验，并带来相当大的环境影响。因此，了解不同的深度神经网络（DNN）和训练如何利用不断增加的计算和能源资源变得至关重要-特别是跨不同领域和应用程序的专用计算密集型模型。在本文中，我们进行了3,400多个实验，在多达424个图形处理单元（GPU）上训练了一系列代表各种领域/任务的深度网络-自然语言处理，计算机视觉和化学。在训练过程中，我们的实验系统地改变了计算资源特性和节能机制，例如功率利用率和GPU时钟速率限制，以捕获和说明每个代表性模型在各种资源和能量约束机制下表现出的不同权衡和缩放行为。我们拟合幂律模型，描述训练时间如何与可用的计算资源和能量约束相匹配。我们预计，这些发现将有助于通知和指导高性能计算提供商优化资源利用率，通过选择性地降低不同深度学习任务/工作流程的能耗，同时对培训的影响最小。
2022-01-28 cs.DC cs.LG
Distributed, combined CPU and GPU profiling within HPX using APEX
跨硬件平台对科学仿真的性能进行基准测试和比较是一项复杂的任务。当所讨论的模拟使用异步多任务（AMT）运行时将工作卸载到GPU时，任务变得更加复杂。在本文中，我们讨论了使用一个独特的适合的性能测量库，APEX，捕捉性能行为的模拟建立在HPX，一个高度可扩展的，分布式AMT运行时。我们研究的天体物理学模拟的性能进行了两种不同的超级计算架构的Tiger。我们分析了缩放和测量开销的结果。此外，我们深入研究了两个系统上两个配置相似的执行，以研究架构差异如何影响性能，并确定优化的机会。作为一个这样的机会，我们优化了水力求解器的通信，并研究了其性能影响。
2022-09-21 cs.DC
Evaluation of Automatic GPU and FPGA Offloading for Function Blocks of Applications
近年来，使用FPGA、GPU的系统由于其与CPU相比的功率效率等优点而增加。然而，在FPGA和GPU等系统中使用需要了解硬件特定的技术规范，如HDL和CUDA，这是一个很高的障碍。基于这种背景，我以前提出了环境自适应软件，它可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。作为这个概念的一个元素，我提出了一种方法来自动卸载CPU的应用程序源代码的循环语句到FPGA和GPU。在本文中，我提出并评估了一种卸载功能块的方法，这是一个更大的单元，而不是应用程序中的单个循环语句，通过自动卸载到GPU和FPGA来实现更高的速度。我实现了所提出的方法，并与现有的应用程序卸载到GPU进行评估。
2020-03-09 cs.DC
Metrics and Design of an Instruction Roofline Model for AMD GPUs
由于Frontier超级计算机最近的发布，许多科学应用程序开发人员正在努力使他们的应用程序与AMD架构（CPU-GPU）兼容，这意味着远离传统的CPU和NVIDIA-GPU系统。由于目前针对AMD GPU的分析工具的局限性，这一转变在如何衡量AMD GPU上的应用程序性能方面留下了空白。在本文中，我们使用AMD的ROCProfiler和基准测试工具BabelStream（HIP实现）为AMD GPU设计了一个指令屋顶模型，作为一种测量应用程序在新AMD硬件上的指令和内存事务性能的方法。具体来说，我们为一个案例研究科学应用程序PIConGPU创建了指令屋顶模型，PIConGPU是一个开源的粒子模拟应用程序，用于在NVIDIA V100、AMD Radeon Instinct MI60和AMD Instinct MI 100 GPU上进行等离子体和激光等离子体物理模拟。在查看PIConGPU中感兴趣的多个内核的性能时，我们发现，尽管AMD MI 100 GPU与NVIDIA V100 GPU相比实现了相似或更好的执行时间，但分析工具的差异使得很难比较这两种架构的性能。当查看执行时间，GIPS和指令强度时，AMD MI60在这项工作中使用的三个GPU中表现最差。
2021-11-10 cs.DC
KIS-S: A GPU-Aware Kubernetes Inference Simulator with RL-Based Auto-Scaling
提出KIS-S框架，结合GPU感知模拟器KISim与基于PPO的自动伸缩器KIScaler，在模拟中学习策略并直接部署，显著提升奖励并降低延迟，实现智能编排。
2025-07-10 cs.DC
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题，通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本，并提出基于混合整数线性规划的调度算法，在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
Using hardware performance counters to speed up autotuning convergence on GPUs
Institute of Computer Science, Masaryk University（马萨里克大学计算机科学研究所）
如今，GPU加速器通常用于加速各种硬件上的通用计算任务。然而，由于GPU架构和处理数据的多样性，针对特定类型的硬件和特定数据特征的代码优化可能极具挑战性。与性能相关的源代码参数的自动调优允许应用程序的自动优化，并保持其性能的可移植性。虽然自动调优过程通常会导致代码加速，但如果（i）调优空间很大并且充满了性能不佳的实现，或者（ii）由于处理的数据发生变化或迁移到不同的硬件，因此必须频繁重复自动调优过程，则搜索调优空间可能会带来不可接受的开销。在本文中，我们介绍了一种新的方法来搜索调谐空间。该方法利用在经验调优期间收集硬件性能计数器（也称为分析计数器）的优势。这些计数器用于将搜索过程导航到更快的实现。该方法需要在任何GPU上对调谐空间进行采样。它构建了一个特定于问题的模型，可以在各种甚至以前看不见的输入或GPU上进行自动调整时使用。使用一组五个基准测试，我们实验证明，我们的方法可以加快自动调整时，应用程序需要被移植到不同的硬件，或者当它需要处理具有不同特性的数据。我们还比较了我们的方法的最先进的，并表明，我们的方法是优越的搜索步骤的数量方面，通常优于其他搜索的收敛时间。
2021-09-17 cs.DC cs.LG cs.PF
MT4G: A Tool for Reliable Auto-Discovery of NVIDIA and AMD GPU Compute and Memory Topologies
Technical University of Munich（慕尼黑工业大学）
本文提出开源供应商无关工具MT4G，结合现有API与50余个微基准测试及统计方法，自动可靠地发现NVIDIA和AMD GPU的计算与内存拓扑，并在性能建模、瓶颈分析和动态资源划分三个工作流中验证其通用性与实用性。
2025-11-08 cs.DC
GPURepair: Automated Repair of GPU Kernels
本文提出了一种工具，用于修复在CUDA或OpenCL编写的GPU内核中由于数据竞争和屏障发散而导致的错误。我们对先前工作的新颖扩展也可以消除被认为是正确性不必要的障碍。我们在我们的工具GPURepair中实现了这些想法，该工具使用GPUVerify作为GPU内核的验证Oracle。我们还扩展了GPUVerify以支持CUDA协作组，允许GPURepair为CUDA内核执行块间同步。据我们所知，GPURepair是唯一可以为CUDA和OpenCL内核提供块内数据竞争和屏障发散错误修复的工具，也是唯一可以修复CUDA内核块间数据竞争的工具。我们进行了广泛的实验，约750内核，并提供了与以前的工作进行比较。我们通过其修复更多内核的能力以及其消除冗余障碍和处理块间数据竞争的独特能力来证明GPU修复的优越性。
2020-11-17 cs.DC cs.SE
HAS-GPU: Efficient Hybrid Auto-scaling with Fine-grained GPU Allocation for SLO-aware Serverless Inferences
HAS-GPU提出细粒度GPU SM分区与时间配额调度、资源感知性能预测器及混合水平/垂直自动扩缩容算法，在保障推理SLO的同时显著降低无服务器推理成本。
2025-08-28 cs.DC
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础，通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU，基准测试显示其相较第四代至强CPU实现显著加速，计算负载越高优势越明显。
2024-03-12 cs.DC
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架，在异构 GPU 上联合搜索 GPU 配置与并行参数，并通过训练耗时建模实现高吞吐、低成本的自动并行策略，搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
Dynamic autotuning of adaptive fast multipole methods on hybrid multicore CPU & GPU systems
我们讨论了自适应快速多极方法的实现目标混合多核CPU和GPU系统。根据我们的快速多极算法版本的计算配置文件的先前经验，适当的部分被卸载到GPU，而其余部分被线程化并由CPU并发执行。定义算法的参数会影响性能，通过测量这种影响，我们能够动态地平衡算法以达到最佳性能。我们的设置使用的动态性质的计算，因此是一般的字符。
2014-03-17 cs.DC
Multi-GPU Quantum Circuit Simulation and the Impact of Network Performance
NVIDIA（英伟达）；Purdue University（普渡大学）；Quantum Circuits Inc.（量子电路公司）
研究多GPU量子电路模拟中网络性能对效率的影响，通过MPI优化并评估不同互联技术对计算性能的提升。
2026-03-11 cs.DC quant-ph
Automatic Horizontal Fusion for GPU Kernels
我们提出了自动水平融合，一种新的优化技术，补充了GPU程序的标准内核融合技术。与标准融合的目标是消除中间数据往返不同，我们的水平融合技术旨在增加线程级并行性以隐藏指令延迟。我们还介绍了HFuse，一个新的源到源CUDA编译器，实现自动水平融合。实验结果表明，水平融合可以使运行时间提高2.5%-60.8%。我们的研究结果表明，水平融合对于将内核与需要不同类型GPU资源的指令（例如，存储器密集型内核和计算密集型内核）。
2020-07-02 cs.DC cs.PL
Auto-SpMV: Automated Optimizing SpMV Kernels on GPU
稀疏矩阵向量乘法（SpMV）是一种基本的线性代数运算，在许多科学应用中占主导地位的计算成本。由于GPU提供了大规模并行性和高内存带宽，因此通常用于加速SpMV内核。以前的研究主要集中在减少GPU上的SpMV内核的延迟。然而，很少有人尝试提高SpMV内核的能效，导致GPU被排除在低功耗应用范围之外。此外，先前的工作主要集中在优化SpMV内核的稀疏格式上，文献忽略了评估调整编译参数的影响。最后，很少注意准备运行SpMV内核的综合训练数据集和微调学习超参数。为了解决这些限制，我们提出了一个新的框架，称为Auto-SpMV，使GPU上的节能和低延迟的SpMV内核。为了达到最佳的运行时间性能，Auto-SpMV提出了两种优化模式：编译时和运行时。在编译时模式下，Auto-SpMV调整编译参数，而在运行时模式下，Auto-SpMV为稀疏输入矩阵选择最佳稀疏格式。为了获得最佳的分类结果，1）我们收集了有史以来最大的数据集，其中包含30个不同的稀疏矩阵，运行超过15 K个不同的配置，2）我们通过自动微调学习超参数来提升分类模型。实验结果表明，与默认设置相比，Auto-SpMV在编译时模式下将延迟、能耗、平均功耗和能效分别优化了51.9%、52%、33.2%和53%。与默认设置相比，Auto-SpMV可在运行时模式下将平均功耗和能效分别优化高达34.6%和99.7%。
2023-02-11 cs.DC
Spatial Sharing of GPU for Autotuning DNN models
GPU用于训练、推断和调整机器学习模型。然而，深度神经网络（DNN）在充分利用高性能GPU的能力方面差异很大。GPU的空间共享使得能够在GPU上复用多个DNN，并且可以提高GPU利用率，从而提高吞吐量并降低延迟。DNN模型只要有适量的GPU资源，仍然可以提供低推理延迟，就像将所有GPU专用于其推理任务一样。改进DNN推理的一种方法是调整DNN模型。自动调优框架基于经过训练的机器学习模型为特定目标设备找到最佳低级实现，从而减少DNN的推理延迟并提高推理吞吐量。我们观察到一个相互依赖的调整模型和它的推理延迟。使用特定GPU资源调整的DNN模型在使用接近相同数量的GPU资源进行推断时提供最佳的推断延迟。而使用最大GPU资源量调优的模型在GPU资源受限时推理延迟较差。另一方面，使用适当数量的GPU资源进行调整的模型仍然可以在广泛的GPU资源可用性范围内实现良好的推理延迟。我们探讨了在不同GPU资源量下影响模型调整的原因。我们提出了许多技术，以最大限度地提高资源利用率，提高调优性能。我们启用GPU的受控空间共享，以在GPU上复用多个调优应用程序。我们扩展了调优服务器实例，并将调优模型分割到多个客户端实例中，以便同时调优模型的不同运算符，从而实现更好的GPU复用。通过我们的改进，我们将DNN自动调整时间减少了75%，并将吞吐量提高了5倍。
2020-08-08 cs.DC cs.NE cs.SY
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究院）；School of Software, Beihang University（北京航空航天大学软件学院）
针对GNN训练依赖昂贵平台的问题，提出A3GNN框架，通过局部感知采样、细粒度并行调度及强化学习优化资源利用，在CPU-GPU异构平台实现经济、自适应、自动化训练，提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
A Metaprogramming and Autotuning Framework for Deploying Deep Learning Applications
近年来，深度神经网络（DNN）在广泛的应用中取得了很好的效果。图形处理单元（GPU）是导致DNN当前流行的一个关键因素。然而，尽管硬件灵活性和软件编程工具链日益成熟，但高效率的GPU编程仍然很困难：它具有高复杂性、低生产力和低便携性的缺点。像NVIDIA这样的GPU供应商已经花费了大量的精力来编写专用DNN库。然而，在其他硬件目标上，特别是移动GPU，这样的供应商库通常不可用。因此，开发用于DNN操作的可移植、开放、高性能、高能效的GPU代码将使基于DNN的算法得到更广泛的部署。为此，这项工作提出了一个框架，以实现跨硬件平台和编程模型的DNN计算的高效GPU编程。特别是，该框架提供了对元编程、自动调优和DNN定制的数据类型的特定支持。使用我们的框架，我们探索在三个不同的硬件目标上实现DNN操作：NVIDIA，AMD和Qualcomm GPU。在NVIDIA GPU上，我们展示了OpenCL和CUDA之间的可移植性以及与供应商库相比的竞争性能。在Qualcomm GPU上，我们证明了我们的框架能够有效地开发特定于目标的优化，并实现合理的绝对性能。最后，在AMD GPU上，我们展示了初步结果，表明我们的框架可以在新平台上以最小的努力产生合理的性能。
2016-11-21 cs.DC cs.MS cs.NE
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC（巴塞罗那超级计算中心）；IBM（国际商业机器公司）；UPC（巴塞罗那技术大学）
研究分布式大语言模型适配器服务中GPU资源利用问题，提出数据驱动管道，通过性能预测、数字孪生等组件，以最少GPU服务工作负载，提升效率，还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms
该方法实现GPU上ODE和SDE集合的高效并行求解，无需用户改码，性能优于JAX和PyTorch的vmap方法，并支持多GPU及多种GPU架构。
2023-11-13 cs.DC cs.MS cs.NA
