Boosting Performance of Iterative Applications on GPUs: Kernel Batching with CUDA Graphs
针对GPU迭代应用中细粒度内核启动开销的瓶颈,提出基于CUDA Graph的内核批处理优化策略,通过将内核启动分组并展开为图执行,在骨架应用及多个实际求解器中实现超过1.4倍的加速。
2025-01-16 cs.DC
Optimizing CUDA Code By Kernel Fusion---Application on BLAS
现代GPU能够执行比将单个字传输到全局内存或从全局内存传输更多的算术运算。因此,许多GPU内核受到内存带宽的限制,无法利用GPU的运算能力。然而,当执行一系列内核并且该序列中的一些内核共享数据时,内核融合通常可以改善存储器局部性。在本文中,我们展示了如何内核执行地图,减少或其嵌套组合可以自动融合我们的源到源编译器。为了证明编译器的可用性,我们已经实现了几个BLAS-1和BLAS-2例程,并展示了如何通过融合来提高其序列的性能。与使用CUBLAS的类似序列相比,我们的编译器生成代码的速度比测试的示例快2.61倍。
2013-07-16 cs.DC
A Multi-Stage CUDA Kernel for Floyd-Warshall
提出了一种新的基于CUDA的Floor-Warshall全对最短路径算法的实现。我们的算法运行速度比以前最好的报告算法快约5倍。为了实现这种加速,我们应用了一种新技术来减少片上共享内存的使用,并允许CUDA调度器更有效地隐藏指令延迟。
2010-02-25 cs.DC cs.PF
GPGPU Processing in CUDA Architecture
计算的未来是图形处理单元,即GPU。图形卡在图像处理和3D场景加速渲染领域所显示出的潜力,以及这些GPU所拥有的计算能力,它们正在发展成为巨大的并行计算单元。对图形处理器进行编程以执行一般并行任务是相当简单的。但是在理解了图形处理器的各种架构方面之后,它也可以用来执行其他繁重的任务。在本文中,我们将展示CUDA如何充分利用这些GPU的巨大功能。CUDA是NVIDIA的并行计算架构。它通过利用GPU的强大功能,大幅提高了计算性能。本文介绍了CUDA及其体系结构。它将CUDA C/C++与其他并行程序设计语言(如OpenCL和DirectCompute)进行了比较。本文还列出了关于CUDA的常见神话,以及CUDA的未来似乎是多么有希望。
2012-02-20 cs.DC
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算(HPC)和图形处理单元(GPU)的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务(大数据)提供了巨大的计算资源。虽然已经提出了许多HPC框架,但并行编程模型提出了许多挑战,例如,如何充分利用不同编程模型中的功能,通过CPU和GPU中的多线程来实现和管理并行性。在本文中,我们将概述三种并行编程模型,CUDA,MapReduce和Pthreads。目标是探索有关该主题的文献,并提供编程模型中呈现的功能的高级视图,以帮助高性能用户简明地理解并行编程概念,从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
A Benchmark Set of Highly-efficient CUDA and OpenCL Kernels and its Dynamic Autotuning with Kernel Tuning Toolkit
与性能相关的源代码参数的自动调优允许在没有硬编码优化的情况下自动调优应用程序,从而有助于保持性能的可移植性。在本文中,我们介绍了一个基准集的10个自动可调内核的重要计算问题,在OpenCL或CUDA实现。使用我们的内核调优工具包,我们表明,通过自动调优,大多数内核在各种GPU上都达到了接近峰值的性能,并且在CPU和Xeon Phis上的性能优于基准实现。我们的评估还表明,自动调优是性能可移植性的关键。除了离线调优之外,我们还引入了在应用程序运行时对代码优化参数的动态自动调优。通过动态调优,Kernel Tuning Toolkit使应用程序能够在运行时根据需要(例如,当输入数据更改时)重新调优性能关键型内核。虽然人们普遍认为,自动调整空间往往是太大,在应用程序运行时搜索,我们表明,这是不一定的情况下,调整空间的合理设计。我们的许多内核都达到了接近峰值的性能,具有中等大小的调优空间,可以在运行时以可接受的开销进行搜索。最后,我们展示了如何动态性能调整可以集成到一个现实世界的应用程序从冷冻电子显微镜域。
2020-02-28 cs.DC
Parallel DNA Sequence Alignment on High-Performance Systems with CUDA and MPI
本文提出CUDA与MPI混合的Needleman-Wunsch并行序列比对方案,通过GPU并行与多节点分布式计算显著加速大规模比对,无需修改底层算法。
2024-12-30 cs.DC
CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
提出免训练多智能体框架CudaForge,通过集成硬件反馈迭代优化CUDA内核,在正确率、加速比及跨硬件泛化性上均超越现有方法,且成本极低。
2025-11-05 cs.AI cs.CL cs.DC
A Performance Comparison of CUDA and OpenCL
CUDA和OpenCL是两种不同的GPU编程框架。OpenCL是一种开放标准,可用于对来自不同供应商的CPU、GPU和其他设备进行编程,而CUDA则专用于NVIDIA GPU。虽然OpenCL承诺为GPU编程提供一种可移植的语言,但其通用性可能会带来性能损失。在本文中,我们使用来自量子蒙特卡罗应用程序的复杂的,几乎相同的内核来比较CUDA和OpenCL的性能。我们表明,使用NVIDIA编译器工具时,将CUDA内核转换为OpenCL内核涉及最小的修改。使用ATI的构建工具编译这样的内核涉及到更多的修改。我们的性能测试测量并比较了CUDA和OpenCL的GPU之间的数据传输时间、内核执行时间以及端到端应用程序执行时间。
2011-05-16 cs.DC cs.PF physics.comp-ph
Fast GPGPU Data Rearrangement Kernels using CUDA
许多高性能计算算法都是带宽有限的,因此需要最佳的数据重排内核以及它们容易集成到应用程序的其余部分。在这项工作中,我们已经建立了一个CUDA库的快速内核的一组数据重排操作。特别是,我们已经建立了通用的内核重新排列m维数据到n维,包括置换,重新排序,交错/去交错等,我们还建立了通用Stenchmark计算的内核,对一个二维数据使用模板和函子,使应用程序开发人员能够快速构建定制的高性能内核。所有构建的内核在带宽利用率方面都达到或超过了最知名的性能。
2010-11-16 cs.DC cs.GR cs.PF
GPURepair: Automated Repair of GPU Kernels
本文提出了一种工具,用于修复在CUDA或OpenCL编写的GPU内核中由于数据竞争和屏障发散而导致的错误。我们对先前工作的新颖扩展也可以消除被认为是正确性不必要的障碍。我们在我们的工具GPURepair中实现了这些想法,该工具使用GPUVerify作为GPU内核的验证Oracle。我们还扩展了GPUVerify以支持CUDA协作组,允许GPURepair为CUDA内核执行块间同步。据我们所知,GPURepair是唯一可以为CUDA和OpenCL内核提供块内数据竞争和屏障发散错误修复的工具,也是唯一可以修复CUDA内核块间数据竞争的工具。我们进行了广泛的实验,约750内核,并提供了与以前的工作进行比较。我们通过其修复更多内核的能力以及其消除冗余障碍和处理块间数据竞争的独特能力来证明GPU修复的优越性。
2020-11-17 cs.DC cs.SE
KLARAPTOR: A Tool for Dynamically Finding Optimal Kernel Launch Parameters Targeting CUDA Programs
在本文中,我们提出了KLARAPTOR(Kernel LAunch parameters Rational Program estimaTOR),这是一个建立在LLVM Pass Framework和NVIDIA CUPTI API之上的新工具,用于动态确定CUDA程序P的内核启动参数的最佳值。使用性能预测模型,并且在运行时知道P的特定数据和硬件参数,程序R可以自动且动态地确定将产生最佳性能的P的启动参数的值。我们的技术可以应用于并行程序一般,以及通用的性能预测模型,占程序和硬件参数。我们对针对众核加速器的计划特别感兴趣。我们已经实施并成功地测试了我们的技术的背景下,GPU内核写在CUDA使用MWP-CWP性能预测模型。
2019-11-05 cs.DC cs.PF
Fast Histograms using Adaptive CUDA Streams
直方图在医学成像、网络入侵检测、数据包分析等基于流的高吞吐量应用中有着广泛的应用。然而,在将此类软件栈移植到GPU时,直方图的计算是一个典型的瓶颈,主要是由于原子操作对内核速度产生很大影响。在这项工作中,我们提出了一个基于流的模型,在CUDA中实现,使用一个新的自适应内核,可以根据延迟隐藏的CPU计算进行优化。我们还探讨了使用新内核与股票NVIDIA SDK内核的权衡,并讨论了智能内核切换方法的流的基础上退化标准,自适应地计算从输入流。
2010-11-01 cs.DC cs.PF
Computing Optimal Cycle Mean in Parallel on CUDA
有向加权图的最优圈均值计算在程序分析,特别是性能验证中有着广泛的应用。在本文中,我们提出了一个数据并行算法解决这个问题,并显示如何计算的最佳周期平均可以有效地加速CUDA技术的手段。我们展示了如何将最佳循环均值的计算问题分解为一系列数据并行图形计算原语,并展示了如何实现这些原语并优化CUDA计算。最后,我们报告了一个五倍的实验速度的图形表示模型的分布式系统相比,最好的顺序算法。
2011-11-02 cs.DC cs.DS
A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems
异构系统在高性能计算(HPC)系统上变得越来越普遍。即使使用像CUDA和OpenCL这样的工具,在GPU上获得最佳性能也是一项重要的任务。简化此任务的方法包括Merge(用于异构多核系统的基于库的框架),Zippy(用于在多个GPU上并行执行代码的框架),BSGP(用于GPU上通用计算的新程序设计语言)和CUDA-lite(基于注释转换代码的CUDA增强)。此外,正在努力改进编译器工具,以实现GPU仿射循环嵌套的自动并行化和优化,以及将OpenMP并行代码自动转换为CUDA。在本文中,我们提出了一种替代方法:一个新的计算框架的大规模数据的并行科学代码的应用程序,适用于这样的千万亿次/亿亿次混合动力系统的高度可扩展的仙人掌框架的发展。作为其实用性的第一个非平凡的演示,我们成功地开发了一个新的3D CFD代码,实现了改进的性能。
2012-01-10 cs.DC
Parallel Paradigms in Modern HPC: A Comparative Analysis of MPI, OpenMP, and CUDA
本文比较了MPI、OpenMP和CUDA三种HPC并行模型,分析其架构、性能与适用性,指出混合方法在异构环境中效果最佳,选择需依应用、硬件和开发约束而定。
2025-06-18 cs.DC
cuVegas: Accelerate Multidimensional Monte Carlo Integration through a Parallelized CUDA-based Implementation of the VEGAS Enhanced Algorithm
本研究提出基于CUDA的VEGAS+算法实现cuVegas,优化GPU多维积分的工作负载分配,相比CPU实现提速2-3个数量级,比现有最优GPU实现快2倍。
2024-08-17 cs.DC
Annotation-Driven Migration of CUDA Programs to Tenstorrent Blackhole
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出一种基于MLIR的编译器,利用声明式注释将CUDA HPC内核迁移至Tenstorrent Blackhole,实现空间映射与核间协调,在多个基准上获得最高4.2倍加速。
2026-10-05 cs.DC
CUDA Kernel Optimization and Counter-Free Performance Analysis for Depthwise Convolution in Cloud Environments
Leibniz University Hannover(汉诺威莱布尼茨大学);Institute for Information Processing (TNT)(信息处理研究所);L3S Research Center(L3S研究中心)
本文研究了CUDA内核优化对深度卷积性能的影响,提出了一种无需硬件计数器的云环境性能分析方法,通过对比不同内核实现,发现 warp-tiled 内核在运行时和端到端训练速度上有显著提升。
2026-04-29 cs.DC cs.SY eess.SY
Agentic Kernel Optimization: Generating State-of-the-Art GPU Kernels Without Hand-Written CUDA
Intellifusion Inc.(英智融合有限公司)
该研究构建多智能体编排框架Houmao的GPU内核优化工作流,利用通用代码智能体在无需手动CUDA代码的情况下,生成的GPU内核在多个任务上实现远超PyTorch和FlashInfer基线的加速,在竞赛中取得最优结果,证明代码智能体可作为GPU内核开发的有效自主优化器。
2026-08-18 cs.DC cs.SE
LightScan: Faster Scan Primitive on CUDA Compatible Manycore Processors
扫描(或前缀和)是并行计算中的基本且广泛使用的原语。在本文中,我们提出了LightScan,一个更快的并行扫描原语CUDA使GPU,它研究了一个混合模型相结合的块内计算和块间通信来执行扫描。该算法采用warp shuffle函数实现快速块内计算,并利用全局一致的L2缓存和相关的并行线程执行(PTX)汇编指令实现轻量级块间通信。使用单个Tesla K40 c GPU进行的性能评估表明,LightScan优于现有的GPU算法和实现,与在同一GPU上运行的领先CUDPP、Thrust、ModernGPU和CUB实现相比,其加速比分别高达2.1、2.4、1.5和1.2。此外,LightScan在16个CPU内核和英特尔至强融核5110P协处理器上的运行速度分别比英特尔TBB快8.9倍和257.3倍。LightScan的源代码可在http://cupbb.sourceforge.net上获得。
2016-04-17 cs.DC
OptiML: An End-to-End Framework for Program Synthesis and CUDA Kernel Optimization
Iowa State University, Ames, Iowa, USA(爱荷华州立大学);Cisco AI Research, San Jose, California, USA(思科人工智能研究);University of Southern California, Los Angeles, California, USA(南加州大学)
OptiML通过端到端框架将自然语言意图或输入代码转化为高性能CUDA内核,结合搜索与验证技术实现优化。
2026-02-12 cs.AI cs.DC cs.LG
Enabling predictable parallelism in single-GPU systems with persistent CUDA threads
针对现代单 GPU 难以提供实时时间保证的问题,本文提出利用持久化 CUDA 线程打开 GPU 架构黑盒,以实现 GPU 内部的可预测并行执行。
2023-10-02 cs.DC
DNA sequence alignment: An assignment for OpenMP, MPI, and CUDA/OpenCL
本文介绍一项并行计算课程作业,以多模式精确DNA序列比对的暴力解法为载体,训练学生用OpenMP、MPI及CUDA/OpenCL实现并行化,并覆盖竞态条件、归约、通信和推测计算终止等关键概念。
2024-09-09 cs.DC
A Case Study in CUDA Kernel Fusion: Implementing FlashAttention-2 on NVIDIA Hopper Architecture using the CUTLASS Library
Colfax Research(科尔法克斯研究)
本研究使用CUTLASS库在NVIDIA Hopper架构上实现FlashAttention-2前向传播的融合CUDA内核,阐述融合相关技术与挑战,实验显示其在H100 PCIe GPU上的FLOPs/s较Ampere架构优化版高20-50%。
2023-12-19 cs.DC cs.LG
GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study
本研究比较了浅层神经网络中前向和反向传播的三种CUDA优化策略(平铺共享内存、预转置权重矩阵、融合MatMul+ReLU核),在NVIDIA Tesla T4上实现1.41倍加速。
2026-06-29 cs.DC cs.LG
GPGPU Computing
自从第一个将GPU用于通用计算的想法出现以来,多年来事情已经发展,现在有几种GPU编程的方法。GPU计算实际上始于NVIDIA推出的CUDA(计算统一设备架构)和AMD推出的Stream。这些是GPU供应商设计的API,与他们提供的硬件一起使用。OpenCL(Open Computing Language)是一种新兴的标准,它试图统一不同的GPU通用计算API实现,并为编写跨CPU和GPU组成的异构平台执行的程序提供了一个框架。OpenCL使用基于任务和基于数据的并行性提供并行计算。本文将重点介绍NVIDIA推出的CUDA并行计算架构和编程模型。我们将介绍CUDA编程模型的优点。我们还将比较两种主要的方法,CUDA和AMD APP(STREAM)以及试图统一GPGPU计算模型的新框架OpenCL。
2014-08-29 cs.DC
OpenCL/CUDA algorithms for parallel decoding of any irregular LDPC code using GPU
支持并行数据处理的多核架构的发展导致了一种范式的转变,这对通信系统产生了重大影响。本文提供了一个可扩展的并行迭代LDPC解码器的方法,在一个教程为基础的风格。该算法适用于任意非规则LDPC码的译码,不受最大节点度的限制,并包含伴随式的并行计算。这是迄今为止提出的算法的主要区别。所提出的方法可以在支持大规模并行计算的应用中实现,例如GPU或FPGA设备。最后讨论了基于OpenCL和CUDA框架的LDPC译码器的实现,并给出了性能评估。
2017-09-26 cs.DC cs.IT math.IT
Recognition of convolutional neural network based on CUDA Technology
针对具有高浮点运算性能的流处理器图形处理器(GPU)是否适用于神经网络的问题,提出了卷积神经网络(CNN)的并行识别算法,该算法采用统一计算设备架构(CUDA)技术,定义了并行数据结构,描述了计算任务在CUDA上的映射机制。比较了在GTX200硬件架构的GPU上实现的并行识别算法和在CPU上实现的串行识别算法。速度提高近60倍。结果表明,基于GPU的流处理器架构比CPU更适用于与神经网络相关的一些应用。
2018-08-27 cs.DC cs.NE
Dynamic Memory Management on GPUs with SYCL
High Performance Coders(高性能编码者)
本文将高效的CUDA动态内存管理库Ouroboros移植到SYCL平台,利用其跨平台特性进行性能对比测试,验证其在非CUDA平台上的可行性。
2025-09-09 cs.DC
Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start
University of Michigan(密歇根大学);UC Berkeley(加州大学伯克利分校);Duke(杜克大学)
Foundry通过模板化CUDA图上下文材料化,减少LLM服务冷启动延迟,提升启动速度并保持吞吐量。
2026-04-08 cs.DC cs.LG
CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning
DeepReinforce Team(深强化团队)
CUDA-L1通过对比强化学习提升CUDA优化,实现显著加速并展示出优化策略的可移植性和有效性。
2026-11-11 cs.AI cs.DC cs.LG
Integration of CUDA Processing within the C++ library for parallelism and concurrency (HPX)
经验表明,在当今的高性能系统上,很难将不同的加速卡的利用与系统的所有其它部分的高利用结合起来。随着内核数量的增加以及存储层次结构的加深,未来的架构(如百亿亿次集群)预计会加剧这一问题。分布式应用程序的一个重要方面是保证所有可用资源的高利用率,包括集群上的本地或远程加速卡,同时充分利用所有可用的CPU资源,并将GPU工作集成到整个编程模型中。对于CUDA代码的集成,我们扩展了HPX,一个通用的C++运行时间系统,用于任何规模的并行和分布式应用程序,并使异步数据传输和GPU设备和异步调用CUDA内核对这些数据。这两个操作都很好地集成到HPX的通用编程模型中,允许将任何GPU操作与主内核上的工作无缝重叠。任何用户定义的CUDA内核都可以在分布式应用程序可用的任何(本地或远程)GPU设备上启动。我们提出了异步实现的数据传输和内核启动CUDA代码的HPX异步执行图的一部分。使用这种方法,我们可以在集群上组合所有远程和本地可用的加速卡,以充分利用其性能。开销测量表明,作为HPX执行图的一部分,异步操作(数据传输+内核启动)的集成不会带来额外的计算开销,并显着简化了主内核和所使用的GPU设备上的协调和并发工作。
2018-10-26 cs.DC cs.PL
A Versatile Software Systolic Execution Model for GPU Memory-Bound Kernels
本文提出了一种通用的高性能执行模型,灵感来自脉动阵列,内存受限的规则内核运行在CUDA使能的GPU。我们制定了一个脉动模型,转移部分和CUDA翘曲原语的计算。我们还采用寄存器文件作为缓存资源,以有效地操作整个模型。我们展示了所提出的模型的有效性和通用性,用于HPC中常见的各种模板内核,以及卷积内核(在深度学习工作负载中越来越重要)。我们的算法优于最先进的模板实现,包括复杂的时间和空间阻塞技术的实现,在两个最新的Nvidia架构:特斯拉V100和P100。对于一般滤波器大小和形状的2D卷积,我们的算法在V100和P100 GPU上的平均速度比Nvidia的NPP快2.5倍。
2019-09-06 cs.DC
Solving the Resource Constrained Project Scheduling Problem Using the Parallel Tabu Search Designed for the CUDA Platform
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出了一种求解资源受限项目调度问题的并行禁忌搜索算法。为了处理这个NP-难的组合问题,已经进行了许多优化。例如,通过启发式算法选择资源评估算法,并设计了有效的禁忌表。除此之外,提出了一种容量索引的资源评估算法,GPU(图形处理单元)版本使用同构模型来减少所需的通信带宽。实验结果表明,GPU版本在计算时间和解的质量方面优于优化的并行CPU版本。与其他现有的算法相比,所提出的解决方案往往给出更好的质量解决方案。
2017-11-13 cs.AI cs.DC
SET: Stream-Event-Triggered Scheduling for Efficient CUDA Graph Pipelines
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对GPU调度开销和同步延迟问题,提出基于多流任务并行流水线模型和图执行流的CUDA运行时框架,实现1.15-1.44倍加速并减少18-54%调度开销。
2026-06-03 cs.AR cs.DC
A Hybrid Parallel Implementation of the Aho-Corasick and Wu-Manber Algorithms Using NVIDIA CUDA and MPI Evaluated on a Biological Sequence Database
多个匹配算法被用来从一个有限的模式集在一个大的输入字符串中定位模式的出现。Aho-Corasick和Wu-Manber是两种最著名的多重匹配算法,它们需要更高的计算能力,特别是在必须处理大规模数据集的情况下,这在计算生物学应用中很常见。在过去的几年里,图形处理单元(GPU)已经发展成为强大的并行处理器,在科学计算中优于中央处理单元(CPU)。此外,可以并行使用多个GPU,形成混合计算机集群配置,以实现更高的处理吞吐量。本文评估的Aho-Corasick和Wu-Manber算法在混合GPU集群上的并行实现的加速比,当用于处理人类基因组的表达序列标签的快照和不同的问题参数。
2014-07-10 cs.CE cs.DC
Deep Learning and Machine Learning with GPGPU and CUDA: Unlocking the Power of Parallel Computing
Georgia Institute of Technology(佐治亚理工学院);Indiana University(印第安纳大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Hawaii(夏威夷大学);Kyoto University(京都大学);Emory University(埃默里大学);Sichuan University(四川大学);AppCubic;Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);National Taiwan Normal University(台湾师范大学)
本研究探讨GPGPU和CUDA在深度学习与机器学习中的并行计算应用,分析架构特性、优化策略及多框架实践案例,为不同经验从业者提供综合指南,助力释放GPU并行计算潜力以推动AI发展。
2025-11-19 cs.AR cs.DC
High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs
虽然并行性仍然是性能的主要来源,但架构实现和编程模型会随着每一代新硬件而变化,这通常会导致成本高昂的应用程序重新设计。大多数用于性能可移植性的工具都需要手动和昂贵的应用程序移植到另一个编程模型。我们提出了一种替代方法,自动翻译程序写在一个编程模型(CUDA),到另一个(CPU线程)的基础上Polygeist/MLIR。我们的方法包括一个表示的并行结构,允许传统的编译器转换应用透明,无需修改,并使并行特定的优化。我们通过编译和优化CUDA Rodinia多核CPU基准套件来评估我们的框架,并实现了76%的几何加速比。此外,我们还展示了PyTorch的CUDA内核如何在仅CPU的超级计算机Fugaku上高效运行和扩展,而无需用户干预。我们的PyTorch兼容性层使用了编译的CUDA PyTorch内核,比PyTorch CPU原生后端的性能高出2.7 $\times$。
2022-07-01 cs.DC cs.PL
LLM-Based Porting of Optimized C++ to CUDA Through Deoptimization and Reoptimization
Nagoya University(名古屋大学)
提出Deopt-Reopt工作流,通过先简化CPU优化代码再重新翻译优化为CUDA,利用LLM提升移植性能,实验表明该方法在部分内核上有效但非普遍适用。
2026-06-04 cs.DC
RAFI -- A Ray/Work Forwarding Infrastructure for Data Parallel Multi-Node/Multi-GPU Computing
NVIDIA(英伟达);Bilkent University(比尔肯特大学);SCI Institute, University of Utah(犹他大学计算研究所);University of Cologne(科隆大学);NASA Ames Research Center(NASA艾姆斯研究中心);IT4Innovations, VSB -Technical University of Ostrava(Ostrava理工大学IT4创新中心)
提出基于CUDA和MPI的软件框架RaFI,简化GPU数据并行计算中射线等工作项在不同GPU间迁移的实现,通过统一接口管理底层通信。
2026-05-28 cs.DC cs.GR
Performance assessment of CUDA and OpenACC in large scale combustion simulations
GPU已经爬到了超级计算机系统的顶端,这使得许多传统科学代码的生存变得更加困难。如今,许多食谱都在使用这样的代码的可移植性,没有任何明确的是最好的选择。我们提出了一个比较分析的两个最常见的方法,CUDA和OpenACC,到多物理场CFD代码Alya。我们的重点是燃烧问题,这是计算要求最高的CFD模拟之一。详细分析了代码中计算最密集的部分。已经创建了用于矩阵组装步骤的新的数据结构以促进有利于CPU中的向量化和GPU中的流处理的SIMD执行。因此,CPU代码将其性能提高了25%。在GPU执行中,CUDA已经证明比OpenACC快2倍。相反,在与线性求解器中使用的向量运算相关的内核中获得了类似的性能,其中存在最小的存储器重用。
2021-07-31 cs.DC
Can Tensor Cores Benefit Memory-Bound Kernels? (No!)
本研究通过理论和实证分析,证明张量核心在内存受限内核(如STREAM Scale、SpMV和stencil)上相比CUDA核心最多仅能获得1.33倍加速,无法带来可靠的性能提升,挑战了先前研究的结论。
2025-02-27 cs.DC cs.PF
Improving the performance of the linear systems solvers using CUDA
并行计算可以为几乎任何领域的大型应用程序提供巨大的性能优势:科学计算、计算机视觉、数据库、数据采掘和经济学。GPU是高性能众核处理器,可以获得非常高的FLOP速率。自从第一个使用GPU进行通用计算的想法以来,事情已经发展,现在有几种GPU编程方法:NVIDIA的CUDA和AMD的Stream。CUDA现在是C/C++程序员在GPU上进行通用计算的流行编程模型。大量应用程序被移植到CUDA编程模型,与优化的CPU实现相比,它们获得了数量级的加速提升。在本文中,我们提出了一个实现的图书馆解决线性系统使用CCUDA框架。我们提出的性能测试结果表明,使用GPU可以获得约80倍的CPU实现相比,加速比。
2015-11-23 cs.DC
CUDA MPC: A GPU-Native Solver for Model Predictive Control
本文提出GPU原生MPC框架CUDA MPC,通过协同设计优化算法等实现低开销,在多机器人基准测试中实时性远超CPU及同类框架,是首个实现10智能体集群无碰撞协调的实时求解器。
2026-08-05 cs.DC cs.RO cs.SY
GPU Acceleration of Awkward Arrays: Using Python cuda.compute
Princeton University(普林斯顿大学)
本文提出基于 Python CCCL 的 Awkward Array CUDA 执行模型,消除自定义内核,支持操作融合与惰性优化,提升高能物理分析中 GPU 性能与可扩展性。
2026-10-07 cs.DC cs.PF cs.SE
Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Nanchang Hangkong University(南昌航空大学);EEO Tech(EEO科技);University of Washington(华盛顿大学);AWS(亚马逊云计算服务)
该研究扩展im2win卷积范式,在GPU CUDA核心和Tensor Core上实现多精度支持,经12个CNN基准测试,其性能优于cuDNN等现有方法,内存开销显著降低,成为统一高性能卷积框架。
2026-08-24 cs.CV cs.DC
cuSten -- CUDA Finite Difference and Stencil Library
在本文中,我们提出了cuSten,一个新的函数库,以处理在CUDA中的2D和批处理1D有限差分/模板程序的实现。cuSten将数据处理、内核调用和流处理打包成四个易于使用的功能,加快了GPU平台上数字代码的开发速度。本文还给出了一个应用该库求解Cahn-Hilliard方程的例子,该求解器利用ADI方法和周期性边界条件,该求解器还用于对串行实现的cuSten库性能进行基准测试。
2019-09-04 cs.DC physics.comp-ph
HPCTransCompile: An AI Compiler Generated Dataset for High-Performance CUDA Transpilation and LLM Preliminary Exploration
Tongji University(同济大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
本文提出HPCTransCompile框架,利用AI编译器自动生成高性能CUDA转译数据集并引入图增强方法和HPCTransEval基准,实验表明LLM在CUDA到CPU转译中平均加速比提升43.8%。
2025-07-04 cs.AI cs.DC
The implementation and optimization of Bitonic sort algorithm based on CUDA
本文详细介绍了双调排序算法,并基于cuda架构实现了双调排序算法,同时针对GPU的特点对实现细节进行了两次有效的优化,大大提高了效率。最后,我们通过比较快速排序算法在CPU上的加速比,对GPU上优化的Bitonic排序算法排序算法进行了研究,由于快速排序算法不适合并行实现,但在一定程度上比CPU上的其他排序算法更有效,因此,我们对GPU上的Bitonic排序算法和CPU上的快速排序算法进行了加速比和性能比较。对一系列32位的随机整数,实验结果表明,我们的工作的加速近20倍,当数组大小为216左右时,加速比甚至高达30。
2015-06-04 cs.DC
ML-Based Optimum Number of CUDA Streams for the GPU Implementation of the Tridiagonal Partition Method
RIKEN Center for Computational Science(理化学研究所计算科学中心)
本文提出一种启发式方法,通过现代AI导向方法中常用的工具,用于确定GPU实现三对角划分法的最优CUDA流数,建立了GPU实现划分法的时间复杂度模型,并进一步建立了在多个CUDA流上执行划分算法的细化时间复杂度模型,通过不同SLAE尺寸的计算实验确定了每个尺寸的最优CUDA流数,并基于收集的数据利用回归分析建立了非主导GPU操作总时间模型,创建了CUDA流创建的开销时间非线性拟合模型,对所有建立的模型进行了统计分析,提出了寻找最优CUDA流数的算法,并利用该算法和上述两个模型进行预测,通过与实际数据的比较,认为该算法效果良好。
2025-01-10 cs.DC
Developing a High Performance Software Library with MPI and CUDA for Matrix Computations
如今,并行计算的范式正在发生变化。CUDA现在是GPU上通用计算的流行编程模型,大量应用程序被移植到CUDA,与优化的CPU实现相比,获得了数量级的加速。将消息传递模型与用于并行计算的共享内存模型相结合的混合方法是非常大型应用程序的解决方案。我们考虑了一个异构集群,它使用MPI和CUDA将CPU和GPU计算结合起来,以开发高性能线性代数库。我们的图书馆处理大型线性系统求解器,因为它们是科学和工程领域的常见问题。由于高存储器需求和计算成本,用于计算此类系统的解的直接方法可能非常昂贵。一种有效的替代方法是只计算解的近似值的迭代法。在本文中,我们提出了一个实现的库,使用MPI和CUDA实现直接和迭代线性系统求解器的混合计算模型。我们的库使用MPI/CUDA组合实现了基于LU和Cholesky分解的求解器和一些非平稳迭代法。我们比较了我们的MPI/CUDA实现的性能与经典的程序写在一个单一的CPU上运行。
2015-11-23 cs.DC cs.MS
HIERA: Workload-Aware Planning Across Implementation Spaces for GPU Kernel Optimization
Shanghai Key Laboratory of Scalable Computing and Systems(上海可扩展计算与系统重点实验室);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院)
HIERA是一种跨实现空间的GPU内核优化分层规划框架,在KernelBench实验中优于无训练方法,还在科学计算模板算子上实现1.53倍加速,无需额外训练即可接近CUDA-L1性能。
2026-08-24 cs.AI cs.DC
DiVinE-CUDA - A Tool for GPU Accelerated LTL Model Checking
在本文中,我们提出了一个工具,执行CUDA加速LTL模型检验。该工具利用调整到NVIDIA CUDA架构的并行算法MAP,以有效地检测有向图中接受循环的存在。接受循环检测是基于自动机的LTL模型检验的核心算法过程。我们证明了该工具优于非加速版本的算法,我们讨论了该工具的限制,我们打算在未来做什么,以避免它们。
2009-12-14 cs.DC cs.SE