Study of Automatic GPU Offloading Technology for Open IoT
物联网技术已经取得了进展。开放式物联网（Open IoT）的概念通过整合水平分离的设备和服务来实现各种物联网服务。对于开放物联网时代，我们提出了隐性计算技术，以发现用户需要的数据设备，并动态使用它们。然而，现有的默会计算并不关心性能和操作成本。因此，本文提出了一种GPU自动卸载技术，作为默会计算的基础技术，该技术利用遗传算法提取合适的卸载循环语句来提高性能。我们评估了一个C/C++矩阵操作，以验证GPU卸载的有效性，并确认在1小时的调整时间内性能提高了35倍以上。
2018-06-04 cs.DC
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究院）；School of Software, Beihang University（北京航空航天大学软件学院）
针对GNN训练依赖昂贵平台的问题，提出A3GNN框架，通过局部感知采样、细粒度并行调度及强化学习优化资源利用，在CPU-GPU异构平台实现经济、自适应、自动化训练，提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
Automatic Multi-GPU Code Generation applied to Simulation of Electrical Machines
电气和电子工程已经使用并行编程来解决其大规模的复杂问题的性能的原因。然而，由于并行编程需要任务和数据的非平凡分布，开发人员发现很难有效地实现他们的应用程序。因此，为了降低设计的复杂性，我们提出了一种方法来生成代码的混合架构（如CPU + GPU）使用OpenCL，异构系统的并行编程的开放标准。该方法基于模型驱动工程（MDE）和对象管理组织（OMG）提出的MARTE规范。其目的是为并行编程的非专家提供资源，以实现他们的应用程序。此外，由于模型重用能力，我们可以添加/更改功能或目标架构。因此，这种方法可以帮助行业实现其上市时间限制，并通过实验测试证实，使用多GPU环境可以提高性能。
2011-07-04 cs.DC
ZEUS: An Efficient GPU Optimization Method Integrating PSO, BFGS, and Automatic Differentiation
Old Dominion University（老道明大学）；Fermi National Accelerator Laboratory（费米国家加速器实验室）
本文提出ZEUS方法，结合PSO、BFGS和自动微分，利用GPU加速高维非凸优化，通过PSO生成初始点，BFGS并行优化，自动微分避免手动求导，实验验证其有效性。
2026-01-22 cs.DC
Every Kernel Is a Join: Automatic Multi-GPU Parallelism for AI Computations in Einsummable
Rice University（莱斯大学）
Einsummable是自动将AI计算分布到多GPU服务器的原型系统，通过连接-聚合规格选择分解方式，在8个GPU A100服务器上处理LLaMA Transformer块的性能优于手动调优的PyTorch和vLLM。
2026-09-04 cs.DC
ACC Saturator: Automatic Kernel Optimization for Directive-Based GPU Code
本文提出 ACC Saturator，利用 equality saturation 自动优化基于指令的 GPU 顺序内核代码，在保持依赖的前提下重写并提取最优方案，显著提升多个编译器性能。
2024-09-17 cs.DC
Study of Automatic Offloading Method in Mixed Offloading Destination Environment
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上，我提出了环境适应软件，根据要放置的硬件，可以自动转换，配置和高性能操作一次编写的代码。然而，包括现有的技术，还没有研究适当地和自动地卸载混合卸载目标环境，如GPU、FPGA和多核CPU。本文作为环境自适应软件的一个新元素，研究了在GPU、FPGA和多核CPU混合卸载环境下，应用程序的合理自动卸载方法。我评估所提出的方法在多个应用程序的有效性。
2021-07-10 cs.DC
Syncopate: Efficient Multi-GPU AI Kernels via Automatic Chunk-Centric Compute-Communication Overlap
University of California, San Diego（加州大学圣地亚哥分校）；Meta；George Mason University（乔治梅森大学）；OpenAI
Syncopate通过在单个融合内核内实现细粒度的计算通信重叠，提高了多GPU工作负载的效率，平均加速1.3倍，最高达4.7倍。
2026-07-02 cs.DC
A Tool for Automatically Suggesting Source-Code Optimizations for Complex GPU Kernels
未来的计算系统，从手持设备到超级计算机，无疑将比今天的系统更加并行和异构，以提供更高的性能和能源效率。因此，GPU越来越多地用于加速通用应用，包括具有数据依赖性、不规则控制流和存储器访问模式的应用。然而，日益增长的复杂性、暴露的存储层次结构、不一致性、异构性和并行性将使得基于加速器的系统逐渐更难以编程。在可预见的未来，绝大多数程序员将不再能够从下一代系统中提取额外的性能或节能，因为编程将过于困难。自动性能分析和优化推荐工具有可能避免这种情况。它们包含专业知识，并在需要时提供给软件开发人员。在本文中，我们描述和评估这样的工具。
2019-10-17 cs.DC cs.PF cs.SE
GPU Support for Automatic Generation of Finite-Differences Stencil Kernels
石油和天然气行业中待处理数据的增长与基于模板计算的不断发展的算法所提出的要求相匹配，例如全波形反演和逆时偏移。图形处理单元（GPU）由于其高度的数据并行性而成为模板计算的有吸引力的体系结构目标。然而，快速的体系结构和技术进步使得即使是最熟练的程序员也很难在微体系结构级别上保持与技术进步同步。在这项工作中，我们提出了一个扩展的开源编译器，旨在产生高度优化的有限差分内核用于反演方法命名为Devito。我们嵌入它与牛津并行域特定语言（OP-DSL），以使自动代码生成的GPU架构从一个高层次的表示。我们的目标是使用户能够在符号表示级别上编码，从而毫不费力地通过GPU架构的处理能力来利用他们的实现。在NVIDIA GTX Titan Z和NVIDIA Tesla V100上对所实现的后端进行了评估，并通过屋顶线模型对3D声学各向同性波传播模板内核的不同空间顺序离散化级别进行了操作强度评估，并进行了符号优化。它实现了V100峰值性能的63%和Titan Z峰值性能的24%，用于256点网格上的模板内核。我们的研究表明，提高内存使用率应该是最有效的策略，利用性能的评估架构上实现的解决方案。
2019-12-02 cs.DC
Automatic BLAS Offloading on Unified Memory Architecture: A Study on NVIDIA Grace-Hopper
针对代码移植GPU需大量工作且现有自动卸载工具因数据传输成本高不实用的问题，本研究利用NVIDIA Grace-Hopper的统一内存架构，提出无需代码更改或重新编译的自动BLAS卸载工具，在量子化学/物理代码测试中获显著性能收益。
2025-04-15 cs.DC
Supporting Very Large Models using Automatic Dataflow Graph Partitioning
New York University（纽约大学）
本文介绍了Tofu，这是一个在多个GPU设备上划分非常大的DNN模型的系统，以减少每个GPU的内存占用。Tofu旨在划分细粒度张量运算符的低维图，以便透明地与MXNet等通用深度学习平台一起工作。为了自动划分每个操作符，我们建议描述一个操作符的语义在一个简单的语言，表示张量的lambda函数映射从张量坐标值。为了最佳地划分一个图中的不同操作符，豆腐使用递归搜索算法，最大限度地减少总的通信成本。我们在8-GPU机器上的实验表明，Tofu可以训练非常大的CNN和RNN模型。它还实现了25% - 400%的加速比替代方法的训练非常大的模型。
2019-02-20 cs.DC cs.LG
Performant Automatic BLAS Offloading on Unified Memory Architecture with OpenMP First-Touch Style Data Movement
本文提出SCILIB-Accel工具，利用NVIDIA Grace-Hopper统一内存架构和Device First-Use数据移动策略，实现无需代码修改的自动BLAS卸载，在量子物理代码上获得显著加速。
2025-08-13 cs.DC cs.MS cs.PF
High Performance GPU Code Generation for Matrix-Matrix Multiplication using MLIR: Some Early Results
本报告介绍了使用MLIR编译器基础设施针对NVIDIA GPU上的张量核心进行代码生成的一些早期结果。当今最先进的高性能深度学习主要由手动优化的高度调优库驱动。开发这种库的方法通常不是模块化的，也不是像LLVM这样的编译器基础设施那样可重用的。手动优化通常不使用标准的中间表示（IR），尽管执行的优化可以被编码为IR上的一系列转换步骤和定制传递。手动调优还可能错过仅可通过自动代码生成轻松实现的设计点的探索。我们认为，直到最近推出的MLIR（多级中间表示），IR基础设施不适合以有效的方式解决自动生成特定领域的库的问题。特别是，使用单个IR很难在高、中、低级别上表示和转换计算抽象。通过MLIR中的适当抽象，我们构建了一个实验性的降低流水线，能够在NVIDIA GPU上自动生成针对其张量内核的矩阵-矩阵乘法代码。在我们评估的一组问题大小上，初始性能结果表明，在NVIDIA基于Ampere微架构的Geforce 3090 RTX上，FP 32和FP 16的性能分别达到CuBLAS的95-119%和80-160%。我们相信，这些结果可以作为进一步研究和开发自动代码和库生成使用类似的专业加速器的IR基础设施的动机。
2021-08-23 cs.DC cs.PF
JACC: An OpenACC Runtime Framework with Kernel-Level and Multi-GPU Parallelization
计算技术的快速发展为基于指令的编程模型在维护性能关键应用程序的软件可移植性方面发挥主要作用铺平了道路。在这种模型上的努力涉及最少的工程成本，用于在多个架构上实现计算加速，而程序员仅需要在顺序代码上添加Meta信息。然而，获得最佳可能效率的优化通常具有挑战性。程序员插入指令可能会导致限制可用编译器优化的副作用，这可能导致性能下降。这在针对多GPU系统时加剧，因为杂注不会自动适应此类系统，并且需要程序员进行昂贵且耗时的代码调整。本文介绍了JACC，OpenACC运行时框架，使OpenACC程序的动态扩展作为一个透明的程序和编译器之间的层。我们增加了一个通用的代码翻译方法，多设备利用手动优化的应用程序可以自动分发，同时保持原始的代码结构和并行性。在某些情况下，我们展示了NVIDIA V100 GPU的内核执行部分几乎是线性扩展的。当自适应地使用多GPU时，由此产生的性能改进分摊了GPU到GPU通信的延迟。
2022-04-27 cs.DC
The Fused Kernel Library: A C++ API to Develop Highly-Efficient GPU Libraries
针对现有GPU库多函数串联时资源利用率低、融合内核开发成本高的问题，提出基于C++17元编程的GPU库构建方法，可编译期自动生成定制融合内核，实现2至1000倍以上性能提升，同时保留高级可编程性。
2025-09-06 cs.DC
GPU-Accelerated Compression and Visualization of Large-Scale Vessel Trajectories in Maritime IoT Industries
自动识别系统（AIS）是一种自动船舶跟踪系统，已被广泛用于海上物联网（IoT）行业的智能交通管理和避碰服务。随着海上交通的快速发展，大量基于AIS的船舶航迹数据被采集，使得航迹数据压缩成为迫切需要和具有挑战性的问题。本文主要研究大规模血管轨迹的压缩和可视化及其图形处理单元（GPU）加速实现。通过可视化研究了压缩对血管轨迹数据质量的影响。特别是，Douglas-Peucker（DP）和核密度估计（KDE）算法，分别用于轨迹压缩和可视化，通过GPU架构的大规模并行计算能力显着加速。本文对三个不同水域的大规模AIS船舶运动数据进行了轨迹压缩和可视化的综合实验，长江口南港、成山角和舟山群岛。实验结果表明：（1）所提出的基于GPU的并行实现框架可以显著减少轨迹压缩和可视化的计算时间;（2）如果选择合适的压缩阈值，压缩血管轨迹对轨迹可视化的影响可以忽略不计;（3）通过与其他7种核函数的比较，发现高斯核函数能够产生更合适的基于KDE的可视化性能。
2020-04-19 cs.DC eess.SP
PRAGMA: A Profiling-Reasoned Multi-Agent Framework for Automatic Kernel Optimization
School of Computer Science and Engineering（计算机科学与工程学院）
PRAGMA通过整合执行反馈和硬件剖析，利用AI生成高性能内核，实现比现有方法更优的性能提升。
2025-11-24 cs.AI cs.DC
GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs
School of Software Engineering, Xi'an Jiaotong University, China（软件工程学院，西安交通大学）
该研究提出一种LLM框架，通过最小可执行程序实现无需完整构建的GPU内核优化，提升性能并降低开发成本。
2025-12-15 cs.AI cs.DC cs.LG
GPU-Tile-Sim: A Tile-Centric GPU Simulation Framework for LLM Hardware-Software Co-Design
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
研究针对大语言模型中GPU内核给性能模型带来的挑战，提出GPU-Tile-Sim框架，以瓦片图表示内核执行，设计前后端，在多种工作负载上评估，精度高，还扩展到Blackwell验证其对设计分析的有效性。
2026-07-14 cs.DC
Benchmarking optimization algorithms for auto-tuning GPU kernels
近年来，由于图形处理单元（GPU）以相对低的成本具有高并行计算能力，因此其应用和能力显著增长。然而，编写计算高效的GPU程序（内核）是具有挑战性的，并且通常只有某些特定的内核配置才能显著提高性能。自动调优是自动优化软件以在目标硬件平台上高效执行的过程。自动调整对于GPU编程特别有用，因为单个内核需要在代码更改后针对不同的输入数据和不同的架构进行重新调整。然而，搜索空间的离散和非凸性质产生了具有挑战性的优化问题。在这项工作中，我们研究哪种算法产生最快的内核，如果调整任务的时间预算是不同的。我们进行了一项调查，26个不同的内核空间，从9个不同的GPU，16个不同的进化黑箱优化算法进行实验。然后，我们分析这些结果，并介绍了一种新的度量的基础上的PageRank中心性的概念作为一种工具，深入了解的困难的优化问题。我们证明，我们的度量与观察到的调谐性能密切相关。
2022-10-04 cs.DC cs.GR cs.PF
