mKernel: Fast Multi-GPU, Multi-Node Fused Kernels
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；UCLA（加州大学洛杉矶分校）；University Politehnica of Bucharest（布加勒斯特理工大学）
mKernel提出多GPU多节点融合内核库，通过SM划分、分层数据移动和GPU驱动网络，在块粒度重叠计算与通信，显著加速分布式训练与推理。
2026-09-15 cs.AI cs.DC cs.LG
SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits
NVIDIA
SOL-ExecBench通过235个CUDA内核优化问题，针对NVIDIA Blackwell GPU的硬件极限，提出基于Speed-of-Light（SOL）的基准测试方法，评估内核优化效果。
2026-03-19 cs.AI cs.LG
Omniwise: Predicting GPU Kernels Performance with LLMs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Omniwise，首个将LLMs应用于GPU内核性能预测的端到端自监督微调流水线，无需执行代码即可直接从内核代码预测内存带宽等关键指标，在AMD MI250和MI300X上90%预测相对误差低于10%。
2025-06-25 cs.AI cs.LG
A Simple Model for Portable and Fast Prediction of Execution Time and Power Consumption of GPU Kernels
Heidelberg University（海德堡大学）
表征GPU上的计算内核执行行为以实现高效的任务调度是一项重要的任务。我们通过一个简单的模型来解决这个问题，仅使用独立于硬件的功能在不同的GPU之间实现便携式快速预测。该模型基于随机森林构建，使用来自Parboil，Rodinia，Polybench-GPU和SHOC等基准测试的189个独立计算内核。使用交叉验证对模型性能进行评估，得出的平均百分比误差（MAPE）中位数为8.86-52.00%和1.84- 2.94%，分别用于五个不同GPU的时间功率预测，而单个预测的延迟在15到108毫秒之间变化。
2020-09-30 cs.DC cs.LG cs.PF
FIKIT: Priority-Based Real-time GPU Multi-tasking Scheduling with Kernel Identification
University of Chicago（芝加哥大学）
针对云GPU共享中现有方案缺乏内核级优先级优化的问题，提出FIKIT内核级调度策略，利用高优任务内核间空闲执行低优任务，显著加速高优任务且开销低于5%。
2024-02-01 cs.DC cs.LG
Automating Energy-Efficient GPU Kernel Generation: A Fast Search-Based Compilation Approach
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
针对GPU部署深度神经网络（DNNs）能耗高的问题，本文提出基于搜索的编译方法，结合能效搜索过程、高级内核特征能耗成本模型及动态更新策略，生成的GPU内核能耗降低达21.69%且保持低延迟。
2024-11-28 cs.LG cs.PF
Optimizing Memory Efficiency for Convolution Kernels on Kepler GPUs
University of Notre Dame（圣母大学）
卷积是计算机视觉、自然语言处理、图像处理等许多应用中的基本操作。最近卷积神经网络在各种深度学习应用中的成功对快速卷积提出了更高的要求。图形处理单元（GPU）的高计算吞吐量和内存带宽使GPU成为加速卷积运算的自然选择。然而，最大限度地利用GPU的可用内存带宽进行卷积是一项具有挑战性的任务。针对GPU的存储体宽度与线程的计算数据宽度不匹配的问题，提出了一种通用的模型。基于这个模型，我们开发了两个卷积核，一个用于一般情况，另一个用于具有一个输入通道的特殊情况。通过仔细优化内存访问模式和计算模式，我们设计了一个通信优化的内核的特殊情况下和通信减少的内核的一般情况下。基于Kepler GPU实现的实验数据显示，我们的内核在特殊情况和一般情况下分别比最新的cuDNN库实现了5.16倍和35.5%的平均性能提升。
2017-05-29 cs.DC cs.LG
KernelFoundry: Hardware-aware evolutionary GPU kernel optimization
Intel Corporation（英特尔公司）
KernelFoundry通过MAP-Elites搜索、元提示进化和模板参数优化，高效探索GPU内核设计空间，实现SYCL内核在KernelBench上的2.3倍加速。
2026-09-04 cs.DC cs.LG
KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
Red Hat（红帽公司）
KernelOPT提出多智能体系统，通过保留库调用并优化Triton子内核，结合四门验证级联，在250个KernelBench问题上实现最高1.40倍加速。
2026-10-07 cs.AI cs.DC cs.LG
daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization
University of Science and Technology of China（中国科学技术大学）
提出daVinci-kernel框架，通过强化学习联合训练技能选择、策略生成和技能总结三个智能体，共享LLM骨干，实现GPU内核优化，在KernelBench上超越先前最优模型。
2026-07-28 cs.AI cs.CL cs.LG
Sparse GPU Kernels for Deep Learning
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏，但在GPU上实现实际的加速是困难的，因为这些应用具有相对中等的稀疏性水平，不足以使现有的稀疏内核优于其密集的对应物。在这项工作中，我们研究了深度学习应用中的稀疏矩阵，并确定了可用于加速计算的有利属性。基于这些见解，我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络：稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核，我们展示了稀疏的Transformer和MobileNet模型，实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省，而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection
University of Iowa（爱荷华大学）；University of Minnesota（明尼苏达大学）；Individual Researcher（独立研究者）；AIScientists, Inc. (MorphMind)（AIScientists公司（MorphMind））；Department of Statistics and Actuarial Science, University of Iowa（爱荷华大学统计与精算科学系）
提出GPU加速的核学习库TorchKM，通过智能复用矩阵运算加速SVM、核逻辑回归等模型的训练与模型选择，性能优于标准基线。
2026-06-09 cs.LG stat.ML
KernelBench: Can LLMs Write Efficient GPU Kernels?
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
针对编写高效GPU核函数的挑战，提出开源基准KernelBench评估LLMs生成能力，引入fast_p指标，实验显示前沿模型表现最佳但仅20%案例匹配PyTorch基线，迭代反馈可改善结果但基准难度随阈值提升而增加。
2025-02-14 cs.AI cs.LG cs.PF
Kernel Operations on the GPU, with Autodiff, without Memory Overflows
Université de Montpellier（蒙彼利埃大学）；École Normale Supérieure（巴黎高等师范学院）；Université de Paris（巴黎大学）
KeOps库为张量提供了快速且内存高效的GPU支持，张量的条目由数学公式给出，例如内核和距离矩阵。KeOps解决了以张量为中心的库在内核和几何应用中的主要瓶颈：内存消耗。它还支持自动微分，性能优于标准GPU基线，包括PyTorch CUDA张量或Halide和TVM库。KeOps将优化的C++/CUDA方案与用于高级语言的绑定器相结合：Python（Numpy和PyTorch）、Matlab和GNU R。因此，高级“二次”代码现在可以扩展到大型数据集，在几秒钟内处理数百万个样本。KeOps为内核方法带来了类似图形的性能，并且可以在标准存储库（PyPi，CRAN）上免费获得。为了展示其多功能性，我们在\url{www.kernel-operations.io}上提供了各种设置的在线教程。
2021-04-08 cs.LG
AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents
AMD
本文提出AgentKernelArena，一个用于评估GPU核优化代理的开源基准，通过隔离工作区和统一评分机制，测试代理在不同任务和硬件目标上的性能和通用化能力，发现大多数任务在正确性和编译效率上表现优异，但在PyTorch到HIP的转换任务中存在显著的正确性下降。
2026-05-16 cs.AI cs.CL cs.LG
Geak: Introducing Triton Kernel AI Agent & Evaluation Benchmarks
Advanced Micro Devices, Inc.（先进微器件公司）
针对GPU内核自动化开发需求，本研究提出GEAK框架与Triton内核评估套件，结合推理时计算扩展和Reflexion风格反馈推理循环，在AMD GPU上实现了优于基线的内核生成正确率与执行速度。
2025-07-31 cs.AI cs.CL cs.LG
MusaCoder: Native GPU Kernel Generation with Full-Stack Training on Moore Threads GPU
Moore Threads AI
提出MusaCoder全栈训练框架，结合渐进式数据合成、多样性保持拒绝微调和基于执行反馈的强化学习，在CUDA和MUSA后端上生成高效原生GPU内核，9B模型匹配前沿闭源模型，27B模型达到新最优。
2026-06-03 cs.CL cs.CV cs.LG
GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs
School of Software Engineering, Xi'an Jiaotong University, China（软件工程学院，西安交通大学）
该研究提出一种LLM框架，通过最小可执行程序实现无需完整构建的GPU内核优化，提升性能并降低开发成本。
2025-12-15 cs.AI cs.DC cs.LG
CuTeGen: An LLM-Based Agentic Framework for Generation and Optimization of High-Performance GPU Kernels using CuTe
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）
本文提出CuTeGen，一种基于LLM的代理框架，通过CuTe抽象层实现GPU内核的生成和优化，通过结构化生成-测试-优化工作流，在标准基准测试中实现了比PyTorch快1.71倍的速度提升，并在生成成本相近的情况下优于现有代理基线CudaForge。
2026-06-03 cs.AI cs.DC cs.LG
ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels
针对模型规模扩大导致GPU间通信成为AI工作负载瓶颈、现有系统无法跨异构工作负载和新加速器达到理论峰值性能的问题，提出极简CUDA框架ParallelKittens，通过少量可复用原则简化重叠多GPU内核开发，在多种并行工作负载上实现显著加速。
2025-11-17 cs.DC cs.LG
A User's Guide to $\texttt{KSig}$: GPU-Accelerated Computation of the Signature Kernel
University of Oxford（牛津大学）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文介绍了兼容Scikit-Learn的GPU加速签名核计算Python包KSig，并提出一种基于张量草图的新算法，其性能优于现有算法。
2025-01-14 cs.LG stat.ML
CUDA-LLM: LLMs Can Write Efficient CUDA Kernels
Shanghai Jiao Tong University（上海交通大学）
针对大语言模型难以生成高性能GPU适配代码的问题，提出特征搜索与强化框架FSR，可联合优化CUDA代码的正确性与运行效率，生成的内核速度最高超人类手写代码179倍，为GPU编程自动化提供新路径。
2025-06-10 cs.AI cs.LG
Communication-Avoiding Linear Algebraic Kernel K-Means on GPUs
Cornell University（康奈尔大学）；University of Trento（特伦托大学）
本文提出了一种基于多GPU的通信回避线性代数核K均值算法，通过分布式内存并行算法实现大规模数据集的高效聚类，显著提升了计算效率和扩展性。
2026-01-28 cs.DC cs.LG
Optimal Kernel Tuning Parameter Prediction using Deep Sequence Models
National University of Sciences and Technology（国防科技大学（巴基斯坦））；AMD Inc.（超威半导体公司）
本文将 GPU 内核调优参数预测建模为序列翻译问题，提出深度 seq2seq 架构与结合硬件约束的束搜索，在 MIOpen 卷积内核上达到超过 90% 的准确率。
2024-04-15 cs.AI cs.LG
AutoKernel: Autonomous GPU Kernel Optimization via Iterative Agent-Driven Search
RightNow AI
本文提出AutoKernel框架，通过智能体驱动的迭代搜索优化PyTorch模型的GPU内核，通过自动化测试验证确保性能提升，实测在NVIDIA H100上多个任务中均取得显著性能优势。
2026-03-22 cs.LG cs.PF
KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
提出KernelZero协同进化框架，通过生成器与编码器交替优化及CA-GRPO策略，在保证正确性后优化性能，显著提升GPU内核生成效率，超越多个基线模型。
2026-09-29 cs.LG cs.SE
Record-Remix-Replay: Hierarchical GPU Kernel Optimization using Evolutionary Search
本文提出Record-Remix-Replay框架，结合LLM驱动的进化搜索、贝叶斯优化和记录回放编译技术，高效探索GPU内核优化，提升科学应用性能并加快优化速度。
2026-04-13 cs.AI cs.DC cs.LG
FastKernels: Benchmarking GPU Kernel Generation in Production
Snowflake AI Research（Snowflake AI研究院）；CMU（卡内基梅隆大学）；UCSD（加州大学圣地亚哥分校）；Independent Researcher（独立研究者）
针对现有基准与生产推理框架脱节的问题，提出FastKernels基准，包含46个代表性架构，覆盖96.2%的HuggingFace Transformers架构，并作为生产级推理框架，评估显示最强代理仅实现0.94倍加速，揭示基准-生产错位是关键瓶颈。
2026-10-05 cs.AI cs.CL cs.LG
Nautilus: An Auto-Scheduling Tensor Compiler for Efficient Tiled GPU Kernels
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nautilus是一种新型张量编译器，通过端到端系统联合应用高层优化、表达式重写和瓷砖优化，实现从数学描述自动发现FlashAttention-3类内核，提升GPU性能。
2026-04-16 cs.LG cs.PL
The Correctness Illusion in LLM-Generated GPU Kernels
Arizona State University, USA（亚利桑那州立大学）
通过高精度CPU参考和操作模式感知的模糊测试，发现现有基准测试中基于固定形状的allclose检查无法检测LLM风格的转录错误，提出一种新协议并验证其有效性。
2026-07-22 cs.DC cs.LG cs.SE
AttnFuse: A Composable DSL for Compiling Attentions to Fused GPU Kernels
University of Wisconsin–Milwaukee（威斯康星大学密尔沃基分校）
AttnFuse是一个针对注意力机制的小型可组合DSL，将RoPE等乘法前变换作为一等操作，编译为单个融合GPU内核，在RTX 3090上比flex_attention快2.10倍，在H100上接近PyTorch手工后端性能，并揭示了旋转演算规则。
2026-09-15 cs.LG
D2K-Bench: Can LLM Agents Turn Expert Designs into Efficient GPU Kernels?
HKUST（香港科技大学）；Alibaba Group（阿里巴巴集团）；USTC（中国科学技术大学）
D2K-Bench通过26个任务和85个工作负载诊断基准，评估LLM智能体在专家设计指导下生成GPU内核的效率，实验表明指导显著提升正确率与性能，并揭示未实现的设计属性。
2026-10-05 cs.AI cs.DC cs.LG
GPU Goldmines: Tunable WebGPU Kernels for Edge LLM Inference
UC Santa Cruz（加州大学圣克鲁兹分校）；EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
针对边缘 LLM 推理中 WebGPU 内核性能适配难题，提出 GPU Goldmines 框架，实例化 LLM 关键内核并构建性能数据库，在 Llama、Qwen 形状上实现矩阵乘法内核性能显著提升。
2026-10-14 cs.DC cs.LG cs.PF
MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms
University of Rochester（罗切斯特大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出MGG系统，通过动态软件流水线实现多GPU平台GNN内核内细粒度计算与通信重叠，结合负载均衡与运行时优化，性能显著优于现有系统。
2023-06-27 cs.DC cs.LG
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University（耶鲁大学）；University of Southern California（南加州大学）
针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
AdaptGear提出利用子图层级密度特征定制内核并动态选择最优内核集合，以平衡稀疏性收益与执行效率，在NVIDIA GPU上实现GNN训练最高6.49倍加速。
2023-05-27 cs.DC cs.LG
Optimizing Data Collection in Deep Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
众所周知，强化学习（RL）工作负载需要很长的训练时间，因为在运行时从模拟器收集了大量的样本。不幸的是，集群扩展方法仍然昂贵，并且模拟器的常用CPU实现在GPU计算之间来回切换时会产生很高的开销。我们探索了两种优化方法，通过提高GPU利用率来提高RL数据汇集效率：（1）GPU矢量化：在GPU上并行化模拟以提高硬件并行性，以及（2）模拟器内核融合：融合多个模拟步骤以在单个GPU中运行内核启动以降低全局内存带宽需求。我们发现，GPU矢量化可以实现高达$1024\times$加速比常用的CPU模拟器。我们分析了不同实现的性能，并表明对于一个简单的模拟器，GPU矢量化的ML编译器实现（XLA）通过减少重复Python到DL后端API调用的CPU开销，通过$13.4\times$优于DNN框架（PyTorch）。我们发现，模拟器内核融合加速与一个简单的模拟器$11.3\times$和增加高达$1024\times$作为模拟器的复杂性增加方面的内存带宽的要求。我们表明，从模拟器内核融合的加速是正交的，并与GPU矢量化相结合，导致乘法加速。
2022-07-15 cs.LG
Performance Optimization of Deep Learning Sparse Matrix Kernels on Intel Max Series GPU
Old Dominion University（老道明大学）；Intel Corporation（英特尔公司）
本文利用英特尔 oneAPI 的 ESIMD SYCL 扩展 API 优化了 SPMM、SDDMM 和 FusedMM 三种稀疏矩阵运算，在英特尔 Max 系列 GPU 上实现接近峰值性能，并优于 oneMKL 及 NVIDIA V100 上的 CUDA 实现。
2023-11-01 cs.LG cs.MS
Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group（阿里巴巴集团）
针对GPU上不规则工作负载难以安排和执行的问题，提出将其静态批处理为单kernel的通用框架，并应用于MoE模型推理，实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
Bayesian Optimization for auto-tuning GPU kernels
Netherlands eScience Center（荷兰电子科学中心）；University of Amsterdam（阿姆斯特丹大学）
为可调GPU内核找到最佳参数配置对于大搜索空间来说是一项重要的工作，即使是自动化的。这在非凸搜索空间上提出了一个优化任务，使用昂贵的未知导数来评估函数。这些特征使贝叶斯优化成为一个很好的候选者，以前没有应用于这个问题。然而，贝叶斯优化的应用，这个问题是具有挑战性的。我们演示了如何处理粗糙的，离散的，有约束的搜索空间，包含无效的配置。我们引入了一个新的上下文方差探索因子，以及新的采集功能，提高了可扩展性，结合知情的采集功能选择机制。通过比较我们的贝叶斯优化实现在各种测试用例的性能，现有的搜索策略在内核调谐器，以及其他贝叶斯优化实现，我们证明了我们的搜索策略推广良好，并始终优于其他搜索策略的大幅幅度。
2021-11-26 cs.DC cs.LG cs.PF
Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization
Amazon（亚马逊）；Siemens（西门子）；University of Minnesota（明尼苏达大学）
提出KernelPro闭环多智能体系统，通过LLM代码生成与硬件剖析反馈及可插拔瓶颈检测工具迭代优化GPU内核，在KernelBench上实现2.42x/4.69x/5.30x加速比，并首次兼顾能效优化。
2026-08-11 cs.LG
FlashMoE: Fast Distributed MoE in a Single Kernel
Cornell University（康奈尔大学）
FlashMoE提出将专家计算与GPU间通信融合进单一持久GPU内核，通过细粒度流水线和设备发起的单侧(R)DMA传输消除调度与通信开销，在8个H100 GPU上相比基线实现最高9倍GPU利用率、6倍延迟降低和5.7倍吞吐量提升。
2025-11-08 cs.AR cs.DC cs.LG
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；IBM Research（IBM研究院）
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长，推动了许多神经网络的规模和内存需求，超出了可用加速器的能力。稀疏深度神经网络（SpDNN）已经显示出控制大型神经网络内存占用的前景。然而，在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性，我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明，所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍，在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现，我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
RESOLVE: Language-Agnostic Validation of GPU Kernels Through Testing, Reduction, and Proof
University of California, Riverside（加州大学河滨分校）；Math, Inc.（Math公司）；Microsoft Research（微软研究院）
RESOLVE结合测试与形式化验证，通过扰动测试、降并发重写和F*/Pulse证明，实现GPU内核的语言无关验证，并成功验证融合GEMM及发现巨型内核中的新错误。
2026-10-06 cs.DC cs.LG cs.PL
pySigLib -- Fast Signature-Based Computations on CPU and GPU
Department of Mathematics Imperial College London（数学系帝国理工学院伦敦）
针对序列数据签名方法扩展性不足的问题，提出高性能Python库pySigLib，在CPU和GPU上优化签名及签名核计算，兼容PyTorch自动微分，并引入新微分方案以极低运行时间提供准确梯度。
2025-09-12 cs.LG cs.MS stat.ML
GCL-Sampler: Discovering Kernel Similarity for Sampled GPU Simulation via Graph Contrastive Learning
University of Science and Technology of China（中国科学技术大学）
GCL-Sampler通过图对比学习发现GPU模拟中的核相似性，实现高保真度和显著加速。
2026-02-28 cs.AR cs.LG cs.PF
rl-triton: High-Performance Triton GPU Kernels for Reinforcement Learning Credit Assignment
该研究推出开源库rl-triton，用Triton实现统一关联扫描框架，将7种RL估计算法统一为一阶线性递推，在大规模并行模拟中实现1.6至5.7倍的速度提升。
2026-08-20 cs.DC cs.LG cs.PF
