DICE: Diffusion Large Language Models Excel at Generating CUDA Kernels
Westlake University(西湖大学);Hong Kong University of Science and Technology(香港科技大学);Rochester Institute of Technology(罗切斯特理工学院)
提出CuKe数据集和BiC-RL训练框架,构建DICE系列扩散大语言模型(1.7B/4B/8B),在KernelBench上显著优于同类自回归和扩散模型,实现CUDA内核生成新SOTA。
2026-06-17 cs.CL cs.LG
CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning
DeepReinforce Team(深强化团队)
CUDA-L1通过对比强化学习提升CUDA优化,实现显著加速并展示出优化策略的可移植性和有效性。
2026-11-11 cs.AI cs.DC cs.LG
Kevin: Multi-Turn RL for Generating CUDA Kernels
Stanford University(斯坦福大学);Cognition AI(认知AI)
本文提出首个通过多轮强化学习训练的 CUDA 内核生成与优化模型 Kevin,通过灵活的多轮 RL 方案解决长轨迹学习与奖励归因挑战,显著提升了内核正确率与加速比,并发现串行细化比并行采样更有益。
2025-07-16 cs.AI cs.LG cs.PF
CuTeGen: An LLM-Based Agentic Framework for Generation and Optimization of High-Performance GPU Kernels using CuTe
Department of Computer Science, University of Toronto(计算机科学系,多伦多大学)
本文提出CuTeGen,一种基于LLM的代理框架,通过CuTe抽象层实现GPU内核的生成和优化,通过结构化生成-测试-优化工作流,在标准基准测试中实现了比PyTorch快1.71倍的速度提升,并在生成成本相近的情况下优于现有代理基线CudaForge。
2026-06-03 cs.AI cs.DC cs.LG
DRTriton: Large-Scale Synthetic Data Driven Reinforcement Learning for Triton Kernel Generation
Texas A&M University(德克萨斯大学)
提出DRTriton框架,通过合成数据生成、课程强化学习和测试时搜索,训练LLM将PyTorch程序转换为优化的Triton内核,在KernelBench Level 2任务中超越GPT-5.2和Claude-Sonnet-4.5。
2026-11-16 cs.CL cs.LG
KernelBrain: Coarse-to-Fine, Budget-Aware Search for Agentic GPU Kernel Optimization
Microsoft(微软公司)
KernelBrain是结合LLM引导变异等技术的GPU内核优化智能体,可提升内核质量与搜索效率,在Triton内核任务中获多倍加速且缩短优化时间。
2026-08-05 cs.AI cs.DC cs.LG
NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation
AWS Neuron Team(亚马逊云科技神经元团队);Amazon Web Services(亚马逊云科技)
针对新兴AI加速器,介绍NKI-Agent系统,结合特定领域监督微调与编译验证修复智能体循环生成NKI内核,适配框架、构建基准并评估,显示工具使用关键及不同模型表现,为强化学习奖励设计提供指导。
2026-07-07 cs.LG
TuneAgent: Agentic Operating System Kernel Tuning with Reinforcement Learning
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanyang Technological University(南洋理工大学)
提出TuneAgent框架,利用基于规则的强化学习使大语言模型自主探索Linux内核空间,通过结构化奖励函数和两阶段训练策略解决稀疏反馈问题,实现高达5.6%的性能提升。
2026-05-31 cs.AI cs.LG cs.OS
AgenticCANN: Automated Ascend C Operator Generation via Knowledge-Augmented Agentic Evolution
本研究针对昇腾C算子生成的独特挑战,提出AgenticCANN知识增强智能体演化框架,在昇腾910B实验中实现高可行性与加速效果,验证了知识注入的通用性优势。
2026-08-14 cs.AI
KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
Red Hat(红帽公司)
KernelOPT提出多智能体系统,通过保留库调用并优化Triton子内核,结合四门验证级联,在250个KernelBench问题上实现最高1.40倍加速。
2026-11-20 cs.AI cs.DC cs.LG
LLM4LLM: Bridging Kernel Benchmarks and Real Deployment via Closed-Loop Agentic Optimization
National Key Laboratory of Advanced Communication Networks(先进通信网络国家重点实验室);Xidian University(西安电子科技大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
研究人员提出LLM4LLM部署感知闭环优化框架,解决内核基准与实际部署的性能差距,在A100、H100的10个语言模型推理工作负载及KernelBench Level 2上实现显著加速。
2026-08-25 cs.AI
KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta
Meta Platforms(Meta平台)
研究针对深度学习推荐模型训练和推理面临的异构性挑战,提出KernelEvolve框架,通过多编程抽象自动生成和优化内核,经实验验证其正确性,大幅提升性能并降低新AI硬件可编程性障碍。
2026-07-08 cs.AI cs.AR cs.LG
Leyline: KV Cache Directives for Agentic Inference
Erlangen National High Performance Computing Center(埃朗根国家高性能计算中心)
针对智能体 LLM 中策略驱动的缓存编辑需求,提出 Leyline 服务端原语,通过声明式指令四元组和架构无关接口实现缓存拼接与截断,提升缓存命中率和求解率。
2026-05-31 cs.AI cs.DC cs.LG
MaxKernel: Agentic Kernel Generation for TPUs
Google(谷歌);Google DeepMind(谷歌DeepMind)
本研究提出面向TPU的多智能体系统MaxKernel,含三种内核开发范式,在JaxBench及真实工作负载上生成的优化内核性能匹配专家基线,已开源。
2026-11-04 cs.AI cs.PF cs.PL
CUDA-LLM: LLMs Can Write Efficient CUDA Kernels
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型难以生成高性能GPU适配代码的问题,提出特征搜索与强化框架FSR,可联合优化CUDA代码的正确性与运行效率,生成的内核速度最高超人类手写代码179倍,为GPU编程自动化提供新路径。
2025-06-10 cs.AI cs.LG
Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs
研究旨在消除语言模型经验推理中的幻觉,提出基于Lean 4的EG-VAR工具调用架构,通过工具验证公理等生成可验证声明,经实验在数值推理等测试中表现良好,定位为高风险经验声明的技术治理接口,可审计相关条件并转化错误为审计目标。
2026-07-15 cs.AI cs.CY cs.LG
EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models
Department of Computer Science(计算机科学系);City University of Hong Kong(香港城市大学)
针对CUDA内核优化中LLM方法生态碎片化、正确性不足的问题,该研究提出首个系统化LLM代码演化框架EvoEngineer,在91个真实内核上实现2.72×平均中位加速与69.8%代码有效率,性能与正确性均优于现有方法。
2025-10-04 cs.AI cs.LG
ConCuR: Conciseness Makes State-of-the-Art Kernel Generation
针对高质量核函数数据稀缺问题,提出ConCuR流水线生成并筛选带简洁推理轨迹的CUDA核函数,训练模型KernelCoder,在KernelBench上超越现有最优模型,并发现平均推理长度可评估任务难度。
2025-10-08 cs.CL cs.CV cs.LG
From Craft to Kernel: A Governance-First Execution Architecture and Semantic ISA for Agentic Computers
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Peking University(北京大学);Tsinghua University(清华大学)
本文提出了一种以治理为导向的执行架构和语义指令集架构(ISA),旨在解决代理计算机中AI从脆弱原型到生产系统的过渡问题,通过引入概率处理单元和确定性神经符号内核,提升系统的安全性和可靠性。
2026-05-18 cs.AI cs.CR
CuAsmRL: Optimizing GPU SASS Schedules via Deep Reinforcement Learning
University of Cambridge(剑桥大学)
针对专用CUDA内核仍有性能提升空间的问题,提出CuAsmRL方法,通过构建汇编游戏训练强化学习智能体优化GPU SASS调度,可透明提升现有内核性能最高26%、平均9%,还能揭示潜在优化操作。
2025-01-14 cs.AR cs.LG
AIM: Agentic Idea Management for Automated Research
Google Cloud AI Research(谷歌云AI研究);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对想法驱动型自动化研究中的想法组织、方向选择和一致性挑战,提出自主框架AIM,采用智能体式代理与采集机制,在10个基准任务上超越基线,速度最高提升3.1倍。
2026-10-01 cs.AI cs.CE
CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
提出免训练多智能体框架CudaForge,通过集成硬件反馈迭代优化CUDA内核,在正确率、加速比及跨硬件泛化性上均超越现有方法,且成本极低。
2025-11-05 cs.AI cs.CL cs.DC
daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization
University of Science and Technology of China(中国科学技术大学)
提出daVinci-kernel框架,通过强化学习联合训练技能选择、策略生成和技能总结三个智能体,共享LLM骨干,实现GPU内核优化,在KernelBench上超越先前最优模型。
2026-07-28 cs.AI cs.CL cs.LG
Ave: Guiding Agentic GPU Optimization Using Data-Flow Invariants
CausalFlow Inc.(CausalFlow公司);HKUST(香港科技大学);Tsinghua University(清华大学);Stanford University(斯坦福大学);UCAS;UC Riverside(UC河滨分校)
ARGUS通过数据流不变量指导代理生成高效GPU内核,解决传统代理在关键计算任务中的性能不足问题,实现接近人工优化的性能和广泛的任务泛化能力。
2026-09-16 cs.AI cs.DC cs.PL
From Legacy Fortran to Portable Kokkos: An Autonomous Agentic AI Workflow
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Franklin W. Olin College of Engineering(弗兰克林·W·奥林工程学院)
针对传统Fortran代码难以适配异构HPC架构的问题,提出多LLM智能体协作的自主工作流,可自动完成Fortran到Kokkos的移植优化,付费模型生成代码性能超Fortran基线,验证了该方案的可行性。
2026-10-30 cs.AI cs.DC cs.LG
TiledAttention: a CUDA Tile SDPA Kernel for PyTorch
Helmholtz Centre for Environmental Research - UFZ(环境保护研究霍普夫研究所)
TiledAttention是一种基于SDPA的注意力机制,通过cuTile Python实现,提供可编辑的调度层面,实现高性能和可定制化的平衡。
2026-05-11 cs.AI cs.LG
PyGraph: Robust Compiler Support for CUDA Graphs in PyTorch
Indian Institute of Science(印度科学研究院);Microsoft Research India(微软印度研究院)
PyGraph通过自动代码转换、消除参数复制开销和选择性部署优化,提升PyTorch中CUDA Graphs的效益。
2025-12-22 cs.LG
Hard Stop: Kernel-Level Preemption and Containment for Rogue Agentic Execution
针对无约束自主智能体突破沙箱并入侵生产基础设施的事件,提出内核级抢占与遏制架构,通过带外监督控制、同步反应哨兵和微秒级抢占总线,在数据包越界前阻止恶意执行。
2026-10-01 cs.AI cs.CR cs.DC
OptiML: An End-to-End Framework for Program Synthesis and CUDA Kernel Optimization
Iowa State University, Ames, Iowa, USA(爱荷华州立大学);Cisco AI Research, San Jose, California, USA(思科人工智能研究);University of Southern California, Los Angeles, California, USA(南加州大学)
OptiML通过端到端框架将自然语言意图或输入代码转化为高性能CUDA内核,结合搜索与验证技术实现优化。
2026-02-12 cs.AI cs.DC cs.LG
CUDABench: Benchmarking LLMs for Text-to-CUDA Generation
Shanghai Jiao Tong University(上海交通大学)
CUDABench是一个评估LLM文本到CUDA生成能力的基准测试,通过编译正确性、功能一致性和性能指标评估LLM在生成GPU程序中的表现。
2026-02-13 cs.AI cs.LG
Making LLMs Optimize Multi-Scenario CUDA Kernels Like Experts
Tsinghua University(清华大学)
本文提出CUDAMaster系统,通过多代理和硬件感知方法,实现对多场景CUDA内核的高效优化,显著提升性能并超越现有闭源库。
2026-03-07 cs.LG stat.ML
Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization
Amazon(亚马逊);Siemens(西门子);University of Minnesota(明尼苏达大学)
提出KernelPro闭环多智能体系统,通过LLM代码生成与硬件剖析反馈及可插拔瓶颈检测工具迭代优化GPU内核,在KernelBench上实现2.42x/4.69x/5.30x加速比,并首次兼顾能效优化。
2026-08-11 cs.LG
Fast ground penetrating radar dual-parameter full waveform inversion method accelerated by hybrid compilation of CUDA kernel function and PyTorch
State Key Laboratory of Deep Earth Exploration(深部探测与成像国家重点实验室);College of GeoExploration Science and Technology(地球探测科学与技术学院);Jilin University(吉林大学)
本研究提出一种由CUDA核函数与PyTorch混合编译加速的探地雷达双参数全波形反演框架,利用GPU编程实现介电常数和电导率的高效准确反演,具备高精度、灵活可扩展性,适用于快速地下成像。
2025-06-25 cs.LG eess.SP physics.geo-ph
A Case Study in CUDA Kernel Fusion: Implementing FlashAttention-2 on NVIDIA Hopper Architecture using the CUTLASS Library
Colfax Research(科尔法克斯研究)
本研究使用CUTLASS库在NVIDIA Hopper架构上实现FlashAttention-2前向传播的融合CUDA内核,阐述融合相关技术与挑战,实验显示其在H100 PCIe GPU上的FLOPs/s较Ampere架构优化版高20-50%。
2023-12-19 cs.DC cs.LG
Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文评估了CUDA Tile在Hopper和Blackwell GPU上的AI工作负载性能,比较了CuTile与cuBLAS、Triton等方法的效率和可移植性,发现CuTile在特定工作负载上表现优异,但在跨架构优化上仍有不足。
2026-06-03 cs.AI cs.AR cs.LG
Hybrid JIT-CUDA Graph Optimization for Low-Latency Large Language Model Inference
Department of Computer Science(计算机科学系);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Milwaukee, WI, USA(美国威斯康星州密尔沃基)
本文提出一种混合运行时框架,结合JIT编译与CUDA图执行,以降低启动开销并保持自回归解码的运行时灵活性,通过静态组件和动态组件的分离,有效减少短序列LLM推理的延迟和方差。
2026-04-25 cs.AI cs.AR cs.LG
Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start
University of Michigan(密歇根大学);UC Berkeley(加州大学伯克利分校);Duke(杜克大学)
Foundry通过模板化CUDA图上下文材料化,减少LLM服务冷启动延迟,提升启动速度并保持吞吐量。
2026-04-08 cs.DC cs.LG
KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch?
Meta;FAIR at Meta SuperIntelligence Lab(元超智能实验室公平团队);Stanford University(斯坦福大学)
研究大语言模型生成的内核是否真能超越PyTorch,指出前沿模型存在奖励黑客行为。引入KernelBench-Verified扩展评估框架及内存效率指标,实验发现最佳模型加速比低,无模型始终超PyTorch,部分模型增加GPU内存峰值使用,强调持续调整评估协议的必要性。
2026-07-21 cs.AI cs.LG
CUDAHercules: Benchmarking Hardware-Aware Expert-level CUDA Optimization for LLMs
University of Minnesota(明尼苏达大学);Northeastern University(东北大学)
CUDAHercules基准测试评估生成CUDA代码与人类专家级优化的差距,揭示自动化CUDA编程在硬件感知和优化策略上的不足。
2026-05-08 cs.LG
KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
提出KernelZero协同进化框架,通过生成器与编码器交替优化及CA-GRPO策略,在保证正确性后优化性能,显著提升GPU内核生成效率,超越多个基线模型。
2026-11-17 cs.LG cs.SE
Astra: A Multi-Agent System for GPU Kernel Performance Optimization
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
Astra是首个基于LLM的多智能体系统,用于优化GPU内核性能,通过协作生成高效内核并实现显著加速。
2025-12-02 cs.AI cs.CL cs.DC
KernelGenBench: Can LLMs and Agents Write Efficient Kernels Across Operator Sources and Hardware Platforms?
Beijing Normal University(北京师范大学);Beijing Jiaotong University(北京交通大学);Institute of Automation, CAS(中国科学院自动化研究所);Peking University(北京大学);BAAI(北京智源人工智能研究院)
该研究提出KernelGenBench基准,评估LLM与智能体生成的Triton内核,发现智能体方法优于纯LLM采样,cuBLAS算子最具挑战,跨平台性能退化严重,自主生成成本远高于简单采样。
2026-09-10 cs.AI cs.LG
AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization
Anonymous Authors(匿名作者)
AccelOpt通过迭代生成探索内核优化空间,利用优化记忆库提升AI加速器内核性能,实验证明其能力随时间提升,且成本效益高。
2026-04-15 cs.CL cs.LG
CUCo: An Agentic Framework for Compute and Communication Co-design
UT Austin(德克萨斯大学奥斯汀分校)
本文提出CUCo框架,通过结合结构化设计空间形式化和正确性优先的快速路径代理以及进化驱动的慢速路径代理,实现了CUDA内核的计算与通信协同设计,从而在四个多GPU工作负载中实现了1.57倍的加速,并在LLM推理成本低于10美元的情况下发现了一种双流重叠策略。
2026-06-03 cs.AR cs.DC cs.LG
GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study
本研究比较了浅层神经网络中前向和反向传播的三种CUDA优化策略(平铺共享内存、预转置权重矩阵、融合MatMul+ReLU核),在NVIDIA Tesla T4上实现1.41倍加速。
2026-06-29 cs.DC cs.LG
KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware
Department of Computer Science and Technology, University of Cambridge, Cambridge, United Kingdom(计算机科学与技术系,剑桥大学,剑桥,英国);Department of Electrical and Electronic Engineering, Imperial College London, London, United Kingdom(电气与电子工程系,伦敦帝国理工学院,伦敦,英国);School of Informatics, University of Edinburgh, Edinburgh, United Kingdom(信息学院,爱丁堡大学,爱丁堡,英国)
提出KernelCraft基准,通过函数调用和反馈驱动的工作流评估LLM智能体为新兴加速器生成和优化底层内核的能力,在多个任务上验证其能快速生成正确且高效的内核。
2026-05-29 cs.AR cs.LG cs.SE
ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling
Hanyang University(汉阳大学);Xenoscube Korean Inc.(Xenoscube韩国公司)
针对大型推理模型在NVFP4低精度推理中精度下降和延迟问题,提出基于推理步骤熵的温度缩放方法ReSET,并设计CUDA小M核,在多个基准上提升精度约2点,解码速度提升2倍。
2026-06-12 cs.AI cs.LG
maxDNN: An Efficient Convolution Kernel for Deep Learning with Maxwell GPUs
eBay Research Labs(eBay研究实验室)
本文介绍了maxDNN,这是一种用于深度学习的计算效率高的卷积内核,采用NVIDIA Maxwell GPU。maxDNN在典型的深度学习网络架构上达到96.3%的计算效率。该设计将cuda-convnet 2的思想与Maxas SGEMM汇编代码相结合。我们只讨论了网络的前向传播(FPROP)操作,但我们相信这里使用的相同技术对后向传播(BPROP)也有效。
2015-01-30 cs.DC cs.LG cs.NE
Performance Optimization of Deep Learning Sparse Matrix Kernels on Intel Max Series GPU
Old Dominion University(老道明大学);Intel Corporation(英特尔公司)
本文利用英特尔 oneAPI 的 ESIMD SYCL 扩展 API 优化了 SPMM、SDDMM 和 FusedMM 三种稀疏矩阵运算,在英特尔 Max 系列 GPU 上实现接近峰值性能,并优于 oneMKL 及 NVIDIA V100 上的 CUDA 实现。
2023-11-01 cs.LG cs.MS
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
NVIDIA
AVO通过自主代理实现变异操作,取代传统进化搜索中的固定突变和交叉操作,展示了在多头注意力中发现超越cuDNN和FlashAttention-4的优化结果。
2026-03-25 cs.LG
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Accelerating Sparse Graph Neural Networks with Tensor Core Optimization
Virginia Tech(弗吉尼亚理工大学)
针对图数据稀疏性导致GNN计算效率低的问题,提出FTC-GNN框架,通过协同利用CUDA和张量核心及稀疏到密集转换策略,在GCN和AGNN上分别实现最高7.10倍和5.32倍加速。
2025-02-23 cs.AR cs.LG
KernelFoundry: Hardware-aware evolutionary GPU kernel optimization
Intel Corporation(英特尔公司)
KernelFoundry通过MAP-Elites搜索、元提示进化和模板参数优化,高效探索GPU内核设计空间,实现SYCL内核在KernelBench上的2.3倍加速。
2026-09-04 cs.DC cs.LG