AMD补齐CUDA之外的训练库：10万级内核数据喂给本地AI

论文导读

AMD发布AMDKernelVault，把62153条执行验证的HIP内核、39893条Triton内核和2377条ROCm问答整理成训练资源，并用它训练本地8B模型智能体。它补上了GPU代码AI长期偏向CUDA的数据缺口；但正确性来自指定测试与硬件环境，不能等同于所有程序都更快或可直接生产部署。

论文信息 arXiv 2609.12471

AMDKernelVault: Large-Scale Datasets and Agentic Training for AMD GPU Kernel Optimization

AMDKernelVault：面向AMD GPU内核优化的大规模数据集与智能体训练

作者 Ji Liu, Saptarshi Majumder, Yiqing Huang, Wenwen Ouyang, Umang Pandey, Zeping Li, Chushi Chen, Zihao An, Puyuan Yang, Zekai Li, Sina Rafati, Ziqiong Liu, Pratik Prabhanjan Brahma, Dong Li, Zicheng Liu, Sharon Zhou, Emad Barsoum

发表机构 超威半导体公司

展开完整论文资料

作者

Ji Liu, Saptarshi Majumder, Yiqing Huang, Wenwen Ouyang, Umang Pandey, Zeping Li, Chushi Chen, Zihao An, Puyuan Yang, Zekai Li, Sina Rafati, Ziqiong Liu, Pratik Prabhanjan Brahma, Dong Li, Zicheng Liu, Sharon Zhou, Emad Barsoum

机构

超威半导体公司Advanced Micro Devices, Inc.

Comments

N pages, 3 figures, including appendix. First four authors contributed equally. Code: this https URL (https://github.com/AMD-AGI/hip_kernel_llm_lab) Data: this https URL (https://huggingface.co/datasets/amd/AIG-Datasets)

AI 总结

本文提出AMDKernelVault，一个包含HIP和Triton内核的大规模语料库及智能体训练框架，通过HIPKernelGen和TritonKernelGen流水线生成并验证内核，训练Qwen3-8B在多个基准上取得最高正确率，弥补了AMD GPU内核优化的空白。

GPU内核AI也有数据偏科

大模型会写普通代码，不代表会写好GPU内核。内核需要处理线程布局、内存访问和硬件约束，代码能编译只是第一关，还必须在真实设备上运行正确。现有公开训练集大量围绕CUDA，使用AMD GPU的开发者很难获得同等规模、经过执行验证的HIP与Triton样本。

AMDKernelVault的做法是先收集问题与参考实现，再让代码生成器提出候选，由编译、运行和测试组成的评估器筛掉错误结果。失败信息会回到反思步骤，促使模型改写，而通过的等价实现才进入高质量数据。

论文图：代码生成器、执行评估器与反思步骤构成闭环，通过测试的HIP或Triton内核进入数据集。

10万级资源不只是一堆代码

数据规模由三部分组成：62153条经过执行验证的HIP内核、39893条Triton内核，以及2377条面向ROCm开发的问答。问答部分补充工具链、移植和调试知识，内核部分则提供从任务描述到可运行实现的配对。

团队还把训练设计成“智能体”形式。模型先理解PyTorch或功能描述，生成内核，读取编译与测试反馈，再决定是否修正。这样训练目标不只是模仿代码表面，而是学会用外部验证判断结果是否真的等价。

论文图：不同训练阶段的奖励和评估曲线，用于观察执行反馈是否转化为更高正确率。

本地8B模型是这个资源的主要验证对象。它的意义在于开发者不必每次调用前沿闭源模型，也能在本地硬件上完成部分内核生成与修正。不过，模型规模小不代表运行成本为零，执行测试仍需要可用的ROCm环境和对应GPU。

结果看Pass@k，也要看测试边界

论文使用Pass@k衡量多次生成中至少有一个候选通过测试的概率，并比较代码生成、修正和最终执行正确性。训练后的模型在三项核心正确率指标上优于论文列出的对比模型，说明面向AMD生态的数据和执行反馈确实有帮助。

论文图：不同模型在ROCmBench内核任务上的Pass@k曲线，展示多次采样下的通过率变化。

但“通过测试”只说明候选满足当前用例，并不自动证明数值稳定性、边界输入、安全性或跨硬件兼容性。论文也没有把所有结果概括为统一加速倍率，因此不能把数据规模直接理解为性能承诺。

下一步是把正确变成稳定且更快

这套资源适合内核迁移、自动调优和ROCm开发辅助。后续最关键的工作，是加入更多真实工作负载、不同AMD架构和更严格的数值误差测试，并把性能回归、能耗和编译稳定性纳入奖励。

对于企业内部使用，更实际的路径是让模型先生成候选，再由持续集成在目标GPU上验证，最后由工程师审查。数据集解决了“有没有足够样本”的问题，生产系统仍要解决“在我的硬件和输入上是否可靠”。

参考资料

https://arxiv.org/abs/2609.12471

https://arxiv.org/html/2609.12471

https://github.com/AMD-AGI/hip_kernel_llm_lab

https://huggingface.co/datasets/amd/AIG-Datasets