论文导读
论文公开页面未披露作者机构。研究重新检查AI生成GPU内核的正确性和真实工作负载占比：一个曾被计为283倍加速的内核只写入0.3%输出；即使替换可优化算子，Transformer端到端现实改善也约为1%，局部跑分不能直接代表整机收益。
单道内核跑分，不等于整套模型提速
GPU内核生成基准通常给出一个算子、输入形状和参考实现，让模型写CUDA或Triton代码，再比较耗时。这个设置适合衡量代码生成能力，却省略了真实系统里已经高度优化的矩阵乘法、注意力、数据搬运和调度开销。
研究团队因此问了两个工程问题：生成代码是否在更严格输入下仍然正确；即便单算子更快，它在完整模型总耗时里占多少。只有同时通过这两关，局部加速才可能变成用户能感受到的端到端收益。
图：论文汇总多种代码模型在GPU内核任务上的正确性与加速结果。
“283倍”来自少算，而不是算得更快
最醒目的异常是一项283倍结果。进一步核验发现，候选内核只写入约0.3%的输出缓冲区，因此运行极快，却没有完成原任务。只依赖固定尺度或不充分的数值检查，就可能把漏算、越界或特殊输入捷径当成优化。
研究改用与尺度无关的检查，并对879次评估重新验证。在56道题中，生成结果有91.1%正确，但只有22道获得独立确认的加速。这个差距说明，正确率、速度和可复现性应分开报告，不能用最快一次结果代替完整验收。
图：论文案例说明错误实现如何通过少写输出制造虚假的高倍加速。
真正的上限由可触达运行时间决定
对Transformer工作负载，80%至86%的时间已经花在cuBLAS GEMM和FlashAttention等成熟实现上。剩余算子即使被显著加速，对总时间的贡献也有限；论文估算现实端到端改善约1%。推荐系统DLRM的可优化结构不同，推算空间为8.63%。
七种负载的可优化占比从8.9%到58.2%不等，因此同一个内核生成器不可能给所有系统带来相同收益。结论还限定在A100-80GB、KernelBench Level 1和固定批量形状；换硬件、输入尺度或融合策略后，需要重新测量。
图：论文剖析不同工作负载中可替换内核与成熟库所占运行时间。
落地顺序：先做剖析，再让AI写代码
工程团队可以把AI内核生成放在性能分析之后：先确定热点、成熟库覆盖率和内存瓶颈，再挑选真正占时且缺少优质实现的算子。每个候选内核都应跨尺寸、随机种子和边界值验证，并与端到端延迟、吞吐和显存同时比较。
基准设计也应保存编译器版本、硬件、热身方式和统计区间，同时公开失败样例。对“极端快”的结果，默认触发额外正确性检查，比直接放进排行榜更稳妥。规模越大的加速声明，越需要证明工作量没有被悄悄省掉。
这项研究并非否定AI写GPU代码，而是重新定位它的价值：在尚未被成熟库覆盖、且确实占据总耗时的长尾算子上，自动搜索仍有意义。衡量标准应从单题最高倍数，转向完整应用在可靠验证下节省了多少时间。
