2512.22219
2026-06-11
cs.DC
cs.LG
cs.PL
版本更新
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
MPK:一种用于将张量程序转化为巨型内核的编译器和运行时系统
Xinhao Cheng, Zhihao Zhang, Yu Zhou, Jianan Ji, Jinchen Jiang, Zepeng Zhao, Ziruo Xiao, Zihao Ye, Yingyi Huang, Ruihang Lai, Hongyi Jin, Bohan Hou, Mengdi Wu, Yixin Dong, Anthony Yip, Zihao Ye, Songting Wang, Wenqin Yang, Xupeng Miao, Tianqi Chen, Zhihao Jia
机构
*
Carnegie Mellon University(卡内基梅隆大学)
;
Tsinghua University(清华大学)
;
NVIDIA
;
University of Michigan(密歇根大学)
;
Independent Researcher(独立研究者)
;
Peking University(北京大学)
AI总结
提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。