arXivDaily arXiv每日学术速递 周一至周五更新

大厂专区

Huawei(华为)

2026-07-09 至 2026-07-09 共收录 1
2607.06202 2026-07-09 cs.DC cs.AI cs.NI 新提交

UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods

UBEP:为生产超级集群重新架构专家并行通信库

Yipeng Liu, Chang Liu, Si Shen, Jiaqi Zheng, Mingfan Li, Yuyang Yang, Guanhua Li, Yuquan Zhang, Yimeng Xu, Zhongzhe Hu, Zhiyuan Huang, Qihang Duan, Junsong Wang, Wenkai Ling, Baochuan Yang, Xianzhi Yu, Han Bao, Yijie Chen, Guihai Chen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学) Huawei Technologies Co., Ltd.(华为技术有限公司)

AI总结 研究针对生产超级集群部署MoE模型面临的挑战,提出UBEP通信库,重新思考MoE全对全原语,经大规模实验,有效降低了全对全延迟和MoE推理每输出令牌时间。

Comments Accepted to ACM SIGCOMM 2026. Corresponding authors: jzheng@nju.edu.cn (J. Zheng), huzhongzhe@huawei.com (Z. Hu)

详情

展开后加载摘要…

URL PDF HTML 收藏