UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods
UBEP:为生产超级集群重新架构专家并行通信库
机构 * State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学) ; Huawei Technologies Co., Ltd.(华为技术有限公司)
AI总结 研究针对生产超级集群部署MoE模型面临的挑战,提出UBEP通信库,重新思考MoE全对全原语,经大规模实验,有效降低了全对全延迟和MoE推理每输出令牌时间。
Comments Accepted to ACM SIGCOMM 2026. Corresponding authors: jzheng@nju.edu.cn (J. Zheng), huzhongzhe@huawei.com (Z. Hu)