2608.08627
2026-08-11
cs.AI
新提交
UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models
UniMoMo:基于专家合并的大推荐模型混合专家(MoE)加速方法
Lei Xin, Bin Gu, Peize Li, Zitong Wang, Jianbo Zhao, Changjiang Jiang, Yanyue Xie, Chao Huang, Xuyang Zhao, Zunhai Su, Fanhu Zeng, Zhenglun Kong
机构
*
Kuaishou Technology(快手科技)
;
Hohai University(河海大学)
;
Wuhan University(武汉大学)
;
ByteDance, Seed(字节跳动 Seed)
;
Alibaba, Ant Group(阿里巴巴蚂蚁集团)
;
ByteDance, Douyin(字节跳动抖音)
;
The University of Hong Kong(香港大学)
;
Harvard University(哈佛大学)
AI总结
UniMoMo是一种后训练压缩框架,通过功能相似性合并MoE专家并引入层自适应保护,在Amazon Beauty等三个数据集上实现推荐MoE的高效压缩与加速,且性能损失极小。