Kuaishou（快手）

SonicWeave: Chunk-Routed Mixture-of-Experts for Unified Audio Scene Generation

SonicWeave：用于统一音频场景生成的分块路由混合专家模型

Yunrui Cai, Xu Li, Yucheng Zhou, Jinchao Li, Dingdong Wang, Dongchao Yang, Xixin Wu, Chen Zhang, Zhiyong Wu, Pengfei Wan, Helen Meng

机构 * Kuaishou Technology（快手科技） ； The Chinese University of Hong Kong（香港中文大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

AI总结 本文提出SonicWeave，一种带CPE-MoE的流匹配模型，可通过单一权重集生成含语音、音乐等的统一音频场景，在多项基准及复杂场景评估中表现优于基线。

UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models

UniMoMo：基于专家合并的大推荐模型混合专家（MoE）加速方法

Lei Xin, Bin Gu, Peize Li, Zitong Wang, Jianbo Zhao, Changjiang Jiang, Yanyue Xie, Chao Huang, Xuyang Zhao, Zunhai Su, Fanhu Zeng, Zhenglun Kong

机构 * Kuaishou Technology（快手科技） ； Hohai University（河海大学） ； Wuhan University（武汉大学） ； ByteDance, Seed（字节跳动 Seed） ； Alibaba, Ant Group（阿里巴巴蚂蚁集团） ； ByteDance, Douyin（字节跳动抖音） ； The University of Hong Kong（香港大学） ； Harvard University（哈佛大学） 纠错

AI总结 UniMoMo是一种后训练压缩框架，通过功能相似性合并MoE专家并引入层自适应保护，在Amazon Beauty等三个数据集上实现推荐MoE的高效压缩与加速，且性能损失极小。

Comments Preprint