Baidu（百度）

Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation

通用专家混合：通过深度-宽度转换扩展虚拟宽度

Yilong Chen, Naibin Gu, Junyuan Shang, Zhenyu Zhang, Yuchen Feng, Jiawei Sheng, Tingwen Liu, Shuohuan Wang, Yu Sun, Hua Wu, Haifeng Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc（百度公司） 纠错

AI总结 MOUE通过引入虚拟宽度扩展维度，改进了混合专家模型的可扩展性，通过结构化专家共享和负载平衡技术，在不同扩展范围内提升了模型性能。

Comments 19 pages, 10 figures