University of Maryland, College Park（马里兰大学帕克分校）

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning

通过动态结构剪枝将密集大语言模型转换为专家混合架构

Shangqian Gao, Ting Hua, Reza Shirkavand, Chi-Heng Lin, Zheng Tang, Zhengao Li, Longge Yuan, Fangyi Li, Zeyu Zhang, Alireza Ganjdanesh, Lou Qian, Xu Jie, Yen-Chang Hsu

机构 * Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） ； Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学学院市计算机科学系） ； Samsung Research America（三星美国研究机构） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Health Outcomes and Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系） 纠错

AI总结 通过动态结构剪枝将密集大语言模型转换为专家混合架构，提升模型效率与性能。