Does a Global Perspective Help Prune Sparse MoEs Elegantly?
从全局视角帮助优雅地剪枝稀疏MoEs吗?
机构 * University of Rochester(罗切斯特大学) ; Flatiron Institute(熨斗研究所) ; University of California, Berkeley(加州大学伯克利分校) ; Microsoft Research(微软研究院)
AI总结 本文提出GRAPE方法,通过动态分配剪枝预算提升稀疏MoEs的效率,实验表明其在多个模型上均取得最佳性能。