Apple（苹果）

Path-Constrained Mixture-of-Experts

路径约束的专家混合模型

Zijin Gu, Tatiana Likhomanenko, Vimal Thilak, Jason Ramapuram, Navdeep Jaitly

机构 * Apple（苹果公司） ； Google（谷歌公司） 纠错

AI总结 本文提出通过专家路径视角优化混合专家架构，引入路径moe模型，通过共享路由参数增强路径集中度，提升模型在困惑度和下游任务上的表现。

Comments Under review