DeepSeek（深度求索）

UMoE:Unlocking Every Expert in Domain-Specific Training

UMoE：在特定领域训练中解锁每个专家

Xuefeng Li, Pengfei Liu

机构 * Qwen Team（通义千问团队） ； DeepSeek-AI（渊亭科技） ； Thinking Machines Lab（思维机器实验室） ； LLM-Core Xiaomi（小米大语言模型核心团队） 纠错

AI总结 研究针对特定领域训练中专家池不合理问题，提出UMoE流程，先修剪低显著性专家，再扩展专家池，最后应用标准SFT，该方法在多架构、多领域及多基准测试中优于直接SFT，能转化冗余容量，提升训练效果。