DeepSeek（深度求索）

UMoE:Unlocking Every Expert in Domain-Specific Training

UMoE：在特定领域训练中解锁每个专家

Xuefeng Li, Pengfei Liu

机构 * Qwen Team（通义千问团队） ； DeepSeek-AI（渊亭科技） ； Thinking Machines Lab（思维机器实验室） ； LLM-Core Xiaomi（小米大语言模型核心团队） 纠错

AI总结 研究针对特定领域训练中专家池不合理问题，提出UMoE流程，先修剪低显著性专家，再扩展专家池，最后应用标准SFT，该方法在多架构、多领域及多基准测试中优于直接SFT，能转化冗余容量，提升训练效果。

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆：大语言模型稀疏性的新轴

Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

机构 * Peking University（北京大学） ； DeepSeek-AI 纠错

AI总结 研究针对Transformer缺乏知识查找原语的问题，引入条件记忆及Engram模块，通过制定稀疏分配问题发现U形缩放定律，扩展Engram至27B参数，在多领域提升性能，揭示其优势，为下一代稀疏模型提供重要建模原语。