将大语言模型灵活高效地混合为领域专家混合体（Mixture of Domain Experts）
Flexible and Effective Mixing of Large Language Models into a Mixture of Domain Experts
IBM Research（IBM研究院）
AI总结：
本研究提出一款可低成本构建领域专家混合体（MOE）的工具包，支持基于模型或适配器搭建混合结构，经大量测试提供架构定义指导，并公开了代码仓库。
摘要：
我们提出一款工具包，可基于已训练模型低成本构建领域专家混合体（MOE），支持从模型或适配器构建混合结构。我们开展了大量测试，并就使用该工具包定义所得MOE的架构提供指导，相关公开代码仓库已上线。
英文摘要：
We present a toolkit for creating low-cost Mixture-of-Domain-Experts (MOE) from trained models. The toolkit can be used for creating a mixture from models or from adapters. We perform extensive tests and offer guidance on defining the architecture of the resulting MOE using the toolkit. A public repository is available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
