arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2409.02060cs.CLcs.AIcs.LG
收藏

OLMoE:开放混合专家语言模型

OLMoE: Open Mixture-of-Experts Language Models

Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
Niklas Muennighoff, Luca Soldaini, Dirk Groeneveld, Kyle Lo, Jacob Morrison, Sewon Min, Weijia Shi, Pete Walsh, Oyvind Tafjord, Nathan Lambert, Yuling Gu, Shane… 展开作者

Niklas Muennighoff, Luca Soldaini, Dirk Groeneveld, Kyle Lo, Jacob Morrison, Sewon Min, Weijia Shi, Pete Walsh, Oyvind Tafjord, Nathan Lambert, Yuling Gu, Shane Arora, Akshita Bhagia, Dustin Schwenk, David Wadden, Alexander Wettig, Binyuan Hui, Tim Dettmers, Douwe Kiela, Ali Farhadi, Noah A. Smith, Pang Wei Koh, Amanpreet Singh, Hannaneh Hajishirzi

AI总结:

本文提出完全开放的稀疏混合专家语言模型 OLMoE,其 7B 参数每次输入仅激活 1B,在预训练和指令微调后性能超越同类及更大模型,并全面开源模型权重、数据、代码与日志。

摘要:

我们介绍了 OLMoE,这是一种完全开放的、利用稀疏 Mixture-of-Experts (MoE) 的最先进语言模型。OLMoE-1B-7B 拥有 70 亿 (B) 参数,但每个输入 token 仅使用 1B。我们在 5 万亿个 token 上对其进行预训练,并进一步调整以创建 OLMoE-1B-7B-Instruct。我们的模型优于所有具有相似活跃参数的可用模型,甚至超越了 Llama2-13B-Chat 和 DeepSeekMoE-16B 等更大模型。我们展示了关于 MoE 训练的各种实验,分析了模型中的路由并显示出高度专业化,并开源了我们工作的所有方面:模型权重、训练数据、代码和日志。

英文摘要:

We introduce OLMoE, a fully open, state-of-the-art language model leveraging sparse Mixture-of-Experts (MoE). OLMoE-1B-7B has 7 billion (B) parameters but uses only 1B per input token. We pretrain it on 5 trillion tokens and further adapt it to create OLMoE-1B-7B-Instruct. Our models outperform all available models with similar active parameters, even surpassing larger ones like Llama2-13B-Chat and DeepSeekMoE-16B. We present various experiments on MoE training, analyze routing in our model showing high specialization, and open-source all aspects of our work: model weights, training data, code, and logs.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑