利用双语翻译数据进行大规模多语言大语言模型适应
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
AI总结：
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能，通过构建MaLA语料库和开发EMMA-500模型，验证了双语数据对语言迁移和低资源语言性能的积极影响。
摘要：
本文研究了在大规模多语言持续预训练实践中一个关键的设计决策——平行数据的纳入。具体来说，我们研究了双语翻译数据对Llama3系列模型在500种语言上的大规模多语言适应的影响。为此，我们构建了包含超过2500个语言对数据的MaLA双语翻译语料库。随后，我们开发了四个大规模多语言模型——EMMA-500 Llama 3套件，这些模型是基于Llama 3系列基础模型在多样化数据混合上持续预训练至6710亿个token。我们探讨了在有或没有双语翻译数据的情况下持续预训练的影响。在7个任务和12个基准测试中的综合评估表明，双语数据倾向于增强语言迁移和性能，特别是对于低资源语言。我们开源了MaLA语料库、EMMA-500 Llama 3套件的衍生品、代码和模型生成。
英文摘要：
This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
