MADLAD-400：一个多语言和文档级的大型审计数据集
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
AI总结：
本文介绍了涵盖419种语言的3T token单语数据集MADLAD-400，并基于此训练了10.7B参数的多语言机器翻译模型和8B参数语言模型，证明了其与更大模型相当的竞争力。
摘要：
我们介绍了MADLAD-400，这是一个基于CommonCrawl、涵盖419种语言、经人工审计的通用领域3T token单语数据集。我们讨论了自审计MADLAD-400所揭示的局限性，以及数据审计在数据集创建过程中的作用。随后，我们利用公开数据，在覆盖超过450种语言的2500亿token上训练并发布了一个10.7B参数的多语言机器翻译模型，发现其与显著更大的模型具有竞争力，并报告了在不同领域的结果。此外，我们训练了一个8B参数的语言模型，并评估了其在少样本翻译上的结果。我们将基线模型提供给研究社区。
英文摘要：
We introduce MADLAD-400, a manually audited, general domain 3T token monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss the limitations revealed by self-auditing MADLAD-400, and the role data auditing had in the dataset creation process. We then train and release a 10.7B-parameter multilingual machine translation model on 250 billion tokens covering over 450 languages using publicly available data, and find that it is competitive with models that are significantly larger, and report the results on different domains. In addition, we train a 8B-parameter language model, and assess the results on few-shot translation. We make the baseline models available to the research community.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
