通过基于模型的数据选择增强多语言大语言模型预训练
Enhancing Multilingual LLM Pretraining with Model-Based Data Selection
AI总结：
本文提出了一种基于模型的数据选择框架，通过提高多语言大语言模型预训练的效果，实现了在较少训练数据下达到基线分数并提升其他基准测试的表现。
摘要：
数据集的整理已成为强大大语言模型（LLM）性能的基础。尽管存在各种基于规则的过滤启发式方法用于英语和多语言数据集，但基于模型的过滤技术主要集中在英语上。为了解决由于对非英语语言研究有限而产生的不平等，我们开发了一个针对多语言数据集的基于模型的过滤框架，旨在识别一组多样化的结构化和知识丰富的样本。我们的方法强调透明性、简洁性和效率，利用Transformer和FastText基于的分类器来确保我们的技术和数据的广泛可及性。我们对FineWeb-2网络爬虫数据集进行了全面的消融研究，涵盖了多样化的语言家族、脚本和资源可用性，以展示我们方法的有效性。训练一个具有10亿参数的Llama模型，使用700亿和1190亿个token进行训练，我们的方法仅使用15%的训练token即可达到基线MMLU分数，同时在其他基准测试中也有所提升，并缓解了多语言的诅咒。这些发现为我们的方法在其他语言中的通用性提供了有力证据。因此，我们将框架扩展到20种语言，并发布了经过优化的预训练数据集。
英文摘要：
Dataset curation has become a basis for strong large language model (LLM) performance. While various rule-based filtering heuristics exist for English and multilingual datasets, model-based filtering techniques have primarily focused on English. To address the disparity stemming from limited research on non-English languages, we develop a model-based filtering framework for multilingual datasets that aims to identify a diverse set of structured and knowledge-rich samples. Our approach emphasizes transparency, simplicity, and efficiency, leveraging Transformer- and FastText-based classifiers to ensure the broad accessibility of our technique and data. We conduct comprehensive ablation studies on the FineWeb-2 web crawl dataset across diverse language families, scripts, and resource availability to demonstrate the effectiveness of our method. Training a 1B-parameter Llama model for 70B and 119B tokens, our approach can match the baseline MMLU score with as little as 15% of the training tokens, while also improving across other benchmarks and mitigating the curse of multilinguality. These findings provide strong evidence for the generalizability of our approach to other languages. As a result, we extend our framework to 20 languages for which we release the refined pretraining datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
