1.5-Pints 技术报告：数日而非数月的预训练——你的语言模型因高质量数据而卓越
1.5-Pints Technical Report: Pretraining in Days, Not Months -- Your Language Model Thrives on Quality Data
AI总结：
本文提出 1.5-Pints 语言模型，通过精心整理 570 亿 token 的高质量“教科书式”数据，在 9 天内完成预训练，并在 MT-Bench 上超越 OpenELM 和 Phi，证明数据质量优先可显著降低训练成本与碳足迹。
摘要：
本文提出了一种计算高效的语言模型预训练方法——“1.5-Pints”——仅用 9 天即可完成预训练，同时作为指令跟随助手，其表现超越了当前最先进的模型。基于 MT-Bench（一个模拟人类判断的基准测试），1.5-Pints 的表现优于 Apple 的 OpenELM 和 Microsoft 的 Phi。这一成果得益于一个经过精心整理的、包含 570 亿个 token 的预训练数据集，该数据集通过自动化工作流与人工审查相结合的方式构建。数据集的筛选优先考虑具有说明性和“教科书式”特征的内容，以帮助模型进行推理和逻辑演绎，最终使其成为一个强大且多才多艺的 AI 模型。在模型架构方面，我们采用了经过修改的 Mistral 分词器，并搭配 Llama-2 架构以获得更广泛的兼容性。在训练方面，我们采用了 StableLM、TinyLlama 和 Huggingface Zephyr 所使用的方法。1.5-Pints 表明，通过在 LLM 训练中注重数据质量而非数据数量，我们可以显著减少所需的训练时间和资源。我们相信，这种方法不仅将使预训练更加易于实现，还将减少我们的碳足迹。本研究的发现和资源均已开源，旨在促进该领域的进一步发展。1.5-Pints 模型提供两个版本：2K 和 16K 上下文窗口。
英文摘要：
This paper presents a compute-efficient approach to pre-training a Language Model-the "1.5-Pints"-in only 9 days, while outperforming state-of-the-art models as an instruction-following assistant.Based on MT-Bench (a benchmark that emulates human judgments), 1.5-Pints outperforms Apple's OpenELM and Microsoft's Phi.This is achieved by a carefully curated pre-training dataset of 57 billion tokens, using a mix of automated workflows and manual human review. The selection of the dataset prioritizes content that is considered expository and "textbook-like" to aid the model in reasoning and logical deduction, culminating in its overall ability as a strong and versatile AI model. In terms of the model architecture, we employed a modified Mistral tokenizer, alongside a Llama-2 architecture for wider compatibility. For training, we adopted the methodologies used by StableLM, TinyLlama, and Huggingface Zephyr. 1.5-Pints demonstrates that by focusing on data quality over quantity in LLM training, we can significantly reduce training time and resources required. We believe this approach will not only make pre-training more accessible but also reduce our carbon footprint. Our findings and resources from this research are open-sourced, aiming to facilitate further advancements in the field. The 1.5-Pints model is available in two versions: 2K and 16K context windows.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
