在历史文本上预训练语言模型
A Language Model from 1913: Pretraining on Historical Text
AI总结：
提出TypewriterLM，一个仅在1913年前英文文本上训练的7.24B历史语言模型，通过构建TypewriterCorpus语料库、引入词汇基础指令微调框架和History-Event基准套件，解决数据质量、时间泄漏、训练和评估等挑战。
摘要：
我们介绍了TypewriterLM，一个仅在1913年前英文文本上训练的7.24B历史语言模型。开发历史语言模型需要解决数据质量和可用性、防止时间泄漏、设计时间一致的后训练流程以及构建可靠评估等挑战。为了解决这些问题，我们构建了TypewriterCorpus，一个54B词元的历史语料库，收集自多样化的档案和语言标注来源，并进行了广泛的数据清洗和泄漏缓解措施。此外，我们引入了词汇基础指令微调，一种后训练框架，限制响应直接基于历史源文档。使用该框架，我们构建了两个历史指令微调数据集：History-LIMA和History-SelfInstruct。为了评估能力和时间一致性，我们引入了History-Event，一个用于评估能力、时间基础和泄漏的基准套件。我们发布了TypewriterLM及所有相关资源，以支持未来对历史语言模型的研究。
英文摘要：
While modern language models increasingly rely on ever-larger web corpora, we show that pretraining on historical text (e.g., pre-1913 text) in a data-constrained setting can produce a temporally grounded language model that still shows reasonable performance on language understanding. However, developing History LMs requires addressing challenges in data quality, preventing temporal leakage in post-training, and constructing temporally aligned evaluations. We address these challenges and pretrain TypewriterLM, a 7.24B-parameter model with a 1913 knowledge cutoff. We construct TypewriterCorpus, a 54B-token historical corpus with extensive temporal filtering, propose lexically grounded instruction tuning that constrains all responses to vocabulary from historical source documents, and introduce History-Event, a benchmark of 2,344 events for evaluating both competence and cutoff adherence. We release TypewriterLM and all associated resources to support future research on History LMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
