SWEb:面向斯堪的纳维亚语言的大型网络数据集
SWEb: A Large Web Dataset for the Scandinavian Languages
AI总结:
本研究发布了超万亿token的斯堪的纳维亚语言最大预训练数据集SWEb,提出低复杂度的基于模型的文本提取器,构建瑞典语完形填空评估基准,验证了该数据集训练模型的竞争力,且所有资源公开。
摘要:
本文提出了迄今为止规模最大的斯堪的纳维亚语言预训练数据集:Scandinavian WEb(SWEb),包含超过一万亿个token。本文详细介绍了数据收集与处理流程,并提出了一种新型的基于模型的文本提取器,与基于规则的方法相比,其复杂度显著降低。我们还引入了一个新的完形填空式基准,用于评估瑞典语语言模型,并使用该测试将在SWEb数据上训练的模型与在FineWeb上训练的模型进行比较,取得了具有竞争力的结果。所有数据、模型和代码均公开共享。
英文摘要:
This paper presents the hitherto largest pretraining dataset for the Scandinavian languages: the Scandinavian WEb (SWEb), comprising over one trillion tokens. The paper details the collection and processing pipeline, and introduces a novel model-based text extractor that significantly reduces complexity in comparison with rule-based approaches. We also introduce a new cloze-style benchmark for evaluating language models in Swedish, and use this test to compare models trained on the SWEb data to models trained on FineWeb, with competitive results. All data, models and code are shared openly.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。