GlossLM：面向语素对齐注释文本的大规模多语种语料库与预训练模型
GlossLM: A Massively Multilingual Corpus and Pretrained Model for Interlinear Glossed Text
AI总结：
本文构建了涵盖1.8k种语言、超45万样本的最大IGT语料库，并预训练多语言模型GlossLM，微调后在自动生成IGT任务上较SOTA最高提升6.6%。
摘要：
语言文档化项目通常涉及创建诸如语素对齐注释文本（IGT）格式的标注文本，该格式以逐语素的方式捕捉细粒度的形态句法分析。然而，目前很少有资源能提供大量标准化且易于获取的 IGT 数据，这限制了其在语言学研究中的适用性，也使得在 NLP 建模中使用此类数据变得困难。我们从多种来源编译了现有最大的 IGT 数据语料库，涵盖 1.8k 种语言、超过 450k 个样本，以支持跨语言迁移和 IGT 生成的研究。我们将大部分数据标准化，使其遵循跨语言的统一标签集。此外，为了辅助文档化项目，我们探索了自动生成 IGT 的任务。由于许多语言缺乏足够的单语数据，我们在该语料库上预训练了一个大型多语言模型。我们通过在单语语料库上微调该模型展示了其实用性，其性能较 SOTA 模型最高提升了 6.6%。我们的预训练模型和数据集已在 Hugging Face 上发布。
英文摘要：
Language documentation projects often involve the creation of annotated text in a format such as interlinear glossed text (IGT), which captures fine-grained morphosyntactic analyses in a morpheme-by-morpheme format. However, there are few existing resources providing large amounts of standardized, easily accessible IGT data, limiting their applicability to linguistic research, and making it difficult to use such data in NLP modeling. We compile the largest existing corpus of IGT data from a variety of sources, covering over 450k examples across 1.8k languages, to enable research on crosslingual transfer and IGT generation. We normalize much of our data to follow a standard set of labels across languages. Furthermore, we explore the task of automatically generating IGT in order to aid documentation projects. As many languages lack sufficient monolingual data, we pretrain a large multilingual model on our corpus. We demonstrate the utility of this model by finetuning it on monolingual corpora, outperforming SOTA models by up to 6.6\%. Our pretrained model and dataset are available on Hugging Face.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
