零样本跨语言迁移用于语法错误检测中的合成数据生成
Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection
AI总结：
本文提出一种两阶段微调方法，利用多语言预训练模型的零样本跨语言迁移能力生成合成错误数据，用于低资源语言的语法错误检测，优于现有无标注方法。
摘要：
语法错误检测（GED）方法严重依赖人工标注的错误语料库。然而，在许多低资源语言中，这些标注是不可用的。在本文中，我们研究了在这种背景下的GED。利用多语言预训练语言模型的零样本跨语言迁移能力，我们使用来自多种语言的数据训练一个模型，以在其他语言中生成合成错误。然后，这些合成错误语料库被用于训练一个GED模型。具体来说，我们提出了一种两阶段微调流水线，其中GED模型首先在来自目标语言的多语言合成数据上进行微调，然后在来自源语言的人工标注GED语料库上进行微调。这种方法优于当前最先进的无标注GED方法。我们还分析了我们的方法和其他强基线产生的错误，发现我们的方法产生的错误更多样化且更接近人类错误。
英文摘要：
Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
