从N-gram到预训练多语言模型用于语言识别
From N-grams to Pre-trained Multilingual Models For Language Identification
AI总结：
本文研究了N-gram和预训练多语言模型在11种南非语言识别中的应用，发现Serengeti模型平均表现最优，并提出轻量级za_BERT_lid模型，性能媲美最佳非洲中心模型。
摘要：
本文研究了N-gram模型和大型预训练多语言模型在11种南非语言的语言识别（LID）中的应用。对于N-gram模型，研究表明有效的数据规模选择对于建立目标语言的有效频率分布仍然至关重要，这能高效地对每种语言进行建模，从而改善语言排名。对于预训练多语言模型，我们进行了广泛的实验，涵盖了一组多样化的大规模预训练多语言（PLM）模型——mBERT、RemBERT、XLM-r，以及以非洲为中心的多语言模型——AfriBERTa、Afro-XLMr、AfroLM和Serengeti。我们进一步将这些模型与可用的大规模语言识别工具进行比较：Compact Language Detector v3（CLD V3）、AfroLID、GlotLID和OpenLID，以突出基于聚焦的LID的重要性。由此我们表明，Serengeti在从N-gram到Transformer的各类模型中平均表现优异。此外，我们提出了一个轻量级的基于BERT的LID模型（za_BERT_lid），使用NHCLT + Vukzenzele语料库进行训练，其表现与我们表现最佳的以非洲为中心的模型相当。
英文摘要：
In this paper, we investigate the use of N-gram models and Large Pre-trained Multilingual models for Language Identification (LID) across 11 South African languages. For N-gram models, this study shows that effective data size selection remains crucial for establishing effective frequency distributions of the target languages, that efficiently model each language, thus, improving language ranking. For pre-trained multilingual models, we conduct extensive experiments covering a diverse set of massively pre-trained multilingual (PLM) models -- mBERT, RemBERT, XLM-r, and Afri-centric multilingual models -- AfriBERTa, Afro-XLMr, AfroLM, and Serengeti. We further compare these models with available large-scale Language Identification tools: Compact Language Detector v3 (CLD V3), AfroLID, GlotLID, and OpenLID to highlight the importance of focused-based LID. From these, we show that Serengeti is a superior model across models: N-grams to Transformers on average. Moreover, we propose a lightweight BERT-based LID model (za_BERT_lid) trained with NHCLT + Vukzenzele corpus, which performs on par with our best-performing Afri-centric models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
