DIVERS-Bench：评估跨领域偏移与语码转换下的语言识别
DIVERS-Bench: Evaluating Language Identification Across Domain Shifts and Code-Switching
AI总结：
本文提出DIVERS-BENCH评估框架和DIVERS-CS语码转换基准，揭示现有语言识别模型在领域偏移和混合语言场景下性能显著下降的问题。
摘要：
语言识别（LID）是多语言自然语言处理中的核心任务，然而现有系统往往过度拟合于干净的单语数据。本文提出了DIVERS-BENCH，这是一个对最先进的LID模型在多种领域上的综合评估，涵盖语音转写文本、网络文本、社交媒体文本、儿童故事以及语码转换文本。我们的研究结果表明，尽管这些模型在精心整理的数据集上取得了高准确率，但在嘈杂和非正式输入上的性能会急剧下降。我们还引入了DIVERS-CS，这是一个覆盖10个语言对的多样化语码转换基准数据集，并表明现有模型难以检测同一句子中的多种语言。这些结果凸显了在现实场景中构建更鲁棒、更具包容性的LID系统的必要性。
英文摘要：
Language Identification (LID) is a core task in multilingual NLP, yet current systems often overfit to clean, monolingual data. This work introduces DIVERS-BENCH, a comprehensive evaluation of state-of-the-art LID models across diverse domains, including speech transcripts, web text, social media texts, children's stories, and code-switched text. Our findings reveal that while models achieve high accuracy on curated datasets, performance degrades sharply on noisy and informal inputs. We also introduce DIVERS-CS, a diverse code-switching benchmark dataset spanning 10 language pairs, and show that existing models struggle to detect multiple languages within the same sentence. These results highlight the need for more robust and inclusive LID systems in real-world settings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
