越南语文本分割与多项选择阅读理解数据集
A Vietnamese Dataset for Text Segmentation and Multiple Choices Reading Comprehension
AI总结：
针对越南语缺乏文本分割和阅读理解资源的问题，构建了VSMRC数据集，包含约1.6万文档和1.6万问答对，实验证明多语言模型mBERT优于单语模型，可用于其他低资源语言。
摘要：
越南语是使用人数排名第20的语言，拥有超过1.02亿母语者，但在文本分割和机器阅读理解（MRC）等关键自然语言处理任务方面缺乏强大的资源。为弥补这一空白，我们提出了VSMRC，即越南语文本分割与多项选择阅读理解数据集。该数据集来源于越南语维基百科，包含15,942篇用于文本分割的文档和16,347个经过人工质量保证生成的合成多项选择问答对，确保了资源的可靠性和多样性。实验表明，mBERT在这两项任务上均持续优于单语模型，在MRC测试集上达到88.01%的准确率，在文本分割测试集上取得63.15%的F1分数。我们的分析显示，多语言模型在越南语的自然语言处理任务中表现出色，这暗示了其可应用于其他资源匮乏语言的潜力。VSMRC可在HuggingFace上获取。
英文摘要：
Vietnamese, the 20th most spoken language with over 102 million native speakers, lacks robust resources for key natural language processing tasks such as text segmentation and machine reading comprehension (MRC). To address this gap, we present VSMRC, the Vietnamese Text Segmentation and Multiple-Choice Reading Comprehension Dataset. Sourced from Vietnamese Wikipedia, our dataset includes 15,942 documents for text segmentation and 16,347 synthetic multiple-choice question-answer pairs generated with human quality assurance, ensuring a reliable and diverse resource. Experiments show that mBERT consistently outperforms monolingual models on both tasks, achieving an accuracy of 88.01% on MRC test set and an F1 score of 63.15\% on text segmentation test set. Our analysis reveals that multilingual models excel in NLP tasks for Vietnamese, suggesting potential applications to other under-resourced languages. VSMRC is available at HuggingFace
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
