arXiv 2504.027682026-04-30cs.CL

MultiBLiMP 1.0：一种大规模多语言语言最小对基准

MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs

University of Groningen（格罗宁根大学）；Uppsala University（乌普萨拉大学）

Jaap Jumelet, Leonie Weissweiler, Joakim Nivre, Arianna Bisazza

备注：: Published in TACL, MIT Press

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

MultiBLiMP 1.0通过101种语言和两种主谓一致类型，包含超过128,000对最小对，评估LLM在多语言能力上的表现，并揭示现有最先进模型在低资源语言建模中的不足。

摘要：

我们介绍了MultiBLiMP 1.0，一种大规模多语言语言最小对基准，涵盖101种语言和两种主谓一致类型，包含超过128,000对最小对。我们的最小对是通过完全自动化流程创建的，利用了Universal Dependencies和UniMorph的大型语言资源。MultiBLiMP 1.0在前所未有的多语言规模上评估了LLM的能力，并突显了当前最先进模型在低资源语言建模中的不足。

英文摘要：

We introduce MultiBLiMP 1.0, a massively multilingual benchmark of linguistic minimal pairs, covering 101 languages and 2 types of subject-verb agreement, containing more than 128,000 minimal pairs. Our minimal pairs are created using a fully automated pipeline, leveraging the large-scale linguistic resources of Universal Dependencies and UniMorph. MultiBLiMP 1.0 evaluates abilities of LLMs at an unprecedented multilingual scale, and highlights the shortcomings of the current state-of-the-art in modelling low-resource languages.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。