arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

构建欧洲多语言评估数据集:EMT网络中的MMLU本地化项目

Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network

Pilar Sánchez-Gijón, Susana Valdez, Sofía Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu

arXiv 2607.18432首次发表:更新:

AI 中文总结

DGT与EMT合作将MMLU数据集本地化至11种欧洲语言,既为大语言模型评估打造更具包容性基准,又为硕士生提供专业培训,还突显了相关方法、管理及工作流程方面的挑战。

AI 中文摘要

本文报告了翻译总司(DGT)与欧洲翻译硕士(EMT)之间的合作,将MMLU数据集本地化到11种欧洲语言。该项目不仅为大语言模型评估创建了更具包容性的基准,还为硕士生提供了基于项目的翻译、修订、项目管理和多语言协调方面的专业培训,同时突出了关键方法、管理和工作流程挑战。

英文摘要

This paper reports on a collaboration between the Directorate-General for Translation (DGT) and the European Master's in Translation (EMT) to localise the MMLU dataset into 11 European languages. Beyond creating a more inclusive benchmark for LLM evaluation, the project offers master's students authentic, project-based professional training in translation, revision, project management, and multilingual coordination, while highlighting key methodological, administrative, and workflow challenges.

Journal refProceedings of the 3rd International Conference on New Trends in Translation and Interpreting Technology, June 24 - 27, 2026, Dubrovnik, Croatia

DOI:10.26615/issn.2815-4711.2026_007

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑