Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand
测量跨语言理解差距:证据语言如何影响语言模型的理解能力
机构 * Eastern University(东方大学)
AI总结 该研究定义跨语言理解差距(CLCG),通过ParallelQA-18评估5种模型,发现英语能力无法同等迁移,低资源语言用户的模型质量可能被英语中心评估高估。
Comments 55 pages, 17 figures. Submitted to Computational Linguistics (MIT Press / ACL). Supplementary Material: 55 pages, 4 figures