Mind the Gap：利用AlphaMWE多语言平行语料库揭示LLM翻译盲区
Mind the Gap: Exposing LLM Translation Blind Spots Using the AlphaMWE Multilingual Parallel Corpus
浏览论文内容
中文总结 AI 辅助
本研究利用AlphaMWE多语言平行语料库作为测试套件，评估31个机器翻译系统在六种语言对上的表现，发现多词表达仍是LLM翻译的瓶颈，且人工评估能揭示被自动指标掩盖的语言特定错误。
中文摘要 AI 辅助
大型语言模型（LLM）在机器翻译（MT）任务上的性能通常依赖于其在特定领域和语言对上的训练数据可用性。为了检验多词表达（MWE）是否仍然是LLM在语言理解和翻译方面的瓶颈，我们报告了WMT2026测试套件共享任务中的系统性能，为此我们使用了公开可用的多语言平行语料库AlphaMWE作为测试套件。我们收到了31个MT系统的输出，涵盖英语到中文（zh）、波兰语（pl）、德语（de）、阿拉伯语（ar），包括现代标准阿拉伯语（MSA）以及两种方言（埃及阿拉伯语和突尼斯阿拉伯语）。我们使用BLEU、ChrF和BERT-score进行了自动评估，以选择每个语言对的前三名系统，随后对选定的系统进行了人工评估。我们的研究结果表明：比喻性/MWE现象仍然具有挑战性；自动指标有时存在分歧；人工评估揭示了被聚合分数掩盖的特定语言错误。
英文摘要
LLMs' performance on machine translation (MT) tasks is often dependent on the data availability in the specific domains and language pairs that they are trained upon. To examine if Multiword Expressions (MWEs) still set a bottleneck for LLMs regarding language understanding and translation, we report the system performances from the WMT2026 Test Suites shared task, for which we used the publicly available multilingual parallel corpus AlphaMWE as the test suites. We received 31 MT systems' outputs covering English to Chinese (zh), Polish (pl), German (de), Arabic (ar) including Modern Standard Arabic (MSA) and two dialectal ones (Egyptian and Tunisian Arabic). We carried out automatic evaluations using BLEU, ChrF, BERT-score to select the Top3 systems per language pair, followed up with human evaluations on the selected systems. Our findings show that: figurative/MWE phenomena remain challenging; automatic metrics sometimes disagree; human evaluation uncovers language-specific errors hidden by aggregate scores; human evaluation re-ranks the top-3 systems.
发表机构
- Leiden University（莱顿大学）
- Leiden University Medical Centre（莱顿大学医学中心）
- Institute of Computer Science PAS, Warsaw（波兰科学院计算机科学研究所）
- University of Ljubljana（卢布尔雅那大学）
- University of Granada（格拉纳达大学）
- Technical University of Munich（慕尼黑工业大学）
- Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
- Google DeepMind（谷歌DeepMind）
机构由 AI 辅助整理，请以论文原文为准。
