多语言定义建模
Multilingual Definition Modeling
AI总结：
本文首次对西班牙语、法语、葡萄牙语和德语开展多语言定义建模研究，发现微调多语言模型与英语性能相当但缺乏跨语言协同，LLM零样本表现更优，且该任务可作为多语言LLM基准的轻量替代。
摘要：
在本文中，我们提出了首个关于定义建模的多语言研究。我们使用四种新语言（西班牙语、法语、葡萄牙语和德语）的单语词典数据，并进行深入的实证研究，以测试预训练多语言语言模型在这些数据上微调后对单义词进行定义建模的性能。此外，我们采用零样本方法来测试两种流行的基于对话的大语言模型（LLMs）在该任务中的多语言能力。结果表明，多语言语言模型可以达到与英语相当的性能，但无法利用潜在的跨语言协同效应，而LLMs总体上通常提供更好的性能。对LLM生成定义的全面人工评估突显了这些模型在这一新任务中的零样本和少样本能力，同时也显示了它们的不足。最后，我们表明，通过BERTScore衡量的我们任务上的性能与多语言LLM基准上的性能强相关，这表明我们的任务为这些基准提供了一种可行的、计算受限的、稳定的且自然的替代方案。
英文摘要：
In this paper, we propose the first multilingual study on definition modeling. We use monolingual dictionary data for four new languages (Spanish, French, Portuguese, and German) and perform an in-depth empirical study to test the performance of pre-trained multilingual language models on definition modeling of monosemic words when finetuned on this data. Furthermore, we use a zero-shot approach to test the multilingual capabilities of two popular chat-based Large Language Models (LLMs) in the task. Results show that multilingual language models can perform on-pair with English but cannot leverage potential cross-lingual synergies, with LLMs generally offering better performance overall. A comprehensive human evaluation of the LLM-generated definition highlights the zero and few-shot capabilities of these models in this new task, also showing their shortcomings. Finally, we show that performance on our task via BERTScore strongly correlates to the performance on multilingual LLM benchmarks, suggesting that our task offers a viable compute-constrained, stable and natural alternative to these.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
