arXiv 2502.093872025-06-16cs.CLcs.AIcs.CY

真理无语言：超越英语的真理性评估

Truth Knows No Language: Evaluating Truthfulness Beyond English

HiTZ Center - Ixa, University of the Basque Country, UPV/EHU（希茨中心-ixa，巴斯克大学，UPV/EHU）；Elhuyar（埃尔胡亚尔）；Centro de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela（智能技术研究中心（CiTIUS），圣地亚哥-德孔波斯特拉大学）；Departament de Traducció i Ciències del Llenguatge, Universitat Pompeu Fabra（翻译与语言科学部门，庞培法布拉大学）

Blanca Calvo Figueras, Eneko Sagarzazu, Julen Etxaniz, Jeremy Barnes, Pablo Gamallo, Iria de-Dios-Flores, Rodrigo Agerri

备注：: 14 pages, 6 figures, 8 tables

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出通过专业翻译扩展TruthfulQA基准，评估多语言大型语言模型的真理性，发现机器翻译可作为替代方案，且通用知识问题在多语言中表现更佳。

摘要：

我们引入了一个专业翻译扩展的TruthfulQA基准，旨在评估巴斯克语、加泰罗尼亚语、加利西亚语和西班牙语中的真理性。大型语言模型（LLMs）的真理性评估主要在英语中进行。然而，LLMs在不同语言中保持真理性的能力仍缺乏深入研究。我们的研究评估了12种最先进的开源LLMs，通过人工评估、多项选择指标和LLM-as-a-Judge评分，比较基础模型和指令调优模型。我们的发现表明，尽管LLMs在英语中表现最佳，在巴斯克语（资源最少的语言）中表现最差，但各语言之间的真理性差异比预期的小。此外，我们显示LLM-as-a-Judge与人类判断的相关性比多项选择指标更紧密，而信息量在真理性评估中起着关键作用。我们的结果还表明，机器翻译为扩展真理性基准到其他语言提供了一种可行的方法，为专业翻译提供了一种可扩展的替代方案。最后，我们观察到通用知识问题在不同语言中处理得更好，而上下文和时间相关的問題则更具挑战性，突显了需要考虑文化和时间变化的真理性评估的必要性。数据集和代码已公开发布，采用开放许可。

英文摘要：

We introduce a professionally translated extension of the TruthfulQA benchmark designed to evaluate truthfulness in Basque, Catalan, Galician, and Spanish. Truthfulness evaluations of large language models (LLMs) have primarily been conducted in English. However, the ability of LLMs to maintain truthfulness across languages remains under-explored. Our study evaluates 12 state-of-the-art open LLMs, comparing base and instruction-tuned models using human evaluation, multiple-choice metrics, and LLM-as-a-Judge scoring. Our findings reveal that, while LLMs perform best in English and worst in Basque (the lowest-resourced language), overall truthfulness discrepancies across languages are smaller than anticipated. Furthermore, we show that LLM-as-a-Judge correlates more closely with human judgments than multiple-choice metrics, and that informativeness plays a critical role in truthfulness assessment. Our results also indicate that machine translation provides a viable approach for extending truthfulness benchmarks to additional languages, offering a scalable alternative to professional translation. Finally, we observe that universal knowledge questions are better handled across languages than context- and time-dependent ones, highlighting the need for truthfulness evaluations that account for cultural and temporal variability. Dataset and code are publicly available under open licenses.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。