是否通晓多语言？衡量基础模型中的多语言百科知识
Polyglot or Not? Measuring Multilingual Encyclopedic Knowledge in Foundation Models
AI总结：
本文构建20语言、30.3万条事实关联及反事实样本的数据集，评测24个基础模型，发现LLaMA表现最佳但在非英语事实及主体地点、性别上存在明显局限。
摘要：
在本研究中，我们评估了基础模型在广泛语言语境中回忆百科知识的能力。为支持这一目标，我们：1）构建了一个涵盖20种语言、包含30.3万条事实关联并配有反事实样本的数据集；2）在多语言测试中评估了5个模型；3）在仅英语测试中对多样化的24个模型进行了基准评测。Meta的LLaMA在多语言和仅英语评估中均取得最高分。然而，对LLaMA错误的分析显示，其在英语以外语言中回忆事实的能力存在显著局限，并且在与事实主体的地点和性别相关的方面存在困难。总体而言，我们的研究结果表明，当今的基础模型远非通晓多语言者。
英文摘要：
In this work, we assess the ability of foundation models to recall encyclopedic knowledge across a wide range of linguistic contexts. To support this, we: 1) produce a 20-language dataset that contains 303k factual associations paired with counterfactuals, 2) evaluate 5 models in a multilingual test, and 3) benchmark a diverse set of 24 models in an English-only test. Meta's LLaMA achieves the highest scores in both multilingual and English-only evaluations. Yet, an analysis of LLaMA's errors reveals significant limitations in its ability to recall facts in languages other than English, plus difficulties related to the location and gender of fact subjects. Overall, our findings suggest that today's foundation models are far from polyglots.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
