如果我用\textit{alia lingua}（另一种语言）提问会怎样？衡量跨语言的功能相似性
What if I ask in \textit{alia lingua}? Measuring Functional Similarity Across Languages
AI总结：
本研究利用相似性度量$κ_p$分析GlobalMMLU中20种语言、47个主题下的模型输出，发现模型规模越大跨语言响应一致性越高，且自身跨语言一致性优于同语言下不同模型的一致性，为多语言可靠性评估与系统开发提供支撑。
摘要：
模型输出在不同语言间的相似程度如何？在本研究中，我们采用新近提出的模型相似性度量指标$κ_p$，针对GlobalMMLU数据集中的20种语言、47个主题展开研究。分析表明，随着模型规模扩大、能力提升，其跨语言响应一致性会逐步增强。有趣的是，模型自身的跨语言一致性，要高于其与同语言提示下其他模型的输出一致性。这些结果不仅凸显了$κ_p$作为评估多语言可靠性实用工具的价值，也展现了其指导开发一致性更强的多语言系统的潜力。
英文摘要：
How similar are model outputs across languages? In this work, we study this question using a recently proposed model similarity metric $κ_p$ applied to 20 languages and 47 subjects in GlobalMMLU. Our analysis reveals that a model's responses become increasingly consistent across languages as its size and capability grow. Interestingly, models exhibit greater cross-lingual consistency within themselves than agreement with other models prompted in the same language. These results highlight not only the value of $κ_p$ as a practical tool for evaluating multilingual reliability, but also its potential to guide the development of more consistent multilingual systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
