基于大型语言模型的评估器是扩展多语言评估的解决方案吗？
Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation?
AI总结：
本研究探讨了基于LLM的评估器（如GPT-4）在多语言评估中的潜力，发现其存在偏向高分的偏差，强调需用母语者判断进行校准以确保跨语言评估的准确性。
摘要：
大型语言模型（LLMs）在各种自然语言处理（NLP）任务中表现优异，但由于现有基准和指标的限制，对其评估，尤其是在排名前20之外的语言上的评估，仍然不足。采用LLMs作为评估器来排名或评分其他模型的输出成为一种可行的解决方案，这解决了与人工标注者和现有基准相关的限制。在本研究中，我们探索了基于LLM的评估器的潜力，特别是GPT-4，通过在三个文本生成任务、五个指标和八种语言中，利用2万个人工判断对其进行校准，以增强多语言评估。我们的分析揭示了基于GPT-4的评估器存在偏向高分的偏差，强调了使用母语者判断进行校准的必要性，特别是在低资源语言和非拉丁字母语言中，以确保对LLM在多种语言上的性能进行准确评估。
英文摘要：
Large Language Models (LLMs) excel in various Natural Language Processing (NLP) tasks, yet their evaluation, particularly in languages beyond the top $20$, remains inadequate due to existing benchmarks and metrics limitations. Employing LLMs as evaluators to rank or score other models' outputs emerges as a viable solution, addressing the constraints tied to human annotators and established benchmarks. In this study, we explore the potential of LLM-based evaluators, specifically GPT-4 in enhancing multilingual evaluation by calibrating them against $20$K human judgments across three text-generation tasks, five metrics, and eight languages. Our analysis reveals a bias in GPT4-based evaluators towards higher scores, underscoring the necessity of calibration with native speaker judgments, especially in low-resource and non-Latin script languages, to ensure accurate evaluation of LLM performance across diverse languages.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
