arXiv 2601.034442026-01-06cs.CLcs.AIcs.HC

评分尺度对LLM作为裁判的影响：人类与LLM的对齐在0-5评分尺度上最高

Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale

Harvard University（哈佛大学）；CMU（卡内基梅隆大学）；Stanford University（斯坦福大学）；UC San Diego（圣地亚哥大学）

Weiyue Li, Minda Zhao, Weixuan Dong, Jiahui Cai, Yuze Wei, Michael Pocress, Yi Li, Wanyan Yuan, Xiaoyue Wang, Ruoyu Hou, Kaiyuan Lou, Wenqi Zeng, Yutong Yang, Yilun Du, Mengyu Wang

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文研究了评分尺度对LLM作为裁判一致性的影响，发现0-5评分尺度在人类与LLM之间产生最强的一致性。

摘要：

大型语言模型（LLMs）正越来越多地被用作自动评估器，但先前的研究表明，当提示发生变化时，这些LLM裁判在评分上往往缺乏一致性。然而，评分尺度本身的影响仍缺乏研究。我们通过比较两种评分者：人类和LLMs，研究LLM作为裁判的问题。我们收集了两组在三个尺度和六个基准上的评分，这些基准包括客观、开放性主观和混合任务。使用组内相关系数（ICC）来衡量绝对一致性，我们发现，在主观基准上，LLM的判断在不同尺度上并不完全一致，而且选择评分尺度会显著改变人类与LLM的一致性，即使在组内面板可靠性较高时也是如此。在汇总任务时，0-5的评分尺度在人类与LLM之间产生最强的一致性。我们进一步证明，汇总可靠性可以掩盖基准异质性，并揭示在性别组之间的一致性系统差异，加强了评分尺度设计和子级别诊断作为LLM作为裁判协议中必不可少组成部分的重要性。

英文摘要：

Large language models (LLMs) are increasingly used as automated evaluators, yet prior works demonstrate that these LLM judges often lack consistency in scoring when the prompt is altered. However, the effect of the grading scale itself remains underexplored. We study the LLM-as-a-judge problem by comparing two kinds of raters: humans and LLMs. We collect ratings from both groups on three scales and across six benchmarks that include objective, open-ended subjective, and mixed tasks. Using intraclass correlation coefficients (ICC) to measure absolute agreement, we find that LLM judgments are not perfectly consistent across scales on subjective benchmarks, and that the choice of scale substantially shifts human-LLM agreement, even when within-group panel reliability is high. Aggregated over tasks, the grading scale of 0-5 yields the strongest human-LLM alignment. We further demonstrate that pooled reliability can mask benchmark heterogeneity and reveal systematic subgroup differences in alignment across gender groups, strengthening the importance of scale design and sub-level diagnostics as essential components of LLM-as-a-judge protocols.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文