LLM-Rubric: A Multidimensional, Calibrated Approach to Automated Evaluation of Natural Language Texts
Microsoft(微软)
本文提出LLM-Rubric框架,通过训练小型前馈神经网络校准多个LLM对评分标准问题的回答分布,以预测人类评判者的多维标注,在对话系统评估中将用户满意度预测误差降至0.5以下,较未校准基线提升2倍。
2024-12-31 cs.CL
Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness
研究如何评估开放式生成内容的事实完整性,提出两级元评分标准框架并实例化为Gamut基准,构建基于真实图像的问题及评分标准,评估多个模型,发现其具挑战性、区分性且对法官选择鲁棒。
2026-08-06 cs.CL
RADAR: Rubric-Aware Dependency and Redundancy Analysis for LLM-as-Judge Evaluation
Microsoft(微软公司);University of Florida(佛罗里达大学);University of Washington(华盛顿大学)
本文提出 RADAR 框架,用于在 LLM 作为评判者的大规模评估前,通过少量探针估计评估标准间的耦合,验证显示其可恢复人类标准间高相关性,提供审计信号。
2026-08-04 cs.CL
RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Meituan LongCat Team(美团龙猫团队)
本研究提出RecurSE,一种无需外部监督的LLM规则评判器优化方法,通过同步评判器与检查器的协同演化、接口解耦及PAV监控,在多基准上实现泛化提升,可增强下游策略对齐。
2026-08-26 cs.CL
Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
University of Pennsylvania(宾夕法尼亚大学)
本研究比较 Jev 分类器与 LLM 评审在评分标准上的表现,发现 Jev 更便宜、更快且准确率相当,但相关错误限制了级联优势,仅能小幅提升。
2026-10-14 cs.CL
Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric
Qwen Large Model Application Team, Alibaba(阿里巴巴文勤大模型应用团队);Beijing University Of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
开放评分系统通过成对自适应评分表和可验证评分表实现强化学习的稳健对齐,提升开放性任务的辨别力和可验证性。
2026-08-26 cs.CL
Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
Maritaca AI;Jusbrasil
本文提出Prosa基准,通过多判官过滤的二元评分标准减少LLM评分偏差,提升评估的判别能力,验证了评分标准的重要性。
2026-05-02 cs.AI cs.CL
Judging the Judges: Confidence and Disagreement in Rubrics as Rewards
UC Berkeley(加州大学伯克利分校)
该研究针对RaR训练中评判者使用问题,提出RaRE评判者集成策略,通过软李克特奖励与分歧时丢弃掩码机制,在HealthBench和GPQA Diamond上性能优于单一评判者RaR变体,证明评判者集成可提升RaR效果。
2026-10-16 cs.AI cs.CL cs.LG
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
CEO Business School(CEO商学院)
本研究提出无标签的标准澄清程序,可提升LLM评审员间的共识,但在三个数据集上均未提升与人类的一致性,相关资源将公开。
2026-10-12 cs.AI cs.CL
Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge
Tencent, China(腾讯,中国)
LLM-as-a-judge范式中,高一致性可能源于表面启发式而非实质质量,动态生成基于领域知识的评分标准能提升评估一致性。
2026-03-11 cs.CL
Support Vector Rubrics: Closing the Gap Between Self-Generated and Human Rubrics
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
针对自生成评分准则在困难实例上落后于人工标注的问题,提出SVR框架,将准则构建转化为偏好数据上的最大间隔边界学习,通过对比特征挖掘、提示条件选择器和迭代优化,显著缩小与人工准则的差距,并展现出广泛的奖励建模能力。
2026-06-06 cs.CL
Learning to Judge: LLMs Designing and Applying Evaluation Rubrics
Centrum Wiskunde & Informatica (CWI)(荷兰阿姆斯特丹数学与信息学中心)
本文研究LLMs能否自主设计和应用评价量规,发现其在一致性与跨模型泛化上存在差异,需联合建模人类与LLM的评估语言以提升可靠性。
2026-02-09 cs.CL cs.LG
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
Sword Health;TransPerfect;ELLIS Unit Lisbon(ELLIS 里斯本分部)
研究探讨了基于评分标准的评估中自我偏好偏差对模型评估的影响,发现即使评分标准客观,自我偏好仍会导致评分偏差,且通过多评委ensemble可部分缓解。
2026-08-04 cs.AI cs.CL
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-Based RL
Scale AI;University of Arizona(亚利桑那大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
该研究针对以规则为奖励的强化学习中的奖励黑客行为,提出Rubric Dropout方法,在医学和科学规则上训练Qwen3-8B,可提升分布外基准的黄金评判分数、降低黑客指标,30-50%丢弃比例效果最优。
2026-10-23 cs.AI cs.CL cs.LG
Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究揭示了基于评分标准的LLM裁判中隐蔽的偏好漂移问题,通过评分标准攻击可系统性降低目标领域准确性,影响模型对齐流程。
2026-09-15 cs.AI cs.CL cs.CR
Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling
Zhejiang University(浙江大学);Xiaohongshu Inc.(小红书公司)
提出Eval-Skill方法,通过探索引导合成可复用的领域级评估技能,以替代每查询生成评分标准,在RewardBench 2上使Qwen3-8B和DeepSeek-V4-Flash分别提升13.44%和18.51%。
2026-06-15 cs.CL
From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges
Washington University in St. Louis(华盛顿大学圣路易斯分校);Arizona State University(亚利桑那州立大学);Florida State University(佛罗里达州立大学)
提出Rulers框架,通过三阶段推理(任务规范、结构化执行、事后校准)解决LLM在基于评分标准的文本评估中的执行漂移、归因不可验证和人类尺度错位问题,实现更可靠的评分。
2026-09-10 cs.AI cs.CL cs.LG
Kardia-R1: Unleashing LLMs to Reason toward Understanding and Empathy for Emotional Support via Rubric-as-Judge Reinforcement Learning
Kardia-R1通过Rubric-as-Judge强化学习框架,提升大语言模型在情感支持中的理解与共情能力,通过评分标准引导训练以实现更准确的情感推理和个性化响应。
2025-12-02 cs.AI cs.CL
Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews
National University of Singapore(新加坡国立大学)
研究大语言模型评审员与人类评审员对同行评审评估的差异,将卡尼曼双过程理论转化为评分标准并发布Kahneman4Review基准,通过多方面发现揭示问题,强调可靠基准应区分分析形式与认知功能并给出设计选择。
2026-07-14 cs.CL
Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学)
本文提出可控黑客环境CHERRL,通过注入已知偏见复现奖励黑客行为,分析其可发现性与可利用性,并探索基于智能体的自动检测方法。
2026-09-30 cs.AI cs.CL cs.LG
Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness
Purdue University(普渡大学)
本文研究了基于评分标准的LLM评分的对齐性、不确定性与鲁棒性,发现评分标准粒度增加时对齐性下降,通过信任曲线分析发现过滤低置信度预测可提升准确性,同时模型对同义词替换敏感。
2025-12-21 cs.CL cs.LG
FinResearchBench II: A Deep Research Benchmark with Consensus-Derived Gold Rubrics for Distinguishing Financial Report Quality
StepFun(步趣);FinStep(鳍步);University of Adelaide(阿德莱德大学);Shanghai Jiao Tong University(上海交通大学)
该研究针对深度研究代理生成财务报告的大规模评估瓶颈,提出可扩展管道生成高质量标准。通过构建基准、合成候选标准、比较大语言模型与人类评估,经两个过滤器得出黄金标准集,用于评估10个深度研究系统,实现可扩展的基准评估等研究。
2026-07-16 cs.CL
JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
JUDGESTEALER是首个跨评估协议提取LLM评判能力的高效查询框架,通过利用跨协议一致性等技术提升提取效果,在三类评估任务上优于基线且具鲁棒性。
2026-08-28 cs.CL
Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
针对现实推理任务难以用二元正确性评估、RLVR无法直接应用的问题,提出基于评分量规反馈的同策略强化学习方法RaR,在医学和科学基准上优于LLM-as-judge基线,还能提升小评判模型对齐效果、降低性能方差。
2025-10-03 cs.AI cs.CL cs.LG
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
Massachusetts Institute of Technology(麻省理工学院);Sakana AI;Lab for Information and Decision Systems(信息与决策系统实验室);Statistics and Data Science Center(统计与数据科学中心);EECS(电气工程与计算机科学系)
PRISM是一种无需评分规则的黑盒评判器校准方法,通过保持被评估内容固定并测量属性强调/弱化时的评分变化,结合岭回归校正基线评分,在SummEval和HANNA任务中显著提升了与人工排名的一致性。
2026-10-14 cs.AI cs.CL cs.LG
RubricReviewer: From Direct Critique to Rubric-Driven Review via Agentic Evidence Synthesis and Human-Aligned Generation
Shandong University(山东大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
RubricReviewer是一种基于评分规则驱动的框架,通过将评分规则生成为中间步骤,并结合Scout与Aligner模型,生成更全面、具判别性且抗攻击的评审意见。
2026-11-17 cs.AI cs.CL
Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks
University of Pennsylvania(宾夕法尼亚大学)
Autorubric通过整合多种评分标准评估技术,提供统一的评分框架和默认设置,提升LLM评估的可靠性与一致性,并在多个基准测试中展示了其有效性。
2026-08-11 cs.AI cs.CL
The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment
Microsoft Research(微软研究院)
通过几何量测量,发现LLM评判者之间高度一致但与人类对齐差,其评分子空间与人类子空间几乎正交,共识源于子空间坍缩而非人类对齐。
2026-09-03 cs.CL
ClinConsensus: A Physician-Calibrated Benchmark for Evaluating Clinical Rubric Coverage in Chinese Medical LLMs
Alibaba Group(阿里巴巴集团)
为解决开放域医疗大模型评估缺乏医师校准的临床响应标准覆盖率问题,提出包含2500个专家病例的ClinConsensus基准,并引入医师锚定覆盖率评分(CACS)及双裁判框架,发现前沿模型存在19.2-21.9分的覆盖率差距。
2026-09-08 cs.CL
Atomic and Holistic LLM Judges for Reference-Grounded Support Labels: A Prompt-Controlled Comparison
University of California, Berkeley(加州大学伯克利分校)
本文研究了参考导向问答评估中原子分解与整体裁判的性能差异,发现整体裁判在多数基准中表现更优,尤其在部分支持案例中表现突出,且参考质量下降对两种裁判方式均产生显著影响。
2026-10-01 cs.CL
GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
GenRubric是一种自进化框架,通过强化学习结合多维度奖励优化评分规则生成,其在人工基准实验中提升了与专家评分的一致性,可泛化到新领域,助力可扩展的特定查询LLM评估。
2026-09-01 cs.CL
Rethinking LLM-Judged Helpfulness as a Pedagogy Signal: A Pre-Registered Audit Across Tutor Models
本研究通过预注册审计发现,通用LLM有用性评分标准无法作为可靠教学信号,其排序具有评判者依赖性,而教学评分标准可有效区分策略,故导师评估应采用教学针对性评分标准与确定性过程测量。
2026-08-04 cs.AI cs.CL cs.CY
ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge
NVIDIA
ProfBench通过7000多个由专业领域专家评估的响应-评分对,评估大语言模型在处理专业文档、信息整合和生成综合报告方面的能力,揭示了即使顶级模型在专业任务上也面临挑战。
2026-05-16 cs.AI cs.CL cs.LG
Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
研究探讨评分标准修改对人类与自动评分者一致性的影响,发现提供代表性示例和减少位置偏见可提高一致性,而高复杂度和保守聚合方法则降低一致性。
2026-05-07 cs.CL
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学);Shenzhen University(深圳大学)
针对基于LLM的搜索智能体训练中结果奖励缺乏过程监督的问题,提出ARBOR框架,通过维护跨查询共享的评分标准记忆库,利用对比轨迹生成局部草案并整合为通用评分标准,以稀疏成对判断提供过程级梯度,在四个多跳QA基准上优于GRPO和DAPO基线。
2026-06-02 cs.CL
CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation
CalibratedRubric是结合特定类型评分、贝叶斯过滤与IRT的任务自适应框架,可提升开放式LLM评估的人工-黄金标准一致性与排序保真度,减少所需评分规则数量。
2026-08-03 cs.AI cs.CL cs.LG
Generating Data-Driven Reasoning Rubrics for Domain-Adaptive Reward Modeling
Johns Hopkins University(约翰霍普金斯大学);Amazon Web Services(亚马逊网络服务)
本文提出数据驱动的推理评分标准,用于提升领域自适应奖励建模的错误检测能力,实验显示其在技术领域任务准确性提升达45%
2026-02-06 cs.AI cs.CL
ExecRubrics: Executable Tool-Augmented Rubrics for Verifiable and Efficient Long-Form Evaluation
Emory University(埃默里大学);University of Waterloo(滑铁卢大学)
ExecRubrics是将评分标准转化为可执行Python程序的框架,可替代黑盒LLM评判者,在三个长文本基准上实现与自然语言评分标准相当或更优的偏好准确率,且评估延迟降低最多320倍,提升了评估的可解释性与效率。
2026-09-01 cs.AI cs.CL cs.IR
Criterion Validity of LLM-as-Judge for Business Outcomes in Conversational Commerce
本文通过两项研究探讨了LLM作为评判者在对话商业结果中的标准效度,发现评价维度和权重设计影响显著,需通过转换驱动的重新加权来改进。
2026-03-11 cs.AI cs.CL
AdaRubric: Task-Adaptive Rubrics for Reliable LLM Agent Evaluation and Reward Learning
The University of Sydney(悉尼大学)
AdaRubric通过自适应生成任务特定评分标准,结合置信度加权评分和密集奖励信号,提升LLM代理评估的准确性与可靠性,实验表明其在多个基准测试中表现优异。
2026-05-10 cs.AI cs.CL
Comparing Developer and LLM Biases in Code Evaluation
Carnegie Mellon University(卡内基梅隆大学)
本文提出TRACE框架,评估LLM在代码评估中的偏见,发现LLM在与开发者偏好对齐方面表现不佳,揭示了人类与模型在代码质量标准上的系统性差异。
2026-05-14 cs.CL cs.SE
Counterargument for Critical Thinking as Judged by AI and Humans
Machine Learning Group, EISLAB, Luleå University of Technology(机器学习组、EISLAB、吕勒奥技术大学)
本研究探讨生成式AI环境下学生写作中反驳论的使用,发现学生自写反驳论包含逻辑等批判性思维要素,且生成式AI可基于明确标准评估学生写作,与人类评估结果一致。
2026-05-06 cs.AI cs.CL
Preference-Aware Rubric Learning for Personalized Evaluation
National University of Singapore(新加坡国立大学);Xiaohongshu Inc.(小红书公司);The University of Tokyo(东京大学)
提出PARL框架,通过从用户历史中学习偏好感知的评估标准并采用自验证机制,实现个性化评估。
2026-05-29 cs.CL
Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants
Metis;DoorDash
本文提出评估和优化对话购物助手的实用蓝图,通过生产级AI杂货助手示例,介绍多维评估标准和校准的LLM评判流程,并提出两种互补的提示优化策略。
2026-04-30 cs.AI cs.CL cs.LG
Approximating Human Preferences Using a Multi-Judge Learned System
BAISH | UBA | Apart Research(BAISH | UBA | Apart研究);University of São Paulo(圣保罗大学);Apart Research(Apart研究);Dovetail Research | Apart Research(Dovetail研究 | Apart研究)
本文提出一种通过学习聚合多个基于评估标准的评判器输出来建模多样化角色偏好的框架,包含基于角色的偏好标签合成方法及GAM和MLP两种聚合器实现,有效推进了RLHF奖励模型和模型路由系统等应用。
2025-10-29 cs.AI cs.CL cs.LG
MERIT: Matching Expertise via Rubric-Informed Training for Reviewer Assignment
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
提出MERIT两阶段框架,通过强化学习训练审稿人评估器并蒸馏为检索器,实现大规模审稿人分配中的专业知识匹配。
2026-09-11 cs.CL
Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
University of Florida(佛罗里达大学)
该研究测试了证据锁定等不同LLM-as-Judge评估方案,发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性,而结构化证据引出效果接近标准评判,持久化证据可支持审计但不应替代源答案。
2026-08-12 cs.CL
When and What to Ask: AskBench and Rubric-Guided RLVR for LLM Clarification
University of Illinois Chicago(伊利诺伊大学香槟分校)
本文研究如何评估和改进LLM在缺乏关键信息或包含误导信息时的澄清能力,提出AskBench交互基准和基于规则的强化学习与验证器(RLVR)方法,提升准确性和交互效率。
2026-04-20 cs.CL cs.LG
A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays
VISAI AI(VISAI人工智能)
通过泰国律师资格考试的自由回答论文评估,研究LLM评审员与人类考官在评分一致性上的不对称性,发现LLM评审员倾向于多数人类阅读而无法复制少数人类阅读。
2026-06-17 cs.CL cs.CY
Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training
Emory University(埃默里大学);Purdue University(普渡大学);Rutgers University(罗格斯大学);Georgia Institute of Technology(佐治亚理工学院);University at Albany(阿尔巴尼大学)
Rubric-ARM通过交替强化学习优化评分标准生成与评判,提升非可验证领域大语言模型后训练的响应质量评估与策略对齐性能。
2026-02-11 cs.CL cs.LG
JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
University of Tsukuba(筑波大学);The University of Tokyo(东京大学);Hiroshima University(广岛大学)
JuryFlow提出分歧引导的人机协同多智能体评估框架,将评判分歧作为信号,通过图传播和规则归纳提升评估准确性。
2026-10-01 cs.CL cs.HC
VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference
Indeed Inc(Indeed公司)
VERDI通过分解推理过程提取置信度信号,无需额外调用,提升验证型LLM裁判的可信度评估。
2026-05-11 cs.CL cs.IR cs.LG
Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias
UC Berkeley School of Information(加州大学伯克利分校信息学院)
本研究通过大规模系统性评估(21个裁判模型、118次运行、约54.1万次判断),发现LLM-as-a-Judge在一致性、稳定性和偏差方面存在普遍问题,包括kappa通缩、排名偏移、高重测信度与严重位置偏差并存,并提出了最小可行验证协议。
2026-11-05 cs.CL