Uncertainty-Aware Step-wise Verification with Generative Reward Models
University of Oxford(牛津大学);Cohere(Cohere公司)
针对PRM易受奖励作弊等可靠性问题,提出CoT Entropy不确定性量化方法,以增强生成式奖励模型对数学推理逐步验证的鲁棒性。
2025-02-16 cs.CL
Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室);The Hong Kong University of Science and Technology(香港科学与技术大学);Renmin University of China(中国人民大学);National Yang Ming Chiao Tung University;Taipei Veterans General Hospital(台北荣民总医院);School of Biomedical Engineering, Shenzhen University(深圳大学生物医学工程学院)
本文提出 Med-RewardBench,基于 1,026 个专家标注病例构建医学多模态奖励模型与评判器基准,评估 32 个 MLLM 并验证微调基线的性能提升。
2025-08-29 cs.AI cs.CL cs.CV
Stopping and Routing LLM Judge Panels
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学)
该研究将LLM评审小组设计建模为角色条件分配问题,提出策略优化评审调用,经多类审计对比,生成可复用的评审调用计划。
2026-08-21 cs.CL
S2J: Bridging the Gap Between Solving and Judging Ability in Generative Reward Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
本文提出S2J方法,通过在单个生成式奖励模型上同时利用求解与判断能力进行监督,缩小求解-判断差距,提升判断性能并实现自我进化。
2025-09-26 cs.CL
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-Based RL
Scale AI;University of Arizona(亚利桑那大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
该研究针对以规则为奖励的强化学习中的奖励黑客行为,提出Rubric Dropout方法,在医学和科学规则上训练Qwen3-8B,可提升分布外基准的黄金评判分数、降低黑客指标,30-50%丢弃比例效果最优。
2026-10-23 cs.AI cs.CL cs.LG
Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges
Department of Biostatistics(生物统计学系)
本文研究了在噪声LLM评判者中如何通过校准而非筛选来提高估计效率,发现校准全组评判者优于基于准确率的筛选,且在多个基准测试中表现更优。
2026-05-10 cs.CL stat.ME
Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling
Zhejiang University(浙江大学);Xiaohongshu Inc.(小红书公司)
提出Eval-Skill方法,通过探索引导合成可复用的领域级评估技能,以替代每查询生成评分标准,在RewardBench 2上使Qwen3-8B和DeepSeek-V4-Flash分别提升13.44%和18.51%。
2026-06-15 cs.CL
Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators
Salesforce AI Research(Salesforce 人工智能研究院)
本文提出JETTS基准,评估LLM法官在测试时扩展中的表现,发现其在重排序中与结果奖励模型相当,但在束搜索中不如过程奖励模型,且自然语言批评对改进生成效果有限。
2025-05-21 cs.CL cs.LG
The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much
Hosho
该研究将LLM评判者视为控制论监管者,通过7个公开基准实验发现,向评判者展示的内容比评判者种类更重要,还揭示了不同任务中参考材料的作用,报告了理论预测的不足并推导了相关设计规则。
2026-10-14 cs.AI cs.CL
Beyond Scalar Reward Model: Learning Generative Judge from Preference Data
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Baichuan AI(拜智科技);University of Copenhagen(哥本哈根大学)
针对传统标量奖励模型可解释性不足、易受数据偏差影响的问题,提出用自生成对比评判(Con-J)结合DPO训练生成式评判器,性能与标量模型相当且更具可解释性和鲁棒性。
2024-10-13 cs.AI cs.CL cs.LG
Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学)
本文提出可控黑客环境CHERRL,通过注入已知偏见复现奖励黑客行为,分析其可发现性与可利用性,并探索基于智能体的自动检测方法。
2026-09-30 cs.AI cs.CL cs.LG
One Token to Fool LLM-as-a-Judge
Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学);Tencent AI Lab(腾讯人工智能实验室);Rutgers University(罗格斯大学)
发现基于参考的生成式奖励模型易受奖励黑客攻击,表面输入(如非词符号或通用推理开头)能持续引发假阳性奖励,提出使用截断模型输出作为对抗性负例的数据增强策略,构建鲁棒的Master奖励模型。
2026-06-12 cs.CL cs.LG
Igniting Creative Writing in Small Language Models: LLM-as-a-Judge versus Multi-Agent Refined Rewards
Beihang University(北航);Baidu Inc.(百度公司);Beijing Jiaotong University(北京交通大学)
本文在 RLAIF 框架下比较多智能体拒绝采样奖励模型与原则引导、对抗反思优化的 LLM-as-a-Judge,证明后者更能提升 7B SLM 的中文祝福语创意生成质量与训练效率。
2025-08-29 cs.AI cs.CL
Small Reward Models via Backward Inference
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(人工智能研究院)
FLIP通过反向推理实现无需参考和评分标准的奖励建模,在多个领域中显著提升性能并增强鲁棒性。
2026-09-01 cs.CL
Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.(普华永道商业技术与创新办公室)
研究深度研究系统中引用质量校准问题,用现成LLM对1248个评分决策与黄金标准标签对比,发现较便宜模型有竞争力,校准模型是用引用评分作奖励信号的前提,校准不须最昂贵模型。
2026-07-10 cs.CL
Atomic and Holistic LLM Judges for Reference-Grounded Support Labels: A Prompt-Controlled Comparison
University of California, Berkeley(加州大学伯克利分校)
本文研究了参考导向问答评估中原子分解与整体裁判的性能差异,发现整体裁判在多数基准中表现更优,尤其在部分支持案例中表现突出,且参考质量下降对两种裁判方式均产生显著影响。
2026-10-01 cs.CL
Scaling Unverifiable Rewards: A Case Study on Visual Insights
University of Minnesota(明尼苏达大学)
本文提出Selective TTS框架,通过多阶段流程优化提升视觉洞察质量,实现计算预算固定下的性能提升。
2025-12-27 cs.AI cs.CL cs.LG
Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge
University of Arizona(亚利桑那大学);Department of Computer Science(计算机科学系)
提出无需人工标注的自动生成细粒度评估准则方法,通过数据集级和实例级粒度生成,并利用元评判奖励信号迭代微调准则生成器,在成对和逐点评估中均超越现有基线。
2026-05-28 cs.CL
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Mila(蒙特利尔大学Mila)
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题,提出用梯度正则化使训练偏向奖励更准确区域,理论推导并实证验证,还改进方法,结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Persona-judge: Personalized Alignment of Large Language Models via Token-level Self-judgment
Zhejiang University(浙江大学);Angelalign Technology Inc.(Angelalign技术公司);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室)
本文提出 Persona-judge 判别式范式,利用草稿模型与判断模型在 token 级进行偏好交叉验证,无需训练或外部奖励即可实现对未见偏好的低成本个性化对齐。
2025-06-11 cs.AI cs.CL
ReSeek: A Self-Correcting Framework for Search Agents with Instructive Rewards
Basic Algorithm Center, PCG, Tencent, Shenzhen, China(腾讯基本算法中心、PCG、腾讯,深圳,中国);Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生学院,清华大学,深圳,中国)
本文提出ReSeek框架,通过引入自我纠正机制和密集指导性奖励函数,提升搜索代理在复杂任务中的表现和路径忠实度。
2026-05-08 cs.CL
Think-J: Learning to Think for Generative LLM-as-a-Judge
\dagger(机构2)
Think-J通过学习思考方式提升生成式LLM作为评判者的性能,利用强化学习优化判断轨迹,无需额外标注即可超越现有方法。
2026-01-10 cs.AI cs.CL
Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
该研究探究评判者操纵的节奏由评判者能力还是策略-评判者差距决定,通过训练不同规模的Qwen策略对抗不同评判者,发现评判者操纵深度与评判者AUC相关,节奏结果与差距解释存在矛盾。
2026-10-15 cs.CL cs.LG
Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
针对现实推理任务难以用二元正确性评估、RLVR无法直接应用的问题,提出基于评分量规反馈的同策略强化学习方法RaR,在医学和科学基准上优于LLM-as-judge基线,还能提升小评判模型对齐效果、降低性能方差。
2025-10-03 cs.AI cs.CL cs.LG
Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization
Hongli Zhou(哈尔滨工业大学);Hui Huang(哈尔滨工业大学);Rui Zhang(哈尔滨工业大学);Kehai Chen(哈尔滨工业大学);Bing Xu(哈尔滨工业大学);Conghui Zhu(哈尔滨工业大学);Tiejun Zhao(哈尔滨工业大学);Muyun Yang(哈尔滨工业大学)
本文提出JudgeBiasBench,通过系统量化LLM裁判偏见,提出偏见感知训练方法,减少偏见并保持评估能力。
2026-09-30 cs.CL
JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
JUDGESTEALER是首个跨评估协议提取LLM评判能力的高效查询框架,通过利用跨协议一致性等技术提升提取效果,在三类评估任务上优于基线且具鲁棒性。
2026-08-28 cs.CL
MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models
Yonsei University(延世大学);KAIST(韩国科学技术院);OneLineAI;Barcelona Supercomputing Center(巴塞罗那超级计算中心);Artful Media;Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了多语言元评估基准MM-Eval,用于检验评估器LLMs在多语言输出上的可靠性与公平性,发现现有评估器在非英语及低资源语言上表现不佳且不一致,且该基准与Best-of-N排名具有更强相关性。
2025-03-29 cs.CL
AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens
Palo Alto Networks(帕洛阿尔托网络公司)
本文提出AdvJudge-Zero方法,通过从评判模型自身分布中采样低困惑度令牌,无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”,并基于发现的令牌池提出防御策略以增强评判鲁棒性。
2026-10-14 cs.CL cs.CR cs.LG
Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias
UC Berkeley School of Information(加州大学伯克利分校信息学院)
本研究通过大规模系统性评估(21个裁判模型、118次运行、约54.1万次判断),发现LLM-as-a-Judge在一致性、稳定性和偏差方面存在普遍问题,包括kappa通缩、排名偏移、高重测信度与严重位置偏差并存,并提出了最小可行验证协议。
2026-11-05 cs.CL
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院);Cohere(科here公司)
该研究对比思维链推理的可理解性与实际重要性,发现LLM评判识别高优势步骤的能力有限,微调步骤级批评家仅对错误响应有效,警示勿将推理轨迹可理解性等同于可解释性。
2026-09-04 cs.CL cs.LG
The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express
The Vanguard Group, Inc.(先锋集团)
该研究探讨LLM评判器筛选指令微调数据时的评分格式影响,发现格式特性独立于评判器,提出需报告四个量化指标,整理后的数据优于随机选择。
2026-10-14 cs.AI cs.CL cs.SE
MR. Judge: Multimodal Reasoner as a Judge
HKUST(香港科技大学);Apple(苹果公司)
本研究提出MR. Judge多模态裁判范式,将裁判过程构建为推理式选择题,搭配自动标注策略与推理蒸馏,7B模型在VL-RewardBench超GPT-4o 9.9%,MM-Vet推理扩展性能最高提升7.7%。
2025-05-19 cs.CL
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
Alibaba Group(阿里巴巴集团);Fudan University(复旦大学);Tsinghua University(清华大学)
本文提出推理一致性度量,结合结果准确性改进生成奖励模型训练,提升RLHF性能并减少欺骗性对齐问题。
2026-02-04 cs.CL
Improve LLM-as-a-Judge Ability as a General Ability
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
该工作将评判能力视为LLM的通用能力,提出SFT预热加DPO增强的两阶段训练方法,并引入高效数据合成,用少量数据在RewardBench上达到SOTA,同时提升模型通用能力并增强下游DPO训练。
2025-09-07 cs.CL
Silence the Judge: Reinforcement Learning with Self-Verifier via Latent Geometric Clustering
Meituan(美团);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出Latent-GRPO框架,通过潜在空间几何聚类生成内在奖励,提升大语言模型推理性能并加速训练过程。
2026-03-01 cs.CL cs.LG
AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators
Stanford University(斯坦福大学);American Express(美国运通)
AutoMetrics通过自动生成评估器,在低数据条件下提升与人类评分的相关性,提高Kendall相关性达33.4%,并提供可解释的自动指标工具。
2025-12-19 cs.AI cs.CL
Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge
FAIR at Meta(Meta 的 FAIR)
提出EvalPlanner,一种用于Thinking-LLM-as-a-Judge的偏好优化算法,通过先规划后执行再判断的自我训练循环,在RewardBench上以93.9分达到生成式奖励模型新最先进性能。
2025-07-08 cs.AI cs.CL
Self-rationalization improves LLM as a fine-grained judge
Collinear AI(科林尼尔人工智能公司)
本研究提出Self-Rationalization自理性化迭代方法,通过让大语言模型评判器生成多组带理由的判断、构建偏好对数据集并经DPO迭代微调,提升细粒度打分的理由质量与准确率,超越多种更大规模的基线模型。
2024-10-07 cs.CL
The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents
AWS Generative AI Innovation Center(亚马逊云科技生成式人工智能创新中心);HSBC Holdings Plc., HSBC Technology Center, China(汇丰控股有限公司,汇丰科技中心,中国)
研究自我进化智能体中,有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现,“误判通过”偏差会导致技能淘汰机制失效,此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。
2026-08-19 cs.AI cs.CL cs.CR
Generating Data-Driven Reasoning Rubrics for Domain-Adaptive Reward Modeling
Johns Hopkins University(约翰霍普金斯大学);Amazon Web Services(亚马逊网络服务)
本文提出数据驱动的推理评分标准,用于提升领域自适应奖励建模的错误检测能力,实验显示其在技术领域任务准确性提升达45%
2026-02-06 cs.AI cs.CL
Are We on the Right Way to Assessing LLM-as-a-Judge?
Huazhong University of Science and Technology(华中科技大学);University of Maryland(马里兰大学)
本文提出Sage评估套件,通过局部和全局一致性指标评估LLM作为裁判的可靠性,发现当前先进模型在复杂情况下存在显著偏好不一致问题,并揭示情境偏好现象。
2025-12-17 cs.AI cs.CL
J1: Exploring Simple Test-Time Scaling for LLM-as-a-Judge
Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学)
本文提出 J1-7B,通过反思增强数据微调、可验证奖励 RL 与 STTS 提升 LLM-as-a-Judge,性能超越前 SOTA 4.8%,并证明强测试时扩展能力主要来自 RL。
2025-05-17 cs.CL cs.LG
J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning
FAIR at Meta(Meta 公司)
本文提出强化学习框架J1,通过将判断任务统一为带可验证奖励的格式训练LLM评判者,在多个基准上达到SOTA,部分表现超越o1-mini、o3及671B DeepSeek-R1。
2025-10-13 cs.AI cs.CL cs.LG
GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents
Amazon(亚马逊)
针对任务导向LLM智能体评估中LLM评判者的可靠性问题,提出GAUGE协议,发现满意度与任务成功脱节,且对强智能体区分度低,并建议采用校准后信任的节奏。
2026-09-14 cs.CL cs.LG
JudgeLRM: Large Reasoning Models as a Judge
National University of Singapore(新加坡国立大学)
针对LLM作为评估器在复杂推理任务上的不足,提出基于强化学习的JudgeLRM系列模型,通过评判导向的奖励机制激活推理能力,在多项基准上超越SFT基线及GPT-4、DeepSeek-R1等先进模型。
2025-11-03 cs.AI cs.CL
trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories
Utrecht University(乌得勒支大学)
trajectory-judge研究发现仅基于结果的LLM评估器对智能体轨迹的静默故障捕获率低,提出的步骤rubric评估器能以零误报实现更高的静默召回,同时发布相关环境与分析工具。
2026-11-04 cs.AI cs.CL cs.SE
The Perfect Blend: Redefining RLHF with Mixture of Judges
Meta GenAI;FAIR
本文提出约束生成策略优化(CGPO),以评委混合(MoJ)和分层约束优化在RLHF中有原则地平衡多目标,显著超越PPO和DPO并有效缓解奖励黑客问题。
2024-09-30 cs.AI cs.CL cs.LG
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
FAIR at Meta Superintelligence Labs(Meta超智能实验室的FAIR)
多模态奖励基准2评估多模态奖励模型在交错文本和图像任务中的性能,通过专家标注数据和先进模型对比,揭示了不同模型在多模态理解与生成任务中的准确率差异。
2026-01-19 cs.CL cs.CV
Explicit Reasoning Makes Better Judges: A Systematic Study on Accuracy, Efficiency, and Robustness
Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过对比显式推理与非显式推理模型在RewardBench任务中的表现,发现显式推理模型在准确性、效率和鲁棒性上均优于非显式模型,且在多语言环境下也表现出优势。
2026-05-10 cs.AI cs.CL
What Is Missing: Interpretable Ratings for Large Language Model Outputs
Western University(韦仕敦大学)
本文提出WIM评分系统,通过自然语言反馈生成可解释的评分,提升大型语言模型输出的可解释性和学习信号质量。
2026-02-17 cs.AI cs.CL
Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why
University of Pennsylvania(宾夕法尼亚大学)
本文通过调查24篇近期论文,指出在二元评判标准下多数一致性指标冗余,强调Cohen's κ提供额外信息,并给出报告清单。
2026-08-03 cs.CL cs.HC physics.data-an
AdaRubric: Task-Adaptive Rubrics for Reliable LLM Agent Evaluation and Reward Learning
The University of Sydney(悉尼大学)
AdaRubric通过自适应生成任务特定评分标准,结合置信度加权评分和密集奖励信号,提升LLM代理评估的准确性与可靠性,实验表明其在多个基准测试中表现优异。
2026-05-10 cs.AI cs.CL
JudgeBench: A Benchmark for Evaluating LLM-based Judges
UC Berkeley(加州大学伯克利分校);Washington University in St. Louis(圣路易斯华盛顿大学)
针对现有基准依赖人类偏好且难以评估事实与逻辑正确性的问题,提出JudgeBench基准,通过将困难数据集转换为反映客观正确性的响应对,全面评估各类基于LLM的评判者,发现多数强模型表现仅略优于随机猜测。
2025-04-05 cs.AI cs.CL cs.LG
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
本研究通过受控合成设置检验推理LLM作为裁判在非验证LLM后续训练中的效果,发现推理裁判能生成高性能策略,但易受对抗性输出影响,揭示了其在实际政策训练中的潜力与挑战。
2026-03-12 cs.AI cs.CL cs.LG