JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
Carnegie Mellon University(卡内基梅隆大学)
本文提出JEV仅决策评判者,以极低成本接近最先进LLM评判者,并通过置信度级联升级不确定裁决,保留99%准确率。
2026-10-12 cs.AI
Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness
Data Science and AI Institute(数据科学与人工智能研究所)
研究评估了LLM作为法官在检测医疗聊天机器人完整性上的可靠性,发现其与临床医生在判断标准上存在根本差异,无法有效替代人工评估。
2026-03-26 cs.AI cs.CY
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
Stony Brook University(石溪大学)
本研究利用残差流激活预测LLM评判对候选顺序的敏感性,线性探针在JudgeBench和MT-Bench上均优于非激活基线,表明判决前激活可有效预测位置翻转。
2026-10-07 cs.AI cs.LG
Cherry-pick Override: LLM Judges Under-use the Non-Directional Verdicts Their Contract Authorizes
针对混合证据场景,发现LLM法官会错误地返回方向性裁决(SUPPORTS/REFUTES)而非授权非方向性裁决(CONFLICTING),定义为Cherry-pick Override(CCO);通过诊断协议和干预实验,提出外部承诺控制层分离裁决生成与授权。
2026-09-15 cs.AI cs.CL cs.MA
Context Over Content: Exposing Evaluation Faking in Automated Judges
BITS Pilani(比特学院);University of Michigan(密歇根大学)
研究揭示自动化评判中因后果信号导致的宽大偏见,指出评判模型在不知情情况下受后果影响而降低评判标准,核心贡献是提出控制实验框架以检测此类评估造假。
2026-04-16 cs.AI cs.CL cs.LG
Approved Too Late: Verdict Staleness in LLM-Guarded Self-Adaptive Systems
University of Cambridge(剑桥大学);Maccabim-Re’ut High School(马卡比姆-鲁特高中);The Open University of Israel(以色列开放大学)
该研究针对LLM防护的自适应系统存在的裁决陈旧性问题,提出新鲜度受限防护(FBS)方法,可显著降低批准过期率,同时制定新鲜度契约规范批准的有效性。
2026-08-28 cs.AI
Are LLM Safety Judges Policy-Invariant? A Three-Principle Stress-Test
Nanjing University(南京大学);Singapore Management University(新加坡国立管理学院)
本文提出政策不变性作为LLM安全裁判可靠性测试,通过三个可测试原则揭示现有裁判在面对规范性变化和结构性重写时的失效模式,并提出政策不变性分数和裁判卡报告协议以评估裁判可靠性。
2026-11-06 cs.AI cs.SE
Adaptive Rigor in AI System Evaluation using Temperature-Controlled Verdict Aggregation via Generalized Power Mean
Independent Researcher(独立研究员)
本文提出TCVA方法,结合五级判决评分系统和通用幂均值聚合,通过温度参数控制评估严格性,实验显示其在忠实度上与RAGAS相当,且优于DeepEval。
2026-04-04 cs.AI cs.CL
The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation
Sharif University of Technology(沙菲大学技术学院);Qatar Computing Research Institute(卡塔尔计算研究所)
研究揭示了基于大语言模型的评估中隐藏的捷径问题,指出裁判模型在面对注入提示时缺乏透明度,导致裁决偏移率高但提示识别率低,揭示了评估流程中的可靠性缺口。
2026-02-08 cs.CL
MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators
Megagon Labs
MAWILE是一个开发者工作台,通过四个表面(提示、标准、输入、输出)的受控扰动,审计LLM评估器的敏感性,无需黄金标签,可衡量鲁棒性和敏感性。
2026-09-22 cs.AI
RTLC -- Research, Teach-to-Learn, Critique: A three-stage prompting paradigm inspired by the Feynman Learning Technique that lifts LLM-as-judge accuracy on JudgeBench with no fine-tuning
Cisco(思科)
RTLC通过三阶段提示方法提升LLM在JudgeBench上的准确性,无需微调或外部工具,其核心方法包括研究、教以学和批判三个阶段,显著提升客观正确性评分的准确性。
2026-05-13 cs.AI cs.CL
The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express
The Vanguard Group, Inc.(先锋集团)
该研究探讨LLM评判器筛选指令微调数据时的评分格式影响,发现格式特性独立于评判器,提出需报告四个量化指标,整理后的数据优于随机选择。
2026-10-14 cs.AI cs.CL cs.SE
When Trust Meets Truth: Trust-Truth Separability in LLM-as-Judge
National Institute of Informatics (NII)(信息学研究所(NII));University of Amsterdam(阿姆斯特丹大学);University of Tokyo(东京大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心(CWI));Utrecht University(乌得勒支大学)
该研究针对大模型作为评判者系统,发现其信任评分与真相判决的分离性弱于人类,来源线索会同时影响信任评分与真相判决,因此不应将信任评分视为真相判断的独立证据。
2026-08-24 cs.AI
Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why
University of Pennsylvania(宾夕法尼亚大学)
本文通过调查24篇近期论文,指出在二元评判标准下多数一致性指标冗余,强调Cohen's κ提供额外信息,并给出报告清单。
2026-08-03 cs.CL cs.HC physics.data-an
Three Ways Classical Test Theory Can Mislead About LLM Judges
University of Oxford(牛津大学)
本研究揭示经典测量理论三种统计量在LLM评判者评估中的误用,指出其无法单独归因于评判者,并提出四条报告准则以保持归因清晰。
2026-10-01 cs.CL cs.LG stat.ME
Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees
Dalhousie University(达尔豪斯大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Emory University(埃默里大学)
本研究针对无参考LLM评判的可靠性问题,提出带可证明风险保证的不确定性引导双模式风险控制框架,在维持目标错误率的同时提升了判决覆盖率。
2026-08-19 cs.CL
Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges
University of Göttingen(哥廷根大学);Bielefeld University of Applied Sciences and Arts (HSBI)(比勒费尔德应用科学大学)
该研究测试发现,类型化决策模型(TDM)虽比2026年LLM评判者更一致且成本低37倍,但存在偏差,偏差程度高于2026年LLM评判者,良好校准无法抵御其偏差,需针对任务测试其偏差后才可作为评判者使用。
2026-10-14 cs.CL
Jagged Judges: Epistemic Stability Under Perturbation, Pressure, and Persistence
Meta Superintelligence Labs(元超级智能实验室);FAIR at Meta(元公司FAIR研究院)
本研究提出Wiggle框架测试LLM评判者的认知稳定性,发现9个前沿模型在压力下裁决波动显著,且多数压力会损害真实值,基线陪审团多数强度可预测波动项目。
2026-08-25 cs.AI
Codifying the Judge: Scalable Evaluation via Program Distillation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究针对基于语言模型的评判器成本高、延迟大等问题,提出用程序蒸馏方法,将其决策逻辑提炼成程序委员会。引入PAJAMA系统,实验显示程序评判器性能可匹配大语言模型,还能提高准确率和吞吐量,产生廉价有效奖励信号。
2026-09-29 cs.AI cs.LG
The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing
Workday Inc.(Workday公司)
本研究通过引入有界指令分解框架,揭示了基于大语言模型的指令遵循审计中判决稳定性与推理稳定性之间的矛盾,提出需严格限定自动化评估协议以提升可靠性。
2026-01-16 cs.CL cs.SE
VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference
Indeed Inc(Indeed公司)
VERDI通过分解推理过程提取置信度信号,无需额外调用,提升验证型LLM裁判的可信度评估。
2026-05-11 cs.CL cs.IR cs.LG
The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
本研究揭示LLM作为裁判时存在未被承认的时效和来源捷径偏差,导致裁决不忠实,损害其评估可靠性。
2025-10-14 cs.CL
Beyond Verdicts: A Graph-Based Analysis of Human and LLM Reasoning in Scientific Fact-Checking
Interdisciplinary Transformation University Austria (ITU)(奥地利跨学科转型大学(ITU))
本研究提出类型化推理图框架,用于对比科学事实核查中人类与LLM的推理路径,基于MISSCIPLUS数据集评估GPT-5等模型,发现各模型在裁决性能与人类对齐度上存在差异。
2026-08-25 cs.AI cs.CL
AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens
Palo Alto Networks(帕洛阿尔托网络公司)
本文提出AdvJudge-Zero方法,通过从评判模型自身分布中采样低困惑度令牌,无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”,并基于发现的令牌池提出防御策略以增强评判鲁棒性。
2026-10-14 cs.CL cs.CR cs.LG
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心);University of Alicante (UA)(阿利坎特大学(UA));GOI Institute, Basque Summer University (UEU)(巴斯克夏季大学(UEU)GOI研究所)
该研究针对英语外语言开展摘要元评估,构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型,发现专有评判LLM与人类评判相关性最高,开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations
Department of Machine Learning, Carnegie Mellon University, Pittsburgh, PA, USA(卡内基梅隆大学机器学习系);Department of Computer Science and Engineering, University of California San Diego, La Jolla, CA, USA(加州大学圣地亚哥分校计算机科学与工程系);Department of Computer Science, University of Virginia, Charlottesville, VA, USA(弗吉尼亚大学计算机科学系);Martian Research, San Francisco, California, USA(火星研究公司);Apart Research, San Francisco, California, USA(Apart研究公司)
通过比较评估者自我评价与评价其他模型时的投票分布,发现仅51%的先前结果具有统计显著性,表明自我偏好主要由评估者质量而非自恋驱动。
2026-06-24 cs.AI cs.CL cs.LG
Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
Peking University(北京大学);Weixin Al, Tencent Inc(腾讯公司微信智能)
本研究针对LLM评审员多评分标准评估时的干扰问题,提出SARA方法,通过策略内自蒸馏提升评估一致性,且该一致性可跨数据集迁移。
2026-08-27 cs.AI cs.LG
Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
University of Pennsylvania(宾夕法尼亚大学)
本研究比较 Jev 分类器与 LLM 评审在评分标准上的表现,发现 Jev 更便宜、更快且准确率相当,但相关错误限制了级联优势,仅能小幅提升。
2026-10-14 cs.CL
Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge
FAIR at Meta(Meta 的 FAIR)
提出EvalPlanner,一种用于Thinking-LLM-as-a-Judge的偏好优化算法,通过先规划后执行再判断的自我训练循环,在RewardBench上以93.9分达到生成式奖励模型新最先进性能。
2025-07-08 cs.AI cs.CL
Beyond the Verdict: Evidence-Aligned Evaluation of Visual Prompt-Injection Guardrails
Tynapse
针对视觉提示注入护栏,提出证据对齐评估方法,引入Mind2Web-Injection基准,发现模型在证据定位上差异显著,并提出两种无需训练的干预措施以改善接地和一致性。
2026-09-09 cs.AI cs.CV
Binarization Flattens the Score Space
UC Berkeley(加州大学伯克利分校)
本研究揭示LLM评判器二值化奖励导致分数空间展平,掩盖真实性能差异;提出保留至少三个等级以消除仿射拉伸模糊性,并建议外部验证剩余方向,提升奖励信号可靠性。
2026-10-21 cs.AI cs.LG
When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops
研究长期运行的自主智能体循环中自我评估偏差导致的“进步幻觉”问题,通过构建测试平台,控制评估者信息通道类型,发现自我报告无意义,带内评判者也有偏差,指出开放式目标需带外评估,强调评估者依据对结果的重要性。
2026-09-30 cs.AI
Verdict: A Library for Scaling Judge-Time Compute
Haize Labs(Haize实验室)
本文提出开源库Verdict,通过组合验证、辩论、聚合等模块化推理单元并扩展裁判时计算,在内容审核、事实核查和幻觉检测等任务上以较小规模达到与更大模型相竞争的性能,为构建可扩展、可解释且可靠的大语言模型评估系统奠定基础。
2025-11-05 cs.CL
The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation
Independent Researcher(独立研究员)
研究LLM作为评估者在重复评估中的不可靠性,发现偏好翻转率平均13.6%,存在位置偏见,并建议多轮聚合和不确定性报告。
2026-06-15 cs.AI cs.CL
Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊);UC San Diego(加州大学圣迭戈分校)
本研究提出位置选择性自蒸馏方法,通过熵移掩蔽利用语言反馈训练LLM裁判,在主观任务上比结果监督RL提升2-9个百分点,并改善分布外泛化。
2026-10-01 cs.CL cs.LG
How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
University of Stuttgart(斯图加特大学)
本研究系统比较了LLM作为裁判时提示设计、评分量表和模型选择的影响,发现模型身份是方差主要来源,设计选择可显著影响宽松度,但总体裁判可靠,为自动化评估提供方法论参考。
2026-10-07 cs.AI cs.CL
AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators
Stanford University(斯坦福大学);American Express(美国运通)
AutoMetrics通过自动生成评估器,在低数据条件下提升与人类评分的相关性,提高Kendall相关性达33.4%,并提供可解释的自动指标工具。
2025-12-19 cs.AI cs.CL
LLM-Based Test Oracles: Source-of-Authority Taxonomy -- A Systematic Literature Review
Independent Researcher, USA(美国独立研究员);Technical University of Munich, Germany(德国技术大学)
通过系统文献综述,沿权威来源、形式及裁决机制三轴分析相关研究,刻画领域、语言等情况,指出规范衍生权威最常见但仅占约一半研究,还报告了评估及失败情况并提出研究议程。
2026-09-04 cs.AI cs.SE
BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories
提出BabelJudge基准,通过受控扰动生成已知标签的成对样本,无监督地测量评判模型的位置偏差、冗长偏差、顺序不一致和跨语言退化,发现Swahili顺序一致性接近随机。
2026-06-23 cs.AI cs.CL
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
Sword Health;TransPerfect;ELLIS Unit Lisbon(ELLIS 里斯本分部)
研究探讨了基于评分标准的评估中自我偏好偏差对模型评估的影响,发现即使评分标准客观,自我偏好仍会导致评分偏差,且通过多评委ensemble可部分缓解。
2026-08-04 cs.AI cs.CL
From Judgment Quality to Downstream Utility: Rethinking LLM-as-a-Judge for Open-Ended Tasks
ShanghaiTech University(上海科技大学);BIGAI(北京通用人工智能研究院)
本研究系统探讨LLM-as-a-Judge在开放式任务中的评判质量与下游效用,发现两者并非总一致,协议设计影响显著,且评判者引导能有效将测试时计算转化为性能提升。
2026-09-30 cs.AI
Exploiting LLM-as-a-Judge Disposition on Free Text Legal QA via Prompt Optimization
Technical University of Munich(慕尼黑技术大学)
本文研究提示设计和法官选择在LLM-as-a-Judge评估自由文本法律问答中的作用,通过ProTeGi方法优化提示,发现自动优化优于人类设计,宽松反馈的提示在严格法官间转移更有效。
2026-04-23 cs.AI cs.CL
Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
Capital One, AI Foundations(Capital One人工智能基础)
提出BINEVAL框架,将评估标准分解为原子二元问题,聚合为可解释的多维分数,在多项基准上匹配或超越强基线,并支持迭代提示优化。
2026-06-26 cs.AI cs.CL
Pair Difficulty Matters: Rethinking Pairwise LLM-as-a-Judge Evaluation and Consistency
Heidelberg University(海德堡大学)
本研究指出成对LLM评估中代理指标受近距离配对主导而失真,提出应基于排名差距条件化指标评估法官,并通过模拟和人工语料验证了该观点。
2026-10-28 cs.CL
JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems
Florida International University(佛罗里达国际大学);CrowdStrike;University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文提出JudgeSense基准,用于评估LLM作为裁判系统在提示重述下的稳定性,分析不同任务和架构的决策稳定性,并发现一致性不依赖模型规模。
2026-09-21 cs.CL
Safer or Luckier? LLMs as Safety Evaluators Are Not Robust to Artifacts
Cohere
本研究评估11个LLM评判模型在安全评估中的鲁棒性,发现输入伪影(如道歉措辞)可致偏好偏差达98%,且大模型不更鲁棒;陪审团聚合虽改善鲁棒性和人类一致性,但伪影敏感性仍存。
2025-07-09 cs.AI cs.CL
JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
University of Tsukuba(筑波大学);The University of Tokyo(东京大学);Hiroshima University(广岛大学)
JuryFlow提出分歧引导的人机协同多智能体评估框架,将评判分歧作为信号,通过图传播和规则归纳提升评估准确性。
2026-10-01 cs.CL cs.HC
No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding
Kensho Technologies;MIT(麻省理工学院)
本文提出BFF-Bench基准测试,通过专家评估LLM响应的正确性,揭示LLM作为评判在无人类基准时的局限性,显示当无正确参考时,LLM评判与人类专家的高一致性仅限于LLM能正确回答的问题。
2026-09-29 cs.CL
It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them
Technion(以色列理工学院)
本研究提出MIST压力测试,发现VLM裁判的标签受图像存在而非内容影响,揭示可替代性测试反映配置而非模型本身。
2026-09-30 cs.AI cs.CL cs.CV
Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring
Independent Researcher(独立研究者)
针对AI合规作为审计时二元判定而非生产系统持续可测量属性的问题,提出基于指标的治理原则,并开发开源框架govllm,通过运行时可观测性信号实现持续合规监控,验证了多模型陪审团设计在监管评估中的有效性。
2026-05-23 cs.AI cs.CL cs.CY
Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
University of Florida(佛罗里达大学)
该研究测试了证据锁定等不同LLM-as-Judge评估方案,发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性,而结构化证据引出效果接近标准评判,持久化证据可支持审计但不应替代源答案。
2026-08-12 cs.CL
Small Language Models as Judges for Rubric-Based Reinforcement Learning
New York University(纽约大学);Yale University(耶鲁大学)
该研究构建了两个基于 rubric 的评估数据集,对比三种提取标准级评判的方法,发现 Qwen3-1.7B 探针评判者表现最优,用作 GRPO 奖励模型时训练效率优于 8B 生成式评判者基线。
2026-09-01 cs.CL
A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation
South China University of Technology(华南理工大学);University of Macau(澳门大学)
该研究针对LLM作为评审的评估,提出二维结构效度指标(不变性S与结构敏感性R),发现高评审一致性常伴随对结构变化的弱敏感性,建议联合报告两指标并审计验证集。
2026-08-26 cs.AI
Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG
研究针对基于事实的检索增强生成中大型语言模型评判器自我宽容难识别问题,引入Eval-Pair Matrix协议,通过特定流程生成答案并评估,经实验得出同模型效应等结果,强调RAG评判器研究应报告多方面内容。
2026-07-14 cs.CL