Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges
University of Göttingen(哥廷根大学);Bielefeld University of Applied Sciences and Arts (HSBI)(比勒费尔德应用科学大学)
该研究测试发现,类型化决策模型(TDM)虽比2026年LLM评判者更一致且成本低37倍,但存在偏差,偏差程度高于2026年LLM评判者,良好校准无法抵御其偏差,需针对任务测试其偏差后才可作为评判者使用。
2026-10-14 cs.CL
Can We Trust the Judges? Validation of Factuality Evaluation Methods via Answer Perturbation
EURECOM
本文提出元评估框架,通过扰动金标准答案测试事实性评估指标,发现流水线方法优于LLM裁判,并提出成本效益高的新指标变体。
2026-09-15 cs.CL
Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data
National University of Singapore(新加坡国立大学);Beijing University of Technology(北京理工大学)
本文提出自我评估激发(SEE)方法,通过少量数据(160个示例)结合校准耦合强化学习和掩码蒸馏,激发基础LLM中已有的预测外部评判者评分能力,在保持答案质量的同时显著提升校准性能。
2026-08-31 cs.CL
Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation
Dept. of ECE, Seoul National University(电子工程系,首尔国立大学);LG AI Research(LG人工智能研究);IPAI, Seoul National University(IPAI,首尔国立大学)
本文发现LLM作为QA自动评判者时,当提供的参考答案与模型参数知识冲突,评分可靠性严重下降;通过引入交换参考答案框架系统研究该现象,揭示评判者过度依赖参数知识而忽略参考标准,且常见提示缓解策略无效。
2026-06-11 cs.CL
DrugClaw and DrugAudit: A Primary-Source-Grounded Agent and Authority-Aware Benchmark for Drug-Information Question Answering
Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida(佛罗里达大学健康结局与生物医学信息学系,医学院);PAMI Research Group, Department of Computer and Information Science, Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院计算机与信息科学系PAMI研究组)
提出多智能体检索增强系统DrugClaw,通过反射驱动状态机查询药物注册与药物警戒知识库,并构建含3772条权威感知基准DrugAudit,在多个基准上取得最优性能。
2026-05-31 cs.CL
Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
University of Florida(佛罗里达大学)
该研究测试了证据锁定等不同LLM-as-Judge评估方案,发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性,而结构化证据引出效果接近标准评判,持久化证据可支持审计但不应替代源答案。
2026-08-12 cs.CL
Does CoT-Pass@k Really Check the CoT? A Multilingual Mathematical Audit
本研究首次审计了 CoT-Pass@k 的裁判验证步骤,发现三个 LLM 裁判均无法可靠检测推理链错误,且该指标在跨语言数学基准上的有效性存疑。
2026-09-29 cs.CL
Atomic and Holistic LLM Judges for Reference-Grounded Support Labels: A Prompt-Controlled Comparison
University of California, Berkeley(加州大学伯克利分校)
本文研究了参考导向问答评估中原子分解与整体裁判的性能差异,发现整体裁判在多数基准中表现更优,尤其在部分支持案例中表现突出,且参考质量下降对两种裁判方式均产生显著影响。
2026-10-01 cs.CL
HaluNet: Learning Hallucination Risk from Internal Signals in LLM Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);China Industrial Control Systems Cyber Emergency Response Team(中国工业控制系统网络应急响应团队)
提出HaluNet,利用单次生成的内部信号(token似然、预测熵和隐藏状态)估计答案级幻觉风险,通过LLM-as-a-Judge弱监督训练,在多个QA数据集上显著提升风险排序和错误检测率。
2026-05-28 cs.CL
JudgeLM: Fine-tuned Large Language Models are Scalable Judges
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出JudgeLM,通过微调LLMs构建可扩展评判器,利用大规模数据集和偏差缓解技术,在多基准上实现超越人类一致率的最先进评判性能。
2025-03-01 cs.AI cs.CL
GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs
Tencent(腾讯)
本文提出GRP方法,通过要求模型选择更差的答案来反转传统评估目标,从而提升判断准确性,实验表明其在多个基准测试中表现优异。
2026-05-12 cs.CL
Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees
Dalhousie University(达尔豪斯大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Emory University(埃默里大学)
本研究针对无参考LLM评判的可靠性问题,提出带可证明风险保证的不确定性引导双模式风险控制框架,在维持目标错误率的同时提升了判决覆盖率。
2026-08-19 cs.CL
A Judge-free LLM Open-ended Generation Benchmark Based on the Distributional Hypothesis
Preferred Networks, Inc.(Preferred Networks公司);Preferred Elements, Inc.(Preferred Elements公司)
针对LLMs开放式文本生成评估缺乏明确真值、人工或LLM裁判成本高的问题,提出基于n元语法统计和规则的无裁判基准,含50组问题参考集及三个新指标,与GPT-4o评估高度相关且资源需求低,为可扩展评估提供有效替代方案。
2025-02-13 cs.CL
Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge
University of Arizona(亚利桑那大学);Department of Computer Science(计算机科学系)
提出无需人工标注的自动生成细粒度评估准则方法,通过数据集级和实例级粒度生成,并利用元评判奖励信号迭代微调准则生成器,在成对和逐点评估中均超越现有基线。
2026-05-28 cs.CL
Towards Expert Financial QA via Self-Improving RAG
University of California, Berkeley(加州大学伯克利分校);California Polytechnic State University(加州州立理工大学);Hofstra University(霍夫斯特拉大学)
该研究针对专家级金融问答的合规与防幻觉需求,提出自改进RAG框架,通过三个专门智能体及反馈自校正实现,在FinanceBench数据集上获86%神谕引导准确率,为金融监管应用提供可解释方案。
2026-09-24 cs.CL
JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation
JudgeBoard通过多代理框架提升小语言模型的推理判断能力,展示其在数学和常识推理任务中与大模型相当的性能。
2025-11-20 cs.AI cs.CL
Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks
Meta
本研究探讨了LLMs在“no-consensus”任务中作为答案生成者、裁判和辩论者时的偏见与局限性,发现它们在开放式回答中能提供细致评估,但在担任裁判或辩论者时往往采取明确立场,凸显了无人类监督下对齐LLMs需要更复杂的方法。
2025-05-28 cs.CL
Grading Needs a Rubric, Not Intelligence
National Yang Ming Chiao Tung University(国立阳明交通大学)
该研究提出any-to-bench设计原则,证实小型语言模型依据明确评分标准评分的可靠性与高成本模型相当,评分标准中的官方答案是关键,可将评分与评分者智能解耦。
2026-08-19 cs.AI cs.CL
LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation
Faculty of Mathematics and Physics, Charles University(数学与物理系,查尔斯大学)
提出LLM作为元评判者框架,通过控制语义退化生成合成数据替代人工判断,验证NLG评估指标,在多语言问答中元相关性超过0.9。
2026-06-05 cs.CL
GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation
Independent Researcher(独立研究员)
提出GroundEval框架,通过记录智能体搜索、获取、引用和访问的证据轨迹,以确定性方式评估其回答,解决LLM评判无法检测的证据路径失效问题。
2026-07-03 cs.AI cs.CL cs.SE
Rethinking LLM-Judged Helpfulness as a Pedagogy Signal: A Pre-Registered Audit Across Tutor Models
本研究通过预注册审计发现,通用LLM有用性评分标准无法作为可靠教学信号,其排序具有评判者依赖性,而教学评分标准可有效区分策略,故导师评估应采用教学针对性评分标准与确定性过程测量。
2026-08-04 cs.AI cs.CL cs.CY
The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment
Microsoft Research(微软研究院)
通过几何量测量,发现LLM评判者之间高度一致但与人类对齐差,其评分子空间与人类子空间几乎正交,共识源于子空间坍缩而非人类对齐。
2026-09-03 cs.CL
No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding
Kensho Technologies;MIT(麻省理工学院)
本文提出BFF-Bench基准测试,通过专家评估LLM响应的正确性,揭示LLM作为评判在无人类基准时的局限性,显示当无正确参考时,LLM评判与人类专家的高一致性仅限于LLM能正确回答的问题。
2026-09-29 cs.CL
Analysis of instruction-based LLMs' capabilities to score and judge text-input problems in an academic setting
Universidad de Alcalá(阿尔卡拉大学)
本研究提出五种基于LLM的自动评估系统,用于学术文本输入问题的评分,实验表明参考辅助评估方法在公平性和准确性上最优,具有作为学术辅助工具的潜力。
2025-09-25 cs.AI cs.CL
Small Language Models as Judges for Rubric-Based Reinforcement Learning
New York University(纽约大学);Yale University(耶鲁大学)
该研究构建了两个基于 rubric 的评估数据集,对比三种提取标准级评判的方法,发现 Qwen3-1.7B 探针评判者表现最优,用作 GRPO 奖励模型时训练效率优于 8B 生成式评判者基线。
2026-09-01 cs.CL
J-Zero: Unified Challenger--Solver--Judge Self-Evolution from Zero Data
KAIST(韩国科学技术院)
J-Zero是从零数据出发的统一挑战者-求解器-评判器协同进化框架,在可验证与不可验证领域均优于基线,且迭代10次后仍能持续改进。
2026-09-25 cs.AI cs.CL cs.LG
VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);Brno University of Technology(布尔诺理工大学)
本文提出泰卢固语口语问答基准VākQA,含2,001个问答对,验证评估方法并基准测试模型,发现翻译丢失文化特异性、语音混淆及级联错误等问题。
2026-09-18 cs.CL eess.AS
Judge Before Answer: Can MLLM Discern the False Premise in Question?
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Inner Mongolia Research Institute, Shanghai Jiao Tong University(上海交通大学内蒙古研究院)
针对MLLM易受错误前提影响且现有基准评估不足的问题,提出全自动流水线构建包含三大类十三子类型的JBA基准,并设计识别增强框架显著提升了模型识别错误前提的能力。
2025-10-13 cs.AI cs.CL
Commit-first LLM judging inherits the judge's own errors
Evaluator Integrity(评估者诚信机构)
研究发现主流LLM评估框架未实现优先提交式评判,其变体易被操纵,优先提交式评判未消除锚点且继承评判者错误,小模型可抵抗操纵,还验证了自身工具的缺陷。
2026-09-02 cs.AI cs.CL cs.SE
Can LLMs Judge Better Than They Generate? Evaluating Task Asymmetry, Mechanistic Interpretability and Transferability for In-Context QA
Adobe Research(Adobe研究院)
本研究在受控上下文问答中测试LLM自我评估是否比生成更容易,发现评估并非普遍更易,注意力分析显示评估对上下文关注更少,微调实验证实不对称性非训练伪影,挑战了自我评估管线的核心假设。
2026-06-29 cs.AI cs.CL
Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge
本研究探讨了LLM在不同模型、温度设置下对相同输入评分的一致性问题,发现模型间评分差异显著,温度影响稳定性,需引入混合评估策略以确保可靠应用。
2026-02-04 cs.CL
When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess
University of Windsor(温莎大学)
本研究提出无标签测量方法,揭示多智能体代码评判在缺乏独立且差异化的证据时会盲目裁决,通过门控拒绝无法判定的比较,将准确率从20.7%提升至36.9%。
2026-09-28 cs.AI cs.CL cs.SE
SemTree: Judge-Aware Semantic Decision Trees for Inspectable and Repairable Rule Decisions
Xiamen University(厦门大学)
本文提出SemTree框架,将规则决策转化为语义决策树,支持节点级错误修复,在ShARC、BANKING77等数据集上验证了其有效性,可提升规则决策的准确率与可解释性。
2026-10-14 cs.AI cs.CL cs.LG
xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation
Institute for Advanced Algorithms Research(高等算法研究院);Renmin University of China(中国人民大学)
针对LLM评估中RegEx提取错误和法官模型泛化不足的问题,提出xFinder评估器,通过优化答案提取模块,以5亿参数模型实现93.42%提取准确率和97.61%判断准确率,优于现有框架。
2025-02-25 cs.CL
How to Evaluate your Question Answering System Every Day and Still Get Real Work Done
在本文中,我们报告Qaviar,一个实验自动评价系统的问答应用。我们的研究目标是找到一个自动计算的措施,以及相关的人类法官的答案正确性评估的背景下,问答任务。Qaviar通过计算人类生成的答案关键字中的词干内容词的召回率来判断答案。如果答案超过了给定的回忆阈值,它就算答案正确。我们确定Qaviar预测的答案正确性在93%到95%的时间内与人类一致。Qaviar和人类评估员对41个问答系统进行了排名,这些排名与Kendall's Tau测量值0.920相关,而人类评估员对相同数据的相关性为0.956。
2000-04-17 cs.CL cs.IR
Let Large Language Models Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering
University of Minnesota(明尼苏达大学)
提出多智能体同行评审推理方法,让多个LLM独立生成思维链推理并相互评估,选择最优推理链输出答案,在三个医学问答数据集上优于单模型和多数投票方法。
2026-10-12 cs.AI cs.CL
*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation
Univ Rennes, CNRS, IRISA, EXPRESSION(里尔大学、法国国家科学研究中心、IRISA、EXPRESSION);Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学、南特中央理工学院、法国国家科学研究中心、LS2N、UMR 6004);Univ Rennes, CNRS, IRISA, SOTERN(里尔大学、法国国家科学研究中心、IRISA、SOTERN);Univ of South Brittany, CNRS, IRISA, ARCHIMEDIA(布列塔尼南部大学、法国国家科学研究中心、IRISA、ARCHIMEDIA)
提出*-PLUIE,一种基于困惑度的可个性化LLM评判度量,通过任务特定提示变体实现与人类判断的更强相关性,同时保持低计算成本。
2026-05-29 cs.CL
PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond?
KAIST(韩国科学技术院)
提出PlaylistEval框架,基于100小时播放列表自动构建视频语言裁判基准,无需人工标注,生成630对需跨集检索的问题,评估17个模型显示前沿裁判准确率仅75.4%,且多模态和集合规模影响判断可靠性。
2026-09-29 cs.AI cs.CL cs.CV
The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
本研究揭示LLM作为裁判时存在未被承认的时效和来源捷径偏差,导致裁决不忠实,损害其评估可靠性。
2025-10-14 cs.CL
A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test
Catalan Institute of Nanoscience and Nanotechnology(加泰罗尼亚纳米科学与纳米技术研究所)
针对多跳 RAG 系统评估中的统计偏差问题,提出一种固定预算、聚类感知的 LLM-as-a-Judge 比较标准,并通过遗传算法证据选择器 GADMEC 在 400 个多跳问题上进行压力测试,揭示聚类感知推断改变了实证结论。
2026-05-27 cs.AI cs.CL
ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge
NVIDIA
ProfBench通过7000多个由专业领域专家评估的响应-评分对,评估大语言模型在处理专业文档、信息整合和生成综合报告方面的能力,揭示了即使顶级模型在专业任务上也面临挑战。
2026-05-16 cs.AI cs.CL cs.LG
Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge
The Ohio State University(俄亥俄州立大学);Amazon AGI(亚马逊AGI)
本文提出 Mind2Web 2 基准及 Agent-as-a-Judge 框架,通过 130 个长视野任务和树状评分裁判智能体,系统评估智能体搜索系统的答案正确性与来源归因,并揭示 OpenAI Deep Research 已达人类表现 50-70%。
2025-07-03 cs.AI cs.CL
ConQRet: Benchmarking Fine-Grained Evaluation of Retrieval Augmented Argumentation with LLM Judges
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
针对检索增强论证缺乏整体细粒度评估的问题,本文提出多LLM评判者自动评估方法,并构建基于真实网站证据的ConQRet基准以衡量检索、论证质量与依据性。
2024-12-06 cs.AI cs.CL cs.IR
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol
Mehmet Akif Ersoy University(梅赫梅特·阿基夫·埃尔索伊大学)
研究语言模型作为评判系统中合成语料库的测试预言机问题,指出其负面示例由语言模型生成时存在完整性验证漏洞,通过多语言语料库案例揭示答案截断、偏差扭曲等问题,并提出验证协议供无预言机模式分析师使用。
2026-07-16 cs.CL cs.SE
BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation
Artefact Research Center(Artefact 研究中心);Diabolocom;Cohere
本文提出BERT-as-a-Judge,通过编码器驱动的方法评估参考基于的生成结果,克服了传统词汇方法的局限,提供高效且可靠的评估方案。
2026-07-21 cs.AI cs.CL
Are You Talking to a Machine? Dataset and Methods for Multilingual Image Question Answering
Baidu Research(百度研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在本文中,我们提出了mQA模型,它能够回答有关图像内容的问题。答案可以是一个句子,一个短语或一个单词。我们的模型包含四个组件:用于提取问题表示的长短期记忆(LSTM),用于提取视觉表示的卷积神经网络(CNN),用于将语言上下文存储在答案中的LSTM,以及用于组合前三个组件的信息并生成答案的融合组件。我们构建了一个自由式多语言图像问答(FM-IQA)数据集来训练和评估我们的mQA模型。它包含超过150,000张图片和310,000个自由式中文问答对及其英文翻译。我们的mQA模型在这个数据集上生成的答案的质量由人类法官通过图灵测试进行评估。具体来说,我们将人类提供的答案和我们的模型混合在一起。人类法官需要区分我们的模型和人类。他们还将提供一个分数(即0,1,2,越大越好),表明答案的质量。我们提出了战略,以监测这一评价过程的质量。实验表明,在64.7%的情况下,人类法官无法区分我们的模型和人类。平均得分为1.454(人类为1.918)。这项工作的细节,包括FM-IQA数据集,可以在项目页面上找到:http://idl.baidu.com/FM-IQA.html
2015-11-02 cs.CL cs.CV cs.LG
Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges
University of Waterloo(滑铁卢大学);Snowflake(Snowflake公司);Microsoft(微软公司)
本研究比较了GPT-4o与人类评判者在TREC 2024 RAG赛道支持性评估中的表现,发现LLM评判者与人类高度一致,可作为可靠替代方案。
2025-04-21 cs.AI cs.CL cs.IR
Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning
Imperial College London(伦敦帝国理工学院);Huawei Noah’s Ark Lab(华为诺亚实验室);UCL Centre for AI(大学学院伦敦人工智能中心)
针对 Lean 评判自然语言数学答案时信号稀疏且不忠实的问题,提出 COVCAL 选择器,通过有限样本选择性风险控制,在自动形式化覆盖率足够高时保证接受答案的准确率。
2026-05-27 cs.AI cs.CL cs.LO
When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
The Vanguard Group, Inc.(先锋集团)
该研究针对无标签评估中一致性可替代正确性的假设,发现60%错误答案处于高一致性区域,该现象鲁棒且跨模型族存在,揭示了一致性-准确性解离这一无标签评估盲点。
2026-10-16 cs.AI cs.CL
Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form QA
Faculty of Computer Science(计算机科学学院);Dalhousie University(达尔豪斯大学)
针对大型语言模型生成的开放式问答输出难以用传统指标评估的问题,提出参考引导判决方法,利用多个大语言模型作为法官,实验表明该方法在自由形式问答任务中提升了评估可靠性与准确性,且与人类评估强相关。
2025-11-10 cs.AI cs.CL
Do Before You Judge: Self-Reference as a Pathway to Better LLM Evaluation
Department of Computer Science and Information Engineering(计算机科学与信息工程系);National Taiwan University(国立台湾大学);Institute of Information Science, Academia Sinica(学术院信息研究所);AI Research Center (AINTU)(人工智能研究中心)
本研究通过多模型多任务分析发现LLM生成与判断能力弱相关,提出利用模型自身答案作为参照的自我参照评估策略,显著增强两者相关性,为模型选择提供可靠代理。
2025-09-24 cs.AI cs.CL
Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning
Cornell University(康奈尔大学)
针对LLMs在多跳推理中存在幻觉和错误传播问题,提出推理法庭框架,引入LLM裁判评估多智能体生成的候选答案及推理,在无任务微调下性能优于现有少样本方法。
2025-04-14 cs.AI cs.CL
From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks
Faculty of Computer Science(计算机科学系);UniVie Doctoral School Computer Science(维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies(文学与文化研究系);University of Vienna(维也纳大学);Saarland University(萨尔兰大学);Eastern Institute of Technology(东部技术研究所);Department of Statistics(统计系);LMU Munich(慕尼黑莱茵河大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究数学推理任务中的 LLM 裁判,揭示其评判难度与候选模型性能相关,并可用简单词性特征预测多数评判,但其难以用于直接提升任务表现。
2025-05-12 cs.AI cs.CL