Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge
本研究探讨了LLM在不同模型、温度设置下对相同输入评分的一致性问题，发现模型间评分差异显著，温度影响稳定性，需引入混合评估策略以确保可靠应用。
2026-02-04 cs.CL
The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
本研究揭示LLM作为裁判时存在未被承认的时效和来源捷径偏差，导致裁决不忠实，损害其评估可靠性。
2025-10-14 cs.CL
The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation
Independent Researcher（独立研究员）
研究LLM作为评估者在重复评估中的不可靠性，发现偏好翻转率平均13.6%，存在位置偏见，并建议多轮聚合和不确定性报告。
2026-06-15 cs.AI cs.CL
Auditing Failure Attribution: Label Predictability and Judge Behavior
Purdue University（普渡大学）
本文针对失败归因基准测试提出四项测试以区分LLM评判者的跨步骤检查与表面线索使用，实验显示简单预测器表现与GPT-4.1相当，建议开发相关基准时报告这些测试。
2026-10-14 cs.AI cs.CL cs.LG
A Judge-free LLM Open-ended Generation Benchmark Based on the Distributional Hypothesis
Preferred Networks, Inc.（Preferred Networks公司）；Preferred Elements, Inc.（Preferred Elements公司）
针对LLMs开放式文本生成评估缺乏明确真值、人工或LLM裁判成本高的问题，提出基于n元语法统计和规则的无裁判基准，含50组问题参考集及三个新指标，与GPT-4o评估高度相关且资源需求低，为可扩展评估提供有效替代方案。
2025-02-13 cs.CL
Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
Apple（苹果公司）
本文通过分析9个前沿LLM在自然语言推理任务上的投票行为，发现由于模型间存在高度相关的错误，评估小组的有效信息仅相当于约2个独立投票，实际准确率比独立投票理想情况低8-22个百分点，且增加评委或改进聚合算法均无法弥补这一差距。
2026-05-28 cs.CL
Can Large Language Models Forecast What Researchers Study Next?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究推出 IdeaForecastBench 基准，对比不同大模型的思路预测性能，发现 Qwen2.5 表现优于 GPT-4.1，为研究领域后续研究方向预测提供统一任务。
2026-09-02 cs.CL
Rethinking Verbalized Confidence for LLM-as-a-Judge: A Compatibility Shift on Post-2025 Proprietary Models
Cisco Systems（思科系统）
本文发现2025年后专有模型上言语化置信度优于对数概率，提出过度自信建议和自辩论两个新要素，改善校准与主观性稳健性，建议LLM-as-a-Judge广泛采用软评分。
2026-09-11 cs.CL
Direct Judgement Preference Optimization
Salesforce AI Research（Salesforce 人工智能研究院）
本文提出 Direct Judgement Preference Optimization，通过三种方法收集偏好对进行偏好优化，增强大型语言模型作为生成式评判器的评估能力，在多数基准上超越 GPT-4o 等强基线并有效对抗多种固有偏差。
2025-09-12 cs.CL
Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Meta AI
本文针对LLM-as-a-Judge中代理评判模型学习教师模型偏好偏差的问题，提出引入无偏助手模型的三阶段去偏框架AGDe-Judge，在六个评估基准上验证了其有效降低偏差并保持性能的能力。
2025-09-18 cs.CL
SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification
Efficient AI；Large Language Model（大型语言模型）；Speculative Decoding（推测解码）
提出SelfJudge方法，利用目标模型的自监督训练验证器，通过评估令牌替换后响应的语义保持性来加速推测解码，实现更优的推理-准确率权衡。
2026-05-27 cs.AI cs.CL
Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging
University of California, Los Angeles（加州大学洛杉矶分校）；Tsinghua University（清华大学）；LA General Hospital（洛杉矶总医院）；Google（谷歌）
本研究通过短篇故事心理深度评估发现，LLM评判者偏向推理输出但忽略人类主观异质性，开发集性能不足以证明部署有效性。
2026-09-15 cs.CL cs.LG
Checklist Engineering Empowers Multilingual LLM Judges
Amirkabir University of Technology（阿姆irkabir技术大学）；Sharif University of Technology（沙里夫技术大学）
针对多语言 LLM 评判依赖专有模型或微调数据的问题，本文提出无需训练的 CE-Judge 框架，利用清单工程和开源模型，在多个基准上达到优于基线且媲美 GPT-4o 的效果。
2025-07-27 cs.CL
GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs
Tencent（腾讯）
本文提出GRP方法，通过要求模型选择更差的答案来反转传统评估目标，从而提升判断准确性，实验表明其在多个基准测试中表现优异。
2026-05-12 cs.CL
Audio-Aware Large Language Models as Judges for Speaking Styles
National Taiwan University（国立台湾大学）；Microsoft（微软）
本文提出用音频感知大语言模型自动评判口语模型的说话风格，并通过人类评估验证Gemini-2.5-pro可达到接近人类间一致性，同时指出现有SLM仍需改进。
2025-06-06 cs.AI cs.CL eess.AS
Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge
Aalto University（阿尔托大学）；University of Jyväskylä（于韦斯屈莱大学）；The University of Auckland（奥克兰大学）
针对教育中开源 LLM 反馈质量不明的问题，本文以 GPT-4 作为自动评判者并结合人类专家对比，评估多个开源模型在编程入门课程反馈上的表现，发现部分模型可媲美 ChatGPT。
2024-05-08 cs.AI cs.CL cs.CY
Are Large Language Models Reliable Judges? A Study on the Factuality Evaluation Capabilities of LLMs
Dialpad Canada Inc.（Dialpad加拿大公司）
本文研究大型语言模型作为摘要事实性评估者的可靠性，提出用单一LLM完成基于问答的事实性评分方法，并通过与传统度量和人工标注对比，发现GPT-4和PaLM-2与人类评估缺乏显著相关性，揭示当前LLMs在事实性评估能力上的根本局限。
2023-11-01 cs.CL
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
MR. Judge: Multimodal Reasoner as a Judge
HKUST（香港科技大学）；Apple（苹果公司）
本研究提出MR. Judge多模态裁判范式，将裁判过程构建为推理式选择题，搭配自动标注策略与推理蒸馏，7B模型在VL-RewardBench超GPT-4o 9.9%，MM-Vet推理扩展性能最高提升7.7%。
2025-05-19 cs.CL
Don't Judge a Book by its Cover: Testing LLMs' Robustness Under Logical Obfuscation
Manipal University Jaipur（马纳普大学贾普尔分校）；Indian Institute of Technology, Patna（印度理工学院帕坦分校）；Indian Institute of Science Education and Research, Kolkata（印度科学教育与研究学院科钦分校）
本研究提出Logifus框架和LogiQAte基准，测试LLMs在逻辑混淆下的鲁棒性，发现混淆显著降低模型性能，揭示当前LLMs缺乏深度理解。
2026-08-04 cs.CL
LLM Cognitive Judgements Differ From Human
本文通过认知科学中的有限数据归纳推理任务测试GPT-3与ChatGPT，发现LLM的认知判断与人类存在差异。
2023-08-16 cs.AI cs.CL cs.LG
Edit Policy-Aligned Text Simplification
The University of Osaka（大阪大学）；Institute of Science Tokyo（东京科学研究所）；NTT Inc.（日本电报电话公司）
本文提出利用LLM作为评判者自动构建政策一致的训练数据，实现无需人工标注或平行语料库的句子简化系统，实验表明其在词法简化和整体重写任务上均优于现有方法。
2026-10-22 cs.CL
Are LLM-Judges Robust to Expressions of Uncertainty? Investigating the effect of Epistemic Markers on LLM-based Evaluation
Seoul National University（首尔大学）；IPAI, Seoul National University（首尔大学IPAI）；LG AI Research（LG人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）；NAVER Cloud（NAVER云）；University of Richmond（里士满大学）
本文提出EMBER基准以评估LLM评判者对认知标记的鲁棒性，发现包括GPT-4o在内的模型在存在认知标记时均表现出鲁棒性不足及负面偏见，尤其对表达不确定性的标记偏见更强，表明LLM评判者不仅关注内容正确性，还受标记影响。
2025-04-30 cs.CL
VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference
Indeed Inc（Indeed公司）
VERDI通过分解推理过程提取置信度信号，无需额外调用，提升验证型LLM裁判的可信度评估。
2026-05-11 cs.CL cs.IR cs.LG
Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG
研究针对基于事实的检索增强生成中大型语言模型评判器自我宽容难识别问题，引入Eval-Pair Matrix协议，通过特定流程生成答案并评估，经实验得出同模型效应等结果，强调RAG评判器研究应报告多方面内容。
2026-07-14 cs.CL
The Judge is Part of the Experiment: Auditing Peer Context Sensitivity in LLM-Based Evaluation
Illinois Institute of Technology（伊利诺伊理工大学）
该研究提出实验方案测量开放式LLM一致性，发现错误同行输入会降低修订质量，评估者非中立，锚定校准必要，指出翻转率不足以完整衡量开放式一致性。
2026-11-06 cs.CL
Agri-CPJ: A Training-Free Explainable Framework for Agricultural Pest Diagnosis Using Caption-Prompt-Judge and LLM-as-a-Judge
Business School, Shandong University of Technology（山东理工大学商学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Guangdong Institute of Intelligent Science and Technology（广东智能科学与技术研究院）；Macau Millennium College（澳门 millennium 学院）；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
本文提出Agri-CPJ框架，通过生成结构化形态描述并利用LLM进行判断，解决农业病害诊断中模型易产生错误物种名称和推理不可用的问题，实验显示其在病害分类和问答评分上有显著提升。
2026-04-26 cs.AI cs.CL cs.CV
Atomic and Holistic LLM Judges for Reference-Grounded Support Labels: A Prompt-Controlled Comparison
University of California, Berkeley（加州大学伯克利分校）
本文研究了参考导向问答评估中原子分解与整体裁判的性能差异，发现整体裁判在多数基准中表现更优，尤其在部分支持案例中表现突出，且参考质量下降对两种裁判方式均产生显著影响。
2026-10-01 cs.CL
Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
University of Florida（佛罗里达大学）
该研究测试了证据锁定等不同LLM-as-Judge评估方案，发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性，而结构化证据引出效果接近标准评判，持久化证据可支持审计但不应替代源答案。
2026-08-12 cs.CL
When Consistency Does Not Mean Reliability: Evaluating Local LLM Judges Against Human Ratings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本研究评估两个本地LLM裁判（LLaMA-3-8B和Qwen2.5-7B）与人类评分的相关性，发现其自一致性高但人类一致性低，强调需同时评估一致性与人类对齐。
2026-09-15 cs.CL
On Cost-Effective LLM-as-a-Judge Improvement Techniques
研究通过集成评分、任务特定标准注入等四种技术提高LLM评判准确性，在RewardBench 2上达到85.8%准确率，成本效益显著。
2026-06-09 cs.CL
Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks
Meta
本研究探讨了LLMs在“no-consensus”任务中作为答案生成者、裁判和辩论者时的偏见与局限性，发现它们在开放式回答中能提供细致评估，但在担任裁判或辩论者时往往采取明确立场，凸显了无人类监督下对齐LLMs需要更复杂的方法。
2025-05-28 cs.CL
Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.（普华永道商业技术与创新办公室）
研究深度研究系统中引用质量校准问题，用现成LLM对1248个评分决策与黄金标准标签对比，发现较便宜模型有竞争力，校准模型是用引用评分作奖励信号的前提，校准不须最昂贵模型。
2026-07-10 cs.CL
JudgeLRM: Large Reasoning Models as a Judge
National University of Singapore（新加坡国立大学）
针对LLM作为评估器在复杂推理任务上的不足，提出基于强化学习的JudgeLRM系列模型，通过评判导向的奖励机制激活推理能力，在多项基准上超越SFT基线及GPT-4、DeepSeek-R1等先进模型。
2025-11-03 cs.AI cs.CL
Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue
University of Rochester（罗切斯特大学）；Stony Brook University（石溪大学）；Independent Researcher（独立研究者）
提出逆图灵基准，评估LLM区分人类与AI多轮对话的能力，发现GPTZero、Claude Opus-4.6和GPT-5.5准确率最高，统计方法有语义盲点而语义方法易受角色提示影响。
2026-09-11 cs.CL cs.CY
CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences
Université de Montréal（蒙特利尔大学）；Singapore Management University（新加坡管理大学）
本文提出CodeUltraFeedback数据集，利用LLM-as-a-Judge方法评估编码偏好对齐，并通过SFT和RLAIF（DPO）微调CodeLlama-7B-Instruct，使其对齐效果和功能正确性优于更大模型。
2024-12-27 cs.CL cs.LG cs.SE
Large Language Models Pass the Turing Test
UC San Diego（加州大学圣迭戈分校）
通过随机对照图灵测试发现，GPT-4.5在73%的情况下被判定为人类，首次实证证明人工系统能通过标准三方图灵测试，对LLM智能及社会经济影响研究具有重要意义。
2025-03-31 cs.CL cs.HC
Automatic Information Extraction From Employment Tribunal Judgements Using Large Language Models
University of Cambridge（剑桥大学）；Newnham College（纽纳姆学院）；Downing College（唐宁学院）；University of Notre Dame（圣母大学）
本研究利用GPT-4从英国就业法庭判决中自动提取关键信息，验证其高准确性，并探索预测劳动法争议结果的工具开发。
2024-03-19 cs.AI cs.CL
Testing Causal Models of Word Meaning in GPT-3 and -4
Brown University（布朗大学）
本文通过 HIPE 理论和因果图测试 GPT-3 与 GPT-4 的词汇概念表征，发现 GPT-4 编码了理论假设的因果结构而 GPT-3 未表现出此能力，深化了对大模型表征能力的认知。
2023-05-24 cs.CL
Automatic Replication of LLM Mistakes in Medical Conversations
Lumos AI
本文提出MedMistake自动管道，通过提取医疗对话中LLM的错误生成单次问答对，构建基准测试集，验证了GPT、Claude和Grok在医疗问答任务中的最佳性能。
2026-04-07 cs.AI cs.CL cs.LG
J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization
Salesforce AI Research（Salesforce AI研究）
本文提出EIS-GRPO算法训练7B评判器J4R，用于推理密集型评估，在JudgeBench和ReasoningJudgeBench上超越GPT-4o及现有小型评判器，达到或超过大型GRPO评判器性能。
2025-06-18 cs.AI cs.CL
Self-Preference Bias in LLM-as-a-Judge
SB Intuitions
本文提出一种定量指标测量LLM-as-a-judge中的自我偏好偏差，发现GPT-4存在显著偏差，并揭示其本质源于对低困惑度（更熟悉）文本的偏好。
2025-06-21 cs.CL
When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation
本文研究了在临床对话评估中，LLM作为评判者与传统自动相似性度量之间的分歧，通过LoRA技术对Llama-2-7B进行领域适应，并发现自动化指标可能无法完全反映临床实用性。
2026-03-31 cs.AI cs.CL
JudgeLM: Fine-tuned Large Language Models are Scalable Judges
School of EIC, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
提出JudgeLM，通过微调LLMs构建可扩展评判器，利用大规模数据集和偏差缓解技术，在多基准上实现超越人类一致率的最先进评判性能。
2025-03-01 cs.AI cs.CL
Comparative Study of Large Language Models on Chinese Film Script Continuation: An Empirical Analysis Based on GPT-5.2 and Qwen-Max
Peking University（北京大学）；Wuhan University（武汉大学）
本研究比较GPT-5.2和Qwen-Max在中文电影剧本延续任务中的表现，发现GPT-5.2在结构保持和整体质量上显著优于Qwen-Max，为LLM在中文创意写作中的评估提供了实证框架。
2026-01-21 cs.CL
A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays
VISAI AI（VISAI人工智能）
通过泰国律师资格考试的自由回答论文评估，研究LLM评审员与人类考官在评分一致性上的不对称性，发现LLM评审员倾向于多数人类阅读而无法复制少数人类阅读。
2026-06-17 cs.CL cs.CY
The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation
Sharif University of Technology（沙菲大学技术学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
研究揭示了基于大语言模型的评估中隐藏的捷径问题，指出裁判模型在面对注入提示时缺乏透明度，导致裁决偏移率高但提示识别率低，揭示了评估流程中的可靠性缺口。
2026-02-08 cs.CL
LLM-as-a-Judge is Bad, Based on AI Attempting the Exam Qualifying for the Member of the Polish National Board of Appeal
Polish National Board of Appeal（波兰国家上诉委员会）
本文通过让多个LLM参加波兰国家上诉庭成员资格考试，发现其在知识测试中表现尚可，但书面判决部分均未达标，且LLM互评结果与官方评审存在分歧，表明当前LLM尚不能替代人类法官。
2025-11-06 cs.CL
Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks
King’s College London（伦敦国王学院）
本文在三个NLP基准上使用自动和人工评估方法对比了多种开源和闭源生成式LLMs，并发现ChatGPT在人工评估中表现更优但在经典自动指标中较差，同时验证了GPT-4作为评估器与人类判断高度一致。
2023-10-20 cs.CL
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
Dialpad Inc.（戴爾福公司）
本研究构建了真实客户支持技能的LLM工作流执行基准，评估17个LLM的表现，发现GPT-5.4领先，QWEN3.5-9B是最强开源模型，且评判者可靠性对评估至关重要。
2026-10-15 cs.CL
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
本研究通过受控合成设置检验推理LLM作为裁判在非验证LLM后续训练中的效果，发现推理裁判能生成高性能策略，但易受对抗性输出影响，揭示了其在实际政策训练中的潜力与挑战。
2026-03-12 cs.AI cs.CL cs.LG
JudgeBench: A Benchmark for Evaluating LLM-based Judges
UC Berkeley（加州大学伯克利分校）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有基准依赖人类偏好且难以评估事实与逻辑正确性的问题，提出JudgeBench基准，通过将困难数据集转换为反映客观正确性的响应对，全面评估各类基于LLM的评判者，发现多数强模型表现仅略优于随机猜测。
2025-04-05 cs.AI cs.CL cs.LG
From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
Dialpad Inc.（Dialpad公司）
本文提出了一种可重复和可验证的框架，用于评估基于语音的工具调用LLM代理，通过文本到语音转换和环境噪声模拟，无需重新标注工具模式和黄金标签，从而在不重新标注的情况下评估工具调用性能。
2026-10-22 cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
