Meta-Judging with Large Language Models: Concepts, Methods, and Challenges
University of Coimbra, CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra, Department of Informatics Engineering（科英布拉大学，CISUC/LASI——科英布拉大学信息与系统研究中心，信息工程系）；Polytechnic University of Coimbra, Rua da Misericórdia, Lagar dos Cortiços, S. Martinho do Bispo, 3045-093 Coimbra, Portugal（科英布拉理工大学）
本文探讨了LLM-as-a-Meta-Judge在提升自动化评估稳定性与可信度方面的潜力，同时指出需解决的成本、提示敏感性及共享偏差等挑战。
2026-01-24 cs.AI cs.CL
LLM-as-Judge for Semantic Judging of Powerline Segmentation in UAV Inspection
School of Computing Sciences and Computer Engineering, The University of Southern Mississippi（南密西西比大学计算科学与计算机工程学院）；Electrical Engineering Department, University of South Carolina（南卡罗来纳大学电气工程系）；Computer Science Department, Faculty of Computers & Artificial Intelligence, Fayoum University（法尤姆大学计算机与人工智能学院计算机科学系）
本文研究利用大语言模型作为语义判断器，评估无人机搭载模型生成的电力线分割结果可靠性，通过设计两个评估协议测试其重复性和感知敏感性，证明在约束条件下LLM能可靠监控关键任务的分割质量。
2026-04-07 cs.AI
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines
Independent Researcher（独立研究员）
本文系统评估了LLM-as-a-Judge pipelines中九种偏见缓解策略，发现风格偏见是最主要的偏见类型，且所有模型在扩展对上偏好简洁性，但截断控制能区分质量和长度，表明质量敏感的评估而非单纯长度偏见。
2026-06-25 cs.AI
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford（斯坦福大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出使用强LLM作为裁判评估聊天助手，通过MT-bench和Chatbot Arena验证，发现GPT-4等裁判与人类偏好一致性超80%，提供可扩展且可解释的偏好近似方法。
2023-12-24 cs.AI cs.CL
LLMs Judging LLMs: A Simplex Perspective
本文从几何视角研究LLM评判问题，提出基于概率简单形的理论条件和方法，分析不同评分等级下LLM评判的有效性，并通过实验验证了考虑epistemic不确定性的重要性。
2026-04-05 cs.AI cs.LG stat.ML
Judging by the Rules: Compliance-Aligned Framework for Modern Slavery Statement Monitoring
针对现代奴隶制声明模糊导致人工审查难规模化的问题，提出融合合规对齐评判器（CA-Judge）与合规对齐大语言模型（CALLM）的框架，通过规则匹配生成透明可验证的输出，提升合规验证性能与法律审查可行性。
2025-11-11 cs.AI cs.CY
CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务）；National Taiwan University（台湾大学）
本文提出CodeJudgeBench基准，评估LLM-as-a-Judge在代码生成、修复和单元测试生成任务中的表现，发现思考模型优于非思考模型，并指出评判中的随机性与敏感性，同时验证了成对比较及保留推理过程的提示策略更优。
2025-08-14 cs.AI cs.CL cs.SE
On the Limits of LLM-as-Judge for Scientific Novelty Assessment
DeCLaRe Lab, Nanyang Technological University（德克莱实验室，南洋理工大学）
本文通过构建RQ-Bench基准，发现LLM评审对模型生成的研究问题产生新颖性幻觉，而人类专家则持相反意见，揭示了LLM在评估科学新颖性时的可靠性问题。
2026-06-11 cs.AI cs.DL
You Only Forward Once: An Efficient Compositional Judging Paradigm
School of Science, Harbin Institute of Technology, Shenzhen, Guangdong Province, China（哈尔滨工业大学深圳校区科学学院）；Accio, Alibaba Group, Hangzhou, Zhejiang Province, China（阿里集团杭州Accio）
YOFO通过单次前向传递高效判断多模态大语言模型的结构化要求，实现速度与可解释性的平衡，同时支持依赖分析和事后CoT。
2026-02-02 cs.AI
Jagged Judges: Epistemic Stability Under Perturbation, Pressure, and Persistence
Meta Superintelligence Labs（元超级智能实验室）；FAIR at Meta（元公司FAIR研究院）
本研究提出Wiggle框架测试LLM评判者的认知稳定性，发现9个前沿模型在压力下裁决波动显著，且多数压力会损害真实值，基线陪审团多数强度可预测波动项目。
2026-08-25 cs.AI
Cost-Effective Automated Judging of Natural-Language Mathematical Proofs
该研究以 IMO-GradingBench 为基准，验证 GPT-OSS 120B 等三个低成本模型作为数学证明评判器的效果，发现全票通过规则的低成本方案与前沿模型效果相当，成本低达 100 倍。
2026-10-06 cs.AI cs.CL cs.LG
PentestJudge: Judging Agent Behavior Against Operational Requirements
dreadnode
PentestJudge 是一个基于 LLM 的评判系统，通过树状评分细则评估渗透测试智能体操作，最佳模型 F1 达 0.83，且验证比生成更容易。
2025-08-04 cs.AI cs.CR
Time To Impeach LLM-as-a-Judge: Programs are the Future of Evaluation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对LLM-as-a-Judge评估方式成本高、可靠性差、有偏差等问题，研究提出PAJAMA框架，用LLM合成可执行裁判程序实现评估，成本更低、一致性与表现更优。
2025-06-12 cs.AI cs.LG
S2G-RAG: Structured Sufficiency and Gap Judging for Iterative Retrieval-Augmented QA
Soochow University（苏州大学）
S2G-RAG通过结构化充分性判断和间隙判断机制，提升多跳问答的准确性和鲁棒性，适用于多轮检索流程。
2026-04-26 cs.AI cs.IR
SCOPE: Selective Conformal Optimized Pairwise LLM Judging
Faculty of Computer Science, Dalhousie University, Halifax, NS, Canada（达勒豪西大学计算机科学学院）；Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系）
提出SCOPE框架，通过校准接受阈值控制非弃权判断的错误率，并引入双向偏好熵（BPE）提供无偏不确定性信号，实现可靠且高覆盖率的LLM成对评估。
2026-08-19 cs.AI cs.CL
SLMJury: Can Small Language Models Judge as Well as Large Ones?
LNMIIT；Virginia Tech（弗吉尼亚理工大学）
提出SLMJury框架，评估小型语言模型作为评判者的能力，发现领域依赖的过度思考效应、领域泛化差异、闭端与开端评判能力分离，以及多智能体辩论降低准确性。
2026-06-05 cs.AI cs.CL cs.LG
Safety is Contextual, LLM-Judges Are Not: Navigating the Rigid Priors of Evaluators
University of Oxford（牛津大学）；Cohere
研究LLM作为安全评判者时，对上下文信息的依赖性和对不同安全定义的可引导性，发现它们难以在上下文或安全定义与自身先验矛盾时调整评估。
2026-10-06 cs.AI
Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）
本文研究了LLM-as-a-judge在配对任务中的语言偏见，发现不同语言在性能和偏好上有显著差异，且语言偏见不能仅由困惑度解释。
2026-01-20 cs.AI cs.CL
When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs
Fangyi Yu
本文综述了利用AI智能体作为评判者评估LLM输出的新范式，追溯其从单一模型到多智能体辩论的演变，比较其可靠性、成本与人类一致性，并指出偏见、鲁棒性等挑战，强调其可补充但无法取代人类监督。
2025-08-05 cs.AI
Judge Reliability Harness: Stress Testing the Reliability of LLM Judges
RAND Corporation（RAND公司）
本研究提出了一种开源工具，用于评估LLM裁判在不同基准中的可靠性，发现模型和扰动类型对性能有显著影响。
2026-03-05 cs.AI
Multi-Dimensional Evaluation of Sustainable City Trips with LLM-as-a-Judge and Human-in-the-Loop
Technical University of Munich（慕尼黑技术大学）；Polytechnic University of Bari（巴里理工学院）
本文提出多维评估可持续城市旅行推荐的框架，通过LLM-as-Judge和人类协同校准，解决传统指标忽略利益相关者目标的问题，揭示模型偏差与维度差异。
2026-04-27 cs.AI
Permutation-Consensus Listwise Judging for Robust Factuality Evaluation
App-In Club（App-In俱乐部）；Carnegie Mellon University（卡内基梅隆大学）
本文提出PCFJudge方法，通过多排列重跑列表事实性提示以提高LLM事实性判断的鲁棒性，实验显示其在RewardBench 2 Factuality上显著提升准确率。
2026-05-15 cs.AI cs.CL
TermJudge: A Document-Level Metric Judging, Not Counting, Terminology in Machine Translation Evaluation
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
TermJudge是一种文档级术语评估指标，采用两步LLM-as-judge程序区分术语错误与有效变异，在系统级和段落级元评估中排名第一，并证明术语表注入能通过消除真实错误来改善翻译。
2026-09-29 cs.AI
When Vision-Language Models Judge Without Seeing: Exposing Informativeness Bias
The Pennsylvania State University（宾夕法尼亚州立大学）；Oracle AI
研究揭示视觉-语言模型在评判时存在的信息性偏差问题，提出BIRCH方法通过修正图像与答案的一致性提升评判可靠性，实验显示偏差降低17%，性能提升9.8%。
2026-04-20 cs.AI
GRASP: Deterministic argument ranking in interaction graphs
MPI-IS Tübingen（图宾根MPI研究所）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Eberhard Karls Universität Tübingen（图宾根埃伯哈德·卡尔斯大学）；LIONS, EPFL（EPFL的LIONS实验室）
本文提出GRASP框架，通过聚合稳定的局部交互判断生成全局排名，以解决大语言模型作为裁判时整体评判不一致的问题，强调结构充分性而非说服力或修辞吸引力。
2026-05-18 cs.AI cs.CL cs.CY
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
Stony Brook University（石溪大学）
本研究利用残差流激活预测LLM评判对候选顺序的敏感性，线性探针在JudgeBench和MT-Bench上均优于非激活基线，表明判决前激活可有效预测位置翻转。
2026-10-07 cs.AI cs.LG
A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation
South China University of Technology（华南理工大学）；University of Macau（澳门大学）
该研究针对LLM作为评审的评估，提出二维结构效度指标（不变性S与结构敏感性R），发现高评审一致性常伴随对结构变化的弱敏感性，建议联合报告两指标并审计验证集。
2026-08-26 cs.AI
Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems
School of Computer Science and Engineering at Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院）
本文研究了LLM-as-a-judge在通信系统中的偏见问题，分析了不同模型对偏见输入的鲁棒性，并提出四种缓解策略以提高判断的公平性和可靠性。
2026-02-28 cs.AI cs.CR
Conditional Accuracy Profiles: Diagnosing LLM Judges across Deployment Conditions
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；West Virginia University（西弗吉尼亚大学）
提出条件准确率画像（CAP）框架，将LLM裁判准确率分解为八种部署条件，揭示聚合准确率隐藏的差异，为选择裁判提供更可操作的依据。
2026-10-08 cs.AI cs.LG
Who Judges Matters: Measuring Family-Conditioned Preference in LLM-as-Judge Panels
本研究通过9,312个成对评判实验，发现LLM评审结果受评审者所属模型系列影响，同系列偏好提升3.4-8.4个百分点，并提出了修正估计量以分离该效应。
2026-09-17 cs.AI cs.CL cs.CY
StableJudge: A Lightweight Adversarial Defense Framework for LLM-as-a-Judge
Shanghai Jiao Tong University（上海交通大学）
StableJudge是轻量级防御框架，以0.13B哨兵定位并清理提示注入，解耦安全性与LLM规模，提升攻击下的分数恢复能力且保留通用性能，可复用且代码数据将发布。
2026-10-14 cs.AI cs.CR
When LLM Judge Scores Look Good but Best-of-N Decisions Fail
研究指出，LLM评分与最佳-n选择任务存在偏差，通过实验发现评分与实际选择效果不匹配，需改进评估方法以提高决策准确性。
2026-03-12 cs.AI cs.CL cs.LG
Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge
Meta FAIR；University of California, Berkeley（加州大学伯克利分校）；New York University（纽约大学）
提出Meta-Rewarding步骤让LLM评判自身评判以提升对齐能力，实验证明该方法在无监督下显著提高了Llama-3-8B-Instruct的指令遵循与评判表现。
2024-07-30 cs.AI cs.CL
RubricEval: A Rubric-Level Meta-Evaluation Benchmark for LLM Judges in Instruction Following
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院）；Donghua University（东华大学）；Ant Group（蚂蚁集团）
RubricEval旨在解决rubric级评估的可靠性问题，通过多样化的指令和响应以及高质量实例，评估评判者在指令遵循中的表现，发现即使GPT-4o在Hard子集也仅达到55.97%的准确率。
2026-03-26 cs.AI
Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration
Microsoft（微软）；Massachusetts Institute of Technology（麻省理工学院）
本研究揭示LLM裁判存在能力相关偏见，提出基于分歧估计的加权多数投票集成方法，无需标签即可校准偏见，显著提升评估准确性与公平性。
2026-09-14 cs.AI cs.LG
Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文揭示了LLM法官对智能体推理轨迹操纵的脆弱性，表明基于内容的操纵能显著提高假阳性率，凸显了需验证推理与证据的评估机制的重要性。
2026-01-22 cs.AI cs.CL
Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty
National Institute of Informatics（情报研究综合研究所）；TU Dresden（德累斯顿工业大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡应用数据科学中心）
该研究针对大型语言模型评判研究创意新颖性时的“中等新颖”偏差，提出TPR轻量方法，通过探测推理阶段隐藏状态的潜在评判约束最终响应，使性能提升22.30%。
2026-08-27 cs.AI cs.CL
Self- and Other-Labels Induce Bidirectional Bias in LLM Judges
School of Digital Humanities and Computational Social Sciences, KAIST（韩国科学技术院数字人文与计算社会科学学院）
该研究针对LLM评判器的自偏好混杂问题，通过评估带模型特征的叙事约束选择，发现控制质量后自偏好消失，而自/他标签会双向影响评分，明确了作者归属是评估偏差的独立驱动因素。
2026-10-19 cs.AI cs.CL
R-Judge: Benchmarking Safety Risk Awareness for LLM Agents
Shanghai Jiao Tong University（上海交通大学）
本研究提出用于评估LLM智能体行为安全风险意识的基准R-Judge，涵盖多类风险场景与交互记录，实验发现现有LLM风险意识不足，安全判断微调可有效提升性能。
2024-10-05 cs.AI cs.CL
ConfProBench: A Confidence Evaluation Benchmark for MLLM-Based Process Judges
ConfProBench是首个系统评估基于MLLM的过程评判器步骤级置信度可靠性的基准，通过三类对抗扰动和三个新指标，评估14个模型，揭示现有局限并提供基线。
2025-08-06 cs.AI
Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias
AMAP, Alibaba Group（阿里巴巴集团AMAP实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加州大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
研究大语言模型作为评判者的偏差，提出偏差在隐藏状态有表示层面解释。通过七位评判者等实验发现，偏差输入沿特定子空间移动，操纵隐藏状态可控制评分，线性投影能预测评判失败，统一多方面内容。
2026-07-14 cs.AI cs.CL cs.LG
Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines
University of California, Berkeley（加州大学伯克利分校）
提出一种基于固定锚点集和赌检验的方法，区分LLM评估中产品性能下降与裁判模型变化导致的分数漂移，并证明其随时有效性和归因准确性。
2026-06-16 cs.AI stat.AP
Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2
Independent Researcher（独立研究者）
针对抽象推理中候选轨迹选择难题，提出模态驱动搜索生成多样化候选，并结合整体判断模型在长上下文中联合比较所有轨迹，在ARC-AGI-2上以低成本达到72.9%准确率，超越前沿模型。
2026-07-01 cs.AI cs.CL cs.LG
The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation
Independent Researcher（独立研究员）
研究LLM作为评估者在重复评估中的不可靠性，发现偏好翻转率平均13.6%，存在位置偏见，并建议多轮聚合和不确定性报告。
2026-06-15 cs.AI cs.CL
Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas
本文提出RINoBench基准，用于评估研究想法新颖性判断，发现LLM生成的推理与人类相似但判断不准确。
2026-03-11 cs.AI cs.CL
Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
University of British Columbia（不列颠哥伦比亚大学）
本文研究了LLM作为评判者在代码评估中的偏见问题，通过测量优先的方法分析了代码生成、修复和测试生成任务中的评判制度，并发现提示偏见显著影响评判结果，甚至改变任务结论和模型排名。
2026-04-18 cs.AI cs.SE
How large language models judge and influence human cooperation
Institute of Informatics（信息学院）；University of Amsterdam（阿姆斯特丹大学）；City of Amsterdam（阿姆斯特丹市）
本文通过21个LLM的合作判断实验与演化博弈模型，研究LLM判断如何影响人类长期合作，发现模型间差异会显著改变合作水平，并提示需对齐LLM规范以维护人类合作。
2025-06-30 cs.AI cs.SI physics.soc-ph
Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks
Meta Superintelligence Labs（Meta超智能实验室）
RRD通过递归分解-过滤循环优化评估标准，提升LLM评判准确性和奖励建模效果。
2026-02-04 cs.AI cs.LG
Beyond Problem Solving: UOJ-Bench for Evaluating Code Generation, Hacking, and Repair in Competitive Programming
University of Science and Technology of China（中国科学技术大学）
提出UOJ-Bench基准，通过代码生成、攻击和修复三项任务评估LLM在竞赛编程中的问题求解与人类代码错误识别能力，发现最强模型在一次性评估中无法识别超过50%的错误提交，但测试时扩展可提升至90%以上，且能发现约5%的满分提交中的错误。
2026-06-12 cs.AI cs.SE
Are We on the Right Way to Assessing LLM-as-a-Judge?
Huazhong University of Science and Technology（华中科技大学）；University of Maryland（马里兰大学）
本文提出Sage评估套件，通过局部和全局一致性指标评估LLM作为裁判的可靠性，发现当前先进模型在复杂情况下存在显著偏好不一致问题，并揭示情境偏好现象。
2025-12-17 cs.AI cs.CL
Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets
University of Macau（澳门大学）；South China University of Technology（华南理工大学）
该研究发现大语言模型作为评估者时，生成可接受集合的表现远差于判断表现，核心问题是隐性遗漏，通过重写错误预期值可大幅提升修复后的套件产量。
2026-08-04 cs.AI
Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors
DeepGrounding；AlphaAvatar
本研究提出由不可触及的冻结统计裁判对智能体提出的投资因子进行投注式评判，确保任意时点有效控制错误发现率，实验表明冻结裁判显著减少虚假接纳，且语言模型在提议和探针编写上表现最佳。
2026-09-24 cs.AI q-fin.PM q-fin.ST
Explicit Reasoning Makes Better Judges: A Systematic Study on Accuracy, Efficiency, and Robustness
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过对比显式推理与非显式推理模型在RewardBench任务中的表现，发现显式推理模型在准确性、效率和鲁棒性上均优于非显式模型，且在多语言环境下也表现出优势。
2026-05-10 cs.AI cs.CL
Can Vision-Language Models Judge Olympic Diving? From Reasoning to Scores in Zero-Shot Action Quality Assessment
ESPOL Polytechnic University（ESPOL理工大学）；University of Granada（格拉纳达大学）；Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯·德·大加那利大学）；Michigan Technological University（密歇根理工大学）
本研究提出基于回归的框架，利用开源视觉语言模型对奥运跳水视频进行零样本动作质量评估，通过集成学习将Spearman相关性从低于0.32提升至0.67，证明VLM可作为可解释的半自动体育评估辅助工具。
2026-09-18 cs.AI cs.CV cs.LG
