Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models
Cohere（科here）
本文提出用多个较小模型组成评估小组（PoLL）替代单一大型模型法官，在六个数据集上验证其评估效果更优、模型内偏差更小且成本降低七倍以上。
2024-05-01 cs.AI cs.CL
JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification
针对无参考事实性LLM评判小组的共识风险诊断方法JuryProbe，通过校准路由策略减少假阴性盲区导致的错误，在FEVER数据上验证了其有效性，可降低假接受并减少参考获取。
2026-08-31 cs.AI cs.CL cs.LG
How Many Humans Are 32 LLM Judges Worth?
Tsinghua University（清华大学）；University College London（伦敦大学学院）；Autonavi（高德地图）
本文通过谱残差多样性和分布误差两个指标，审计语言模型法官小组的有效规模，发现其因目标而异，不可互换作为小组质量或人类替代率的度量。
2026-09-25 cs.CL cs.LG
DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing
Microsoft（微软公司）
针对LLM评判器因无关参考示例导致的校准偏差问题，提出DA-RAC距离感知参考锚定校准方法，在多轮评估基准上提升了校准效果并降低了误通过风险，为可信AI审计提供支撑。
2026-08-18 cs.CL
A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model
提出单公共因子模型下锚定裁判误差相关性的闭式估计器，以诊断电池处理不可检验假设，并给出识别条件与验证结果。
2026-09-09 cs.CL cs.LG stat.ME
Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
University of Pennsylvania（宾夕法尼亚大学）
本研究比较 Jev 分类器与 LLM 评审在评分标准上的表现，发现 Jev 更便宜、更快且准确率相当，但相关错误限制了级联优势，仅能小幅提升。
2026-10-14 cs.CL
Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data
National University of Singapore（新加坡国立大学）；Beijing University of Technology（北京理工大学）
本文提出自我评估激发（SEE）方法，通过少量数据（160个示例）结合校准耦合强化学习和掩码蒸馏，激发基础LLM中已有的预测外部评判者评分能力，在保持答案质量的同时显著提升校准性能。
2026-08-31 cs.CL
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
CEO Business School（CEO商学院）
本研究提出无标签的标准澄清程序，可提升LLM评审员间的共识，但在三个数据集上均未提升与人类的一致性，相关资源将公开。
2026-10-12 cs.AI cs.CL
JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
University of Tsukuba（筑波大学）；The University of Tokyo（东京大学）；Hiroshima University（广岛大学）
JuryFlow提出分歧引导的人机协同多智能体评估框架，将评判分歧作为信号，通过图传播和规则归纳提升评估准确性。
2026-10-01 cs.CL cs.HC
Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation
本文通过960次实验展示基于代理的评估在Turing式验证中与人类评分无差异，发现评分与独特问题发现之间存在对数与幂律的分离，揭示了发现空间的幂律分布特性。
2026-10-14 cs.AI cs.CL cs.HC
Two Ways to De-Bias an LLM-as-a-Judge: A Continuous-Score Comparison of Hierarchical Bayesian Calibration and Neural-ODE Score Transport
Cisco（思科）
本文比较了两种校正方法以减少LLM作为裁判的偏见，发现数据预算决定了方法选择，两种方法在不同锚点数量下表现各异。
2026-05-09 cs.CL
ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks
AIM Intelligence；KAIST（韩国科学技术院）；University of Seoul（首尔大学）；Seoul National University（首尔国立大学）
ObjexMT基准测试LLM评判者在多轮越狱下提取对话目标的能力及其元认知校准，发现现有模型常误判隐含目标，建议暴露目标或按置信度门控决策。
2025-10-08 cs.CL
LLM Judges Can Be Too Generous When There Is No Reference Answer
University of Potsdam（波茨坦大学）；National Research Council（国家研究委员会）
探讨在无参考答案时大语言模型评判器能否可靠评估。通过校准和敏感性两阶段实验，发现其在无参考答案时易高估错误答案，添加参考答案信息会大幅改变评判结果，且与人类判断相符，强调校准LLM评判器的必要性并提供了方法。
2026-07-15 cs.CL
How to Correctly Report LLM-as-a-Judge Evaluations
University of Science and Technology of China（中国科学技术大学）
针对LLM作为评估者时存在偏差的问题，提出一种插件式校正框架，实现无偏估计和统计原理的不确定性量化，并证明在分布偏移下仍保持无偏性。
2026-05-31 cs.CL cs.LG stat.AP
Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator
针对多语言LLM评判器因提示语言导致排名反转的问题，提出无标签共识校准法（CBC），可提升排名一致性及与人工偏好的契合度，验证了其下游实用性。
2026-09-09 cs.AI cs.CL
Multi-Expert Conformal Risk Control for Pairwise LLM Judging in Open-Ended Dialogue
Monash University（莫纳什大学）
本文提出多专家共形风险控制算法，针对开放式对话的Pairwise LLM评判问题，设计Score Averaging、Decision Voting及MC3方法，构建Panel基准数据集，提升了同构与异构专家面板的评估性能。
2026-08-28 cs.CL
Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM
Fudan University（复旦大学）；Huawei（华为）；ByteDance（字节跳动）
针对多轮长辩论自动化评估的难题，提出融合迭代时序分析与多维度评估协同的Debatrix框架，结合PanelBench基准验证，其效果显著优于直接用大语言模型评估。
2024-06-19 cs.CL
Distributional Validity of a Korean Synthetic Persona Panel: Evidence From the Korea Media Panel Survey
College of AI Convergence, Seoul Cyber University（首尔网络大学人工智能融合学院）；Sungkyunkwan University（成均馆大学）
本研究验证韩国合成角色面板NVIDIA Nemotron-Personas-Korea的分布有效性与校准，发现其无法替代真实调查数据，仅在真实数据极稀缺或用于诊断场景时具备价值。
2026-10-02 cs.CL cs.CY
On Cost-Effective LLM-as-a-Judge Improvement Techniques
研究通过集成评分、任务特定标准注入等四种技术提高LLM评判准确性，在RewardBench 2上达到85.8%准确率，成本效益显著。
2026-06-09 cs.CL
Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.（普华永道商业技术与创新办公室）
研究深度研究系统中引用质量校准问题，用现成LLM对1248个评分决策与黄金标准标签对比，发现较便宜模型有竞争力，校准模型是用引用评分作奖励信号的前提，校准不须最昂贵模型。
2026-07-10 cs.CL
CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks
Holon Institute of Technology（霍洛技术学院）；Afeka Tel Aviv Academic College of Engineering（阿法卡特拉维大学工程学院）
提出CoEval框架，通过教师模型生成无污染基准和跨族评审团，无需标注数据或人工评估即可对语言模型进行排序，在真实排名恢复上达ho=0.86。
2026-06-04 cs.AI cs.CL
Who can we trust? LLM-as-a-jury for Comparative Assessment
Department of Engineering, University of Cambridge, UK（剑桥大学工程系）
针对LLM作为评估者时判断不一致和可靠性差异的问题，提出BT-sigma模型，通过引入判别参数联合推断项目排名和法官可靠性，优于平均聚合方法。
2026-05-28 cs.AI cs.CL cs.LG
Synthetic Reader Panels: Tournament-Based Ideation with LLM Personas for Autonomous Publishing
Nimble Books LLC（Nimble Books公司）；Big Five Killer LLC（Big Five Killer公司）
该研究提出利用合成读者面板进行自主出版，通过LLM角色模拟多样化读者进行比赛评估，有效识别内容问题并提升高质量概念比例。
2026-02-16 cs.AI cs.CL cs.CY
Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文提出基于约束最大似然估计的方法，结合人工标注集、自动标注数据和领域约束，提升大语言模型失败率估计的准确性和稳定性，优于现有方法。
2026-03-11 cs.AI cs.CL
Cherry-pick Override: LLM Judges Under-use the Non-Directional Verdicts Their Contract Authorizes
针对混合证据场景，发现LLM法官会错误地返回方向性裁决（SUPPORTS/REFUTES）而非授权非方向性裁决（CONFLICTING），定义为Cherry-pick Override（CCO）；通过诊断协议和干预实验，提出外部承诺控制层分离裁决生成与授权。
2026-09-15 cs.AI cs.CL cs.MA
Where Rules End and Judges Begin: Measuring the Judgment Boundary in Multi-Agent Systems Security
The University of Alabama（阿拉巴马大学）
本研究提出DEFER1防御框架，通过28项确定性检查与四法官评审级联，将多智能体系统攻击成功率从约30%降至3%，并揭示了规则与判断在安全防御中的边界与局限。
2026-10-14 cs.AI cs.CL cs.CR
Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale
Harvard University（哈佛大学）；CMU（卡内基梅隆大学）；Stanford University（斯坦福大学）；UC San Diego（圣地亚哥大学）
本文研究了评分尺度对LLM作为裁判一致性的影响，发现0-5评分尺度在人类与LLM之间产生最强的一致性。
2026-01-06 cs.AI cs.CL cs.HC
A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation
Independent Researcher
本文提出面向基于原则监管的LLM评判者的四轴可信度基准，发布Principle-Bench并引入Ceca评估器，发现无方法在所有四轴占优，部署级LLM评判者需报告对抗性欺骗与事后校准等指标。
2026-08-17 cs.AI cs.CL cs.CR
Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges
University of Göttingen（哥廷根大学）；Bielefeld University of Applied Sciences and Arts (HSBI)（比勒费尔德应用科学大学）
该研究测试发现，类型化决策模型（TDM）虽比2026年LLM评判者更一致且成本低37倍，但存在偏差，偏差程度高于2026年LLM评判者，良好校准无法抵御其偏差，需针对任务测试其偏差后才可作为评判者使用。
2026-10-14 cs.CL
The Metacognitive Probe: Five Behavioural Calibration Diagnostics for LLMs
Independent Researcher（独立研究者）
本文提出元认知探测工具，通过五个维度评估大语言模型的自信行为，揭示模型在特定领域的过度自信问题，展示了Gemini 2.5 Flash在不同任务中的显著差异。
2026-05-11 cs.AI cs.CL cs.LG
Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring
Independent Researcher（独立研究者）
针对AI合规作为审计时二元判定而非生产系统持续可测量属性的问题，提出基于指标的治理原则，并开发开源框架govllm，通过运行时可观测性信号实现持续合规监控，验证了多模型陪审团设计在监管评估中的有效性。
2026-05-23 cs.AI cs.CL cs.CY
LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora
该研究将LLM视为评分者，通过预注册审计发现LLM作文评分存在严苛性、版本不稳定性等问题，其与人类评分者相关性低，且未达人类水平准确性。
2026-09-01 cs.CL cs.CY
Are We on the Right Way to Assessing LLM-as-a-Judge?
Huazhong University of Science and Technology（华中科技大学）；University of Maryland（马里兰大学）
本文提出Sage评估套件，通过局部和全局一致性指标评估LLM作为裁判的可靠性，发现当前先进模型在复杂情况下存在显著偏好不一致问题，并揭示情境偏好现象。
2025-12-17 cs.AI cs.CL
AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
提出AdversaBench端到端红队测试流水线，使用五种结构化算子变异种子提示，通过三裁判加元裁判机制确认失败，实验发现算子效果因类别而异、二元失败率掩盖难度、裁判一致性受标签偏斜影响、对抗提示可跨模型迁移。
2026-06-24 cs.AI cs.CL
GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents
Amazon（亚马逊）
针对任务导向LLM智能体评估中LLM评判者的可靠性问题，提出GAUGE协议，发现满意度与任务成功脱节，且对强智能体区分度低，并建议采用校准后信任的节奏。
2026-09-14 cs.CL cs.LG
Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks
University of Pennsylvania（宾夕法尼亚大学）
Autorubric通过整合多种评分标准评估技术，提供统一的评分框架和默认设置，提升LLM评估的可靠性与一致性，并在多个基准测试中展示了其有效性。
2026-08-11 cs.AI cs.CL
Self-rationalization improves LLM as a fine-grained judge
Collinear AI（科林尼尔人工智能公司）
本研究提出Self-Rationalization自理性化迭代方法，通过让大语言模型评判器生成多组带理由的判断、构建偏好对数据集并经DPO迭代微调，提升细粒度打分的理由质量与准确率，超越多种更大规模的基线模型。
2024-10-07 cs.CL
HindSight: Evaluating LLM-Generated Research Ideas via Future Impact
Temple University（特拉华大学）
本文提出HindSight框架，通过匹配生成想法与真实未来出版物，评估研究想法的质量，揭示LLM生成想法与实际研究影响的差异。
2026-03-17 cs.AI cs.CL cs.LG
Can We Triage LLM Translation Errors in Classical Texts Without Human References? Source Novelty, GEMBA Scoring, and Budgeted Review through Pali-to-English Translation
本研究通过巴利语到英语翻译测试无参考错误分类，发现无参考GEMBA评分是最强信号，审查前10%可捕获81.6%错误，并提出结合多种信号的预算审查工作流程。
2026-09-15 cs.CL
Rethinking Verbalized Confidence for LLM-as-a-Judge: A Compatibility Shift on Post-2025 Proprietary Models
Cisco Systems（思科系统）
本文发现2025年后专有模型上言语化置信度优于对数概率，提出过度自信建议和自辩论两个新要素，改善校准与主观性稳健性，建议LLM-as-a-Judge广泛采用软评分。
2026-09-11 cs.CL
The Judge is Part of the Experiment: Auditing Peer Context Sensitivity in LLM-Based Evaluation
Illinois Institute of Technology（伊利诺伊理工大学）
该研究提出实验方案测量开放式LLM一致性，发现错误同行输入会降低修订质量，评估者非中立，锚定校准必要，指出翻转率不足以完整衡量开放式一致性。
2026-11-06 cs.CL
Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages
Zendesk
研究揭示了在受控生成条件下，LLM评判者在不同芬兰-乌戈里语系语言中的稳定性问题，发现语用判断存在排名不稳定性，需针对特定语言进行校准。
2026-02-02 cs.CL
Counterfactual Graph for Multi-Agent LLM Calibration
University of Connecticut（康涅狄格大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
针对多智能体LLM系统中通信导致的相关失败和虚假共识问题，提出CAGE-CAL框架，通过比较观察到的通信后图与匹配的反事实无通信图来校准置信度，提升可靠性区分和拓扑选择。
2026-05-28 cs.CL
How to Run Statistics over LLM Judges and Trust the Results: Calibrated Inference for Small-Sample AI Evaluation with evalstats
Université de Montréal（蒙特利尔大学）
本文针对LLM裁判分数统计中的假阳性问题，提出校准推断方法，开发evalstats工具包，通过PPI和自举调整实现小样本AI评估的可靠统计。
2026-09-30 cs.AI cs.CL cs.HC
Language Model Council: Democratically Benchmarking Foundation Models on Highly Subjective Tasks
Bocconi University（博科尼大学）；CENTAI Institute（CENTAI研究院）
针对单一LLM裁判评估高主观性任务存在偏差的问题，提出由多LLM组成的民主式评估框架Language Model Council，经情绪智力案例验证其排名更鲁棒且更贴合人类判断，并探讨了成本优化方案。
2025-03-19 cs.AI cs.CL
Measuring Collapse and Correction in Homogeneous-Panel LLM Debate
Nanyang Technological University（南洋理工大学）
针对同质面板LLM辩论，提出可审计协议区分坍缩与修正，通过6,925场辩论揭示防坍缩策略可能损失修正，并发布重放工具以支持公平比较。
2026-11-10 cs.CL
Mitigating the Bias of Large Language Model Evaluation
School of Architecture and Design, Harbin Institute of Technology（哈尔滨工业大学建筑与设计学院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；University of Essex（埃塞克斯大学）
本研究针对LLM-as-a-Judge评估中偏好表面质量而忽略指令遵循的偏差，分别通过校准（闭源模型）和对比训练（开源模型）进行缓解，实验证明在保持准确率的同时大幅降低了偏差。
2024-09-25 cs.CL
PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference
DGrid AI
提出PoQ-Judge框架，训练专用裁判模型对查询-输出对进行无参考评分，研究三种架构，最佳模型在Pearson相关性上达到0.747，级联评估降低72.7%成本。
2026-06-11 cs.AI cs.CL cs.CR
The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel
Independent researcher（独立研究者）
提出将大语言模型作为面板中的一位评估者，通过多模型投票测量政治立场，在数据稀疏区域（如中东和北非）验证了可靠性，并发现分歧可提供信息。
2026-10-30 cs.AI cs.CL cs.CY
RTLC -- Research, Teach-to-Learn, Critique: A three-stage prompting paradigm inspired by the Feynman Learning Technique that lifts LLM-as-judge accuracy on JudgeBench with no fine-tuning
Cisco（思科）
RTLC通过三阶段提示方法提升LLM在JudgeBench上的准确性，无需微调或外部工具，其核心方法包括研究、教以学和批判三个阶段，显著提升客观正确性评分的准确性。
2026-05-13 cs.AI cs.CL
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
Massachusetts Institute of Technology（麻省理工学院）；Sakana AI；Lab for Information and Decision Systems（信息与决策系统实验室）；Statistics and Data Science Center（统计与数据科学中心）；EECS（电气工程与计算机科学系）
PRISM是一种无需评分规则的黑盒评判器校准方法，通过保持被评估内容固定并测量属性强调/弱化时的评分变化，结合岭回归校正基线评分，在SummEval和HANNA任务中显著提升了与人工排名的一致性。
2026-10-14 cs.AI cs.CL cs.LG
Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出一种选择性评估框架及 Simulated Annotators 置信度估计方法，通过 Cascaded Selective Evaluation 在控制成本的同时为 LLM 评判提供人类一致性的可证明保证。
2024-07-25 cs.CL cs.LG
Calibration as a First-Class Criterion in LLM Evaluation
Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文指出LLM评估中校准指标采纳不足的问题，主张将校准作为一等标准，与性能指标配对报告，以提升模型可信度。
2026-09-23 cs.CL
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
Purdue University Fort Wayne（普渡大学韦恩堡分校）
研究发现视觉语言模型整体评判的组合并不优于最佳成员，提出按人工评分标准维度打分并融合，显著提升美学评判准确性。
2026-11-06 cs.CL cs.CV cs.LG
