Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
Maritaca AI；Jusbrasil
本文提出Prosa基准，通过多判官过滤的二元评分标准减少LLM评分偏差，提升评估的判别能力，验证了评分标准的重要性。
2026-05-02 cs.AI cs.CL
MÖVE: A Holistic LLM Benchmark for the German Public Sector
Innovations Department, Bundesdruckerei GmbH（德国联邦印钞公司创新部）
提出MÖVE基准，从性能和治理两个维度评估39个LLM在德国公共部门的应用，发现无单一模型全面领先，模型大小非质量可靠指标。
2026-06-12 cs.CL
Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization
April 2026（2026年4月）
本文通过理论指导的评估方法，揭示了LLM个性化中作者身份差距的问题，采用三种测量传统评估四种个性化方法，发现理论指导的指标能提供更准确的基准。
2026-08-17 cs.CL
A Unified Framework to Elicit Structured Feedback for Interpretable Multi-Trait Essay Scoring
Peking University（北京大学）；Beijing Normal University（北京师范大学）
该研究针对多特质自动作文评分中反馈与评分分离的问题，提出统一框架HiFTS，结合教师LLM提炼反馈并训练学生模型，在新数据集CFMS-34及ASAP++上取得优异评分与反馈效果。
2026-08-31 cs.CL
From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Arizona State University（亚利桑那州立大学）；Florida State University（佛罗里达州立大学）
提出Rulers框架，通过三阶段推理（任务规范、结构化执行、事后校准）解决LLM在基于评分标准的文本评估中的执行漂移、归因不可验证和人类尺度错位问题，实现更可靠的评分。
2026-09-10 cs.AI cs.CL cs.LG
How Do Large Language Models Judge Social Attraction? Evidence from Theory-Grounded Persona Ratings Across Multiple LLMs and Humans
Rochester Institute of Technology（罗切斯特理工学院）
本文探究LLMs能否评估社交吸引力，经三项研究发现，34个LLM评分稳定且与人类排序一致，但LLMs对吸引力与无吸引力档案的评分偏差更大，且两者均无性别呈现的显著整体效应。
2026-08-11 cs.AI cs.CL cs.CY
Summary Grounded Conversation Generation
IBM Research AI（IBM研究院人工智能部门）
近年来，许多会话数据集已经使用众包构建。然而，数据汇集过程可能很耗时，并对确保数据质量提出了许多挑战。由于语言生成有很大的改善，近年来与预先训练的语言模型的进步，我们研究如何利用这些模型来生成整个会话，只给出一个会话的摘要作为输入。我们探索了三种方法来生成摘要接地会话，并使用自动测量和人类判断来评估生成的会话。我们还表明，会话摘要的准确性可以通过增加生成的会话摘要数据集来提高。
2021-06-07 cs.CL
JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification
针对无参考事实性LLM评判小组的共识风险诊断方法JuryProbe，通过校准路由策略减少假阴性盲区导致的错误，在FEVER数据上验证了其有效性，可降低假接受并减少参考获取。
2026-08-31 cs.AI cs.CL cs.LG
GROUNDHOG: Grounding Large Language Models to Holistic Segmentation
University of Michigan（密歇根大学）；Amazon AGI（亚马逊AGI）
本文提出 GROUNDHOG，通过掩码特征提取、视觉实体标记及实体检索合并，将 MLLM 的语言接地从边界框扩展到像素级统一分割，并构建 M3G2 数据集，显著提升多任务接地表现、降低幻觉。
2024-04-16 cs.AI cs.CL cs.CV
Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
ServiceNow（ServiceNow公司）
该研究构建了首个TTS维度级元评估基准，测试发现MOS预测器聚焦声学信号质量，Audio-LLM评估器检测能力具选择性且依赖提示，两类方法均难捕捉语言结构化语音错误，相关资源已公开。
2026-10-23 cs.AI cs.CL cs.SD
DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing
Microsoft（微软公司）
针对LLM评判器因无关参考示例导致的校准偏差问题，提出DA-RAC距离感知参考锚定校准方法，在多轮评估基准上提升了校准效果并降低了误通过风险，为可信AI审计提供支撑。
2026-08-18 cs.CL
ConQRet: Benchmarking Fine-Grained Evaluation of Retrieval Augmented Argumentation with LLM Judges
Department of Computer Science（计算机科学系）；Emory University（埃默里大学）
针对检索增强论证缺乏整体细粒度评估的问题，本文提出多LLM评判者自动评估方法，并构建基于真实网站证据的ConQRet基准以衡量检索、论证质量与依据性。
2024-12-06 cs.AI cs.CL cs.IR
Provenance-Grounded Gating and Adaptive Recovery in Synthetic Post-Training Data Curation
Lexsi Labs
研究合成后训练数据筛选中的来源证据门控与样本自适应恢复，提出结合故障诊断与定向再生成的自适应恢复流水线，提高产量、恢复率和注入召回率。
2026-06-09 cs.AI cs.CL
Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness
研究如何评估开放式生成内容的事实完整性，提出两级元评分标准框架并实例化为Gamut基准，构建基于真实图像的问题及评分标准，评估多个模型，发现其具挑战性、区分性且对法官选择鲁棒。
2026-08-06 cs.CL
Can You Trick the Grader? Adversarial Persuasion of LLM Judges
Seoul National University（首尔大学）；LG AI Research（LG人工智能研究院）
本研究首次揭示策略性嵌入的说服性语言可使LLM裁判在数学推理任务中给出虚高分数，形式化七种说服技术并在六个基准上验证了该漏洞，指出增加模型规模及反提示策略均无法有效缓解此问题。
2025-08-11 cs.CL
Culturally-Grounded Chain-of-Thought (CG-CoT):Enhancing LLM Performance on Culturally-Specific Tasks in Low-Resource Languages
Independent（独立研究者）
本文提出文化根基链式思维（CG-CoT）提示策略，通过融合文化语境稠密向量检索与显式推理，显著提升大语言模型在约鲁巴谚语解释等低资源语言文化特定任务上的表现，并揭示现有翻译评估指标与文化相关性判断之间的显著差异。
2025-06-01 cs.CL
Do LLMs Understand Personality? Rethinking Persona Fidelity Evaluation through Structured Behavioral Inference
Singapore Management University（新加坡管理大学）
针对现有LLM人格评估范式的局限，提出基于SFL的PRISM框架，将人格保真度评估转化为结构化逆推理任务，实验显示其评估结果更准确稳定。
2026-08-28 cs.AI cs.CL
TSQueryBench: LLM-as-a-Judge for Time Series Explanations
BITS Pilani（比拉理工学院皮拉尼校区）；KIIT（KIIT大学）；Birla AI Labs（比拉人工智能实验室）
本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。
2026-08-19 cs.AI cs.CL
Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents?
Yale University（耶鲁大学）；IBM Research（IBM研究院）
本文提出REFLECT基准，用于评估LLM裁判在代理环境中的细粒度失败检测，揭示当前LLM裁判在推理、工具使用和报告质量上的可靠性不足，为构建更可靠的评估流程提供指导。
2026-05-18 cs.CL
RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator
Layer 6 AI
本文提出RankJudge，一种用于评估LLM作为评判者在多轮对话中表现的合成基准生成器，通过生成带有单个缺陷的对话对，实现对评判准确性的严格评估，并通过领域覆盖和21个前沿LLM评判者评估，验证了评判排名的稳定性。
2026-05-20 cs.CL
GRASP: Deterministic argument ranking in interaction graphs
MPI-IS Tübingen（图宾根MPI研究所）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Eberhard Karls Universität Tübingen（图宾根埃伯哈德·卡尔斯大学）；LIONS, EPFL（EPFL的LIONS实验室）
本文提出GRASP框架，通过聚合稳定的局部交互判断生成全局排名，以解决大语言模型作为裁判时整体评判不一致的问题，强调结构充分性而非说服力或修辞吸引力。
2026-05-18 cs.AI cs.CL cs.CY
The FACTS Grounding Leaderboard: Benchmarking LLMs' Ability to Ground Responses to Long-Form Input
Google（谷歌公司）
本文提出 FACTS Grounding 在线排行榜与基准，通过含最长 32k tokens 文档的提示和多裁判两阶段自动评估，衡量 LLM 长篇回复对给定上下文的事实锚定能力。
2025-01-06 cs.CL
HumorRank: A Tournament-Based Leaderboard for Evaluating Humor Generation in Large Language Models
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
提出HumorRank，一种基于锦标赛的框架，通过理论指导的成对偏好判断对文本幽默生成进行排名，并利用Bradley-Terry估计生成全局排行榜。
2026-07-31 cs.CL
Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.（普华永道商业技术与创新办公室）
研究深度研究系统中引用质量校准问题，用现成LLM对1248个评分决策与黄金标准标签对比，发现较便宜模型有竞争力，校准模型是用引用评分作奖励信号的前提，校准不须最昂贵模型。
2026-07-10 cs.CL
Beyond Gold Standards: Epistemic Ensemble of LLM Judges for Formal Mathematical Reasoning
University of Manchester（曼彻斯特大学）；University of Sheffield（谢菲尔德大学）；Idiap Research Institute（Idiap 研究所）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）
本研究提出基于LLM评判者的认知与形式化基础集成（EFG），用于系统自动评估形式化数学推理中的语句自动形式化任务，实验证实其比粗粒度模型更具适用性。
2026-08-24 cs.CL
Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews
National University of Singapore（新加坡国立大学）
研究大语言模型评审员与人类评审员对同行评审评估的差异，将卡尼曼双过程理论转化为评分标准并发布Kahneman4Review基准，通过多方面发现揭示问题，强调可靠基准应区分分析形式与认知功能并给出设计选择。
2026-07-14 cs.CL
Probabilistic Guarantees for Reducing Contextual Hallucinations in LLMs
University of Hamburg（汉堡大学）
通过引入LLM作为判断者和多数投票机制，提供概率保证以降低LLM在固定输入下的上下文幻觉概率。
2026-01-02 cs.CL
MindTailor: Personalized Emotional Support via Post History-Grounded Case Formulation and Collaborative Refinement
Sungkyunkwan University（成均馆大学）；New York University（纽约大学）
提出MindTailor框架，利用求助者历史帖子构建案例，并通过基于不同咨询策略的协作批评迭代精炼回复，在Reddit数据集上优于基线，提升共情和个性化。
2026-06-23 cs.CL
State-Grounded Multi-Agent Synthetic Data Generation for Tool-Augmented LLMs
PayPal AI
提出StateGen平台，通过四角色LLM循环和状态管理器生成多轮、工具接地的高质量训练对话，消除工具调用幻觉，支持层次化多智能体设置。
2026-06-16 cs.AI cs.CL
The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
DreamLab AI
本文提出暴露核算方法，通过复制上限基线评估基于图检索的语料库问答，区分暴露与恢复，揭示模型增益多源于上下文复制而非推理，并验证其作为评估控制的有效性。
2026-09-30 cs.CL cs.CY
Toward Cultural Alignment: Human-Centered Evaluation of Multimodal AI Stories Across Five African Communities
Microsoft Research Africa（微软研究院非洲分部）；Swansea University（斯旺西大学）；Cornell University（康奈尔大学）；Microsoft Research Cambridge（微软研究院剑桥分部）
本文以五个非洲社区为对象，通过混合方法评估AI生成多模态故事的文化对齐情况，构建了相关分类体系，并发现多模态LLM裁判需经社区校准才能可靠评估文化对齐。
2026-09-01 cs.CL cs.HC
Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；EuroSafeAI；Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所（德国图宾根））
提出基于认知权利理论的逻辑推理任务，评估LLM在判断偏见内容时表现出的二阶偏见，发现模型判断存在系统性偏差且能规避安全护栏。
2026-09-02 cs.CL
TRIPPULSE: Multi-Agent Travel Planning with Review-Grounded Reasoning
Microsoft（微软公司）；IIT Bhubaneswar（布巴内斯瓦尔印度理工学院）
TRIPPULSE是基于评论推理的多智能体旅行规划框架，分解行程生成任务为多智能体并结合10万+评论与RGPA指标，可兼顾约束满足与个性化体验。
2026-09-01 cs.CL
All Verdicts are Not Equal: Rethinking LLM Judge Reliability
PayPal Artificial Intelligence（PayPal人工智能部门）
该研究针对LLM作为评判者的可靠性展开审计，发现其存在裁决不一致等漏洞，提出可信裁决率指标，证实整体rubric评分可提升评估可信度。
2026-10-09 cs.AI cs.CL
ActTraitBench: Quantifying the Knowledge-Decision Gap in Large Language Models via Human-Grounded Behavioral Validation
Peking University（北京大学）；Baidu Inc（百度公司）
提出ActTraitBench框架，基于人类数据建立心理测量方面与行为范式的一一映射，并通过分位数映射校准LLM评分分布，揭示LLM在自我报告与行为决策之间的知识-决策差距，并引入CoCA干预来缓解该差距。
2026-09-10 cs.CL
TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages
Mila - Quebec AI Institute（魁北克人工智能研究院）；McGill University（麦吉尔大学）；Microsoft AI for Good Research Lab（微软人工智能造福人类研究实验室）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
针对大型语言模型在非洲低资源语言上的安全评估缺失，提出TUKABENCH基准，通过四种设置（直接翻译、文化适应翻译、人工策划提示、代码切换提示）评估语言、文化背景和提示规避性对模型安全的影响，发现非洲语言提示降低拒绝率，并引入Deflection指标和人工验证以解决模型理解失败和评判可靠性问题。
2026-09-24 cs.AI cs.CL
The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much
Hosho
该研究将LLM评判者视为控制论监管者，通过7个公开基准实验发现，向评判者展示的内容比评判者种类更重要，还揭示了不同任务中参考材料的作用，报告了理论预测的不足并推导了相关设计规则。
2026-10-14 cs.AI cs.CL
JAF: Judge Agent Forest
Averlon
JAF通过裁判代理森林框架，利用联合推理和集合学习原理，提升主代理的自我改进能力，通过高效的哈希算法优化多样示例选择，改进推理路径探索。
2026-01-29 cs.AI cs.CL cs.LG
Multi-Document Grounded Multi-Turn Synthetic Dialog Generation
IBM Research AI（IBM研究院人工智能部门）
本研究提出一种多文档多轮合成对话生成技术，结合分类驱动的CoT用户查询、轮次级检索更新文档及LLM-as-a-Judge过滤，生成的对话质量高，且以此微调的模型在四个公开基准上优于人类数据微调的模型。
2024-09-17 cs.AI cs.CL
Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports
LexisNexis（律商联讯）
该研究构建含15个信息槽的人道主义态势报告评估架构，对比人类与大语言模型生成报告，发现机器报告表现未显著优于人类，且现有评估指标存在局限性。
2026-10-14 cs.CL cs.CY cs.SI
Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
Utrecht University（乌得勒支大学）
本研究通过人类评估和LLM-as-a-judge方法，发现LLM在多轮角色扮演对话中回应质量随时间下降，而人类回应逐步提升，并提出了验证的混合评估框架。
2025-10-08 cs.AI cs.CL
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
Sword Health；TransPerfect；ELLIS Unit Lisbon（ELLIS 里斯本分部）
研究探讨了基于评分标准的评估中自我偏好偏差对模型评估的影响，发现即使评分标准客观，自我偏好仍会导致评分偏差，且通过多评委ensemble可部分缓解。
2026-08-04 cs.AI cs.CL
PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
Amazon（亚马逊）；Northeastern University（东北大学）；Expedia（亿客行）
针对现有购物助手评估基准未覆盖结构化回复联合评估目标的问题，提出 PACE 评估框架，构建含 22625 条记录的 PACEShop 基准数据集和 PACEJudge 协议，验证任务匹配输出契约对评估的重要性。
2026-08-28 cs.AI cs.CL
Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Pittsburgh（匹兹堡大学）；University of Maryland, College Park（马里兰大学学院公园分校）；University of Connecticut（康涅狄格大学）
研究探讨小语言模型能否作高效评估器，基于语义能力不对称假设提出“表示作为评判器”范式，通过INSPECTOR框架实例化，实验显示其在推理基准测试中性能出色，为可扩展评估提供了更优选择。
2026-07-10 cs.AI cs.CL cs.LG
Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
Capital One, AI Foundations（Capital One人工智能基础）
提出BINEVAL框架，将评估标准分解为原子二元问题，聚合为可解释的多维分数，在多项基准上匹配或超越强基线，并支持迭代提示优化。
2026-06-26 cs.AI cs.CL
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Laboratory（湖畔实验室）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Department of Radiology, The Affiliated Yangming Hospital of Ningbo University（宁波大学附属阳明医院放射科）；Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院，浙江大学）；Hepato-Pancreato-Biliary Center, Beijing Tsinghua Changgung Hospital, School of Clinical Medicine, Tsinghua Medicine, Tsinghua University（清华长庚医院肝胆胰中心，清华大学临床医学院，清华医学，清华大学）；School of Software, Tsinghua University（清华大学软件学院）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
研究针对多模态大语言模型在医学领域部署的挑战，提出ClinFusion，采用组合级联视觉编码器架构和视觉基础评估框架，在多模态医学基准测试中表现优异，超越开源和专有模型，经专家盲评验证效果良好。
2026-11-03 cs.AI cs.CL cs.CV
WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出首个LLM水印综合基准WaterBench，通过统一水印强度、多样化任务和GPT4-Judge自动评估，系统评估了4种水印方法在2个LLM上的生成与检测性能，揭示了现有方法在保持生成质量方面的不足。
2024-07-01 cs.AI cs.CL
Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
Qatar Computing Research Institute, HBKU, Qatar（卡塔尔哈马德·本·哈利法大学卡塔尔计算研究所）；UPES, India（印度UPES大学）
本文提出OmniScore，一种基于小参数模型的确定性度量，用于多语言生成文本评估，提供低延迟和一致性的评分方法，通过大规模合成监督训练，验证了其在问答、翻译和总结任务中的有效性。
2026-04-06 cs.AI cs.CL cs.LG
Case-Aware LLM-as-a-Judge Evaluation for Enterprise-Scale RAG Systems
Dell Technologies（戴尔技术）
本文提出面向企业级RAG系统的案例感知LLM-as-a-Judge评估框架，通过八个操作指标评估多轮工作流，揭示企业关键权衡，提升系统诊断清晰度和可操作性。
2026-02-23 cs.AI cs.CL
WorldBench: Culturally Grounded Benchmark for Multilingual Agents
University of Edinburgh（爱丁堡大学）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
本文提出WorldBench多语言文化贴合基准，含1600个跨语言跨文化任务，引入CTS指标评估，发现前沿模型CTS仅49.2%，当前智能体在相关场景下仍较脆弱。
2026-09-02 cs.AI cs.CL
Summarize, Judge, Refine: Decoupled Content Understanding and Policy Learning for Multimodal Content Moderation
Meta AI
提出SJR双模型架构，通过内容模型生成摘要、策略模型分类，并利用GRPO协同训练与文本增强，在误导广告检测中提升F1达23.6%，且可在无真实违规数据下启动新策略。
2026-09-22 cs.CL cs.LG
GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering
Illuin Technology（Illuin科技公司）
本文针对RAG系统中LLM评估器的校准与区分能力问题，提出包含144个单元测试的元评估基准GroUSE，揭示现有自动化评估框架的不足，并通过微调Llama-3显著提升评估性能。
2025-01-30 cs.CL
GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents
Amazon（亚马逊）
针对任务导向LLM智能体评估中LLM评判者的可靠性问题，提出GAUGE协议，发现满意度与任务成功脱节，且对强智能体区分度低，并建议采用校准后信任的节奏。
2026-09-14 cs.CL cs.LG
Dimension-Level Intent Fidelity Evaluation for Large Language Models: Evidence from Structured Prompt Ablation
Huizhou Lateni AI Technology Co., Ltd.（惠州拉提尼人工智能技术有限公司）；Huizhou University（惠州大学）
本文提出一种维度意图保真度评估框架，通过2880个跨三语言、三任务领域和六种LLM的结构化提示消融研究，分别衡量结构恢复和意图保真度，揭示了系统性的结构保真度分裂，并证明了维度保真度评分比整体评分更可靠。
2026-05-14 cs.AI cs.CL
