Comparing Two Model Designs for Clinical Note Generation; Is an LLM a Useful Evaluator of Consistency?
Solventum（索尔文腾公司）；Health Information Systems（健康信息系统）
本文比较独立与联合生成SOAP笔记各部分的PEGASUS-X模型，并验证Llama2可近似人工评估一致性，发现条件化生成可提升临床笔记一致性。
2024-04-09 cs.CL
Large Language Models as Evaluators for Recommendation Explanations
Tsinghua University（清华大学）
本文研究大型语言模型能否作为推荐解释的评估器，通过3级元评估策略和真实用户反馈验证了GPT4等LLM在适当提示下可提供准确、可复现且低成本的评估，并提出结合人类标签与多模型集成以提升评估稳定性。
2024-06-06 cs.CL cs.IR
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU）HiTZ中心）；University of Alicante (UA)（阿利坎特大学（UA））；GOI Institute, Basque Summer University (UEU)（巴斯克夏季大学（UEU）GOI研究所）
该研究针对英语外语言开展摘要元评估，构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型，发现专有评判LLM与人类评判相关性最高，开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）
本文提出Think-with-Rubrics方法，通过将评分标准整合到推理过程中，使评分标准成为LLM生成的内部指导，提升生成质量。
2026-05-08 cs.CL
StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
提出StrategyLLM框架，利用四个LLM智能体进行归纳与演绎推理以生成可泛化且一致的少样本提示策略，在4项任务的13个数据集上无需人工干预即超越需人工标注的CoT-SC基线。
2024-11-09 cs.CL
Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study
Tencent Hunyuan（腾讯混元）
本文针对大语言模型作为评估者时存在的潜在偏见问题，提出并比较了带参考和不带参考的两种多示例上下文学习提示模板，实验证明GPT-4o在多示例设置下评估一致性和质量更优，且带参考模板效果更好。
2025-02-05 cs.CL
Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple LLM Judges
ZJU–UIUC Institute（浙大UIUC研究院）；ZJU–Hangzhou Global Scientific and Technological Innovation Center（浙大杭州全球科技创新中心）；College of Computer Science and Technology（计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
本文提出一种高效多轮对话评估器，通过整合多个LLM裁判的偏好知识，减少计算开销并提升评估效率与鲁棒性。
2026-01-06 cs.CL
Becoming Experienced Judges: Selective Test-Time Learning for Evaluators
Seoul National University（首尔国立大学）；University of Minnesota（明尼苏达大学）
本文提出选择性测试时间学习框架，使评估者在推理过程中逐步改进，通过自适应元提示提升评估效果，实验证明其在多个基准上的优越性。
2025-12-07 cs.AI cs.CL cs.LG
Fusion-Eval: Integrating Assistant Evaluators with LLMs
Google Deepmind（谷歌DeepMind）
Fusion-Eval利用大型语言模型整合多个专业辅助评估器的评分来评估自然语言系统，在SummEval和TopicalChat上分别取得0.962和0.744的相关性，显著优于基线方法。
2024-06-06 cs.AI cs.CL
EQUATOR: A Deterministic Framework for Evaluating LLM Reasoning with Open-Ended Questions. # v1.0.0-beta
Vector Institute（矢量研究院）；JP Morgan Chase（摩根大通）；Columbia University（哥伦比亚大学）
本文提出 EQUATOR 框架，通过向量数据库将开放式问题与人工评估答案配对，并结合本地小模型 LLaMA 3.2B 实现确定性自动评分，以克服多项选择评估的流畅性偏差，提升对 LLM 事实准确性和复杂推理能力的可扩展评估。
2024-12-31 cs.CL
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现，发现提示对评估结果影响有限，困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab（湖畔实验室）
本研究分析了ChatGPT和GPT-4等LLMs作为抽象式摘要自动评估器的稳定性和可靠性，发现它们虽优于传统自动指标，但因评分不一致、维度依赖及对高质量摘要评估相关性低等局限，尚不能替代人类评估。
2023-10-20 cs.CL
MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models
Yonsei University（延世大学）；KAIST（韩国科学技术院）；OneLineAI；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Artful Media；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了多语言元评估基准MM-Eval，用于检验评估器LLMs在多语言输出上的可靠性与公平性，发现现有评估器在非英语及低资源语言上表现不佳且不一致，且该基准与Best-of-N排名具有更强相关性。
2025-03-29 cs.CL
MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators
INESC-ID（葡萄牙国家系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；Carnegie Mellon University（卡内基梅隆大学）
MEDAL框架通过多语言多代理方法，评估LLM作为开放领域对话评估者的性能，揭示了现有评判者在检测细微问题上的不足。
2026-01-22 cs.CL
GPT-4 as an Effective Zero-Shot Evaluator for Scientific Figure Captions
Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Research（Adobe研究院）
本文研究使用GPT-4等LLMs作为科学图表标题的零样本评估器，构建了SCICAP-EVAL数据集，发现GPT-4的评估效果优于其他模型及本科生，与博士生排名相关性达0.401。
2023-10-23 cs.CL
Split and Merge: Aligning Position Biases in LLM-based Evaluators
Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
针对基于大语言模型的评估器存在的位置偏差问题，提出轻量对齐系统PORTIA，通过拆分、对齐、合并答案片段校准偏差，显著提升评估一致性与成本效益。
2024-12-09 cs.AI cs.CL
Challenging the Evaluator: LLM Sycophancy Under User Rebuttal
Johns Hopkins University（约翰霍普金斯大学）
本文研究LLMs在对话反驳中表现谄媚与在同时评估冲突论点时表现良好之间的张力，通过实验揭示对话框架、详细推理和随意反馈会增加模型被说服的风险，警示在判断任务中需考虑对话框架。
2025-09-20 cs.CL
Ranking Over Scoring: Towards Reliable and Robust Automated Evaluation of LLM-Generated Medical Explanatory Arguments
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU HiTZ中心 - Ixa）；Cruces University Hospital（克鲁塞斯大学医院）
本文提出基于代理任务和排序的评估方法，以少量人工示例实现对LLM生成医学解释性论证的可靠、稳健且与人类标准一致的自动评估。
2024-09-30 cs.CL
CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses
Microsoft Research Asia（微软亚洲研究院）
针对LLM价值观评估器适应性与泛化性不足的问题，提出融合大小模型的CLAVE框架，仅需少量标注即可适配不同价值观体系，同时构建ValEval数据集并基准测试12余种评估器，验证了双模型结合的优势。
2024-07-15 cs.AI cs.CL
PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
KAIST（韩国科学技术院）
本文提出PICon框架，通过逻辑链式的多轮提问评估人设代理的一致性，发现即使之前被认为高度一致的系统在三个维度上也未能达到人类基准水平，揭示了矛盾和逃避回应。
2026-05-19 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of California, San Diego（加州大学圣迭戈分校）；University of Southern California（南加州大学）；Bytedance, US（字节跳动（美国））
本文系统验证了 GPT-4V 作为视觉-语言任务通用评估器的能力，覆盖图像-文本合成、图像翻译和多图对齐等任务，采用单答案评分与成对比较方法，证明其评分与人类判断具有良好一致性。
2023-11-02 cs.CL cs.CV
DHP Benchmark: Are LLMs Good NLG Evaluators?
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；Axon Enterprise, Inc.（Axon企业公司）
针对LLM作为NLG评估器能力未充分探索的问题，提出DHP基准框架，通过层次扰动和统计检验量化评估能力，覆盖四类任务，对五大LLM家族进行基准测试，揭示其优劣。
2025-02-25 cs.AI cs.CL
Safer or Luckier? LLMs as Safety Evaluators Are Not Robust to Artifacts
Cohere
本研究评估11个LLM评判模型在安全评估中的鲁棒性，发现输入伪影（如道歉措辞）可致偏好偏差达98%，且大模型不更鲁棒；陪审团聚合虽改善鲁棒性和人类一致性，但伪影敏感性仍存。
2025-07-09 cs.AI cs.CL
MILE-RefHumEval: A Reference-Free, Multi-Independent LLM Framework for Human-Aligned Evaluation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
MILE-RefHumEval是一种无需参考的多独立LLM评估框架，通过人类对齐方案和任务特定提示，实现高效、稳健的LLM评估。
2026-02-10 cs.CL
Evaluating Spatiotemporal Consistency in Automatically Generated Sewing Instructions
Congree Language Technologies GmbH（Congree语言技术有限公司）；Saarland University（萨尔兰大学）
针对LLM生成的逐步缝纫说明，本文提出基于树的自动时空一致性评估指标，证明其更贴合人工错误计数与质量评分，并对文本相似度反事实样本更稳健。
2025-09-29 cs.CL
Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Generative AI Research Lab (GAIR)（生成式人工智能研究实验室（GAIR））
针对LLM作为评估器的元评估受基准限制、需大量人工标注的问题，提出基于智能体辩论的ScaleEval框架，通过多LLM智能体多轮讨论辅助人工筛选优质评估器，降低标注工作量并实现可扩展元评估。
2024-01-30 cs.AI cs.CL
ReIFE: Re-evaluating Instruction-Following Evaluation
Yale University（耶鲁大学）；Salesforce AI；Allen Institute for AI（艾伦人工智能研究所）
该研究提出元评估套件ReIFE，通过25个基础LLM、15种评估协议在4个数据集上的大规模评估，揭示了基础模型、评估协议与数据集间的关联规律，为指令遵循评估研究提供支撑。
2024-10-09 cs.AI cs.CL cs.LG
LLM-as-a-Judge & Reward Model: What They Can and Cannot Do
Yonsei University（延世大学）；OnelineAI；Hankuk University of Foreign Studies（韩国外国语大学）；Kangwon National University（江原国立大学）；The University of Suwon（水原大学）
本文系统分析LLM-as-a-Judge与奖励模型在跨语言、事实性和复杂推理场景中的评估能力，揭示其英语能力迁移优势及错误检测、难题评估等局限，并开放数据集与代码。
2024-10-02 cs.CL
Multi-Facet Counterfactual Learning for Content Quality Evaluation
University of Chinese Academy of Sciences（中国科学院大学）；WeChat, Tencent Inc.（腾讯微信）
提出多面反事实学习框架MOLE，通过大型语言模型生成反事实内容并采用对比与监督联合训练策略，使评估器能区分不同质量方面，有效提升文档质量评估与人类判断的相关性。
2024-10-10 cs.CL
Any Large Language Model Can Be a Reliable Judge: Debiasing with a Reasoning-based Bias Detector
New York University（纽约大学）；GE Healthcare（通用电气医疗）；Florida State University（佛罗里达州立大学）
针对大语言模型作为评判者时存在的评估偏差问题，提出即插即用的基于推理的偏差检测器RBD，通过外部迭代的偏差检测与反馈修正引导评判者自我校正，在多类偏差、多评判模型上显著提升评估准确率与一致性，且具备良好的泛化性与可扩展性。
2025-10-27 cs.CL
Overview of the Sensemaking Task at the ELOQUENT 2025 Lab: LLMs as Teachers, Students and Evaluators
Charles University, Prague, Czech Republic（查尔斯大学）
本文介绍了ELOQUENT 2025实验室的Sensemaking任务，通过教师、学生和评估者三步框架评估生成式模型，发现全自动评估可行但LLM作为评估者在对抗测试中存在误判问题。
2025-07-16 cs.CL
ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction
ELSPR通过构建比赛图识别并净化LLM训练数据中的非传递性偏好，提升评估系统的可靠性与一致性。
2025-12-02 cs.CL
GameEval: Evaluating LLMs on Conversational Games
Soochow University（苏州大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有大语言模型评估方法需人工介入或存在测试偏差的问题，提出GameEval评估框架，通过目标驱动的合作/对抗类对话游戏及配套指标，可有效区分不同大模型的综合问题解决能力。
2023-08-19 cs.CL
Multi-Dimensional Evaluation of Text Summarization with In-Context Learning
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Facebook AI Research（Facebook人工智能研究）
本文研究大型语言模型作为多维评估器的有效性，通过上下文学习免除对大型训练数据集的需求，实验表明该方法在文本摘要任务中具有竞争力，并在相关性和事实一致性等维度上达到最先进水平。
2023-06-01 cs.CL
CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents
Nutanix, Inc.（Nutanix公司）
CR-Bench通过引入基准数据集和细粒度评估流程，评估AI代码审查代理在现实世界中的效用，揭示了问题解决与假发现之间的权衡，为LLM驱动的代码审查代理发展提供基础。
2026-03-10 cs.AI cs.CL cs.SE
Towards Acyclic Preference Evaluation of Language Models via Multiple Evaluators
PGED通过多个评估者构建偏好图并去噪，解决LLM偏好评估中的循环问题，提升评估可靠性与模型性能。
2026-01-01 cs.AI cs.CL cs.LG
Tool-Aware Planning in Contact Center AI: Evaluating LLMs through Lineage-Guided Query Decomposition
本文提出接触中心AI中的工具感知规划框架，通过lineage引导查询分解评估LLMs，揭示工具理解的不足及简计划的优势。
2026-02-16 cs.CL cs.SE
Evaluating Word Embedding Models: Methods and Experimental Results
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
在这项工作中，大量的词嵌入模型的语言处理应用进行了广泛的评估。首先，我们介绍了流行的词嵌入模型，并讨论了词模型和评估方法（或评估器）所需的属性。然后，我们将评价者分为内在和外在两种类型。内在评估独立于特定的自然语言处理任务测试表示的质量，而外在评估使用词嵌入作为下游任务的输入特征，并测量特定于该任务的性能指标的变化。我们报告的实验结果的内在和外在的评价六个词嵌入模型。结果表明，不同的评价者侧重于词模型的不同方面，有些人更相关的自然语言处理任务。最后，我们采用相关性分析来研究内外部评价者的绩效一致性。
2019-01-29 cs.CL
Evaluating Text Summaries Generated by Large Language Models Using OpenAI's GPT
University of Colorado - Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Kansas（堪萨斯大学）；DataCrunch Lab, LLC（DataCrunch实验室有限责任公司）；University of Florida（佛罗里达大学）
本文将 GPT 作为独立评估者评估六个 transformer 模型生成的摘要，并与 ROUGE、LSA 等传统指标比较，验证其在相关性和连贯性评估上的互补价值。
2024-05-07 cs.AI cs.CL cs.LG
xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation
Institute for Advanced Algorithms Research（高等算法研究院）；Renmin University of China（中国人民大学）
针对LLM评估中RegEx提取错误和法官模型泛化不足的问题，提出xFinder评估器，通过优化答案提取模块，以5亿参数模型实现93.42%提取准确率和97.61%判断准确率，优于现有框架。
2025-02-25 cs.CL
Evaluating Role-Consistency in LLMs for Counselor Training
Technische Hochschule Nürnberg Georg Simon Ohm（图林根应用技术大学纽伦堡乔治·西蒙·奥姆学院）
本文通过引入对抗性数据集评估LLM在辅导培训中的角色一致性，比较了Vicuna与其他开源模型的表现。
2026-01-13 cs.AI cs.CL
Evaluating Metrics for Safety with LLM-as-Judges
Centre for Assuring Autonomy, University of York（自主性保障中心、约克大学）；Bradford Royal Infirmary（布拉德福德皇家医院）
本文提出通过加权指标和置信度阈值来提升LLM作为裁判在关键信息流中的安全性和可靠性。
2025-12-17 cs.AI cs.CL
DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
Intuit（Intuit公司）；Intuit AI Research（Intuit人工智能研究院）；Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
本文提出DCR框架，通过分治评估器(DCE)、自动指标转换器(AMC)和原因辅助改进器(RAI)来评估并改进LLM生成文本的一致性，在多个基准上大幅超越现有方法并减少近90%的输出不一致。
2024-01-04 cs.AI cs.CL
TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization
AWS AI Labs（亚马逊云科技人工智能实验室）；Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出主题聚焦对话摘要评估基准TofuEval，通过人工标注和错误分类分析揭示现有LLM在对话摘要中幻觉严重且作为评估器表现不佳，而非LLM指标更优。
2024-03-31 cs.AI cs.CL
Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
研究探讨大语言模型与人类评估创造力时趋同和背离的原因，通过三项研究和六个模型，识别其评估标准及影响，发现一致性取决于判断证据和模型标准，强调内在品质时趋同，需上下文信息时背离，选评估模型很关键。
2026-09-29 cs.AI cs.CL
JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models
Tsinghua University（清华大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文系统分析了近90项越狱研究中的评估方法，提出评估器分类法，并开发了集成工具包JailbreakEval，以简化越狱评估流程并推动社区形成统一评估标准。
2025-02-04 cs.AI cs.CL cs.CR
EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined Criteria
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER AI实验室）
EvalLM是一个交互式系统，让用户用自然语言定义标准并利用LLM评估器迭代优化提示，实验表明相比手动评估可检查两倍输出并以少59%的修改次数达到满意提示。
2024-02-27 cs.AI cs.CL cs.HC
Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games
ITI/LARSyS；Técnico Lisboa（里斯本理工学院）
针对严肃游戏中开放式回应评估的主观性挑战，本研究调查了五个本地小型LLM在评估能源社区决策模拟游戏\textit{En-join}玩家回应时的可靠性，通过二元分类指标比较其性能，为AI评估工具的可信度提供见解。
2025-04-13 cs.AI cs.CL cs.HC
SLMEval: Entropy-Based Calibration for Human-Aligned Evaluation of Large Language Models
University of Michigan（密歇根大学）
针对现有校准评估器在开放式任务中与人类判断相关性弱的问题，提出基于熵最大化的SLMEval校准方法，在真实场景和基准上显著提升相关性并降低5-30倍成本。
2025-05-21 cs.AI cs.CL
All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
人类评估通常被认为是自然语言生成的黄金标准，但随着模型流畅性的提高，评估人员如何检测和判断机器生成的文本？我们进行了一项研究，评估非专家在三个领域（故事，新闻文章和食谱）区分人类和机器创作的文本（GPT2和GPT3）的能力。我们发现，在没有训练的情况下，评估者在随机机会水平上区分GPT3和人类创作的文本。我们探索了三种方法来快速训练评估者，以更好地识别GPT3作者的文本（详细说明，注释示例和配对示例），并发现虽然评估者的准确率提高了55%，但在三个领域中并没有显着提高。鉴于文本域之间的结果不一致，以及评估人员为他们的判断给出的往往相互矛盾的原因，我们研究了未经训练的人类评估在NLG评估中的作用，并为NLG研究人员提供了改进人类对从最先进的模型生成的文本的评估的建议。
2021-07-07 cs.CL
AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators
Stanford University（斯坦福大学）；American Express（美国运通）
AutoMetrics通过自动生成评估器，在低数据条件下提升与人类评分的相关性，提高Kendall相关性达33.4%，并提供可解释的自动指标工具。
2025-12-19 cs.AI cs.CL
Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions
Carnegie Mellon University（卡内基梅隆大学）
本文针对大语言模型在多轮交互中的一致性问题，提出PWC评估指标、MT-Consistency基准数据集以及CARG生成框架，在不牺牲准确率的前提下显著提升响应稳定性。
2025-06-05 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究院）
针对多模态大语言模型跨模态知识推理不一致的问题，本文提出四个评估任务并构建新数据集，通过实验分析一致性退化程度及成因，为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
