Judge the Judges: A Large-Scale Evaluation Study of Neural Language Models for Online Review Generation
University of Michigan（密歇根大学）
我们进行了大规模的，系统的研究，以评估现有的评价方法生成自然语言的背景下，生成在线产品评论。我们将基于人类的评估器与各种自动评估程序进行比较，包括衡量机器生成的文本与人类书面文本区分程度的判别式评估器，以及评估生成的文本与人类书面参考文献相似程度的单词重叠度量。我们确定这些不同的评估者在多大程度上同意对十几个最先进的在线产品评论生成器的排名。我们发现，人类评估者与有区别的评估者没有很好的相关性，这就留下了一个更大的问题，即对抗性准确性是否是自然语言生成的正确目标。一般来说，区分机器生成的文本即使对于人类评估者来说也是具有挑战性的，并且人类决策与词汇重叠更好地相关。我们发现词汇多样性是一个有趣的指标，是不同的评价者的评估。对参与者的实验后调查提供了如何评估和提高自然语言生成系统质量的见解。
2019-09-05 cs.CL cs.LG stat.ML
Rewriter-Evaluator Architecture for Neural Machine Translation
Tencent AI Lab（腾讯人工智能实验室）；Ant Group（蚂蚁集团）
编码器-解码器在神经机器翻译（NMT）中有着广泛的应用。已经提出了一些方法来改进它与多个通道的解码。然而，由于缺乏适当的解雇政策，它们的全部潜力受到限制。为了解决这个问题，我们提出了一种新的架构，重写器评估。它由重写器和评估器组成。翻译一个源句子涉及多个步骤。在每一次重写过程中，重写器产生一个新的翻译，以改善过去的翻译和评估的翻译质量，以决定是否终止重写过程。我们还提出了优先的梯度下降（PGD），有利于训练重写器和评估器联合。尽管需要多次解码，但使用所提出的PGD方法的Rewriter-Evaluator可以用与训练编码器-解码器模型相似的时间来训练。我们应用所提出的架构来改进一般的NMT模型（例如，Transformer）。我们进行了广泛的实验，两个翻译任务，中文-英文和英文-德文，并表明，所提出的架构显着提高了NMT模型的性能，并显着优于以前的基线。
2021-05-10 cs.CL
Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation?
Microsoft Corporation（微软公司）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究探讨了基于LLM的评估器（如GPT-4）在多语言评估中的潜力，发现其存在偏向高分的偏差，强调需用母语者判断进行校准以确保跨语言评估的准确性。
2024-02-13 cs.CL
Lower-Resource, Higher Scores: Language Bias in LLM Evaluators
University of Cambridge（剑桥大学）；Language Technology Lab（语言技术实验室）
研究发现语言模型评估器在多语言环境中存在偏差，不同语言评分差异显著，与语言资源水平相关，成对准确率无法检测到这些偏差，还探究了资源少的语言得分高的原因，揭示了语言层面的结构错位。
2026-08-27 cs.CL
Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators
Salesforce AI Research（Salesforce 人工智能研究院）
本文提出JETTS基准，评估LLM法官在测试时扩展中的表现，发现其在重排序中与结果奖励模型相当，但在束搜索中不如过程奖励模型，且自然语言批评对改进生成效果有限。
2025-05-21 cs.CL cs.LG
Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Generative AI Research Lab (GAIR)（生成式人工智能研究实验室（GAIR））
针对LLM作为评估器的元评估受基准限制、需大量人工标注的问题，提出基于智能体辩论的ScaleEval框架，通过多LLM智能体多轮讨论辅助人工筛选优质评估器，降低标注工作量并实现可扩展元评估。
2024-01-30 cs.AI cs.CL
Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks
The University of Hong Kong（香港大学）；Tencent AI lab（腾讯AI实验室）
本研究考察LLM作为NLP任务评估器的可靠性，发现其在通用标准上表现良好但在复杂标准上存在不足，且LLM预起草可减少人类评估的主观性。
2025-01-18 cs.CL
Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course
National Taiwan University（台湾大学）；Mediatek Inc.（联发科股份有限公司）
本研究探讨了在1,028人的大学课程中使用GPT-4自动评估学生作业的实践，发现学生普遍可接受该评估器，但存在指令遵循能力不足和易受提示攻击操纵评分等挑战，并据此提出了未来改进建议。
2024-09-21 cs.CL
Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models
National University of Singapore（新加坡国立大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；Kriston AI Lab（科润人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Universidad Politécnica de Madrid（马德里理工大学）
提出由 LLM 驱动的黑盒对抗框架 AdvEval，通过黄金与受害评估器反馈自动构造分歧样本，揭示多种 NLG 评估指标在多任务上的鲁棒性缺陷。
2024-10-02 cs.CL
A Lemma Based Evaluator for Semitic Language Text Summarization Systems
Benha University（本哈大学）；Electronics Research Institute（电子研究所）
通过简单的词干提取策略来匹配高度屈折的语言（如阿拉伯语）中的文本不太可能表现良好。本文以阿拉伯语为例，提出了一种面向屈折语言的文本自动匹配策略。该系统是ROUGE测试的扩展，其中文本在标记的引理级别上匹配。实验结果表明，具有相同的语义，但写在不同的词汇形式的不同句子之间的相似性检测的增强。
2014-03-22 cs.CL cs.IR
Spontaneous Reward Hacking in Iterative Self-Refinement
New York University（纽约大学）；Anthropic, PBC（Anthropic公司）；George Washington University（乔治·华盛顿大学）
本文研究语言模型迭代自精炼中的自发奖励黑客现象，通过论文编辑任务证明生成器与评估器共享模型时会出现评分与人类判断的偏差，并发现模型规模和上下文共享是影响严重程度的关键因素。
2024-07-05 cs.AI cs.CL
Bayesian Calibration of Win Rate Estimation with LLM Evaluators
Yale University（耶鲁大学）
针对 LLM 评估器内在偏差导致胜率估计不可靠的问题，提出 BWRS 和 Bayesian Dawid-Skene 两种贝叶斯校准方法，在六个数据集上验证有效提升了生成式语言模型真实胜率估计的准确性。
2024-11-07 cs.AI cs.CL
Where Does Toxicity Live? Mechanistic Localization and Targeted Suppression in Language Models
Indian Institute of Technology Gandhinagar（印度理工学院冈德辛加尔）
通过分析毒性与中性提示的激活差异，定位特定层和神经元中的毒性，并利用推理时缩放或最小秩一权重编辑进行抑制，无需梯度下降，实现毒性降低同时保持语言质量。
2026-05-27 cs.AI cs.CL cs.LG
Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
本文揭示LLM评估器的偏好脆弱性，并提出零样本提示优化框架ZEPO，通过优化偏好决策公平性，在无标注数据下显著提升了LLM评估器与人类评判的对齐度。
2024-10-12 cs.AI cs.CL cs.CY
Aligning Black-box Language Models with Human Judgments
Amazon（亚马逊）
本文提出一种无需微调、通过线性映射将黑盒大语言模型判断与人类评估者对齐的简单框架，在29个任务上以少量校准样本实现平均142%的一致性提升，并在多个任务上超过人类间一致性。
2025-02-07 cs.AI cs.CL cs.LG
Exploring the Multilingual NLG Evaluation Abilities of LLM-Based Evaluators
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Data Science and Intelligent Media, Communication University of China（中国传媒大学数据科学与智能媒体学院）
本研究通过相关性分析、扰动攻击和微调，全面分析了10个LLM在多语言NLG评估中的表现，发现其评估能力在高资源与低资源语言间存在显著不平衡，建议低资源语言场景应获更多关注。
2025-03-06 cs.CL
Evaluating Large Language Models at Evaluating Instruction Following
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 LLMBar 元评价基准，通过 419 对具有迷惑性的指令遵循/偏离输出检验 LLM 评价器，并给出提示策略以缩小其与人类评价的差距。
2024-04-16 cs.CL cs.LG
Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction
Tokyo Metropolitan University（东京都立大学）；CyberAgent Inc.（CyberAgent公司）；Hitotsubashi University（一桥大学）
本研究探索大型语言模型在语法错误纠正评估中的应用，通过设计多标准提示，发现GPT-4达到0.662的Kendall相关系数，超越现有方法，并强调模型规模与流畅性标准的重要性。
2024-05-26 cs.CL
An Empirical Analysis of Uncertainty in Large Language Model Evaluations
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Peking University（北京大学）；Westlake Institute for Advanced Study（西湖高等研究院）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文针对LLM评估器的稳定性问题，通过跨2种设置和9个模型的实验分析了评估不确定性，发现特殊提示策略可缓解不确定性，并提出不确定性感知的ConfiLM模型，显著提升了OOD场景下的评估性能。
2025-03-02 cs.AI cs.CL
Evaluating Text Creativity across Diverse Domains: A Dataset and Large Language Model Evaluator
Renmin University of China（中国人民大学）；Beijing Normal University（北京师范大学）；Kuaishou Technology（快手科技）
本文提出了一种基于CreataSet数据集的CrEval评估器，通过结合人类和合成数据提升大语言模型的创造力评估效果。
2026-01-29 cs.CL
Evaluating Word Embedding Models: Methods and Experimental Results
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
在这项工作中，大量的词嵌入模型的语言处理应用进行了广泛的评估。首先，我们介绍了流行的词嵌入模型，并讨论了词模型和评估方法（或评估器）所需的属性。然后，我们将评价者分为内在和外在两种类型。内在评估独立于特定的自然语言处理任务测试表示的质量，而外在评估使用词嵌入作为下游任务的输入特征，并测量特定于该任务的性能指标的变化。我们报告的实验结果的内在和外在的评价六个词嵌入模型。结果表明，不同的评价者侧重于词模型的不同方面，有些人更相关的自然语言处理任务。最后，我们采用相关性分析来研究内外部评价者的绩效一致性。
2019-01-29 cs.CL
Seeing Isn't Believing: Uncovering Blind Spots in Evaluator Vision-Language Models
Nilekani Centre at AI4Bharat（AI4Bharat的Nilekani中心）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；BITS Pilani, Hyderabad（海得拉巴 BITS学院）
本文系统评估了评估者视觉-语言模型在I2T和T2I任务中的可靠性，通过引入针对性扰动测试其在对象幻觉、空间推理等关键错误维度上的检测能力，发现当前模型存在显著盲区。
2026-04-23 cs.CL cs.CV
Safer or Luckier? LLMs as Safety Evaluators Are Not Robust to Artifacts
Cohere
本研究评估11个LLM评判模型在安全评估中的鲁棒性，发现输入伪影（如道歉措辞）可致偏好偏差达98%，且大模型不更鲁棒；陪审团聚合虽改善鲁棒性和人类一致性，但伪影敏感性仍存。
2025-07-09 cs.AI cs.CL
PADMÉ: Preference Alignment Data Synthesis for Meta-Evaluation of LM Agent Evaluators
Uniphore
PADMÉ提出一种仅用小型语言模型、无需人工参与的偏好对齐数据合成方法，用于生成智能体评估器的元评估数据，将人类判断一致性从73%提升至85%。
2026-09-30 cs.AI cs.CL
Large Language Models as Evaluators for Recommendation Explanations
Tsinghua University（清华大学）
本文研究大型语言模型能否作为推荐解释的评估器，通过3级元评估策略和真实用户反馈验证了GPT4等LLM在适当提示下可提供准确、可复现且低成本的评估，并提出结合人类标签与多模型集成以提升评估稳定性。
2024-06-06 cs.CL cs.IR
HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition
Peking University（北京大学）；Microsoft Corporation（微软公司）
HD-Eval提出通过分层标准分解迭代对齐LLM评估器与人类偏好，以白盒聚合器实现高效可解释的细粒度评估，并在多个领域验证其优越性。
2024-02-24 cs.CL
GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of California, San Diego（加州大学圣迭戈分校）；University of Southern California（南加州大学）；Bytedance, US（字节跳动（美国））
本文系统验证了 GPT-4V 作为视觉-语言任务通用评估器的能力，覆盖图像-文本合成、图像翻译和多图对齐等任务，采用单答案评分与成对比较方法，证明其评分与人类判断具有良好一致性。
2023-11-02 cs.CL cs.CV
How to Evaluate the Next System: Automatic Dialogue Evaluation from the Perspective of Continual Learning
Microsoft（微软）；Baidu（百度）
自动对话评价在开放域对话研究中起着至关重要的作用。以往的工作训练神经网络进行自动对话评估有限的注释，这自然会影响评估的公平性，因为对话系统接近训练语料库的范围将有更多的偏好比其他的。在本文中，我们研究缓解这个问题的持续学习的角度来看：给定一个现有的神经对话评估器和下一个系统进行评估，我们微调学习的神经评估器，通过选择性地忘记/更新其参数，共同适合对话系统已经和将要进行评估。我们的动机是寻求一个终身的和低成本的自动评估对话系统，而不是重建一遍又一遍的评价。实验结果表明，我们的连续评估器实现了相当的性能与重建新的评估器，而需要显着降低资源。
2019-12-10 cs.CL
Calibrating LLM-Based Evaluator
Peking University（北京大学）；Microsoft Corporation（微软公司）
本文提出无梯度的多阶段 AutoCalibrate 方法，通过人工标签、少样本上下文学习起草标准并自我精炼，使基于 LLM 的评估器更贴合人类偏好，实验显示其与专家评估的相关性显著提升。
2023-09-23 cs.CL
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab（湖畔实验室）
本研究分析了ChatGPT和GPT-4等LLMs作为抽象式摘要自动评估器的稳定性和可靠性，发现它们虽优于传统自动指标，但因评分不一致、维度依赖及对高质量摘要评估相关性低等局限，尚不能替代人类评估。
2023-10-20 cs.CL
Towards Coherent and Engaging Spoken Dialog Response Generation Using Automatic Conversation Evaluators
California Institute of Technology（加州理工学院）；Google（谷歌）；Uber AI（优步人工智能）；University of Trento（特伦托大学）；Alexa AI, Amazon（亚马逊Alexa人工智能）
基于编码器-解码器的神经架构充当端到端开放域对话系统中的最先进方法的基础。由于大多数这样的系统是用最大似然（MLE）目标训练的，因此它们遭受诸如缺乏可推广性和通用响应问题（即，可以是对大量用户话语的回答的系统响应，例如，“我不知道，也不想知道。”“在每一轮都对系统响应的相关性和有趣性进行明确反馈，这可以是一个有用的信号，可以通过选择不同方法的响应来缓解这些问题并提高系统质量。为了实现这一目标，我们提出了一个系统，该系统评估聊天机器人的反应，在每个对话轮的连贯性和参与。我们的系统提供了明确的回合级对话质量反馈，我们表明是高度相关的人的评价。为了表明将这种反馈纳入神经反应生成模型提高对话质量，我们提出了两种不同的和互补的机制，将显式反馈纳入神经反应生成模型：在训练过程中重新排序和直接修改损失函数。我们的研究表明，响应生成模型，结合这些组合的反馈机制，产生更多的参与和连贯的反应，在一个开放的域口语对话设置，显着提高响应质量使用自动和人工评估。
2019-11-22 cs.AI cs.CL cs.LG
DHP Benchmark: Are LLMs Good NLG Evaluators?
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；Axon Enterprise, Inc.（Axon企业公司）
针对LLM作为NLG评估器能力未充分探索的问题，提出DHP基准框架，通过层次扰动和统计检验量化评估能力，覆盖四类任务，对五大LLM家族进行基准测试，揭示其优劣。
2025-02-25 cs.AI cs.CL
SLMEval: Entropy-Based Calibration for Human-Aligned Evaluation of Large Language Models
University of Michigan（密歇根大学）
针对现有校准评估器在开放式任务中与人类判断相关性弱的问题，提出基于熵最大化的SLMEval校准方法，在真实场景和基准上显著提升相关性并降低5-30倍成本。
2025-05-21 cs.AI cs.CL
Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese
Tohoku University（东北大学）；RIKEN（理化学研究所）；Langsmith Inc.（朗史密斯公司）
我们研究了一种方法，使用神经语言模型（LM）分析语言的词序。这种基于LM的方法有可能克服现有方法面临的困难，如传播的预处理器的错误计数为基础的方法。在这项研究中，我们探讨是否LM为基础的方法是有效的分析词序。作为一个个案研究，本研究的重点是日语，因为它的复杂和灵活的词序。为了验证基于LM的方法，我们测试（i）LM和人类词序偏好之间的相似性，以及（ii）使用基于LM的方法与以前的语言学研究所获得的结果的一致性。通过我们的实验，我们初步得出结论，LM显示足够的词序知识作为一种分析工具。最后，我们使用基于LM的方法，证明了规范词序和主题化之间的关系，这还有待于通过大规模的实验来分析。
2020-05-02 cs.CL
Algorithmically Establishing Trust in Evaluators
Microsoft（微软公司）；The University of York（约克大学）
本文提出无数据算法，通过连续挑战建立评估者信任，无需标注数据，适用于低资源语言标注场景。
2026-02-11 cs.AI cs.CL cs.DS
Evaluating Vision-Language Models as Evaluators in Path Planning
George Mason University（乔治梅森大学）；Carnegie Mellon University（卡内基梅隆大学）；National Science Foundation（国家科学基金会）
本研究提出PathEval基准以评估视觉语言模型（VLMs）作为路径规划评估器的能力，发现VLMs的视觉感知能力是核心瓶颈，端到端微调无法解决该问题，需对视觉编码器进行任务特定的判别式适配。
2025-05-16 cs.CL cs.CV
Large Language Models as Evaluators for Scientific Synthesis
TIB - Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
本文研究GPT-4和Mistral等大型语言模型评估科学综合质量的能力，发现其解释虽具逻辑性但与人类评分相关性较弱，揭示了LLMs在该任务中的潜力与局限。
2024-07-03 cs.AI cs.CL cs.IT
Evaluating Large Language Model Raters for German Open-Response Clinical Questions: A Physician-Annotated Benchmark Study of Agreement, Evaluator Bias, and Abstention
University of Luebeck（吕贝克大学）；University of Tübingen（图宾根大学）；University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）；University Hospital Würzburg（维尔茨堡大学医院）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Genie Enterprise Deutschland GmbH
针对德语开放回答临床基准MedQADE，评估LLM评估者与医生的对齐程度，发现统计一致性高但缺乏临床元认知，且存在系统性的模型谱系偏差。
2026-10-07 cs.CL
Evaluating the Consistency of LLM Evaluators
KAIST AI（韩国科学技术院人工智能学院）
针对LLM评估器一致性研究不足的问题，本文对其自一致性和跨尺度一致性在不同评分尺度、标准粒度及模型类型下开展广泛研究，发现强专有模型未必是一致评估器，强调了一致性对评估LLM评估器能力的重要性。
2024-11-30 cs.CL
A Gamified Evaluation and Recruitment Platform for Low Resource Language Machine Translation Systems
Samsung Research Philippines（三星菲律宾研究）
针对低资源语言机器翻译系统评估中数据集与专业人类评估者短缺的问题，本文梳理现有评估流程，设计了集招募与游戏化评估于一体的平台，并探讨了平台评估挑战及NLP领域应用前景。
2025-06-13 cs.CL cs.SI
Direct-Scoring NLG Evaluators Can Use Pairwise Comparisons Too
本研究提出一种直接评分方法，利用合成摘要模拟成对比较，在多个基准上达到与最先进成对评估器相当的样本级相关性，并发布数据以促进未来工作。
2025-09-05 cs.AI cs.CL cs.LG
Large Language Models are not Fair Evaluators
Peking University（北京大学）；The University of Hong Kong（香港大学）；Tencent Cloud AI（腾讯云人工智能）
本文揭示LLM作为评估者存在顺序敏感的系统性偏差，提出包含多重证据校准、平衡位置校准和人机协同校准的框架，有效缓解偏差并提升与人类判断的一致性。
2023-08-30 cs.AI cs.CL cs.IR
The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators
KAIST AI（韩国科学技术院人工智能研究院）；KRAFTON（KRAFTON公司）
针对LLM评估器在成对比较中易放大对冗长等表面属性的有偏偏好问题，提出整合逐点推理的成对评估方法PRePair，该方法在对抗性基准LLMBar上提升性能，且在标准基准MT-Bench上优于逐点评估。
2025-04-18 cs.CL
Reliable Fine-Grained Evaluation of Natural Language Math Proofs
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Peking University（北京大学）；Allen Institute for AI（人工智能研究院）
本研究提出ProofGrader，通过结合强推理模型、丰富上下文和简单集成方法，实现对LLM生成数学证明的细粒度评估，有效提升证明生成任务的可靠性。
2026-03-01 cs.AI cs.CL
Self-critiquing models for assisting human evaluators
OpenAI（开放人工智能研究中心）
我们使用行为克隆来微调大语言模型，以编写自然语言评论（自然语言关键评论）。在基于主题的摘要任务中，我们的模型编写的评论可以帮助人类找到摘要中的缺陷，否则他们会错过。我们的模型有助于发现模型和人类书面摘要中自然发生的缺陷，以及人类编写的摘要中故意误导的故意缺陷。我们研究了基于主题的摘要和合成任务的批评的缩放特性。更大的模型会写出更有帮助的批评，在大多数任务中，更善于自我批评，尽管有更难批评的输出。更大的模型也可以将自己的自我批评作为反馈，将自己的总结提炼成更好的总结。最后，我们提出并介绍了一个比较批判能力与生成能力和辨别能力的框架。我们的测量结果表明，即使是大型模型也可能仍然具有相关知识，但它们不能或不会表达为批评。这些结果是使用人工智能辅助的人类反馈来将机器学习系统的监督扩展到人类难以直接评估的任务的概念证明。我们发布了我们的训练数据集，以及我们的批判辅助实验的样本。
2022-06-14 cs.CL cs.LG
The Two Sides of the Coin: Hallucination Generation and Detection with LLMs as Evaluators for LLMs
TH Köln – University of Applied Sciences（科隆应用技术大学）
本研究参与CLEF ELOQUENT HalluciGen共享任务，探究Llama 3等四种大语言模型在幻觉生成与检测中的能力，还采用集成多数投票结合四模型做检测，为相关模型的优缺点提供了宝贵见解。
2024-07-12 cs.AI cs.CL
PARIKSHA: A Large-Scale Investigation of Human-LLM Evaluator Agreement on Multilingual and Multi-Cultural Data
Microsoft Corporation（微软公司）
PARIKSHA通过10种印度语言、30个模型、90K人类评估和30K LLM评估，系统比较人类与LLM评估一致性，发现GPT-4o和Llama-3 70B表现最佳，并揭示直接评估一致性下降及GPT评估器存在自我偏差。
2024-10-18 cs.CL
Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments
University of Michigan（密歇根大学）
本研究针对语言模型评估中令牌计数偏差，提出贝叶斯统计和 t 检验量化及重新校准 GPTScorer 的方法，显著提升与人类评估的一致性，如推荐用例相关系数从 -27.27 升至 44.55。
2024-07-05 cs.AI cs.CL cs.HC
Multimodal Language Models as Text-to-Image Model Evaluators
FAIR at Meta - Montreal, New York（Meta 蒙特利尔 FAIR）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Mila；McGill University（麦吉尔大学）；Canada CIFAR AI chair（加拿大 CIFAR 人工智能主席）
该研究提出MT2IE框架，以MLLM为评估智能体，生成少量提示即可高效准确评估T2I模型，其排名比现有指标更忠实一致，还可定制基准，助力动态评估框架发展。
2026-09-03 cs.AI cs.CL cs.CV
GPT-4 as Evaluator: Evaluating Large Language Models on Pest Management in Agriculture
本研究提出用GPT-4作为评估者，对GPT和FLAN系列模型生成的农业害虫管理建议进行多维度评分，结果显示GPT-3.4和GPT-4优于FLAN，且基于指令的提示方法准确率达72%，证明LLMs在农业害虫管理中的可行性。
2024-03-18 cs.CL
MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models
Yonsei University（延世大学）；KAIST（韩国科学技术院）；OneLineAI；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Artful Media；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了多语言元评估基准MM-Eval，用于检验评估器LLMs在多语言输出上的可靠性与公平性，发现现有评估器在非英语及低资源语言上表现不佳且不一致，且该基准与Best-of-N排名具有更强相关性。
2025-03-29 cs.CL
Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response
Northeastern University（东北大学）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML), LMU Munich（慕尼黑大学慕尼黑机器学习中心）
本文构建了两个对抗性元评估数据集KdConv-ADV和DSTC7-ADV，揭示基于LLMs的无参考评估器在封闭式对话响应中识别不合理内容的能力不足，存在可靠性风险。
2024-05-05 cs.CL
Searching for Sound-Meaning Collisions: Graph-Based Affordance Retrieval and Multi-Evaluator Ranking for Pun Translation at CLEF 2026 JOKER Task 2
Georgia Institute of Technology（佐治亚理工学院）
该研究针对CLEF 2026 JOKER任务2，提出基于图的可供性检索与多评估者排名的双关语翻译方法，证实检索音义可供性是计算双关语翻译的核心瓶颈，结果契合Low的设想。
2026-08-06 cs.CL
Prometheus: Inducing Fine-grained Evaluation Capability in Language Models
KAIST AI（韩国科学技术院人工智能学院）；NAVER AI Lab（NAVER人工智能实验室）；University of Washington（华盛顿大学）；MIT（麻省理工学院）；NAVER Cloud（NAVER云）
针对专有大语言模型作为评估器的闭源、成本高等问题，本研究构建Feedback Collection数据集，训练出13B参数的开源评估模型Prometheus，其评估能力与GPT-4相当，还可作为通用奖励模型。
2024-03-09 cs.CL cs.LG
