Handling Divergent Reference Texts when Evaluating Table-to-Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
用于从半结构化数据（表）生成文本的自动构建数据集（如WikiBio）通常包含与相应半结构化数据中的信息不同的参考文本。我们发现，仅依赖于参考文本的指标，如BLEU和ROUGE，显示与人类判断的相关性差时，这些参考分歧。我们提出了一个新的度量标准，PANGOLD，它将参考和生成的文本中的n元语法与半结构化数据对齐，然后计算它们的精确度和召回率。通过对WikiBio的表到文本模型的大规模人类评估研究，我们表明，PANEL与人类判断的相关性优于现有的文本生成指标。我们还调整和评估了Wiseman等人（2017）提出的基于信息抽取的评估，并表明PAdom与它具有可比的相关性，同时更容易使用。我们表明，PANEL也适用于当参考文本是从人类使用的数据从WebNLG挑战。
2019-06-03 cs.CL
Automatic Reference-Based Evaluation of Pronoun Translation Misses the Point
University of Edinburgh（爱丁堡大学）；Uppsala University（乌普萨拉大学）
我们比较了APT和AutoPRF指标的性能对人工注释的数据集，包括人类的判断，PROTEST测试套件的翻译的正确性代词翻译。尽管与人类判断存在一些相关性，但一系列问题限制了自动化指标的性能。相反，我们建议使用半自动度量和测试套件来代替全自动度量。
2018-08-13 cs.CL
Evaluating Optimal Reference Translations
ETH Zürich（苏黎世联邦理工学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Faculty of Mathematics and Physics（数学与物理学院）；Charles University（查理大学）
针对高资源语言对下机器翻译质量提升后标准参考译文存疑、传统评估方法难辨缺陷的问题，本文提出构建“最优参考译文”的方法以提升人工翻译质量标准，并验证了其质量显著优于标准参考译文，明确了评估与翻译编辑的关联。
2024-03-08 cs.CL
Catchphrase: Automatic Detection of Cultural References
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
Snowclone是一个可定制的短语模板，可以实现多个，即时识别的变体。例如，“* 是新的 *”（橙色是新的黑色，40是新的30）。Snowclones在社交媒体中广泛使用。在本文中，我们研究源自流行文化报价的snowclones，我们的目标是自动检测文本中的文化引用。我们介绍了一个新的，公开的数据集的流行文化报价和相应的snowclone的用法和训练模型。我们发布代码的口号，互联网浏览器插件，自动检测和标记引用实时，并通过用户研究检查其性能。除了帮助人们更好地理解文化参考之外，我们希望检测雪克隆可以补充释义工作，并帮助解决社会科学中关于信息传播动态的长期问题。
2021-06-09 cs.CL
Do Vision-Language Models Represent Space and How? Evaluating Spatial Frame of Reference Under Ambiguities
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Michigan State University（密歇根州立大学）
针对视觉-语言模型（VLMs）空间推理歧义性研究不足的问题，提出COMFORT评估协议，测试9个先进VLMs，发现其鲁棒性、多参照框架适应性及跨语言文化惯例遵循能力不足，呼吁关注空间推理的歧义性与跨文化多样性。
2025-04-17 cs.CL cs.CV
Quality and Quantity of Machine Translation References for Automatic Metrics
ETH Zürich（苏黎世联邦理工学院）；Charles University（查理大学）
本研究探讨机器翻译参考译文的质量与数量对自动评估指标的影响，发现高质量、多数量及混合不同质量的参考译文均可提升指标表现，并将预算约束下的参考译文收集构建为优化问题，为评估实践提供指导。
2024-04-10 cs.CL
Evaluating Automatically Generated Phoneme Captions for Images
Delft University of Technology（代尔夫特理工大学）；KU Leuven（鲁汶大学）
Image2Speech是一个相对较新的任务，它生成图像的口头描述。本文提出了一个调查这项任务的评价。为此，首先实现了Image2Speech系统，该系统生成由音素序列组成的图像字幕。该系统在Flickr8k语料库上的性能优于原始的Image2Speech系统。随后，这些音素字幕被转换成单词的句子。这些文字说明是由人类评估者根据其对图像描述的好坏进行评级的。最后，将结果的几个客观度量分数与这些人类评级相关联。虽然BLEU4与人类评级并不完全相关，但它在所研究的指标中获得了最高的相关性，并且是Image2Speech任务的最佳现有指标。当前的度量标准受到这样一个事实的限制，即它们假设输入是单词。Image2Speech任务的更合适的度量应该假设其输入是单词的一部分，即音素。
2020-07-31 cs.CL cs.CV
RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question
Meta AI；IDIAP Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；BYJU’s LAB（拜朱实验室）
本文提出无参考评估指标RQUGE，通过问答模块和跨度评分模块衡量候选问题在上下文中的可回答性，无需人工参考问题，与人类判断相关性更高且更鲁棒，并能通过重排序合成数据提升QA模型域外性能。
2023-05-26 cs.AI cs.CL cs.LG
Evaluating Diversity in Automatic Poetry Generation
University of Mannheim（曼海姆大学）；University of Technology Nuremberg (UTN)（纽伦堡工业大学（UTN））；Bielefeld University（比勒费尔德大学）
本研究评估自动诗歌生成（四行诗）的多样性，比较生成与人类诗歌在结构、词汇、语义和文体上的分布，发现现有系统多样性不足，而文体条件化和字符级建模能显著提升多样性。
2024-11-08 cs.CL
GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而，目前的评估指标只考虑表面特征或话语级语义，没有明确考虑细粒度的话题转换动态的对话流。在这里，我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑，这是产生有说服力的度量的更自然的方式。利用主题级对话图，我们提出了一个新的评价指标GRADE，它代表图形增强表示自动对话评价。具体来说，GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的，该对话图由常识图的证据增强，包括k跳邻近表示和跳注意力权重。实验结果表明，我们的GRADE显着优于其他国家的最先进的衡量标准，衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外，我们还发布了一个新的大规模人类评估基准，以促进未来对自动度量的研究。
2020-10-08 cs.CL
CREAM: Comparison-Based Reference-Free ELO-Ranked Automatic Evaluation for Meeting Summarization
JPMorgan Chase & Co.（摩根大通公司）；Columbia University（哥伦比亚大学）
针对现有自动评估方法在会议摘要等复杂任务上效果不佳的问题，本文提出无参考评估框架CREAM，结合思维链与关键事实对齐评估摘要质量，并通过ELO排名实现不同模型或提示配置的鲁棒比较。
2024-09-17 cs.CL
Evaluating Automatic Speech Recognition in an Incremental Setting
Boise State University（博伊西州立大学）
自动语音识别的可靠性不断提高，使其日常使用范围不断扩大。然而，出于研究目的，通常不清楚应该为任务选择哪种模型，特别是如果需要速度和准确性。在本文中，我们系统地评估六个语音识别器使用的指标，包括字的出错率，延迟，和更新的数量已经认识到的话，英语测试数据，以及提出和比较两种方法的流式音频到识别器的增量识别。我们进一步提出了每秒撤销作为一个新的指标，用于评估增量识别，并证明它提供了对整体模型性能的见解。我们发现，一般来说，本地识别器比基于云的识别器更快，需要的更新更少。最后，我们发现Meta的Wav2Vec模型是最快的，Mozilla的DeepSpeech模型在预测中是最稳定的。
2023-02-23 cs.CL cs.SD eess.AS
Question-Answering Approach to Evaluating Legal Summaries
University of Pittsburgh（匹兹堡大学）
针对传统法律摘要评估指标忽略论证结构的问题，提出基于GPT-4的问答式评估框架，经检验其评分与人工评分相关，可有效衡量法律摘要质量。
2023-12-18 cs.CL
Evaluating the Utility of Grounding Documents with Reference-Free LLM-based Metrics
Department of Computer Science and Cornell Tech, Cornell University（计算机科学系和Cornell Tech，康奈尔大学）
本文提出GroGU，一种无需注释的模型特定指标，用于评估RAG中文档接地的效用，通过优化查询重写器提升了检索性能。
2026-01-30 cs.CL
TRAVELER: A Benchmark for Evaluating Temporal Reasoning across Vague, Implicit and Explicit References
Bielefeld University（比勒菲尔德大学）；Honda Research Institute Europe（本田欧洲研究机构）
本文提出了TRAVELER基准，用于评估LLMs在显式、隐式和模糊时间引用上的推理能力，发现随着事件集增大和引用模糊性增加，模型性能显著下降。
2025-05-02 cs.CL
Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation
Yale University（耶鲁大学）；Salesforce AI Research（赛富时人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
本研究提出基于两阶段流程的自动摘要评估指标，兼顾可解释性与效率，并在单元和摘要层面提供高可解释性，工具已开源。
2023-11-16 cs.CL
ImaginE: An Imagination-Based Automatic Evaluation Metric for Natural Language Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
用于自然语言生成（NLG）的自动评估通常依赖于与文本引用的标记级或嵌入级比较。这与人类的语言处理不同，视觉想象通常会提高理解力。在这项工作中，我们提出了ImaginE，一个基于解释的自动评价指标的自然语言生成。借助最先进的文本到图像生成器StableDiffusion，我们自动生成一个图像作为文本片段的具体想象，并使用上下文嵌入计算想象相似度。跨几个文本生成任务的实验表明，添加机器生成的图像与我们的ImaginE显示了巨大的潜力，在引入多模态信息到NLG评估，并提高现有的自动度量的相关性与人类相似性判断在基于参考和无参考的评估方案。
2023-02-15 cs.AI cs.CL cs.CV
UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation
Tsinghua University（清华大学）
尽管现有的参考指标（例如，BLEU和MoverScore），它们与开放式文本生成（包括故事或对话生成）的人类判断相关性很差，因为众所周知的一对多问题：对于相同的输入，有许多看似合理的输出，这些输出可能在文字或语义上与有限数量的给定参考文献有很大差异。为了缓解这个问题，我们提出了UNION，这是一个可学习的无参考指标，用于评估开放式故事生成，它可以在没有任何参考的情况下测量生成故事的质量。建立在BERT之上，UNION被训练来区分人类写的故事和负面样本，并恢复负面故事中的扰动。我们提出了一种通过模仿现有NLG模型中常见的错误来构建负样本的方法，这些错误包括重复的情节，相互矛盾的逻辑和长期的不一致性。在两个故事数据集上的实验表明，UNION是评估生成故事质量的可靠指标，它与人类判断的相关性更好，并且比现有的最先进的指标更具普遍性。
2020-09-16 cs.CL
BLEU Neighbors: A Reference-less Approach to Automatic Evaluation
Stanford University（斯坦福大学）；ILIAD Lab, Stanford University（斯坦福大学ILIAD实验室）
评价是自然语言生成模型发展的瓶颈。BLEU等自动化指标依赖于引用，但对于开放式生成等任务，则没有可供借鉴的引用。虽然语言多样性可以通过诸如困惑度之类的统计方法来估计，但衡量语言质量需要人工评估。然而，由于大规模的人工评估缓慢而昂贵，因此很少使用;它不能用于快速翻译NLG模型，就像BLEU用于机器翻译一样。为此，我们提出了BLEU邻居，一个最近的邻居模型，用于估计语言质量，通过使用BLEU分数作为核函数。在现有的聊天对话和开放式句子生成数据集上，我们发现，平均而言，BLEU Neighbors模型的质量估计比单个人类注释者具有更低的均方误差和更高的斯皮尔曼相关性。尽管它很简单，但BLEU Neighbors在自动评分论文方面甚至优于最先进的模型，包括可以访问黄金标准参考论文的模型。
2020-10-12 cs.CL cs.LG
A Study in Improving BLEU Reference Coverage with Diverse Automatic Paraphrasing
University of Edinburgh（爱丁堡大学）；University of Tartu（塔尔图大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们调查了BLEU的典型使用中的一个长期存在的缺点：它依赖于一个单一的引用。使用现代神经释义技术，我们研究自动生成额外的不同参考文献是否可以更好地覆盖有效翻译的空间，从而提高其与人类判断的相关性。我们对WMT19指标任务（在系统和句子层面）的英语语言方向的实验表明，使用释义参考通常会提高BLEU，并且当它这样做时，越多样化越好。然而，我们也表明，更好的结果可以实现，如果这些释义是专门针对的部分空间最相关的MT输出进行评估。此外，即使使用人类释义，收益仍然很小，这表明BLEU正确利用多个引用的能力存在固有的局限性。令人惊讶的是，我们还发现，充分性似乎不那么重要，正如强抽样方法的高结果所示，当与高级BLEU一起使用时，该方法甚至击败了人类的释义。
2020-10-08 cs.CL
NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning
aiXplain Inc.（aiXplain公司）
本文提出无参考ASR质量度量NoRefER，通过对比学习和孪生网络微调多语言模型，实现无需真实转录的假设排序，与参考度量高度相关，适用于ASR评估和A/B测试。
2023-06-21 cs.CL cs.SD eess.AS
Evaluating Automatic Metrics with Incremental Machine Translation Systems
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
本文构建了一个跨六年、12个翻译方向的商业机器翻译数据集，利用系统随时间改进的假设来评估翻译指标，证实神经指标优势并探讨翻译质量对指标可靠性的影响。
2024-10-03 cs.CL
Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference
Peking University（北京大学）；Yale University（耶鲁大学）；Allen Institute for AI（艾伦人工智能研究所）
本研究针对自动LLM系统排名与人类偏好对齐的问题，通过重新评估自动LLM评估器的四个组件及其组合影响，提出选择建议，揭示性能相似LLM评估时的性能下降问题及评估模型实例与系统级性能不一致性，为自动评估优化提供参考。
2025-02-11 cs.AI cs.CL cs.LG
GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动评估指标是必不可少的评估生成的文本。到目前为止，这些指标几乎完全集中在系统输出的内容选择方面，完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性，从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同，GRUEN是无参考的，只需要系统输出。此外，它具有无监督，确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明，该度量与人类的判断高度相关。
2020-10-06 cs.CL
Evaluating Subtitle Segmentation for End-to-end Generation Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；CNRS（法国国家科学研究中心）；LISN（巴黎-萨克雷大学跨学科数字科学实验室）
字幕在屏幕上显示为简短的文本，根据形式约束（长度）和语法/语义标准进行分割。可以用序列分割度量针对人类参考来评估字幕分割。然而，当系统生成与参考不同的输出时，例如，对于端到端字幕系统，不能应用标准分割度量。在本文中，我们研究如何进行基于参考的评估分割精度，而不管文本内容。我们首先对评估字幕分割的现有指标进行系统分析。然后，我们引入$Sigma$，一个新的字幕分割分数来自一个近似的上限的BLEU分割边界，这使我们能够解开良好的分割效果的文本质量。为了比较$Sigma$与现有的度量，我们进一步提出了一个边界投影方法从不完美的假设到真正的参考。结果表明，所有的指标都能够奖励高质量的输出，但类似的输出系统的排名取决于每个指标的错误类型的敏感性。我们的全面分析表明，$Sigma$是一个有前途的分割候选人，但其可靠性超过其他分割指标仍有待验证，通过与人类的判断。
2022-05-19 cs.CL
A preliminary study on evaluating Consultation Notes with Post-Editing
Babylon Health（巴比伦健康公司）；University of Aberdeen（阿伯丁大学）
自动摘要有可能帮助医生简化文书工作，如做笔记。但是，要评估这些系统并证明它们在临床环境中使用是安全的是非常困难的。为了规避这个问题，我们提出了一个半自动的方法，医生后编辑生成的笔记提交之前。我们进行了初步的研究，以节省时间的自动生成的咨询记录与后期编辑。我们的评估人员被要求听取模拟磋商，并对生成的三份笔记进行后期编辑。我们计时，发现这比从头开始写笔记要快。我们提出的见解和经验教训，从这个实验。
2021-04-09 cs.CL
Semantic Structural Evaluation for Text Simplification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
目前评价文本简化系统的方法主要侧重于评价词汇文本方面，而忽视了其结构方面。在本文中，我们提出了第一个措施，以解决结构方面的文本简化，称为SAMSA。它利用语义解析的最新进展，通过基于语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA提供了一个无参考的自动评估过程，避免了基于参考的方法由于给定句子的有效简化的巨大空间而面临的问题。我们的人类评价实验表明，SAMSA的大量相关性与人类的判断，以及现有的基于参考的措施，在评估结构简化的不足。
2018-10-11 cs.CL
Evaluating the Evaluation Metrics for Style Transfer: A Case Study in Multilingual Formality Transfer
University of Maryland（马里兰大学）；Dataminr, Inc.（Dataminr公司）
虽然风格迁移（ST）领域发展迅速，但由于缺乏自动评估的标准化实践而受到阻碍。在本文中，我们评估了领先的ST自动度量的经常研究的任务，正式风格的转移。与以前的评估，只专注于英语，我们扩大我们的重点，巴西葡萄牙语，法语和意大利语，使这项工作的第一个多语言评估指标在ST。我们概述了自动评估（正式）风格转移的最佳实践，并确定了几个模型，以及与人类的判断，是强大的跨语言。我们希望这项工作将有助于加速ST的发展，因为在ST中，人类评估通常很难收集。
2021-10-20 cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree，一种无需参考的细粒度方法，用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准，并在段落层面进行评估，最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Evaluating Dialogue Generation Systems via Response Selection
Tohoku University（东北大学）；RIKEN（理化学研究所）
现有的开放域对话响应生成系统的自动评估指标与人类评估的相关性很差。我们专注于通过响应选择来评估响应生成系统。为了通过响应选择正确地评估系统，我们提出了一种方法来构建响应选择测试集与精心挑选的假候选人。具体来说，我们建议构建测试集过滤掉某些类型的错误候选人：（i）那些无关的地面真相的反应和（ii）那些可接受的适当的反应。通过实验，我们表明，通过响应选择与我们的方法开发的测试集评估系统与人类的评价更强的相关性，与广泛使用的自动评价指标，如BLEU相比。
2020-04-29 cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg（汉堡大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；City University of Hong Kong（香港城市大学）
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统，自动编辑文本，使其更好地坚持学术写作风格。在现有的学术资源，如当代美国英语语料库（COCA）的学术词汇表，新的学术词汇表，和学术搭配表，我们还探讨了如何动态地建立这样的资源，将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译，这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别（IWI），学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名，我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念（CoInCO）“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数，显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源，写作辅助工具。
2020-03-05 cs.CL
Evaluating Automatic Speech Recognition Systems for Korean Meteorological Experts
KAIST AI（韩国国立信息科学院人工智能研究所）
本文探讨了将ASR集成到自然语言查询系统中以提升韩国气象学家预报效率，构建了领域专用口语查询数据集，评估了多语言ASR模型，并提出基于TTS的数据增强方法，有效提升了专业术语识别且保持通用性能。
2025-09-14 cs.CL cs.SD eess.AS
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition
Tianjin University（天津大学）；Baidu, Inc.（百度公司）；Kyoto University（京都大学）；Huiyan Technology (Tianjin) Co., Ltd（汇研科技（天津）有限公司）
提出一种非自回归语音错误纠正方法，利用置信度模块和声学特征作为参考，通过交叉注意力融合信息，在ASR基础上降低21%错误率。
2024-06-29 cs.CL cs.SD eess.AS
SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Kensho Technologies, Inc.（Kensho科技公司）
本文提出句子级问答评估指标SQuArE，通过结合多个正确与错误参考答案克服单一参考答案的局限，在抽取式和生成式问答系统上取得与人工标注最高的相关性。
2023-09-21 cs.CL cs.LG
SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling
Iowa State University（爱荷华州立大学）；Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）
典型的自动摘要评价指标，如ROUGE，侧重于词汇相似性，不能很好地捕捉语义和语言质量，需要一个参考摘要，这是昂贵的获得。最近，已经有越来越多的努力来减轻这两个缺点中的一个或两个。在本文中，我们提出了一个概念验证的研究，弱监督摘要评估方法，没有参考摘要的存在。现有摘要数据集中的大量数据通过将文档与损坏的参考摘要配对来进行转换以进行训练。在跨域测试中，我们的策略优于基线，具有很好的改进效果，并且在衡量所有指标的语言质量方面表现出很大的优势。
2022-05-05 cs.CL cs.IR cs.LG
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
测量摘要的内容质量的基于参考的评估度量的期望属性是它应该估计该摘要与参考具有多少共同信息。传统的基于文本重叠的度量（如ROUGE）无法实现这一点，因为它们仅限于在词汇上或通过嵌入来匹配标记。在这项工作中，我们提出了一个指标来评估内容质量的摘要使用问答（QA）。基于QA的方法直接测量摘要与参考文献的信息重叠，这使得它们与文本重叠度量有着根本的不同。我们证明了实验的好处，QA为基础的指标，通过分析我们提出的指标，QAEval。QAEval在使用基准数据集的大多数评价中表现优于当前最先进的指标，而由于最先进模型的限制，在其他方面具有竞争力。通过仔细分析QAEval的每个组成部分，我们确定其性能瓶颈，并估计其潜在的上限性能超过所有其他自动指标，接近黄金标准金字塔方法。
2021-07-26 cs.CL
Dude, where's my utterance? Evaluating the effects of automatic segmentation and transcription on CPS detection
Colorado State University, Fort Collins, CO 80523, USA（科罗拉多州立大学）
本研究评估自动转录和语音分割对协作问题解决（CPS）检测的影响，发现其性能与人工处理相当，但自动分割使话语数量减少26.5%，为开发课堂协作支持AI工具提供参考。
2025-07-06 cs.CL cs.CY cs.HC
AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories
McGill University（麦吉尔大学）；Mila Quebec AI Institute（魁北克AI研究院）；Google DeepMind（谷歌DeepMind）；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）；Polytechnique Montréal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究）
提出AgentRewardBench基准，评估LLM评判员对网络代理轨迹的自动评估效果，发现现有基于规则的方法低估成功率，且无单一LLM在所有基准上表现最优。
2025-10-06 cs.AI cs.CL cs.LG
Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
随着越来越多的学术论文被提交到会议和期刊上，由专业人士评估所有这些论文非常耗时，并且由于审稿人的个人因素可能会导致不平等。在本文中，为了帮助专业人员在学术论文的评价，我们提出了一个新的任务：自动学术论文评级（AAPR），自动确定是否接受学术论文。我们为此任务建立了一个新的数据集，并提出了一种新的模块化分层卷积神经网络，以实现自动学术论文评级。评估结果表明，所提出的模型优于基线的大幅度。数据集和代码可从\url{https://github.com/lancopku/AAPR}获得
2018-05-10 cs.CL
VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
Besimple AI
本研究推出VoiceCodeBench基准，评估英文ASR的精确结构化标记恢复，发现WER与相关指标相关性为-0.73，最高TSR仅68.7%，需实体敏感指标评估ASR输出的精确值保留情况。
2026-09-15 cs.CL
CausalScore: An Automatic Reference-Free Metric for Assessing Response Relevance in Open-Domain Dialogue Systems
Monash University（莫纳什大学）
提出无参考自动评估指标CausalScore，通过测量对话历史与响应间的因果强度评估相关性，实验证明其与人类判断的一致性显著优于现有最先进指标，并构建了含人工标注因果关系的数据集CGDIALOG+。
2024-06-25 cs.CL
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能，发现其在多数实验设置中优于束搜索，显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
Aggregating Crowdsourced and Automatic Judgments to Scale Up a Corpus of Anaphoric Reference for Fiction and Wikipedia Texts
University of Essex（埃塞克斯大学）；Amazon Research（亚马逊研究院）；University of Regensburg（雷根斯堡大学）；Queen Mary University of London（伦敦玛丽女王大学）
虽然存在几个标注回指/共指的数据集，但即使是最大的此类数据集在大小、域范围、回指现象的覆盖范围和所包含文档的大小方面也有限制。然而，所提出的方法来扩大回指注释还没有到目前为止，导致数据集克服这些限制。在本文中，我们介绍了一个新发布的语料库的回指标记通过一个游戏的目的。这个新版本的规模相当于现有的最大的语料库的照应参考，部分由于大量的活动的球员，部分由于使用一个新的解决和聚合范例，以“完成”可标记的注释，通过一个照应解析器和一个聚合方法的组合，照应参考。所提出的方法可以在其他涉及有目的游戏的项目中大大加快注释时间。此外，语料库涵盖了没有可比大小数据集的类型（小说和维基百科）;它涵盖了单例和非指涉表达;它包括大量的长文档（长度> 2K）。
2022-10-11 cs.CL
Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation
Apple（苹果公司）；Charles U.（查尔斯大学）；U. Edinburgh（爱丁堡大学）；Meta；FBK（布鲁诺·凯斯勒基金会）；KIT（卡尔斯鲁厄理工学院）；JHU（约翰斯·霍普金斯大学）；NAIST（奈良先端科学技术大学院大学）；Zoom（祖姆公司）
本文针对语音翻译人工评估研究不足的问题，基于IWSLT 2023共享任务结果提出了一种结合自动重新切分与带上下文直接评估的策略，验证了其稳健性并比较了COMET与chrF等自动指标的表现。
2024-06-06 cs.CL
Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；College of Natural Sciences（自然科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尽管在开放领域的对话系统的进步，这样的系统的自动评估仍然是一个具有挑战性的问题。传统的基于引用的指标（如BLEU）是无效的，因为对于给定的上下文可能有许多有效的响应，这些响应与引用响应没有共同的单词。最近的一项工作提出了参考度量和未参考度量混合评估例程（RUBER），将基于学习的度量（预测生成的响应与给定查询之间的相关性）与基于参考的度量相结合;它与人类判断具有高度相关性。在本文中，我们探索使用上下文词嵌入来计算更准确的相关性分数，从而更好的评价指标。实验表明，我们的评估指标优于在静态嵌入上训练的RUBER。
2019-04-24 cs.CL
A New Benchmark for Evaluating Automatic Speech Recognition in the Arabic Call Domain
Maqsam（马克萨姆）
本文提出一个专门针对阿拉伯语电话对话的全面语音识别基准，涵盖多种方言并模拟真实呼叫环境，同时利用最先进技术建立基线性能评估。
2024-05-30 cs.AI cs.CL
IMPARA-GED: Grammatical Error Detection is Boosting Reference-free Grammatical Error Quality Estimator
Nara Institute of Science and Technology（奈良科学技术大学）
本文提出IMPARA-GED，通过引入语法错误检测能力增强预训练语言模型，构建无参考GEC质量估计器，在SEEDA元评估数据集上取得了与人类句子级评估最高的相关性。
2025-06-03 cs.AI cs.CL
Automatically Evaluating Opinion Prevalence in Opinion Summarization
NEC Laboratories America（NEC美国实验室）
针对产品评论摘要中观点代表性不足的问题，提出自动评估观点普遍性的指标，并证明现有方法不如人类，而简化预处理可提升至人类水平。
2023-07-26 cs.CL
Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
本文实证研究ChatGPT等大型语言模型在无参考文本质量评估中的有效性，比较三类方法后发现显式评分法最有效可靠，并指出直接比较两段文本质量可能产生次优结果。
2023-09-18 cs.CL
VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions
Keio University（庆应大学）
针对 MLLM 长图像描述缺乏适用自动指标的问题，本文提出 LLM-Hybrid-as-a-Judge 指标 VELA，并构建含 7,805 张图像和 32,246 条人工判断的 LongCap-Arena 基准，验证其性能超越现有指标及人类水平。
2025-09-30 cs.AI cs.CL cs.CV
A Reference-less Quality Metric for Automatic Speech Recognition via Contrastive-Learning of a Multi-Language Model with Self-Supervision
aiXplain Inc.（aiXplain公司）
提出一种基于多语言模型自监督对比学习的无参考ASR质量度量，无需真实转录即可评估ASR性能，与WER相关性高，集成时降低WER超7%。
2023-06-21 cs.CL eess.AS
Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
本文提出SNIC测试平台，评估大语言模型在基于规范的参照解析任务中的能力，发现现有模型在处理隐含或冲突规范时存在显著不足。
2026-02-03 cs.AI cs.CL cs.LG
Team Hitachi @ AutoMin 2021: Reference-free Automatic Minuting Pipeline with Argument Structure Construction over Topic-based Summarization
Hitachi（日立）
本文介绍了日立团队为第一个自动记录共享任务（AutoMin-2021）提出的自动记录系统。我们使用无参考方法（即，不使用训练分钟）进行自动记录（任务A），其首先基于主题将文字记录分成块，随后使用在聊天对话的摘要语料库上微调的预训练BART模型来总结这些块。此外，我们将一种参数挖掘技术应用于生成的会议记录，以结构良好和连贯的方式重新组织它们。我们利用多个相关性分数来确定一分钟是否来自同一次会议时，无论是文字记录或另一分钟（任务B和C）。在这些分数之上，我们训练一个传统的机器学习模型来绑定它们并做出最终决策。因此，我们对任务A的方法在所有提交的材料中获得了最好的充分性分数，并且在语法正确性和流畅性方面接近最好的系统。对于任务B和C，所提出的模型成功地优于多数票基线。
2021-12-06 cs.AI cs.CL cs.IR
Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
Carnegie Mellon University（卡内基梅隆大学）
本文的目的是通过多参考评估，以减轻开放域对话系统的自动评估的缺点。现有的指标已被证明与人类的判断，特别是在开放域对话相关性差。一种替代方案是收集人工注释以进行评估，这可能是昂贵且耗时的。为了证明多参考评估的有效性，我们增加了DailyDialog的测试集与多个参考。一系列的实验表明，使用多个参考的结果，提高了几个自动度量和人类判断的质量和多样性的系统输出之间的相关性。
2019-09-08 cs.CL
