Ditch the Gold Standard: Re-evaluating Conversational Question Answering
Princeton University（普林斯顿大学）
会话式问答旨在为用户提供自然语言的答案。现有的会话QA基准将模型与预先收集的人与人之间的对话进行比较，使用会话历史中提供的真实答案。目前还不清楚我们是否可以依赖这种静态评估来进行模型开发，以及当前的系统是否可以很好地推广到现实世界的人机对话。在这项工作中，我们进行了第一次大规模的人类评估国家的最先进的会话QA系统，其中人类评估者与模型交谈，并判断他们的答案的正确性。我们发现，人机对话的分布与人与人之间的对话有很大的不同，并且在模型排名方面，人与金历史评价之间存在分歧。我们进一步研究如何提高自动评估，并提出了一个问题重写机制的基础上预测的历史，更好地与人类的判断。最后，我们分析了各种建模策略的影响，并讨论了未来的发展方向，以建立更好的会话问答系统。
2022-03-21 cs.CL cs.LG
Evaluating Byte and Wordpiece Level Models for Massively Multilingual Semantic Parsing
Google Research（谷歌研究院）
无标记的方法已经成功地应用于一系列单词和跨度水平的任务。在这项工作中，我们比较了字节级（ByT5）和基于字段（mT5）的序列到序列模型的51种语言的大规模多语言语义解析数据集。我们检查多个实验设置：（i）zero-shot，（ii）全金数据和（iii）合成数据的zero-shot。通过利用机器翻译示例的最先进的标签投影方法，我们能够将精确匹配精度的差距缩小到仅5个点，相对于所有语言的黄金数据训练的模型。此外，我们还提供了关于ByT5的跨语言迁移的见解，并展示了该模型在所有参数大小下与mT5的比较。
2022-12-14 cs.CL
On the Challenges of Evaluating Compositional Explanations in Multi-Hop Inference: Relevance, Completeness, and Expert Ratings
University of Arizona（亚利桑那大学）
构建组合解释需要模型将两个或多个事实结合在一起，描述为什么问题的答案是正确的。通常，这些“多跳”解释相对于一个（或少量）黄金解释进行评估。在这项工作中，我们发现这些评估大大低估了模型的性能，无论是在所包含的事实的相关性，以及模型生成的解释的完整性，因为模型经常发现和产生有效的解释，是不同于黄金的解释。为了解决这个问题，我们构建了一个大型语料库的126k领域专家（科学教师）的相关性评级，增加了语料库的解释标准化的科学考试问题，发现80k额外的相关事实不评为黄金。我们建立了三个强大的模型基于不同的方法（生成，排名和模式），并实证表明，虽然专家增强的评级提供更好的估计解释质量，无论是原始（黄金）和专家增强的自动评估仍然大大低估了性能高达36%，与全手动专家判断相比，不同的模型受到不成比例的影响。这对准确评估组合推理模型产生的解释提出了重大的方法学挑战。
2021-09-07 cs.AI cs.CL
A word association network methodology for evaluating implicit biases in LLMs compared to humans
University of Pisa, Department of Computer Science（比萨大学计算机科学系）；National Research Council of Italy, Institute of Information Science and Technologies（意大利国家研究委员会信息科学与技术研究所）；University of Trento, Department of Psychology and Cognitive Science（特伦托大学心理学与认知科学系）
该研究提出一种基于语义启动的词语联想网络方法，可定量定性评估LLMs内隐偏见并实现人机直接比较，经多类社会偏见测试验证有效，为偏见跨模型跨主体评估提供可泛化框架。
2025-10-28 cs.AI cs.CL
Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
National University of Singapore (NUS)（新加坡国立大学）；Peking University（北京大学）
研究代码智能体仓库上下文检索问题，引入智能体检索基准，涵盖多种检索任务和样本。评估多种检索方法，发现无单一方法占优，存在校准差距，且记录轨迹有缺失。通过试验表明检索得出的初始上下文有优势，神谕金上下文还有提升空间。
2026-07-29 cs.AI cs.CL cs.IR
Beyond Gold Standards: Epistemic Ensemble of LLM Judges for Formal Mathematical Reasoning
University of Manchester（曼彻斯特大学）；University of Sheffield（谢菲尔德大学）；Idiap Research Institute（Idiap 研究所）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）
本研究提出基于LLM评判者的认知与形式化基础集成（EFG），用于系统自动评估形式化数学推理中的语句自动形式化任务，实验证实其比粗粒度模型更具适用性。
2026-08-24 cs.CL
WERd: Using Social Text Spelling Variants for Evaluating Dialectal Speech Recognition
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
我们研究的问题，评估自动语音识别（ASR）系统的目标方言语音输入。在这种情况下，一个主要的挑战是，方言的正字法通常是不标准的。从ASR评估的角度来看，这意味着对于预期输出没有明确的黄金标准，并且根据不同的人类注释者，几种可能的输出可以被认为是正确的，这使得标准词出错率（WER）不足以作为评估度量。这种情况是典型的机器翻译（MT），因此，我们借用的思想从MT评估指标，即TERp，翻译出错率的扩展是密切相关的WER。特别是，在将假设与参考进行比较的过程中，我们使用单词和短语的拼写变体，这些变体是我们以无监督的方式从Twitter中挖掘出来的。我们对埃及阿拉伯语的ASR输出进行评估的实验以及进一步的手动分析表明，得到的WERd（即，方言的WER度量是TERP的一种变体，它比WER更适合于评估方言的ASR。
2017-09-21 cs.CL
A Framework for Evaluation of Machine Reading Comprehension Gold Standards
University of Manchester（曼彻斯特大学）
机器阅读理解（MRC）是在一段文本上回答问题的任务。虽然神经MRC系统越来越受欢迎，并取得了显着的性能，但用于建立其性能的方法，特别是关于用于评估它们的黄金标准的数据设计的问题正在提出。对这些数据中存在的挑战的理解有限，这使得很难进行比较并提出可靠的假设。作为缓解问题的第一步，本文提出了一个统一的框架，系统地调查目前的语言特征，所需的推理和背景知识和事实的正确性，一方面，和存在的词汇线索作为一个下限的要求理解另一方面。我们提出了一个定性的注释模式和一组近似度量后者。在该框架的第一次应用中，我们分析了现代MRC黄金标准并提出了我们的发现：缺乏导致词汇歧义的特征、预期答案的不同事实正确性以及词汇线索的存在，所有这些都可能降低阅读理解的复杂性和评估数据的质量。
2020-03-10 cs.CL
ShapeWorld - A new test methodology for multimodal language understanding
University of Cambridge（剑桥大学）
我们引入了一个新的框架，用于评估多模态深度学习模型的语言理解和泛化能力。在这种方法中，根据实验者的规格自动生成人工数据。在训练和评估过程中，数据的内容可以被详细控制，这使得能够创建需要真正的泛化能力的任务，特别是以新颖的方式组合先前引入的概念。我们通过评估四个不同任务的各种视觉问答模型来展示我们方法的潜力，并展示我们的框架如何让我们详细了解它们的能力和局限性。通过开源我们的框架，我们希望刺激多模态语言理解领域的进步。
2017-04-14 cs.AI cs.CL cs.CV
Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）
本文提出Think-with-Rubrics方法，通过将评分标准整合到推理过程中，使评分标准成为LLM生成的内部指导，提升生成质量。
2026-05-08 cs.CL
Evaluating the Morphosyntactic Well-formedness of Generated Texts
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
文本生成系统在自然语言处理应用中无处不在。然而，对这些系统的评估仍然是一个挑战，特别是在多语种环境中。在本文中，我们提出了L 'AMBRE-一个度量标准来评估其依赖分析和语言的形态句法规则的文本的形态句法良好的形式。我们提出了一种方法来自动提取各种规则直接从依赖树库的morphosyntax。为了解决文本生成系统的噪声输出，我们提出了一个简单的方法来训练强大的解析器。我们的有效性，我们的度量机器翻译的任务，通过历时研究系统翻译成形态丰富的语言。
2021-09-09 cs.CL
A Framework for Evaluating LLMs Under Task Indeterminacy
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本文提出一个在任务不确定性下评估大语言模型的框架，解耦任务规范、人类评分与模型响应的关系，并通过合成实验证明黄金标签假设会低估真实性能，同时给出误差调整性能区间的估计方法。
2024-11-21 cs.CL cs.HC cs.LG
Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards
University of Manchester（曼彻斯特大学）；Idiap Research Institute（IDIAP研究所）
可解释NLP的一个新兴研究方向是创建富含人工注释解释和原理的数据集，用于构建和评估具有逐步推理和解释生成功能的模型。虽然人类注释的解释被用作推理的基础事实，但缺乏对其一致性和严谨性的系统评估。为了给NLI解释金标准（XGS）提供一个关键的质量评估，我们提出了一个系统的解释方法，命名为解释蕴涵验证（EEV），以量化人类注释的逻辑有效性。EEV在三个主流数据集上的应用揭示了一个令人惊讶的结论，即大多数解释，虽然表面上看起来连贯，但代表逻辑上无效的论点，从不完整到包含明显可识别的逻辑错误。这一结论证实了解释的推理性质仍然缺乏形式化和理解，并且有必要在这一研究领域开展额外的工作，以改善解释金标准的构建方式。
2021-05-15 cs.AI cs.CL
GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model
College of Zhiyuan, Shanghai Jiao Tong University（上海交通大学致远学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3（上海市Web3可信数据流通与治理重点实验室）
针对现有LLM提示词优化依赖人工金标评估的局限，提出无金标提示词评估方法GLaPE，以自一致性为初始评分并优化相同答案提示词的分数，在无金标时仍能提供可靠评估，且在六个推理任务中优化效果与基于准确率的方法相当。
2024-12-02 cs.CL cs.LG
Semantics Altering Modifications for Evaluating Comprehension in Machine Reading
University of Manchester（曼彻斯特大学）
NLP的进步已经为机器阅读理解（MRC）任务带来了令人印象深刻的结果，据报道，这些方法可以实现与人类相当的性能。在本文中，我们研究了最先进的MRC模型是否能够正确处理语义改变修改（SAM）：语言动机的现象，改变句子的语义，同时保留大部分的词汇表面形式。我们提出了一种方法来自动生成和调整挑战集具有原始和修改的例子。我们进一步提出了一种新的评估方法，正确评估MRC系统处理这些例子的能力，独立于它们被优化的数据，通过对域转移引入的影响进行折扣。在一个大规模的实证研究中，我们应用的方法，以评估提取MRC模型的能力，正确处理SAM丰富的数据。我们全面涵盖了12种不同的最先进的神经架构配置和四个训练数据集，并发现-尽管它们具有众所周知的卓越性能-优化模型始终难以正确处理语义改变的数据。
2021-06-15 cs.AI cs.CL
Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
University of Oxford（牛津大学）
本文研究利用混合深度学习模型区分AI生成文本与人类写作，通过精选多源数据集和自然语言处理技术构建定制模型，有效检测二者细微差异。
2024-01-13 cs.AI cs.CL cs.LG
ELF-Gym: Evaluating Large Language Models Generated Features for Tabular Prediction
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
本文提出ELF-Gym框架，通过构建包含251个Kaggle黄金特征的数据集，从下游性能和语义/功能相似性两方面定量评估LLM生成特征与人类专家的差距，并实证揭示了LLM在复杂特征构建上的显著不足。
2024-10-13 cs.AI cs.CL cs.LG
From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation
University of Amsterdam（阿姆斯特丹大学）
本文研究通过结构化表示提升基于LLM的法律决策模型生成效果，发现输入约束显著提升模型相似度，且结构相似性与结果等价性互补。
2026-04-18 cs.AI cs.CL
Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets
University of Utah（犹他大学）；Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）；IIT Guwahati（古瓦哈提印度理工学院）
本文提出多种微调策略和思维链提示方法，系统评估并提升语言模型在多样化输入扰动下的并发鲁棒性，并在Tabular-NLI任务上验证其有效性。
2024-12-30 cs.AI cs.CL cs.IR
