GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动评估指标是必不可少的评估生成的文本。到目前为止，这些指标几乎完全集中在系统输出的内容选择方面，完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性，从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同，GRUEN是无参考的，只需要系统输出。此外，它具有无监督，确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明，该度量与人类的判断高度相关。
2020-10-06 cs.CL
Evaluating Subtitle Segmentation for End-to-end Generation Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；CNRS（法国国家科学研究中心）；LISN（巴黎-萨克雷大学跨学科数字科学实验室）
字幕在屏幕上显示为简短的文本，根据形式约束（长度）和语法/语义标准进行分割。可以用序列分割度量针对人类参考来评估字幕分割。然而，当系统生成与参考不同的输出时，例如，对于端到端字幕系统，不能应用标准分割度量。在本文中，我们研究如何进行基于参考的评估分割精度，而不管文本内容。我们首先对评估字幕分割的现有指标进行系统分析。然后，我们引入$Sigma$，一个新的字幕分割分数来自一个近似的上限的BLEU分割边界，这使我们能够解开良好的分割效果的文本质量。为了比较$Sigma$与现有的度量，我们进一步提出了一个边界投影方法从不完美的假设到真正的参考。结果表明，所有的指标都能够奖励高质量的输出，但类似的输出系统的排名取决于每个指标的错误类型的敏感性。我们的全面分析表明，$Sigma$是一个有前途的分割候选人，但其可靠性超过其他分割指标仍有待验证，通过与人类的判断。
2022-05-19 cs.CL
Semantic Structural Evaluation for Text Simplification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
目前评价文本简化系统的方法主要侧重于评价词汇文本方面，而忽视了其结构方面。在本文中，我们提出了第一个措施，以解决结构方面的文本简化，称为SAMSA。它利用语义解析的最新进展，通过基于语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA提供了一个无参考的自动评估过程，避免了基于参考的方法由于给定句子的有效简化的巨大空间而面临的问题。我们的人类评价实验表明，SAMSA的大量相关性与人类的判断，以及现有的基于参考的措施，在评估结构简化的不足。
2018-10-11 cs.CL
J-CRe3: A Japanese Conversation Dataset for Real-world Reference Resolution
Kyoto University（京都大学）；RIKEN（理化学研究所）；Tokyo University of Science（东京理科大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；National Institute of Informatics（情报通信研究机构）
本文提出多模态指代消解任务，构建包含自我中心视频与对话音频的日语数据集J-CRe3，标注直接及间接指代关系，并通过实验模型揭示该任务的挑战。
2024-03-28 cs.CL
Multi-task Learning Based Neural Bridging Reference Resolution
Queen Mary University of London（伦敦玛丽女王大学）
我们提出了一个基于多任务学习的神经模型，用于解决桥接引用，解决两个关键挑战。第一个挑战是缺乏带有桥接参考注释的大型语料库。为了解决这个问题，我们使用多任务学习来帮助桥接参考解析与共指消解。我们表明，高达8 p.p.的大幅改善，可以实现全桥接分辨率与此架构。第二个挑战是不同语料库中使用的不同桥接定义，这意味着手工编码的系统或使用为一个语料库设计的特殊功能的系统不能很好地与其他语料库一起工作。我们的神经模型只使用了少量的语料库无关的特征，因此可以适用于不同的语料库。对非常不同的桥接语料库（ARRAU，ISNOTES，BASHI和SCICORP）的评估表明，我们的架构在所有语料库上都同样有效，并在所有语料库的完全桥接分辨率上达到了SoTA结果，比最好的报告结果高出36.3 p.p.。
2020-10-31 cs.CL
Reference Resolution and Context Change in Multimodal Situated Dialogue for Exploring Data Visualizations
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Cincinnati（辛辛那提大学）
指称解析的目的是识别说话者所指的实体，在现实世界中更为复杂：新的指称可能是由智能体参与的过程创建的，并且/或者仅仅因为它们属于共享的物理环境而显着。我们的重点是解决多模态对话中大屏幕显示器上的可视化引用;至关重要的是，引用解析直接参与创建新可视化的过程。我们描述了我们的注释用户引用的可视化出现在一个大屏幕上通过语言和手势，也是新的实体建立，这是由于执行用户请求创建一个新的可视化。我们还描述了我们的参考决议管道，它依赖于一个信息状态架构，以保持对话的背景。我们报告了检测和解决引用的结果，模型上上下文信息的有效性，以及创建可视化的未指定请求。我们还使用传统的CRF和深度学习/Transformer模型（BiLSTM-CRF和BERT-CRF）进行实验，以标记用户话语文本中的引用。我们的研究结果表明，迁移学习显著提高了深度学习方法的性能，尽管CRF仍然优于它们，这表明传统方法可能更好地推广低资源数据。
2022-09-06 cs.CL
Cooperation between Pronoun and Reference Resolution for Unrestricted Texts
本文将指代消解作为指代消解过程的一部分。提出了一个通用的开放式体系结构，该体系结构可以被特殊化和配置，以模拟一些经典的指代消解方法。为了提高代词的解析度，该系统利用了文本字符的基本线索，这些线索通过特定的数据结构来表示。在其最强大的配置中，该系统只使用一个通用词典，一个本地形态语法分析器和一个同义词词典。一个简短的对比语料库分析表明，叙事文本是最适合测试这样一个系统。
2002-08-21 cs.CL
Reference Resolution Beyond Coreference: a Conceptual Frame and its Application
从表征主义的角度提出了一个在交流中参考使用的模型。消息的发送者和接收者都处理他们共同环境的表征，包括对象的心理表征。计算机的指称解析被视为使用话语中的指称表达构建对象表征，而通常只寻找这些表达之间的共指联系。这两种方法之间的差异进行了讨论。该模型已经实现了基本规则，并在复杂的叙事文本（数百到数千个引用表达式）上进行了测试。结果支持心理表征范式。
2002-08-21 cs.CL
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology（奈良科学技術研究所）；Guardian Robot Project（守護機器人計劃）；RIKEN（理化学研究所）；Kyoto University（京都大學）；Institute of Science Tokyo（東京科學研究院）
本文提出一个统一文本和多模态指代消解的框架，通过将提及嵌入映射到对象嵌入并基于相似性进行选择，实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能，减少视觉基础对话中的歧义。
2025-06-01 cs.CL
A Public Reference Implementation of the RAP Anaphora Resolution Algorithm
本文描述了Lappin和Leass（1994）提出的指代消解过程（RAP）的一个独立的、公开可用的实现。RAP算法解析第三人称代词、词汇照应词，并识别多义性代词。我们的实现，JavaRAP，填补了当前需要的照应解决方案的研究提供了一个参考实现，可以对当前的算法进行基准测试。该实现使用标准的、公开可用的Charniak（2000）解析器作为输入，并生成一个照应词-先行词对列表作为输出。或者，可以生成就地注释或用先行词替换回指词。对MUC-6共同引用任务的评估显示，JavaRAP的准确率为57.9%，与文献中先前给出的性能相似（例如，Preiss 2002）。
2004-06-17 cs.CL
Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
本文实证研究ChatGPT等大型语言模型在无参考文本质量评估中的有效性，比较三类方法后发现显式评分法最有效可靠，并指出直接比较两段文本质量可能产生次优结果。
2023-09-18 cs.CL
Reference Resolution within the Framework of Cognitive Grammar
Laboratoire Loria（洛里亚实验室）
根据认知语法的原则，我们专注于一个模型的参考决议，试图克服困难以前的方法，基于基本假设，所有的参考（独立于类型的指的表达）是通过访问和重组域的参考，而不是通过直接链接到实体本身。该模型占实体没有明确提到，但在话语中理解，并允许利用话语和感知的上下文来限制一个给定的指涉表达式的潜在的所指。作为最重要的特征，我们注意到需要一个单一的机制来处理通常被视为不同现象的现象。因此，我们的研究方法为认知语法和指称问题之间的关系提供了一个新的视角。
2009-09-14 cs.CL
On the use of human reference data for evaluating automatic image descriptions
Tilburg University（蒂尔堡大学）
自动图像描述系统通常使用众包、人类生成的图像描述进行训练和评估。然后使用与参考数据（BLEU，Meteor，CIDER等）的某种相似性度量来确定性能最佳的系统。因此，系统的质量以及评价的质量都取决于描述的质量。如第2节所示，当前图像描述数据集的质量不足。我认为，有必要更详细的指导方针，考虑到视障用户的需求，但也产生合适的描述的可行性。有了高质量的数据，图像描述系统的评估可以使用参考描述，但我们也应该寻找替代品。
2020-06-15 cs.CL cs.CV cs.HC
R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason
Tohoku University（东北大学）；RIKEN（理化学研究所）；University College London（伦敦大学学院）
最近的研究表明，阅读理解（RC）系统学习利用当前数据集中的注释伪影和其他偏见。这使得社区无法可靠地衡量驻地协调员系统的进展情况。为了解决这个问题，我们引入了R4C，一个新的任务来评估RC系统的内部推理。R4C不仅要求给出答案，还要求给出推导：证明预测答案的解释。我们提出了一个可靠的，众包的框架，可扩展地注释RC数据集与派生。我们创建并公开发布了R4C数据集，这是第一个有质量保证的数据集，由4.6k个问题组成，每个问题都有3个参考推导（即13.8k个推导）。实验表明，我们的自动评估指标，使用多个参考推导是可靠的，R4C评估不同的技能，从现有的基准。
2020-05-02 cs.CL
OntoGUM: Evaluating Contextualized SOTA Coreference Resolution on 12 More Genres
Georgetown University（乔治城大学）；University of Pennsylvania（宾夕法尼亚大学）
SOTA共指消解在OntoNotes基准测试中的得分越来越高。然而，缺乏可比较的数据，遵循相同的计划，更多的体裁，很难评估通用性开放领域的数据。本文提供了一个数据集和全面的评估，表明最新的基于神经LM的端到端系统在域外的退化非常严重。我们做了一个OntoNotes一样的共指数据集称为OntoGUM公开，转换GUM，英语语料库，涵盖12种体裁，使用确定性规则，我们评估。由于GUM中丰富的句法和话语注释，我们能够根据OntoNotes指南创建最大的人类注释的共指语料库，并且是第一个评估与OntoNotes方案一致性的语料库。跨12种类型的域外评估显示，确定性和深度学习系统的性能下降了近15-20%，这表明现有的共指消解模型缺乏泛化能力或隐性过拟合。
2021-06-03 cs.CL
Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation
LORIA, CNRS, Inria, Université de Lorraine（洛林大学 LORIA 实验室、法国国家科学研究中心、法国国家信息与自动化研究所）；Centrale Supélec（中央理工-高等电力学院）
本文研究文档级文本简化评估，采用分别衡量简单性与意义保留的无参考指标，揭示现有模型多偏向单一维度，并评估其在无参考未见数据上的表现。
2024-04-04 cs.CL
RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question
Meta AI；IDIAP Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；BYJU’s LAB（拜朱实验室）
本文提出无参考评估指标RQUGE，通过问答模块和跨度评分模块衡量候选问题在上下文中的可回答性，无需人工参考问题，与人类判断相关性更高且更鲁棒，并能通过重排序合成数据提升QA模型域外性能。
2023-05-26 cs.AI cs.CL cs.LG
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
测量摘要的内容质量的基于参考的评估度量的期望属性是它应该估计该摘要与参考具有多少共同信息。传统的基于文本重叠的度量（如ROUGE）无法实现这一点，因为它们仅限于在词汇上或通过嵌入来匹配标记。在这项工作中，我们提出了一个指标来评估内容质量的摘要使用问答（QA）。基于QA的方法直接测量摘要与参考文献的信息重叠，这使得它们与文本重叠度量有着根本的不同。我们证明了实验的好处，QA为基础的指标，通过分析我们提出的指标，QAEval。QAEval在使用基准数据集的大多数评价中表现优于当前最先进的指标，而由于最先进模型的限制，在其他方面具有竞争力。通过仔细分析QAEval的每个组成部分，我们确定其性能瓶颈，并估计其潜在的上限性能超过所有其他自动指标，接近黄金标准金字塔方法。
2021-07-26 cs.CL
Are Multimodal Large Language Models Pragmatically Competent Listeners in Simple Reference Resolution Tasks?
Bielefeld University（比勒菲尔德大学）
本文研究了多模态大语言模型在简单指代消解任务中的语用能力，发现其在上下文相关的颜色描述解释等基本语用能力上仍面临重大挑战。
2025-06-13 cs.CL
Evaluating a Focus-Based Approach to Anaphora Resolution
我们提出了一种基于聚焦算法的回指解析方法，并在现有的MUC（消息理解会议）信息提取系统中实现，允许对大量标注的真实文本语料库进行定量评估。对基本聚焦机制的扩展可以很容易地进行测试，从而对机制和分辨率规则进行改进。结果进行了比较，一个更简单的基于几何的方法的结果。
1998-07-06 cmp-lg cs.CL
CorPipe at CRAC 2025: Evaluating Multilingual Encoders for Multilingual Coreference Resolution
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
CorPipe 25 通过从 TensorFlow 完全重实现为 PyTorch，在 CRAC 2025 多语言共指消解共享任务的 LLM 与无约束赛道中均以 8 个百分点优势夺冠。
2025-11-06 cs.CL
Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution
NLP Centre, Faculty of Informatics, Masaryk University（马萨里克大学信息学院自然语言处理中心）
本文比较了提示工程与微调方法在捷克语指代消解中的效果，发现微调模型（尤其mT5-large）以更少资源达到88%准确率，优于提示方法的74.5%。
2025-06-22 cs.CL
MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Central Florida（中佛罗里达大学）
一个健壮的评价指标对文本生成系统的发展有着深远的影响。一个理想的度量比较系统输出和参考的基础上，他们的语义，而不是表面形式。在本文中，我们研究的策略，编码系统和参考文本设计一个度量，显示了高度相关性与人类判断的文本质量。我们验证了我们的新指标，即MoverScore，在一些文本生成任务，包括摘要，机器翻译，图像描述，和数据到文本的生成，其中的输出是由各种神经和非神经系统。我们的研究结果表明，结合上下文表示与距离测量的指标表现最好。这样的度量还展示了跨任务的强大泛化能力。为了便于使用，我们将指标作为Web服务提供。
2019-09-26 cs.CL
VIFIDEL: Evaluating the Visual Fidelity of Image Descriptions
Imperial College London（帝国理工学院）
我们解决的任务，评估图像描述生成系统。我们提出了一种新的图像感知度量：VIFIDEL。它根据图像中描述的对象的标签和描述中的单词之间的语义相似性，估计生成的字幕相对于实际图像的内容的忠实性。该度量还能够在评估期间考虑人类参考描述中提到的对象的相对重要性。即使这些人类参考描述不可用，VIFIDEL仍然可以可靠地评估系统描述。该指标在两个已知数据集上实现了与人类判断的高度相关性，并且与依赖于人类参考的指标具有竞争力
2019-07-22 cs.CL cs.CV cs.LG
CD2CR: Co-reference Resolution Across Documents and Domains
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）；Filament AI（Filament AI公司）；Bar-Ilan University（巴伊兰大学）；Aberystwyth University（阿伯里斯特威斯大学）
跨文档共引用解析（CDCR）是识别和链接多个文本文档中的实体和概念的任务。当前用于此任务的最先进的模型假设所有文档都是相同类型的（例如新闻文章）或属于相同主题。然而，还期望跨不同域（类型或主题）执行CDCR。我们在本文中关注的一个特定用例是在科学工作和讨论它们的报纸文章中提到的实体的解析。在科学文章和新闻中识别相同的实体和相应的概念可以帮助科学家了解他们的工作是如何在主流媒体中呈现的。我们提出了一个新的任务和英语语言数据集的跨文档跨域共指消解（CD $^2$ CR）。该任务旨在识别跨异构文档类型的实体之间的链接。我们表明，在这种跨域，跨文档设置，现有的CDCR模型没有表现良好，我们提供了一个基线模型，优于目前国家的最先进的CDCR模型CD $^2$ CR。我们的数据集，注释工具和指南，以及我们的跨文档跨域共同参考模型都是作为开放获取开源资源提供的。
2021-01-29 cs.CL
Which one is banana man? Evaluating vision-language models in multi-turn pragmatic interpretation
Stanford University（斯坦福大学）
该研究通过迭代参照游戏测试发现，视觉-语言模型虽能利用上下文解释指代表达，但难以构建有效解释所需的相关上下文，缺乏高效语言协作的核心技能。
2026-09-01 cs.CL
Reference Resolution Using Semantic Patterns in Japanese Newspaper Articles
指称消解是自然语言处理的重要任务之一。本文首先确定了日语报刊文章中出现的"同一家公司"的指称对象及其位置。其次，三个启发式方法，其中两个使用文本中的语义信息，如公司名称及其模式，提出并测试他们如何准确地识别正确的参考。本文提出的基于语义模式的方法对"逗傻"的指称消解具有较高的准确率（90%以上）。这表明，语义模式匹配方法是有效的参考决议在报纸文章。
1994-10-24 cmp-lg cs.CL
Decision-Theoretic Question Generation for Situated Reference Resolution: An Empirical Study and Computational Model
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；U.S. Naval Research Laboratory（美国海军研究实验室）；Tufts University（塔夫茨大学）
在情境环境中与人类交互的对话代理需要管理跨多种模态的指称歧义，并在需要时寻求帮助。然而，不清楚这些代理人应该问什么样的问题，也不清楚这些问题的答案如何用于解决歧义。为了解决这个问题，我们分析了一项互动研究中的对话数据，在这项研究中，参与者控制一个虚拟机器人，负责组织一套工具，同时与一个现场的远程实验者进行对话。我们发现了一些新的结果，包括用于解决歧义的问题类型的分布和对话水平的因素对参考解决过程的影响。基于这些实证研究结果，我们：（1）使用决策网络开发了用于澄清请求的计算模型，该决策网络具有跨模态操作的基于熵的效用分配方法，（2）评估了该模型，表明其在具有变化的模糊性的环境中优于时隙填充基线，以及（3）解释结果以提供对代理人可以提出问题以促进情境参考解决的方式的洞察。
2021-10-12 cs.CL
TabReX : Tabular Referenceless eXplainable Evaluation
Arizona State University（亚利桑那州立大学）；Adobe Research（Adobe研究）
TabReX 提出了一种不依赖参考的表格生成评估框架，通过图推理方法将源文本和生成表格转化为知识图谱，并计算可解释的评分，实现结构和事实的准确性评估。
2026-04-21 cs.CL
Do Vision-Language Models Represent Space and How? Evaluating Spatial Frame of Reference Under Ambiguities
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Michigan State University（密歇根州立大学）
针对视觉-语言模型（VLMs）空间推理歧义性研究不足的问题，提出COMFORT评估协议，测试9个先进VLMs，发现其鲁棒性、多参照框架适应性及跨语言文化惯例遵循能力不足，呼吁关注空间推理的歧义性与跨文化多样性。
2025-04-17 cs.CL cs.CV
"Can you say more about the location?" The Development of a Pedagogical Reference Resolution Agent
Uppsala University（乌普萨拉大学）；University of Southern California（南加州大学）
在日益全球化的世界中，地理知识至关重要。在本文中，我们提出了一个合作的两个玩家的游戏，以提高人们的能力，在世界地图上找到国家。我们讨论两个实现的游戏：首先，我们创建了一个基于Web的版本，可以发挥与远程控制代理内莉。利用我们从大量在线数据汇集中获得的知识，我们重新实现了游戏，这样就可以与Furhat机器人Neil面对面地玩。我们的分析表明，参与者发现游戏不仅吸引人，他们还认为他们获得了关于世界地图的持久知识。
2019-09-03 cs.CL
Aligning Speakers: Evaluating and Visualizing Text-based Diarization Using Efficient Multiple Sequence Alignment (Extended Version)
Emory University（埃默里大学）
针对传统文本说话人日志评估忽略上下文的问题，本文提出基于多重序列比对的新指标和可视化工具，实现更全面的多级别错误分析，助力高质量数据创建与对话系统发展。
2023-09-14 cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree，一种无需参考的细粒度方法，用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准，并在段落层面进行评估，最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Evaluating the Impact of a Hierarchical Discourse Representation on Entity Coreference Resolution Performance
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
实体共指消解（CR）的最新研究遵循了应用于嵌入和相对简单的任务相关特征的深度学习的当前趋势。SOTA模型不使用话语结构的层次表示。在这项工作中，我们利用神经方法自动构建的话语解析树，并在两个基准实体相关解析数据集上展示了显着的改进。我们探讨了影响如何根据提及的类型而变化。
2021-04-20 cs.AI cs.CL cs.LG
SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling
Iowa State University（爱荷华州立大学）；Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）
典型的自动摘要评价指标，如ROUGE，侧重于词汇相似性，不能很好地捕捉语义和语言质量，需要一个参考摘要，这是昂贵的获得。最近，已经有越来越多的努力来减轻这两个缺点中的一个或两个。在本文中，我们提出了一个概念验证的研究，弱监督摘要评估方法，没有参考摘要的存在。现有摘要数据集中的大量数据通过将文档与损坏的参考摘要配对来进行转换以进行训练。在跨域测试中，我们的策略优于基线，具有很好的改进效果，并且在衡量所有指标的语言质量方面表现出很大的优势。
2022-05-05 cs.CL cs.IR cs.LG
An Empirical Approach to Temporal Reference Resolution
本文提出了一个实证调查的结果，时间参考解决调度对话。所采用的算法主要是基于线性新近度的方法，该方法不包括全局聚焦的模型。一个全自动的系统已经开发和评价看不见的测试数据与良好的效果。本文介绍了一个编码器间的可靠性研究，时间参考分辨率，支持线性新近度，并具有很好的覆盖率，系统评估的结果看不见的测试数据的模型的结果，并详细分析了对话评估的可行性的方法。
1997-06-16 cmp-lg cs.CL
Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
本文提出SNIC测试平台，评估大语言模型在基于规范的参照解析任务中的能力，发现现有模型在处理隐含或冲突规范时存在显著不足。
2026-02-03 cs.AI cs.CL cs.LG
A Rule Based Solution to Co-reference Resolution in Clinical Text
Baylor College of Medicine（贝勒医学院）；VA HSR&D Center of Excellence（退伍军人事务部卫生研究与发展卓越中心）
本文面向生物医学临床文本，利用2011年 i2b2 挑战赛数据构建基于人工规则的共指消解系统，在多个医学数据集上达到89.6%的总体性能，验证了规则方法的有效性。
2025-03-12 cs.AI cs.CL
Text Segmentation using Named Entity Recognition and Co-reference Resolution in English and Greek Texts
在本文中，我们研究的好处执行命名实体识别（NER）和共指决议的英语和希腊语语料库用于文本分割。这里的目的是检查文本分割和信息抽取的组合是否有利于识别文档中出现的各种主题。NER手动进行英语语料库中，并与公开可用的注释工具产生的输出进行比较，而已经存在的工具用于希腊语语料库。从这两个语料库产生的注释进行手动更正和丰富，以涵盖四种类型的命名实体。共同参考分辨率，即，随后执行用相同的命名实体标识符替换相同实例的每个引用。评估，使用五个文本分割算法的英语语料库和四个希腊语语料库导致的结论是，收益高度依赖于段的主题，命名实体实例出现在它的数量，以及段的长度。
2016-10-28 cs.CL cs.IR
REFLEX: Reference-Free Evaluation of Log Summarization via Large Language Model Judgment
Portland State University（波特兰州立大学）
REFLEX通过大语言模型评估日志摘要质量，无需参考摘要或人工标注，提供稳定且细粒度的评估结果，优于传统指标。
2026-04-20 cs.AI cs.CL cs.LG
ReALM: Reference Resolution As Language Modeling
Apple（苹果公司）
本研究提出ReALM方法，将指称消解转化为语言建模问题，利用LLM处理含屏幕实体等非对话实体的指称消解任务，在多类指称上超越现有系统，小模型性能比肩GPT-4，大模型显著优于它。
2024-08-19 cs.AI cs.CL cs.LG
Evaluating Cross-Domain Text-to-SQL Models and Benchmarks
University of Alberta（阿尔伯塔大学）
本文通过人工评估和等价改写重新评估跨领域文本到SQL基准及顶尖模型，发现完美性能不可行、模型真实性能被低估，且GPT4模型在Spider上超越黄金标准参考查询，强调独立评估的重要性。
2023-10-27 cs.CL cs.DB cs.LG
GECOR: An End-to-End Generative Ellipsis and Co-reference Resolution Model for Task-Oriented Dialogue
Soochow University（苏州大学）；University of Edinburgh（爱丁堡大学）；Lenovo Research AI Lab（联想研究院人工智能实验室）
省略和共指现象普遍存在，尤其是在多话轮对话中。本文将对话中省略和共指的消解视为从对话语境中生成省略或指称的问题。因此，我们提出了一个统一的端到端生成省略和共指消解模型（GECOR）的背景下的对话。该模型可以通过交替每个用户话语的生成和复制模式来生成新的语用完整的用户话语。一个多任务的学习框架，进一步提出了将GECOR到一个端到端的面向任务的对话。为了训练GECOR和多任务学习框架，我们在公共数据集CamRest676的基础上手动构建了一个新的数据集，其中包含省略号和共指注释。在这个数据集上，对省略和共指的解决的内在评估表明，GECOR模型在EM，BLEU和F1方面显着优于序列到序列（seq2seq）基线模型，而对下游对话任务的外在评估表明，我们的多任务学习框架与GECOR实现了比TSCP更高的任务完成成功率，一个最先进的端到端面向任务的对话模型。
2019-09-26 cs.AI cs.CL cs.LG
I see what you mean: Co-Speech Gestures for Reference Resolution in Multimodal Dialogue
Multimodal Language Department, Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所多模态语言部门）；Donders Institute for Brain, Cognition and Behaviour, Radboud University（拉德堡德大学大脑、认知与行为研究所）；Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系）；Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本研究提出以表征性手势为中心的多模态指代消解任务及自监督预训练方法学习鲁棒手势嵌入，实验证明多模态手势表示与对话历史可提升消解准确率，揭示手势与语音的互补作用。
2025-06-29 cs.CL cs.CV cs.MM
Ev2R: Evaluating Evidence Retrieval in Automated Fact-Checking
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；ETH AI Center（ETH人工智能中心）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本文提出 Ev2R 证据评估指标，结合参考对齐与判定支持度双重评分，实验证明其在准确性和鲁棒性上优于现有方法，成为自动事实核查中更可靠的证据评估工具。
2025-07-18 cs.AI cs.CL cs.IR
PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides
University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiexin Technology（上海捷信科技）
针对现有演示文稿自动生成方法忽略视觉吸引力与结构连贯性的问题，提出两阶段编辑式的PPTAgent生成框架及多维度PPTEval评估体系，在内容、设计、连贯性上均优于现有方法。
2025-02-21 cs.AI cs.CL
Evaluating for Diversity in Question Generation over Text
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）
在文本上生成多样化和相关的问题是一项具有广泛应用的任务。我们认为，常用的评价指标，如BLEU和METEOR不适合这项任务，由于固有的多样性的参考问题，并提出了一个计划，扩展传统的指标，以反映多样性。此外，我们提出了一个变分编码器-解码器模型为这项任务。我们通过自动和人工评估表明，我们的变分模型提高了多样性，而不会损失质量，并展示了我们的评估方案如何反映这种改进。
2020-08-17 cs.CL stat.ML
MARRS: Multimodal Reference Resolution System
Apple（苹果公司）
本文介绍MARRS，一个设备端多模态指代消解系统，通过指代消解与查询重写两种模型协同处理对话、视觉和背景上下文，实现隐私保护的轻量级上下文理解。
2023-11-03 cs.AI cs.CL cs.LG
OracleZoom: On-Policy Self-Distillation Inspired Reference-Constrained Recursive Image Super Resolution
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
OracleZoom提出一种受在策略蒸馏启发的参考约束递归超分辨率框架，通过携带真实标签证据并采用无参考质量目标，在七个数据集上实现最先进的超分辨率质量，平均CLIPIQA达0.713，并显著减少幻觉。
2026-09-09 cs.AI cs.CL cs.CV
Inside CORE-KG: Evaluating Structured Prompting and Coreference Resolution for Knowledge Graphs
Department of Computer Science（计算机科学系）；George Mason University（乔治·马歇尔大学）
本文通过系统消融研究量化CORE-KG框架中共指消解与结构化提示的贡献，发现二者分别显著影响节点重复和噪声节点，为法律文本知识图谱构建提供实证依据。
2025-11-08 cs.AI cs.CL cs.IR
