End-to-end Multilingual Coreference Resolution with Mention Head Prediction
University of West Bohemia(西波西米亚大学)
本文介绍了我们的方法,CRAC 2022共享任务的多语言共指消解。我们的模型是基于一个国家的最先进的端到端的共指消解系统。除了加入多语言训练之外,我们还通过提及头部预测来改善我们的结果。我们还尝试将依赖信息集成到我们的模型中。我们的系统最终位于$3^{rd}$位置。此外,我们在13个数据集中的两个数据集上达到了最佳性能。
2022-09-26 cs.CL
End-to-End Neural Event Coreference Resolution
University of Chinese Academy of Sciences(中国科学院大学)
传统的事件共指系统通常依赖于流水线框架和手工特征,存在错误传播问题,泛化能力差。本文提出了一种端到端的事件共指方法--E3 C神经网络,它可以联合建模事件检测和事件共指消解任务,并自动学习从原始文本中提取特征。此外,由于事件提及是高度多样化和事件共指是错综复杂的长距离,语义相关的决定,类型引导的事件共指机制,进一步提出了在我们的E3 C神经网络。实验表明,我们的方法在两个标准数据集上实现了新的最先进的性能。
2020-09-17 cs.CL
LingMess: Linguistically Informed Multi Expert Scorers for Coreference Resolution
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
虽然共指消解通常涉及各种语言挑战,但最近的模型基于针对所有类型对的单个成对评分器。我们提出了LingMess,一个新的共指模型,它定义了不同类别的共指情况,并优化了多个成对评分器,每个评分器学习一组特定的语言挑战。我们的模型大大提高了大多数类别的成对得分,并在Ontonotes和5个额外的数据集上优于集群级性能。我们的模型可以在https://github.com/shon-otmazgin/lingmess-coref上找到
2023-02-10 cs.CL
Event Coreference Resolution Using Neural Network Classifiers
Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
本文提出了一种神经网络分类器的方法来检测事件内和跨文档的指代有效地使用事件提及的基础上的功能。我们的方法不依赖于任何事件参数功能,如语义角色或时空参数。在ECB+数据集上的实验结果表明,当我们使用B3和CEAFe评价指标时,我们的方法在文档内和跨文档事件共指消解方面的F1得分显著优于最先进的方法,但使用MUC指标时F1得分更差。然而,当我们使用CoNLL度量(这是这三个分数的平均值)时,我们的方法对于文档内事件共指消解具有稍好的F1,但是对于跨文档事件共指消解显著更好。
2018-10-09 cs.CL
Light Coreference Resolution for Russian with Hierarchical Discourse Features
FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学研究所)
本文提出一种将层级话语中的修辞距离特征融入基于LUKE的轻量级俄语共指消解模型,在RuCoCo-23任务上取得开发集第一、测试集第二的成绩。
2023-06-02 cs.CL
Neural Coreference Resolution for Arabic
Queen Mary University of London(伦敦玛丽女王大学);Qassim University(卡西姆大学)
没有阿拉伯语的神经共指消解器存在,事实上,我们不知道任何基于学习的阿拉伯语共指消解器(Bjorkelund和Kuhn,2014)。在本文中,我们介绍了一个共指消解系统的基础上,李等的端到端架构结合阿拉伯语版本的BERT和外部提及检测器。据我们所知,这是第一个专门针对阿拉伯语的神经共指消解系统,它在OntoNotes 5.0上的表现大大超过了现有的最先进的系统,增益为15.2点conll F1。我们还讨论了阿拉伯语任务的当前限制以及可以应对这些挑战的可能方法。
2020-10-31 cs.CL
Parallel Data Helps Neural Entity Coreference Resolution
Beijing Language and Culture University(北京语言大学);IT University of Copenhagen(哥本哈根信息技术大学);Uppsala University(乌普萨拉大学)
本文提出利用平行数据中潜在跨语言共指知识的简单有效神经模型,通过引入无监督模块,在OntoNotes 5.0英文数据集上取得最高1.74个百分点的稳定提升。
2023-05-28 cs.CL
Adapting Coreference Resolution Models through Active Learning
Human Language Technology Center of Excellence(卓越人类语言技术中心);University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在一个数据集上训练的神经共指消解模型可能无法转移到新的低资源域。主动学习通过对一小部分数据进行采样以供注释者标记来缓解这个问题。虽然主动学习是明确的分类任务,其应用共指消解既没有明确的定义,也没有完全理解。本文探讨了如何主动标注共指,研究模型的不确定性和文献阅读成本的来源。我们比较了不确定性抽样策略和它们的优点,通过彻底的误差分析。在合成实验和人工实验中,在同一文档中标记跨度比在文档之间注释跨度更有效。研究结果有助于更现实的发展共指消解模型。
2022-03-29 cs.CL
Sequential Cross-Document Coreference Resolution
Columbia University(哥伦比亚大学);Amazon AI(亚马逊AI)
文本中实体和事件的关联是自然语言理解的关键组成部分。跨文档共指消解对于多文档分析任务的日益增长的兴趣尤其重要。在这项工作中,我们提出了一个新的模型,扩展了有效的顺序预测范式的共指消解跨文档设置,并实现了竞争力的结果为实体和事件的共指,同时提供了强有力的证据,顺序模型和高阶推理在跨文档设置的有效性。我们的模型逐步组成提到集群表示,并预测提到和已经构建的集群之间的联系,近似高阶模型。此外,我们进行了广泛的消融研究,提供了新的见解的重要性,各种输入和代表类型的共指。
2021-04-17 cs.CL
A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution
HKUST(香港科技大学)
代词共指消解是将代词表达式解析为所指的所有提及。与一般的共指消解任务相比,PCR的主要挑战是共指关系的预测而不是提及检测。代词消解作为自然语言理解的重要组成部分,对许多下游任务至关重要,对现有模型仍然具有挑战性,这促使我们对现有方法进行调查并思考如何做得更好。本文首先介绍了普通代词共指消解任务的典型数据集和模型。然后,我们重点介绍了硬代词共指消解问题的最新进展(例如,Winograd Schema Challenge)来分析当前模型对常识的理解程度。我们进行了大量的实验,以表明即使目前的模型在标准评估集上取得了良好的性能,但它们仍然没有准备好用于实际应用(例如,所有SOTA模型都在努力正确地将代词解析为不常见的对象)。所有实验代码可在https://github.com/HKUST-KnowComp/PCR上获得。
2020-09-27 cs.CL
Streamlining Cross-Document Coreference Resolution: Evaluation and Modeling
Bar Ilan University(巴伊兰大学);Intel Labs(英特尔实验室);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
最近的跨文档(CD)共指消解的评估协议往往是不一致的或宽松的,导致不可比的结果跨作品和高估的性能。为了促进适当的未来研究这项任务,我们的主要贡献是提出了一个务实的评估方法,假设访问只有原始文本-而不是假设黄金提到,忽视单例预测,并解决了典型的有针对性的设置在CD共指消解。为了为遵循我们的评估方法的未来研究设定基线结果,我们为此任务构建了第一个端到端模型。我们的模型适应并扩展了最近的文档内共指消解神经模型,以解决CD共指设置,其性能明显优于最先进的结果。
2020-10-23 cs.CL
Understanding Mention Detector-Linker Interaction in Neural Coreference Resolution
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
尽管最近在共指消解方面取得了重大进展,但当前最先进系统的质量仍然大大落后于人类水平的性能。使用CoNLL-2012和PreCo数据集,我们剖析了主流端到端共指消解共指消解模型的最佳实例,该模型是当前性能最好的共指系统的基础,并实证分析了其两个组件的行为:提及检测器和提及链接器。虽然检测器传统上侧重于召回作为一个设计决策,我们证明了精度的重要性,呼吁他们的平衡。然而,我们指出的困难,在建立一个精确的检测器,由于它无法作出重要的回指性的决定。我们还强调了巨大的空间,以改善链接器,并表明,其其余的错误主要涉及代词决议。我们提出了有希望的后续步骤,并希望我们的研究结果将有助于未来的研究在共指消解。
2021-09-09 cs.CL
Lexical Features in Coreference Resolution: To be Used With Caution
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
词汇特征是最先进的共指消解器的主要信息来源。词汇特征隐含地在细粒度级别上对一些语言现象进行建模。它们对于表示提及的上下文特别有用。在本文中,我们研究了一个缺点,使用许多词汇功能的国家的最先进的共指消解。我们发现,如果共指消解主要依赖于词汇特征,他们很难推广到看不见的领域。此外,我们表明,目前的共指消解评估是明显有缺陷的,只评估一个特定的数据集,其中有一个显着的重叠之间的训练,开发和测试集的特定分裂。
2017-04-22 cs.CL
Improving Coreference Resolution by Learning Entity-Level Distributed Representations
Stanford University(斯坦福大学)
共指消解中的一个长期存在的挑战是实体级信息的整合,实体级信息是指在提及集群而不是提及对上定义的特征。我们提出了一个基于神经网络的共指系统,产生高维向量表示的共指集群对。使用这些表示,我们的系统可以学习何时需要组合集群。我们训练系统学习搜索算法,教它的本地决策(集群合并)将导致一个高得分的最终共指分区。该系统在CoNLL 2012共享任务数据集的英语和中文部分上的表现远远优于当前最先进的技术,尽管使用了很少的手工设计功能。
2016-06-08 cs.CL
Event Coreference Resolution for Contentious Politics Events
Koç University(科奇大学);Sabancı University(萨班哲大学)
我们提出了一个数据集的事件共指消解,这是基于从多个来源,语言和国家的随机样本。关于事件信息收集的早期研究没有量化事件共指消解的贡献。我们准备并分析了一个有代表性的多语种语料库,并衡量了最先进的事件共指消解方法的性能和贡献。我们发现,几乎一半的事件在文件中提到的同时发生的其他事件提到,这使得它不可避免地获得错误的或部分的事件信息。我们发现,事件共指消解可以帮助改善这种情况。我们的贡献揭示了一个迄今为止一直被忽视或难以研究的挑战。可以根据我们在本报告中提出的结果设计未来的事件信息收集研究。本研究的知识库位于https://github.com/emerging-welfare/ECR4-Contentious-Politics。
2022-03-18 cs.CL
Improving LLMs' Learning for Coreference Resolution
Queen Mary University of London(伦敦皇后玛丽大学);Guangxi Normal University(广西师范大学);University of Utrecht(乌得勒支大学)
针对LLMs在共指消解中存在幻觉和性能不足的问题,提出带联合推断的逆向训练和迭代文档生成两种新技术,有效提升了QA模板方法并消除了生成文本中的幻觉。
2025-09-14 cs.CL
Sieve-based Coreference Resolution in the Biomedical Domain
University of Arizona(亚利桑那大学)
我们描述的挑战和独特的优势,共指消解在生物医学领域,和基于筛子的架构,利用领域知识的实体和事件共指消解。领域通用的共指消解算法在生物医学文档上表现不佳,因为它们所依赖的线索(如性别)在该领域中基本上不存在,并且因为它们不编码特定领域的知识,如化学反应所需的参与者的数量和类型。此外,由于大多数共指消解算法不是基于规则的,因此很难将这些知识直接编码到这些算法中。我们的基于规则的架构使用顺序应用手工设计的“筛子”,每个筛子的输出通知和约束后续筛子。这种架构为我们的Reach事件提取系统提供了3.2%的吞吐量增加,其精度与仅依赖于语法模式进行提取的更严格的系统的精度平行。
2016-09-02 cs.CL
Adapting Coreference Resolution for Processing Violent Death Narratives
University of California, Los Angeles(加州大学洛杉矶分校)
共指消解是分析来自管理数据的叙述性文本的重要组成部分(例如,临床或警方来源)。然而,现有的在通用语言语料库上训练的共指模型由于领域差距而具有较差的可移植性,特别是当它们被应用于女同性恋、男同性恋、双性恋和跨性别(LGBT)个体的性别包容性数据时。在本文中,我们分析了共指消解的挑战,在一个典型的形式,行政文本写在英语:暴力死亡叙述从美国疾病控制中心(CDC)的国家暴力死亡报告系统。我们开发了一套数据增强规则,以提高模型的性能,使用概率数据编程框架。实验从行政数据库的叙述,以及现有的性别包容性的共指数据集,证明了数据增强训练共指模型,可以更好地处理文本数据的有效性LGBT个人。
2021-04-30 cs.CL
End-to-end Neural Coreference Resolution Revisited: A Simple yet Effective Baseline
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院);Roku Inc.(Roku公司)
自从第一个端到端神经共指消解模型被引入以来,已经提出了对该模型的许多扩展,从使用高阶推理到使用强化学习直接优化评估指标。尽管提高了共指消解性能的一个很大的利润,这些扩展增加了大量的额外的复杂性,原来的模型。基于这一观察结果以及预训练Transformer语言模型的最新进展,我们提出了一个简单而有效的共指消解基线。尽管我们的模型是原始神经共指消解模型的简化版本,但它取得了令人印象深刻的性能,在公共英语OntoNotes基准测试中优于所有最近的扩展作品。我们的工作提供了证据,仔细证明现有的或新提出的模型的复杂性的必要性,作为引入一个概念或实际的简化现有的模型仍然可以产生竞争力的结果。
2022-02-09 cs.CL
Hybrid Rule-Neural Coreference Resolution System based on Actor-Critic Learning
Samsung Research America(三星美国研究院)
一个共指消解系统是将在给定上下文中引用同一实体的所有提及进行聚类。所有的共指消解系统需要处理两个主要任务:一个任务是检测所有的潜在提及,另一个是学习每个可能提及的先行词的链接。在本文中,我们提出了一个混合的规则-神经共指消解系统的基础上actor-critic学习,使它可以实现更好的共指性能,利用启发式规则和神经会议模型的优点。该端到端系统还可以通过利用联合训练算法来执行提及检测和解决。我们在BERT模型上进行实验,以生成输入跨度表示。我们的模型与BERT跨度表示达到了国家的最先进的模型之间的性能在CoNLL-2012共享任务英语测试集。
2022-12-20 cs.CL
Neural Coreference Resolution based on Reinforcement Learning
Samsung Research America(三星美国研究院)
共指消解系统的目标是将在给定上下文中引用相同实体的所有提及聚类。所有的共指消解系统都需要解决两个子任务;一个任务是检测所有潜在的提及,另一个是学习每个可能提及的先行词的链接。在本文中,我们提出了一个强化学习的演员-评论家为基础的神经共指消解系统,它可以实现两个提到检测和提到聚类利用演员-评论家深度强化学习技术和联合训练算法。我们在BERT模型上进行实验,以生成不同的输入跨度表示。我们的模型与BERT跨度表示达到了国家的最先进的模型之间的性能在CoNLL-2012共享任务英语测试集。
2022-12-18 cs.CL
Filling in the Gaps: Efficient Event Coreference Resolution using Graph Autoencoder Networks
Ghent University(根特大学)
本文提出一种基于Graph Autoencoder(GAE)的事件共指消解方法,将ECR构建为图重建任务,结合深度语义嵌入与结构化共指链知识,在低资源荷兰语语料库上显著优于经典方法且在低数据场景下鲁棒性更强。
2023-10-18 cs.CL
Graph-Based Decoding for Event Sequencing and Coreference Resolution
Carnegie Mellon University(卡内基梅隆大学)
文本文档中的事件以复杂的方式相互关联。本文研究了两类关系:事件互指和事件排序。我们发现,流行的树状解码结构的自动事件共指是不适合事件排序。为此,我们提出了一个基于图的解码算法,适用于这两个任务。新的解码算法支持这两个任务的灵活功能集。从经验上讲,我们的事件共指系统在TAC-KBP 2015事件共指任务上实现了最先进的性能,我们的事件排序系统击败了强大的基于时间的,基于预言的基线。我们讨论了研究这些事件关系的挑战。
2018-06-13 cs.CL
Revisiting Joint Modeling of Cross-document Entity and Event Coreference Resolution
Bar-Ilan University(巴伊兰大学);Intel AI Lab(英特尔人工智能实验室);Technische Universitat Darmstadt(达姆施塔特工业大学)
识别跨多个文本的共指事件和实体对于许多NLP应用程序至关重要。尽管这项任务的重要性,研究重点主要是在文档内实体共指,而很少注意到其他变量。我们提出了一个跨文档共指消解共指消解的神经结构。受Lee et al(2012)的启发,我们联合建模实体和事件共指。我们表示一个事件(实体)提到使用其词汇跨度,周围的上下文,并通过谓词参数结构实体(事件)提到的关系。我们的模型在ECB+上的性能优于以前最先进的事件共指模型,同时在该语料库上提供了第一个实体共指结果。我们的分析证实,我们所有的代表性元素,包括提及跨度本身,它的上下文,以及与其他提及的关系有助于模型的成功。
2019-06-04 cs.CL
Event Coreference Resolution by Iteratively Unfolding Inter-dependencies among Events
Texas A&M University(德克萨斯A&M大学)
我们引入了一种新颖的事件共指消解迭代方法,该方法通过利用同一链内以及跨事件链的事件提及之间的相互依赖性来逐渐构建事件集群。在同一链中的事件提及中,我们通过使用两个不同的成对分类器来区分文档内和跨文档事件共指链接,分别训练以捕获文档内和跨文档事件集群的特征分布差异。我们的事件共指方法在WD和CD聚类之间交替,并在每次合并后结合来自两个事件聚类的参数,继续进行,直到不能再进行合并。然后,它在与一组其他事件链密切相关的事件链之间执行进一步的合并。在ECB+语料库上的实验表明,该模型在联合处理WD和CD事件的共指消解中的性能优于现有方法。
2017-07-23 cs.CL
Neural Coreference Resolution with Deep Biaffine Attention by Joint Mention Detection and Mention Clustering
Yale University(耶鲁大学);IBM Research(IBM研究院);IBM Watson(IBM沃森)
共指消解旨在识别文本中所有提及同一真实世界实体的内容。最先进的端到端神经共指模型将文档中的所有文本跨度视为潜在的提及,并学习为每个可能的提及链接先行词。在本文中,我们提出了改进的端到端的共指消解系统(1)使用双仿射注意力模型,以获得每一个可能的提及先行得分,和(2)联合优化提及检测精度和提及聚类对数似然给定的提及集群标签。我们的模型在CoNLL-2012共享任务英语测试集上达到了最先进的性能。
2018-05-13 cs.CL
Segmentation Approach for Coreference Resolution Task
University of Waterloo(滑铁卢大学)
在共指消解中,重要的是考虑共指聚类的所有成员,并一次决定所有成员。这种技术可以帮助避免失去精度,也可以找到远距离的关系。提出了一种新的共指消解方法,可以一次性地将所有共指消解到文档中的一个给定提及。这是通过定义一个嵌入方法来实现的,该方法用于确定文档中共指聚类的所有成员的位置,并针对给定的提及解决所有这些问题。在所提出的方法中,BERT模型已被用于编码的文件和头部网络设计来捕捉嵌入的令牌之间的关系。然后将这些转换为建议的跨度位置嵌入矩阵,该矩阵嵌入文档中所有共指引用的位置。我们在CoNLL 2012数据集上测试了这个想法,虽然这种方法的初步结果并不完全符合最先进的结果,但它们很有前途,并且它们可以比其他方法更好地捕获长距离关系等特征。
2020-06-30 cs.CL
Solving Hard Coreference Problems
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
共指消解是自然语言理解中的一个关键问题,至今仍没有可靠的解决方案。一个基本的困难是解决涉及代词的实例,因为它们通常需要深入的语言理解和背景知识的使用。在本文中,我们提出了一种算法解决方案,涉及一个新的表示所需的知识,以解决硬共指问题,以及约束优化框架,使用这些知识的共指决策。我们的表示,谓词模式,实例化的知识在无监督的方式获得,并自动编译成的约束,影响共指决策。我们提出了一个通用的共指消解系统,显着提高了国家的最先进的性能硬,Winograd风格,代词决议的情况下,同时仍然在国家的最先进的水平上执行标准的共指消解数据集。
2019-07-11 cs.CL
Active Learning for Coreference Resolution using Discrete Annotation
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Facebook(脸书)
我们改进了成对注释的主动学习共指消解,通过要求注释者识别提及的先行词,如果提出的提及对被认为是不共指。这个简单的修改,当结合一个新的提及聚类算法来选择哪些例子来标记时,在每个注释预算获得的性能方面要有效得多。在现有基准共指数据集的实验中,我们表明,这个额外问题的信号导致每个人工注释小时的显着性能增益。未来的工作可以使用我们的注释协议,有效地开发新领域的共指模型。我们的代码可在https://github.com/belindal/discrete-active-learning-coref上公开获取。
2020-05-19 cs.CL
Improving coreference resolution with automatically predicted prosodic information
Institute for Natural Language Processing(自然语言处理研究所);University of Stuttgart(斯图加特大学)
添加手动注释的韵律信息,特别是音高重音和措辞,典型的基于文本的功能集共指消解先前已被证明有积极的影响,对德国的数据。然而,口语的实际应用将依赖于自动预测的韵律信息。在本文中,我们预测音高口音(和短语边界)使用卷积神经网络(CNN)模型从声学特征提取的语音信号。经过这些自动韵律注释的质量评估,我们发现,它们也显着提高共指消解。
2017-07-28 cs.CL
OntoGUM: Evaluating Contextualized SOTA Coreference Resolution on 12 More Genres
Georgetown University(乔治城大学);University of Pennsylvania(宾夕法尼亚大学)
SOTA共指消解在OntoNotes基准测试中的得分越来越高。然而,缺乏可比较的数据,遵循相同的计划,更多的体裁,很难评估通用性开放领域的数据。本文提供了一个数据集和全面的评估,表明最新的基于神经LM的端到端系统在域外的退化非常严重。我们做了一个OntoNotes一样的共指数据集称为OntoGUM公开,转换GUM,英语语料库,涵盖12种体裁,使用确定性规则,我们评估。由于GUM中丰富的句法和话语注释,我们能够根据OntoNotes指南创建最大的人类注释的共指语料库,并且是第一个评估与OntoNotes方案一致性的语料库。跨12种类型的域外评估显示,确定性和深度学习系统的性能下降了近15-20%,这表明现有的共指消解模型缺乏泛化能力或隐性过拟合。
2021-06-03 cs.CL
Investigating the Role of Centering Theory in the Context of Neural Coreference Resolution Systems
定心理论(CT; Grosz等人,1995)提供了对话语结构的语言学分析。根据该理论,语篇的局部连贯性取决于连续话语对同一实体的指称方式和程度。本文研究了中心化理论与现代共指消解系统之间的联系。我们提供了一个可操作的中心和系统的调查,如果神经共指解析器坚持以中心理论的规则,通过定义各种话语指标和开发一个基于搜索的方法。我们的信息理论分析揭示了一个积极的相互依存关系和中心,但也表明,高质量的神经相互依存解析器可能不会受益于明确建模中心的想法。我们的分析进一步表明,情境化嵌入包含大量的一致性信息,这有助于解释为什么CT只能为使用预训练表示的现代神经共指解析器提供很少的增益。最后,我们讨论的因素,有助于共指,而不是由CT模型,如世界知识和近因偏见。我们制定了一个版本的CT,也模型的近因,并表明它捕获的共指信息更好地相比,香草CT。
2022-10-26 cs.CL
Towards Evaluation of Cross-document Coreference Resolution Models Using Datasets with Diverse Annotation Schemes
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学)
已建立的跨文档共指消解(CDCR)数据集包含以事件为中心的具有身份关系的事件和实体的共指链。这些数据集建立了严格的定义的共指关系在相关的测试,但通常忽略回指更模糊的上下文相关的松散的共指关系。在本文中,我们定性和定量地比较ECB+,CDCR数据集的身份共指关系,和NewsWCL 50,CDCR数据集的松散的上下文相关和严格的共指关系的混合注释方案。我们提出了一个短语多样性度量(PD),遇到的完整短语的多样性,不像以前提出的指标,并允许评估词汇多样性的CDCR数据集在一个更高的精度。分析表明,NewsWCL50的共指链比ECB+具有更丰富的词汇多样性,但NewsWCL50的注释导致了编码器间可靠性的降低。我们讨论了两个CDCR数据集为CDCR模型创建的不同任务,即,词汇消歧和词汇多样性。最后,为了确保CDCR模型的通用性,我们提出了一个CDCR评估的方向,该方向将CDCR数据集与多个注释方案相结合,这些注释方案关注共指链的各种属性。
2022-11-22 cs.CL
End-to-End Dialog Neural Coreference Resolution: Balancing Efficiency and Accuracy in Large-Scale Systems
Amazon(亚马逊);University of Florida(佛罗里达大学);UCLA(加利福尼亚大学洛杉矶分校);Huazhong University of Science and Technology(华中科技大学);Tianjin University(天津大学)
本文提出一种面向大规模应用的端到端神经共指消解系统,通过上下文嵌入、注意力机制和优化策略在保证准确性的同时实现高效推理。
2025-04-08 cs.CL
Toward Gender-Inclusive Coreference Resolution
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
正确地解决文本中提到的人从根本上需要对这些人做出推论。这样的推论增加了共指消解系统中系统性偏见的风险,包括可能伤害二元和非二元反式和顺式利益相关者的偏见。为了更好地理解这种偏见,我们前景微妙的概念化的性别从社会学和社会语言学,并开发两个新的数据集询问偏见在人群注释和现有的共指消解系统。通过这些对英文文本进行的研究,我们证实,如果不承认和建立认识到性别复杂性的系统,我们建立的系统就会导致许多潜在的危害。
2020-12-02 cs.CL
Coreference Resolution without Span Representations
Tel Aviv University(特拉维夫大学)
预训练语言模型的引入将许多复杂的特定于任务的NLP模型简化为简单的轻量级层。这种趋势的一个例外是共指消解,其中一个复杂的特定于任务的模型被附加到一个预先训练的Transformer编码器。虽然非常有效,但该模型具有非常大的内存占用-主要是由于动态构造的跨度和跨度对表示-这阻碍了完整文档的处理以及在单个批次中对多个实例进行训练的能力。我们引入了一个轻量级的端到端的共指模型,消除了对跨度表示,手工制作的功能,和语法的依赖。我们的模型与当前的标准模型相比具有竞争力,同时更简单,更高效。
2021-05-31 cs.CL
Event Coreference Resolution via a Multi-loss Neural Network without Using Argument Information
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
事件共指消解(ECR)是自然语言处理(NLP)中的一项重要任务,现有的ECR方法都依赖于事件论元信息。然而,这些方法往往遭受从事件参数提取阶段的错误传播。此外,并非每个事件提及都包含事件的所有参数,并且参数信息可能会混淆模型,即事件具有参数以检测真实文本中的事件共指。此外,事件的上下文信息对于推断事件之间的共指是有用的。因此,为了减少传播的错误从事件参数提取和有效地使用上下文信息,我们提出了一个多损失神经网络模型,不需要任何参数信息做文档内事件共指消解任务,并取得了显着的性能比国家的最先进的方法。
2020-09-22 cs.CL
Findings of the Shared Task on Multilingual Coreference Resolution
Charles University(查理大学);University of West Bohemia(西波西米亚大学);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文概述了与CRAC 2022研讨会相关的多语言共指消解的共同任务。共享任务的参与者应该开发可训练的系统,能够识别提到和聚类,根据身份共指。CorefUD 1.0公开版包含10种语言的13个数据集,用作培训和评估数据的来源。CoNLL分数在以前的共指导向的共享任务被用作主要的评价指标。共有5个参赛团队提交了8个共指预测系统;此外,还有一个由主办方在共享任务开始时提供的基于Transformer的竞争性基线系统。获胜者系统的表现比基线高出12个百分点(就各个语言的所有数据集的CoNLL分数而言)。
2022-09-16 cs.CL
Multilingual Coreference Resolution with Harmonized Annotations
University of West Bohemia(西波希米亚大学)
在本文中,我们提出了共指消解实验与一个新创建的多语种语料库CorefUD。我们专注于以下语言:捷克语,俄语,波兰语,德语,西班牙语和加泰罗尼亚语。除了单语实验之外,我们还结合了多语言实验中的训练数据,并训练了两个联合模型-斯拉夫语言和所有语言。我们依赖于一个端到端的深度学习模型,我们稍微适应了CorefUD语料库。我们的研究结果表明,我们可以从协调的注释中受益,并且使用联合模型对具有较小训练数据的语言有很大帮助。
2021-09-03 cs.CL
ARKref: a rule-based coreference resolution system
Carnegie Mellon University(卡内基梅隆大学);Educational Testing Service(教育考试服务中心)
ARKref是一个名词短语共指的工具。它是一个确定性的、基于规则的系统,使用来自成分分析器的语法信息和来自实体识别组件的语义信息。它的架构基于Haghighi和Klein(2009)的工作。ARKref最初写于2009年。在撰写本文时,最后一个发布的版本是在2011年3月。本文档描述了该版本,该版本是开源的,可在http://www.ark.cs.cmu.edu/ARKref上公开获取
2013-10-08 cs.CL
Seq2seq is All You Need for Coreference Resolution
Rutgers University(罗格斯大学);Duke University(杜克大学)
本研究证明无需任务专用模型,通过微调预训练seq2seq transformer将文档映射为共指标注序列,即可在多数据集上达到或超越现有最佳共指消解系统,并发现模型规模、监督量和序列表示是关键性能因素。
2023-10-20 cs.CL
BERT for Coreference Resolution: Baselines and Analysis
Facebook AI Research(Facebook人工智能研究院);University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所)
我们将BERT应用于共指消解,在OntoNotes(+3.9 F1)和GAP(+11.5 F1)基准测试中取得了很大的改进。对模型预测的定性分析表明,与ELMo和BERT-base相比,BERT-large在区分相关但不同的实体(例如,总裁兼首席执行官)。然而,在建模文档级上下文、会话和提及释义方面仍有改进的空间。我们的代码和模型是公开的。
2019-12-22 cs.CL
WikiCREM: A Large Unsupervised Corpus for Coreference Resolution
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院);DeepMind
代词消解是自然语言理解的一个重要领域。然而,大规模的训练集仍然很少,因为手动标记数据的成本很高。在这项工作中,我们介绍了WikiCREM(维基百科CoREferencesMasked)一个大规模的,但准确的代词消歧实例数据集。我们使用基于语言模型的方法结合我们的WikiCREM数据集进行代词解析。我们比较了一系列模型的集合的多样化和具有挑战性的共指消解问题,其中我们匹配或优于以前的国家的最先进的方法在6 7个数据集,如GAP,DPR,WNLI,PDP,WinoBias和WinoGender。我们发布我们的模型用于解决代词消歧。
2019-10-13 cs.CL
F-coref: Fast, Accurate and Easy to Use Coreference Resolution
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍fastcoref,一个快速,准确,易于使用的英语共指消解的Python包。该软件包可通过pip安装,支持两种模式:一种是基于LingMess架构的精确模式,提供最先进的共指精确度;另一种是速度更快的模型F-coref,这是本工作的重点。F-coref允许在V100 GPU上在25秒内处理2.8K OntoNotes文档(相比之下,LingMess模型为6分钟,流行的AllenNLP共指模型为12分钟),准确性只有适度的下降。快速的速度是通过从LingMess模型中提炼出一个紧凑的模型,以及使用我们称之为剩余模型的技术的高效模型实现来实现的。我们的代码可在https://github.com/shon-otmazgin/fastcoref上获得
2022-10-25 cs.CL
Mention Annotations Alone Enable Efficient Domain Adaptation for Coreference Resolution
Carnegie Mellon University(卡内基梅隆大学)
本文提出仅需标注提及即可实现指代消解模型领域自适应的方法,通过高精度提及检测目标,在三个数据集上平均F1提升7-14%且不增加标注时间。
2023-05-30 cs.CL
Incorporating Context and External Knowledge for Pronoun Coreference Resolution
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
在许多情况下,将代名词表达与正确的指称联系起来需要更好地分析上下文信息和外部知识。本文提出了一个同时利用语境和外部知识的代词共指消解的两层模型,并设计了一个知识注意力机制,以确保模型根据不同的语境利用适当的外部知识源。实验结果表明,我们的模型的有效性和有效性,它优于国家的最先进的模型由一个很大的利润。
2019-05-24 cs.CL
Improving Generalization in Coreference Resolution via Adversarial Training
为了使共指消解系统在实践中有用,它们必须能够推广到新的文本。在这项工作中,我们证明了当将CoNLL数据集中PER和GPE命名实体的名称更改为训练集中未出现的名称时,最先进系统的性能会降低。我们使用对抗性的基于梯度的训练技术来重新训练最先进的系统,并证明重新训练的系统在CoNLL数据集(有和没有命名实体的变化)和GAP数据集上实现了更高的性能。
2019-08-13 cs.CL
What happens before and after: Multi-Event Commonsense in Event Coreference Resolution
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所);Massachusetts Institute of Technology(麻省理工学院);Kensho Technologies(Kensho科技公司)
事件共指模型集群事件提到属于同一个现实世界的事件。最近的模型依赖于上下文表示来识别词汇或上下文相似提及之间的共指。然而,模型通常无法利用常识推理,这对于解决词汇分歧的提及特别有限。我们提出了一个模型,扩展事件提到时间常识推断。给定一个包含多个事件的复合句,例如,“这个男人杀了他的妻子并被捕了”,目标事件为“被捕”,我们的模型生成了发生在目标事件之前的可信事件-例如“警察到达”,以及在目标事件之后,例如“他被判刑”。我们表明,将这样的推理到现有的事件共指模型提高了其性能,我们分析了共指,这种时间的知识是必需的。
2023-02-21 cs.CL
Using Linguistic Features to Improve the Generalization Capability of Neural Coreference Resolvers
Technische Universität Darmstadt(达姆施塔特工业大学);Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所有限责任公司)
共指消解是文本理解的中间步骤。它用于我们不一定有共指注释语料库的任务和领域。因此,泛化对于共指消解具有特别重要的意义。然而,虽然最近的共指消解器在CoNLL数据集上有了显着的改进,但它们很难正确地推广到新的领域或数据集。在本文中,我们探讨的作用,语言特征在建设更普遍的共指消解。我们发现,仅仅通过使用一组额外的语言特征,泛化仅略有改善。然而,采用的特征和子集的值是信息的共指消解,大大提高了泛化。由于更好的泛化,我们的系统在域外评估中实现了最先进的结果,例如,在WikiCoref上,我们的系统在CoNLL上训练,达到了为该数据集设计的系统的同等性能。
2018-10-12 cs.CL
Realistic Evaluation Principles for Cross-document Coreference Resolution
Bar Ilan University(巴伊兰大学);Intel Labs(英特尔实验室);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学)
我们指出,跨文档共指消解的常见评估实践在其假设的环境中是不切实际的,产生了夸大的结果。我们建议通过两个评价方法原则来解决这个问题。首先,与其他任务一样,模型应该根据预测提及而不是黄金提及进行评估。这样做提出了一个微妙的问题,关于单例共指集群,我们通过解耦的评价提到检测共指链接。其次,我们认为模型不应该利用标准ECB+数据集的合成主题结构,迫使模型面对词汇歧义的挑战,正如数据集创建者所期望的那样。我们实证证明了我们更现实的评价原则对竞争模型的巨大影响,得到的分数比以前宽松的做法评估低33 F1。
2021-06-08 cs.CL
Efficient Seq2seq Coreference Resolution Using Entity Representations
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本文提出一种基于实体表示的压缩方法,通过提取实体级标记并丢弃其他标记,提升序列到序列共指消解在增量场景下的效率,在OntoNotes上以1.8压缩比仅损失0.6 F1,并在LitBank上超越最先进性能。
2025-10-16 cs.CL
Investigating Multilingual Coreference Resolution by Universal Annotations
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
本文基于 CorefUD 数据集的通用标注,从多语言层面和体裁分析共指特征,对 SotA 系统进行错误分析,并提取形态句法特征改进基线,使 F1 提升 0.9%。
2023-10-26 cs.CL
Moving on from OntoNotes: Coreference Resolution Model Transfer
Johns Hopkins University(约翰斯·霍普金斯大学)
用于共指消解(coref)的学术神经模型通常在单个数据集OntoNotes上进行训练,并且模型改进在同一数据集上进行基准测试。然而,coref的实际应用取决于注释指南和目标数据集的域,这通常与OntoNotes不同。我们的目标是根据目标数据集中可用的注释文档的数量来量化coref模型的可移植性。我们检查了11个目标数据集,发现持续训练是一贯有效的,特别是在目标文档很少的情况下。我们在多个数据集上建立了新的基准,包括PreCo的最新结果。
2021-09-30 cs.CL
A Context-Dependent Gated Module for Incorporating Symbolic Semantics into Event Coreference Resolution
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
事件共指消解是一个重要的研究课题,有着广泛的应用前景。尽管预训练的语言模型最近取得了显着的成功,我们认为,它仍然是非常有益的任务,利用符号特征。然而,由于用于共指消解的输入通常来自信息抽取流水线中的上游组件,因此自动提取的符号特征可能是有噪声的并且包含错误。此外,根据特定的上下文,某些功能可能比其他功能更能提供信息。出于这些观察,我们提出了一种新的上下文相关的门控模块,自适应地控制从输入的符号特征的信息流。结合简单的噪声训练方法,我们的最佳模型在两个数据集上实现了最先进的结果:ACE 2005和KBP 2016。
2021-04-04 cs.CL