Neural Coreference Resolution for Arabic
Queen Mary University of London(伦敦玛丽女王大学);Qassim University(卡西姆大学)
没有阿拉伯语的神经共指消解器存在,事实上,我们不知道任何基于学习的阿拉伯语共指消解器(Bjorkelund和Kuhn,2014)。在本文中,我们介绍了一个共指消解系统的基础上,李等的端到端架构结合阿拉伯语版本的BERT和外部提及检测器。据我们所知,这是第一个专门针对阿拉伯语的神经共指消解系统,它在OntoNotes 5.0上的表现大大超过了现有的最先进的系统,增益为15.2点conll F1。我们还讨论了阿拉伯语任务的当前限制以及可以应对这些挑战的可能方法。
2020-10-31 cs.CL
Word-Level Coreference Resolution
ABBYY(ABBYY公司)
最近的共指消解模型在很大程度上依赖于跨度表征来发现词跨度之间的共指链接。由于跨度的数量是文本长度的$O(n^2)$,并且潜在链接的数量是$O(n^4)$,因此需要各种修剪技术来使这种方法在计算上可行。相反,我们建议考虑单个单词之间的共指链接,而不是单词跨度,然后重建单词跨度。这将共指模型的复杂性降低到了$O(n^2)$,并允许它考虑所有潜在的提及,而不会删除其中任何一个。我们还证明,这些变化,SpanBERT的共指消解将显着优于RoBERTA。在高效的同时,我们的模型在OntoNotes基准测试中与最近的共指消解系统具有竞争力。
2021-09-09 cs.CL
Incremental Neural Coreference Resolution in Constant Memory
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
我们调查建模共指消解下一个固定的内存约束,通过扩展增量聚类算法,利用上下文编码器和神经元组件。给定一个新的句子,我们的端到端算法提出并根据从早期文档上下文(如果有的话)创建的显式实体表示对每个提及跨度进行评分。然后,这些跨度用于在被遗忘之前更新实体的表示;我们在整个文档中只保留一组固定的突出实体。在这项工作中,我们成功地转换了一个高性能的模型(Joshi等人,2020年),渐进地减少其内存使用到恒定空间,在OntoNotes 5.0上的F1中只有0.3%的相对损失。
2020-10-07 cs.CL
Higher-order Coreference Resolution with Coarse-to-fine Inference
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
我们引入了一个全可微近似高阶推理的共指消解。我们的方法使用的前件分布从跨度排名架构作为注意力机制迭代完善跨度表示。这使得模型能够在预测的集群中柔和地考虑多跳。为了减轻这种迭代过程的计算成本,我们引入了一种由粗到细的方法,该方法采用了一个不太准确但更有效的双线性因子,从而在不影响准确性的情况下实现更积极的修剪。与现有的最先进的跨度排名方法相比,我们的模型显着提高了英语OntoNotes基准的准确性,同时计算效率更高。
2018-04-15 cs.CL
F-coref: Fast, Accurate and Easy to Use Coreference Resolution
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍fastcoref,一个快速,准确,易于使用的英语共指消解的Python包。该软件包可通过pip安装,支持两种模式:一种是基于LingMess架构的精确模式,提供最先进的共指精确度;另一种是速度更快的模型F-coref,这是本工作的重点。F-coref允许在V100 GPU上在25秒内处理2.8K OntoNotes文档(相比之下,LingMess模型为6分钟,流行的AllenNLP共指模型为12分钟),准确性只有适度的下降。快速的速度是通过从LingMess模型中提炼出一个紧凑的模型,以及使用我们称之为剩余模型的技术的高效模型实现来实现的。我们的代码可在https://github.com/shon-otmazgin/fastcoref上获得
2022-10-25 cs.CL
End-to-end Neural Coreference Resolution Revisited: A Simple yet Effective Baseline
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院);Roku Inc.(Roku公司)
自从第一个端到端神经共指消解模型被引入以来,已经提出了对该模型的许多扩展,从使用高阶推理到使用强化学习直接优化评估指标。尽管提高了共指消解性能的一个很大的利润,这些扩展增加了大量的额外的复杂性,原来的模型。基于这一观察结果以及预训练Transformer语言模型的最新进展,我们提出了一个简单而有效的共指消解基线。尽管我们的模型是原始神经共指消解模型的简化版本,但它取得了令人印象深刻的性能,在公共英语OntoNotes基准测试中优于所有最近的扩展作品。我们的工作提供了证据,仔细证明现有的或新提出的模型的复杂性的必要性,作为引入一个概念或实际的简化现有的模型仍然可以产生竞争力的结果。
2022-02-09 cs.CL
Parallel Data Helps Neural Entity Coreference Resolution
Beijing Language and Culture University(北京语言大学);IT University of Copenhagen(哥本哈根信息技术大学);Uppsala University(乌普萨拉大学)
本文提出利用平行数据中潜在跨语言共指知识的简单有效神经模型,通过引入无监督模块,在OntoNotes 5.0英文数据集上取得最高1.74个百分点的稳定提升。
2023-05-28 cs.CL
End-to-end Neural Coreference Resolution
Paul G. Allen School of Computer Science & Engineering, Univ. of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Facebook AI Research(Facebook 人工智能研究院)
我们介绍了第一个端到端的共指消解模型,并表明它显着优于所有以前的工作,而不使用语法分析器或手工设计的提及检测器。关键思想是直接将文档中的所有跨度视为潜在提及,并学习每个可能的先行词的分布。该模型计算跨度嵌入,结合上下文相关的边界表示与头部发现注意力机制。它被训练以最大化来自共指聚类的黄金先行词跨度的边际可能性,并被分解以实现对潜在提及的积极修剪。实验证明了最先进的性能,在OntoNotes基准测试中获得了1.5 F1的增益,使用5模型集成获得了3.1 F1的增益,尽管这是第一种在没有外部资源的情况下成功训练的方法。
2017-12-15 cs.CL
Efficient Seq2seq Coreference Resolution Using Entity Representations
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本文提出一种基于实体表示的压缩方法,通过提取实体级标记并丢弃其他标记,提升序列到序列共指消解在增量场景下的效率,在OntoNotes上以1.8压缩比仅损失0.6 F1,并在LitBank上超越最先进性能。
2025-10-16 cs.CL
Can we Fix the Scope for Coreference? Problems and Solutions for Benchmarks beyond OntoNotes
Georgetown University(乔治城大学)
目前自动共指消解的工作主要集中在OntoNotes基准数据集上,因为它的大小和一致性。然而,OntoNotes注释方案的许多方面并没有被NLP从业者很好地理解,包括通用NP的处理,名词修饰语,不定照应,谓词等。这些通常会导致违反直觉的主张、结果和系统行为。这篇评论文章旨在强调OntoNotes共指翻译的一些问题,并提出一个依靠三个原则的前进方向:1。关注语义,而不是形态句法; 2.跨语言的概括性; 3.身份和作用域的分离,可以解决涉及时间和模态域一致性的老问题。
2021-12-17 cs.CL
ThaiCoref: Thai Coreference Resolution Dataset
Chulalongkorn University(朱拉隆功大学);AI Singapore(新加坡人工智能计划);Amazon(亚马逊);VISTEC(泰国科学技术研究院)
本文构建了首个大规模泰语共指消解数据集ThaiCoref,涵盖四种体裁,并基于多语言编码器和跨语言迁移训练模型,取得67.88%的F1分数,同时公开数据和模型以推动泰语NLP研究。
2024-06-10 cs.CL
Incorporating Constituent Syntax for Coreference Resolution
The University of Melbourne(墨尔本大学)
无论是在传统的基于统计的机器学习系统中,还是在最近提出的神经模型中,都已经证明了将长距离依赖关系和语法树捕获的结构化信息结合起来,可以使共指消解受益。然而,大多数主流系统只使用依赖树。我们认为,成分树也编码重要的信息,如明确的跨边界信号捕获嵌套的多词短语,额外的语言标签和层次结构,用于检测回指。在这项工作中,我们提出了一个简单而有效的基于图的方法,将成分句法结构。此外,我们还探索利用高阶邻域信息来编码组成树中的丰富结构。因此,提出了一种新的消息传播机制,使语法树中的元素之间的信息流。在OntoNotes 5.0基准测试的英文和中文部分上的实验表明,我们提出的模型要么击败了一个强大的基线,要么达到了新的最先进的性能。(Code可在https://github.com/Fantabulous-J/Coref-Constituent-Graph上获得)
2022-02-22 cs.CL
Ensemble Transfer Learning for Multilingual Coreference Resolution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
实体共指消解是一个重要的研究课题,在信息抽取和问答等领域有着广泛的应用。英语中的共指消解已被广泛研究。然而,其他语言的工作相对较少。使用非英语语言时经常出现的一个问题是缺少带注释的训练数据。为了克服这一挑战,我们设计了一个简单但有效的集成框架,结合了各种迁移学习(TL)技术。我们首先使用不同的TL方法训练几个模型。然后,在推理过程中,我们计算模型预测的未加权平均得分,以提取最终的预测聚类集。此外,我们还提出了一种低成本的TL方法,引导共指消解模型,利用维基百科的锚文本。利用指向同一篇文章的锚文本之间自然存在的共指链接的想法,我们的方法为目标语言构建了一个相当大的远程监督数据集,该数据集由数万个文档组成。我们可以在伪标签数据集上预训练模型,然后在最终目标数据集上对其进行微调。在OntoNotes和SemEval两个基准数据集上的实验结果证实了该方法的有效性。我们最好的合奏始终优于简单训练的基线方法,在F1得分中高达7.68%。这些合奏还实现了三种语言的最新成果:阿拉伯语,荷兰语和西班牙语。
2023-01-22 cs.CL
Learning to Ignore: Long Document Coreference with Bounded Memory Neural Networks
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Chicago(芝加哥大学)
长文档共指消解仍然是一个具有挑战性的任务,由于当前模型的大内存和运行时间的要求。最近的工作做增量共指消解只使用实体的全局表示显示了实际的好处,但需要保持所有的实体在内存中,这可能是不切实际的长文档。我们认为,保持所有实体在内存中是不必要的,我们提出了一个内存增强的神经网络,跟踪只有一个小的有限数量的实体在同一时间,从而保证了线性运行时间的文件长度。我们表明,(a)该模型仍然具有竞争力的OntoNotes和LitBank的高内存和计算要求的模型,和(b)该模型学习一个有效的存储管理策略很容易优于基于规则的策略。
2020-11-17 cs.CL cs.LG
Online Coreference Resolution for Dialogue Processing: Improving Mention-Linking on Real-Time Conversations
Emory University(埃默里大学)
本文提出了一个共指消解的方向,用于在线解码主动生成的输入,如对话,其中模型接受一个话语及其过去的上下文,然后发现在当前话语中提到的,以及他们的参考,在每个对话轮。一个基线和四个增量更新的模型,适用于这个新的设置,其中涉及不同的方面,包括单例,发言人接地编码和跨话轮提及语境化。我们的方法在三个数据集上进行了评估:Friends,OntoNotes和BOLT。结果表明,每个方面都带来了稳定的改善,我们最好的模型超过基线10%,为这种设置提供了一个有效的系统。进一步的分析突出了任务的特点,如解决的重要性提到回忆。
2022-05-21 cs.CL cs.LG
CAW-coref: Conjunction-Aware Word-level Coreference Resolution
Ghent University – imec(根特大学-imec);Stanford University(斯坦福大学)
本文针对词级共指系统WL-coref在处理并列提及时的缺陷,提出CAW-coref模型,有效提升了性能并缩小了与昂贵SOTA方法的差距。
2023-10-19 cs.AI cs.CL
Solving the Challenge Set without Solving the Task: On Winograd Schemas as a Test of Pronominal Coreference Resolution
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
本文指出高挑战集表现不等于强泛化能力,发现提示式语言模型在WSC上表现强劲但在OntoNotes等数据集上较差,故提出集成提示式LM与监督式系统的方法以提升跨数据集代词共指消解的整体准确性。
2024-10-12 cs.CL
PreCo: A Large-scale Dataset in Preschool Vocabulary for Coreference Resolution
Yitu Tech(依图科技);Shandong Normal University(山东师范大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍了PreCo,一个大规模的英语数据集的共指消解。该数据集旨在通过减轻训练集和测试集之间低重叠的挑战,并实现对提及检测和提及聚类的单独分析,来体现共指中的核心挑战,例如实体表示。为了加强训练-测试的重叠,我们收集了大约38 K文档和12.4M单词的大型语料库,其中大部分来自讲英语的学龄前儿童的词汇。实验表明,在较高的训练-测试重叠的情况下,PreCo上的错误分析比OntoNotes上的错误分析更有效。此外,我们注释单例提及,使其有可能第一次量化的影响,一个提及检测器使共指消解性能。该数据集可在https://preschool-lab.github.io/PreCo/上免费获得。
2018-10-23 cs.AI cs.CL cs.LG
Interpretable Coreference Resolution Evaluation Using Explicit Semantics
Sapienza NLP Group(萨皮恩扎自然语言处理组);Sapienza University of Rome(罗马萨皮恩扎大学)
本文提出一种语义增强的指代消解评估框架,通过叠加概念和命名实体识别,揭示指代消解中不同语义类别的系统性缺陷,并设计针对性的数据增强策略以提升模型性能。
2026-05-11 cs.AI cs.CL
Longtonotes: OntoNotes with Longer Coreference Chains
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);UMass Amherst(马萨诸塞大学阿默斯特分校);Duke University(杜克大学)
Ontonotes已经成为共指消解的最重要的基准。然而,为了便于注释,Ontonotes中的几个长文档被分成了更小的部分。在这项工作中,我们建立了一个语料库的参考注释的文件显着更长的长度比目前可用的。我们通过提供一个准确的,手动策划的,合并注释的文档,这些文档在原始Ontonotes注释过程中被分成多个部分。由此产生的语料库,我们称之为LongtoNotes,包含不同长度的多种英语类型的文档,其中最长的是Ontonotes文档长度的8倍,Litbank文档长度的2倍。我们在这个新语料库上评估了最先进的神经共指系统,分析了模型架构/超参数和文档长度对模型性能和效率的影响,并展示了我们的新语料库揭示的长文档共指建模的改进领域。我们的数据和代码可在https://github.com/kumar-shridhar/LongtoNotes上获得。
2022-10-07 cs.CL cs.LG
Free the Plural: Unrestricted Split-Antecedent Anaphora Resolution
Queen Mary University of London(伦敦玛丽女王大学);UKP Lab, Technische Universität Darmstadt(德国达姆施塔特工业大学UKP实验室)
由于照应的简单形式上的共指消解器的性能有了很大的提高,所以更多的注意力集中在照应照应的更复杂的方面。几乎所有的共指消解模型都有一个局限性,那就是只关注单个先行照应词。有多个先行词的复数回指词--所谓的分裂先行回指词(如约翰遇见玛丽。他们去看电影)还没有得到广泛的研究,因为他们没有在ONTONOTES注释,并在其他语料库中相对较少。在本文中,我们介绍了第一个模型的无限制的解决分裂先行回指。我们从一个强大的基线增强BERT嵌入,并表明,我们可以通过解决稀疏性问题,大大提高其性能。为了做到这一点,我们的实验辅助语料库中的分裂先行回指的人群进行了注释,并与迁移学习模型使用元素的桥接参考和单一先行共指作为辅助任务。对黄金注释的ARRAU语料库的评估表明,最佳模型使用三个辅助语料库的组合,当在宽松和严格设置下评估时,分别达到70%和43.6%的F1分数,即,与我们的基线相比,增长了11和21个百分点。
2020-10-31 cs.CL
RGAT: A Deeper Look into Syntactic Dependency Information for Coreference Resolution
Shanghai University of International Business and Economics(上海对外经贸大学)
本文提出结合BERT与RGAT的端到端解析器,通过学习句法依存图生成融合表示,在GAP和OntoNotes 5.0数据集上有效提升了共指消解性能。
2023-09-10 cs.AI cs.CL
An Annotated Dataset of Coreference in English Literature
在这项工作中,我们提出了一个新的数据集的共指注释的文学作品在英语中,涵盖29,103提到210,532令牌从100小说作品。这个数据集与以前的共指数据集不同,它包含的文档的平均长度(2,105.3个单词)是其他基准数据集(OntoNotes的463.7个单词)的四倍,并且包含文献中常见的困难共指问题的例子。这个数据集允许跨域性能的评估任务的共指消解,并分析到长距离内的文档共指的特点。
2020-05-15 cs.CL