Knowledge-aware Pronoun Coreference Resolution
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
解决代词共指需要知识支持，特别是对于特定领域（例如，医学）。在本文中，我们探讨了如何利用不同类型的知识，以更好地解决代词指代与神经模型。为了保证模型的泛化能力，我们直接将知识以三元组的形式（现代知识图谱中最常见的形式）进行合并，而不是像传统方法那样用特征或规则对其进行编码。此外，由于并非所有的知识是有帮助的，在某些情况下，选择性地使用它们，我们提出了一个知识注意模块，学习选择和使用基于上下文的信息性知识，以增强我们的模型。在不同领域的两个数据集上的实验结果证明了我们的模型的有效性和有效性，它的性能大大优于最先进的基线。此外，由于我们的模型学习使用外部知识，而不仅仅是拟合训练数据，因此它在跨域设置中也表现出优于基线的性能。
2019-07-08 cs.CL
Streamlining Cross-Document Coreference Resolution: Evaluation and Modeling
Bar Ilan University（巴伊兰大学）；Intel Labs（英特尔实验室）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近的跨文档（CD）共指消解的评估协议往往是不一致的或宽松的，导致不可比的结果跨作品和高估的性能。为了促进适当的未来研究这项任务，我们的主要贡献是提出了一个务实的评估方法，假设访问只有原始文本-而不是假设黄金提到，忽视单例预测，并解决了典型的有针对性的设置在CD共指消解。为了为遵循我们的评估方法的未来研究设定基线结果，我们为此任务构建了第一个端到端模型。我们的模型适应并扩展了最近的文档内共指消解神经模型，以解决CD共指设置，其性能明显优于最先进的结果。
2020-10-23 cs.CL
Efficient Seq2seq Coreference Resolution Using Entity Representations
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出一种基于实体表示的压缩方法，通过提取实体级标记并丢弃其他标记，提升序列到序列共指消解在增量场景下的效率，在OntoNotes上以1.8压缩比仅损失0.6 F1，并在LitBank上超越最先进性能。
2025-10-16 cs.CL
Sentence-Incremental Neural Coreference Resolution
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
本文提出句增量神经共指消解系统，在移位-归约框架下增量构建簇，在增量设置中显著超越最先进方法，并在常规设置中取得与基线相当的性能。
2023-05-26 cs.CL
Neural Mention Detection
Queen Mary University of London（伦敦玛丽女王大学）；Google Research（谷歌研究院）
在NER和共指消解等应用中，提及检测是注释和解释的重要预处理步骤，但很少有独立的神经模型能够处理所有提及。在这项工作中，我们提出并比较了三个神经网络为基础的方法提到检测。第一种方法基于最先进的共指消解系统的提及检测部分;第二种方法使用ELMO嵌入以及双向LSTM和biaffine分类器;第三种方法使用最近引入的BERT模型。我们的最佳模型（使用双仿射分类器）在提及召回方面实现了高达1.8个百分点的增益，与HIGH RECALL共指标注设置中的强基线相比。在HIGH F1注释设置下，与CONLL和CRAC共参数据集上最佳报告的提及检测F1相比，相同的模型分别实现了高达5.3和6.2 p. p.的改进。然后，我们评估我们的模型共指消解使用提到我们最好的模型预测的最先进的共指系统。与我们强大的基线系统（管道系统和端到端系统）相比，增强模型分别实现了高达1.7和0.7 p. p.的绝对改进。对于嵌套的NER，我们的模型在GENIA语料库上的评估表明，我们的模型匹配或优于最先进的模型，尽管不是专门为这项任务设计的。
2020-06-22 cs.CL
Graph Refinement for Coreference Resolution
Microsoft（微软）；Idiap Research Institute（Idiap研究所）
共指消解的最新模型是基于独立提及成对决策的。我们提出了一种建模方法，学习在文档级的共指，并采取全球性的决定。为此，我们在一个图结构中的节点是令牌的文本中的共指链接模型，和边缘代表它们之间的关系。我们的模型以非自回归的方式预测图，然后根据以前的预测迭代地对其进行改进，从而允许决策之间的全局依赖性。实验结果表明，各种基线的改进，加强了假设，即文档级信息提高会议分辨率。
2022-03-30 cs.CL cs.LG
Who are you referring to? Coreference resolution in image narrations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；CFAR, IHPC, A*STAR（新加坡科技研究局高性能计算研究所认知智能研究中心）
共指消解的目的是识别文本中指代同一实体的词和短语，是自然语言处理的核心任务。在本文中，我们将这项任务扩展到解决视觉场景的长篇叙述中的共指。首先，我们引入一个新的数据集与注释的共指链和它们的边界框，因为大多数现有的图像-文本数据集只包含短句没有共指表达式或标记链。我们提出了一种新的技术，学习识别共指链使用弱监督，只有从图像-文本对和正则化使用先验语言知识。我们的模型产生了很大的性能增益，在几个强大的基线解决共指。我们还表明，共指消解有助于改善图像中的接地叙事。
2023-03-17 cs.CL cs.CV
Online Coreference Resolution for Dialogue Processing: Improving Mention-Linking on Real-Time Conversations
Emory University（埃默里大学）
本文提出了一个共指消解的方向，用于在线解码主动生成的输入，如对话，其中模型接受一个话语及其过去的上下文，然后发现在当前话语中提到的，以及他们的参考，在每个对话轮。一个基线和四个增量更新的模型，适用于这个新的设置，其中涉及不同的方面，包括单例，发言人接地编码和跨话轮提及语境化。我们的方法在三个数据集上进行了评估：Friends，OntoNotes和BOLT。结果表明，每个方面都带来了稳定的改善，我们最好的模型超过基线10%，为这种设置提供了一个有效的系统。进一步的分析突出了任务的特点，如解决的重要性提到回忆。
2022-05-21 cs.CL cs.LG
Piecing Together Cross-Document Coreference Resolution Datasets: Systematic Dataset Analysis and Unification
本文提出uCDCR数据集，整合多个领域英文核心指代消解数据集，分析其词汇特性并展示提升模型泛化能力的成果。
2026-03-03 cs.CL
Ensemble Transfer Learning for Multilingual Coreference Resolution
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实体共指消解是一个重要的研究课题，在信息抽取和问答等领域有着广泛的应用。英语中的共指消解已被广泛研究。然而，其他语言的工作相对较少。使用非英语语言时经常出现的一个问题是缺少带注释的训练数据。为了克服这一挑战，我们设计了一个简单但有效的集成框架，结合了各种迁移学习（TL）技术。我们首先使用不同的TL方法训练几个模型。然后，在推理过程中，我们计算模型预测的未加权平均得分，以提取最终的预测聚类集。此外，我们还提出了一种低成本的TL方法，引导共指消解模型，利用维基百科的锚文本。利用指向同一篇文章的锚文本之间自然存在的共指链接的想法，我们的方法为目标语言构建了一个相当大的远程监督数据集，该数据集由数万个文档组成。我们可以在伪标签数据集上预训练模型，然后在最终目标数据集上对其进行微调。在OntoNotes和SemEval两个基准数据集上的实验结果证实了该方法的有效性。我们最好的合奏始终优于简单训练的基线方法，在F1得分中高达7.68%。这些合奏还实现了三种语言的最新成果：阿拉伯语，荷兰语和西班牙语。
2023-01-22 cs.CL
Multimodal Cross-Document Event Coreference Resolution Using Linear Semantic Transfer and Mixed-Modality Ensembles
Colorado State University（科罗拉多州立大学）；University of Colorado, Boulder（科罗拉多大学博尔德分校）；Purdue University（普渡大学）
针对跨文档事件共指消解中语言歧义及多模态数据不足问题，提出三种融合图文的消解方法，在增强ECB+数据集上达91.9的CoNLL F1上限并建立AIDA Phase 1新基线。
2024-04-13 cs.CL
Incorporating Constituent Syntax for Coreference Resolution
The University of Melbourne（墨尔本大学）
无论是在传统的基于统计的机器学习系统中，还是在最近提出的神经模型中，都已经证明了将长距离依赖关系和语法树捕获的结构化信息结合起来，可以使共指消解受益。然而，大多数主流系统只使用依赖树。我们认为，成分树也编码重要的信息，如明确的跨边界信号捕获嵌套的多词短语，额外的语言标签和层次结构，用于检测回指。在这项工作中，我们提出了一个简单而有效的基于图的方法，将成分句法结构。此外，我们还探索利用高阶邻域信息来编码组成树中的丰富结构。因此，提出了一种新的消息传播机制，使语法树中的元素之间的信息流。在OntoNotes 5.0基准测试的英文和中文部分上的实验表明，我们提出的模型要么击败了一个强大的基线，要么达到了新的最先进的性能。(Code可在https：//github.com/Fantabulous-J/Coref-Constituent-Graph上获得）
2022-02-22 cs.CL
Improving Span Representation for Domain-adapted Coreference Resolution
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
最近的工作表明，微调神经共指模型可以在适应不同领域时产生强大的性能。然而，与此同时，这可能需要大量带注释的目标示例。在这项工作中，我们专注于监督领域自适应的临床笔记，提出使用概念知识，以更有效地适应共指模型到一个新的领域。我们开发的方法来改善跨度表示通过（1）改装损失，以激励跨度表示，以满足基于知识的距离函数和（2）脚手架损失，以指导知识的恢复跨度表示。通过整合这些损失，我们的模型能够提高我们的基线精度和F-1分数。特别是，我们表明，将知识与端到端的共指模型的结果在最具挑战性的，特定领域的跨度更好的性能。
2021-09-20 cs.CL cs.LG
Semi-supervised multimodal coreference resolution in image narrations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；CFAR, IHPC, A*STAR（新加坡科技研究局高性能计算研究所认知智能实验室）
针对图像叙述多模态共指消解中图文对齐、语言歧义与标注缺乏的挑战，提出数据高效的半监督跨模态方法，在共指与叙述歧义任务上优于强基线。
2023-10-20 cs.CL cs.CV
Adapted End-to-End Coreference Resolution System for Anaphoric Identities in Dialogues
Emory University（埃默里大学）
本文提出了一个基于端到端神经元共指消解模型的有效系统，用于对话中的回指消解任务。在我们的方法中，具体涉及三个方面，包括支持单例，编码扬声器和轮流在整个对话互动，并利用现有资源的知识转移。尽管我们的适应策略很简单，但它们对最终性能产生了重大影响，比基线提高了27个F1。我们的最终系统在CRAC 2021共享任务中的回指解析轨道排行榜上排名第一，并在所有四个数据集上获得最佳评估结果。
2021-09-23 cs.CL cs.LG
UNITER-Based Situated Coreference Resolution with Rich Multimodal Input
New York University Shanghai（上海纽约大学）
作为第十届对话系统技术挑战赛（DSTC 10）的一部分，我们提出了我们对情景和交互式多模态对话2.0（SIMMC 2.0）数据集的多模态共指消解任务的工作。我们提出了一个基于UNITER的模型，利用丰富的多模态上下文，如文本对话历史，对象知识库和视觉对话场景，以确定是否在当前场景中的每个对象被提到在当前对话轮。结果表明，所提出的方法大大优于官方DSTC 10基线，在开发集上，对象F1分数从36.6%提高到77.3%，证明了所提出的对象表示的有效性。在客体共指消解任务的官方评价中，我们的模型以73.3%的F1得分排名第二。
2021-12-07 cs.AI cs.CL
LegalCore: A Dataset for Event Coreference Resolution in Legal Documents
针对现有事件共指消解研究多局限于新闻文本的问题，本文构建了首个法律领域的事件共指消解数据集LegalCore，标注了长法律合同的密集事件及长短距离共指关系，基准测试显示当前主流LLMs在该数据集上表现远逊于有监督基线。
2025-03-20 cs.AI cs.CL
Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD
University of West Bohemia（西波希米亚大学）；Faculty of Applied Sciences（应用科学学院）
本文基于CorefUD 1.1提出端到端神经共指消解系统，通过跨语言训练、句法信息、Span2Head、单例建模和长文档建模等扩展显著提升多语言性能，并在测试集上大幅超越CRAC 2023同规模最佳模型。
2024-12-25 cs.CL cs.LG
SciCo: Hierarchical Cross-Document Coreference for Scientific Concepts
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
确定跨文档概念提及的共指是自然语言理解中的一项基本任务。以前的跨文档共指消解（CDCR）通常考虑新闻中的事件，很少涉及科学和技术中流行的抽象技术概念。这些复杂的概念采取不同的或模糊的形式，并具有许多层次级别的粒度（例如，任务和子任务），这给CDCR带来了挑战。我们提出了一个新的任务，分层CDCR（H-CDCR）的目标是共同推断共指集群和它们之间的层次。我们创建了SciCo，这是科学论文中H-CDCR的专家注释数据集，比著名的ECB+资源大3倍。我们研究了我们为H-CDCR定制的强基线模型，并强调了未来工作的挑战。
2021-09-01 cs.CL cs.IR cs.LG
Free the Plural: Unrestricted Split-Antecedent Anaphora Resolution
Queen Mary University of London（伦敦玛丽女王大学）；UKP Lab, Technische Universität Darmstadt（德国达姆施塔特工业大学UKP实验室）
由于照应的简单形式上的共指消解器的性能有了很大的提高，所以更多的注意力集中在照应照应的更复杂的方面。几乎所有的共指消解模型都有一个局限性，那就是只关注单个先行照应词。有多个先行词的复数回指词--所谓的分裂先行回指词（如约翰遇见玛丽。他们去看电影）还没有得到广泛的研究，因为他们没有在ONTONOTES注释，并在其他语料库中相对较少。在本文中，我们介绍了第一个模型的无限制的解决分裂先行回指。我们从一个强大的基线增强BERT嵌入，并表明，我们可以通过解决稀疏性问题，大大提高其性能。为了做到这一点，我们的实验辅助语料库中的分裂先行回指的人群进行了注释，并与迁移学习模型使用元素的桥接参考和单一先行共指作为辅助任务。对黄金注释的ARRAU语料库的评估表明，最佳模型使用三个辅助语料库的组合，当在宽松和严格设置下评估时，分别达到70%和43.6%的F1分数，即，与我们的基线相比，增长了11和21个百分点。
2020-10-31 cs.CL
Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge
Heriot-Watt University（赫瑞瓦特大学）；Semasio（塞马西奥公司）
本文针对SIMMC 2.0挑战中的歧义检测与指代消解任务，提出基于TOD-BERT和LXMERT的模型，实验表明语言模型可检测歧义，单模态模型借助智能对象表示可免于视觉组件。
2023-07-26 cs.AI cs.CL
Enhancing Cross-Document Event Coreference Resolution by Discourse Structure and Semantic Information
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（航空航天信息安全与可信计算教育部重点实验室）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
针对现有跨文档事件共指消解模型难以捕捉长距离依赖的问题，提出利用文档级RST树和跨文档词汇链构建异构图并使用GAT学习事件表示，同时构建大规模中文数据集，在英中数据集上大幅超越基线。
2024-06-23 cs.AI cs.CL
CEREC: A Corpus for Entity Resolution in Email Conversations
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
我们提出了第一个大规模的语料库实体解析电子邮件会话（CEREC）。该语料库由来自安然电子邮件语料库的6001个电子邮件线程组成，其中包含36，448封电子邮件消息和60，383个实体共指链。注释是以最少的手动工作作为两步过程来执行的。实验进行了评估不同的功能和性能的四个基线上创建的语料库。对于提及识别和共指消解的任务，报告了59.2 F1的最佳性能，突出了改进的空间。一个深入的定性和定量的误差分析，以了解所考虑的基线的局限性。
2021-06-02 cs.AI cs.CL
EasyECR: A Library for Easy Implementation and Evaluation of Event Coreference Resolution Models
International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；Shenzhen University（深圳大学）
针对事件共指消解（ECR）领域跨域泛化差、模型对比难的问题，研究者开发了集成7种流水线和10个基准数据集的开源库EasyECR，通过实验验证了多数据集评估和控制变量对比的必要性，并提供了研究基线。
2024-06-20 cs.AI cs.CL
Mind the GAP: A Balanced Corpus of Gendered Ambiguous Pronouns
Google AI Language（谷歌人工智能语言部门）
共指消解是自然语言理解中的一项重要任务，而歧义代词的消解是一个长期存在的挑战。尽管如此，现有的语料库没有捕捉到足够数量或多样性的模糊代词，以准确地表明模型的实际效用。此外，我们发现性别偏见，在现有的语料库和系统，有利于男性实体。为了解决这个问题，我们提出并发布了GAP，这是一个性别平衡的标记语料库，包含8，908个模糊的代词-名称对，以提供对现实世界文本所带来挑战的多样化覆盖。我们探索了一系列基线，这些基线展示了挑战的复杂性，最好的F1仅达到66.9%。我们表明，句法结构和连续神经模型提供了有前途的，互补的线索，接近的挑战。
2018-10-11 cs.CL
WEC: Deriving a Large-scale Cross-document Event Coreference dataset from Wikipedia
Bar Ilan University（巴伊兰大学）；Intel Labs（英特尔实验室）
跨文档事件共指消解共指消解是涉及多文本处理的自然语言处理应用中的一项基本任务。然而，现有的语料库，这项任务是稀缺的，相对较小，而注释属于同一主题的文件只有中等规模的集群。为了补充这些资源，并加强未来的研究，我们提出维基百科事件共指（WEC），一个有效的方法，收集大规模的数据集的跨文档事件共指维基百科，共指链接不限于预定义的主题。我们将这种方法应用于英文维基百科，并提取我们的大规模WEC-Eng数据集。值得注意的是，我们的数据集创建方法是通用的，并且可以相对较少地应用于其他维基百科语言。为了设置基线结果，我们开发了一种算法，该算法将最先进的文档内共指消解模型的组件适应于跨文档设置。我们的模型是适当有效的，优于以前发表的最先进的结果的任务。
2021-04-30 cs.CL
Dynamic Entity Representations in Neural Language Models
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Heidelberg University（海德堡大学）
理解一个长文档需要跟踪实体是如何被引入并随着时间的推移而演变的。我们提出了一种新型的语言模型，martytyNLM，可以显式地建模实体，动态更新其表示，并根据上下文生成其提及。我们的模型是生成性和灵活的，它可以模拟任意数量的实体在上下文中，同时生成每个实体提到任意长度。此外，它可以用于几个不同的任务，如语言建模，共指消解和实体预测。所有这些任务的实验结果表明，我们的模型始终优于强基线和先前的工作。
2017-08-02 cs.CL cs.LG
Diverse Word Choices, Same Reference: Annotating Lexically-Rich Cross-Document Coreference
University of Göttingen（戈丁根大学）；Humboldt University（洪堡大学）；University of Zurich（苏黎世大学）
本文提出修订的NewsWCL50数据集CDCR注释方案，通过处理身份和近身份关系，增强对新闻话语中词汇多样性和框架变化的分析能力。
2026-03-05 cs.CL
Modeling Multimodal Social Interactions: New Challenges and Baselines with Densely Aligned Representations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文针对多方交互建模的局限性，提出说话目标识别等三个新任务及数据标注，并构建利用密集对齐语言-视觉表示的多模态基线，有效建模细粒度社会交互。
2024-04-29 cs.CL cs.CV cs.LG
Look Again at the Syntax: Relational Graph Convolutional Network for Gendered Ambiguous Pronoun Resolution
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
性别偏见已经发现在现有的共指消解。为了消除性别偏见，一个性别平衡的数据集性别模糊代词（GAP）已经发布，最好的基线模型只有66.9%的F1。来自Transformers的双向编码器表示（BERT）已经打破了几项NLP任务记录，可以在GAP数据集上使用。然而，在特定任务上微调BERT在计算上是昂贵的。在本文中，我们提出了一个端到端的解析器结合预先训练的BERT与关系图卷积网络（R-GCN）。R-GCN用于消化结构句法信息和学习更好的特定于任务的嵌入。实验结果表明，在明确的句法监督和不需要微调BERT，R-GCN的嵌入优于原来的BERT嵌入的共指任务。我们的工作显著提高了GAP数据集上的片段上下文基线F1分数，从66.9%提高到80.3%。我们参与了2019年GAP共指共享任务，我们的代码可在线获取。
2019-05-31 cs.CL
Evaluating and Improving the Coreference Capabilities of Machine Translation Models
The Hebrew University of Jerusalem（希伯来大学）；Bar Ilan University（巴伊兰大学）
机器翻译（MT）需要广泛的语言能力，当前的端到端模型期望通过观察双语语料库中对齐的句子来隐式地学习这些语言能力。在这项工作中，我们要求：\emph{How well do MT models learn coreference resolution from implicit signal?}为了回答这个问题，我们开发了一种评估方法，从MT输出中获得共指聚类，并在不需要目标语言注释的情况下对其进行评估。我们进一步评估了几个著名的开源和商业MT系统，从英语翻译到六种目标语言，并将它们与三个具有挑战性的基准测试中最先进的共指消解器进行比较。我们的研究结果表明，单语解析器大大优于MT模型。受此结果的启发，我们实验了不同的方法，将共指消解模型的输出纳入MT中，显示出对强基线的改进。
2023-02-16 cs.AI cs.CL cs.LG
A Rationale-centric Counterfactual Data Augmentation Method for Cross-Document Event Coreference Resolution
School of Engineering, Westlake University（西湖大学工程学院）；Zhejiang University（浙江大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）
针对跨文档事件共指消解中触发词词汇匹配的虚假偏差，本文基于结构因果模型提出 LLM 参与闭环的理据中心反事实数据增强方法，在三个基准上达到 SOTA 并具备域外鲁棒性。
2024-05-08 cs.CL
Conversational Semantic Role Labeling with Predicate-Oriented Latent Graph
Wuhan University（武汉大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Guangdong University of Foreign Studies（广东外语外贸大学）
会话语义角色标注是一项新提出的任务，旨在揭示会话文本中的浅层语义结构。然而，CSRL任务的几个重要特征，如结构信息整合、近邻影响等，却被现有的研究所忽视。在这项工作中，我们研究了CSRL的潜在图的整合。我们提出了一种以谓词为中心的高斯机制，自动诱导一个面向谓词的潜在图（POLar），通过该机制，更接近谓词的信息词将被分配更多的注意力。然后，POLar结构被动态地修剪和细化，以便最好地满足任务需求。我们还引入了一个有效的对话级预训练的语言模型，CoDiaBERT，更好地支持多个话语句子和处理CSRL中的说话人共指问题。我们的系统在三个基准CSRL数据集上的性能优于最佳基线，特别是在跨话语参数检测上实现了超过4%的F1分数改进。进一步的分析，以更好地了解我们提出的方法的有效性。
2022-10-06 cs.AI cs.CL
A baseline revisited: Pushing the limits of multi-segment models for context-aware translation
NCSU（北卡罗来纳州立大学）；Amazon（亚马逊）
本文讨论了使用多段模型的上下文翻译的任务。具体来说，我们表明，增加模型容量进一步推动了这种方法的限制，更深的模型更适合捕捉上下文依赖关系。此外，可以使用知识蒸馏将在较大模型中观察到的改进转移到较小模型中。我们的实验表明，这种方法在几种语言和基准测试中实现了具有竞争力的性能，而无需额外的特定于语言的调优和特定于任务的架构。
2022-10-21 cs.CL cs.LG
Dialogue Meaning Representation for Task-Oriented Dialogue Systems
Amazon AWS AI（亚马逊AWS人工智能部门）；Fudan University（复旦大学）
对话意义表征将自然语言的话语语义以一种明确的、机器可读的形式表达出来。以前的工作通常遵循意图槽框架，这是很容易注释，但在复杂的语言表达的可扩展性有限。一系列的作品通过引入层次结构来解释表示问题，但对表达复杂的组合语义（如否定和共指）具有挑战性。我们提出了对话意义表示（DMR），一个柔韧的，易于扩展的表示面向任务的对话。我们的表示包含一组节点和边来表示丰富的组合语义。此外，我们提出了一个继承层次机制，重点领域的可扩展性。此外，我们用DMR注释了DMR-FastFood，这是一个具有超过70 k话语的多轮对话数据集。我们提出了两个评估任务来评估不同的对话模型和一个新的共指消解模型GNNCoref用于基于图的共指消解任务。实验表明，DMR可以很好地解析预训练的Seq 2Seq模型，GNNCoref大幅优于基线模型。
2022-11-15 cs.AI cs.CL
Gendered Pronoun Resolution using BERT and an extractive question answering formulation
歧义代词的解决是自然语言理解中的一个长期挑战。最近的研究表明，最先进的共指消解系统中存在性别偏见。例如，Google AI语言团队最近发布了一个性别平衡的数据集，并表明这些共指解析器的性能在数据集上受到很大限制。在本文中，我们提出了一个提取的问答（QA）制定的代词解决任务，克服了这一限制，并显示出更低的性别偏见（0.99）在他们的数据集。该系统使用来自预训练的BERT模型的微调表示，并且在不使用任何手工设计的特征的情况下，性能显著优于现有基线（F1得分绝对提高22.2%）。即使在不知道代词的候选先行词的情况下，这个问答框架也同样有效。基于QA和BERT的多项选择和序列分类模型的集成进一步提高了F1（在基线上绝对提高了23.3%）。该集成模型已提交给第一届ACL自然语言处理性别偏见研讨会的共同任务。它在最终的官方排行榜上排名第九。源代码可在https://github.com/rakeshchada/corefqa上获得
2019-06-09 cs.CL cs.LG
Sentence Centrality Revisited for Unsupervised Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
近年来，由于神经网络模型的流行和大规模数据集的可用性，单文档摘要重新受到人们的关注。在本文中，我们开发了一种无监督的方法，认为这是不现实的，期望大规模和高质量的训练数据，以提供或创建不同类型的摘要，域，或语言。我们重新审视了一个流行的基于图的排名算法，并修改了节点（又名句子）的中心性是如何计算的两种方式：（a）~我们采用BERT，一个国家的最先进的神经表示学习模型，以更好地捕捉语义和（b）~我们建立图形与有向边缘认为，任何两个节点的贡献，其各自的中心性是由它们在文档中的相对位置的影响。在三个代表不同语言和写作风格的新闻摘要数据集上的实验结果表明，该方法的性能大大优于强基线。
2019-06-08 cs.CL
An analysis of full-size Russian complexly NER labelled corpus of Internet user reviews on the drugs based on deep learning and language neural nets
NRC "Kurchatov institute"（国家研究中心“库尔恰托夫研究所”）；MEPhI National Research Nuclear University（莫斯科工程物理学院国家核研究大学）；I.M. Sechenov First Moscow State Medical University (Sechenov University)（谢切诺夫第一莫斯科国立医科大学（谢切诺夫大学））
我们提出了全尺寸的俄罗斯复杂的NER标记的互联网用户评论语料库，以及通过一组先进的深度学习神经网络从俄罗斯文本中提取有意义的实体在此语料库上达到的准确性水平的评估。语料库注释包括以下实体的提及：药物（33005提及），药物不良反应（1778），疾病（17403）和注释（4490）。其中两个-药物和疾病-组成了一组属性。部分语料库在300篇文献中有共指标注1560条共指链。提出了一种基于语言模型和特征集的多标注模型，适用于现有语料标注。不同的修改模型的选择的影响：词向量表示，类型的语言模型预先训练的俄罗斯，文本规范化风格，和其他初步处理进行了分析。我们的语料库的足够大小允许研究语料库标记和平衡语料库中的实体的特殊性的影响。因此，俄罗斯的药理实体提取问题的最新技术水平是建立在一个全尺寸的标记语料库。在药物不良反应（ADR）识别的情况下，F1精确度量为61.1，正如我们的分析所示，与具有类似特征的其他语言语料库和ADR代表的准确性水平相当。共指关系抽取在该语料库上的基线准确率为71，高于在其他俄语语料库上的结果。
2021-04-30 cs.AI cs.CL cs.LG
CORE-KG: An LLM-Driven Knowledge Graph Construction Framework for Human Smuggling Networks
George Mason University（乔治·马歇尔大学）
提出CORE-KG框架，通过类型感知共指消解和领域引导提取两步流水线，从法律文本构建知识图谱，显著减少节点重复和法律噪声，为分析复杂犯罪网络奠定基础。
2025-06-20 cs.AI cs.CL cs.LG
In-context Learning and Gradient Descent Revisited
The Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
本文重新检验了上下文学习与梯度下降的对应关系，发现现有评估存在缺陷，并提出尊重层因果关系的梯度下降优化方法以显著提升相似度。
2024-03-31 cs.CL cs.LG
