Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation
Beijing Institute of Technology（北京理工大学）；PLA Academy of Military Science（中国人民解放军军事科学院）
事件抽取在自然语言处理中具有实用价值。在现实世界中，同一个句子中存在多个事件是一种常见的现象，提取多个事件比提取单个事件要困难得多。以往的工作中建模的事件之间的关联的顺序建模方法遭受了很多的低效率捕获非常长的范围内的依赖关系。在本文中，我们提出了一种新的联合多事件提取（JAPAN）框架，通过引入语法捷径弧来增强信息流和基于注意力的图卷积网络来建模图信息，从而联合提取多个事件触发器和参数。实验结果表明，我们提出的框架取得了竞争力的结果相比，国家的最先进的方法。
2018-10-23 cs.CL
Jointly Modeling Hierarchical and Horizontal Features for Relational Triple Extraction
Jilin University（吉林大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
最近的工作关系三元组提取已经显示出的优越性，联合提取实体和关系的流水线提取方式。然而，大多数现有的联合模型未能平衡实体特征的建模和联合解码策略，从而没有充分研究实体层和三层之间的相互作用。在这项工作中，我们首先介绍了两个级别之间的层次依赖性和水平共性，然后提出了一个实体增强的双重标记框架，使三重提取（TE）的任务，利用这种相互作用与自学的实体功能，通过辅助实体提取（EE）的任务，而不会打破联合解码的关系三元组。具体来说，我们对齐EE和TE任务的位置明智的方式，制定它们作为两个序列标记的问题，具有相同的编码器-解码器结构。此外，这两个任务被组织在一个精心设计的参数共享设置，使学习的实体功能可以通过多任务学习自然共享。纽约时报基准的实证实验表明，所提出的框架相比，国家的最先进的方法的有效性。
2022-05-03 cs.CL
TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Baidu, Inc.（百度公司）
近年来，从非结构化文本中提取实体和关系引起了越来越多的关注，但由于识别与共享实体的重叠关系的固有困难，因此仍然具有挑战性。先前的工作表明，联合学习可以导致显着的性能增益。然而，它们通常涉及连续的相互关联的步骤，并遭受暴露偏差的问题。在训练时，它们使用地面实况条件进行预测，而在推理时，它必须从头开始进行提取。这种差异导致误差累积。为了缓解这个问题，我们在本文中提出了一个一阶段的联合提取模型，即TPLinker，它能够发现重叠的关系共享一个或两个实体，同时免疫暴露偏见。TPLinker将联合抽取描述为一个标记对连接问题，并引入了一种新的握手标记方案，该方案在每种关系类型下对齐实体对的边界标记。实验结果表明，TPLinker在重叠和多重关系抽取方面有明显的优势，在两个公共数据集上达到了最先进的性能。
2020-10-26 cs.CL
Universal Information Extraction as Unified Semantic Matching
Baidu Inc.（百度公司）；Chinese Information Processing Laboratory（中文信息处理实验室）；State Key Laboratory of Computer Science（计算机科学国家重点实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
信息抽取面临的挑战在于标签模式的多样性和结构的异构性。传统的方法需要特定于任务的模型设计，并且严重依赖昂贵的监督，这使得它们难以推广到新的模式。在本文中，我们解耦IE到两个基本的能力，结构化和概念化，这是由不同的任务和模式共享。基于这种范式，我们提出了统一的语义匹配（USM）框架，它引入了三个统一的令牌链接操作来建模的结构化和概念化的能力，通用的建模各种IE任务。通过这种方式，USM可以联合编码模式和输入文本，并行地统一提取子结构，并根据需要可控地解码目标结构。对4个IE任务的实验结果表明，该方法在有监督的实验中取得了最佳的性能，并在零/Few-Shot传输环境下表现出较强的泛化能力。
2023-01-09 cs.CL
A Two-Phase Paradigm for Joint Entity-Relation Extraction
National University of Defense Technology（国防科技大学）；The Affiliated Eye Hospital of Nanjing Medical University（南京医科大学附属眼科医院）
一个详尽的研究已经进行了调查跨度为基础的模型的联合实体和关系抽取任务。然而，这些模型在模型训练过程中采样了大量的负实体和负关系，这是必不可少的，但会导致数据分布严重不平衡，进而导致模型性能不佳。为了解决上述问题，本文提出了一种基于跨度的联合实体和关系抽取的两阶段范式，即在第一阶段对实体和关系进行分类，在第二阶段预测这些实体和关系的类型。两阶段范式使我们的模型能够显著减少数据分布差距，包括否定实体与其他实体之间的差距，以及否定关系与其他关系之间的差距。此外，我们首次尝试将实体类型和实体距离作为全局特征，这被证明是有效的，特别是对于关系抽取。在多个数据集上的实验结果表明，基于跨度的联合提取模型与两阶段范式和全局特征增强一致优于以前的最先进的基于跨度的联合提取任务的模型，建立了一个新的标准基准。定性和定量分析进一步验证了所提出范式的有效性和全局特征.
2022-08-18 cs.CL
A Trigger-Sense Memory Flow Framework for Joint Entity and Relation Extraction
Zhejiang University（浙江大学）
联合实体和关系抽取框架构建了一个统一的模型来同时执行实体识别和关系抽取，它可以利用两个任务之间的依赖性来减轻管道模型所遭受的错误传播问题。当前对联合实体和关系抽取的努力集中于通过参数共享、联合解码或其他自组织技巧（例如，建模为半马尔可夫决策过程，投射为多轮阅读理解任务）。然而，仍有两个问题摆在桌面上。首先，大多数方法所利用的交互仍然是弱的和单向的，这是无法模拟两个任务之间的相互依赖。其次，大多数方法都忽略了关系触发，这有助于解释为什么人类会在句子中提取关系。它们对于关系抽取是必不可少的，但却被忽视了。为此，我们提出了一个触发感记忆流框架（TriMF）的联合实体和关系抽取。我们建立了一个记忆模块来记忆实体识别和关系抽取任务中学习到的类别表示。在此基础上，设计了一种多级内存流注意力机制，以增强实体识别和关系抽取之间的双向交互。此外，在没有任何人类注释的情况下，我们的模型可以通过触发传感器模块增强句子中的关系触发信息，这提高了模型的性能，并使模型预测具有更好的解释。实验结果表明，我们提出的框架实现了最先进的结果，提高了关系F1在SciERC上的52.44%（+3.2%），在ACE05上的66.49%（+4.9%），在CoNLL04上的72.35%（+0.6%）和在ADE上的80.66%（+2.3%）。
2021-04-16 cs.CL
Span-based joint entity and relation extraction augmented with sequence tagging mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。然而，由于以前的基于跨度的模型依赖于跨度级别的分类，它们不能受益于标记级别的标签信息，这已被证明有利于任务。在本文中，我们提出了一个序列标记增强的跨度为基础的网络（STSN），一个基于跨度的联合模型，可以利用令牌级的标签信息。在STSN中，我们通过深度堆叠多个注意层来构建核心神经架构，每个注意层由三个基本注意单元组成。该核心架构一方面通过序列标记机制学习标记级标签信息，并将其用于基于跨度的联合抽取;另一方面在NER和RE之间建立双向信息交互。在三个基准数据集上的实验结果表明，STSN在F1方面始终优于最强的基线，创造了新的最先进的结果。
2022-10-23 cs.CL
Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text
East China University of Science and Technology（华东理工大学）；Shanghai Hospital Development Center（上海医院发展中心）
实体和关系抽取是构建医学文本的必要步骤。但是现有模型中的双向长短期记忆网络的特征提取能力并没有达到最佳效果。同时，该语言模型在越来越多的自然语言处理任务中取得了优异的效果。在本文中，我们提出了一个集中注意力模型的联合实体和关系抽取任务。该模型通过动态范围注意力机制将著名的BERT语言模型融入到联合学习中，从而提高了共享参数层的特征表示能力。在曙光医院冠状动脉造影文本上的实验结果表明，命名实体识别和关系分类任务的F1分数分别达到96.89%和88.51%，优于现有方法的1.65%和1.22%。
2019-10-22 cs.CL
Adversarial training for multi-context joint entity and relation extraction
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（ID实验室）；Department of Information Technology（信息技术系）
对抗训练（AT）是一种正则化方法，其可用于通过在训练数据中添加小扰动来提高神经网络方法的鲁棒性。我们展示了如何使用AT的任务，实体识别和关系抽取。特别是，我们证明了将AT应用于通用基线模型以联合提取实体和关系，可以提高不同上下文中几个数据集的最新有效性（即，新闻、生物医学和房地产数据）和不同语言（英语和荷兰语）。
2019-01-14 cs.CL
IMoJIE: Iterative Memory-Based Joint Open Information Extraction
Indian Institute of Technology Delhi（印度理工学院德里分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
虽然传统的开放式信息抽取系统是基于统计和规则的，但最近神经模型已经被引入该任务。我们的工作建立在CopyAttention，一个序列生成OpenIE模型（Cui et.例如，2018年）。我们的分析表明，CopyAttention产生一个常数的提取每句话，其提取的元组往往表示冗余信息。我们提出IMoJIE，CopyAttention的扩展，它产生下一个提取条件的所有先前提取的元组。这种方法克服了CopyAttention的两个缺点，导致每个句子的不同提取数量可变。我们在从几个非神经系统的提取中引导的训练数据上训练IMoJIE，这些数据已经被自动过滤以减少冗余和噪声。IMoJIE比CopyAttention高出约18个F1点，比基于BERT的强基线高出2个F1点，为该任务建立了一个新的技术水平。
2020-05-17 cs.CL
BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction
Ant Financial Services Group（蚂蚁金融服务集团）
在本文中，我们报告了我们在2019年语言和智能挑战赛中的信息抽取任务的方法。我们将BERT纳入联合实体-关系抽取的多头选择框架。该模型从三个方面扩展了现有的方法。首先，采用BERT作为多头选择框架底部的特征提取层。我们通过在BERT预训练期间引入语义增强任务来进一步优化BERT。其次，我们引入了一个大规模的百度百科语料库进行实体识别的预训练，由于没有实际命名的实体标签，所以它是每周监督学习。第三，提出了软标签嵌入，以有效地传递实体识别和关系抽取之间的信息。结合这三个方面的贡献，我们提高了多头选择模型的信息提取能力，并实现了F1-得分0.876测试集-1上的单一模型。通过集成我们模型的四个变体，我们最终在测试集1上获得F1得分0.892（第一名），在测试集2上获得F1得分0.8924（第二名）。
2019-09-26 cs.CL
Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文提出了一种联合信息抽取模型，在整个文档中联合解决命名实体识别、共指消解和关系抽取。特别是，我们研究了如何注入信息从知识库（KB）在这样的IE模型，基于无监督的实体链接。所使用的KB实体表示是从（i）超链接文本文档（Wikipedia）或（ii）知识图谱（Wikidata）中学习的，并且在提高IE性能方面是互补的。相应的实体链接（EL）候选者的表示被添加到输入文档的文本跨度表示，并且我们实验（i）基于其先验（在维基百科中）对EL候选者表示进行加权平均，以及（ii）在EL候选者列表上使用注意力方案。结果表明，在两个数据集上评估的IE任务的F1分数增加了5%。尽管基于先验的模型表现很好，但我们的定量和定性分析揭示了使用基于注意力的方法的优势。
2021-07-05 cs.CL
Boosting Span-based Joint Entity and Relation Extraction via Squence Tagging Mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。最近的研究表明，令牌标签可以传达关键的特定于任务的信息和丰富的令牌语义。然而，据我们所知，由于完全放弃了序列标记机制，所有基于跨度的工作都没有使用令牌标签信息。为了解决这个问题，我们提出了序列标记增强的基于跨度的网络（Sequence Tagging enhancedSpan-based Network，STSN），它是一种基于跨度的联合抽取网络，通过从基于序列标记的NER中获得令牌BIO标签信息来增强。通过将多个注意力层进行深度叠加，设计了一种深度神经架构来构建STSN，每个注意力层由三个基本注意力单元组成。深度神经架构首先学习标记标签的语义表示和基于跨度的联合抽取，然后构建它们之间的信息交互，从而实现基于跨度的NER和RE之间的双向信息交互。此外，我们扩展了BIO标记方案，使STSN可以提取重叠实体。在三个基准数据集上的实验表明，我们的模型始终优于以前的最佳模型，创造了新的最先进的结果。
2022-07-16 cs.CL
Joint entity recognition and relation extraction as a multi-head selection problem
Ghent University（根特大学）；imec（比利时微电子研究中心）
用于联合实体识别和关系抽取的最新模型强烈依赖于外部自然语言处理（NLP）工具，诸如POS（词性）标记器和依赖性解析器。因此，这种联合模型的性能取决于从这些NLP工具获得的特征的质量。然而，这些特征对于各种语言和上下文并不总是准确的。在本文中，我们提出了一个联合神经模型，执行实体识别和关系抽取同时进行，而不需要任何手动提取的功能或使用任何外部工具。具体地，我们使用CRF（条件随机场）层和关系抽取任务将实体识别任务建模为多头选择问题（即，潜在地标识每个实体的多个关系）。我们提出了一个广泛的实验设置，以证明我们的方法使用来自各种背景的数据集的有效性（即，新闻、生物医学、房地产）和语言（即，英文、荷兰文）。我们的模型优于以前使用自动提取特征的神经模型，而它的性能在基于特征的神经模型的合理范围内，甚至超过它们。
2018-12-17 cs.CL
JSEEGraph: Joint Structured Event Extraction as Graph Parsing
University of Oslo（奥斯陆大学）；University of Bergen（卑尔根大学）
提出基于图解析的事件抽取框架JSEEGraph，在单图中联合编码实体、关系与事件并支持嵌套结构，端到端联合推断有效避免错误传播，在多语言基准上显著提升抽取性能。
2023-06-26 cs.CL
Brundlefly at SemEval-2016 Task 12: Recurrent Neural Networks vs. Joint Inference for Clinical Temporal Information Extraction
Stanford University（斯坦福大学）；Mobilize Center（动员中心）
我们提交了两个系统参加SemEval-2016任务12：临床TempEval挑战，参与第1阶段，在第1阶段，我们确定了临床笔记中的时间和事件表达的文本跨度，第2阶段，我们预测了事件与其父文档创建时间之间的关系。对于时间实体提取，我们发现使用结构化预测的基于联合推理的方法优于香草递归神经网络，该网络采用了在各种大型临床文档集上训练的词嵌入。对于文档创建时间关系，我们发现，数据规范化和远程监督规则的组合，用于预测事件和时间表达式的关系，提高了分类，虽然收益是有限的，可能是由于小规模的训练数据。
2016-06-04 cs.CL
Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks
Central University of Finance and Economics（中央财经大学）；Huazhong University of Science and Technology（华中科技大学）；University of York（约克大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；iFLYTEK（科大讯飞）
联合事件提取，其提取结构信息（即，实体或事件的触发器），在自然语言处理中引起了越来越多的研究关注。大多数现有的工作没有完全解决实体和触发器之间的稀疏共现关系，这丢失了这一重要信息，从而降低了提取性能。为了缓解这个问题，我们首先将联合事件提取定义为一个序列到序列的标签任务，标签集由触发器和实体的标签组成。然后，将上述共现关系中的缺失信息，我们提出了一个交叉监督机制（CSM），交替监督的触发器或实体的提取基于彼此的类型分布。此外，由于连接的实体和触发器自然形成异构信息网络（HIN），因此我们利用给定语料库的元路径上的潜在模式来进一步提高我们提出的方法的性能。为了验证我们所提出的方法的有效性，我们进行了广泛的实验上的四个真实世界的数据集，以及比较我们的方法与国家的最先进的方法。实验结果和分析表明，我们的方法优于国家的最先进的方法在实体和触发提取。
2020-10-14 cs.CL
Two are Better than One: Joint Entity and Relation Extraction with Table-Sequence Encoders
Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
命名实体识别和关系抽取是两个重要的基本问题。联合学习算法已经被提出来同时解决这两个任务，并且其中许多将联合任务转换为表格填充问题。然而，他们通常专注于学习单个编码器（通常学习表格形式的表示），以捕获同一空间内两个任务所需的信息。我们认为，它可以是有益的，设计两个不同的编码器，以捕捉这样两种不同类型的信息在学习过程中。在这项工作中，我们提出了新的{ \em表序列编码器}，其中两个不同的编码器-表编码器和序列编码器的设计，以帮助对方在表示学习过程。我们的实验证实了具有{ \em two}编码器优于{ \em one}编码器的优点。在几个标准数据集上，我们的模型显示出比现有方法的显着改进。
2020-10-08 cs.CL
Relabel the Noise: Joint Extraction of Entities and Relations via Cooperative Multiagents
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）
用于实体和关系抽取的基于远程监督的方法已经受到越来越多的欢迎，这是由于这些方法需要少量的人工注释工作。本文研究了\textit{shifted label distribution}问题，该问题是由受外部知识图谱影响的噪声标记训练集和人工标注测试集之间的不一致性引起的，并且由于噪声传播而加剧了流水线的实体-然后-关系抽取方式。我们提出了一个联合提取方法来解决这个问题，重新标记嘈杂的情况下，一组合作的多智能体。为了以细粒度的方式处理噪声实例，合作组中的每个代理通过从自己的角度计算连续的置信度得分来评估实例;为了利用这两个提取任务之间的相关性，设计了置信度共识模块来收集所有代理的智慧并重新分配噪声训练集与置信度得分标签。此外，置信度用于调整提取器的训练损失。在两个真实数据集上的实验结果验证了重新标记噪声实例的好处，并表明该模型明显优于最先进的实体和关系抽取方法。
2020-04-21 cs.CL
Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks
University of Oregon（俄勒冈大学）
现有的信息抽取（IE）工作主要是分别解决四个主要任务（实体提及识别、关系抽取、事件触发器检测和参数抽取），因此未能从任务之间的相互依赖性中获益。本文提出了一种新的深度学习模型，可以在一个模型中同时解决IE的四个任务（称为FourIE）。与之前联合执行四个IE任务的工作相比，FourIE具有两个新的贡献来捕获任务之间的相互依赖性。首先，在表示层面，我们引入了四个任务的实例之间的交互图，用于丰富一个实例的预测表示与其他任务的相关实例。其次，在标签级别，我们提出了一个依赖图的信息类型在四个IE任务，捕捉输入句子中表达的类型之间的连接。引入了一种新的正则化机制来加强黄金依赖图和预测依赖图之间的一致性，以改善表示学习。我们表明，该模型实现了最先进的性能，联合IE单语和多语言学习设置与三种不同的语言。
2021-03-26 cs.CL
A Bidirectional Tree Tagging Scheme for Joint Medical Relation Extraction
Peking University（北京大学）
联合医学关系抽取是指用单一模型从医学文本中抽取由实体和关系组成的三元组。解决方案之一是将此任务转换为顺序标记任务。然而，在现有的工作中，以线性方式表示和标记三元组的方法无法处理重叠三元组，并且将三元组组织为图的方法面临着计算量大的挑战。在本文中，受医学文本中的树状关系结构的启发，我们提出了一种新的方案，称为双向树标记（BiTT），形成医疗关系三元组为两个两个二叉树，并将树转换成一个字级的标签序列。基于BiTT方案，我们开发了一个联合关系抽取模型来预测BiTT标签，并进一步有效地提取医学三元组。在两个医学数据集上，我们的模型在F1评分上比最佳基线高出2.0%和2.5%。更重要的是，我们的BiTT计划的模型也取得了可喜的结果在其他领域的三个公共数据集。
2022-08-17 cs.CL
Fusion Makes Perfection: An Efficient Multi-Grained Matching Approach for Zero-Shot Relation Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）
针对零样本关系抽取中细粒度标注昂贵且语义交互计算开销大的问题，本文提出融合虚拟实体匹配、粗粒度召回与细粒度分类的高效多粒度方法，在保证推理速度的同时超越已有 SOTA。
2024-06-17 cs.AI cs.CL
Joint Information Extraction Across Classical and Modern Chinese with Tea-MOELoRA
The Hong Kong Polytechnic University（香港理工大学）；Renmin University of China（中国人民大学）
针对中文信息抽取跨古典与现代任务干扰问题，提出Tea-MOELoRA框架，结合LoRA与混合专家及任务-时代感知路由，实验优于基线。
2025-09-09 cs.CL
Jointly Learning Span Extraction and Sequence Labeling for Information Extraction from Business Documents
CINNAMON AI；Hung Yen University of Technology and Education（兴安技术教育大学）
提出了一种新的商务文档信息抽取模型。与以往仅基于跨度提取或序列标记的研究不同，该模型兼顾了跨度提取和序列标记的优点。这种组合允许模型处理具有稀疏信息（少量提取信息）的长文档。该模型是端到端训练的，以统一的方式联合优化这两个任务。在英语和日语的四个商业数据集上的实验结果表明，该模型取得了令人满意的结果，并显着快于正常的跨度为基础的提取方法。代码也可用。
2022-05-26 cs.AI cs.CL
Jointly Identifying and Fixing Inconsistent Readings from Information Extraction Systems
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Philips Research North America（飞利浦北美研究院）
KGCleaner是一个框架，用于识别和纠正由信息抽取系统产生和传递的数据中的错误。这些任务已经被充分研究，KGCleaner是第一个解决这两个问题的。我们引入了一个多任务模型，该模型联合学习预测提取的关系是否可信，如果不可信则修复它。我们评估了我们的方法和其他模型，作为我们框架的两个集合的实例：一个包含近70万事实和500万事实相关句子的维基数据语料库，以及一个来自2015年TAC知识库人口任务的3万事实的集合。对于可信度分类，参数有效的简单浅层神经网络可以在Wikidata上实现30个$F_1$点的绝对性能增益，并且在TAC上具有相当的性能。对于修复任务，可以根据数据集和模型的性质获得显着的性能（超过两倍）增益。
2023-01-27 cs.CL
NERO: A Neural Rule Grounding Framework for Label-Efficient Relation Extraction
University of Southern California（南加州大学）；Tsinghua University（清华大学）；Snapchat Inc.（Snapchat公司）
用于关系抽取的深度神经模型在完美标记的数据有限时往往不太可靠，尽管它们在标记充足的场景中取得了成功。而不是寻求更多的实例级标签从人类注释，在这里，我们建议注释频繁的表面模式，形成标签规则。这些规则可以从大型文本语料库中自动挖掘，并通过软规则匹配机制进行泛化。现有的工作使用标签规则在一个精确的匹配方式，这固有地限制了句子匹配的覆盖范围，并在低召回问题的结果。在本文中，我们提出了一个神经元方法的基本规则RE，命名为NERO，共同学习的关系抽取模块和软匹配模块。可以采用任何神经关系抽取模型作为RE模块的实例。软匹配模块学习将规则与语义相似的句子匹配，使得除了完全匹配的句子之外，原始语料库可以被RE模块自动标记和利用（在更好的覆盖范围内）作为增强的监督。在两个公共数据集上的大量实验和分析表明，与基于规则和半监督的方法相比，所提出的NERO框架是有效的。通过用户研究，我们发现人类注释规则和句子的时间效率是相似的（每个标签0.30与0.35分钟）。特别是，NERO使用270条规则的性能与使用3，000个标记句子训练的模型相当，速度提高了9.5倍。此外，NERO可以在测试时预测看不见的关系，并提供可解释的预测。我们向社区发布代码以供将来研究。
2020-01-15 cs.CL
Deeper Task-Specificity Improves Joint Entity and Relation Extraction
多任务学习（MTL）是学习相关任务的一种有效方法，但设计MTL模型需要决定哪些参数和多少参数应该是特定于任务的，而不是在任务之间共享。我们调查这个问题的问题，共同学习命名实体识别（NER）和关系抽取（RE），并提出了一种新的神经架构，允许更深的任务特异性比以前的工作。特别是，我们为NER和RE任务引入了额外的特定于任务的双向RNN层，并为不同的数据集分别调整了共享层和特定于任务的层的数量。我们在ADE数据集上实现了两个任务的最先进（SOTA）结果;在CoNLL 04数据集上，我们在NER任务上实现了SOTA结果，在RE任务上实现了竞争结果，同时使用了比当前SOTA架构少一个数量级的可训练参数。消融研究证实了额外的任务特定层对于实现这些结果的重要性。我们的工作表明，以前的解决方案，联合NER和RE低估了任务的特异性，并证明了正确平衡的共享和任务特定的参数的MTL方法的数量一般的重要性。
2020-02-15 cs.CL
Modeling Instance Interactions for Joint Information Extraction with Neural High-Order Conditional Random Field
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；ShanghaiTech University（上海科技大学）；Beijing Jiaotong University（北京交通大学）
本文提出CRFIE框架，将联合信息抽取建模为高阶条件随机场，通过二元和三元因子建模实例间交互，并结合高阶神经解码器实现一致学习与推断，在三个IE任务上取得一致提升。
2023-05-28 cs.CL
Bootstrapping Distantly Supervised IE using Joint Learning and Small Well-structured Corpora
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个框架，以提高性能的远程监督关系抽取，通过联合学习解决两个相关的任务：概念实例提取和关系抽取。我们将此与文档结构的新用途相结合：在一些小的，结构良好的语料库中，可以识别对应于关系参数的部分，并且从这些部分中标记的远距离示例往往具有良好的精度。使用这些作为种子，我们提取额外的关系的例子，通过应用标签传播的图形组成的噪声的例子从一个大型的非结构化测试语料库。结合软约束，概念的例子应该有相同类型的第二个参数的关系，我们得到了显着的改进，在几个国家的最先进的方法，远程监督关系抽取。
2016-08-11 cs.CL
Joint Entity and Relation Extraction with Set Prediction Networks
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Unisound Information Technology Co., Ltd（北京云知声信息技术有限公司）
联合实体和关系抽取任务旨在从句子中抽取所有关系三元组。从本质上讲，包含在句子中的关系三元组是无序的。然而，先前基于seq 2seq的模型需要在训练阶段将三元组的集合转换为序列。为了打破这一瓶颈，我们将联合实体和关系抽取作为直接集合预测问题处理，使抽取模型摆脱了预测多个三元组顺序的负担。为了解决这个集合预测问题，我们提出了具有非自回归并行解码的Transformers网络。与按一定顺序逐个生成三元组的自回归方法不同，所提出的网络直接一次性输出最终的三元组集合。此外，我们还设计了一个基于集合的损失，通过二分匹配强制唯一的预测。与高度惩罚三阶中的小位移的交叉熵损失相比，所提出的二分匹配损失对预测的任何排列都是不变的;因此，它可以通过忽略三阶并专注于关系类型和实体来为所提出的网络提供更准确的训练信号。在两个基准数据集上的实验表明，我们提出的模型显着优于当前最先进的方法。训练代码和训练模型将在http://github.com/DianboWork/SPN4RE上提供。
2020-11-05 cs.CL
Prompt-based Graph Model for Joint Liberal Event Extraction and Event Schema Induction
Peking University School of Software（北京大学软件学院）
提出基于提示的图模型PGLEE，联合进行自由事件抽取与事件模式归纳，无需预定义模式即可高效抽取事件并发现高质量模式。
2024-03-19 cs.CL
Joint Biomedical Entity and Relation Extraction with Knowledge-Enhanced Collective Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
与一般新闻领域相比，生物医学文本的信息抽取需要更广泛的领域知识。然而，许多以前的IE方法在推理过程中不利用任何外部知识。由于生物医学出版物的指数增长，不超过其固定参数集的模型可能会落后。受人类如何查找相关信息来理解科学文本的启发，我们提出了一个新的框架，利用外部知识进行联合实体和关系抽取命名为KECI（知识增强集体推理）。给定一个输入文本，KECI首先构造一个初始跨度图，表示它对文本的初始理解。然后使用实体链接器形成包含文本中提到的实体的相关背景知识的知识图谱。为了做出最终的预测，KECI使用注意力机制将初始跨度图和知识图谱融合成一个更精细的图。KECI采用一种集体方法，通过使用图卷积网络将全局关系信息集成到局部表示中，将提及跨度与实体联系起来。我们的实验结果表明，该框架是非常有效的，在两个不同的基准数据集：BioRelEx（结合相互作用检测）和ADE（不良药物事件提取）实现了新的最先进的结果。例如，KECI在BioRelEx实体和关系抽取任务上的F1得分比最先进的技术分别提高了4.59%和4.91%。
2021-06-01 cs.CL
Smart-Hiring: An Explainable end-to-end Pipeline for CV Information Extraction and Job Matching
ATM Mobilis Algiers, Algeria（阿尔及利亚阿尔梅里尔ATM Mobilis）
本文提出Smart-Hiring，一个端到端NLP流水线，通过文档解析、命名实体识别和上下文文本嵌入技术，从非结构化简历中提取结构化信息，并在共享向量空间中计算候选人与职位的相似度，实现了高准确率、高可解释性的自动化简历筛选与职位匹配。
2025-11-04 cs.CL
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.（Sansan公司）
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题，本文探究多字段联合提取的优势，通过多模型与数据集实验验证其准确率提升效果，还分析了性能与字段数的关系并量化字段关联，为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
Relation Extraction or Pattern Matching? Unravelling the Generalisation Limits of Language Models for Biographical RE
Faculty of Informatics, TU Wien（信息学院，维也纳技术大学）；D!ARC, University of Klagenfurt（D!ARC，克雷格福特大学）；Digital Philology, University of Vienna（数字人文，维也纳大学）；Khoury College of Computer Sciences, Northeastern University（科赫计算机科学学院，东北大学）
本研究揭示了语言模型在生物信息关系抽取任务中的泛化极限，指出数据质量和适应策略选择对迁移能力的影响，并指出现有基准的结构性问题限制了模型性能。
2025-12-13 cs.CL
Joint Entity Extraction and Assertion Detection for Clinical Text
Amazon, USA（亚马逊（美国））
阴性医学发现在临床报告中普遍存在，然而将它们与阳性发现区分开仍然是信息抽取的一项具有挑战性的任务。大多数现有系统将该任务视为两个单独任务的流水线，即，命名实体识别（NER）和基于规则的否定检测。我们认为这是一个多任务的问题，并提出了一种新的端到端的神经模型，以联合提取实体和否定。我们扩展了一个标准的分层编码器-解码器NER模型，首先采用一个共享的编码器，然后分别为这两个任务解码器。这种架构的性能比以前的基于规则和基于机器学习的系统要好得多。为了克服参数大小增加的问题，特别是对于低资源设置，我们提出了条件Softmax共享解码器架构，该架构在2010年i2 b2/VA挑战数据集和专有的去识别临床数据集上实现了NER和否定检测的最新结果。
2020-01-22 cs.CL
Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个联合的事件和时间关系抽取模型与共享的表示学习和结构化预测。所提出的方法有两个优点比现有的工作。首先，它通过允许事件和关系模块共享相同的上下文嵌入和神经表示学习器来改进事件表示。其次，它避免了传统的管道系统中的错误传播，利用结构化推理和学习方法来分配事件标签和时间关系标签联合。实验结果表明，该方法在事件抽取和时态关系抽取两个方面均优于现有系统，在两个基准数据集上的端到端F1分别提高了10%和6.8%.
2020-09-15 cs.AI cs.CL
Two Step Joint Model for Drug Drug Interaction Extraction
Zhejiang University（浙江大学）；Hikvision（海康威视）；University of Southern California（南加州大学）
当患者需要服药时，特别是同时服用多种药物时，应警惕可能存在的药物相互作用。药物之间的相互作用可能会对患者产生负面影响，甚至导致死亡。一般来说，与特定药物（或标签药物）冲突的药物通常在其药物标签或包装说明书中描述。由于越来越多的新药产品进入市场，很难通过人工收集这些信息。我们参加了2018年文本分析会议（TAC）的药物标签中药物相互作用（DDI）提取挑战，选择task 1和task 2分别自动提取DDI相关提及和DDI关系。我们提出了一个两步联合模型来联合检测DDI及其相关提及，而不是将task 1看作命名实体识别（NER）任务，将task 2看作关系抽取（RE）任务，然后在流水线中求解。序列标记系统（CNN-GRU编码器-解码器）首先找到沉淀物，然后搜索其细粒度触发器，并在第二步中确定每个沉淀物的DDI。此外，建立了基于规则的模型来确定药代动力学相互作用的子类型。我们的系统在task 1和task 2中都取得了最好的结果。F-测量在任务1中达到0.46，在任务2中达到0.40。
2020-08-28 cs.CL
OneRel:Joint Entity and Relation Extraction with One Module in One Step
Beijing Institute of Technology（北京理工大学）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（海量语言信息处理与云计算应用北京市工程研究中心）
联合实体和关系抽取是自然语言处理和知识图谱构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤，以使其易于进行。然而，这种模式忽视了一个事实，即三重性的三个要素是相互依存和不可分割的。因此，以前的联合方法遭受级联误差和冗余信息的问题。为了解决这些问题，在本文中，我们提出了一种新的联合实体和关系抽取模型，命名为OneRel，它将联合抽取作为一个细粒度的三重分类问题。具体来说，我们的模型包括一个基于评分的分类器和一个关系特定的角标记策略。前者评估一个标记对和一个关系是否属于一个事实三元组。后者确保了简单但有效的解码过程。在两个广泛使用的数据集上的大量实验结果表明，该方法的性能优于最先进的基线，并在各种重叠模式和多个三元组的复杂场景下提供一致的性能增益。
2022-03-17 cs.AI cs.CL
Joint Extraction of Entity and Relation with Information Redundancy Elimination
针对实体抽取和关系抽取模型中存在的冗余信息和重叠关系问题，提出了一种联合抽取模型。该模型可以直接提取多对相关实体，而不会产生不相关的冗余信息。我们还提出了一个名为Encoder-LSTM的递归神经网络，它增强了递归单元建模句子的能力。具体来说，联合模型包括三个子模块：命名实体识别子模块，由预训练的语言模型和LSTM解码器层组成;实体对提取子模块，使用Encoder-LSTM网络对相关实体对之间的顺序关系进行建模;关系分类子模块，包括注意力机制。我们在公共数据集ADE和CoNLL 04上进行了实验，以评估我们的模型的有效性。实验结果表明，该模型在实体和关系抽取任务中取得了良好的性能，并能大大减少冗余信息量。
2020-11-27 cs.AI cs.CL
Encoding Implicit Relation Requirements for Relation Extraction: A Joint Inference Approach
Peking University（北京大学）；IBM China Research Lab（IBM中国研究院）
关系抽取是识别实体之间预定义关系的任务，在信息抽取、知识库构建、问答等方面起着至关重要的作用。现有的关系抽取器大多对每个实体对进行局部和单独的预测，而忽略了跨不同实体对和知识库中隐含的全局线索，这常常导致来自不同实体对的局部预测之间的冲突。本文提出了一个联合推理框架，采用这种全球性的线索，以解决当地的预测之间的分歧。我们利用两种线索来生成约束，这些约束可以捕获关系的隐式类型和基数要求。这些约束可以在硬风格或软风格中进行检查，这两种风格都可以在整数线性规划公式中进行有效探索。在英文和中文数据集上的实验结果表明，该框架能够有效地利用这两类全局线索，解决局部预测之间的不一致，从而在线索适用于数据集的情况下改进各种关系抽取器。我们的实验还表明，从现有的知识库中自动学习的线索，执行或优于那些细化的人。
2018-11-09 cs.CL
A Joint Neural Baseline for Concept, Assertion, and Relation Extraction from Clinical Text
Kyoto University（京都大学）；Tokyo University of Technology（东京工科大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种联合神经基线，用于联合优化临床文本中的概念、断言和关系提取任务，通过实验验证其在F1指标上的优越性。
2026-03-08 cs.AI cs.CL
Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
实体和关系的联合抽取是信息抽取中的一项重要任务。为了解决这个问题，我们首先提出了一种新的标记方案，可以将联合提取任务转换为标记问题。然后，基于我们的标记方案，我们研究了不同的端到端模型，直接提取实体和它们的关系，而不需要单独识别实体和关系。我们在远程监督方法产生的公共数据集上进行了实验，实验结果表明，基于标记的方法优于大多数现有的流水线和联合学习方法。此外，本文提出的端到端模型在公共数据集上取得了最佳效果。
2017-06-07 cs.AI cs.CL cs.LG
Similarity-based Memory Enhanced Joint Entity and Relation Extraction
Alphamoon Ltd.（Alphamoon有限公司）；Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
针对文档级联合实体与关系抽取中现有序列多任务方法忽略任务间复杂关联的问题，提出带双向类记忆依赖的多任务学习框架，在BioCreative V CDR数据集上取得SOTA结果。
2023-07-14 cs.CL cs.LG
Joint Learning-based Causal Relation Extraction from Biomedical Literature
Soochow University（苏州大学）；The Hong Kong Polytechnic University（香港理工大学）
生物医学实体的因果关系抽取是生物医学文本挖掘中最复杂的任务之一，涉及实体关系和实体函数两类信息。一种可行的方法是将关系抽取和函数检测作为两个独立的子任务。然而，这种分离的学习方法忽略了它们之间的内在相关性，并导致性能不令人满意。本文提出了一种联合学习模型，将实体关系抽取和实体功能检测结合起来，利用它们的共性，捕捉它们之间的相互关系，从而提高生物医学因果关系抽取的性能。同时，在模型训练阶段，损失函数中的不同函数类型被分配不同的权重。具体地说，针对负函数实例的惩罚系数增加，有效地提高了函数检测的精度。在BioCreative-V Track 4语料库上的实验结果表明，我们的联合学习模型在BEL语句提取方面优于单独的模型，在第2阶段和第1阶段的测试集上分别获得了58.4%和37.3%的F1分数。这表明，我们的联合学习系统达到了最先进的性能，在第二阶段与其他系统相比。
2022-08-02 cs.AI cs.CL
Joint Extraction of Events and Entities within a Document Context
Carnegie Mellon University（卡内基梅隆大学）
事件和实体密切相关;实体通常是事件的参与者或参与者，没有实体的事件是罕见的。对事件和实体的解释高度依赖于上下文。信息抽取中的现有工作通常将事件与实体分开建模，并在句子级别执行推理，忽略文档的其余部分。在本文中，我们提出了一种新的方法，模型之间的依赖关系的事件，实体和它们的关系的变量，并执行跨文档的这些变量的联合推理。目标是允许访问文档级上下文信息，并促进上下文感知预测。我们证明，我们的方法大大优于国家的最先进的事件提取方法，以及实体提取的强大基线。
2016-09-12 cs.AI cs.CL
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出双曲匹配模型HyperMatch，将短语和文档嵌入同一双曲空间，用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题，在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs（亚马逊云科技人工智能实验室）
关系抽取是一项重要但具有挑战性的任务，旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展，关系抽取方法在各种基准测试中取得了良好的性能。然而，我们观察到以前的方法的两个缺点：第一，没有统一的框架，以及在各种关系抽取设置;第二，有效地利用外部知识作为背景信息是缺席。在这项工作中，我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架，顺序生成各种关系抽取设置下的关系三元组，并明确利用相关知识从知识图谱（KG）来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能，包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
RheinMain University of Applied Sciences（莱茵美因应用科学大学）
介绍了SpERT，一种基于跨度的联合实体的注意力模型和关系抽取。我们的主要贡献是一个轻量级的推理BERT嵌入，其功能实体识别和过滤，以及关系分类与本地化，无标记的上下文表示。该模型使用强句内否定样本进行训练，这些样本在单个BERT通道中有效地提取。这些方面便于在句子中的所有跨度上进行搜索。在消融研究中，我们证明了预训练，强负采样和局部背景的好处。我们的模型在联合实体和关系抽取的几个数据集上的F1得分高达2.6%，优于先前的工作。
2021-06-28 cs.CL cs.LG
Pipelined Biomedical Event Extraction Rivaling Joint Learning
本文提出基于BERT的n元关系抽取方法构建Binding事件，在BioNLP GE11和GE13上F1达63.14%和59.40%，使流水线方法性能媲美甚至超越联合学习。
2024-03-19 cs.AI cs.CL
Jointprop: Joint Semi-supervised Learning for Entity and Relation Extraction with Heterogeneous Graph-based Propagation
Nanyang Technological University（南洋理工大学）
本文提出Jointprop框架，通过基于异构图的标签传播实现命名实体识别与关系抽取的联合半监督学习，利用任务间关联和未标注数据相似性，在基准数据集上超越现有半监督方法。
2023-05-25 cs.AI cs.CL
Multi-layer Sequence Labeling-based Joint Biomedical Event Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University（香港理工大学中文及双语学系）
针对生物医学事件抽取现有方法复杂、未有效显式利用触发词信息的问题，提出基于多层序列标注的联合抽取方法MLSL，显式融入候选触发词信息学习交互关系，以简单工作流实现更优的抽取性能。
2024-08-14 cs.AI cs.CL
Modeling Task Interactions in Document-Level Joint Entity and Relation Extraction
Emory University（埃默里大学）
我们的目标是在一个端到端的设置文档级的关系抽取，其中模型需要联合执行提及提取，共指消解（COREF）和关系抽取（RE）一次，并得到一个以实体为中心的方式进行评估。特别是，我们解决了COREF和RE之间的双向互动，还没有被以前的工作的重点，并建议引入明确的互动，即图兼容性（GC），是专门设计来利用任务的特点，桥接两个任务的直接任务干扰的决定。我们的实验在DocRED和DWIE上进行;除了GC之外，我们还实现并比较了以前工作中常用的不同多任务设置，包括管道，共享编码器，图形传播，以检查不同交互的有效性。结果表明，GC实现了最佳性能，比基线提高了2.3/5.1 F1。
2022-05-04 cs.CL cs.LG
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系（头实体-关系-尾实体）。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离，使用各自的模块进行抽取。这种方法虽然具有较好的灵活性，但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型，同时实现实体识别和关系抽取，能够很好地保留实体和关系之间的关联，将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法，结合词混合向量映射方法和自注意力机制，有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
