Detection, Disambiguation, Re-ranking: Autoregressive Entity Linking as a Multi-Task Problem
University of California, San Diego(加州大学圣地亚哥分校);Meta AI
我们提出了一个自回归实体链接模型,该模型使用两个辅助任务进行训练,并学会在推理时对生成的样本进行重新排序。我们提出的新颖性解决了文献中的两个弱点。首先,最近的方法提出学习提及检测,然后实体候选选择,但依赖于预定义的候选集。我们使用编码器-解码器自回归实体链接,以绕过这一需要,并提出了训练提及检测作为一个辅助任务。其次,以前的工作表明,重新排序可以帮助纠正预测错误。我们添加了一个新的辅助任务,匹配预测,以学习重新排名。在不使用知识库或候选集的情况下,我们的模型在实体链接的两个基准数据集中设置了一个新的最新技术水平:生物医学领域的COMETA和新闻领域的AIDA-CoNLL。我们通过消融研究表明,两个辅助任务中的每一个都可以提高性能,并且重新排名是提高性能的重要因素。最后,我们的低资源实验结果表明,主要任务的性能受益于辅助任务所学到的知识,而不仅仅是额外的训练数据。
2022-04-12 cs.CL
Autoregressive Entity Retrieval
University of Amsterdam(阿姆斯特丹大学);Facebook AI Research(脸书人工智能研究实验室);ENS, PSL University(巴黎高等师范学院、PSL大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
实体是我们如何表示和聚合知识的核心。例如,诸如维基百科的百科全书由实体(例如,每个维基百科条目一个)。在给定查询的情况下检索这样的实体的能力对于诸如实体链接和开放域问答之类的知识密集型任务是基本的。当前的方法可以被理解为原子标签之间的分类器,每个实体一个。它们的权重向量是通过对实体Meta信息(例如其描述)进行编码而产生的密集实体表示。这种方法有几个缺点:(i)上下文和实体亲和力主要通过矢量点积来捕获,可能会丢失细粒度的交互;(ii)在考虑大型实体集时,需要大量的内存占用来存储密集表示;(iii)在训练时必须对一组适当的硬负数据进行二次采样。在这项工作中,我们提出了GENRE,第一个系统,检索实体生成其唯一的名称,从左到右,令牌令牌的自回归方式。这缓解了上述技术问题,因为:(i)自回归公式直接捕获上下文和实体名称之间的关系,有效地交叉编码两者;(ii)存储器占用大大减少,因为我们的编码器-解码器架构的参数随词汇大小而不是实体计数缩放;(iii)计算softmax损失而不对负数据进行二次采样。我们对20多个数据集进行了实体消歧、端到端实体链接和文档检索任务的实验,在使用竞争系统内存占用的一小部分的同时,实现了新的最先进或非常有竞争力的结果。最后,我们证明了新的实体可以通过简单地指定它们的名称来添加。代码和预先训练的模型在https://github.com/facebookresea…
2021-03-24 cs.CL cs.IR cs.LG
Joint Extraction of Entity and Relation with Information Redundancy Elimination
针对实体抽取和关系抽取模型中存在的冗余信息和重叠关系问题,提出了一种联合抽取模型。该模型可以直接提取多对相关实体,而不会产生不相关的冗余信息。我们还提出了一个名为Encoder-LSTM的递归神经网络,它增强了递归单元建模句子的能力。具体来说,联合模型包括三个子模块:命名实体识别子模块,由预训练的语言模型和LSTM解码器层组成;实体对提取子模块,使用Encoder-LSTM网络对相关实体对之间的顺序关系进行建模;关系分类子模块,包括注意力机制。我们在公共数据集ADE和CoNLL 04上进行了实验,以评估我们的模型的有效性。实验结果表明,该模型在实体和关系抽取任务中取得了良好的性能,并能大大减少冗余信息量。
2020-11-27 cs.AI cs.CL
Entity Concept-enhanced Few-shot Relation Extraction
BeiHang University(北京航空航天大学);Pengcheng Laboratory(鹏城实验室);Hikvision Research Institute(海康威视研究院)
Few-Shot关系抽取(FSRE)在解决长尾分布问题中具有重要意义,特别是在数据资源较少的特殊领域。现有的FSRE算法由于样本有限和知识缺乏,仅根据句子信息和识别出的实体对不能准确地对关系进行分类。针对这一问题,本文提出了一种新的实体概念增强的Few-Shot关系抽取方案(ConceptFERE),该方案引入实体固有的概念,为关系预测提供线索,提高关系分类性能。首先,开发了一个概念-句子注意模块,通过计算句子和概念之间的语义相似度,从每个实体的多个概念中选择最合适的概念。其次,提出了一个基于自注意的融合模块,弥补了不同语义空间的概念嵌入和句子嵌入的不足。在FSRE基准数据集FewRel上进行的大量实验证明了所提出的ConceptFERE方案与最先进的基线相比的有效性和优越性。代码可在https://github.com/LittleGuoKe/ConceptFERE上获得。
2021-06-04 cs.AI cs.CL cs.LG
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限责任公司)
我们提出了KPI-BERT,一个系统,它采用新的方法命名实体识别(NER)和关系抽取(RE)提取和链接的关键绩效指标(KPI),如“收入”或“利息支出”,公司从现实世界的德国金融文件。具体来说,我们引入了一种端到端的可训练架构,该架构基于来自Transformers的双向编码器表示(BERT),将递归神经网络(RNN)与条件标签掩蔽相结合,以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制,并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能,超过了几个强大的基线,包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
AIFB-WebScience at SemEval-2022 Task 12: Relation Extraction First -- Using Relation Extraction to Identify Entities
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出了一种基于转换器的语言模型的端到端联合实体和关系抽取方法。我们将该模型应用于将数学符号与LaTeX文档中的描述联系起来的任务。与现有的方法,执行实体和关系抽取的顺序,我们的系统将信息从关系抽取到实体提取。这意味着系统甚至可以在仅标注了所有有效实体跨度的子集的数据集上进行训练。我们提供了一个广泛的评价拟议的系统及其优点和缺点。我们的方法可以在推理时动态缩放计算复杂性,产生高精度的预测,并在SemEval-2022任务12的排行榜中排名第三。对于物理和数学领域的输入,它分别达到了95.43%和79.17%的高关系抽取宏F1分数。用于训练和评估我们模型的代码可在https://github.com/nicpopovic/RE1st上获得
2022-05-04 cs.AI cs.CL cs.LG
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Graph Neural Network-Based Entity Extraction and Relationship Reasoning in Complex Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);San Francisco State University(旧金山州立大学);Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);Tulane University(杜兰大学);Columbia University(哥伦比亚大学)
本文提出基于图卷积网络和图注意力网络的端到端联合模型,用于复杂知识图谱的实体抽取与关系推理,实验证明其在AUC、召回率、精确率和F1值等指标上优于多种深度学习方法,并展现出更强的泛化能力与稳定性。
2024-11-19 cs.AI cs.CL cs.LG
A Web Scale Entity Extraction System
Facebook Inc(Facebook公司)
通过实体和概念的视角来理解网络上内容的语义含义具有许多实际优势。然而,在构建大规模实体提取系统时,从业者面临着独特的挑战,包括找到利用互联网平台上可用数据的规模和种类的最佳方法。我们目前的学习,从我们的努力,在大规模使用多模态Transformers建立一个多文档类型的实体提取系统。我们实证证明了多语言,多任务和跨文档类型学习的有效性。我们还讨论了标签收集方案,有助于尽量减少收集的数据中的噪声量。
2021-08-27 cs.AI cs.CL
EMBRE: Entity-aware Masking for Biomedical Relation Extraction
RMIT University(皇家墨尔本理工大学)
本文提出EMBRE方法,通过实体掩码预训练将实体知识融入深度神经网络,提升生物医学关系抽取中实体对、关系和新颖性预测的性能。
2024-01-15 cs.AI cs.CL
ASPER: Answer Set Programming Enhanced Neural Network Models for Joint Entity-Relation Extraction
New Mexico State University(新墨西哥州立大学)
本文提出ASPER模型,通过在神经网络学习过程中结合答案集编程(ASP)表示的事实知识与推导知识,实现联合实体关系抽取,在两个真实数据集上持续优于基线方法。
2023-05-24 cs.AI cs.CL cs.LG
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory(Sber人工智能实验室)
医学实体抽取是医学文本处理的第一步。通常,医学EE是一个两步过程:命名实体识别(NER)和命名实体规范化(NEN)。我们提出了一种从电子健康记录(EHR)中进行医疗EE的新方法,作为一个单步多标签分类任务,通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标,以远程监督的方式进行端到端的训练。我们表明,我们的模型可以学习对足够频繁出现的实体进行泛化,从而为最频繁的实体实现人类级别的分类质量。我们的工作表明,医疗实体提取可以在没有人类监督的情况下进行端到端的提取,并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction
Baidu Inc.(百度公司)
实体作为关系抽取任务中的基本元素,具有一定的结构性。在这项工作中,我们制定了这样的结构提到对之间的独特的依赖关系。然后,我们提出了SSAN,它将这些结构的依赖性内的标准自我注意力机制,并在整个编码阶段。具体来说,我们在每个自我注意构建块内设计了两个替代转换模块来产生注意偏差,从而自适应地调整其注意流。我们的实验证明了所提出的实体结构和SSAN的有效性。它显著优于竞争基准,在三个流行的文档级关系抽取数据集上获得了最新的结果。我们进一步提供消融和可视化来展示实体结构如何引导模型以获得更好的关系抽取。我们的代码是公开的。
2021-02-20 cs.AI cs.CL
A Variational Approach for Mitigating Entity Bias in Relation Extraction
JP Morgan AI Research(摩根大通AI研究);University of Oxford(牛津大学)
针对关系抽取中模型过度依赖实体导致泛化差的实体偏差问题,提出基于变分信息瓶颈框架的新方法,压缩实体信息并保留任务相关特征,在多领域两类测试设置下达SOTA,兼具鲁棒性、可解释性与理论支撑。
2025-06-13 cs.AI cs.CL
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
RheinMain University of Applied Sciences(莱茵美因应用科学大学)
介绍了SpERT,一种基于跨度的联合实体的注意力模型和关系抽取。我们的主要贡献是一个轻量级的推理BERT嵌入,其功能实体识别和过滤,以及关系分类与本地化,无标记的上下文表示。该模型使用强句内否定样本进行训练,这些样本在单个BERT通道中有效地提取。这些方面便于在句子中的所有跨度上进行搜索。在消融研究中,我们证明了预训练,强负采样和局部背景的好处。我们的模型在联合实体和关系抽取的几个数据集上的F1得分高达2.6%,优于先前的工作。
2021-06-28 cs.CL cs.LG
GraphER: A Structure-aware Text-to-Graph Model for Entity and Relation Extraction
FI Group(FI集团);LIPN, CNRS UMR 7030(法国国家科学研究中心UMR 7030实验室(LIPN))
本文提出GraphER模型,将信息抽取视为图结构学习,通过动态优化图结构实现实体和关系的联合预测,在基准上取得竞争性结果。
2024-04-18 cs.AI cs.CL
GLiNER-Relex: A Unified Framework for Joint Named Entity Recognition and Relation Extraction
Knowledgator Engineering(Knowledgator工程公司);Baldor Technologies Pvt. Ltd. (IDfy)(Baldor技术私人有限公司(IDfy))
GLiNER-Relex通过统一架构实现命名实体识别与关系抽取,利用共享的双向Transformer编码器联合表示文本、实体类型和关系类型标签,支持零样本提取任意实体和关系类型,且在四个基准数据集上表现优异。
2026-05-11 cs.CL cs.LG
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系(头实体-关系-尾实体)。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离,使用各自的模块进行抽取。这种方法虽然具有较好的灵活性,但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型,同时实现实体识别和关系抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法,结合词混合向量映射方法和自注意力机制,有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
Similarity-based Memory Enhanced Joint Entity and Relation Extraction
Alphamoon Ltd.(Alphamoon有限公司);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
针对文档级联合实体与关系抽取中现有序列多任务方法忽略任务间复杂关联的问题,提出带双向类记忆依赖的多任务学习框架,在BioCreative V CDR数据集上取得SOTA结果。
2023-07-14 cs.CL cs.LG
Dealing with negative samples with multi-task learning on span-based joint entity-relation extraction
Hohai University(河海大学)
本文提出 SpERT.MT 模型,通过多任务学习缓解负样本干扰,并引入 IoU 位置信息和实体 Logits 增强分类,在 CoNLL04、SciERC、ADE 上取得优异 F1 成绩。
2023-09-18 cs.CL cs.LG
Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Kyoto University(京都大学);Hunan Normal University(湖南师范大学);Waseda University(早稻田大学)
实体和关系抽取联合抽取的目的是直接从纯文本中抽取关系三元组。先前的工作利用序列到序列(Seq2Seq)模型来生成三联体序列。然而,Seq2Seq对无序三元组强制执行不必要的顺序,并且涉及与错误累积相关联的大解码长度。这些引入暴露偏差,这可能导致模型过拟合频繁的标签组合,从而恶化泛化。我们提出了一种新的序列到无序多树(Seq2UMTree)模型,通过将解码长度限制为三个三元组内的三个,并删除三元组之间的顺序,以尽量减少曝光偏差的影响。我们在两个数据集DuIE和NYT上评估了我们的模型,并系统地研究了暴露偏倚如何改变Seq2Seq模型的性能。实验表明,最先进的Seq2Seq模型对两个数据集都过拟合,而Seq2UMTree显示出更好的泛化能力。我们的代码可在https://github.com/WindChimeRan/OpenJERE上获得。
2020-10-06 cs.AI cs.CL cs.LG
Benchmarking BioRelEx for Entity Tagging and Relation Extraction
Amelia Science(阿米莉亚科学公司);IPsoft(IPsoft公司)
提取不同生物实体之间的关系和相互作用仍然是一个极具挑战性的问题,但没有得到太多的关注,因为在其他通用领域的提取。除了缺乏附加说明的数据外,基准低仍然是进展缓慢的一个主要原因。为了填补这一空白,我们比较了多个现有的实体和关系抽取模型在最近推出的公共数据集,BioRelEx的句子注释与生物实体和关系。我们直接的基准测试表明,像DYGIE这样的基于跨度的多任务架构在实体标记和关系抽取方面分别比以前的最新技术进步了4.9%和6%,并且结合特定于领域的信息,如在相关领域预先训练的嵌入,可以提高性能。
2020-05-31 cs.CL cs.IR cs.LG
The Joint Entity-Relation Extraction Model Based on Span and Interactive Fusion Representation for Chinese Medical Texts with Complex Semantics
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Cooperative Innovation Center of Internet Healthcare, Zhengzhou University(郑州大学互联网医疗协同创新中心);Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院国家心血管病中心阜外医院);Department of Geriatrics, Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院老年医学科)
针对中文复杂语义医疗文本的联合实体关系抽取研究不足问题,本文构建CH-DDI数据集,提出SEA模块和交互式融合表示模块,在CH-DDI和CoNLL04数据集上取得优异泛化性能,为医疗领域知识图谱构建提供支持。
2025-02-13 cs.AI cs.CL
Modeling Task Interactions in Document-Level Joint Entity and Relation Extraction
Emory University(埃默里大学)
我们的目标是在一个端到端的设置文档级的关系抽取,其中模型需要联合执行提及提取,共指消解(COREF)和关系抽取(RE)一次,并得到一个以实体为中心的方式进行评估。特别是,我们解决了COREF和RE之间的双向互动,还没有被以前的工作的重点,并建议引入明确的互动,即图兼容性(GC),是专门设计来利用任务的特点,桥接两个任务的直接任务干扰的决定。我们的实验在DocRED和DWIE上进行;除了GC之外,我们还实现并比较了以前工作中常用的不同多任务设置,包括管道,共享编码器,图形传播,以检查不同交互的有效性。结果表明,GC实现了最佳性能,比基线提高了2.3/5.1 F1。
2022-05-04 cs.CL cs.LG
Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
多模态命名实体识别与关系抽取(MNER和MRE)是信息抽取中的一个基础和关键分支。然而,现有的方法MNER和MRE通常遭受错误的敏感性时,不相关的对象图像纳入文本。为了解决这些问题,我们提出了一种新的层次视觉前缀融合网络(HVPNeT)的视觉增强实体和关系抽取,旨在实现更有效和强大的性能。具体来说,我们把视觉表示作为可插入的视觉前缀,以指导错误不敏感的预测决策的文本表示。我们进一步提出了一种动态门控聚合策略,以实现层次化的多尺度视觉特征作为融合的视觉前缀。在三个基准数据集上的大量实验证明了该方法的有效性,并达到了最先进的性能。代码可在https://github.com/zjunlp/HVPNeT上找到。
2022-05-07 cs.AI cs.CL cs.CV
Fancy Man Lauches Zippo at WNUT 2020 Shared Task-1: A Bert Case Model for Wet Lab Entity Extraction
Xian Jiaotong University(西安交通大学);The University of Manchester(曼彻斯特大学);East China University of Science and Technology(华东理工大学);Zhejiang University(浙江大学)
自动或半自动地将指定执行实验室程序的步骤的协议转换为机器可读的格式对生物研究有很大好处。随着深度学习的发展,这些嘈杂的、密集的、特定于领域的实验室协议处理引起了越来越多的兴趣。本文介绍了我们在WNUT 2020共享任务1:湿实验室实体提取中的团队合作,我们在几个模型中进行了研究,包括BiLSTM CRF模型和BERT case模型,这些模型可以用于完成湿实验室实体提取。并着重讨论了\textbf{Bert case}在不同情况下的性能差异,如\emph{transformers}版本、大小写敏感等以前可能没有得到足够重视的问题。
2020-09-28 cs.CL cs.LG
Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了在符号领域知识存在的情况下,实体-关系抽取问题.这种知识采取本体论的形式,定义关系及其允许的论点。以前的方法开始整合这些知识在他们的学习方法要么通过自我训练,或通过近似,失去了精确的意义的逻辑表达式。相比之下,我们的方法采用语义损失,通过在所有可能的状态上保持概率分布来捕获逻辑句子的精确含义,并将模型引导到最小化任何约束违反的解决方案。随着低数据制度的重点,我们表明,语义损失远远超过基线。
2021-03-20 cs.CL cs.LG
OneRel:Joint Entity and Relation Extraction with One Module in One Step
Beijing Institute of Technology(北京理工大学);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications(海量语言信息处理与云计算应用北京市工程研究中心)
联合实体和关系抽取是自然语言处理和知识图谱构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于进行。然而,这种模式忽视了一个事实,即三重性的三个要素是相互依存和不可分割的。因此,以前的联合方法遭受级联误差和冗余信息的问题。为了解决这些问题,在本文中,我们提出了一种新的联合实体和关系抽取模型,命名为OneRel,它将联合抽取作为一个细粒度的三重分类问题。具体来说,我们的模型包括一个基于评分的分类器和一个关系特定的角标记策略。前者评估一个标记对和一个关系是否属于一个事实三元组。后者确保了简单但有效的解码过程。在两个广泛使用的数据集上的大量实验结果表明,该方法的性能优于最先进的基线,并在各种重叠模式和多个三元组的复杂场景下提供一致的性能增益。
2022-03-17 cs.AI cs.CL
How Fragile is Relation Extraction under Entity Replacements?
University of Southern California(南加州大学);Meta;Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Amazon(亚马逊公司);University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
本文研究关系抽取模型对实体替换的鲁棒性,通过在TACRED上进行随机和类型约束实体替换实验,发现最先进模型F1分数下降30%-50%,揭示了模型过度依赖实体名称模式而忽略文本上下文的问题。
2024-05-07 cs.AI cs.CL
Jointprop: Joint Semi-supervised Learning for Entity and Relation Extraction with Heterogeneous Graph-based Propagation
Nanyang Technological University(南洋理工大学)
本文提出Jointprop框架,通过基于异构图的标签传播实现命名实体识别与关系抽取的联合半监督学习,利用任务间关联和未标注数据相似性,在基准数据集上超越现有半监督方法。
2023-05-25 cs.AI cs.CL
An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning
RheinMain University of Applied Sciences(莱茵曼应用科学大学)
我们提出了一个联合模型的实体级关系抽取的文件。与其他方法相比-专注于本地句内提及对,因此需要在提及级别上进行注释-我们的模型在实体级别上操作。为此,遵循多任务方法,该方法建立在共指消解的基础上,并通过具有结合全局实体和本地提及信息的多级别表示的多实例学习来收集相关信号。我们在DocRED数据集上实现了最先进的关系抽取结果,并报告了第一个实体级端到端关系抽取结果以供将来参考。最后,我们的实验结果表明,联合方法与特定任务学习相当,但由于共享参数和训练步骤而更有效。
2021-12-03 cs.CL
Relation-Specific Attentions over Entity Mentions for Enhanced Document-Level Relation Extraction
Fudan University(复旦大学)
与传统的文档级关系抽取相比,文档级关系抽取是一个更具挑战性的任务,因为文档中的实体可能被多次提及并与多个关系相关联。然而,大多数文档级关系抽取方法并不区分提及级特征和实体级特征,而只是简单地将提及级特征聚合成实体级特征。因此,忽略了实体的不同提及之间的不同语义。为了解决这个问题,我们提出了RSMAN在本文中执行选择性注意不同的实体提到相对于候选人的关系。通过这种方式,获得了实体的灵活和关系特定的表示,这确实有利于关系分类。我们在两个基准数据集上进行的大量实验表明,我们的RSMAN可以为一些骨干模型带来显着的改进,以实现最先进的性能,特别是当一个实体在文档中有多个提及时。
2022-05-28 cs.CL
CARE: Co-Attention Network for Joint Entity and Relation Extraction
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
本文提出CARE,一种用于联合实体和关系抽取的协同注意力网络,通过并行编码和双向交互模块解决特征混淆问题,在三个基准数据集上优于现有基线。
2024-03-27 cs.CL
Coarse-to-Fine Entity Representations for Document-level Relation Extraction
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
文档级关系抽取(RE)需要抽取句子内部和句子之间的关系。最近的工作表明,基于图的方法,通常构建一个文档级的图,捕捉文档感知的交互,可以获得有用的实体表示,从而帮助解决文档级RE。这些方法或者更多地关注整个图,或者更多地关注图的一部分,例如,目标实体对之间的路径。然而,我们发现,文档级RE可能会受益于同时关注这两个。因此,为了获得更全面的实体表示,我们提出了粗到细的实体表示模型(CFER),采用了由粗到细的策略,包括两个阶段。首先,CFER使用图神经网络来在粗略的水平上整合整个图中的全局信息。接下来,CFER利用全局信息作为指导,以精细级别选择性地聚合目标实体对之间的路径信息。在分类中,我们将两个层次的实体表示结合成更全面的表示,用于关系抽取。在两个文档级RE数据集DocRED和CDR上的实验结果表明,CFER的性能优于现有模型,并且对不均匀的标签分布具有鲁棒性。
2021-06-06 cs.CL cs.IR cs.LG
Document-level Clinical Entity and Relation Extraction via Knowledge Base-Guided Generation
Washington University School of Medicine(华盛顿大学医学院);Washington University in St. Louis(圣路易斯华盛顿大学)
本研究提出结合UMLS知识库与GPT模型的文档级临床实体关系抽取框架,通过筛选相关UMLS概念融入提示引导抽取,实验证明其效果优于少样本基线与标准RAG方法,展现了知识与大模型结合在医疗领域的潜力。
2024-07-13 cs.AI cs.CL
Robust Benchmarking for Machine Learning of Clinical Entity Extraction
Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院)
临床研究通常需要理解仅存在于自由文本临床笔记中的患者叙述的元素。为了将注释转换为结构化数据以供下游使用,通常提取这些元素并将其规范化为医学词汇表。在这项工作中,我们审计的性能,并指出国家的最先进的系统的改进领域。我们发现,2019年n2c2共享任务中临床实体标准化系统的高任务准确性具有误导性,并且潜在性能仍然脆弱。对于常见概念,归一化准确率很高(95.3%),但对于训练数据中看不到的概念,归一化准确率要低得多(69.3%)。我们证明,目前的方法是阻碍部分医学词汇的不一致,现有的标签模式的限制,和狭窄的评估技术。我们重新制定了临床实体提取的注释框架,以考虑这些问题,从而实现强大的端到端系统基准测试。我们从我们的新框架之间的两个注释器的注释一致性进行评估,并实现了0.73的Jaccard相似性实体识别和0.83的协议实体规范化。我们提出了一条前进的道路,以解决证明需要创建一个参考标准,以刺激实体识别和规范化的方法开发。
2020-07-31 cs.CL cs.LG
UniRE: A Unified Label Space for Entity Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);East China Normal University(华东师范大学)
许多联合实体关系抽取模型为两个子任务设置两个分离的标签空间(即,实体检测和关系分类)。我们认为,这种设置可能会阻碍实体和关系之间的信息交互。在这项工作中,我们建议消除两个子任务的标签空间上的不同处理。我们模型的输入是一个包含句子中所有单词对的表格。实体和关系在表中由正方形和矩形表示。我们应用一个统一的分类器来预测每个细胞的标签,这统一了两个子任务的学习。为了测试,提出了一种有效的(但快速)近似解码器,用于从表中查找正方形和矩形。在三个基准测试(ACE04、ACE05、SciERC)上的实验表明,仅使用一半的参数,我们的模型就达到了与最佳提取器竞争的准确性,并且速度更快。
2021-07-09 cs.CL cs.LG
Named Entity Extraction with Finite State Transducers
National University of Colombia(哥伦比亚国立大学)
我们描述了一个命名实体标记系统,需要最少的语言知识,并可以应用到更多的目标语言没有实质性的变化。该系统是基于布里尔的标签,这使得它非常简单的想法。使用监督机器学习,我们构建了一系列自动机(或传感器),以标记给定的文本。最终的模型完全由自动机组成,它需要一个线性的时间标记。它进行了测试与西班牙语数据集提供的CoNLL- $2002$实现整体$F_{β= 1}$措施的$60\%.$此外,我们提出了一种算法,用于构建最终的换能器用于编码所有的学习上下文规则。
2020-06-20 cs.CL cs.LG
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich(慕尼黑大学)
在本文中,我们解决了两种不同类型的噪音在信息抽取模型:噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型,我们引入了基于神经网络模型的多实例多标签学习算法,并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型,我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明,概率预测比离散预测更鲁棒,并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
MC-DRE: Multi-Aspect Cross Integration for Drug Event/Entity Extraction
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);The University of Manchester(曼彻斯特大学)
本文提出 MC-DRE 多方面交叉整合框架,融合语义、句法与医学语境编码,并通过键值、注意力和前馈三种交叉机制提升药物实体/事件抽取性能。
2023-08-15 cs.AI cs.CL
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);Alibaba Group(阿里巴巴集团);School of Computer Science and Technology, Heilongjiang University(黑龙江大学计算机科学与技术学院)
距离监督关系抽取是一种有效的大规模关系抽取方法,被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展,但很少考虑句法信息对实体建模。在本文中,我们提出学习语法感知的实体嵌入神经关系抽取。首先,我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后,我们利用句子内和句子间的注意力,以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后,我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验,实验结果表明,我们的模型可以充分利用所有的信息实例,并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Generalized knowledge-enhanced framework for biomedical entity and relation extraction
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生物医学文本复杂、出版物增长快的问题,该研究提出一种知识增强框架,借鉴人类学习机制构建可迁移的通用神经网络知识图谱,在生物医学实体与关系抽取任务的多个基准上取得有竞争力的性能。
2024-08-13 cs.AI cs.CL cs.IR
Entity and Evidence Guided Relation Extraction for DocRED
JD AI Research(京东人工智能研究院);Stanford University(斯坦福大学)
文档级关系抽取是一项具有挑战性的任务,它需要对多个句子进行推理,以预测文档中的关系。本文提出了一个联合训练框架E2 GRE(Entity and Evidence Guided关系抽取)。首先,我们引入实体引导序列作为预训练语言模型(例如BERT,RoBERTa)的输入。这些实体引导的序列帮助预先训练的语言模型(LM)关注与实体相关的文档区域。其次,我们利用预训练语言模型的内部注意力概率作为证据预测的附加特征,引导预训练语言模型的微调,使其更关注实体和支持/证据句子。我们评估我们的E2 GRE方法DocRED,最近发布的大规模数据集关系抽取。我们的方法能够在所有指标的公共排行榜上取得最先进的结果,表明我们的E2 GRE在关系抽取和证据预测方面既有效又协同。
2020-08-27 cs.CL
Calibrated Typed Decisions for Entity, Relation, and Event Extraction
University of Manchester(曼彻斯特大学);Mayo Clinic(梅奥诊所);Shanghai University of Finance and Economics(上海财经大学)
本文提出0.6B参数的统一模型CalOn,联合编码文本与类型定义完成实体、关系、事件等抽取任务,在40个基准测试中优于多数基线,校准后置信度估计提升且F1几乎无变化。
2026-10-14 cs.AI cs.CL
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
文档级基于实体的抽取(EE)旨在抽取以实体为中心的信息,如实体角色和实体关系,是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型,这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题,我们提出了两个文档级EE任务:角色填充实体提取(REE)和关系抽取(RE)的生成框架。我们首先将它们制定为模板生成问题,允许模型有效地捕获跨实体依赖关系,利用标签语义,并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制,TopK复制,被纳入一个预先训练的序列到序列模型,以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE(+3.26%),二元RE(+4.8%)和4元RE(+2.7%)的最新结果。
2021-09-10 cs.CL
A Trigger-Sense Memory Flow Framework for Joint Entity and Relation Extraction
Zhejiang University(浙江大学)
联合实体和关系抽取框架构建了一个统一的模型来同时执行实体识别和关系抽取,它可以利用两个任务之间的依赖性来减轻管道模型所遭受的错误传播问题。当前对联合实体和关系抽取的努力集中于通过参数共享、联合解码或其他自组织技巧(例如,建模为半马尔可夫决策过程,投射为多轮阅读理解任务)。然而,仍有两个问题摆在桌面上。首先,大多数方法所利用的交互仍然是弱的和单向的,这是无法模拟两个任务之间的相互依赖。其次,大多数方法都忽略了关系触发,这有助于解释为什么人类会在句子中提取关系。它们对于关系抽取是必不可少的,但却被忽视了。为此,我们提出了一个触发感记忆流框架(TriMF)的联合实体和关系抽取。我们建立了一个记忆模块来记忆实体识别和关系抽取任务中学习到的类别表示。在此基础上,设计了一种多级内存流注意力机制,以增强实体识别和关系抽取之间的双向交互。此外,在没有任何人类注释的情况下,我们的模型可以通过触发传感器模块增强句子中的关系触发信息,这提高了模型的性能,并使模型预测具有更好的解释。实验结果表明,我们提出的框架实现了最先进的结果,提高了关系F1在SciERC上的52.44%(+3.2%),在ACE05上的66.49%(+4.9%),在CoNLL04上的72.35%(+0.6%)和在ADE上的80.66%(+2.3%)。
2021-04-16 cs.CL
Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph Alignment Network and Word-pair Relation Tagging
South China University of Technology(华南理工大学);The Peng Cheng Laboratory(鹏城实验室);Yunnan University(云南大学);The Hong Kong Polytechnic University(香港理工大学)
多模态命名实体识别(MNER)和多模态关系抽取(MRE)是多模态知识图谱构建任务中的两个基本子任务。然而,现有的方法通常独立地处理两个任务,这忽略了它们之间的双向交互。本文首次提出联合执行MNER和MRE作为一个联合的多模态实体-关系抽取任务(JMERE)。此外,现有的MNER和MRE模型只考虑了视觉图形和文本图形中的视觉对象与文本实体的对齐,而忽略了实体与实体之间以及对象与对象之间的关系。为了解决上述挑战,我们提出了一个边缘增强的图对齐网络和词对关系标记(EEGA)的JMERE任务。具体来说,我们首先设计了一个词对关系标记,利用MNER和MRE之间的双向交互,并避免错误传播。然后,我们提出了一个边增强的图对齐网络,通过对齐交叉图中的节点和边来增强JMERE任务。与已有的方法相比,该方法能够利用边缘信息辅助实体与对象之间的对齐,并发现实体与实体之间以及对象与对象之间的关系。实验结果表明了该模型的有效性。
2023-02-18 cs.AI cs.CL cs.MM
SEBERTNets: Sequence Enhanced BERT Networks for Event Entity Extraction Tasks Oriented to the Finance Field
JD Digital(京东数字科技)
针对金融领域事件实体抽取,本文提出可捕获序列语义的 SEBERTNets,并结合多通道召回设计 HSEBERTNets,在 CCKS 评测第一阶段分别取得 0.905 和 0.934 的 F1 分数。
2024-01-21 cs.AI cs.CL
EnriCo: Enriched Representation and Globally Constrained Inference for Entity and Relation Extraction
FI Group(FI集团);LIPN(巴黎北信息学实验室);CNRS(法国国家科学研究中心)
EnriCo通过注意力机制增强表示,并引入约束解码算法,在联合实体关系抽取中实现结构化一致输出,性能优于基线。
2024-04-18 cs.AI cs.CL
BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction
Ant Financial Services Group(蚂蚁金融服务集团)
在本文中,我们报告了我们在2019年语言和智能挑战赛中的信息抽取任务的方法。我们将BERT纳入联合实体-关系抽取的多头选择框架。该模型从三个方面扩展了现有的方法。首先,采用BERT作为多头选择框架底部的特征提取层。我们通过在BERT预训练期间引入语义增强任务来进一步优化BERT。其次,我们引入了一个大规模的百度百科语料库进行实体识别的预训练,由于没有实际命名的实体标签,所以它是每周监督学习。第三,提出了软标签嵌入,以有效地传递实体识别和关系抽取之间的信息。结合这三个方面的贡献,我们提高了多头选择模型的信息提取能力,并实现了F1-得分0.876测试集-1上的单一模型。通过集成我们模型的四个变体,我们最终在测试集1上获得F1得分0.892(第一名),在测试集2上获得F1得分0.8924(第二名)。
2019-09-26 cs.CL
Hypertext Entity Extraction in Webpage
Shanghai Jiao Tong University(上海交通大学);Microsoft STCA(微软STCA)
针对网页实体抽取忽视字体颜色、字号等超文本特征的问题,本文构建电商领域 HEED 数据集,并提出基于 Mixture of Experts 的 MoEEF 框架,融合多类特征且性能超过强基线。
2024-03-04 cs.AI cs.CL
Pre-trained Language Models and Few-shot Learning for Medical Entity Extraction
Santa Clara University(圣克拉拉大学);San Francisco State University(旧金山州立大学);Cornell University(康奈尔大学);The Chinese University of Hong Kong(香港中文大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文研究基于Transformer的医学实体抽取,比较多种预训练语言模型和抽取方法,并验证小样本学习在低资源场景下的有效性,证明预训练模型与小样本学习结合可提升医学实体抽取准确性。
2025-04-06 cs.CL
Detecting and resolving spatial ambiguity in text using named entity extraction and self learning fuzzy logic techniques
Sathyabama University(萨蒂亚巴马大学)
信息抽取识别文档中有用的相关文本,并将非结构化文本转换为可加载到数据库表中的形式。命名实体抽取是信息抽取过程中的一项主要任务,是将词分配到一个或多个语义类或一个默认的非实体类的分类问题。一个词,可以属于一个或多个类,其中有一定程度的不确定性,可以最好地处理的自学模糊逻辑技术。本文提出了一种利用命名实体抽取技术和自学习模糊逻辑技术检测文本中空间不确定性的存在并处理空间歧义的方法
2013-03-03 cs.CL cs.IR
Linguistically Informed Relation Extraction and Neural Architectures for Nested Named Entity Recognition in BioNLP-OST 2019
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
命名实体识别(NER)和关系抽取(RE)是从生物医学文献中提取知识的重要工具。本文介绍了我们参与BioNLP Shared Tasks 2019的发现。本文研究了命名实体识别,包括嵌套实体抽取、实体规范化和关系抽取。我们提出的命名实体的方法可以推广到不同的语言,我们已经证明了它的有效性英语和西班牙语文本。我们研究了语言特征,混合损失包括排名和条件随机场(CRF),多任务目标和标记级集成策略,以提高NER。我们采用基于字典的模糊和语义搜索来执行实体规范化。最后,我们的RE系统采用支持向量机(SVM)与语言特征。我们的NER提交(团队:MIC-CIS)在BB-2019 norm+NER任务中排名第一,标准出错率(SER)为0.7159,并在PharmaCo NER任务中表现出竞争力,F1得分为0.8662。我们的RE系统在SeeDev-binary关系抽取任务中排名第一,F1得分为0.3738。
2019-10-08 cs.CL