Simple and Effective Knowledge-Driven Query Expansion for QA-Based Product Attribute Extraction
Rakuten Institute of Technology(乐天技术研究所);Rakuten Group Inc.(乐天集团);Institute of Industrial Science(工业科学研究所);the University of Tokyo(东京大学)
电子商务网站属性值提取的一个关键问题是如何处理大量不同产品的属性。虽然这个挑战部分地解决了问答(QA)的方法,找到一个给定的查询(属性)的产品数据中的值,它不工作,有效地为罕见的和模糊的查询。因此,我们提出了简单的知识驱动的查询扩展的基础上可能的答案(值)的查询(属性)的基于QA的AVE。我们从训练数据中检索查询(属性)的值以扩展查询。我们用知识丢弃和知识令牌混合两种技巧来训练模型,模拟测试中价值知识的不完全性。在AliExpress数据集的清理版本上的实验结果表明,我们的方法提高了AVE的性能(+6.08宏F1),特别是对于罕见和模糊的属性(分别为+7.82和+6.86宏F1)。
2022-06-28 cs.AI cs.CL
Document-level Clinical Entity and Relation Extraction via Knowledge Base-Guided Generation
Washington University School of Medicine(华盛顿大学医学院);Washington University in St. Louis(圣路易斯华盛顿大学)
本研究提出结合UMLS知识库与GPT模型的文档级临床实体关系抽取框架,通过筛选相关UMLS概念融入提示引导抽取,实验证明其效果优于少样本基线与标准RAG方法,展现了知识与大模型结合在医疗领域的潜力。
2024-07-13 cs.AI cs.CL
Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
事件时序关系的提取是信息抽取的一项关键任务,在自然语言理解中起着重要作用。现有系统利用深度学习和预训练的语言模型来提高任务的性能。然而,这些系统通常遭受两个缺点:1)当基于神经模型执行最大后验(MAP)推断时,先前的系统仅使用被假定为绝对正确的结构化知识,即,硬约束; 2)当用有限的数据量训练时,对主导时间关系的有偏见的预测。为了解决这些问题,我们提出了一个框架,增强深度神经网络与概率域知识构建的分布约束。我们解决了约束推理问题,通过拉格朗日松弛,并将其应用于端到端的事件时态关系抽取任务。实验结果表明,我们的框架是能够改善基线神经网络模型具有很强的统计意义上的两个广泛使用的数据集在新闻和临床领域。
2020-10-06 cs.AI cs.CL
Answering Complex Questions Using Open Information Extraction
Allen Institute for AI(艾伦人工智能研究所)
虽然事实问答(QA)已经取得了实质性的进展,但回答复杂的问题仍然具有挑战性,通常需要大量的知识和推理技术。开放式信息抽取(Open IE)提供了一种为QA生成半结构化知识的方法,但迄今为止,这些知识仅用于回答基于检索的方法的简单问题。我们克服了这一限制,提出了一种方法,推理与开放IE知识,允许更复杂的问题进行处理。使用最近提出的支持图优化框架QA,我们开发了一个新的推理模型,开放IE,特别是一个可以有效地与多个短事实,噪音,元组的关系结构。我们的模型在不同难度的复杂问题上的表现明显优于最先进的结构化求解器,同时也消除了对手动策划知识的依赖。
2017-04-19 cs.AI cs.CL
Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding
Georgia Institute of Technology(佐治亚理工学院)
该研究提出 Knowledge AI 框架,通过科学领域数据微调 LLM,以提升摘要、生成、问答和命名实体识别能力,支持非专业人员进行科学知识查询与发现。
2024-08-04 cs.AI cs.CL
Knowledge Extraction on Semi-Structured Content: Does It Remain Relevant for Question Answering in the Era of LLMs?
Meta Reality Labs(Meta现实实验室);FAIR, Meta(FAIR,Meta)
本文扩展带知识抽取标注的QA基准并评估多类LLM,证明Web规模三元组抽取仍具挑战,且三元组增强与多任务学习可提升不同规模模型的问答效果。
2025-09-29 cs.CL
FrameNet CNL: a Knowledge Representation and Information Extraction Language
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
提出了一种基于FrameNet的信息抽取和知识表示框架,称为FrameNet-CNL。该框架用于自然语言文档,并表示提取的知识,在一个定制的框架本体,明确的FrameNet-CNL释义文本可以自动生成多种语言。这种方法将信息抽取和CNL领域结合在一起,因为如果信息抽取解析器产生正确的知识表示,则可以认为源文本属于FrameNet-CNL。我们描述了一个国家的最先进的信息抽取解析器使用的国家新闻机构和推测,FrameNet-CNL最终可以塑造自然语言子集用于写新闻专线文章。
2014-06-10 cs.AI cs.CL cs.IR
Joint Extraction of Uyghur Medicine Knowledge with Edge Computing
Shihezi University(石河子大学)
本文提出边缘计算下参数共享的联合抽取模型CoEx-Bert,通过共享隐藏层参数和联合损失优化,解决维吾尔医学文本中实体关系抽取的错误传播与实体重叠问题,并在边缘设备上实现实时推理,取得显著性能提升。
2024-01-13 cs.AI cs.CL
Investigations on Knowledge Base Embedding for Relation Prediction and Extraction
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
我们报告的有效性评估现有的知识库嵌入模型的关系预测和关系抽取在广泛的基准。我们还描述了一个新的基准,这是更大,更复杂的比以前的,我们介绍,以帮助验证这两个任务的有效性。结果表明,知识库嵌入模型对关系预测普遍有效,但现有策略无法改善神经关系抽取模型,同时指出了现有方法的局限性。
2018-02-06 cs.CL
Multi-view Inference for Relation Extraction with Uncertain Knowledge
Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
知识图谱(KG)被广泛用于促进关系抽取(RE)任务。虽然大多数以前的RE方法侧重于利用确定性KG,不确定KG,它为每个关系实例分配一个置信度得分,可以提供先验概率分布的关系事实作为有价值的外部知识的RE模型。本文提出利用不确定性知识来改进关系抽取。具体来说,我们引入ProBase,一个不确定的KG,表明在何种程度上的目标实体属于一个概念,到我们的RE架构。然后,我们设计了一个新的多视图推理框架,系统地集成本地上下文和全球知识在三个视图:提,实体和概念视图。实验结果表明,该模型在句子级和文档级关系抽取上均取得了较好的性能,验证了引入不确定性知识的有效性和所设计的多视图推理框架的有效性.
2021-04-28 cs.CL
Knowledge-guided Convolutional Networks for Chemical-Disease Relation Extraction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages, Dalian University of Technology(大连理工大学外国语学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
背景资料:从非结构化文本中自动提取化学-疾病关系对于疾病治疗和药物开发具有重要意义。与此同时,生物医学专家已经建立了许多高度结构化的知识库(KBs),其中包含有关化学品和疾病的先验知识。先验知识为CDR提取提供了强有力的支持。如何充分利用它是值得研究的问题。结果:本文提出了一种新的模型,称为“知识引导卷积网络(KCN)”,利用先验知识的CDR提取。该模型首先从知识库中学习包括实体嵌入和关系嵌入的知识表示。然后,使用实体嵌入来控制上下文特征向具有门控卷积的化学疾病对的传播。在此基础上,通过共享注意池,利用关系嵌入进一步获取加权上下文特征。最后,包含额外知识信息的加权上下文特征用于CDR提取。在BioCreative V CDR数据集上的实验表明,所提出的KCN达到了71.28%的F1分数,这优于大多数最先进的系统。结论:本文提出了一种新的CDR提取模型KCN,以充分利用先验知识。实验结果表明,KCN可以有效地集成先验知识和上下文的性能提高。
2019-12-23 cs.CL
Chem-FINESE: Validating Fine-Grained Few-shot Entity Extraction through Text Reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Chem-FINESE,一种基于seq2seq的少样本实体抽取方法,通过自验证模块重构输入句子并引入对比损失减少过度复制,在ChemNER+和CHEMET数据集上分别获得8.26%和6.84%的F1提升。
2024-05-29 cs.AI cs.CL cs.LG
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs(亚马逊云科技人工智能实验室)
关系抽取是一项重要但具有挑战性的任务,旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展,关系抽取方法在各种基准测试中取得了良好的性能。然而,我们观察到以前的方法的两个缺点:第一,没有统一的框架,以及在各种关系抽取设置;第二,有效地利用外部知识作为背景信息是缺席。在这项工作中,我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架,顺序生成各种关系抽取设置下的关系三元组,并明确利用相关知识从知识图谱(KG)来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能,包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
TLAG: An Informative Trigger and Label-Aware Knowledge Guided Model for Dialogue-based Relation Extraction
Peking University(北京大学)
基于对话的关系抽取(DRE)旨在预测对话中所提及的论元对的关系类型。最新的生物增强方法提出了触发预测任务,以促进DRE。然而,这些方法不能充分利用触发信息,甚至会给关系抽取带来噪声。为了解决这些问题,我们提出了TLAG,它充分利用触发器和标签感知的知识来指导关系抽取。首先,我们设计了一个自适应触发融合模块,充分利用触发信息。然后,我们引入标签感知知识,以进一步提高我们的模型的性能。在DialogRE数据集上的实验结果表明,TLAG的性能优于基准模型,详细的分析表明了该方法的有效性。
2023-03-30 cs.CL
Graph Neural Network-Based Entity Extraction and Relationship Reasoning in Complex Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);San Francisco State University(旧金山州立大学);Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);Tulane University(杜兰大学);Columbia University(哥伦比亚大学)
本文提出基于图卷积网络和图注意力网络的端到端联合模型,用于复杂知识图谱的实体抽取与关系推理,实验证明其在AUC、召回率、精确率和F1值等指标上优于多种深度学习方法,并展现出更强的泛化能力与稳定性。
2024-11-19 cs.AI cs.CL cs.LG
Into the Single Cell Multiverse: an End-to-End Dataset for Procedural Knowledge Extraction in Biomedical Texts
Rice University(莱斯大学);University of Washington(华盛顿大学)
针对生物医学文本程序性知识提取缺乏端到端数据集的问题,提出FlaMBé数据集,涵盖单细胞研究流程标注及最大规模组织/细胞类型NER/NED数据,助力NLP模型发展并推动研究可重复性。
2023-09-04 cs.CL
From Discourse to Narrative: Knowledge Projection for Event Relation Extraction
University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc.(腾讯公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
当前以事件为中心的知识图谱高度依赖显式连接词来挖掘事件之间的关系。不幸的是,由于连接词的稀疏性,这些方法严重破坏了EventKG的覆盖率。缺乏高质量的标注语料库进一步加剧了这一问题。在本文中,我们提出了一个知识投射范式的事件关系抽取:投射语篇知识的叙述,利用它们之间的共性。具体来说,我们提出了多层知识投影网络(MKPNet),它可以有效地利用多层话语知识的事件关系抽取。通过这种方式,标记的数据需求显着减少,并且可以有效地提取隐含的事件关系。内部实验结果表明,MKPNet实现了新的国家的最先进的性能,和外部实验结果验证了提取的事件关系的价值。
2021-06-16 cs.CL
Improving Relation Extraction with Knowledge-attention
Nanyang Technological University(南洋理工大学);ZhuiYi Technology(追一科技)
虽然注意力机制已被证明在许多NLP任务中是有效的,但其中大多数都是数据驱动的。我们提出了一种新的知识-注意编码器,它将外部词汇资源的先验知识融入深度神经网络,用于关系抽取任务。此外,我们提出了三种有效的方式整合知识的注意力与自我注意力,以最大限度地利用知识和数据。所提出的关系抽取系统是端到端的,并且完全基于注意力。实验结果表明,本文提出的知识-注意力机制与自注意机制具有互补优势,综合模型的性能优于现有的CNN、RNN和基于自注意的模型.在复杂的大规模关系抽取数据集TACRED上实现了最先进的性能。
2020-03-04 cs.CL cs.LG
Enhancing Document-level Relation Extraction by Entity Knowledge Injection
Nanjing University(南京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
文档级关系抽取(RE)的目的是识别贯穿整个文档的实体之间的关系。它需要复杂的推理技巧来综合各种知识,如共指和常识。大规模的知识图谱包含了大量的真实世界事实,可以为文档级RE提供有价值的知识。在本文中,我们提出了一个实体知识注入框架,以加强目前的文档级RE模型。具体来说,我们引入共指提取注入共指知识,赋予RE模型更一般的共指推理能力。我们还采用表示和解注入事实知识和聚合KG表示和文档表示到一个统一的空间。在两个基准数据集上的实验验证了我们的实体知识注入框架的通用性和对几个文档级RE模型的一致性改进。
2022-07-23 cs.CL
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences(中国科学院大学)
随着知识图的发展和商业应用,从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法,用于从非结构化的特定领域文本(如保险行业的保险条款)中自动抽取知识点,以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同,本文将领域知识点转化为问题和答案对,并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型,类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果,该模型性能良好。
2021-03-01 cs.CL cs.LG
DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出开源可扩展的知识抽取工具包 DeepKE,统一支持低资源、文档级和多模态场景下的命名实体识别、关系抽取与属性抽取,并提供在线系统与教程。
2023-09-18 cs.AI cs.CL cs.IR
Chemical-induced Disease Relation Extraction with Dependency Information and Prior Knowledge
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
化学-疾病关系(CDR)提取对于生物医学研究和医疗保健的各个领域都非常重要。目前,许多大型生物医学知识库(KBs)已经建立,其中包含关于实体对及其关系的三元组。知识库是生物医学关系抽取的重要资源。然而,以往的研究很少关注先验知识。此外,依赖树包含了重要的句法和语义信息,有助于改进关系抽取。因此如何有效地利用它也是值得研究的。在本文中,我们提出了一种新的卷积注意力网络(CAN)的CDR提取。首先,我们提取一个句子中的化学和疾病对之间的最短依赖路径(SDP),它包括一个单词序列,依赖方向,和依赖关系标签。然后对SDP执行卷积运算以产生深度语义依赖特征。之后,采用注意力机制来学习与从知识库学习的知识表示相关的每个语义依赖向量的重要性/权重。最后,为了结合依赖信息和先验知识,加权语义依赖表示和知识表示的级联被馈送到softmax层进行分类。在BioCreative V CDR数据集上的实验表明,该方法的性能与最先进的系统相当,依赖信息和先验知识在CDR提取任务中起着重要作用。
2020-01-02 cs.CL
A Masked Image Reconstruction Network for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取旨在抽取文档中实体之间的关系。与文档级关系抽取相比,文档级关系抽取需要对多个句子进行推理,以抽取复杂的关系三元组。以往的研究一般都是通过提及级或实体级文档图上的信息传播来完成推理,而不考虑关系之间的相关性。在本文中,我们提出了一种新的文档级关系抽取模型的基础上掩蔽图像重建网络(DRE-MIR),模型推理作为一个掩蔽的图像重建问题,捕捉关系之间的相关性。具体地说,我们首先利用编码器模块来获取实体的特征,并根据这些特征构造实体对矩阵。之后,我们将实体对矩阵视为图像,然后随机屏蔽它并通过推理模块恢复它,以捕获关系之间的相关性。我们评估我们的模型上的三个公共文档级关系抽取数据集,即DocRED,CDR和GDA。实验结果表明,我们的模型在这三个数据集上都达到了最先进的性能,并且在推理过程中对噪声具有很好的鲁棒性。
2022-08-04 cs.CL
Joint Biomedical Entity and Relation Extraction with Knowledge-Enhanced Collective Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
与一般新闻领域相比,生物医学文本的信息抽取需要更广泛的领域知识。然而,许多以前的IE方法在推理过程中不利用任何外部知识。由于生物医学出版物的指数增长,不超过其固定参数集的模型可能会落后。受人类如何查找相关信息来理解科学文本的启发,我们提出了一个新的框架,利用外部知识进行联合实体和关系抽取命名为KECI(知识增强集体推理)。给定一个输入文本,KECI首先构造一个初始跨度图,表示它对文本的初始理解。然后使用实体链接器形成包含文本中提到的实体的相关背景知识的知识图谱。为了做出最终的预测,KECI使用注意力机制将初始跨度图和知识图谱融合成一个更精细的图。KECI采用一种集体方法,通过使用图卷积网络将全局关系信息集成到局部表示中,将提及跨度与实体联系起来。我们的实验结果表明,该框架是非常有效的,在两个不同的基准数据集:BioRelEx(结合相互作用检测)和ADE(不良药物事件提取)实现了新的最先进的结果。例如,KECI在BioRelEx实体和关系抽取任务上的F1得分比最先进的技术分别提高了4.59%和4.91%。
2021-06-01 cs.CL
Knowledge-guided Open Attribute Value Extraction with Reinforcement Learning
North Carolina State University(北卡罗来纳州立大学);Fudan University(复旦大学)
面向新实体的开放属性值抽取是一项重要而又具有挑战性的任务。许多以前的工作制定的问题作为一个\textit{question-answering}(QA)的任务。虽然来自网络语料库的文章集合提供了关于新兴实体的更新信息,但检索到的文本可能是嘈杂的,不相关的,从而导致不准确的答案。有效地过滤掉噪声文章以及糟糕的答案是提高抽取准确率的关键。知识图谱(KG)包含关于实体的丰富的、组织良好的信息,为解决这一挑战提供了良好的资源。在这项工作中,我们提出了一个知识引导的强化学习(RL)框架的开放属性值提取。根据KG中的相关知识,我们训练了一个深度Q网络来顺序比较提取的答案,以提高提取的准确性。该框架适用于不同的信息抽取系统。我们的实验结果表明,我们的方法优于基线的16.5 - 27.8%。
2020-10-19 cs.CL cs.IR
Enhanced Language Representation with Label Knowledge for Span Extraction
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent(腾讯);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Dalian University of Technology(大连理工大学)
跨度抽取是信息抽取中的一个基本过程,旨在从纯文本中抽取文本跨度(如单词或短语)。最近的工作引入标签知识,以提高文本表示形式化的跨度提取任务到一个问答问题(QA形式化),实现了国家的最先进的性能。然而,QA形式化没有充分利用标签知识,并且训练/推理效率较低。为了解决这些问题,我们引入了一个新的范式来整合标签知识,并进一步提出了一个新的模型,明确和有效地将标签知识整合到文本表示。该方法将文本和标注信息独立编码,然后通过精心设计的语义融合模块将标注知识集成到文本表示中。我们进行了广泛的实验上三个典型的跨度提取任务:平面NER,嵌套NER,和事件检测。实证结果表明:1)我们的方法在四个基准测试中达到了最先进的性能,2)与QA形式化范式相比,平均分别减少了76%和77%的训练时间和推理时间。我们的代码和数据可在https://github.com/Akeepers/LEAR上获得。
2021-11-01 cs.CL
Combining Context and Knowledge Representations for Chemical-Disease Relation Extraction
School of Computer Science and Technology at Dalian University of Technology(大连理工大学计算机科学与技术学院)
自动提取化学物质与疾病之间的关系对于生物医学研究和医疗保健的各个领域都非常重要。生物医学专家已经建立了许多大规模的知识库(KB),以推动生物医学研究的发展。知识库中包含了大量的实体和关系的结构化信息,因此在化学疾病关系(CDR)提取中起着至关重要的作用。然而,以往的研究较少关注知识库中存在的先验知识。本文提出了一种基于神经网络的注意力模型(NAM)用于CDR提取,该模型充分利用了文档中的上下文信息和知识库中的先验知识。对于文档中的一对实体,采用注意力机制来选择关于从知识库中学习的关系表示的重要上下文词。在BioCreative V CDR数据集上的实验表明,通过注意力机制将上下文和知识表示相结合,可以显着提高CDR提取性能,同时实现与最先进系统相当的结果。
2019-12-23 cs.CL
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute(丰田工业大学);Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所人工智能研究中心)
我们提出了一个多任务,概率的方法,以促进远程监督关系抽取,使更接近的句子,包含相同的知识库对的表示。为了实现这一点,我们通过与关系分类器联合训练的变分自编码器(VAE)来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明,多任务学习的性能优势。将知识库先验引入VAE的额外探索表明,句子空间可以向知识库的空间转移,提供可解释性并进一步改善结果。
2021-04-16 cs.CL
Text to Insight: Accelerating Organic Materials Knowledge Extraction via Deep Learning
Drexel University(德雷塞尔大学);Northeastern University(东北大学);Kebotix, Inc.(Kebotix公司)
科学文献是知识共享的重要资源之一。研究人员将科学文献作为设计实验的第一步。鉴于文献的广泛和不断增长的数量,阅读和手动提取知识的常见方法过于耗时,在研究周期中造成瓶颈。这一挑战几乎涉及所有科学领域。对于材料科学来说,分布在数百万出版物中的实验数据对于预测材料性能和设计新材料非常有帮助。然而,直到最近,研究人员才探索了主要用于无机材料的知识提取的计算方法。本研究旨在探讨有机材料的知识提取。我们建立了一个研究数据集,由来自92,667篇摘要的855个注释和708,376个未注释句子组成。我们使用命名实体识别(NER)和BiLSTM-CNN-CRF深度学习模型来自动提取文献中的关键知识。早期阶段的结果显示了自动知识提取的巨大潜力。本文介绍了我们的研究结果和监督的知识提取,可以适应其他科学领域的框架。
2021-09-27 cs.CL cs.IR
Document-Level Relation Extraction with Reconstruction
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology (NICT)(信息通信研究机构)
在文档级关系抽取(DocRE)中,通常使用图结构来对输入文档中的关系信息进行编码,从而对每个实体对之间的关系类别进行分类,这在过去几年中极大地推进了DocRE任务。然而,所学习的图表示通用地对所有实体对之间的关系信息进行建模,而不管这些实体对之间是否存在关系。因此,那些没有关系的实体对分散了编码器-分类器DocRE对具有关系的实体对的注意力,这可能进一步阻碍DocRE的改进。为了缓解这个问题,我们提出了一种新的编码器-分类器-重建模型的DocRE。重建器设法从图表示中重建地面实况路径依赖,以确保所提出的DocRE模型在训练中更加关注对具有关系的实体对进行编码。此外,将重构器作为关系指示器辅助关系分类推理,进一步提高了DocRE模型的性能。在大规模DocRE数据集上的实验结果表明,该模型能够显著提高基于强异构图基线的关系抽取的准确性.
2020-12-21 cs.CL
Generalized knowledge-enhanced framework for biomedical entity and relation extraction
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生物医学文本复杂、出版物增长快的问题,该研究提出一种知识增强框架,借鉴人类学习机制构建可迁移的通用神经网络知识图谱,在生物医学实体与关系抽取任务的多个基准上取得有竞争力的性能。
2024-08-13 cs.AI cs.CL cs.IR
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
我们提出了一个距离监督的关系抽取方法长尾,不平衡的数据,这是在现实世界中普遍存在的。在这里,挑战是学习精确的“Few-Shot”模型,用于存在于类分布的尾部的类,对于这些类,几乎没有可用的数据。受长尾类和头部类之间丰富的语义相关性的启发,我们利用分布头部数据丰富类的知识来提高尾部数据贫乏类的性能。首先,我们提出利用知识图谱嵌入的类标签之间的隐式关系知识,并使用图卷积网络学习显式关系知识。其次,通过知识感知的注意力机制将关系知识集成到关系抽取模型中。我们展示了我们的结果,一个大规模的基准数据集,这表明我们的方法显着优于其他基线,特别是长尾关系。
2019-03-04 cs.AI cs.CL cs.DB
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University(南京大学)
本文提出SCKD模型,通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习,解决持续少样本关系抽取中的灾难性遗忘和过拟合问题,在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Chemical-protein Interaction Extraction via Gaussian Probability Distribution and External Biomedical Knowledge
Dalian University of Technology(大连理工大学);Beijing Institute of Health Administration and Medical Information(北京卫生健康管理与医学信息研究所)
动机:生物医学文献包含了丰富的化学蛋白质相互作用(CPI)。自动提取生物医学文献中描述的CPI对于药物发现、精准医学以及基础生物医学研究至关重要。大多数现有的方法只关注句子序列来识别这些CPI。然而,句子的局部结构和外部生物医学知识也包含有价值的信息。有效利用这些信息可以提高CPI提取的性能。结果:在本文中,我们提出了一种新的神经网络为基础的方法来改善CPI提取。具体来说,该方法首先采用BERT来生成标题序列、实例序列和知识序列的高质量上下文表示。然后,高斯概率分布被引入到捕获的局部结构的实例。同时,利用注意力机制分别对标题信息和生物医学知识进行融合。最后,相关的表示被连接并馈送到softmax函数中以提取CPI。我们评估我们提出的模型的CHEMPROT语料库。我们提出的模型是优于性能相比,与其他国家的最先进的模型。实验结果表明,高斯概率分布和外部知识是相辅相成的。将它们结合起来可以有效地提高CPI提取性能。此外,高斯概率分布可以有效地提高生物医学关系抽取任务中具有重叠关系的句子的抽取性能。可用性:数据和代码可在https://github.com/CongSun-dlut/CPI_extraction上获取。联系:yangzh@dlut.edu.cn,wangleibihami@gmail.com补充信息:补充数据可在生物信息学在线。
2020-04-24 cs.CL
Connecting Language and Knowledge with Heterogeneous Representations for Neural Relation Extraction
University of Alberta(阿尔伯塔大学)
知识库(KB)需要不断更新,以反映它们所代表的世界的变化。对于通用知识库,这通常通过关系抽取(RE)来完成,RE是预测在提及知识库已知的实体的文本中表达的知识库关系的任务。改进RE的一种方法是使用KB嵌入(KBE)进行链接预测。然而,尽管RE和KBE之间有着明确的联系,但几乎没有做什么来系统地统一这些模型。我们帮助缩小差距的框架,统一了RE和KBE模型的学习,导致显着的改进,在国家的最先进的RE。该代码可在https://github.com/billy-inn/HRERE上获得。
2019-05-09 cs.CL
GPT-3 Powered Information Extraction for Building Robust Knowledge Bases
School of Computer Engineering(计算机工程学院);Kalinga Institute of Industrial Technology(卡林加工业技术学院)
本文提出利用 GPT-3 通过少样本上下文学习从非结构化文本中抽取实体与关系,实验表明其性能具有竞争力,可降低标注与工程成本并提升知识库构建效率。
2024-07-31 cs.AI cs.CL cs.LG
Exploring the Suitability of Semantic Spaces as Word Association Models for the Extraction of Semantic Relationships
University of Westminster(威斯敏斯特大学);Oakland University(奥克兰大学)
随着自然语言处理(Natural Language Processing,NLP)技术的不断发展,语义关系的提取成为近年来的研究热点。这项工作的主要动机是这样一个事实,即建立知识图谱(KG)和基地(KB),作为智能应用程序的一个关键组成部分,是一个永无止境的挑战,因为新的知识需要收获,而旧的知识需要修改。目前,从文本中提取关系抽取的方法主要是神经模型,这些神经模型在大型语料库的机器学习中进行某种远程(弱)监督,无论是否咨询外部知识源。在本文中,我们实证研究和探索使用经典语义空间和模型的新想法的潜力,例如,词嵌入,用于提取词关联,结合关系抽取方法。我们的目标是使用这些词关联模型,以加强目前的关系抽取的方法。我们认为,这是第一次尝试这种研究的结果应该在一定程度上阐明这些词的关联模型可以使用,以及最有前途的类型的关系,以考虑提取。
2020-04-29 cs.AI cs.CL cs.IR
Leveraging Knowledge Graph Embeddings to Enhance Contextual Representations for Relation Extraction
Opscidia(Opscidia公司)
该研究针对现有关系抽取方法依赖外部知识或大规模预训练模型的问题,提出将语料级预训练知识图谱嵌入融入句子级上下文表示的方法,在不引入外部知识的前提下提升了关系抽取性能。
2023-06-07 cs.CL cs.LG
Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI(IBM研究院AI)
在本文中,我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取,该技术可以通过远程监督方法进行训练。除此之外,该系统使用深度学习方法,通过利用诱导KG的全局结构信息来完成知识库,以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域,因为它不使用任何手工标记的数据,NLP分析和推理规则。我们的实验,在一个流行的学术基准表明,建议的系统大幅提高关系抽取的性能,报告错误减少了50%,导致相对改善高达100%。此外,一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明,我们的系统不仅是可扩展的,而且不需要任何适应成本,同时产生大量的准确性增益。
2019-09-11 cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution
Ghent University(根特大学);imec(比利时微电子研究中心)
本文提出了一种联合信息抽取模型,在整个文档中联合解决命名实体识别、共指消解和关系抽取。特别是,我们研究了如何注入信息从知识库(KB)在这样的IE模型,基于无监督的实体链接。所使用的KB实体表示是从(i)超链接文本文档(Wikipedia)或(ii)知识图谱(Wikidata)中学习的,并且在提高IE性能方面是互补的。相应的实体链接(EL)候选者的表示被添加到输入文档的文本跨度表示,并且我们实验(i)基于其先验(在维基百科中)对EL候选者表示进行加权平均,以及(ii)在EL候选者列表上使用注意力方案。结果表明,在两个数据集上评估的IE任务的F1分数增加了5%。尽管基于先验的模型表现很好,但我们的定量和定性分析揭示了使用基于注意力的方法的优势。
2021-07-05 cs.CL
Improving Relation Extraction by Leveraging Knowledge Graph Link Prediction
Carnegie Mellon University(卡内基梅隆大学);Microsoft Semantic Machines(微软语义机器公司)
关系抽取(RE)的目的是预测句子中的主语和宾语之间的关系,而知识图谱链接预测(KGLP)的目的是在给定主语和来自知识图谱的关系的情况下预测一组宾语O。这两个问题是密切相关的,因为它们各自的目标是交织在一起的:给定一个包含主语和宾语o的句子,RE模型预测一个关系,然后可以由KGLP模型与主语一起使用,以预测一组宾语O。因此,我们期望对象o在集合O中。在本文中,我们通过提出一种多任务学习方法来利用这一见解,该方法通过对RE和KGLP任务进行联合训练来提高RE模型的性能。我们说明了我们的方法的一般性,通过将其应用于几个现有的RE模型,并以经验证明它如何帮助他们实现一致的性能增益。
2020-12-09 cs.CL
Multimodal Learning on Graphs for Disease Relation Extraction
Beijing Institute of Technology(北京理工大学);University of Southern California(南加州大学);Tsinghua University(清华大学);Harvard T.H.Chan School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所);Harvard Data Science Initiative(哈佛数据科学研究院)
目的:疾病知识图谱是一种连接、组织和访问有关疾病的不同信息的方法,对人工智能(AI)有许多好处。为了创建知识图谱,有必要以疾病概念之间的关系的形式从多模态数据集中提取知识,并规范概念和关系类型。方法:我们介绍REMAP,一种用于疾病关系抽取和分类的多模式方法。REMAP机器学习方法将部分不完整的知识图谱和医学语言数据集联合嵌入到紧凑的潜在向量空间中,然后对齐多模态嵌入以进行最佳疾病关系抽取。结果:我们将REMAP方法应用于具有96,913个关系和124万个句子的文本数据集的疾病知识图谱。在由人类专家注释的数据集上,REMAP通过融合疾病知识图谱与文本信息,将基于文本的疾病关系抽取提高了10.0%(准确率)和17.2%(F1分数)。此外,REMAP利用文本信息来推荐知识图谱中的新关系,比基于图的方法高出8.4%(准确度)和10.4%(F1分数)。结论:REMAP是一种融合结构化知识和文本信息的多模态疾病关系提取和分类方法。REMAP提供了一个灵活的神经架构,可以轻松地找到、访问和验证疾病概念之间的AI驱动关系。
2022-08-30 cs.AI cs.CL cs.LG
KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
KnowPrompt通过将关系标签中的潜在知识注入可学习的虚拟类型词和答案词,并结合结构化约束协同优化表示,在标准和低资源场景下有效提升了关系抽取的提示调优性能。
2023-09-18 cs.AI cs.CL cs.IR
Knowledge Augmented Entity and Relation Extraction for Legal Documents with Hypergraph Neural Network
School of Economics and Management(经济管理学院);Dalian University of Technology(大连理工大学)
本文提出基于超图神经网络的法律文档实体与关系抽取方法,通过整合领域知识和多头注意力机制,提升司法领域文本处理性能。
2026-02-09 cs.CL
Connecting Language and Knowledge Bases with Embedding Models for Relation Extraction
Google(谷歌);Heudiasyc UMR CNRS 7253(法国国家科学研究中心Heudiasyc混合研究单位7253);U. Tech. de Compiègne(贡比涅技术大学)
本文提出了一种新的方法,关系抽取从自由文本,这是训练,以共同使用的信息,从文本和现有的知识。我们的模型是基于两个评分功能,通过学习低维嵌入的单词和实体和关系的知识库。我们在《纽约时报》与Freebase关系相关的文章中实证表明,我们的方法能够有效地使用Freebase数据的一个大子集(4M实体,23k关系)提供的额外信息,以改进现有的仅依赖文本特征的方法。
2013-07-30 cs.CL cs.IR cs.LG
KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance
University of Notre Dame(圣母大学)
KEO通过知识图谱和RAG框架提升航空安全维护中的领域知识提取与推理,实验显示其在全局理解上优于传统文本块RAG,同时保持对细粒度任务的有效性。
2026-04-08 cs.CL cs.IR
Few-shot Continual Relation Extraction via Open Information Extraction
Hanoi University of Science and Technology(河内科技大学);Oraichain Labs Inc.(Oraichain实验室公司);VinAI Research(VinAI研究院);Bytedance(字节跳动);VNU University of Engineering and Technology(越南国家大学工程技术大学);University of Oregon(俄勒冈大学)
提出利用开放信息抽取与知识图谱构建的少样本持续关系抽取方法,处理未见关系,增强知识保留与适应性,实验优于现有基线。
2025-02-23 cs.AI cs.CL cs.IR
PERLEX: A Bilingual Persian-English Gold Dataset for Relation Extraction
Iran University of Science and Technology(伊朗科技大学)
关系抽取是抽取句子中实体之间的语义关系的任务。它是一些自然语言处理任务,如信息抽取,知识抽取和知识库人口的重要组成部分。这项研究的主要动机来自缺乏波斯语关系抽取的数据集,以及从波斯语不断增长的大数据中提取知识以用于不同应用的必要性。在本文中,我们提出“PERLEX”作为关系抽取的第一个波斯语数据集,它是“Semeval-2010-Task-8”数据集的专家翻译版本。此外,本文讨论了波斯语关系抽取利用国家的最先进的语言不可知的算法。我们采用了六种不同的模型对建议的双语数据集进行关系抽取,包括一个非神经模型(作为基线),三个神经模型和两个由多语言BERT上下文单词表示提供的深度学习模型。实验结果表明,最大f值为77.66%(由BERTEM-MTB方法提供),是波斯语关系抽取的最新水平。
2020-05-13 cs.CL
Relation Extraction with Contextualized Relation Embedding (CRE)
Stanford University(斯坦福大学)
关系抽取是在给定语料库的情况下识别两个实体之间的关系实例的任务,而知识库建模是根据实体之间的关系来表示知识库的任务。本文提出了一个架构的关系抽取任务,集成语义信息与知识库建模的一种新的方式。现有的关系抽取方法要么不利用知识库建模,要么使用单独训练的知识库模型进行RE任务。我们提出了一个模型架构,内在知识库建模关系抽取。该模型采用了一种新的方法将句子编码成上下文化的关系嵌入,然后可以与参数化的实体嵌入一起使用来对关系实例进行评分。建议的CRE模型在来自纽约时报注释语料库和FreeBase的数据集上实现了最先进的性能。源代码已经提供。
2020-11-19 cs.CL cs.LG
A Dynamic Self-Evolving Extraction System
Megagon Labs(Megagon实验室)
提出DySECT系统,通过LLM抽取三元组构建知识库,结合概率知识和图推理丰富知识,再反馈优化抽取器,形成闭环持续提升。
2026-06-04 cs.CL cs.LG
Knowledge Graph Enhanced Event Extraction in Financial Documents
ShanghaiTech University(上海科技大学)
事件抽取是自然语言处理中的一个经典任务,在处理大量快速增长的金融、法律、医疗和政府文档中得到了广泛的应用,这些文档通常包含多个事件,并且这些事件的元素分散和混合在文档中,使得问题变得更加困难。虽然被提取的事件元素之间的潜在关系提供了有用的上下文信息,但它们在以前的研究中被忽视了。我们展示了利用知识图谱捕获实体关系及其属性所带来的增强。我们提出了第一个事件提取框架,该框架通过图神经网络嵌入知识图谱,并将嵌入与常规特征集成,所有这些都在文档级。具体来说,对于从中国的财务公告中提取事件,我们的方法优于国家的最先进的方法在F1分数的5.3%。
2021-09-06 cs.CL cs.IR cs.LG
Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能研究中心)
设计了用于远程监督关系抽取的双编码器架构,以利用在文本和知识图谱(KG)中发现的互补信息。然而,当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享,要么在具有KG到文本注意力的模型的情况下,只在一个方向上共享信息。在这里,我们介绍了十字绣双编码器,它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示,共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明,在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文档级关系抽取(DocRE)是一个更具挑战性的任务相比,它的文档级对应。它的目标是一次从多个句子中提取关系。在本文中,我们提出了一个半监督框架DocRE与三个新的组件。首先,我们使用一个轴向注意模块来学习实体对之间的相互依赖性,这提高了两跳关系的性能。其次,我们提出了一个自适应的焦点损失,以解决类不平衡问题的DocRE。最后,我们使用知识蒸馏来克服人类注释数据和远程监督数据之间的差异。我们在两个DocRE数据集上进行了实验。我们的模型始终优于强大的基线,其性能在DocRED排行榜上超过了之前的SOTA 1.36 F1和1.46 F_F1。我们的代码和数据将在https://github.com/tonytan48/KD-DocRE上发布。
2022-03-21 cs.CL