GraphER: A Structure-aware Text-to-Graph Model for Entity and Relation Extraction
FI Group(FI集团);LIPN, CNRS UMR 7030(法国国家科学研究中心UMR 7030实验室(LIPN))
本文提出GraphER模型,将信息抽取视为图结构学习,通过动态优化图结构实现实体和关系的联合预测,在基准上取得竞争性结果。
2024-04-18 cs.AI cs.CL
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系(头实体-关系-尾实体)。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离,使用各自的模块进行抽取。这种方法虽然具有较好的灵活性,但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型,同时实现实体识别和关系抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法,结合词混合向量映射方法和自注意力机制,有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
The Joint Entity-Relation Extraction Model Based on Span and Interactive Fusion Representation for Chinese Medical Texts with Complex Semantics
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Cooperative Innovation Center of Internet Healthcare, Zhengzhou University(郑州大学互联网医疗协同创新中心);Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院国家心血管病中心阜外医院);Department of Geriatrics, Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院老年医学科)
针对中文复杂语义医疗文本的联合实体关系抽取研究不足问题,本文构建CH-DDI数据集,提出SEA模块和交互式融合表示模块,在CH-DDI和CoNLL04数据集上取得优异泛化性能,为医疗领域知识图谱构建提供支持。
2025-02-13 cs.AI cs.CL
OneRel:Joint Entity and Relation Extraction with One Module in One Step
Beijing Institute of Technology(北京理工大学);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications(海量语言信息处理与云计算应用北京市工程研究中心)
联合实体和关系抽取是自然语言处理和知识图谱构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于进行。然而,这种模式忽视了一个事实,即三重性的三个要素是相互依存和不可分割的。因此,以前的联合方法遭受级联误差和冗余信息的问题。为了解决这些问题,在本文中,我们提出了一种新的联合实体和关系抽取模型,命名为OneRel,它将联合抽取作为一个细粒度的三重分类问题。具体来说,我们的模型包括一个基于评分的分类器和一个关系特定的角标记策略。前者评估一个标记对和一个关系是否属于一个事实三元组。后者确保了简单但有效的解码过程。在两个广泛使用的数据集上的大量实验结果表明,该方法的性能优于最先进的基线,并在各种重叠模式和多个三元组的复杂场景下提供一致的性能增益。
2022-03-17 cs.AI cs.CL
How Fragile is Relation Extraction under Entity Replacements?
University of Southern California(南加州大学);Meta;Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Amazon(亚马逊公司);University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
本文研究关系抽取模型对实体替换的鲁棒性,通过在TACRED上进行随机和类型约束实体替换实验,发现最先进模型F1分数下降30%-50%,揭示了模型过度依赖实体名称模式而忽略文本上下文的问题。
2024-05-07 cs.AI cs.CL
Jointprop: Joint Semi-supervised Learning for Entity and Relation Extraction with Heterogeneous Graph-based Propagation
Nanyang Technological University(南洋理工大学)
本文提出Jointprop框架,通过基于异构图的标签传播实现命名实体识别与关系抽取的联合半监督学习,利用任务间关联和未标注数据相似性,在基准数据集上超越现有半监督方法。
2023-05-25 cs.AI cs.CL
Document-level Clinical Entity and Relation Extraction via Knowledge Base-Guided Generation
Washington University School of Medicine(华盛顿大学医学院);Washington University in St. Louis(圣路易斯华盛顿大学)
本研究提出结合UMLS知识库与GPT模型的文档级临床实体关系抽取框架,通过筛选相关UMLS概念融入提示引导抽取,实验证明其效果优于少样本基线与标准RAG方法,展现了知识与大模型结合在医疗领域的潜力。
2024-07-13 cs.AI cs.CL
MC-DRE: Multi-Aspect Cross Integration for Drug Event/Entity Extraction
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);The University of Manchester(曼彻斯特大学)
本文提出 MC-DRE 多方面交叉整合框架,融合语义、句法与医学语境编码,并通过键值、注意力和前馈三种交叉机制提升药物实体/事件抽取性能。
2023-08-15 cs.AI cs.CL
Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
最近的文献集中在利用实体信息的层次关系抽取(RE),但这种风险泄漏表面和虚假的关系线索。因此,RE仍然遭受非预期的实体偏见,即,实体提及(名称)和关系之间的虚假关联。实体偏见会误导RE模型提取文本中不存在的关系。为了解决这个问题,以前的一些工作掩盖了实体提及,以防止RE模型过度拟合实体提及。然而,这种策略降低了RE的性能,因为它失去了实体的语义信息。在本文中,我们提出了CORE(Counterfactual Analysis based关系抽取)去偏置方法,引导RE模型专注于文本上下文的主要影响,而不丢失实体信息。我们首先为RE构建了一个因果图,该图对RE模型中变量之间的依赖关系进行建模。然后,我们建议对我们的因果图进行反事实分析,以提取和减轻实体偏见,从而捕获每个实例中特定实体提及的因果效应。请注意,我们的CORE方法是模型不可知的,可以在推理过程中消除现有RE系统的偏见,而不改变它们的训练过程。大量的实验结果表明,我们的CORE产生显着收益的有效性和推广RE。源代码提供于:https://github.com/vanoracai/CoRE。
2022-05-08 cs.AI cs.CL cs.LG
Calibrated Typed Decisions for Entity, Relation, and Event Extraction
University of Manchester(曼彻斯特大学);Mayo Clinic(梅奥诊所);Shanghai University of Finance and Economics(上海财经大学)
本文提出0.6B参数的统一模型CalOn,联合编码文本与类型定义完成实体、关系、事件等抽取任务,在40个基准测试中优于多数基线,校准后置信度估计提升且F1几乎无变化。
2026-10-14 cs.AI cs.CL
Chem-FINESE: Validating Fine-Grained Few-shot Entity Extraction through Text Reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Chem-FINESE,一种基于seq2seq的少样本实体抽取方法,通过自验证模块重构输入句子并引入对比损失减少过度复制,在ChemNER+和CHEMET数据集上分别获得8.26%和6.84%的F1提升。
2024-05-29 cs.AI cs.CL cs.LG
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia(不列颠哥伦比亚大学);Curai(Curai公司);Vatic Investments(Vatic投资公司)
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表,要么需要跨度注释。在本文中,我们提出了一种方法,用于连接一组开放的实体,不需要任何跨度注释。我们的方法,开放集标签注意力Transformer(OSLAT),使用标签-注意力机制来学习候选实体上下文文本表示。我们发现,OSLAT不仅可以链接实体,但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT:(1)在没有显式跨度注释的情况下训练跨度提取,以及(2)在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
SEBERTNets: Sequence Enhanced BERT Networks for Event Entity Extraction Tasks Oriented to the Finance Field
JD Digital(京东数字科技)
针对金融领域事件实体抽取,本文提出可捕获序列语义的 SEBERTNets,并结合多通道召回设计 HSEBERTNets,在 CCKS 评测第一阶段分别取得 0.905 和 0.934 的 F1 分数。
2024-01-21 cs.AI cs.CL
EnriCo: Enriched Representation and Globally Constrained Inference for Entity and Relation Extraction
FI Group(FI集团);LIPN(巴黎北信息学实验室);CNRS(法国国家科学研究中心)
EnriCo通过注意力机制增强表示,并引入约束解码算法,在联合实体关系抽取中实现结构化一致输出,性能优于基线。
2024-04-18 cs.AI cs.CL
Hypertext Entity Extraction in Webpage
Shanghai Jiao Tong University(上海交通大学);Microsoft STCA(微软STCA)
针对网页实体抽取忽视字体颜色、字号等超文本特征的问题,本文构建电商领域 HEED 数据集,并提出基于 Mixture of Experts 的 MoEEF 框架,融合多类特征且性能超过强基线。
2024-03-04 cs.AI cs.CL
Mutually Guided Few-shot Learning for Relational Triple Extraction
Tongji University(同济大学);City University of Hong Kong(香港城市大学)
提出相互引导小样本学习框架MG-FTE,通过实体引导关系分类和关系引导实体抽取,并设计原型级融合模块,在FewRel 1.0和2.0上分别提升F1达12.6和20.5。
2023-06-23 cs.AI cs.CL
Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
Henan Institute of Technology(河南科技学院)
提出ESC-GCN模型,通过融合实体感知自注意力与上下文化GCN,有效结合句法结构与语义上下文以减少依存树噪声,显著提升了长句关系抽取性能。
2024-11-12 cs.AI cs.CL
SSDAU: Structured Semantic Data Augmentation for Joint Entity and Relation Extraction
State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China(南京大学新型软件技术国家重点实验室);Amap, Alibaba Group, China(阿里巴巴集团阿地图);University of Alberta, Edmonton, Canada(阿尔伯塔大学);The University of Tokyo, Tokyo, Japan(东京大学)
提出结构化语义数据增强方法SSDAU,通过保留三元组感知语义结构、上下文感知编码和BERTopic过滤,提升联合实体关系抽取的泛化能力,在多个模型和数据集上优于现有方法。
2026-05-28 cs.AI cs.CL
Entity Relation Extraction as Dependency Parsing in Visually Rich Documents
Alibaba Group(阿里巴巴集团);Vipshop (China) Co., Ltd.(唯品会(中国)有限公司)
先前关于从视觉丰富文档(VRD)中提取关键信息抽取的工作主要集中在标记每个限界框内的文本(即,语义实体),而两者之间的关系在很大程度上是未探索的。在本文中,我们适应流行的依存句法分析模型,biaffine分析器,这个实体关系抽取任务。与原有的识别词间依存关系的依存句法分析模型不同,我们用布局信息来识别词组间的依存关系。我们比较了不同的表示的语义实体,不同的VRD编码器,和不同的关系解码器。结果表明,我们提出的模型在FUNSD数据集上获得了65.96%的F1分数。在实际应用中,我们的模型已经应用于内部海关数据,在生产环境中实现了可靠的性能。
2021-10-19 cs.AI cs.CL cs.LG
An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning
RheinMain University of Applied Sciences(莱茵曼应用科学大学)
我们提出了一个联合模型的实体级关系抽取的文件。与其他方法相比-专注于本地句内提及对,因此需要在提及级别上进行注释-我们的模型在实体级别上操作。为此,遵循多任务方法,该方法建立在共指消解的基础上,并通过具有结合全局实体和本地提及信息的多级别表示的多实例学习来收集相关信号。我们在DocRED数据集上实现了最先进的关系抽取结果,并报告了第一个实体级端到端关系抽取结果以供将来参考。最后,我们的实验结果表明,联合方法与特定任务学习相当,但由于共享参数和训练步骤而更有效。
2021-12-03 cs.CL
Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains
Department of Computer Science, Drexel University(计算机科学系,德雷塞尔大学)
本文提出一种符合预测框架,用于多临床领域医疗实体提取,发现模型在不同领域中校准方向不同,需根据文档结构和任务需求调整阈值以确保安全部署。
2026-03-09 cs.AI cs.CL
Relation-Specific Attentions over Entity Mentions for Enhanced Document-Level Relation Extraction
Fudan University(复旦大学)
与传统的文档级关系抽取相比,文档级关系抽取是一个更具挑战性的任务,因为文档中的实体可能被多次提及并与多个关系相关联。然而,大多数文档级关系抽取方法并不区分提及级特征和实体级特征,而只是简单地将提及级特征聚合成实体级特征。因此,忽略了实体的不同提及之间的不同语义。为了解决这个问题,我们提出了RSMAN在本文中执行选择性注意不同的实体提到相对于候选人的关系。通过这种方式,获得了实体的灵活和关系特定的表示,这确实有利于关系分类。我们在两个基准数据集上进行的大量实验表明,我们的RSMAN可以为一些骨干模型带来显着的改进,以实现最先进的性能,特别是当一个实体在文档中有多个提及时。
2022-05-28 cs.CL
Joint Learning-based Causal Relation Extraction from Biomedical Literature
Soochow University(苏州大学);The Hong Kong Polytechnic University(香港理工大学)
生物医学实体的因果关系抽取是生物医学文本挖掘中最复杂的任务之一,涉及实体关系和实体函数两类信息。一种可行的方法是将关系抽取和函数检测作为两个独立的子任务。然而,这种分离的学习方法忽略了它们之间的内在相关性,并导致性能不令人满意。本文提出了一种联合学习模型,将实体关系抽取和实体功能检测结合起来,利用它们的共性,捕捉它们之间的相互关系,从而提高生物医学因果关系抽取的性能。同时,在模型训练阶段,损失函数中的不同函数类型被分配不同的权重。具体地说,针对负函数实例的惩罚系数增加,有效地提高了函数检测的精度。在BioCreative-V Track 4语料库上的实验结果表明,我们的联合学习模型在BEL语句提取方面优于单独的模型,在第2阶段和第1阶段的测试集上分别获得了58.4%和37.3%的F1分数。这表明,我们的联合学习系统达到了最先进的性能,在第二阶段与其他系统相比。
2022-08-02 cs.AI cs.CL
CARE: Co-Attention Network for Joint Entity and Relation Extraction
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
本文提出CARE,一种用于联合实体和关系抽取的协同注意力网络,通过并行编码和双向交互模块解决特征混淆问题,在三个基准数据集上优于现有基线。
2024-03-27 cs.CL
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院);Microsoft Bing Ads(微软必应广告)
本文研究了在复杂的多关系知识图谱中学习实体和关系表示的挑战性问题。我们提出了HittER,一个分层的Transformer模型,共同学习基于源实体邻域的语义关系组合和关系上下文化。我们提出的模型由两个不同的Transformer块组成:底部块提取源实体的局部邻域中的每个实体-关系对的特征,顶部块从底部块的输出中聚合关系信息。我们进一步设计了一个掩码实体预测任务,以平衡来自关系上下文和源实体本身的信息。实验结果表明,HittER在多个链接预测数据集上取得了新的最先进的结果。此外,我们提出了一个简单的方法来集成HittER到BERT,并证明其有效性的两个Freebase的模拟问答数据集。
2021-10-06 cs.CL cs.LG
BED: Bi-Encoder-Decoder Model for Canonical Relation Extraction
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对现有编码器-解码器式规范化关系抽取方法利用实体信息不足、无法表示新实体的问题,提出双编码器-解码器框架BED,通过单独编码实体信息提升表示质量,在两个数据集上性能超现有最优水平且无需重训练即可处理新实体。
2023-12-12 cs.AI cs.CL
A Biomedical Entity Extraction Pipeline for Oncology Health Records in Portuguese
INESC TEC(葡萄牙系统与计算机工程研究所);FCUP(波尔图大学理学院)
本文针对资源受限的欧洲葡萄牙语,提出一种结合神经架构与实体链接的生物医学实体抽取流水线,在肿瘤记录中抽取手术操作、药物和疾病,F1分别达88.6%、95.0%和55.8%。
2023-04-18 cs.AI cs.CL
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich(慕尼黑大学)
在本文中,我们解决了两种不同类型的噪音在信息抽取模型:噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型,我们引入了基于神经网络模型的多实例多标签学习算法,并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型,我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明,概率预测比离散预测更鲁棒,并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
Contextualized Embeddings in Named-Entity Recognition: An Empirical Study on Generalization
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);BNP Paribas(法国巴黎银行);Criteo AI Lab(科睿唯安人工智能实验室)
上下文化嵌入使用无监督的语言模型预训练来根据上下文计算单词表示。这对于泛化直观上是有用的,特别是在命名实体识别中,检测在训练期间从未见过的提及至关重要。然而,标准的英语基准高估了词汇的重要性,因为不切实际的词汇重叠之间的训练和测试提到上下文功能。在本文中,我们进行了一个实证分析的泛化能力的国家的最先进的语境化嵌入分离提到的新颖性和域外评估。我们表明,它们是特别有益的未见过的提及检测,特别是域外。对于在CoNLL 03上训练的模型,语言模型上下文化导致域内最大相对微F1分数增加+1.2%,而WNUT数据集上的域外最大相对微F1分数增加+13%
2020-01-22 cs.CL cs.LG
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);Alibaba Group(阿里巴巴集团);School of Computer Science and Technology, Heilongjiang University(黑龙江大学计算机科学与技术学院)
距离监督关系抽取是一种有效的大规模关系抽取方法,被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展,但很少考虑句法信息对实体建模。在本文中,我们提出学习语法感知的实体嵌入神经关系抽取。首先,我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后,我们利用句子内和句子间的注意力,以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后,我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验,实验结果表明,我们的模型可以充分利用所有的信息实例,并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph Alignment Network and Word-pair Relation Tagging
South China University of Technology(华南理工大学);The Peng Cheng Laboratory(鹏城实验室);Yunnan University(云南大学);The Hong Kong Polytechnic University(香港理工大学)
多模态命名实体识别(MNER)和多模态关系抽取(MRE)是多模态知识图谱构建任务中的两个基本子任务。然而,现有的方法通常独立地处理两个任务,这忽略了它们之间的双向交互。本文首次提出联合执行MNER和MRE作为一个联合的多模态实体-关系抽取任务(JMERE)。此外,现有的MNER和MRE模型只考虑了视觉图形和文本图形中的视觉对象与文本实体的对齐,而忽略了实体与实体之间以及对象与对象之间的关系。为了解决上述挑战,我们提出了一个边缘增强的图对齐网络和词对关系标记(EEGA)的JMERE任务。具体来说,我们首先设计了一个词对关系标记,利用MNER和MRE之间的双向交互,并避免错误传播。然后,我们提出了一个边增强的图对齐网络,通过对齐交叉图中的节点和边来增强JMERE任务。与已有的方法相比,该方法能够利用边缘信息辅助实体与对象之间的对齐,并发现实体与实体之间以及对象与对象之间的关系。实验结果表明了该模型的有效性。
2023-02-18 cs.AI cs.CL cs.MM
Entity and Evidence Guided Relation Extraction for DocRED
JD AI Research(京东人工智能研究院);Stanford University(斯坦福大学)
文档级关系抽取是一项具有挑战性的任务,它需要对多个句子进行推理,以预测文档中的关系。本文提出了一个联合训练框架E2 GRE(Entity and Evidence Guided关系抽取)。首先,我们引入实体引导序列作为预训练语言模型(例如BERT,RoBERTa)的输入。这些实体引导的序列帮助预先训练的语言模型(LM)关注与实体相关的文档区域。其次,我们利用预训练语言模型的内部注意力概率作为证据预测的附加特征,引导预训练语言模型的微调,使其更关注实体和支持/证据句子。我们评估我们的E2 GRE方法DocRED,最近发布的大规模数据集关系抽取。我们的方法能够在所有指标的公共排行榜上取得最先进的结果,表明我们的E2 GRE在关系抽取和证据预测方面既有效又协同。
2020-08-27 cs.CL
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
文档级基于实体的抽取(EE)旨在抽取以实体为中心的信息,如实体角色和实体关系,是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型,这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题,我们提出了两个文档级EE任务:角色填充实体提取(REE)和关系抽取(RE)的生成框架。我们首先将它们制定为模板生成问题,允许模型有效地捕获跨实体依赖关系,利用标签语义,并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制,TopK复制,被纳入一个预先训练的序列到序列模型,以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE(+3.26%),二元RE(+4.8%)和4元RE(+2.7%)的最新结果。
2021-09-10 cs.CL
A Trigger-Sense Memory Flow Framework for Joint Entity and Relation Extraction
Zhejiang University(浙江大学)
联合实体和关系抽取框架构建了一个统一的模型来同时执行实体识别和关系抽取,它可以利用两个任务之间的依赖性来减轻管道模型所遭受的错误传播问题。当前对联合实体和关系抽取的努力集中于通过参数共享、联合解码或其他自组织技巧(例如,建模为半马尔可夫决策过程,投射为多轮阅读理解任务)。然而,仍有两个问题摆在桌面上。首先,大多数方法所利用的交互仍然是弱的和单向的,这是无法模拟两个任务之间的相互依赖。其次,大多数方法都忽略了关系触发,这有助于解释为什么人类会在句子中提取关系。它们对于关系抽取是必不可少的,但却被忽视了。为此,我们提出了一个触发感记忆流框架(TriMF)的联合实体和关系抽取。我们建立了一个记忆模块来记忆实体识别和关系抽取任务中学习到的类别表示。在此基础上,设计了一种多级内存流注意力机制,以增强实体识别和关系抽取之间的双向交互。此外,在没有任何人类注释的情况下,我们的模型可以通过触发传感器模块增强句子中的关系触发信息,这提高了模型的性能,并使模型预测具有更好的解释。实验结果表明,我们提出的框架实现了最先进的结果,提高了关系F1在SciERC上的52.44%(+3.2%),在ACE05上的66.49%(+4.9%),在CoNLL04上的72.35%(+0.6%)和在ADE上的80.66%(+2.3%)。
2021-04-16 cs.CL
BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction
Ant Financial Services Group(蚂蚁金融服务集团)
在本文中,我们报告了我们在2019年语言和智能挑战赛中的信息抽取任务的方法。我们将BERT纳入联合实体-关系抽取的多头选择框架。该模型从三个方面扩展了现有的方法。首先,采用BERT作为多头选择框架底部的特征提取层。我们通过在BERT预训练期间引入语义增强任务来进一步优化BERT。其次,我们引入了一个大规模的百度百科语料库进行实体识别的预训练,由于没有实际命名的实体标签,所以它是每周监督学习。第三,提出了软标签嵌入,以有效地传递实体识别和关系抽取之间的信息。结合这三个方面的贡献,我们提高了多头选择模型的信息提取能力,并实现了F1-得分0.876测试集-1上的单一模型。通过集成我们模型的四个变体,我们最终在测试集1上获得F1得分0.892(第一名),在测试集2上获得F1得分0.8924(第二名)。
2019-09-26 cs.CL
Pre-trained Language Models and Few-shot Learning for Medical Entity Extraction
Santa Clara University(圣克拉拉大学);San Francisco State University(旧金山州立大学);Cornell University(康奈尔大学);The Chinese University of Hong Kong(香港中文大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文研究基于Transformer的医学实体抽取,比较多种预训练语言模型和抽取方法,并验证小样本学习在低资源场景下的有效性,证明预训练模型与小样本学习结合可提升医学实体抽取准确性。
2025-04-06 cs.CL
Linguistically Informed Relation Extraction and Neural Architectures for Nested Named Entity Recognition in BioNLP-OST 2019
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
命名实体识别(NER)和关系抽取(RE)是从生物医学文献中提取知识的重要工具。本文介绍了我们参与BioNLP Shared Tasks 2019的发现。本文研究了命名实体识别,包括嵌套实体抽取、实体规范化和关系抽取。我们提出的命名实体的方法可以推广到不同的语言,我们已经证明了它的有效性英语和西班牙语文本。我们研究了语言特征,混合损失包括排名和条件随机场(CRF),多任务目标和标记级集成策略,以提高NER。我们采用基于字典的模糊和语义搜索来执行实体规范化。最后,我们的RE系统采用支持向量机(SVM)与语言特征。我们的NER提交(团队:MIC-CIS)在BB-2019 norm+NER任务中排名第一,标准出错率(SER)为0.7159,并在PharmaCo NER任务中表现出竞争力,F1得分为0.8662。我们的RE系统在SeeDev-binary关系抽取任务中排名第一,F1得分为0.3738。
2019-10-08 cs.CL
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore(新加坡国立大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
用于关系抽取的远程监督数据集主要集中在事务级抽取,并且它们覆盖的关系很少。在这项工作中,我们提出了跨文档的关系抽取,其中的两个实体的关系元组出现在两个不同的文件,通过一个共同的实体链连接。按照这个想法,我们创建了一个两跳关系抽取的数据集,其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络(HEGCN)模型,与一些强大的神经基线相比,该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
Entity Concept-enhanced Few-shot Relation Extraction
BeiHang University(北京航空航天大学);Pengcheng Laboratory(鹏城实验室);Hikvision Research Institute(海康威视研究院)
Few-Shot关系抽取(FSRE)在解决长尾分布问题中具有重要意义,特别是在数据资源较少的特殊领域。现有的FSRE算法由于样本有限和知识缺乏,仅根据句子信息和识别出的实体对不能准确地对关系进行分类。针对这一问题,本文提出了一种新的实体概念增强的Few-Shot关系抽取方案(ConceptFERE),该方案引入实体固有的概念,为关系预测提供线索,提高关系分类性能。首先,开发了一个概念-句子注意模块,通过计算句子和概念之间的语义相似度,从每个实体的多个概念中选择最合适的概念。其次,提出了一个基于自注意的融合模块,弥补了不同语义空间的概念嵌入和句子嵌入的不足。在FSRE基准数据集FewRel上进行的大量实验证明了所提出的ConceptFERE方案与最先进的基线相比的有效性和优越性。代码可在https://github.com/LittleGuoKe/ConceptFERE上获得。
2021-06-04 cs.AI cs.CL cs.LG
DocRED-FE: A Document-Level Fine-Grained Entity And Relation Extraction Dataset
National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理全国重点实验室)
实体与关系抽取(JERE)是信息抽取中的一项重要任务。然而,大多数现有作品都集中在句子级粗粒度JERE上,这在现实场景中存在局限性。本文构建了一个大规模文档级细粒度JERE数据集DocRED-FE,它对DocRED进行了细粒度实体类型的改进。具体而言,我们重新设计了一个分层的实体类型模式,包括11个粗粒度类型和119个细粒度类型,然后重新注释DocRED手动根据这个模式。通过综合实验,我们发现:(1)DocRED-FE对现有的JERE模型提出了挑战;(2)我们的细粒度实体类型促进了关系分类。我们在https://github.com/PKU-TANGENT/DOCRED-FE上公开了DocRED-FE的说明和基线代码。
2023-03-21 cs.CL
MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
我们提出了MobIE,德语数据集,这是人类注释的20个粗粒度和细粒度的实体类型和实体链接信息的地理上不确定的实体。该数据集由3,232个社交媒体文本和91K令牌的交通报告组成,并包含20.5K注释实体,其中13.1K链接到知识库。数据集的一个子集是人类注释的七个移动性相关的,n元关系类型,而其余的文件是使用弱监督标记方法与Snorkel框架实现注释。据我们所知,这是第一个结合了NER,EL和RE注释的德语数据集,因此可以用于这些基本信息抽取任务的联合和多任务学习。我们在https://github.com/dfki-nlp/mobie上公开了Mobie。
2022-03-28 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取(RE)是构建生物医学数据库的重要来源,它比人工处理更高效、可扩展。然而,现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中,我们提出了BERE,这是一种基于深度学习的模型,它使用Gumbel Tree-GRU来学习句子结构,并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力,以适应远程监督数据集。由于现有的数据集相对较小,我们进一步构建了一个更大的药物靶点相互作用提取(DTIE)数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明,我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限责任公司)
我们提出了KPI-BERT,一个系统,它采用新的方法命名实体识别(NER)和关系抽取(RE)提取和链接的关键绩效指标(KPI),如“收入”或“利息支出”,公司从现实世界的德国金融文件。具体来说,我们引入了一种端到端的可训练架构,该架构基于来自Transformers的双向编码器表示(BERT),将递归神经网络(RNN)与条件标签掩蔽相结合,以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制,并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能,超过了几个强大的基线,包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution
Ghent University(根特大学);imec(比利时微电子研究中心)
本文提出了一种联合信息抽取模型,在整个文档中联合解决命名实体识别、共指消解和关系抽取。特别是,我们研究了如何注入信息从知识库(KB)在这样的IE模型,基于无监督的实体链接。所使用的KB实体表示是从(i)超链接文本文档(Wikipedia)或(ii)知识图谱(Wikidata)中学习的,并且在提高IE性能方面是互补的。相应的实体链接(EL)候选者的表示被添加到输入文档的文本跨度表示,并且我们实验(i)基于其先验(在维基百科中)对EL候选者表示进行加权平均,以及(ii)在EL候选者列表上使用注意力方案。结果表明,在两个数据集上评估的IE任务的F1分数增加了5%。尽管基于先验的模型表现很好,但我们的定量和定性分析揭示了使用基于注意力的方法的优势。
2021-07-05 cs.CL
Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text
East China University of Science and Technology(华东理工大学);Shanghai Hospital Development Center(上海医院发展中心)
实体和关系抽取是构建医学文本的必要步骤。但是现有模型中的双向长短期记忆网络的特征提取能力并没有达到最佳效果。同时,该语言模型在越来越多的自然语言处理任务中取得了优异的效果。在本文中,我们提出了一个集中注意力模型的联合实体和关系抽取任务。该模型通过动态范围注意力机制将著名的BERT语言模型融入到联合学习中,从而提高了共享参数层的特征表示能力。在曙光医院冠状动脉造影文本上的实验结果表明,命名实体识别和关系分类任务的F1分数分别达到96.89%和88.51%,优于现有方法的1.65%和1.22%。
2019-10-22 cs.CL
iMETRE: Incorporating Markers of Entity Types for Relation Extraction
International Institute of Information Technology(国际信息技术学院)
本文提出iMETRE方法,通过结合类型化实体标记表示和微调模型,在金融数据集REFinD上实现69.65%的F1分数,改进句子级关系抽取性能。
2023-06-30 cs.CL
AIFB-WebScience at SemEval-2022 Task 12: Relation Extraction First -- Using Relation Extraction to Identify Entities
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出了一种基于转换器的语言模型的端到端联合实体和关系抽取方法。我们将该模型应用于将数学符号与LaTeX文档中的描述联系起来的任务。与现有的方法,执行实体和关系抽取的顺序,我们的系统将信息从关系抽取到实体提取。这意味着系统甚至可以在仅标注了所有有效实体跨度的子集的数据集上进行训练。我们提供了一个广泛的评价拟议的系统及其优点和缺点。我们的方法可以在推理时动态缩放计算复杂性,产生高精度的预测,并在SemEval-2022任务12的排行榜中排名第三。对于物理和数学领域的输入,它分别达到了95.43%和79.17%的高关系抽取宏F1分数。用于训练和评估我们模型的代码可在https://github.com/nicpopovic/RE1st上获得
2022-05-04 cs.AI cs.CL cs.LG
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University(康奈尔大学)
我们重新审视经典的问题,文档级的角色填充实体提取(REE)模板填充。我们认为,文本级的方法是不适合的任务,并引入了一个生成的基于转换器的编码器-解码器框架(GRIT),其目的是在文档级的上下文建模:它可以跨句子边界提取决策,是隐含地知道名词短语的共指结构,并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法,并表明我们的模型比以前的工作表现得更好。我们还表明,我们的建模选择有助于模型性能,例如,通过隐式地捕获语言知识,例如识别共指实体提及。
2021-01-28 cs.CL
Towards Effective Multi-Task Interaction for Entity-Relation Extraction: A Unified Framework with Selection Recurrent Network
Tokyo Institute of Technology(东京工业大学)
实体-关系抽取旨在联合解决命名实体识别(NER)和关系抽取(RE)问题.最近的方法使用单向顺序信息传播的管道方式或双向隐式交互与共享编码器。然而,他们仍然遭受不良的信息交互,由于不同的任务形式之间的差距,净入学率和RE,提出了一个有争议的问题,是否RE是真的有利于净入学率。基于此,我们提出了一个新的和统一的级联框架,结合了顺序信息传播和隐式交互的优点。同时,通过将实体-关系抽取重新定义为统一的跨度抽取任务,消除了两个任务之间的鸿沟。具体而言,我们提出了一个选择递归网络作为共享编码器,以编码特定于任务的独立和共享的表示和设计两个顺序的信息传播策略,以实现顺序的信息流之间的NER和RE。大量的实验表明,我们的方法可以实现国家的最先进的结果,在两个共同的基准,ACE 05和SciERC,并有效地模拟多任务的相互作用,实现显着的互惠互利的NER和RE。
2022-02-15 cs.CL
Techniques for Jointly Extracting Entities and Relations: A Survey
TCS Research & Innovation(塔塔咨询服务公司研究与创新中心);Indian Institute of Technology Bombay(印度理工学院孟买分校)
关系抽取是信息抽取中的一项重要任务,它涉及实体提及之间的语义关系识别。传统上,关系抽取是在实体提取之后以“流水线”方式进行的,因此关系抽取仅关注于确定在一对提取的实体提及之间是否存在任何语义关系。这导致错误从实体提取阶段传播到关系抽取阶段。此外,实体提取进行没有任何知识的关系。因此,观察到联合执行实体和关系抽取对于这两个任务都是有益的。在本文中,我们调查各种技术,共同提取实体和关系。我们根据它们用于联合提取的方法对技术进行分类,即它们是否采用联合推理或联合建模或两者兼而有之。我们进一步描述了联合推理和联合建模的一些代表性技术。我们还描述了两个标准的数据集,评估技术和这些数据集上的联合提取方法的性能。我们提出了一个简单的分析应用一般域联合提取方法的生物医学数据集。本调查是有用的研究人员以及从业人员在该领域的信息抽取,涵盖了广泛的景观联合提取技术。
2021-03-10 cs.CL
A Consolidated System for Robust Multi-Document Entity Risk Extraction and Taxonomy Augmentation
Thomson Reuters Special Services, LLC(汤森路透特别服务有限责任公司)
我们引入了一个混合的人工自动化系统,提供了可扩展的实体风险关系抽取在大型数据集。给定专家定义的关键字分类法、实体和数据源,系统基于实体和关键字之间的双向标记距离返回文本提取,并使用词向量编码扩展分类法覆盖范围。与专注于警报的系统相比,我们的系统代表了一个更简化的架构-受风险挖掘领域的高覆盖率用例(如尽职调查活动和情报收集)的激励。我们提供了一个系统的概述和专家评估的令牌距离范围。我们证明,单句和多句距离组显着优于基线提取与较短的,单句是首选的分析师。随着分类法的扩展,相关信息的量增加,多句提取变得更受欢迎,但这与实体风险关系变得更加间接有关。我们讨论了这些意见对用户的影响,管理的模糊性和分类扩展,以及未来的系统修改。
2019-09-23 cs.CL
Entity, Relation, and Event Extraction with Contextualized Span Representations
University of Washington(华盛顿大学);Google AI Language(谷歌AI语言团队);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们研究了一个统一的,多任务的框架,三个信息抽取任务的能力:命名实体识别,关系抽取,和事件提取。我们的框架(称为DyGIE++)通过枚举,精炼和评分旨在捕获本地(句子内)和全球(跨句子)上下文的文本跨度来完成所有任务。我们的框架在来自各个领域的四个数据集上实现了所有任务的最先进结果。我们进行实验比较不同的技术来构建跨度表示。像BERT这样的上下文嵌入在捕获相同或相邻句子中的实体之间的关系方面表现良好,而动态跨度图更新则对长范围的跨句子关系进行建模。例如,通过预测的共指链接传播跨度表示可以使模型能够消除具有挑战性的实体提及的歧义。我们的代码可在https://github.com/dwadden/dygiepp上公开获取,并且可以轻松地适应新任务或数据集。
2019-09-10 cs.CL
Graph Neural Network-Based Entity Extraction and Relationship Reasoning in Complex Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);San Francisco State University(旧金山州立大学);Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);Tulane University(杜兰大学);Columbia University(哥伦比亚大学)
本文提出基于图卷积网络和图注意力网络的端到端联合模型,用于复杂知识图谱的实体抽取与关系推理,实验证明其在AUC、召回率、精确率和F1值等指标上优于多种深度学习方法,并展现出更强的泛化能力与稳定性。
2024-11-19 cs.AI cs.CL cs.LG