Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science(印度科学研究所);University of British Columbia(英属哥伦比亚大学)
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督(DS)是一种流行的技术,用于从有限监督开始开发关系提取器。我们注意到,在远程监督关系抽取设置中的大多数句子都很长,并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先,我们提出了两个新的词注意力模型的远程监督关系抽取:(1)双向门控递归单元(Bi-GRU)为基础的词注意力模型(BGWA),(2)以实体为中心的注意力模型(EA),和(3)组合模型,采用加权投票方法结合多个互补的模型改进的关系抽取。其次,介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声,使可靠的自动评估成为可能。第三,通过在多个真实数据集上的大量实验,我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
MProto: Multi-Prototype Network with Denoised Optimal Transport for Distantly Supervised Named Entity Recognition
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院)
针对远程监督命名实体识别中的标注噪声问题,提出多原型网络MProto,通过多原型建模类内差异并将token-原型分配视为最优传输问题,辅以去噪算法,在多个基准上取得最优性能。
2023-10-12 cs.CL
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校)
我们研究的问题,训练命名实体识别(NER)模型,只使用距离标记的数据,这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签,从而使直接应用的监督学习变得无效。在本文中,我们提出了(1)一个噪声鲁棒的学习计划,包括一个新的损失函数和噪声标签去除步骤,用于训练远距离标记数据的NER模型,和(2)一个自训练方法,使用由预训练的语言模型创建的上下文增强,以提高泛化能力的NER模型。在三个基准数据集上,我们的方法实现了卓越的性能,显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
远距离监督命名实体识别(DS-NER)有效地降低了人工成本,但同时由于远距离监督的强假设而固有地遭受标签噪声。通常,错误标记的实例包括许多不完整和不准确的注释噪声,而大多数先前的去噪工作只关注一种噪声,而不能充分挖掘整个训练集中的有用信息。为了解决这个问题,我们提出了一个强大的学习范式,名为自协作去噪学习(SCDL),它以互利的方式联合训练两个师生网络,迭代地执行噪声标签精炼。每个网络都被设计为通过自我去噪来利用可靠的标签,两个网络相互通信,通过协作去噪来探索不可靠的注释。在五个真实数据集上的大量实验结果表明,SCDL优于最先进的DS-NER去噪方法。
2023-02-15 cs.CL
DynClean: Training Dynamics-based Label Cleaning for Distantly-Supervised Named Entity Recognition
Temple University(天普大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出DynClean,一种基于训练动态的标签清洗方法,通过自动阈值估计定位并移除远程监督NER中的错误标注,在四个数据集上显著提升F1分数。
2025-04-06 cs.CL
Constraint Multi-class Positive and Unlabeled Learning for Distantly Supervised Named Entity Recognition
University of Science and Technology of China(中国科学技术大学);School of Management(管理学院);School of Data Science(数据科学学院)
本文提出约束多类正样本与无标签学习(CMPU)方法,通过在风险估计器中引入约束因子缓解远程监督命名实体识别中的假阴性问题,并在两个基准数据集上验证了其优于现有方法的性能。
2025-04-07 cs.CL
Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of New South Wales(新南威尔士大学)
远程监督关系抽取本质上遭受噪声标签由于远距离监督的强假设。大多数现有的工作采用选择性注意力机制在一个袋子里的句子去噪从错误标记的数据,但这可能是不称职的,当只有一个句子在一个袋子。本文提出了一种全新的轻量级神经网络框架来解决远距离监督的关系抽取问题,并弥补了以往选择性注意框架的不足。具体而言,在该框架中,我们使用了一种实体感知的词嵌入方法,将相对位置信息和头/尾实体嵌入结合起来,旨在突出实体的本质,以完成这项任务:2)我们开发了一种自注意力机制,以捕获丰富的上下文依赖,作为分段CNN捕获的局部依赖的补充;(3)我们设计了一个基于丰富上下文表示的池化门,作为聚合器来生成用于最终关系分类的袋级表示,而不是使用选择性注意。与选择性注意相比,所提出的门控机制的一个主要优点是,即使只有一个句子出现在一个袋子中,它也能稳定地执行,从而保持所有训练样本的一致性。在NYT数据集上的实验表明,我们的方法在AUC和top-n精度指标方面都达到了新的最先进的性能。
2019-11-27 cs.CL
Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning
Iowa State University(爱荷华州立大学)
本文研究了远程监控下的命名实体识别问题。由于外部字典和/或知识库的不完整性,这种远距离注释的训练数据通常遭受高的假阴性率。为此,我们制定了远程监督NER(DS-NER)的问题,通过多类积极和无标签(MPU)学习,并提出了一种理论和实践上新颖的CONFidence-based MPU(Conf-MPU)的方法。为了处理不完整的注释,Conf-MPU包括两个步骤。首先,为作为实体令牌的每个令牌估计置信度分数。然后,建议Conf-MPU风险估计训练一个多类分类器的NER任务。在两个由各种外部知识标记的基准数据集上的实验表明,所提出的Conf-MPU比现有的DS-NER方法的优越性。
2022-03-03 cs.CL cs.LG
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory(Sber人工智能实验室)
医学实体抽取是医学文本处理的第一步。通常,医学EE是一个两步过程:命名实体识别(NER)和命名实体规范化(NEN)。我们提出了一种从电子健康记录(EHR)中进行医疗EE的新方法,作为一个单步多标签分类任务,通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标,以远程监督的方式进行端到端的训练。我们表明,我们的模型可以学习对足够频繁出现的实体进行泛化,从而为最频繁的实体实现人类级别的分类质量。我们的工作表明,医疗实体提取可以在没有人类监督的情况下进行端到端的提取,并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Distantly Supervised Relation Extraction via Recursive Hierarchy-Interactive Attention and Entity-Order Perception
Jilin University(吉林大学);University of Washington(华盛顿大学)
错误标注问题和长尾关系严重影响了远程监督关系抽取任务的性能。许多研究通过选择性注意力机制来减轻错误标注的影响,并通过引入关系层次来处理长尾关系以实现知识共享。然而,几乎所有的研究都忽略了这样一个事实,即在一个句子中,两个实体的出现顺序有助于其语义的理解。此外,它们只单独利用关系层次的每个关系层,而没有利用关系层之间的启发式效应,即,高层关系可以为低层关系提供有用的信息。在此基础上,本文设计了一种新的递归层次-交互式注意力网络(RHIA)来进一步处理长尾关系,该网络模拟了关系层次之间的启发式效应。自上而下,它通过关系相关的信息层,这是最显着的区别,从现有的模型,并产生关系增强的句子表示为每个关系水平的递归结构。此外,我们还引入了一个新的训练目标,称为有序感知(EOP),使句子编码器保留更多的实体外观信息。大量的实验流行(纽约时报)数据集进行。与之前的基线相比,我们的RHIA-EOP在精确-召回(P-R)曲线,AUC,Top-N精确度和其他评估指标方面达到了最先进的性能。深入的分析也证明了RHIA-EOP每个组成部分的必要性和有效性。
2022-04-25 cs.CL
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia(弗吉尼亚大学);Tencent AI Lab(腾讯AI实验室);Fudan University(复旦大学)
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能,但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中,我们介绍了两个广泛存在的知识库,即实体描述,和多粒度的实体类型,以丰富的远程监督数据。我们将信息源视为多个视图,并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习(InSRL)的端到端多视图关系抽取学习框架,并实现了多视图表示的联合学习.此外,内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble
Huawei Cloud(华为云);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院);Peking University(北京大学);Hubei Key Laboratory of Distributed System Security, Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间安全学院,湖北省分布式系统安全重点实验室,湖北省大数据安全工程技术研究中心)
远程监督命名实体识别(DS-NER)通过自动生成训练样本有效地解决了命名实体识别中的数据稀缺问题。然而,远程监督可能会导致噪声标签,从而破坏学习模型的鲁棒性,限制了实际应用。为了缓解这个问题,最近的作品采用自我训练的师生框架,逐步细化训练标签,提高泛化能力的NER模型。然而,我们认为,DS-NER目前的自我训练框架的性能被严重低估了他们的平原设计,包括学生学习不足和粗粒度的教师更新。因此,在本文中,我们第一次尝试缓解这些问题,提出:(1)自适应教师学习包括两个教师-学生网络的联合训练,并考虑两个教师之间的一致和不一致的预测,从而促进全面的学生学习。(2)细粒度的学生集合,其利用学生的对应片段的时间移动平均来更新教师模型的每个片段,这增强了对每个模型片段的一致预测以对抗噪声。为了验证我们提出的方法的有效性,我们进行了实验上的四个DS-NER数据集。实验结果表明,我们的方法显着优于以前的SOTA方法。
2022-12-13 cs.CL
DistALANER: Distantly Supervised Active Learning Augmented Named Entity Recognition in the Open Source Software Ecosystem
Indian Institute of Technology Kharagpur(印度克勒格布尔印度理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
针对开源软件领域标注数据稀缺、专家标注成本高的问题,提出DistALANER这一结合远程监督两步标注与主动学习的NER方法,性能显著优于现有LLMs,且在关系抽取下游任务中有效。
2024-06-20 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
远程监督是一种很有前途的关系抽取方法,但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子,并使用多示例学习技术对标签进行去噪。然而,基于袋的范例,未能利用句间级和实体级的证据关系抽取,其去噪算法往往是专门的和复杂的。在本文中,我们提出了一个新的DS范式-基于文档的远程监督,模型关系抽取作为一个基于文档的机器阅读理解(MRC)的任务。通过将关于实体的所有句子重新组织为文档,并通过使用关系特定问题查询文档来提取关系,基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss(distantsupervisoryloss),该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型,从而从本质上解决了噪声标签问题。实验表明,我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
DESCGEN: A Distantly Supervised Dataset for Generating Abstractive Entity Descriptions
University of Washington(华盛顿大学)
实体的简短文本描述提供了其关键属性的摘要,并且已被证明是用于诸如实体链接和问答之类的任务的背景知识的有用来源。然而,生成实体描述,特别是对于新的和长尾实体,可能具有挑战性,因为相关信息通常分散在具有不同内容和风格的多个源中。我们引入DESCGEN:给定分布在多个文档中的提及,目标是生成实体摘要描述。DESCGEN由来自维基百科和Fandom的37 K实体描述组成,每个描述平均与9个证据文档配对。这些文件是通过实体链接和超链接到维基百科和Fandom实体页面的组合来收集的,它们共同提供了高质量的远程监督。由此产生的摘要比现有数据集中的摘要更抽象,并为描述新的和正在出现的实体的挑战提供了更好的代理。我们还提出了一个两阶段提取然后生成基线,并表明最先进的模型和人类表现之间存在很大的差距(ROUGE-L中为19.9%),这表明数据将支持未来的重要工作。
2021-06-16 cs.AI cs.CL
SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition
National Key Laboratory for Multimedia Information Processing, Peking University(国家多媒体信息处理重点实验室,北京大学);School of Software and Microelectronics, Peking University(软件与微电子学院,北京大学)
本文提出SANTA框架,针对远程监督命名实体识别中的不准确和不完整标注噪声分别采用定制策略,有效缓解了实体歧义和决策边界偏移问题,并在五个公开数据集上达到最先进水平。
2025-10-11 cs.AI cs.CL
Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning
National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Tencent Inc.(腾讯公司);Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University(江苏省语言能力协同创新中心,江苏师范大学)
本文针对远程监督命名实体识别中的标签噪声问题,提出不确定性感知的教师学习和学生-学生协作学习,以减少错误伪标签传播并充分探索误标注样本,在五个数据集上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology(印度理工学院)
用于远程监督关系抽取(DS-RE)的神经模型将每个句子单独编码在实体对袋中。然后,这些被聚合用于袋级关系预测。由于在编码时,这些方法不允许信息从袋子中的其他句子中流出,我们认为它们没有充分利用可用的袋子数据。作为回应,我们探索一个简单的基线方法(PARE),其中一个袋子的所有句子连接成一个句子的通道,并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现,我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science(印度科学学院);Birla Institute of Technology and Science, Pilani(比尔拉理工学院皮拉尼校区)
远程监督关系抽取(RE)方法通过自动地将知识库(KB)中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外,KB通常包含其他相关的边信息,诸如关系的别名(例如,founded和co-founded是关系founderOfCompany的别名)。RE模型通常忽略这些容易获得的边信息。在本文中,我们提出了RESIDE,一个远程监督的神经关系抽取方法,利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络(GCN)从文本中编码语法信息,即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验,我们证明了RESIDE的有效性。我们提供了RESIDE的源代码,以鼓励可重复的研究。
2019-02-12 cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group(阿里巴巴集团)
近年来,通过使用深度神经网络,远程监督关系抽取取得了一定的成功。远程监督(DS)可以通过将知识库(KB)中的实体对对齐到句子来自动生成大规模的带注释数据。然而,这些DS生成的数据集不可避免地有错误的标签,导致在测试过程中不正确的评估分数,这可能会误导研究人员。为了解决这个问题,我们构建了一个新的数据集NYTH,其中我们使用DS生成的数据作为训练数据,并雇用注释器来标记测试数据。与以前的数据集相比,NYT-H具有更大的测试集,因此我们可以进行更准确和一致的评估。最后,我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明,比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明,我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction
ADAPT Centre, School of Computing, Dublin City University(都柏林城市大学计算学院ADAPT中心);Accenture Labs Dublin(埃森哲都柏林实验室)
注意力机制经常在深度神经网络中用于远距离监督关系抽取(DS-RE),以区分有效实例和噪声实例。然而,传统的1-D向量注意力模型是不够的学习不同的背景下,选择有效的实例来预测实体对的关系。为了缓解这个问题,我们提出了一种新的多层结构(2-D矩阵)的自我注意力机制DS-RE在多实例学习(MIL)框架使用双向递归神经网络。在所提出的方法中,一个结构化的单词级自我注意力机制学习一个2-D矩阵,其中每个行向量表示关于两个实体的实例的不同方面的权重分布。针对MIL问题,结构化的中间层注意力学习一个二维矩阵,其中每个行向量表示选择不同有效实例时的权重分布。在两个公开的DS-RE数据集上进行的实验表明,所提出的具有多层次结构化自我注意力机制的框架在PR曲线、P@N和F1测量方面显著优于最先进的基线。
2018-09-03 cs.CL
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院)
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取(DSRE)任务一般都是独立地进行单级或袋级去噪,而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架(HiCLRE),该框架综合了全局结构信息和局部细粒度交互,能够有效地减少噪声句子。具体来说,我们提出了一个三层的分层学习框架,通过调整现有的多头自注意力,生成去噪的上下文感知表示,命名为多粒度重构。同时,伪正样本也提供在特定的水平,对比学习通过动态梯度的数据增强策略,称为动态梯度对抗扰动。实验表明,HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Hikvision Research Institute(海康威视研究院);University of Southern California(南加利福尼亚大学)
远程监督利用知识库来自动标记实例,从而允许我们训练关系提取器而无需人工注释。然而,生成的训练数据通常包含大量噪声,并且可能导致普通监督学习的性能较差。在本文中,我们提出了一种新的交叉关系交叉袋选择性注意(C $^2$ SA)进行多示例学习,这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言,我们采用了双水平的选择性注意,以减少噪音或不匹配的句子的影响,而关系之间的相关性被捕获,以提高注意力的权重的质量。此外,我们试图更多地关注具有更高质量的实体对,而不是平等地对待所有实体对。同样,我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性,而进一步的消融研究验证了我们的直觉,并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
A Data-driven Approach for Noise Reduction in Distantly Supervised Biomedical Relation Extraction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
事实三元组是生物医学领域中使用的结构化知识的常见形式。随着非结构化科学文本数量的持续增长,用于关系抽取任务的这些文本的手动注释变得越来越昂贵。远程监控提供了一种可行的方法来解决这个问题,它可以快速生成大量带标签但噪音很大的数据。我们的目标是通过扩展实体丰富的关系分类BERT模型的多实例学习的问题,并定义一个简单的数据编码方案,显着降低噪声,达到国家的最先进的性能远程监督生物医学关系抽取,以减少这种噪音。我们的方法进一步编码知识的关系三元组的方向,允许通过减少噪音和减轻联合学习与知识图谱完成的需要,增加对关系学习的关注。
2020-05-26 cs.CL cs.LG
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore(新加坡国立大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
用于关系抽取的远程监督数据集主要集中在事务级抽取,并且它们覆盖的关系很少。在这项工作中,我们提出了跨文档的关系抽取,其中的两个实体的关系元组出现在两个不同的文件,通过一个共同的实体链连接。按照这个想法,我们创建了一个两跳关系抽取的数据集,其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络(HEGCN)模型,与一些强大的神经基线相比,该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
ANEA: Distant Supervision for Low-Resource Named Entity Recognition
Saarland University(萨尔兰大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
远程监督允许获得标记的训练语料库的低资源设置,只有有限的手工注释的数据存在。然而,为了有效地使用,远程监督必须易于收集。在这项工作中,我们提出了ANEA,一个工具,自动标注命名实体的文本中的实体列表的基础上。它跨越了整个管道从获得的名单,分析的错误,远程监督。调优步骤允许用户使用他们的语言见解来改进自动注释,而无需手动标记或检查所有标记。在六个低资源的情况下,我们表明,F1分数可以通过ANEA获得的远程监督数据平均增加18分。
2021-04-15 cs.CL
Mix of Experts Language Model for Named Entity Recognition
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加利福尼亚大学圣迭戈分校);Columbia University(哥伦比亚大学)
针对远程监督NER标注噪声问题,本文提出基于专家混合的BOND-MoE模型,在EM框架下集成多模型并引入公平分配模块,在真实数据集上取得最先进性能。
2024-04-30 cs.AI cs.CL
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而,不可避免的错误标记的问题,由远程监督将损害性能的关系抽取。在本文中,我们提出了一种方法与神经噪声转换器,以减轻噪声数据的影响,和一个条件最优选择器,使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵,并捕获远程监督关系抽取数据集的属性。另一方面,条件最优选择器有助于对实体对做出正确的预测决策,即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验,结果表明,与竞争性基线方法相比,该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Distantly Supervised Relation Extraction in Federated Settings
University of Chinese Academy of Sciences(中国科学院大学)
本文研究了联邦环境下的远程监督关系抽取。以前的研究集中在集中训练的假设下,需要从不同的平台收集文本并将其存储在一台机器上。然而,集中培训面临着两个问题的挑战,即数据壁垒和隐私保护,这使得集中多个平台的数据几乎不可能或成本过高。因此,在联邦学习范式中研究远程监督是值得的,它将模型训练从对原始数据的直接存取的需要中分离出来。然而,在联邦设置中,克服远程监督的标签噪声变得更加困难,因为包含相同实体对的句子可能分散在不同的平台上。在本文中,我们提出了一个联邦去噪框架来抑制联邦设置中的标签噪声。该框架的核心是一种基于多实例学习的去噪方法,该方法能够通过跨平台协作选择可靠的实例。在纽约时报数据集和miRNA基因调控关系数据集上的实验结果表明了该方法的有效性。
2020-08-12 cs.CL cs.LG
Leveraging 2-hop Distant Supervision from Table Entity Pairs for Relation Extraction
The Ohio State University(俄亥俄州立大学)
远程监控(Distant Supervision,DS)已被广泛用于自动构造(噪声)标记数据以用于关系抽取(RE)。给定两个实体,远距离监督利用直接提到它们的句子来预测它们的语义关系。我们把这种策略称为1跳DS,不幸的是,它可能不适合于支持句子很少的长尾实体。在本文中,我们引入了一种新的策略,名为2跳DS,以提高远程监督RE,观察到存在大量的关系表在Web上包含共享共同关系的实体对。我们将这样的实体对称为彼此的锚,并收集所有提到给定目标实体对的锚实体对的句子,以帮助关系预测。我们在多示例学习范式中开发了一种新的神经RE方法REDS 2,该方法采用分层模型结构分别融合来自1跳DS和2跳DS的信息。在基准数据集上进行的大量实验结果表明,REDS2可以在不同的设置中始终优于各种基线。
2019-09-13 cs.CL
BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology(佐治亚理工学院)
研究了远程监控下的开放域命名实体识别问题。远程监督,虽然不需要大量的手动注释,通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战,我们提出了一个新的计算框架-- BOND,它利用了预先训练的语言模型(例如,BERT和RoBERTa)来改进NER模型的预测性能。具体来说,我们提出了一种两阶段的训练算法:第一阶段,我们使用距离标签将预先训练好的语言模型适应于NER任务,可以显著提高召回率和精确率;第二阶段,我们去掉距离标签,并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明,BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
Denoising Enhanced Distantly Supervised Ultrafine Entity Typing
Baidu Research(百度研究院)
最近,远程监督(DS)超精细实体分类的任务受到了极大的关注。然而,DS数据是有噪声的,并且经常遭受缺失或错误的标签问题,导致低精度和低召回率。本文提出了一种新的具有去噪能力的超精细实体分类模型。具体来说,我们建立了一个噪声模型来估计输入上下文和噪声类型标签上的未知标签噪声分布。利用噪声模型,可以通过从输入中减去估计的噪声来恢复更可信的标签。此外,我们提出了一个实体分类模型,它采用双编码器架构,在去噪数据上进行训练。最后,噪声模型和实体分类模型被迭代地训练以相互增强。我们在Ultra-Fine实体类型数据集和OntoNotes数据集上进行了广泛的实验,并证明了我们的方法显着优于其他基线方法。
2022-10-18 cs.CL
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
远程监督关系抽取(RE)是一种有效的方法,规模RE大型语料库,但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音,但主要是设法识别最频繁的关系,忽略了长尾中的关系。我们提出了REDSandT(关系抽取与远程监督和Transformers),一种新的远程监督的transformer为基础的RE方法,管理,以捕捉更广泛的关系,通过高度翔实的实例和标签嵌入RE,利用BERT的预训练模型,标签和实体之间的关系,分别。我们通过对结构化输入(包括连接实体对和实体类型的子树)进行BERT微调,引导REDSandT只关注关系令牌。使用提取的信息向量,我们形状的标签嵌入,我们也使用的注意力机制的实例,以进一步减少噪音。最后,我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明,REDSandT以更高的置信度捕获了更广泛的关系集,实现了最先进的AUC(0.424)。
2021-02-01 cs.CL cs.IR cs.LG
A Noise-Robust Loss for Unlabeled Entity Problem in Named Entity Recognition
命名实体识别是自然语言处理中的一项重要任务。然而,传统的监督NER需要大规模的注释数据集。远程监督是为了缓解对数据集的大量需求而提出的,但以这种方式构建的数据集具有非常强的噪声,并且存在严重的未标记实体问题。交叉熵(CE)损失函数对未标记数据高度敏感,导致严重的性能下降。作为替代方案,我们提出了一个新的损失函数称为NRCES来处理这个问题。使用S形项来减轻噪声的负面影响。此外,我们根据样本和训练过程平衡了模型的收敛性和噪声容忍度。在合成和真实世界数据集上的实验表明,我们的方法在严重的未标记实体问题的情况下表现出很强的鲁棒性,在真实世界数据集上达到了新的最新水平。
2022-08-05 cs.AI cs.CL
Re-Examine Distantly Supervised NER: A New Benchmark and a Simple Approach
Iowa State University(爱荷华州立大学)
针对远程监督NER依赖大验证集的问题,提出新基准QTL和基于课程学习的正-未标记方法CuPUL,在小验证集上稳健有效。
2024-12-16 cs.CL cs.LG
Manual Evaluation Matters: Reviewing Test Protocols of Distantly Supervised Relation Extraction
Princeton University(普林斯顿大学);Tsinghua University(清华大学);Tencent Inc(腾讯公司)
在过去的几年中,远程监督(DS)关系抽取(RE)由于可以利用大规模的自动标注数据而引起了人们的广泛关注。然而,它的评估长期以来一直是一个问题:以前的工作要么采用昂贵且不一致的方法来手动检查模型预测的小样本,要么直接在自动标记的数据上测试模型-通过我们的检查,在流行的NYT 10数据集中,在实体对级别上产生了多达53%的错误标签。这个问题不仅导致了不准确的评价,而且也使我们很难理解我们在DS-RE研究中所处的位置以及需要改进的地方。为了以更可靠的方式评估DS-RE模型,我们为两个DS-RE数据集NYT 10和Wiki 20构建了手动注释的测试集,并彻底评估了几个竞争模型,特别是最新的预训练模型。实验结果表明,人工评估可以表明与自动评估非常不同的结论,特别是一些意想不到的观察结果,例如,预训练的模型可以实现主导性能,同时与先前的方法相比更容易受到误报的影响。我们希望我们的手动测试集和新的观察可以帮助推进未来的DS-RE研究。
2021-05-20 cs.CL cs.LG
A Domain-Specific Curated Benchmark for Entity and Document-Level Relation Extraction
University of Padova(帕多瓦大学)
本文提出GutBrainIE基准,用于生物医学领域实体和文档级关系提取,通过精细标注和多任务设计提升IE方法的评估与开发
2026-02-04 cs.CL
Jointly Extracting Relations with Class Ties via Effective Deep Ranking
Beihang University(北京航空航天大学);China Defense Science and Technology Information Center(中国国防科技信息中心)
在关系抽取中,关系之间的连接(我们称之为类连接)是常见的。在远程监督的场景中,一个实体元组可以具有多个关系事实。利用一个实体元组的关系之间的类联系将是有前途的远程监督关系抽取。然而,以往的模型对这一特性的建模不是有效的,就是忽略了这一特性。在这项工作中,为了有效地利用类关系,我们提出了一个统一的模型,集成了卷积神经网络(CNN)与一般的成对排名框架,其中三个新的排名损失函数的联合关系抽取。此外,提出了一种有效的方法来缓解严重的类不平衡问题从NR(不相关)模型训练。在一个广泛使用的数据集上的实验表明,利用类关系将增强提取,并证明了我们的模型学习类关系的有效性。我们的模型显著优于基线,实现了最先进的性能。
2017-08-05 cs.AI cs.CL
Fine-Grained Named Entity Typing over Distantly Supervised Data Based on Refined Representations
UNSW(新南威尔士大学);DGUT(东莞理工学院)
细粒度命名实体分类(FG-NET)是自然语言处理(NLP)中的一个关键组件。它旨在将实体提及分类为广泛的实体类型。由于大量的实体类型,远程监督被用来收集用于该任务的训练数据,其不考虑上下文而嘈杂地将类型标签分配给实体提及。为了减轻嘈杂的标签,现有的方法FGNET上的实体提到完全独立于彼此的分析和分配类型标签的基础上提到特定的上下文。这对于高度重叠和嘈杂的类型标签是不够的,因为它阻碍了信息跨越句子边界。为此,我们提出了一个边缘加权的注意图卷积网络,它通过在结束分类之前参加语料库级别的上下文线索来细化嘈杂的提及表示。实验结果表明,该模型优于现有的研究高达10.2%和8.3%的相对分数分别为宏观f1和微观f1。
2020-04-07 cs.CL
Hierarchical Relation-Guided Type-Sentence Alignment for Long-Tail Relation Extraction with Distant Supervision
University of Technology Sydney(悉尼科技大学)
远程监督使用知识图谱中的三重事实来标注语料库以进行关系抽取,导致错误标注和长尾问题。一些作品使用关系的层次结构进行知识转移到长尾关系。然而,粗粒度的关系通常仅意味着属性(例如,域或主题)的远距离事实,使得很难区分关系的基础上,单独的句子语义。一种解决方案是诉诸实体类型,但关于如何充分利用实体类型的信息以及如何将多粒度实体类型与句子对齐的问题仍然存在。在这项工作中,我们提出了一种新的模型来丰富实体类型的远程监督句子。它包括(1)一个成对的类型丰富的句子编码模块注入上下文无关的和相关的背景,以减轻重复级别的错误标记,和(2)一个分层的类型句子对齐模块丰富的句子与三重事实的基本属性,以支持长尾关系。我们的模型在基准测试的整体和长尾性能方面取得了新的最先进的结果。
2021-09-19 cs.CL
Neural Architectures for Open-Type Relation Argument Extraction
Ludwig Maxilian University of Munich(慕尼黑路德维希马克西米利安大学);University of Cambridge(剑桥大学)
在这项工作中,我们介绍了开放型关系参数提取(ORAE)的任务:给定语料库,查询实体Q和知识库关系(例如,“Q authored notable work with title X”),模型必须从语料库中提取非标准实体类型的参数(不能由标准命名实体标记器提取的实体,例如X:书籍或艺术作品的标题)。获得并发布基于WikiData关系的远程监督数据集以解决该任务。我们开发和比较了广泛的神经模型,这项任务产生了很大的改进,在一个强大的基线与神经问答系统。系统地比较了不同的句子编码架构和答案提取方法的影响。基于门控递归单元的编码器与条件随机场标记器相结合给出了最佳结果。
2018-09-30 cs.CL
Multi-facet Universal Schema
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通用图式(USchema)假设共享相同实体对的两个句型彼此相似。该假设被广泛地用于解决各种类型的关系抽取(RE)任务。然而,每个句型都可能包含多个方面,并且不是每个方面都与同一实体对共现的另一个句型的所有方面相似。为了解决违反USchema假设的问题,我们提出了多面通用模式,该模式使用神经模型将每个句子模式表示为多个面嵌入,并鼓励其中一个面嵌入接近另一个句子模式,如果它们与同一实体对同时出现。在我们的实验中,我们证明了多面嵌入显著优于它们的单面嵌入对应物,组合通用模式(compositional universal schema)(Verga等人,2016),在远程监督的关系抽取任务中。此外,在没有人工标注的情况下,我们还可以使用多重嵌入来检测两个句型之间的蕴涵关系。
2021-03-29 cs.CL
DMNER: Biomedical Entity Recognition by Detection and Matching
Fudan University(复旦大学);Atypon Systems, LLC(Atypon系统有限责任公司)
本文提出 DMNER 框架,将生物医学命名实体识别转化为实体边界检测与实体匹配两步,利用 SAPBERT 并结合 ChatGPT 获取高质量短语,在多种监督场景和 10 个基准数据集上验证了其有效性与通用性。
2023-07-05 cs.CL
Distant Supervision for Entity Linking
Tsinghua University(清华大学)
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中,我们提出了一个新的范例命名为远程监督实体链接(DSEL),在这个意义上,消除歧义的实体,属于一个巨大的知识库(Freebase)自动对齐到相应的描述性网页(维基页面)。通过这种方式,可以在没有手动注释的情况下生成大规模的弱标记数据,并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比,DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言,所提出的范例有利于弥合歧义标签(自由基)的实体和他们的文本描述(维基百科)的Web规模的实体。在140,000个项目和60,000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外,我们分析了特征性能,并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning
Microsoft Research(微软研究院)
我们提出了一个双编码器框架命名实体识别(NER),它适用于对比学习映射候选文本跨度和实体类型到同一个向量表示空间。以前的工作主要是接近NER序列标记或跨度分类。相反,我们框架NER作为一个表示学习的问题,最大限度地提高了实体提及和其类型的向量表示之间的相似性。这使得它很容易处理嵌套和平坦的NER,并且可以更好地利用嘈杂的自我监督信号。这种用于NER的双编码器公式化的主要挑战在于将非实体跨度与实体提及分开。而不是显式地标记为同一类$\texttt{Outside}$($\texttt{O}$)的所有非实体跨度在大多数现有的方法,我们引入了一种新的动态阈值损失。实验表明,我们的方法在监督和远程监督设置中表现良好,对于嵌套和平面NER一样,在一般领域的标准数据集上建立了新的技术水平(例如,ACE 2004,ACE 2005)和高价值的垂直行业,如生物医药(例如,GENIA,NCBI,BC5CDR,JNLPBA)。我们在github.com/microsoft/binder上发布代码。
2023-02-23 cs.AI cs.CL
Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition
Sichuan University(四川大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
用原型神经网络对大规模预训练模型进行建模是Few-Shot命名实体识别的一种实际范例。不幸的是,现有的方法没有意识到这样一个事实,即来自预训练模型的嵌入包含大量关于词频的信息,从而使原型神经网络偏向于学习单词实体。这种差异限制了两种模式的协同作用。因此,我们提出了一个单行代码规范化的方法来调和这种不匹配的经验和理论依据。基于9个基准数据集的实验表明,我们的方法优于相应的模型,并与最先进的方法相媲美。除了模型增强之外,我们的工作还为解决Few-Shot名称实体识别或其他依赖于预训练模型或原型神经网络的任务中的一般问题提供了分析观点。
2022-11-07 cs.CL
Sentence Bag Graph Formulation for Biomedical Distant Supervision Relation Extraction
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);University of Rochester(罗切斯特大学);School of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture(北京建筑大学电气与信息工程学院);Beijing Key Laboratory of Intelligent Processing for Building Big Data, Beijing University of Civil Engineering and Architecture(北京建筑大学北京市建筑大数据智能处理重点实验室)
本文提出句子袋图建模框架,通过消息传递聚合实体对信息并融合句间依赖,有效缓解远程监督关系抽取中的噪声标注问题,在生物医学和通用文本数据集上均显著超越现有方法。
2023-10-29 cs.CL cs.LG
Improving Distantly-supervised Entity Typing with Compact Latent Space Clustering
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);iFLYTEK Research(科大讯飞研究院);University of Southern California(南加州大学)
近年来,远程监控技术在细粒度实体分类(FET)方面取得了巨大的成功。尽管它在减少手动标记工作方面效率很高,但它也带来了处理错误实体类型标签的挑战,因为远程监督以上下文不可知的方式分配标签。现有的工作缓解了这个问题,部分标签损失,但通常遭受确认偏差,这意味着分类器适合自己给定的伪数据分布。在这项工作中,我们建议使用紧凑潜在空间聚类(CLSC)来正则化远程监督模型,以绕过这个问题并有效地利用噪声数据。我们提出的方法首先动态地构建不同实体提及的相似性图,通过标签传播来推断噪声实例的标签。基于推断的标签,提及嵌入相应地更新,以鼓励具有接近语义的实体提及在嵌入空间中形成紧凑的聚类,从而导致更好的分类性能。在标准基准测试上进行的大量实验表明,我们的CLSC模型始终优于最先进的远程监督实体类型系统。
2019-04-13 cs.AI cs.CL
Noisy-Labeled NER with Confidence Estimation
Alibaba Group(阿里巴巴集团);University of Edinburgh(爱丁堡大学);Zhejiang University(浙江大学);Guizhou University(贵州大学)
深度学习的最新研究表明,命名实体识别(NER)取得了重大进展。大多数现有的工作假设干净的数据注释,但现实世界场景中的基本挑战是来自各种来源的大量噪声(例如,伪的、弱的或遥远的注释)。这项工作研究NER下的噪声标记设置校准的置信度估计。基于对噪声和干净标签的不同训练动态的经验观察,我们提出了基于局部和全局独立性假设估计置信度得分的策略。我们用CRF模型部分边缘化低置信度的标签。我们进一步提出了一种基于实体标签结构的置信度校准方法。我们将我们的方法整合到一个自我训练框架中,以提高绩效。在四种语言的一般噪声环境和远距离标记环境中的实验证明了我们的方法的有效性。我们的代码可以在https://github.com/liukun95/Noisy-NER-Confidence-Estimation上找到
2021-04-12 cs.CL
Fine-Grained Entity Typing for Domain Independent Entity Linking
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经实体链接模型非常强大,但存在过度拟合其训练领域的风险。对于这个问题,一个域的特征不仅在于文本的类型,甚至还在于实体的特定分布等特定因素,因为神经模型往往会通过记忆数据集中频繁实体的属性来过拟合。我们解决的问题,建立强大的实体链接模型,有效地推广,不依赖于标记的实体链接数据与特定的实体分布。我们的方法不是直接预测实体,而是对细粒度的实体属性进行建模,这可以帮助消除甚至密切相关的实体之间的歧义。我们从Wikipedia分类中获得大量的类型(数万个),并使用Wikipedia中的超链接提及来远程标记数据并训练实体类型模型。在测试时,我们使用此类型模型对提及进行分类,并使用软类型预测将提及链接到最相似的候选实体。我们在CoNLL-YAGO数据集上评估我们的实体链接系统(Hoffart等人,2011),并表明我们的方法优于以前的域独立的实体链接系统。我们还在来自WikilinksNED数据集的更难的设置中测试了我们的方法(Eshel等人,2017),其中所有提及实体对在测试时间期间是不可见的。结果表明,我们的方法比数据集上最先进的神经模型更好地推广。
2020-01-08 cs.AI cs.CL cs.LG
Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer
Shanghai Jiao Tong University(上海交通大学);Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
本文提出C-FNT模型,将基于类别的语言模型融入因子化神经转换器,通过关联名称类别而非表面形式来提升语音识别中的命名实体识别性能,在不损害普通词识别的前提下显著降低命名实体错误。
2024-06-08 cs.CL cs.SD eess.AS
Learning to Denoise Distantly-Labeled Data for Entity Typing
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
远距离标记的数据可以用于扩大统计模型的训练,但它通常是有噪声的,并且噪声可以随着远距离标记技术而变化。在这项工作中,我们提出了一个两阶段的程序来处理这种类型的数据:去噪它与学习模型,然后训练我们的最终模型清洁和去噪的远程数据与标准的监督训练。我们的去噪方法由两部分组成。首先,过滤函数从完全不可用的远距离标记数据中丢弃示例。其次,重新标记函数修复保留示例的噪声标签。这些组件中的每一个都是在从一个小的手动标记集生成的合成噪声示例上训练的模型。我们在Choi et al.(2018)的超细实体分型任务中研究了这种方法。我们的基线模型是他们的模型的扩展,具有预训练的ELMo表示,已经达到了最先进的性能。添加已经用我们学习的模型去噪的远距离数据,可以在这个基础模型上获得进一步的性能提升,优于在原始远距离数据或经物理去噪的远距离数据上训练的模型。
2019-05-04 cs.AI cs.CL
Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset
本文提出利用维基百科和维基数据构建卢森堡语NER数据集JudgeWEL,通过LLM自动标注和验证,生成更大规模且更平衡的实体覆盖数据集,为低资源语言研究提供新资源。
2026-03-12 cs.AI cs.CL
Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文档级关系抽取(DocRE)是一个更具挑战性的任务相比,它的文档级对应。它的目标是一次从多个句子中提取关系。在本文中,我们提出了一个半监督框架DocRE与三个新的组件。首先,我们使用一个轴向注意模块来学习实体对之间的相互依赖性,这提高了两跳关系的性能。其次,我们提出了一个自适应的焦点损失,以解决类不平衡问题的DocRE。最后,我们使用知识蒸馏来克服人类注释数据和远程监督数据之间的差异。我们在两个DocRE数据集上进行了实验。我们的模型始终优于强大的基线,其性能在DocRED排行榜上超过了之前的SOTA 1.36 F1和1.46 F_F1。我们的代码和数据将在https://github.com/tonytan48/KD-DocRE上发布。
2022-03-21 cs.CL