Jointprop: Joint Semi-supervised Learning for Entity and Relation Extraction with Heterogeneous Graph-based Propagation
Nanyang Technological University（南洋理工大学）
本文提出Jointprop框架，通过基于异构图的标签传播实现命名实体识别与关系抽取的联合半监督学习，利用任务间关联和未标注数据相似性，在基准数据集上超越现有半监督方法。
2023-05-25 cs.AI cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
BitCoin: Bidirectional Tagging and Supervised Contrastive Learning based Joint Relational Triple Extraction Framework
Beijing University of Post and Telecommunications（北京邮电大学）
针对现有关系三元组抽取方法忽视任务特殊性且仅单向抽取的问题，本文提出BitCoin框架，通过双向标注和监督对比学习实现联合抽取，并在多个基准上取得最优F1分数。
2023-09-21 cs.AI cs.CL
Scientific Information Extraction with Semi-supervised Neural Tagging
University of Washington（华盛顿大学）
本文讨论了从科学文章中提取关键词并将其分类为对应于任务，过程或材料的问题。我们把问题转化为序列标记，并将半监督方法引入神经标记模型，该模型建立在命名实体识别的最新进展基础上。由于注释的训练数据是稀缺的，在这个领域，我们引入了一个基于图的半监督算法与数据选择方案，以利用未注释的文章。在2017年SemEval任务10 ScienceIE任务中，归纳和转导半监督学习策略的表现优于最先进的信息抽取性能。
2017-08-21 cs.CL
Semi-Supervised Event Extraction with Paraphrase Clusters
University of Washington（华盛顿大学）
由于缺乏可用的训练数据，受监督的事件提取系统在其准确性方面受到限制。我们提出了一种自训练事件提取系统的方法，通过引导额外的训练数据。这是通过利用来自多个来源的新闻通讯文章中多次提到同一事件实例来实现的。如果我们的系统可以在这样的集群中对一些提及进行高置信度提取，那么它可以通过添加其他提及来获得不同的训练样本。我们的实验表明，在ACE 2005和TAC-KBP 2015数据集上，多个事件提取器的性能得到了显着提高。
2018-08-26 cs.CL
Semi-Supervised Recurrent Neural Network for Adverse Drug Reaction Mention Extraction
TCS Research, Tata Consultancy Services（塔塔咨询服务公司TCS研究院）
社交媒体是一个有用的平台，分享健康相关的信息，由于其广泛的影响。这使其成为公共卫生监测任务的良好候选者，特别是药物警戒。我们研究了从社交媒体，特别是Twitter中提取药物不良反应（ADR）提及的问题。从社交媒体中提取医疗信息抽取具有挑战性，主要是由于文本的简短和高度信息化的性质，而不是更多的技术和正式的医疗报告。现有的药品不良反应提及信息提取方法依赖于监督学习方法，存在标注数据稀缺的问题。最先进的方法使用深度神经网络，具体地说是一类循环神经网络（RNN），其是长短期记忆网络（LSTM）\cite{hochreiter1997long}。深度神经网络由于其大量的自由参数，严重依赖于大型注释语料库来学习最终任务。但在现实世界中，很难获得大的标记数据，主要是由于与手动注释相关的沉重成本。为此，我们提出了一种新的基于半监督学习的RNN模型，该模型可以利用社交媒体上大量存在的未标记数据。通过实验，我们证明了我们的方法的有效性，达到国家的最先进的性能在ADR提及提取。
2017-09-06 cs.CL cs.IR
A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers
Iran University of Science and Technology（伊朗科技大学）；Islamic Azad University（伊斯兰阿扎德大学）
多示例学习（MIL）已经成为远程监督关系抽取（DSRE）的标准学习范式。然而，由于在包级执行关系抽取，MIL在与诸如深度Transformer神经网络之类的大句子编码器耦合时对训练具有显著的硬件要求。在本文中，我们提出了一种新的采样方法DSRE放松这些硬件要求。在所提出的方法中，我们通过从一批中的袋子中随机抽取句子来限制一批中的句子数量。然而，这是以丢失袋子中的有效句子为代价的。为了减轻随机抽样引起的问题，我们使用训练模型的集合进行预测。我们证明了我们的方法的有效性，通过使用我们提出的学习设置微调BERT广泛的纽约时报数据集。我们的方法在AUC和P@N指标方面显着优于以前的最先进的方法。
2021-04-15 cs.AI cs.CL
Semi-supervised Relation Extraction via Data Augmentation and Consistency-training
The Vanguard Group（先锋集团）
针对关系抽取中标注数据昂贵且噪声大的问题，本文利用受控文本生成和潜在空间插值进行数据增强，并结合一致性训练，在四个基准数据集上取得了极具竞争力的半监督关系抽取结果。
2023-06-16 cs.CL cs.IR
Revisiting the Negative Data of Distantly Supervised Relation Extraction
Fudan University（复旦大学）
远程监督自动生成大量的训练样本用于关系抽取。然而，它也引发了两个主要问题：噪声标签和不平衡的训练数据。以往的研究多集中在减少错误标记的关系（误报），而很少有人探讨由于知识库的不完整性（误报）而导致的关系缺失。此外，负面标签的数量压倒性地超过了以往的问题配方中的积极的。在本文中，我们首先对负面数据带来的上述挑战进行了深入分析。接下来，我们将关系抽取问题转化为一个正的无标签学习任务，以减轻假阴性问题。第三，我们提出了一个管道的方法，称为\textsc{ReRe}，执行双层次的关系检测，然后主题/对象提取，以实现样本有效的训练。实验结果表明，该方法始终优于现有的方法，并保持良好的性能，即使在大量的假阳性样本学习。
2021-05-21 cs.AI cs.CL
Interpretable Self-supervised Multi-task Learning for COVID-19 Information Retrieval and Extraction
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
COVID-19相关文章的快速发展使得NLP模型很难有效地训练信息检索和提取符合当前流行病分布的相应标记数据。另一方面，由于情况的不确定性，总是需要人类专家的监督来仔细检查这些模型的决策，强调可解释性的重要性。鉴于这些挑战，本研究提出了一个可解释的自我监督多任务学习模型，以联合和有效地解决任务的信息检索（IR）和提取（IE）在当前的紧急卫生危机情况。我们的研究结果表明，我们的模型有效地利用多任务和自监督学习，以提高泛化，数据效率和鲁棒性正在进行的数据集转移问题。我们的模型在IE和IR任务中的表现优于基线，分别为0.08的micro-f得分（LCA-F得分为0.05）和平均0.05的MAP。在IE中，零次和少样本学习性能平均比基线高0.32和0.19微f分数。
2021-06-15 cs.CL cs.IR
Structured Minimally Supervised Learning for Neural Relation Extraction
The Ohio State University（俄亥俄州立大学）
我们提出了一种最低限度的监督关系抽取的方法，结合了学习表示和结构化学习的好处，并准确地预测从知识库中只给出命题级监督的关系级提及。通过在学习过程中明确地推理丢失的数据，我们的方法可以实现1D卷积神经网络的大规模训练，同时减轻远程监督中固有的标签噪声问题。我们的方法在最小监督的关系关系抽取上取得了最先进的结果，优于许多基线，包括使用纯神经模型的注意力层的竞争方法。
2019-11-18 cs.CL
Knowing False Negatives: An Adversarial Training Method for Distantly Supervised Relation Extraction
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）
远程监督关系抽取（RE）自动将非结构化文本与知识库（KB）中的关系实例对齐。由于现有知识库的不完备性，隐含某些关系的句子可能被标注为N/A实例，这就导致了所谓的假否定（FN）问题。目前的RE方法通常忽略了这个问题，在训练和测试过程中引入不适当的偏见。为了解决这个问题，我们提出了一个两阶段的方法。首先，它通过启发式地利用深度神经网络的记忆机制来找出可能的FN样本。然后通过对抗训练将未标记的数据与训练数据对齐到一个统一的特征空间中，分配伪标签，进一步利用其中包含的信息。两个广泛使用的基准数据集上的实验证明了我们的方法的有效性。
2021-09-05 cs.AI cs.CL
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain（谷歌大脑）；Google（谷歌公司）
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签，要么限于某些域，要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此，我们介绍：WebRED（Web关系抽取数据集），一个强监督的人类注释数据集，用于从万维网上发现的各种文本中提取关系，由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明，将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合，可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线，并提出了一个案例，人类注释的重要性，提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
PromptRE提出一种结合提示技术与数据编程的弱监督文档级关系抽取方法，利用标签分布和实体类型先验知识，在ReDocRED基准上优于基线，有效解决“无关系”问题。
2023-10-13 cs.CL cs.LG
Zero-shot Temporal Relation Extraction with ChatGPT
The University of Manchester（曼彻斯特大学）
本文探究ChatGPT在零样本时序关系抽取中的表现，通过三种提示设计评估发现其与监督方法差距明显且依赖提示，但在小类别上更优，同时揭示了其一致性和长距离推理缺陷。
2023-04-11 cs.AI cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取（RE）是构建生物医学数据库的重要来源，它比人工处理更高效、可扩展。然而，现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中，我们提出了BERE，这是一种基于深度学习的模型，它使用Gumbel Tree-GRU来学习句子结构，并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力，以适应远程监督数据集。由于现有的数据集相对较小，我们进一步构建了一个更大的药物靶点相互作用提取（DTIE）数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明，我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
远程监督关系抽取（RE）是一种有效的方法，规模RE大型语料库，但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音，但主要是设法识别最频繁的关系，忽略了长尾中的关系。我们提出了REDSandT（关系抽取与远程监督和Transformers），一种新的远程监督的transformer为基础的RE方法，管理，以捕捉更广泛的关系，通过高度翔实的实例和标签嵌入RE，利用BERT的预训练模型，标签和实体之间的关系，分别。我们通过对结构化输入（包括连接实体对和实体类型的子树）进行BERT微调，引导REDSandT只关注关系令牌。使用提取的信息向量，我们形状的标签嵌入，我们也使用的注意力机制的实例，以进一步减少噪音。最后，我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明，REDSandT以更高的置信度捕获了更广泛的关系集，实现了最先进的AUC（0.424）。
2021-02-01 cs.CL cs.IR cs.LG
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science（印度科学学院）；Birla Institute of Technology and Science, Pilani（比尔拉理工学院皮拉尼校区）
远程监督关系抽取（RE）方法通过自动地将知识库（KB）中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外，KB通常包含其他相关的边信息，诸如关系的别名（例如，founded和co-founded是关系founderOfCompany的别名）。RE模型通常忽略这些容易获得的边信息。在本文中，我们提出了RESIDE，一个远程监督的神经关系抽取方法，利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络（GCN）从文本中编码语法信息，即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验，我们证明了RESIDE的有效性。我们提供了RESIDE的源代码，以鼓励可重复的研究。
2019-02-12 cs.CL
Complex Relation Extraction: Challenges and Opportunities
Fudan University（复旦大学）
关系抽取的目的是识别文本中实体之间的目标关系。关系抽取对于知识库的构建和文本的理解具有重要意义。传统的二值关系抽取包括监督抽取、半监督抽取和远监督抽取，已经得到了广泛的研究并取得了显著的成果。近年来，许多复杂的关系抽取任务，即，提出了简单二元关系抽取的变体，以满足实际中复杂的应用。然而，迄今为止，还没有文献对这些复杂的关系抽取工作进行全面的调查和总结。本文首先介绍了传统的简单二值关系抽取的最新进展。然后，我们总结了现有的复杂关系抽取任务，并提出了定义，最新进展，挑战和机遇，为每一个任务。
2020-12-09 cs.CL
Representation Learning for Weakly Supervised Relation Extraction
The Australian National University（澳大利亚国立大学）
针对弱监督关系抽取中标注数据稀缺的问题，提出无监督预训练学习分布式文本表示特征，与手工特征结合提升逻辑分类模型性能，尤其在少量训练实例的关系分类上效果显著。
2024-03-16 cs.CL
Exploring Semi-supervised Variational Autoencoders for Biomedical Relation Extraction
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）；Dalian University of Technology（大连理工大学）
生物医学文献提供了丰富的知识来源，如蛋白质-蛋白质相互作用（PPI），药物-药物相互作用（DDI）和化学-蛋白质相互作用（CPI）。生物医学关系抽取的目的是从生物医学文本中自动抽取生物医学关系，以供各种生物医学研究使用。用于生物医学关系抽取的现有技术方法主要基于监督机器学习，因此依赖于（足够的）标记数据。然而，创建大的训练数据集是非常昂贵和劳动密集型的，尤其是在生物医学中，因为需要领域知识。相比之下，PubMed中有大量未标记的生物医学文本。因此，能够采用未标记的数据，以减少人工注释的负担的计算方法是特别感兴趣的生物医学关系抽取。提出了一种基于变分自编码器（VAE）的半监督生物医学关系抽取方法。我们的模型包括以下三个部分，分类器，编码器和解码器。分类器使用多层卷积神经网络（CNN）实现，编码器和解码器分别使用双向长短期记忆网络（Bi-LSTM）和CNN实现。半监督机制允许我们的模型从标记和未标记数据中学习特征。我们评估我们的方法在多个公共PPI，DDI和CPI语料库。实验结果表明，该方法有效地利用了未标记数据，提高了性能，减少了对标记数据的依赖。据我们所知，这是第一个基于半监督VAE的（生物医学）关系抽取方法。我们的研究结果表明，利用这些未标记的数据可以大大有利于提高各种生物医学关系抽取的性能。
2019-01-18 cs.CL
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Enhancing Relation Extraction via Supervised Rationale Verification and Feedback
Wuhan University（武汉大学）；Research Institute of Nuclear Power Operation（核动力运行研究所）
针对现有自动化反馈方法难以适配关系抽取任务的问题，提出含理据监督器的新型反馈框架，通过因果方法训练监督器并迭代修正，显著提升关系抽取效果。
2024-12-11 cs.AI cs.CL
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所人工智能研究中心）
我们提出了一个多任务，概率的方法，以促进远程监督关系抽取，使更接近的句子，包含相同的知识库对的表示。为了实现这一点，我们通过与关系分类器联合训练的变分自编码器（VAE）来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明，多任务学习的性能优势。将知识库先验引入VAE的额外探索表明，句子空间可以向知识库的空间转移，提供可解释性并进一步改善结果。
2021-04-16 cs.CL
Weakly-Supervised Questions for Zero-Shot Relation Extraction
University of Alberta（阿尔伯塔大学）
零次关系抽取（Zero-Shot Relationship Extraction，ZRE）是关系抽取的任务，其中训练集和测试集没有共享的关系类型。这个非常具有挑战性的领域是对模型泛化能力的很好测试。以前的ZRE方法将关系抽取重新定义为问答（QA），允许使用预先训练的QA模型。然而，这种方法需要为每个新关系手动创建黄金问题模板。在这里，我们放弃了这些黄金模板，而是学习一个可以为看不见的关系生成问题的模型。我们的技术可以成功地将关系描述转换为相关的问题，然后利用这些问题来生成正确的尾部实体。在尾部实体提取方面，我们在不使用黄金问题模板的情况下，比以前的最先进水平高出16个F1点以上。在RE-QA数据集，其中没有以前的基线关系抽取存在，我们提出的算法来在0.7 F1点的系统，使用黄金问题模板。我们的模型在FewRel和Wikipedia L数据集上的表现也优于最先进的ZRE基线，这表明QA模型不再需要模板问题来匹配专门为ZRE任务定制的模型的性能。我们的实现可以在https://github.com/fyshelab/QA-ZRE上获得。
2023-02-09 cs.AI cs.CL cs.LG
Augmenting Document-level Relation Extraction with Efficient Multi-Supervision
University of Macau（澳门大学）；Beijing Normal University (Zhuhai)（北京师范大学（珠海））；BNU-UIC（北京师范大学-香港浸会大学联合国际学院）；SKL-IOTSC（物联网关键技术与系统国家重点实验室）
本文针对文档级关系抽取中远程监督数据噪声大、利用效率低的问题，提出高效多重监督方法，通过结合远程与专家监督筛选信息文档并设计多重监督排序损失，在提升性能的同时提高时间效率。
2024-07-01 cs.AI cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
Distantly-Supervised Long-Tailed Relation Extraction Using Constraint Graphs
Harbin Institute of Technology（哈尔滨工业大学）；University of Rochester（罗切斯特大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
标签噪声和长尾分布是远程监督关系抽取中的两个主要挑战。近年来的研究在去噪方面取得了很大的进展，但对长尾关系问题的关注较少。在本文中，我们引入了一个约束图模型之间的依赖关系标签。在此基础上，我们进一步提出了一种新的约束图为基础的关系抽取框架（CGRE），同时处理这两个挑战。CGRE利用图卷积网络将信息从数据丰富的关系节点传播到数据贫乏的关系节点，从而促进长尾关系的表示学习。为了进一步提高算法的抗干扰能力，CGRE中设计了一个约束感知注意模块来整合约束信息。大量的实验结果表明，CGRE实现了显着的改善，比以前的方法去噪和长尾关系抽取。预处理的数据集和源代码可在https://github.com/tmliang/CGRE上公开获得。
2022-05-17 cs.CL
Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能研究中心）
设计了用于远程监督关系抽取的双编码器架构，以利用在文本和知识图谱（KG）中发现的互补信息。然而，当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享，要么在具有KG到文本注意力的模型的情况下，只在一个方向上共享信息。在这里，我们介绍了十字绣双编码器，它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示，共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明，在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
A Data-driven Approach for Noise Reduction in Distantly Supervised Biomedical Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
事实三元组是生物医学领域中使用的结构化知识的常见形式。随着非结构化科学文本数量的持续增长，用于关系抽取任务的这些文本的手动注释变得越来越昂贵。远程监控提供了一种可行的方法来解决这个问题，它可以快速生成大量带标签但噪音很大的数据。我们的目标是通过扩展实体丰富的关系分类BERT模型的多实例学习的问题，并定义一个简单的数据编码方案，显着降低噪声，达到国家的最先进的性能远程监督生物医学关系抽取，以减少这种噪音。我们的方法进一步编码知识的关系三元组的方向，允许通过减少噪音和减轻联合学习与知识图谱完成的需要，增加对关系学习的关注。
2020-05-26 cs.CL cs.LG
Distantly Supervised Morpho-Syntactic Model for Relation Extraction
Université de Franche-Comté（弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院）
提出一种利用远程监督形态句法模式及句法、语义索引抽取并分类开放关系的方法，在六个Wikidata/Wikipedia数据集上精确率最高达0.85，可快速构建规则系统与训练数据集。
2024-01-18 cs.CL
Bootstrapping Distantly Supervised IE using Joint Learning and Small Well-structured Corpora
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个框架，以提高性能的远程监督关系抽取，通过联合学习解决两个相关的任务：概念实例提取和关系抽取。我们将此与文档结构的新用途相结合：在一些小的，结构良好的语料库中，可以识别对应于关系参数的部分，并且从这些部分中标记的远距离示例往往具有良好的精度。使用这些作为种子，我们提取额外的关系的例子，通过应用标签传播的图形组成的噪声的例子从一个大型的非结构化测试语料库。结合软约束，概念的例子应该有相同类型的第二个参数的关系，我们得到了显着的改进，在几个国家的最先进的方法，远程监督关系抽取。
2016-08-11 cs.CL
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；Department of Chemical and Biological Engineering, Northwestern University（西北大学化学与生物工程系）
关系抽取（RE）是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督（DS），它允许通过在文本语料库和知识库（KB）之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一，它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线，在本文中，我们提出了一种相关的方法来RESIDE也使用额外的边信息，但简化了句子编码与BERT嵌入。通过实验，我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小，但P@N结果表明，使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
Learning with Noise: Enhance Distantly Supervised Relation Extraction with Dynamic Transition Matrix
ICST, Peking University, China（北京大学信息科学技术学院（ICST））；School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算与通信学院）；IBM China Research Lab, China（IBM中国研究实验室）
远程监督显著减少了为许多分类任务构建训练数据的人工努力。虽然很有前途，但这种技术通常会将噪声引入到生成的训练数据中，这会严重影响模型性能。本文深入研究了远程监督在关系抽取中的应用。我们表明，动态转移矩阵可以有效地表征噪声的训练数据建立远程监督。转移矩阵可以有效地训练使用一种新的课程学习为基础的方法，没有任何直接监督的噪音。我们在广泛的提取场景下彻底评估我们的方法。实验结果表明，我们的方法不断提高提取结果，并优于国家的最先进的各种评估方案。
2017-05-11 cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology（印度理工学院）
用于远程监督关系抽取（DS-RE）的神经模型将每个句子单独编码在实体对袋中。然后，这些被聚合用于袋级关系预测。由于在编码时，这些方法不允许信息从袋子中的其他句子中流出，我们认为它们没有充分利用可用的袋子数据。作为回应，我们探索一个简单的基线方法（PARE），其中一个袋子的所有句子连接成一个句子的通道，并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现，我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
Learning Relation Ties with a Force-Directed Graph in Distant Supervised Relation Extraction
Beijing Institute of Technology（北京理工大学）
关系纽带定义为不同关系之间的相关性和互斥性，是远距离监督关系抽取的关键。现有方法通过贪婪地学习局部依赖关系来对该属性进行建模。然而，他们本质上是有限的，未能捕捉到全球的关系纽带的拓扑结构。因此，它们很容易落入局部最优解。为了解决这个问题，本文提出了一种新的基于力有向图的关系抽取模型来全面学习关系纽带。具体来说，我们首先根据关系的全局同现构建一个图。然后，我们借用物理学中库仑定律的思想，在这个图中引入吸引力和排斥力的概念，来学习关系之间的相关性和互斥性。最后，所获得的关系表示作为一个相互依赖的关系分类器。在大规模基准数据集上的实验结果表明，我们的模型能够建模全球关系纽带，并显着优于其他基线。此外，所提出的力有向图可以作为一个模块，以增强现有的关系抽取系统，并提高其性能。
2020-04-21 cs.CL
DIAG-NRE: A Neural Pattern Diagnosis Framework for Distantly Supervised Neural Relation Extraction
Tsinghua University（清华大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；AHI Fintech Inc.（AHI金融科技公司）
基于模式的标记方法在减轻远程监督神经关系抽取中不可避免的标记噪声方面取得了令人满意的结果。然而，这些方法需要大量的专家劳动来编写特定于关系的模式，这使得它们太复杂，无法快速泛化。为了减轻模式编写的劳动密集型工作量，并能够快速泛化到新的关系类型，我们提出了一个神经模式诊断框架，DIAG-NRE，它可以自动总结和提炼高质量的关系模式，从噪音数据与人类专家在循环中。为了证明DIAG-NRE的有效性，我们将其应用于两个真实世界的数据集，并提出了比最先进的方法显着和可解释的改进。
2019-06-10 cs.CL cs.LG
Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI（IBM研究院AI）
在本文中，我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取，该技术可以通过远程监督方法进行训练。除此之外，该系统使用深度学习方法，通过利用诱导KG的全局结构信息来完成知识库，以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域，因为它不使用任何手工标记的数据，NLP分析和推理规则。我们的实验，在一个流行的学术基准表明，建议的系统大幅提高关系抽取的性能，报告错误减少了50%，导致相对改善高达100%。此外，一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明，我们的系统不仅是可扩展的，而且不需要任何适应成本，同时产生大量的准确性增益。
2019-09-11 cs.CL
Crude Oil-related Events Extraction and Processing: A Transfer Learning Approach
Monash University（莫纳什大学）
通过传统的监督学习范例进行事件提取的挑战之一是需要相当大的注释数据集来实现令人满意的模型性能。当涉及到金融和经济领域的事件提取时，这是一个资源相当少的领域，更具挑战性。本文提出了一个完整的框架，提取和处理原油相关的事件发现原油新闻语料库，解决了注释稀缺和类不平衡的问题，利用迁移学习的有效性。除了事件提取，我们特别强调事件属性（极性，模态和强度）分类，以确定每个事件的事实确定性。我们首先通过监督学习建立基线模型，然后利用迁移学习方法来提高事件提取模型的性能，尽管注释数据量有限，类别不平衡严重。这是通过迁移学习框架内的方法完成的，例如域自适应预训练，多任务学习和顺序迁移学习。基于实验结果，我们能够提高所有事件提取子任务模型的F1和MCC 1分数相比，通过标准的监督学习训练的基线模型。从原油新闻中准确和全面地提取事件对于下游任务非常有用，例如理解事件链和学习事件-事件关系，这可以用于其他下游任务，例如商品价格预测，总结等，以支持广泛的业务决策。
2022-05-01 cs.CL cs.IR
Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks
Central University of Finance and Economics（中央财经大学）；Huazhong University of Science and Technology（华中科技大学）；University of York（约克大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；iFLYTEK（科大讯飞）
联合事件提取，其提取结构信息（即，实体或事件的触发器），在自然语言处理中引起了越来越多的研究关注。大多数现有的工作没有完全解决实体和触发器之间的稀疏共现关系，这丢失了这一重要信息，从而降低了提取性能。为了缓解这个问题，我们首先将联合事件提取定义为一个序列到序列的标签任务，标签集由触发器和实体的标签组成。然后，将上述共现关系中的缺失信息，我们提出了一个交叉监督机制（CSM），交替监督的触发器或实体的提取基于彼此的类型分布。此外，由于连接的实体和触发器自然形成异构信息网络（HIN），因此我们利用给定语料库的元路径上的潜在模式来进一步提高我们提出的方法的性能。为了验证我们所提出的方法的有效性，我们进行了广泛的实验上的四个真实世界的数据集，以及比较我们的方法与国家的最先进的方法。实验结果和分析表明，我们的方法优于国家的最先进的方法在实体和触发提取。
2020-10-14 cs.CL
Finding Influential Instances for Distantly Supervised Relation Extraction
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
远距离监督（DS）是扩展数据集以增强关系抽取（RE）模型的强有力的方式，但是经常遭受高标签噪声。目前基于注意力、强化学习或GAN的工作都是黑箱模型，因此它们既不能对DS中的样本选择提供有意义的解释，也不能在不同领域提供稳定性。与此相反，本文提出了一种新的模型无关的实例抽样方法DS的影响函数（IF），即REIF。我们的方法确定有利/不利的情况下，在袋的基础上，IF，然后进行动态实例采样。设计了一种快速影响采样算法，将计算复杂性从$\mathcal{O}(mn)$降低到$\mathcal{O}(1)$，并分析了该算法对采样函数的鲁棒性。实验表明，通过在训练过程中简单地对有利实例进行采样，REIF能够赢得一系列具有复杂架构的基线。我们还证明了REIF可以支持可解释的实例选择。
2022-01-25 cs.AI cs.CL cs.LG
Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision
Kyoto University（京都大学）
远程监督的对比预训练在提高监督式关系抽取任务方面表现出显著的效果。然而，现有的方法忽略了在预训练阶段的远程监督的固有噪声。在本文中，我们提出了一种加权对比学习方法，利用监督数据来估计预训练实例的可靠性，并显式地减少噪声的影响。在三个监督数据集上的实验结果证明了我们提出的加权对比学习方法与两个最先进的非加权基线相比的优势。我们的代码和模型可以在https://github.com/YukinoWan/WCL上获得
2023-02-10 cs.CL
GLiDRE: Generalist Lightweight model for Document-level Relation Extraction
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、CEA、List）
本文提出GLiDRE，一种紧凑的文档级关系抽取模型，在低资源和少样本场景下超越现有方法，确立新的最先进水平。
2025-10-07 cs.CL
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）；Fudan University（复旦大学）
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能，但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中，我们介绍了两个广泛存在的知识库，即实体描述，和多粒度的实体类型，以丰富的远程监督数据。我们将信息源视为多个视图，并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习（InSRL）的端到端多视图关系抽取学习框架，并实现了多视图表示的联合学习.此外，内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
Weakly-supervised Relation Extraction by Pattern-enhanced Embedding Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
从文本语料库中抽取关系是文本挖掘的一项重要任务。当关注于弱监督的关系抽取时，也就是说，利用几个关系实例（即，一对实体和它们的关系）作为种子以从语料库中提取更多的实例。现有的分布式方法利用实体的语料库级共现统计来预测它们的关系，并且需要大量的标记实例来学习有效的关系分类器。或者，基于模式的方法执行自举或应用神经网络来对局部上下文进行建模，但仍然依赖于大量的标记实例来构建可靠的模型。在本文中，我们研究集成分布和模式为基础的方法在弱监督设置，使这两种类型的方法可以提供互补的监督对方建立一个有效的，统一的模型。我们提出了一种新的协同训练框架，其中包含一个分布式模块和一个模式模块。在训练过程中，分布模块帮助模式模块区分信息模式和其他模式，模式模块生成一些高置信度的实例来改进分布模块。通过改进模式模块和更新分布模块之间的迭代，可以有效地优化整个框架。我们在两个任务上进行了实验：文本语料库的知识库补全和语料库级的关系抽取。实验结果证明了我们的框架在弱监督环境下的有效性。
2017-12-26 cs.CL
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
距离监督关系抽取被广泛用于从文本中抽取关系事实，但受到噪声标签的影响。当前的关系抽取方法试图通过多实例学习来减轻噪声，并通过提供支持语言和上下文信息来更有效地指导关系分类。在实现最先进的结果的同时，我们观察到这些模型偏向于以高精度识别有限的关系集，而忽略了长尾中的关系。为了解决这一差距，我们利用了一个预训练的语言模型，OpenAI生成预训练的Transformer（GPT）[Radford et al.，2018年]。GPT和类似的模型已被证明可以捕获语义和句法特征，以及大量的“常识”知识，我们假设这些知识是识别更多样化关系的重要特征。通过将GPT扩展到远程监督设置，并在NYT10数据集上对其进行微调，我们表明它可以预测更大的一组具有高置信度的不同关系类型。对我们模型的手动和自动评估表明，它在NYT10数据集上实现了最先进的AUC得分0.422，并且在较高的召回水平下表现得特别好。
2019-06-19 cs.CL
Exploit Multiple Reference Graphs for Semi-supervised Relation Extraction
Wuhan University（武汉大学）
人工标注标记数据的关系抽取是费时费力的。半监督方法为解决这一问题提供了有力的帮助，引起了人们极大的研究兴趣。现有的工作主要集中在将未标记的样本映射到类中以增强标记的数据集。然而，很难找到一个全面良好的映射函数，特别是对于一个句子中含有复杂句法成分的样本。为了解决这个问题，我们建议在未标记的数据和标记的数据之间建立连接，而不是直接将未标记的样本映射到类。具体来说，我们首先使用三种信息来构造引用图，包括实体引用、动词引用和语义引用。目标是在语义上或词汇上将未标记的样本连接到标记的样本。然后，我们开发了一个多参考图（MRefG）模型，利用参考信息更好地识别高质量的未标记样本。我们的方法的有效性证明了广泛的比较实验与国家的最先进的基线在两个公共数据集。
2020-10-22 cs.CL
DiSCoMaT: Distantly Supervised Composition Extraction from Tables in Materials Science Articles
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对材料科学论文表格的成分提取难题，研究者定义了新NLP任务，发布含4408个远监督表格及1475个人工标注表格的数据集，提出结合图神经网络与任务特定正则等的DISCOMAT基线，性能显著优于现有架构。
2024-01-28 cond-mat.mtrl-sci cs.CL cs.IR
Nearly-Unsupervised Hashcode Representations for Relation Extraction
IBM Research（IBM研究院）
最近，核局部敏感散列码已成功地作为自然语言文本的表示，特别是显示出高度相关的生物医学关系抽取任务。在本文中，我们建议以几乎无监督的方式优化散列码表示，在这种方式中，我们只使用数据点，而不是它们的类标签进行学习。然后，优化的散列码表示被馈送到遵循先前工作的监督分类器。这种几乎无监督的方法允许对每个散列函数进行细粒度优化，这特别适合于构建从训练集到测试集的散列代码表示。我们经验评估所提出的方法，生物医学关系抽取任务，获得显着的准确性提高w.r.t.最先进的监督和半监督方法。
2019-09-09 cs.AI cs.CL cs.IT
From Consensus to Disagreement: Multi-Teacher Distillation for Semi-Supervised Relation Extraction
Wuhan University（武汉大学）
标记数据的缺乏是关系抽取的主要障碍。半监督关系抽取（SSRE）通过将未标记的样本标注为额外的训练数据，已被证明是解决这一问题的一种很有前途的方法。几乎所有沿着这条线的现有研究都采用多个模型，通过从这些模型中获取预测结果的交集来使注释更可靠。然而，差异集，其中包含了丰富的信息，未标记的数据，长期以来一直被忽视的先前的研究。在本文中，我们建议学习不仅从共识，但也不同的模型之间的分歧SSRE。为此，我们开发了一个简单而通用的多教师蒸馏（MTD）框架，它可以很容易地集成到任何现有的SSRE方法。具体来说，我们首先让教师对应于多个模型，并选择SSRE方法中最后一次迭代的交集中的样本来增加标记数据。然后，我们将差异集中样本的类分布作为软标签来引导学生。最后，我们使用训练好的学生模型进行预测。在两个公开数据集上的实验结果表明，该框架以相当低的计算成本显着提高了基本SSRE方法的性能。
2021-12-02 cs.CL
Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
Beijing Institute of Technology（北京理工大学）；CETC Big Data Research Institute Co., Ltd.（中电科大数据研究院有限公司）；Huazhong University of Science and Technology（华中科技大学）
噪声标注问题一直是远距离监督关系抽取的主要障碍之一。现有的方法通常认为噪声句子是无用的，会损害模型的性能。因此，他们主要通过减少噪音句子的影响来缓解这个问题，例如应用袋水平的选择性注意或从垃圾袋中删除噪音句子。然而，噪声标记问题的根本原因不是缺乏有用的信息，而是缺少关系标签。直观地说，如果我们能够为噪声句子分配可信的标签，它们将被转换为有用的训练数据，并有利于模型的性能。因此，在本文中，我们提出了一种新的方法，远距离监督关系抽取，它采用无监督的深度聚类生成可靠的标签噪声句子。具体来说，我们的模型包含三个模块：句子编码器，噪声检测器和标签生成器。句子编码器用于获得特征表示。噪声检测器从垃圾袋中检测出噪声句子，标签生成器为噪声句子生成高置信度的关系标签。大量的实验结果表明，我们的模型在一个流行的基准数据集上的性能优于最先进的基线，并且确实可以减轻噪声标记问题。
2019-11-22 cs.CL cs.LG
