Distantly Supervised Relation Extraction in Federated Settings
University of Chinese Academy of Sciences（中国科学院大学）
本文研究了联邦环境下的远程监督关系抽取。以前的研究集中在集中训练的假设下，需要从不同的平台收集文本并将其存储在一台机器上。然而，集中培训面临着两个问题的挑战，即数据壁垒和隐私保护，这使得集中多个平台的数据几乎不可能或成本过高。因此，在联邦学习范式中研究远程监督是值得的，它将模型训练从对原始数据的直接存取的需要中分离出来。然而，在联邦设置中，克服远程监督的标签噪声变得更加困难，因为包含相同实体对的句子可能分散在不同的平台上。在本文中，我们提出了一个联邦去噪框架来抑制联邦设置中的标签噪声。该框架的核心是一种基于多实例学习的去噪方法，该方法能够通过跨平台协作选择可靠的实例。在纽约时报数据集和miRNA基因调控关系数据集上的实验结果表明了该方法的有效性。
2020-08-12 cs.CL cs.LG
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science（印度科学学院）；Birla Institute of Technology and Science, Pilani（比尔拉理工学院皮拉尼校区）
远程监督关系抽取（RE）方法通过自动地将知识库（KB）中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外，KB通常包含其他相关的边信息，诸如关系的别名（例如，founded和co-founded是关系founderOfCompany的别名）。RE模型通常忽略这些容易获得的边信息。在本文中，我们提出了RESIDE，一个远程监督的神经关系抽取方法，利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络（GCN）从文本中编码语法信息，即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验，我们证明了RESIDE的有效性。我们提供了RESIDE的源代码，以鼓励可重复的研究。
2019-02-12 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取（RE）是构建生物医学数据库的重要来源，它比人工处理更高效、可扩展。然而，现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中，我们提出了BERE，这是一种基于深度学习的模型，它使用Gumbel Tree-GRU来学习句子结构，并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力，以适应远程监督数据集。由于现有的数据集相对较小，我们进一步构建了一个更大的药物靶点相互作用提取（DTIE）数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明，我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所人工智能研究中心）
我们提出了一个多任务，概率的方法，以促进远程监督关系抽取，使更接近的句子，包含相同的知识库对的表示。为了实现这一点，我们通过与关系分类器联合训练的变分自编码器（VAE）来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明，多任务学习的性能优势。将知识库先验引入VAE的额外探索表明，句子空间可以向知识库的空间转移，提供可解释性并进一步改善结果。
2021-04-16 cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取（DSRE）任务一般都是独立地进行单级或袋级去噪，而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架（HiCLRE），该框架综合了全局结构信息和局部细粒度交互，能够有效地减少噪声句子。具体来说，我们提出了一个三层的分层学习框架，通过调整现有的多头自注意力，生成去噪的上下文感知表示，命名为多粒度重构。同时，伪正样本也提供在特定的水平，对比学习通过动态梯度的数据增强策略，称为动态梯度对抗扰动。实验表明，HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology（印度理工学院）
用于远程监督关系抽取（DS-RE）的神经模型将每个句子单独编码在实体对袋中。然后，这些被聚合用于袋级关系预测。由于在编码时，这些方法不允许信息从袋子中的其他句子中流出，我们认为它们没有充分利用可用的袋子数据。作为回应，我们探索一个简单的基线方法（PARE），其中一个袋子的所有句子连接成一个句子的通道，并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现，我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
Revisiting the Negative Data of Distantly Supervised Relation Extraction
Fudan University（复旦大学）
远程监督自动生成大量的训练样本用于关系抽取。然而，它也引发了两个主要问题：噪声标签和不平衡的训练数据。以往的研究多集中在减少错误标记的关系（误报），而很少有人探讨由于知识库的不完整性（误报）而导致的关系缺失。此外，负面标签的数量压倒性地超过了以往的问题配方中的积极的。在本文中，我们首先对负面数据带来的上述挑战进行了深入分析。接下来，我们将关系抽取问题转化为一个正的无标签学习任务，以减轻假阴性问题。第三，我们提出了一个管道的方法，称为\textsc{ReRe}，执行双层次的关系检测，然后主题/对象提取，以实现样本有效的训练。实验结果表明，该方法始终优于现有的方法，并保持良好的性能，即使在大量的假阳性样本学习。
2021-05-21 cs.AI cs.CL
Manual Evaluation Matters: Reviewing Test Protocols of Distantly Supervised Relation Extraction
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）；Tencent Inc（腾讯公司）
在过去的几年中，远程监督（DS）关系抽取（RE）由于可以利用大规模的自动标注数据而引起了人们的广泛关注。然而，它的评估长期以来一直是一个问题：以前的工作要么采用昂贵且不一致的方法来手动检查模型预测的小样本，要么直接在自动标记的数据上测试模型-通过我们的检查，在流行的NYT 10数据集中，在实体对级别上产生了多达53%的错误标签。这个问题不仅导致了不准确的评价，而且也使我们很难理解我们在DS-RE研究中所处的位置以及需要改进的地方。为了以更可靠的方式评估DS-RE模型，我们为两个DS-RE数据集NYT 10和Wiki 20构建了手动注释的测试集，并彻底评估了几个竞争模型，特别是最新的预训练模型。实验结果表明，人工评估可以表明与自动评估非常不同的结论，特别是一些意想不到的观察结果，例如，预训练的模型可以实现主导性能，同时与先前的方法相比更容易受到误报的影响。我们希望我们的手动测试集和新的观察可以帮助推进未来的DS-RE研究。
2021-05-20 cs.CL cs.LG
Distantly-Supervised Long-Tailed Relation Extraction Using Constraint Graphs
Harbin Institute of Technology（哈尔滨工业大学）；University of Rochester（罗切斯特大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
标签噪声和长尾分布是远程监督关系抽取中的两个主要挑战。近年来的研究在去噪方面取得了很大的进展，但对长尾关系问题的关注较少。在本文中，我们引入了一个约束图模型之间的依赖关系标签。在此基础上，我们进一步提出了一种新的约束图为基础的关系抽取框架（CGRE），同时处理这两个挑战。CGRE利用图卷积网络将信息从数据丰富的关系节点传播到数据贫乏的关系节点，从而促进长尾关系的表示学习。为了进一步提高算法的抗干扰能力，CGRE中设计了一个约束感知注意模块来整合约束信息。大量的实验结果表明，CGRE实现了显着的改善，比以前的方法去噪和长尾关系抽取。预处理的数据集和源代码可在https://github.com/tmliang/CGRE上公开获得。
2022-05-17 cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers
Iran University of Science and Technology（伊朗科技大学）；Islamic Azad University（伊斯兰阿扎德大学）
多示例学习（MIL）已经成为远程监督关系抽取（DSRE）的标准学习范式。然而，由于在包级执行关系抽取，MIL在与诸如深度Transformer神经网络之类的大句子编码器耦合时对训练具有显著的硬件要求。在本文中，我们提出了一种新的采样方法DSRE放松这些硬件要求。在所提出的方法中，我们通过从一批中的袋子中随机抽取句子来限制一批中的句子数量。然而，这是以丢失袋子中的有效句子为代价的。为了减轻随机抽样引起的问题，我们使用训练模型的集合进行预测。我们证明了我们的方法的有效性，通过使用我们提出的学习设置微调BERT广泛的纽约时报数据集。我们的方法在AUC和P@N指标方面显着优于以前的最先进的方法。
2021-04-15 cs.AI cs.CL
Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI（IBM研究院AI）
在本文中，我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取，该技术可以通过远程监督方法进行训练。除此之外，该系统使用深度学习方法，通过利用诱导KG的全局结构信息来完成知识库，以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域，因为它不使用任何手工标记的数据，NLP分析和推理规则。我们的实验，在一个流行的学术基准表明，建议的系统大幅提高关系抽取的性能，报告错误减少了50%，导致相对改善高达100%。此外，一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明，我们的系统不仅是可扩展的，而且不需要任何适应成本，同时产生大量的准确性增益。
2019-09-11 cs.CL
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而，不可避免的错误标记的问题，由远程监督将损害性能的关系抽取。在本文中，我们提出了一种方法与神经噪声转换器，以减轻噪声数据的影响，和一个条件最优选择器，使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵，并捕获远程监督关系抽取数据集的属性。另一方面，条件最优选择器有助于对实体对做出正确的预测决策，即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验，结果表明，与竞争性基线方法相比，该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
距离监督关系抽取被广泛用于从文本中抽取关系事实，但受到噪声标签的影响。当前的关系抽取方法试图通过多实例学习来减轻噪声，并通过提供支持语言和上下文信息来更有效地指导关系分类。在实现最先进的结果的同时，我们观察到这些模型偏向于以高精度识别有限的关系集，而忽略了长尾中的关系。为了解决这一差距，我们利用了一个预训练的语言模型，OpenAI生成预训练的Transformer（GPT）[Radford et al.，2018年]。GPT和类似的模型已被证明可以捕获语义和句法特征，以及大量的“常识”知识，我们假设这些知识是识别更多样化关系的重要特征。通过将GPT扩展到远程监督设置，并在NYT10数据集上对其进行微调，我们表明它可以预测更大的一组具有高置信度的不同关系类型。对我们模型的手动和自动评估表明，它在NYT10数据集上实现了最先进的AUC得分0.422，并且在较高的召回水平下表现得特别好。
2019-06-19 cs.CL
Learning with Noise: Enhance Distantly Supervised Relation Extraction with Dynamic Transition Matrix
ICST, Peking University, China（北京大学信息科学技术学院（ICST））；School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算与通信学院）；IBM China Research Lab, China（IBM中国研究实验室）
远程监督显著减少了为许多分类任务构建训练数据的人工努力。虽然很有前途，但这种技术通常会将噪声引入到生成的训练数据中，这会严重影响模型性能。本文深入研究了远程监督在关系抽取中的应用。我们表明，动态转移矩阵可以有效地表征噪声的训练数据建立远程监督。转移矩阵可以有效地训练使用一种新的课程学习为基础的方法，没有任何直接监督的噪音。我们在广泛的提取场景下彻底评估我们的方法。实验结果表明，我们的方法不断提高提取结果，并优于国家的最先进的各种评估方案。
2017-05-11 cs.CL
Looking Beyond Label Noise: Shifted Label Distribution Matters in Distantly Supervised Relation Extraction
University of Southern California（南加州大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
近年来，应用远程监控（DS）自动生成关系抽取（RE）训练数据的兴趣激增。在本文中，我们研究了限制DS训练的神经模型性能的问题，进行了深入的分析，并确定了一个可以极大地影响性能的因素，即标签分布。具体来说，我们发现这个问题普遍存在于现实世界的DS数据集，没有特殊的处理，典型的DS-RE模型不能自动适应这种变化，从而实现恶化的性能。为了进一步验证我们的直觉，我们为DS训练的模型开发了一种简单而有效的自适应方法，偏差调整，它更新了在源域（即，DS训练集）与在目标域上估计的标签分布（即，测试集）。实验表明，偏差调整在DS训练的模型上实现了一致的性能增益，特别是在神经模型上，相对F1提高了23%，这验证了我们的假设。我们的代码和数据可以在\url{https://github.com/INK-USC/shifted-label-distribution}上找到。
2019-09-10 cs.CL cs.LG
Finding Influential Instances for Distantly Supervised Relation Extraction
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
远距离监督（DS）是扩展数据集以增强关系抽取（RE）模型的强有力的方式，但是经常遭受高标签噪声。目前基于注意力、强化学习或GAN的工作都是黑箱模型，因此它们既不能对DS中的样本选择提供有意义的解释，也不能在不同领域提供稳定性。与此相反，本文提出了一种新的模型无关的实例抽样方法DS的影响函数（IF），即REIF。我们的方法确定有利/不利的情况下，在袋的基础上，IF，然后进行动态实例采样。设计了一种快速影响采样算法，将计算复杂性从$\mathcal{O}(mn)$降低到$\mathcal{O}(1)$，并分析了该算法对采样函数的鲁棒性。实验表明，通过在训练过程中简单地对有利实例进行采样，REIF能够赢得一系列具有复杂架构的基线。我们还证明了REIF可以支持可解释的实例选择。
2022-01-25 cs.AI cs.CL cs.LG
DiSCoMaT: Distantly Supervised Composition Extraction from Tables in Materials Science Articles
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对材料科学论文表格的成分提取难题，研究者定义了新NLP任务，发布含4408个远监督表格及1475个人工标注表格的数据集，提出结合图神经网络与任务特定正则等的DISCOMAT基线，性能显著优于现有架构。
2024-01-28 cond-mat.mtrl-sci cs.CL cs.IR
Knowing False Negatives: An Adversarial Training Method for Distantly Supervised Relation Extraction
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）
远程监督关系抽取（RE）自动将非结构化文本与知识库（KB）中的关系实例对齐。由于现有知识库的不完备性，隐含某些关系的句子可能被标注为N/A实例，这就导致了所谓的假否定（FN）问题。目前的RE方法通常忽略了这个问题，在训练和测试过程中引入不适当的偏见。为了解决这个问题，我们提出了一个两阶段的方法。首先，它通过启发式地利用深度神经网络的记忆机制来找出可能的FN样本。然后通过对抗训练将未标记的数据与训练数据对齐到一个统一的特征空间中，分配伪标签，进一步利用其中包含的信息。两个广泛使用的基准数据集上的实验证明了我们的方法的有效性。
2021-09-05 cs.AI cs.CL
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）；Fudan University（复旦大学）
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能，但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中，我们介绍了两个广泛存在的知识库，即实体描述，和多粒度的实体类型，以丰富的远程监督数据。我们将信息源视为多个视图，并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习（InSRL）的端到端多视图关系抽取学习框架，并实现了多视图表示的联合学习.此外，内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
Distantly Supervised Morpho-Syntactic Model for Relation Extraction
Université de Franche-Comté（弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院）
提出一种利用远程监督形态句法模式及句法、语义索引抽取并分类开放关系的方法，在六个Wikidata/Wikipedia数据集上精确率最高达0.85，可快速构建规则系统与训练数据集。
2024-01-18 cs.CL
CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
从远程监控（DS）生成的训练数据中减少噪声的旅程已经开始，因为DS第一次被引入到关系抽取（RE）任务。在过去的十年中，研究人员应用多实例学习（MIL）框架从一袋句子中找到最可靠的特征。虽然MIL袋的模式可以大大降低DS噪声，但它不能代表数据集中许多其他有用的句子特征。在许多情况下，这些句子特征只能通过额外的高级人工注释来获取，代价高昂。因此，远程监督RE模型的性能是有界的。在本文中，我们超越了典型的MIL框架，提出了一种新的对比实例学习（CIL）框架。具体来说，我们把初始MIL作为关系三元组编码器，并对每个实例的负对约束正对。实验结果表明，我们提出的框架的有效性，与以前的方法在NYT10，GDS和KBP显着改善。
2021-06-21 cs.CL
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hikvision Research Institute（海康威视研究院）；University of Southern California（南加利福尼亚大学）
远程监督利用知识库来自动标记实例，从而允许我们训练关系提取器而无需人工注释。然而，生成的训练数据通常包含大量噪声，并且可能导致普通监督学习的性能较差。在本文中，我们提出了一种新的交叉关系交叉袋选择性注意（C $^2$ SA）进行多示例学习，这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言，我们采用了双水平的选择性注意，以减少噪音或不匹配的句子的影响，而关系之间的相关性被捕获，以提高注意力的权重的质量。此外，我们试图更多地关注具有更高质量的实体对，而不是平等地对待所有实体对。同样，我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性，而进一步的消融研究验证了我们的直觉，并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；iFLYTEK Research（讯飞研究院）
近年来，随着远程监督（DS）关系抽取（RE）的发展，利用多示例学习（MIL）从噪声DS中提取高质量的监督信息受到了广泛关注。在这里，我们超越标签噪声，并确定DS-MIL的关键瓶颈是其低数据利用率：由于MIL细化了高质量的监督，MIL放弃了大量的训练实例，这导致数据利用率低，并阻碍了模型训练具有丰富的监督。在本文中，我们提出了协同对抗训练来提高数据利用率，它在不同级别上协调虚拟对抗训练（VAT）和对抗训练（AT）。具体来说，由于VAT是无标签的，我们采用实例级VAT来回收被MIL丢弃的实例，并在包级部署AT，充分发挥MIL的高质量监管潜力，从而实现了持续的改进（~ 5绝对AUC评分）与先前的现有技术相比，验证了数据利用问题的重要性和方法的有效性。
2021-06-21 cs.CL
Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction
ADAPT Centre, School of Computing, Dublin City University（都柏林城市大学计算学院ADAPT中心）；Accenture Labs Dublin（埃森哲都柏林实验室）
注意力机制经常在深度神经网络中用于远距离监督关系抽取（DS-RE），以区分有效实例和噪声实例。然而，传统的1-D向量注意力模型是不够的学习不同的背景下，选择有效的实例来预测实体对的关系。为了缓解这个问题，我们提出了一种新的多层结构（2-D矩阵）的自我注意力机制DS-RE在多实例学习（MIL）框架使用双向递归神经网络。在所提出的方法中，一个结构化的单词级自我注意力机制学习一个2-D矩阵，其中每个行向量表示关于两个实体的实例的不同方面的权重分布。针对MIL问题，结构化的中间层注意力学习一个二维矩阵，其中每个行向量表示选择不同有效实例时的权重分布。在两个公开的DS-RE数据集上进行的实验表明，所提出的具有多层次结构化自我注意力机制的框架在PR曲线、P@N和F1测量方面显著优于最先进的基线。
2018-09-03 cs.CL
Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
远程监督关系抽取本质上遭受噪声标签由于远距离监督的强假设。大多数现有的工作采用选择性注意力机制在一个袋子里的句子去噪从错误标记的数据，但这可能是不称职的，当只有一个句子在一个袋子。本文提出了一种全新的轻量级神经网络框架来解决远距离监督的关系抽取问题，并弥补了以往选择性注意框架的不足。具体而言，在该框架中，我们使用了一种实体感知的词嵌入方法，将相对位置信息和头/尾实体嵌入结合起来，旨在突出实体的本质，以完成这项任务：2）我们开发了一种自注意力机制，以捕获丰富的上下文依赖，作为分段CNN捕获的局部依赖的补充;（3）我们设计了一个基于丰富上下文表示的池化门，作为聚合器来生成用于最终关系分类的袋级表示，而不是使用选择性注意。与选择性注意相比，所提出的门控机制的一个主要优点是，即使只有一个句子出现在一个袋子中，它也能稳定地执行，从而保持所有训练样本的一致性。在NYT数据集上的实验表明，我们的方法在AUC和top-n精度指标方面都达到了新的最先进的性能。
2019-11-27 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology（佐治亚理工学院）
研究了远程监控下的开放域命名实体识别问题。远程监督，虽然不需要大量的手动注释，通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战，我们提出了一个新的计算框架-- BOND，它利用了预先训练的语言模型（例如，BERT和RoBERTa）来改进NER模型的预测性能。具体来说，我们提出了一种两阶段的训练算法：第一阶段，我们使用距离标签将预先训练好的语言模型适应于NER任务，可以显著提高召回率和精确率;第二阶段，我们去掉距离标签，并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明，BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
Distantly Supervised Relation Extraction via Recursive Hierarchy-Interactive Attention and Entity-Order Perception
Jilin University（吉林大学）；University of Washington（华盛顿大学）
错误标注问题和长尾关系严重影响了远程监督关系抽取任务的性能。许多研究通过选择性注意力机制来减轻错误标注的影响，并通过引入关系层次来处理长尾关系以实现知识共享。然而，几乎所有的研究都忽略了这样一个事实，即在一个句子中，两个实体的出现顺序有助于其语义的理解。此外，它们只单独利用关系层次的每个关系层，而没有利用关系层之间的启发式效应，即，高层关系可以为低层关系提供有用的信息。在此基础上，本文设计了一种新的递归层次-交互式注意力网络（RHIA）来进一步处理长尾关系，该网络模拟了关系层次之间的启发式效应。自上而下，它通过关系相关的信息层，这是最显着的区别，从现有的模型，并产生关系增强的句子表示为每个关系水平的递归结构。此外，我们还引入了一个新的训练目标，称为有序感知（EOP），使句子编码器保留更多的实体外观信息。大量的实验流行（纽约时报）数据集进行。与之前的基线相比，我们的RHIA-EOP在精确-召回（P-R）曲线，AUC，Top-N精确度和其他评估指标方面达到了最先进的性能。深入的分析也证明了RHIA-EOP每个组成部分的必要性和有效性。
2022-04-25 cs.CL
Augmenting Document-level Relation Extraction with Efficient Multi-Supervision
University of Macau（澳门大学）；Beijing Normal University (Zhuhai)（北京师范大学（珠海））；BNU-UIC（北京师范大学-香港浸会大学联合国际学院）；SKL-IOTSC（物联网关键技术与系统国家重点实验室）
本文针对文档级关系抽取中远程监督数据噪声大、利用效率低的问题，提出高效多重监督方法，通过结合远程与专家监督筛选信息文档并设计多重监督排序损失，在提升性能的同时提高时间效率。
2024-07-01 cs.AI cs.CL
MedDistant19: Towards an Accurate Benchmark for Broad-Coverage Biomedical Relation Extraction
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Saarland University（萨尔大学）；Yale Center for Medical Informatics（耶鲁医学信息学中心）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
由于缺乏标记数据和高昂的注释成本，生物医学领域的关系抽取具有挑战性，需要领域专家。远程监督通常用于通过将知识图谱关系与原始文本自动配对来解决注释数据的稀缺性。这样的流水线容易产生噪声，并且为覆盖大量生物医学概念的规模增加了挑战。我们调查了现有的广泛覆盖的远程监督生物医学关系抽取基准，发现训练和测试关系之间的重叠范围从26%到86%。此外，我们注意到这些基准测试的数据构建过程中存在一些不一致之处，并且在没有训练测试泄漏的情况下，重点是更窄的实体类型之间的交互。这项工作提出了一个更准确的基准MedDistant19广泛覆盖的远程监督的生物医学关系抽取，解决了这些缺点，并通过调整MEDLINE摘要与广泛使用的SNOMED临床术语知识库。缺乏与特定领域的语言模型进行彻底的评估，我们还进行实验验证一般领域的关系抽取的结果，生物医学关系抽取。
2022-09-13 cs.CL cs.LG
Sentence Bag Graph Formulation for Biomedical Distant Supervision Relation Extraction
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；University of Rochester（罗切斯特大学）；School of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture（北京建筑大学电气与信息工程学院）；Beijing Key Laboratory of Intelligent Processing for Building Big Data, Beijing University of Civil Engineering and Architecture（北京建筑大学北京市建筑大数据智能处理重点实验室）
本文提出句子袋图建模框架，通过消息传递聚合实体对信息并融合句间依赖，有效缓解远程监督关系抽取中的噪声标注问题，在生物医学和通用文本数据集上均显著超越现有方法。
2023-10-29 cs.CL cs.LG
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，随着词的连续表示（词嵌入）和深层神经网络结构的发展，关系抽取领域的研究成果不断涌现，大量的论文已经难以统计。为了帮助未来的研究，我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取，这些网络在公开可用的数据集上实现了最先进的性能。在本调查中，我们涵盖了文档级关系提取，基于管道的方法联合提取方法，注释数据集，远程监督数据集以及一些最近的研究方向，如zero-shot或Few-Shot关系抽取，远程监督数据集的噪声缓解。关于神经架构，我们在本调查中涵盖了卷积模型，递归网络模型，注意力网络模型和图卷积模型。
2021-03-31 cs.CL
Deep Residual Learning for Weakly-Supervised Relation Extraction
National Taiwan University（国立台湾大学）；University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
深度残差学习（ResNet）是一种使用身份映射来训练非常深的神经网络的新方法。ResNet赢得了ImageNet ILSVRC 2015分类任务，并在许多计算机视觉任务中实现了最先进的性能。然而，剩余学习对噪声自然语言处理任务的影响仍然没有得到很好的理解。在本文中，我们设计了一种新的卷积神经网络（CNN）与残留学习，并研究其对任务的影响，远距离监督噪声关系抽取。与ResNet只适用于非常深的网络的流行观点相反，我们发现即使有9层CNN，使用身份映射也可以显着提高远程监督关系抽取的性能。
2017-07-27 cs.AI cs.CL
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University（国立台湾大学）；National Cheng Kung University（国立成功大学）
虽然关系抽取是知识获取和表示中的一项重要任务，并且新生成的关系在现实世界中很常见，但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中，我们制定了zero-shot关系抽取问题，将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型，zero-shot BERT（ZH-BERT），直接预测看不见的关系，而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例，Escher-BERT学习两个函数，通过联合最小化它们之间的距离和对所看到的关系进行分类，将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入，使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明，EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
MT-Clinical BERT: Scaling Clinical Information Extraction with Multitask Learning
Virginia Commonwealth University（弗吉尼亚联邦大学）
临床记录包含大量重要但不易获得的患者信息。自动提取该信息的系统依赖于大量的训练数据，对于这些训练数据，它们存在有限的资源来创建。此外，它们是分开开发的;这意味着特定任务系统之间不能共享信息。这个瓶颈不必要地使实际应用复杂化，降低了每个单独解决方案的性能能力，并且关联了管理多个信息抽取系统的工程债务。我们通过开发多任务临床BERT来解决这些挑战：一个单一的深度学习模型，通过在任务之间共享表示，同时执行八个临床任务，包括实体提取，PHI识别，语言蕴涵和相似性。我们发现我们的单一系统与所有最先进的特定任务系统相比具有竞争力，同时还受益于大量的计算优势。
2020-04-21 cs.CL cs.IR cs.LG
Prototypical Representation Learning for Relation Extraction
Tsinghua University（清华大学）；The University of Edinburgh（爱丁堡大学）；Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）
识别实体之间的关系是关系学习的关键任务。由于人类语言中存在大量的标签噪声和复杂的表达方式，从距离标注数据集中学习关系表示是一个困难的问题。本文的目的是学习预测，可解释的，和强大的关系表示，从远距离标记的数据是有效的，在不同的设置，包括监督，远距离监督，和少样本学习。而不是仅仅依赖于从嘈杂的标签的监督，我们建议从上下文信息中学习每个关系的原型，以最好地探索关系的内在语义。原型是特征空间中的表示，抽象出句子中实体之间关系的基本语义。我们基于具有清晰几何解释的目标来学习原型，其中原型是均匀分散在单位球中的单位向量，并且语句嵌入集中在球表面上相应原型向量的末端。这种方法使我们能够学习有意义的，可解释的原型，用于最终分类。几个关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。我们进一步证明了编码器的鲁棒性和原型的可解释性与广泛的实验。
2021-03-22 cs.AI cs.CL
Rapid Adaptation of BERT for Information Extraction on Domain-Specific Business Documents
University of Waterloo（滑铁卢大学）
从业务文档（如合同、报表和文件）中自动提取重要内容元素的技术有可能使业务操作更加高效。这个问题可以制定为一个序列标签的任务，我们证明了适应BERT两种类型的商业文件：监管文件和财产租赁协议。这个问题的某些方面使它比“标准”信息抽取任务更容易，而其他方面使它更困难，但总的来说，我们发现适量的注释数据（少于100个文档）足以达到合理的准确性。我们将我们的模型集成到一个端到端的云平台中，该平台提供了一个易于使用的注释接口以及一个推理接口，允许用户上传文档并检查模型输出。
2020-02-05 cs.CL cs.IR cs.LG
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences（中国科学院大学）
随着知识图的发展和商业应用，从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法，用于从非结构化的特定领域文本（如保险行业的保险条款）中自动抽取知识点，以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同，本文将领域知识点转化为问题和答案对，并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型，类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果，该模型性能良好。
2021-03-01 cs.CL cs.LG
Jointly Extracting Relations with Class Ties via Effective Deep Ranking
Beihang University（北京航空航天大学）；China Defense Science and Technology Information Center（中国国防科技信息中心）
在关系抽取中，关系之间的连接（我们称之为类连接）是常见的。在远程监督的场景中，一个实体元组可以具有多个关系事实。利用一个实体元组的关系之间的类联系将是有前途的远程监督关系抽取。然而，以往的模型对这一特性的建模不是有效的，就是忽略了这一特性。在这项工作中，为了有效地利用类关系，我们提出了一个统一的模型，集成了卷积神经网络（CNN）与一般的成对排名框架，其中三个新的排名损失函数的联合关系抽取。此外，提出了一种有效的方法来缓解严重的类不平衡问题从NR（不相关）模型训练。在一个广泛使用的数据集上的实验表明，利用类关系将增强提取，并证明了我们的模型学习类关系的有效性。我们的模型显著优于基线，实现了最先进的性能。
2017-08-05 cs.AI cs.CL
Effective Distant Supervision for Temporal Relation Extraction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在新领域中训练时态关系抽取模型的主要障碍是缺乏多样的高质量示例以及收集更多示例的挑战。我们提出了一种方法，自动收集远程监督的时间关系的例子。我们抓取并自动标记时间关系在文本中明确的事件对，然后屏蔽这些明确的线索，迫使在此数据上训练的模型学习其他信号。我们证明了预训练的Transformer模型能够在zero-shot和Few-Shot设置中从弱标记的示例转移到人类注释的基准，并且掩蔽方案在提高泛化方面很重要。
2021-04-07 cs.CL cs.LG
Multi$^2$OIE: Multilingual Open Information Extraction Based on Multi-Head Attention with BERT
Korea University（高丽大学）
在本文中，我们提出了多$^2$ OIE，它执行开放信息抽取（开放IE）结合BERT与多头注意力。我们的模型是一个序列标记系统，具有高效和有效的参数提取方法。我们使用查询，键和值设置的灵感来自多模态Transformer，以取代以前使用的双向长短期记忆体系结构与多头注意力。Multi $^2$ OIE在两个基准评估数据集Re-OIE 2016和CaRB上的性能优于现有的序列标记系统，具有高计算效率。此外，我们提出的方法应用到多语言开放的IE使用多语言BERT。针对两种语言（西班牙语和葡萄牙语）引入的新基准数据集的实验结果表明，我们的模型在没有目标语言训练数据的情况下优于其他多语言系统。
2020-10-07 cs.CL cs.LG
Dual Supervision Framework for Relation Extraction with Distant Supervision and Human Annotation
Seoul National University（首尔国立大学）
由于关系抽取在知识库构建和问答等实际应用中的重要性，关系抽取得到了广泛的研究。大多数现有的工作训练模型的远程监督数据或人类注释的数据。为了利用人工注释的高准确性和远程监督的廉价成本，我们提出了双重监督框架，有效地利用这两种类型的数据。然而，简单地结合两种类型的数据来训练RE模型可能会降低预测精度，因为远程监督具有标记偏差。我们使用两个独立的预测网络HA-Net和DS-Net分别通过人工注释和远程监督来预测标签，以防止由于远程监督的不正确标签而导致的准确性下降。此外，我们还提出了一个额外的损失项，称为不一致惩罚，使HA-Net能够从远程监督标签中学习。此外，我们利用额外的网络，通过考虑上下文信息自适应地评估标签偏差。我们对文件级和文档级RE的性能研究证实了双重监督框架的有效性。
2020-11-24 cs.AI cs.CL
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis（诺华数据科学与人工智能部门）；Global Drug Development, Novartis Pharma AG（诺华制药全球药物开发部）
临床试验文件的自然语言处理（NLP）在新的试验设计中可能很有用。在这里，我们确定相关的临床试验设计的实体类型，并提出了一个框架，称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别（NER）模型，通过微调一组预先训练好的BERT模型来提取合格标准实体。然后，我们将CT-BERT的性能与最近的基线方法进行了比较，包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
Fancy Man Lauches Zippo at WNUT 2020 Shared Task-1: A Bert Case Model for Wet Lab Entity Extraction
Xian Jiaotong University（西安交通大学）；The University of Manchester（曼彻斯特大学）；East China University of Science and Technology（华东理工大学）；Zhejiang University（浙江大学）
自动或半自动地将指定执行实验室程序的步骤的协议转换为机器可读的格式对生物研究有很大好处。随着深度学习的发展，这些嘈杂的、密集的、特定于领域的实验室协议处理引起了越来越多的兴趣。本文介绍了我们在WNUT 2020共享任务1：湿实验室实体提取中的团队合作，我们在几个模型中进行了研究，包括BiLSTM CRF模型和BERT case模型，这些模型可以用于完成湿实验室实体提取。并着重讨论了\textbf{Bert case}在不同情况下的性能差异，如\emph{transformers}版本、大小写敏感等以前可能没有得到足够重视的问题。
2020-09-28 cs.CL cs.LG
An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Aimesoft JSC（Aimesoft股份公司）
在本文中，我们提出了一个实证研究，使用预训练的BERT模型的关系抽取任务在VLSP 2020年评估活动。我们应用了两种最先进的基于BERT的模型：R-BERT和实体启动的BERT模型。对于每个模型，我们比较了两个预训练的BERT模型：FPTAI/vibert和NlpHUST/vibert 4 news。我们发现NlpHUST/vibert 4 news模型在越南语关系抽取任务中的表现明显优于FPTAI/vibert。最后，我们提出了一个集成模型，结合R-BERT和BERT与实体开始。我们提出的集成模型略有改善，对两个单一的模型的开发数据和测试数据提供的任务组织者。
2021-01-28 cs.CL
Optimal Subarchitecture Extraction For BERT
Amazon Alexa（亚马逊Alexa）
我们从Devlin等人（2018）中提取了BERT架构的架构参数的最佳子集。通过应用神经架构搜索算法的最新突破。我们称之为“Bort”的这个最佳子集明显更小，具有原始BERT大架构的$5.5\%$的有效（即，不计算嵌入层）大小和净大小的$16\%$。Bort还能够在$288$ GPU小时内进行预训练，这是预训练性能最高的BERT参数架构变体RoBERTa-large所需时间的$1.2\%$（Liu et al.，2019年），以及关于$33\%$的世界纪录，在GPU小时，需要在相同的硬件上训练BERT-大。它在CPU上也比$7.9$快x倍，并且比架构的其他压缩变体和一些非压缩变体性能更好：它在多个公共自然语言理解（NLU）基准测试中获得了$0.3\%$和$31\%$之间的绝对性能改进。
2020-11-06 cs.CL cs.LG
On Robustness and Bias Analysis of BERT-based Relation Extraction
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）
微调预训练模型在标准自然语言处理基准测试中取得了令人印象深刻的性能。然而，由此产生的模型的普遍性仍然知之甚少。例如，我们不知道优秀的性能如何导致泛化模型的完美。在这项研究中，我们分析了微调BERT模型从不同的角度使用关系抽取。我们还根据我们提出的改进概括技术的差异。从实证实验中，我们发现BERT在随机化、对抗性和反事实测试以及偏见（即，选择和语义）。这些发现突出了未来改进的机会。我们的开源测试平台DiagnoseRE在\url{https://github.com/zjunlp/DiagnoseRE}中可用。
2021-12-25 cs.AI cs.CL cs.DB
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction?
Université Paris-Saclay, INRAE, MaIAGE（巴黎-萨克雷大学，法国国家农业食品与环境研究院，应用数学与计算机科学、基因组学与环境研究单位）；Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique（巴黎-萨克雷大学，法国国家科学研究中心，数字科学跨学科实验室）
近年来，人们对关系抽取进行了大量的研究。BioCreative VII的DrugProt跟踪为关系抽取系统的开发和评估提供了一个手动注释的语料库，其中研究了化学品和基因之间的相互作用。我们描述了我们用于提交的集成系统，该系统通过多数投票结合了微调的bioBERT，sciBERT和const-bioBERT模型的预测。我们特别测试了语法信息对BERT关系抽取的贡献。我们观察到，向BERT添加基于成分的句法信息提高了准确率，但降低了召回率，因为在训练集中很少看到的关系不太可能被注入句法信息的BERT模型预测。我们的代码可以在线获取[https：//github.com/Maple177/drugprot-relation-extraction]。
2021-11-25 cs.AI cs.CL cs.LG
