Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
远程监督关系抽取（RE）是一种有效的方法，规模RE大型语料库，但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音，但主要是设法识别最频繁的关系，忽略了长尾中的关系。我们提出了REDSandT（关系抽取与远程监督和Transformers），一种新的远程监督的transformer为基础的RE方法，管理，以捕捉更广泛的关系，通过高度翔实的实例和标签嵌入RE，利用BERT的预训练模型，标签和实体之间的关系，分别。我们通过对结构化输入（包括连接实体对和实体类型的子树）进行BERT微调，引导REDSandT只关注关系令牌。使用提取的信息向量，我们形状的标签嵌入，我们也使用的注意力机制的实例，以进一步减少噪音。最后，我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明，REDSandT以更高的置信度捕获了更广泛的关系集，实现了最先进的AUC（0.424）。
2021-02-01 cs.CL cs.IR cs.LG
Bootstrapping Distantly Supervised IE using Joint Learning and Small Well-structured Corpora
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个框架，以提高性能的远程监督关系抽取，通过联合学习解决两个相关的任务：概念实例提取和关系抽取。我们将此与文档结构的新用途相结合：在一些小的，结构良好的语料库中，可以识别对应于关系参数的部分，并且从这些部分中标记的远距离示例往往具有良好的精度。使用这些作为种子，我们提取额外的关系的例子，通过应用标签传播的图形组成的噪声的例子从一个大型的非结构化测试语料库。结合软约束，概念的例子应该有相同类型的第二个参数的关系，我们得到了显着的改进，在几个国家的最先进的方法，远程监督关系抽取。
2016-08-11 cs.CL
Manual Evaluation Matters: Reviewing Test Protocols of Distantly Supervised Relation Extraction
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）；Tencent Inc（腾讯公司）
在过去的几年中，远程监督（DS）关系抽取（RE）由于可以利用大规模的自动标注数据而引起了人们的广泛关注。然而，它的评估长期以来一直是一个问题：以前的工作要么采用昂贵且不一致的方法来手动检查模型预测的小样本，要么直接在自动标记的数据上测试模型-通过我们的检查，在流行的NYT 10数据集中，在实体对级别上产生了多达53%的错误标签。这个问题不仅导致了不准确的评价，而且也使我们很难理解我们在DS-RE研究中所处的位置以及需要改进的地方。为了以更可靠的方式评估DS-RE模型，我们为两个DS-RE数据集NYT 10和Wiki 20构建了手动注释的测试集，并彻底评估了几个竞争模型，特别是最新的预训练模型。实验结果表明，人工评估可以表明与自动评估非常不同的结论，特别是一些意想不到的观察结果，例如，预训练的模型可以实现主导性能，同时与先前的方法相比更容易受到误报的影响。我们希望我们的手动测试集和新的观察可以帮助推进未来的DS-RE研究。
2021-05-20 cs.CL cs.LG
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science（印度科学学院）；Birla Institute of Technology and Science, Pilani（比尔拉理工学院皮拉尼校区）
远程监督关系抽取（RE）方法通过自动地将知识库（KB）中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外，KB通常包含其他相关的边信息，诸如关系的别名（例如，founded和co-founded是关系founderOfCompany的别名）。RE模型通常忽略这些容易获得的边信息。在本文中，我们提出了RESIDE，一个远程监督的神经关系抽取方法，利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络（GCN）从文本中编码语法信息，即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验，我们证明了RESIDE的有效性。我们提供了RESIDE的源代码，以鼓励可重复的研究。
2019-02-12 cs.CL
Active Testing: An Unbiased Evaluation Method for Distantly Supervised Relation Extraction
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Beijing Normal University (Zhuhai) & UIC（北京师范大学（珠海）与UIC）；American University of Sharjah（沙迦美国大学）
远程监督由于其便于自动标注数据集而成为神经关系抽取中广泛使用的方法。然而，现有的工作远距离监督关系抽取的测试集的质量低，这导致相当大的偏见性能评估。这些偏差不仅会导致不公平的评价，而且会误导神经关系抽取的优化。为了缓解这个问题，我们提出了一种新的评估方法命名为主动测试，通过利用噪声测试集和一些手动注释。广泛使用的基准测试的实验表明，我们提出的方法可以产生近似无偏的评价远距离监督的关系提取。
2020-10-17 cs.CL cs.IR
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所人工智能研究中心）
我们提出了一个多任务，概率的方法，以促进远程监督关系抽取，使更接近的句子，包含相同的知识库对的表示。为了实现这一点，我们通过与关系分类器联合训练的变分自编码器（VAE）来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明，多任务学习的性能优势。将知识库先验引入VAE的额外探索表明，句子空间可以向知识库的空间转移，提供可解释性并进一步改善结果。
2021-04-16 cs.CL
Looking Beyond Label Noise: Shifted Label Distribution Matters in Distantly Supervised Relation Extraction
University of Southern California（南加州大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
近年来，应用远程监控（DS）自动生成关系抽取（RE）训练数据的兴趣激增。在本文中，我们研究了限制DS训练的神经模型性能的问题，进行了深入的分析，并确定了一个可以极大地影响性能的因素，即标签分布。具体来说，我们发现这个问题普遍存在于现实世界的DS数据集，没有特殊的处理，典型的DS-RE模型不能自动适应这种变化，从而实现恶化的性能。为了进一步验证我们的直觉，我们为DS训练的模型开发了一种简单而有效的自适应方法，偏差调整，它更新了在源域（即，DS训练集）与在目标域上估计的标签分布（即，测试集）。实验表明，偏差调整在DS训练的模型上实现了一致的性能增益，特别是在神经模型上，相对F1提高了23%，这验证了我们的假设。我们的代码和数据可以在\url{https://github.com/INK-USC/shifted-label-distribution}上找到。
2019-09-10 cs.CL cs.LG
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology（印度理工学院）
用于远程监督关系抽取（DS-RE）的神经模型将每个句子单独编码在实体对袋中。然后，这些被聚合用于袋级关系预测。由于在编码时，这些方法不允许信息从袋子中的其他句子中流出，我们认为它们没有充分利用可用的袋子数据。作为回应，我们探索一个简单的基线方法（PARE），其中一个袋子的所有句子连接成一个句子的通道，并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现，我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hikvision Research Institute（海康威视研究院）；University of Southern California（南加利福尼亚大学）
远程监督利用知识库来自动标记实例，从而允许我们训练关系提取器而无需人工注释。然而，生成的训练数据通常包含大量噪声，并且可能导致普通监督学习的性能较差。在本文中，我们提出了一种新的交叉关系交叉袋选择性注意（C $^2$ SA）进行多示例学习，这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言，我们采用了双水平的选择性注意，以减少噪音或不匹配的句子的影响，而关系之间的相关性被捕获，以提高注意力的权重的质量。此外，我们试图更多地关注具有更高质量的实体对，而不是平等地对待所有实体对。同样，我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性，而进一步的消融研究验证了我们的直觉，并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
Distantly-Supervised Long-Tailed Relation Extraction Using Constraint Graphs
Harbin Institute of Technology（哈尔滨工业大学）；University of Rochester（罗切斯特大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
标签噪声和长尾分布是远程监督关系抽取中的两个主要挑战。近年来的研究在去噪方面取得了很大的进展，但对长尾关系问题的关注较少。在本文中，我们引入了一个约束图模型之间的依赖关系标签。在此基础上，我们进一步提出了一种新的约束图为基础的关系抽取框架（CGRE），同时处理这两个挑战。CGRE利用图卷积网络将信息从数据丰富的关系节点传播到数据贫乏的关系节点，从而促进长尾关系的表示学习。为了进一步提高算法的抗干扰能力，CGRE中设计了一个约束感知注意模块来整合约束信息。大量的实验结果表明，CGRE实现了显着的改善，比以前的方法去噪和长尾关系抽取。预处理的数据集和源代码可在https://github.com/tmliang/CGRE上公开获得。
2022-05-17 cs.CL
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；Department of Chemical and Biological Engineering, Northwestern University（西北大学化学与生物工程系）
关系抽取（RE）是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督（DS），它允许通过在文本语料库和知识库（KB）之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一，它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线，在本文中，我们提出了一种相关的方法来RESIDE也使用额外的边信息，但简化了句子编码与BERT嵌入。通过实验，我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小，但P@N结果表明，使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取（DSRE）任务一般都是独立地进行单级或袋级去噪，而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架（HiCLRE），该框架综合了全局结构信息和局部细粒度交互，能够有效地减少噪声句子。具体来说，我们提出了一个三层的分层学习框架，通过调整现有的多头自注意力，生成去噪的上下文感知表示，命名为多粒度重构。同时，伪正样本也提供在特定的水平，对比学习通过动态梯度的数据增强策略，称为动态梯度对抗扰动。实验表明，HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
Revisiting the Negative Data of Distantly Supervised Relation Extraction
Fudan University（复旦大学）
远程监督自动生成大量的训练样本用于关系抽取。然而，它也引发了两个主要问题：噪声标签和不平衡的训练数据。以往的研究多集中在减少错误标记的关系（误报），而很少有人探讨由于知识库的不完整性（误报）而导致的关系缺失。此外，负面标签的数量压倒性地超过了以往的问题配方中的积极的。在本文中，我们首先对负面数据带来的上述挑战进行了深入分析。接下来，我们将关系抽取问题转化为一个正的无标签学习任务，以减轻假阴性问题。第三，我们提出了一个管道的方法，称为\textsc{ReRe}，执行双层次的关系检测，然后主题/对象提取，以实现样本有效的训练。实验结果表明，该方法始终优于现有的方法，并保持良好的性能，即使在大量的假阳性样本学习。
2021-05-21 cs.AI cs.CL
Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI（IBM研究院AI）
在本文中，我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取，该技术可以通过远程监督方法进行训练。除此之外，该系统使用深度学习方法，通过利用诱导KG的全局结构信息来完成知识库，以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域，因为它不使用任何手工标记的数据，NLP分析和推理规则。我们的实验，在一个流行的学术基准表明，建议的系统大幅提高关系抽取的性能，报告错误减少了50%，导致相对改善高达100%。此外，一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明，我们的系统不仅是可扩展的，而且不需要任何适应成本，同时产生大量的准确性增益。
2019-09-11 cs.CL
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
距离监督关系抽取被广泛用于从文本中抽取关系事实，但受到噪声标签的影响。当前的关系抽取方法试图通过多实例学习来减轻噪声，并通过提供支持语言和上下文信息来更有效地指导关系分类。在实现最先进的结果的同时，我们观察到这些模型偏向于以高精度识别有限的关系集，而忽略了长尾中的关系。为了解决这一差距，我们利用了一个预训练的语言模型，OpenAI生成预训练的Transformer（GPT）[Radford et al.，2018年]。GPT和类似的模型已被证明可以捕获语义和句法特征，以及大量的“常识”知识，我们假设这些知识是识别更多样化关系的重要特征。通过将GPT扩展到远程监督设置，并在NYT10数据集上对其进行微调，我们表明它可以预测更大的一组具有高置信度的不同关系类型。对我们模型的手动和自动评估表明，它在NYT10数据集上实现了最先进的AUC得分0.422，并且在较高的召回水平下表现得特别好。
2019-06-19 cs.CL
Learning with Noise: Enhance Distantly Supervised Relation Extraction with Dynamic Transition Matrix
ICST, Peking University, China（北京大学信息科学技术学院（ICST））；School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算与通信学院）；IBM China Research Lab, China（IBM中国研究实验室）
远程监督显著减少了为许多分类任务构建训练数据的人工努力。虽然很有前途，但这种技术通常会将噪声引入到生成的训练数据中，这会严重影响模型性能。本文深入研究了远程监督在关系抽取中的应用。我们表明，动态转移矩阵可以有效地表征噪声的训练数据建立远程监督。转移矩阵可以有效地训练使用一种新的课程学习为基础的方法，没有任何直接监督的噪音。我们在广泛的提取场景下彻底评估我们的方法。实验结果表明，我们的方法不断提高提取结果，并优于国家的最先进的各种评估方案。
2017-05-11 cs.CL
Finding Influential Instances for Distantly Supervised Relation Extraction
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
远距离监督（DS）是扩展数据集以增强关系抽取（RE）模型的强有力的方式，但是经常遭受高标签噪声。目前基于注意力、强化学习或GAN的工作都是黑箱模型，因此它们既不能对DS中的样本选择提供有意义的解释，也不能在不同领域提供稳定性。与此相反，本文提出了一种新的模型无关的实例抽样方法DS的影响函数（IF），即REIF。我们的方法确定有利/不利的情况下，在袋的基础上，IF，然后进行动态实例采样。设计了一种快速影响采样算法，将计算复杂性从$\mathcal{O}(mn)$降低到$\mathcal{O}(1)$，并分析了该算法对采样函数的鲁棒性。实验表明，通过在训练过程中简单地对有利实例进行采样，REIF能够赢得一系列具有复杂架构的基线。我们还证明了REIF可以支持可解释的实例选择。
2022-01-25 cs.AI cs.CL cs.LG
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）；Fudan University（复旦大学）
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能，但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中，我们介绍了两个广泛存在的知识库，即实体描述，和多粒度的实体类型，以丰富的远程监督数据。我们将信息源视为多个视图，并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习（InSRL）的端到端多视图关系抽取学习框架，并实现了多视图表示的联合学习.此外，内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
Distantly Supervised Morpho-Syntactic Model for Relation Extraction
Université de Franche-Comté（弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院）
提出一种利用远程监督形态句法模式及句法、语义索引抽取并分类开放关系的方法，在六个Wikidata/Wikipedia数据集上精确率最高达0.85，可快速构建规则系统与训练数据集。
2024-01-18 cs.CL
CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
从远程监控（DS）生成的训练数据中减少噪声的旅程已经开始，因为DS第一次被引入到关系抽取（RE）任务。在过去的十年中，研究人员应用多实例学习（MIL）框架从一袋句子中找到最可靠的特征。虽然MIL袋的模式可以大大降低DS噪声，但它不能代表数据集中许多其他有用的句子特征。在许多情况下，这些句子特征只能通过额外的高级人工注释来获取，代价高昂。因此，远程监督RE模型的性能是有界的。在本文中，我们超越了典型的MIL框架，提出了一种新的对比实例学习（CIL）框架。具体来说，我们把初始MIL作为关系三元组编码器，并对每个实例的负对约束正对。实验结果表明，我们提出的框架的有效性，与以前的方法在NYT10，GDS和KBP显着改善。
2021-06-21 cs.CL
A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers
Iran University of Science and Technology（伊朗科技大学）；Islamic Azad University（伊斯兰阿扎德大学）
多示例学习（MIL）已经成为远程监督关系抽取（DSRE）的标准学习范式。然而，由于在包级执行关系抽取，MIL在与诸如深度Transformer神经网络之类的大句子编码器耦合时对训练具有显著的硬件要求。在本文中，我们提出了一种新的采样方法DSRE放松这些硬件要求。在所提出的方法中，我们通过从一批中的袋子中随机抽取句子来限制一批中的句子数量。然而，这是以丢失袋子中的有效句子为代价的。为了减轻随机抽样引起的问题，我们使用训练模型的集合进行预测。我们证明了我们的方法的有效性，通过使用我们提出的学习设置微调BERT广泛的纽约时报数据集。我们的方法在AUC和P@N指标方面显着优于以前的最先进的方法。
2021-04-15 cs.AI cs.CL
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而，不可避免的错误标记的问题，由远程监督将损害性能的关系抽取。在本文中，我们提出了一种方法与神经噪声转换器，以减轻噪声数据的影响，和一个条件最优选择器，使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵，并捕获远程监督关系抽取数据集的属性。另一方面，条件最优选择器有助于对实体对做出正确的预测决策，即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验，结果表明，与竞争性基线方法相比，该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；iFLYTEK Research（讯飞研究院）
近年来，随着远程监督（DS）关系抽取（RE）的发展，利用多示例学习（MIL）从噪声DS中提取高质量的监督信息受到了广泛关注。在这里，我们超越标签噪声，并确定DS-MIL的关键瓶颈是其低数据利用率：由于MIL细化了高质量的监督，MIL放弃了大量的训练实例，这导致数据利用率低，并阻碍了模型训练具有丰富的监督。在本文中，我们提出了协同对抗训练来提高数据利用率，它在不同级别上协调虚拟对抗训练（VAT）和对抗训练（AT）。具体来说，由于VAT是无标签的，我们采用实例级VAT来回收被MIL丢弃的实例，并在包级部署AT，充分发挥MIL的高质量监管潜力，从而实现了持续的改进（~ 5绝对AUC评分）与先前的现有技术相比，验证了数据利用问题的重要性和方法的有效性。
2021-06-21 cs.CL
Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction
ADAPT Centre, School of Computing, Dublin City University（都柏林城市大学计算学院ADAPT中心）；Accenture Labs Dublin（埃森哲都柏林实验室）
注意力机制经常在深度神经网络中用于远距离监督关系抽取（DS-RE），以区分有效实例和噪声实例。然而，传统的1-D向量注意力模型是不够的学习不同的背景下，选择有效的实例来预测实体对的关系。为了缓解这个问题，我们提出了一种新的多层结构（2-D矩阵）的自我注意力机制DS-RE在多实例学习（MIL）框架使用双向递归神经网络。在所提出的方法中，一个结构化的单词级自我注意力机制学习一个2-D矩阵，其中每个行向量表示关于两个实体的实例的不同方面的权重分布。针对MIL问题，结构化的中间层注意力学习一个二维矩阵，其中每个行向量表示选择不同有效实例时的权重分布。在两个公开的DS-RE数据集上进行的实验表明，所提出的具有多层次结构化自我注意力机制的框架在PR曲线、P@N和F1测量方面显著优于最先进的基线。
2018-09-03 cs.CL
Knowing False Negatives: An Adversarial Training Method for Distantly Supervised Relation Extraction
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）
远程监督关系抽取（RE）自动将非结构化文本与知识库（KB）中的关系实例对齐。由于现有知识库的不完备性，隐含某些关系的句子可能被标注为N/A实例，这就导致了所谓的假否定（FN）问题。目前的RE方法通常忽略了这个问题，在训练和测试过程中引入不适当的偏见。为了解决这个问题，我们提出了一个两阶段的方法。首先，它通过启发式地利用深度神经网络的记忆机制来找出可能的FN样本。然后通过对抗训练将未标记的数据与训练数据对齐到一个统一的特征空间中，分配伪标签，进一步利用其中包含的信息。两个广泛使用的基准数据集上的实验证明了我们的方法的有效性。
2021-09-05 cs.AI cs.CL
Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
远程监督关系抽取本质上遭受噪声标签由于远距离监督的强假设。大多数现有的工作采用选择性注意力机制在一个袋子里的句子去噪从错误标记的数据，但这可能是不称职的，当只有一个句子在一个袋子。本文提出了一种全新的轻量级神经网络框架来解决远距离监督的关系抽取问题，并弥补了以往选择性注意框架的不足。具体而言，在该框架中，我们使用了一种实体感知的词嵌入方法，将相对位置信息和头/尾实体嵌入结合起来，旨在突出实体的本质，以完成这项任务：2）我们开发了一种自注意力机制，以捕获丰富的上下文依赖，作为分段CNN捕获的局部依赖的补充;（3）我们设计了一个基于丰富上下文表示的池化门，作为聚合器来生成用于最终关系分类的袋级表示，而不是使用选择性注意。与选择性注意相比，所提出的门控机制的一个主要优点是，即使只有一个句子出现在一个袋子中，它也能稳定地执行，从而保持所有训练样本的一致性。在NYT数据集上的实验表明，我们的方法在AUC和top-n精度指标方面都达到了新的最先进的性能。
2019-11-27 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Distantly Supervised Relation Extraction via Recursive Hierarchy-Interactive Attention and Entity-Order Perception
Jilin University（吉林大学）；University of Washington（华盛顿大学）
错误标注问题和长尾关系严重影响了远程监督关系抽取任务的性能。许多研究通过选择性注意力机制来减轻错误标注的影响，并通过引入关系层次来处理长尾关系以实现知识共享。然而，几乎所有的研究都忽略了这样一个事实，即在一个句子中，两个实体的出现顺序有助于其语义的理解。此外，它们只单独利用关系层次的每个关系层，而没有利用关系层之间的启发式效应，即，高层关系可以为低层关系提供有用的信息。在此基础上，本文设计了一种新的递归层次-交互式注意力网络（RHIA）来进一步处理长尾关系，该网络模拟了关系层次之间的启发式效应。自上而下，它通过关系相关的信息层，这是最显着的区别，从现有的模型，并产生关系增强的句子表示为每个关系水平的递归结构。此外，我们还引入了一个新的训练目标，称为有序感知（EOP），使句子编码器保留更多的实体外观信息。大量的实验流行（纽约时报）数据集进行。与之前的基线相比，我们的RHIA-EOP在精确-召回（P-R）曲线，AUC，Top-N精确度和其他评估指标方面达到了最先进的性能。深入的分析也证明了RHIA-EOP每个组成部分的必要性和有效性。
2022-04-25 cs.CL
DiSCoMaT: Distantly Supervised Composition Extraction from Tables in Materials Science Articles
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对材料科学论文表格的成分提取难题，研究者定义了新NLP任务，发布含4408个远监督表格及1475个人工标注表格的数据集，提出结合图神经网络与任务特定正则等的DISCOMAT基线，性能显著优于现有架构。
2024-01-28 cond-mat.mtrl-sci cs.CL cs.IR
An Empirical Study on Relation Extraction in the Biomedical Domain
Peking University（北京大学）
关系抽取是自然语言处理中的一个基本问题。现有的大多数模型都是针对一般领域中的关系抽取而定义的。然而，它们在特定领域的表现（例如，生物医学还不清楚。为了填补这一空白，本文对生物医学研究论文中的关系抽取进行了实证研究。具体来说，我们考虑了文档级和文档级的关系抽取，并在几个基准数据集上运行了一些最先进的方法。研究结果表明：（1）现有的文档级关系抽取方法具有较强的泛化能力;（2）现有方法需要大量的标记数据用于生物医学领域的模型微调。我们的观察可能会启发人们在这一领域的发展更有效的生物医学关系抽取模型。
2021-12-11 cs.CL cs.LG
Augmenting Document-level Relation Extraction with Efficient Multi-Supervision
University of Macau（澳门大学）；Beijing Normal University (Zhuhai)（北京师范大学（珠海））；BNU-UIC（北京师范大学-香港浸会大学联合国际学院）；SKL-IOTSC（物联网关键技术与系统国家重点实验室）
本文针对文档级关系抽取中远程监督数据噪声大、利用效率低的问题，提出高效多重监督方法，通过结合远程与专家监督筛选信息文档并设计多重监督排序损失，在提升性能的同时提高时间效率。
2024-07-01 cs.AI cs.CL
Biomedical Information Extraction for Disease Gene Prioritization
Stanford University（斯坦福大学）；OccamzRazor
我们介绍了一个生物医学信息抽取（IE）管道，从文本中提取生物关系，并证明其组件，如命名实体识别（NER）和关系抽取（RE），优于国家的最先进的BioNLP。我们将其应用于数千万的PubMed摘要中，以提取蛋白质-蛋白质相互作用（PPI），并将这些提取增强到生物医学知识图谱中，该图谱已经包含从领先的结构化PPI数据库STRING中提取的PPI。我们表明，尽管已经包含来自已建立的结构化来源的PPI，但将我们自己的基于IE的提取增加到图中，使我们能够预测新的疾病-基因关联，hit@30相对增加20%，这是为未治愈疾病开发药物靶点的重要一步。
2020-11-12 cs.CL cs.LG
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，随着词的连续表示（词嵌入）和深层神经网络结构的发展，关系抽取领域的研究成果不断涌现，大量的论文已经难以统计。为了帮助未来的研究，我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取，这些网络在公开可用的数据集上实现了最先进的性能。在本调查中，我们涵盖了文档级关系提取，基于管道的方法联合提取方法，注释数据集，远程监督数据集以及一些最近的研究方向，如zero-shot或Few-Shot关系抽取，远程监督数据集的噪声缓解。关于神经架构，我们在本调查中涵盖了卷积模型，递归网络模型，注意力网络模型和图卷积模型。
2021-03-31 cs.CL
Abstractified Multi-instance Learning (AMIL) for Biomedical Relation Extraction
University of California, San Diego（加州大学圣地亚哥分校）；IBM Research-Almaden（IBM阿尔马登研究院）
生物医学领域中的关系抽取是一个具有挑战性的任务，由于缺乏标记数据和长尾分布的事实三元组。许多作品利用远程监督，通过将知识图谱与原始文本数据配对来自动生成标记数据。远程监督产生噪声标签，并需要额外的技术，如多实例学习（MIL），去噪的训练信号。然而，MIL需要多个数据实例，并且需要处理非常长尾的数据集，例如生物医学领域中的数据集。在这项工作中，我们提出了一种新的重新制定的MIL的生物医学关系抽取，抽象的生物医学实体到其相应的语义类型。通过按类型对实体进行分组，我们能够更好地利用MIL的优势，并进一步对训练信号进行降噪。我们展示了这种重新表述，我们称之为抽象化多实例学习（AMIL），提高了生物医学关系提取的性能。我们还提出了一种新的关系嵌入架构，进一步提高模型的性能。
2021-10-24 cs.CL cs.LG
Deep Residual Learning for Weakly-Supervised Relation Extraction
National Taiwan University（国立台湾大学）；University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
深度残差学习（ResNet）是一种使用身份映射来训练非常深的神经网络的新方法。ResNet赢得了ImageNet ILSVRC 2015分类任务，并在许多计算机视觉任务中实现了最先进的性能。然而，剩余学习对噪声自然语言处理任务的影响仍然没有得到很好的理解。在本文中，我们设计了一种新的卷积神经网络（CNN）与残留学习，并研究其对任务的影响，远距离监督噪声关系抽取。与ResNet只适用于非常深的网络的流行观点相反，我们发现即使有9层CNN，使用身份映射也可以显着提高远程监督关系抽取的性能。
2017-07-27 cs.AI cs.CL
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Effective Distant Supervision for Temporal Relation Extraction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在新领域中训练时态关系抽取模型的主要障碍是缺乏多样的高质量示例以及收集更多示例的挑战。我们提出了一种方法，自动收集远程监督的时间关系的例子。我们抓取并自动标记时间关系在文本中明确的事件对，然后屏蔽这些明确的线索，迫使在此数据上训练的模型学习其他信号。我们证明了预训练的Transformer模型能够在zero-shot和Few-Shot设置中从弱标记的示例转移到人类注释的基准，并且掩蔽方案在提高泛化方面很重要。
2021-04-07 cs.CL cs.LG
A Short Survey of Biomedical Relation Extraction Techniques
Islamic Azad University, Yazd Branch（伊斯兰阿扎德大学亚兹德分校）
近年来，生物医学信息量迅速增长，通过信息抽取系统获取有用的数据越来越受到重视。在当前的研究中，我们集中在生物医学领域的关系抽取技术的不同方面，并简要描述了各种生物元素之间的关系抽取的最新发展。
2017-07-25 cs.CL
BioNCERE: Non-Contrastive Enhancement For Relation Extraction In Biomedical Texts
School of Information Technology（信息技术学院）；Monash University（莫纳什大学）
针对生物医学关系抽取模型的各向异性问题，提出无需命名实体标签的BioNCERE方法，结合迁移学习与非对比学习分三阶段训练，在SemMedDB上取得接近现有最优的性能，降低了标注成本。
2024-10-31 cs.CL cs.LG
Using Neural Networks for Relation Extraction from Biomedical Literature
LASIGE, Faculdade de Ciências, Universidade de Lisboa（里斯本大学理学院 LASIGE 实验室）
使用不同的信息源来支持自动提取生物医学概念之间的关系，有助于我们对生物系统的理解的发展。这些关系的主要综合来源是生物医学文献。已经提出了几种关系抽取方法来识别生物医学文献中概念之间的关系，即使用神经网络算法。使用由多个数据表示组成的多通道架构，如在深度神经网络中，正在产生最先进的结果。数据表示的正确组合最终可以使我们在关系抽取任务中获得更高的评估分数。因此，生物医学本体通过提供关于实体的语义和祖先信息而发挥基本作用。生物医学本体的纳入已经被证明可以增强以前的最先进的结果。
2020-09-18 cs.CL cs.LG stat.ML
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
Global Locality in Biomedical Relation and Event Extraction
IBM Research Australia（IBM澳大利亚研究院）
随着生物医学文献数量的快速增长，事件和关系抽取成为生物医学文本挖掘的重要任务。大多数工作只关注于关系抽取，并且在短的文本跨度上检测单个实体对提及，由于出现在生物医学背景中的长句，这是不理想的。我们提出了一种方法，关系和事件提取，同时预测所有提及对在一个文本中的关系。我们还进行了实证研究，以讨论不同的网络设置，为此目的。性能最佳的模型包括一组多头注意力和卷积，适应的Transformer架构，它提供了自我注意力的能力，以加强相关元素之间的依赖关系，并模拟多个注意力头提取的特征之间的相互作用。实验结果表明，我们的方法优于最先进的一组基准生物医学语料库，包括BioNLP 2009，2011，2013和BioCreative 2017共享任务。
2020-05-07 cs.CL cs.IR cs.LG
A Biomedical Information Extraction Primer for NLP Researchers
Indian Institute of Technology Delhi（印度理工学院德里分校）
生物医学信息抽取是自然语言处理、生物学和医学交叉的一个令人兴奋的领域。它包括各种不同的任务，需要应用最先进的NLP技术，如NER和关系抽取。本文概述了该领域的问题，并讨论了一些用于解决这些问题的技术。
2017-05-10 cs.CL
Prototypical Representation Learning for Relation Extraction
Tsinghua University（清华大学）；The University of Edinburgh（爱丁堡大学）；Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）
识别实体之间的关系是关系学习的关键任务。由于人类语言中存在大量的标签噪声和复杂的表达方式，从距离标注数据集中学习关系表示是一个困难的问题。本文的目的是学习预测，可解释的，和强大的关系表示，从远距离标记的数据是有效的，在不同的设置，包括监督，远距离监督，和少样本学习。而不是仅仅依赖于从嘈杂的标签的监督，我们建议从上下文信息中学习每个关系的原型，以最好地探索关系的内在语义。原型是特征空间中的表示，抽象出句子中实体之间关系的基本语义。我们基于具有清晰几何解释的目标来学习原型，其中原型是均匀分散在单位球中的单位向量，并且语句嵌入集中在球表面上相应原型向量的末端。这种方法使我们能够学习有意义的，可解释的原型，用于最终分类。几个关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。我们进一步证明了编码器的鲁棒性和原型的可解释性与广泛的实验。
2021-03-22 cs.AI cs.CL
Inter-sentence Relation Extraction for Associating Biological Context with Events in Biomedical Texts
The University of Arizona（亚利桑那大学）
我们提出了一个分析的问题，确定生物背景，并将其与生物医学文本中的生物化学事件。这构成了一个非平凡的、跨领域的关系抽取任务。我们专注于生物背景的物种，组织类型和细胞类型，与生化事件的描述。我们描述的上下文-事件关系的注释语料库的属性，并提出和评估几个分类上下文-事件关联训练的句法，距离和频率特征。
2018-12-14 cs.CL cs.LG stat.ML
Slot Filling for Biomedical Information Extraction
Healx（Healx公司）；Cambridge（剑桥大学）
从文本中提取信息抽取（Information Extraction，IE）是指从非结构化文本中抽取结构化知识的任务。该任务通常由一系列子任务组成，例如命名实体识别和关系抽取。在诸如生物医学等资源有限的领域中，获取实体和关系类型特定的训练数据是一个主要瓶颈。在这项工作中，我们提出了一个插槽填充的方法来完成生物医学IE的任务，有效地取代了实体和关系特定的训练数据的需要，使我们能够处理zero-shot设置。我们遵循最近提出的范式耦合基于transformer的双向编码器，密集通道检索，与基于transformer的阅读理解模型，从生物医学文本中提取关系。我们组装了一个生物医学插槽填充数据集检索和阅读理解，并进行了一系列的实验，证明我们的方法优于一些简单的基线。我们还评估我们的方法端到端的标准以及zero-shot设置。我们的工作提供了一个新的视角如何解决生物医学IE任务，在缺乏相关的训练数据。我们的代码、模型和数据集可以在https://github.com/ypapanik/biomedical-slot-filling上找到。
2022-04-11 cs.CL cs.IR cs.LG
Exploring Semi-supervised Variational Autoencoders for Biomedical Relation Extraction
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）；Dalian University of Technology（大连理工大学）
生物医学文献提供了丰富的知识来源，如蛋白质-蛋白质相互作用（PPI），药物-药物相互作用（DDI）和化学-蛋白质相互作用（CPI）。生物医学关系抽取的目的是从生物医学文本中自动抽取生物医学关系，以供各种生物医学研究使用。用于生物医学关系抽取的现有技术方法主要基于监督机器学习，因此依赖于（足够的）标记数据。然而，创建大的训练数据集是非常昂贵和劳动密集型的，尤其是在生物医学中，因为需要领域知识。相比之下，PubMed中有大量未标记的生物医学文本。因此，能够采用未标记的数据，以减少人工注释的负担的计算方法是特别感兴趣的生物医学关系抽取。提出了一种基于变分自编码器（VAE）的半监督生物医学关系抽取方法。我们的模型包括以下三个部分，分类器，编码器和解码器。分类器使用多层卷积神经网络（CNN）实现，编码器和解码器分别使用双向长短期记忆网络（Bi-LSTM）和CNN实现。半监督机制允许我们的模型从标记和未标记数据中学习特征。我们评估我们的方法在多个公共PPI，DDI和CPI语料库。实验结果表明，该方法有效地利用了未标记数据，提高了性能，减少了对标记数据的依赖。据我们所知，这是第一个基于半监督VAE的（生物医学）关系抽取方法。我们的研究结果表明，利用这些未标记的数据可以大大有利于提高各种生物医学关系抽取的性能。
2019-01-18 cs.CL
From POS tagging to dependency parsing for biomedical event extraction
The University of Melbourne（墨尔本大学）
背景资料：鉴于从生物医学研究出版物中提取关系或事件以支持知识捕获和合成的重要性，以及该信息抽取任务对句法信息的强烈依赖性，了解哪些方法对生物医学文本的句法处理具有最高性能是有价值的。结果如下：我们在两个基准生物医学语料库GENIA和CRAFT上进行了一项实证研究，比较了最先进的传统基于特征的模型和基于神经网络的模型，用于词性（POS）标记和依存句法分析这两个核心自然语言处理任务。据我们所知，最近没有在生物医学背景下进行这种比较的工作;具体来说，没有对这些数据的神经模型进行详细分析。实验结果表明，在一般情况下，神经模型优于基于特征的模型在两个基准生物医学语料库GENIA和CRAFT。我们还进行了面向任务的评估，以调查这些模型在下游应用程序的生物医学事件提取的影响，并表明，更好的内在解析性能并不总是意味着更好的外在事件提取性能。结论：我们已经提出了一个详细的实证研究比较传统的基于特征的和基于神经网络的模型的POS标记和依存句法分析在生物医学的背景下，还调查了分析器的选择的生物医学事件提取下游任务的影响。数据和材料的可用性：我们在https://github.com/datquocnguyen/BioPosDep上提供重新训练的模型
2019-01-02 cs.CL
Jointly Extracting Relations with Class Ties via Effective Deep Ranking
Beihang University（北京航空航天大学）；China Defense Science and Technology Information Center（中国国防科技信息中心）
在关系抽取中，关系之间的连接（我们称之为类连接）是常见的。在远程监督的场景中，一个实体元组可以具有多个关系事实。利用一个实体元组的关系之间的类联系将是有前途的远程监督关系抽取。然而，以往的模型对这一特性的建模不是有效的，就是忽略了这一特性。在这项工作中，为了有效地利用类关系，我们提出了一个统一的模型，集成了卷积神经网络（CNN）与一般的成对排名框架，其中三个新的排名损失函数的联合关系抽取。此外，提出了一种有效的方法来缓解严重的类不平衡问题从NR（不相关）模型训练。在一个广泛使用的数据集上的实验表明，利用类关系将增强提取，并证明了我们的模型学习类关系的有效性。我们的模型显著优于基线，实现了最先进的性能。
2017-08-05 cs.AI cs.CL
