KG-BERT: BERT for Knowledge Graph Completion
Northwestern University（西北大学）
知识图谱是许多人工智能任务的重要资源，但往往遭受不完整性。在这项工作中，我们建议使用预先训练的语言模型来完成知识图谱。本文将知识图谱中的三元组视为文本序列，提出了一种新的知识图谱双向编码器表示Transformer（KG-BERT）框架来建模这些三元组。该方法以三元组的实体描述和关系描述为输入，利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明，该方法在三重分类、链接预测和关系预测等任务中均能取得较好的性能.
2019-09-11 cs.AI cs.CL
Inducing Relational Knowledge from BERT
CRIL - CNRS（法国国家科学研究中心计算机科学与基础信息实验室）；Univ Artois（阿尔图瓦大学）；Cardiff University（卡迪夫大学）
词嵌入最显著的特性之一是它们捕捉了某些类型的语义和句法关系。最近，预先训练的语言模型（如BERT）在广泛的自然语言处理任务中取得了突破性的成果。然而，目前还不清楚这种模型在多大程度上捕获了标准词嵌入已经捕获的关系知识。为了探索这个问题，我们提出了一种方法，从预先训练好的语言模型中提取关系知识。从一个给定关系的几个种子实例开始，我们首先使用一个大型文本语料库来找到可能表达这种关系的句子。然后，我们使用这些提取的句子的子集作为模板。最后，我们微调一个语言模型来预测一个给定的词对是否可能是某个关系的实例，当给定一个该关系的实例化模板作为输入时。
2019-11-28 cs.AI cs.CL
Improving (Dis)agreement Detection with Inductive Social Relation Information From Comment-Reply Interactions
Westlake University（西湖大学）
一致性检测旨在识别作者对特定文本的态度或立场（\textit{agree, disagree, neutral}）。现有的方法仅使用文本信息来识别（不）协议，特别是对于跨域设置，这是有限的。社会关系信息除了文本信息外，还可以在不同意任务中起到辅助作用。我们提出了一种新的方法来提取这样的关系信息（不）协议数据到一个归纳的社会关系图，只使用评论回复对没有任何额外的平台特定的信息。归纳的社会关系从整体上考虑了历史讨论和作者之间的关系。基于预训练的语言模型的文本信息和由预训练的RGCN编码的社会关系信息被联合考虑用于（不）一致检测。实验结果表明，我们的模型达到了最先进的性能，无论是在域内和跨域的基准- DEBAGREEMENT任务。我们发现，社会关系可以提高（不）协议检测模型的性能，特别是对于长令牌的评论-回复对，证明了社会关系图的有效性。通过对知识图谱的嵌入方法、信息融合方法、构建时间间隔等因素对构建社会关系图谱的影响的研究，验证了该模型的有效性。
2023-02-08 cs.AI cs.CL
BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出BertNet，仅用关系提示和少量实体对示例，即可从预训练语言模型中高效搜索并抽取400多种任意关系的符号化知识图谱。
2023-06-02 cs.CL
AutoBERT-Zero: Evolving BERT Backbone from Scratch
The University of Hong Kong（香港大学）；Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）；Sun Yat-sen University（中山大学）
基于transformer的预训练语言模型，如BERT及其变体，最近在各种自然语言处理（NLP）任务中取得了令人满意的性能。然而，传统的范式构建的骨干，纯粹堆叠的手动设计的全球自我注意层，引入归纳偏差，从而导致次优。在这项工作中，我们首次尝试在灵活的搜索空间上自动发现新的预训练语言模型（PLM）骨干，其中包含从头开始的最基本的操作。具体来说，我们提出了一个精心设计的搜索空间，它（i）包含层内层次的原始数学运算，以探索新的注意力结构，（ii）利用卷积块作为层间层次注意力的补充，以更好地学习局部依赖性。为了提高寻找有前途的架构的效率，我们提出了一个操作优先神经架构搜索（OP-NAS）算法，优化搜索算法和候选模型的评估。具体来说，我们提出了操作优先级（OP）的演化策略，以促进模型搜索，通过平衡探索和开发。此外，我们设计了一个双分支权重共享（BIWS）训练策略，用于快速模型评估。大量的实验表明，搜索的架构（命名为AutoBERT-Zero）显着优于BERT及其变体的不同模型的能力，在各种下游任务，证明了该架构的转移和缩放能力。值得注意的是，AutoBERT-Zero-base在GLUE测试集上的得分比RoBERTa-base（使用更多数据）和BERT-large（模型大小更大）高出2.4和1.4。
2022-02-07 cs.CL cs.LG
PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models
University of Rome Tor Vergata（罗马第二大学）；ART Group（ART团队）
提出PreCog度量，分析预训练记忆与BERT下游任务性能的关系，发现高度记忆的示例分类更好，表明记忆是BERT成功的关键。
2023-05-09 cs.AI cs.CL
Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
Purdue University（普渡大学）
针对知识图谱完全归纳式链接预测任务，提出双重置换等变表示概念，证明其必要性并指出现有模型符合该框架，同时揭示其固有局限性，说明双重等变性并非充分条件。
2025-01-14 cs.AI cs.CL cs.LG
BERTGEN: Multi-task Generation through BERT
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
我们提出了BERTGEN，一种新的生成，解码器的模型，扩展BERT通过融合多模态和多语言的预训练模型VL-BERT和M-BERT，分别。BERTGEN在多任务设置下针对语言生成任务（即图像描述、机器翻译和多模态机器翻译）进行自回归训练。通过一系列全面的评估，我们发现BERTGEN在探索的任务中表现优于许多强大的基线。我们还展示了BERTGEN的zero-shot语言生成的能力，它表现出有竞争力的性能，监督同行。最后，我们进行了消融研究，证明BERTGEN从多任务处理中受益匪浅，并有效地从预训练模型中转移了相关的归纳偏差。
2021-06-07 cs.CL
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University（北京航空航天大学）
本文提出MLKD-BERT，通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量，在GLUE和抽取式问答任务上超越现有知识蒸馏方法，同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies?
Cardiff University（卡迪夫大学）
类比在人类的常识推理中起着核心作用。识别类比的能力，如“眼睛是看什么耳朵是听”，有时被称为类比比例，塑造我们如何构建知识和理解语言。然而，令人惊讶的是，在语言模型时代，识别这种类比的任务还没有得到太多的关注。在本文中，我们分析了基于transformer的语言模型在这个无监督任务上的能力，使用从教育环境中获得的基准，以及更常用的数据集。我们发现，现成的语言模型可以在一定程度上识别类比，但挣扎与抽象和复杂的关系，结果是高度敏感的模型架构和超参数。总体而言，使用GPT-2和RoBERTa获得了最佳结果，而使用BERT的配置无法优于词嵌入模型。我们的研究结果为未来的工作提出了重要的问题，即预训练的语言模型如何以及在多大程度上捕获关于抽象语义关系的知识。
2022-09-09 cs.CL cs.LG
An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Aimesoft JSC（Aimesoft股份公司）
在本文中，我们提出了一个实证研究，使用预训练的BERT模型的关系抽取任务在VLSP 2020年评估活动。我们应用了两种最先进的基于BERT的模型：R-BERT和实体启动的BERT模型。对于每个模型，我们比较了两个预训练的BERT模型：FPTAI/vibert和NlpHUST/vibert 4 news。我们发现NlpHUST/vibert 4 news模型在越南语关系抽取任务中的表现明显优于FPTAI/vibert。最后，我们提出了一个集成模型，结合R-BERT和BERT与实体开始。我们提出的集成模型略有改善，对两个单一的模型的开发数据和测试数据提供的任务组织者。
2021-01-28 cs.CL
Simple BERT Models for Relation Extraction and Semantic Role Labeling
University of Waterloo（滑铁卢大学）
我们提出了简单的基于BERT的关系抽取和语义角色标注模型。近年来，通过结合词汇和句法特征（如词性标记和依赖树），使用神经模型实现了最先进的性能。在本文中，对这两个任务的数据集进行了广泛的实验，结果表明，在不使用任何外部特征的情况下，一个简单的基于BERT的模型可以实现最先进的性能。据我们所知，我们是第一个以这种方式成功应用BERT的公司。我们的模型为未来的研究提供了强有力的基线。
2019-04-10 cs.CL
Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）；University of Delaware（特拉华大学）；Department of Computer and Information Science（计算机与信息科学系）
随着生物医学文献的爆炸式增长，设计自动化的文献信息抽取工具对生物医学研究具有重要意义。最近，基于变压器的BERT模型适应于生物医学领域已经产生了领先的结果。然而，所有现有的BERT模型的关系分类只利用部分知识的最后一层。在本文中，我们将研究的方法，利用整个层的微调过程中的BERT模型。据我们所知，我们是第一个探索这种方法的。实验结果表明，我们的方法提高了BERT模型的性能，并优于国家的最先进的方法在三个基准数据集的不同关系抽取任务。进一步分析表明，关于关系的关键知识可以从BERT模型的最后一层学习。
2020-11-01 cs.CL
BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国家生物技术信息中心（NCBI）、美国国家医学图书馆（NLM）、美国国立卫生研究院（NIH））
生物医学关系陈述通常用多个句子表示，并且由许多概念组成，包括基因、疾病、化学和突变。为了从生物医学文献中自动提取信息，现有的生物医学文本挖掘方法通常将问题表述为跨句子的n元关系提取任务，该任务检测跨多个句子的n个实体之间的关系，并使用具有长短期记忆（LSTM）的图神经网络（GNN）或注意力机制。最近，Transformer在许多自然语言处理（NLP）任务上的表现优于LSTM。在这项工作中，我们提出了一种新的架构，结合双向编码器表示从Transformers与图形Transformer（BERT-GT），通过集成邻居注意力机制到BERT架构。与原始的Transformer架构不同，它利用整个句子来计算当前标记的注意力，我们的方法中的邻居-注意力机制仅利用其邻居标记来计算其注意力。因此，每个令牌可以关注其邻居信息而几乎没有噪声。我们表明，这是至关重要的，当文本是很长的，在跨句子或抽象层次的关系提取任务。我们的基准测试结果显示，在n-ary和化学蛋白质关系数据集上，准确率和F1度量分别提高了5.44%和3.89%，这表明BERT-GT是一种适用于其他生物医学关系抽取任务或数据集的鲁棒方法。
2021-01-11 cs.CL
Does BERT agree? Evaluating knowledge of structure dependence through agreement relations
University of California, Berkeley（加州大学伯克利分校）
学习能够准确建模语义的表示是自然语言处理研究的一个重要目标。许多语义现象都依赖于句法结构。最近的工作研究了最先进的预训练表征模型（如BERT）在多大程度上捕捉到了这种结构依赖现象，但主要限于英语中的一种现象：主语和动词之间的数字一致性。我们评估BERT的敏感性，四种类型的结构依赖的协议关系，在一个新的半自动策划的数据集，在26种语言。我们表明，无论是单语言和多语言BERT模型捕捉语法敏感的协议模式，以及一般，但我们也强调了具体的语言环境中，他们的性能下降。
2019-08-26 cs.CL
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
University of Delaware（特拉华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
在计算机视觉中，对比学习已被用于学习图像的高质量表示。然而，对比学习并没有被广泛地应用于自然语言处理中，这是由于缺乏一种通用的文本数据数据增强方法。在这项工作中，我们探索的方法，采用对比学习，以改善文本表示的BERT模型的关系抽取。我们的框架的关键旋钮是一个独特的对比预训练步骤，通过将语言知识无缝集成到数据增强中，为关系抽取任务量身定制。此外，我们研究了如何从外部知识库构建的大规模数据可以增强BERT的对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明，该方法能够提高BERT模型的表示能力，达到最佳性能。此外，我们通过展示具有对比预训练的BERT更多地依赖于预测的基本原理来探索模型的可解释性。我们的代码和数据可在https://github.com/udel-biotm-lab/BERT-CLRE上公开获取。
2021-04-28 cs.CL
BERTs of a feather do not generalize together: Large variability in generalization across models with similar test set performance
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
如果同一个神经网络架构在同一个数据集上被训练多次，它会在运行中做出类似的语言概括吗？为了研究这个问题，我们在多体裁自然语言推理（MNLI）数据集上微调了100个BERT实例，并在HANS数据集上对其进行了评估，HANS数据集评估了自然语言推理中的语法泛化。在MNLI开发集上，所有实例的行为都非常一致，准确率在83.6%到84.8%之间。与此形成鲜明对比的是，相同的模型在泛化性能上差异很大。例如，在主体-客体交换的简单情况下（例如，确定“医生拜访了律师”并不意味着“律师拜访了医生”），准确率范围从0.00%到66.2%。这种变化可能是由于存在许多局部最小值，这些最小值对低偏差学习器（如神经网络）同样有吸引力;因此，降低可变性可能需要具有更强归纳偏差的模型。
2020-11-16 cs.CL
ExpBERT: Representation Engineering with Natural Language Explanations
Stanford University（斯坦福大学）
假设我们想指定归纳偏差，即已婚夫妇通常会去度蜜月，以便从文本中提取配偶对。在本文中，我们允许模型开发人员将这些类型的归纳偏差指定为自然语言解释。我们使用BERT在MultiNLI上进行微调，以“解释”这些关于输入句子的解释，产生输入的解释指导表示。在三个关系抽取任务中，我们的方法ExpBERT匹配BERT基线，但标记数据少3- 20倍，并在基线上提高3- 10个F1点，具有相同数量的标记数据。
2020-05-05 cs.CL cs.LG stat.ML
BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction
Ant Financial Services Group（蚂蚁金融服务集团）
在本文中，我们报告了我们在2019年语言和智能挑战赛中的信息抽取任务的方法。我们将BERT纳入联合实体-关系抽取的多头选择框架。该模型从三个方面扩展了现有的方法。首先，采用BERT作为多头选择框架底部的特征提取层。我们通过在BERT预训练期间引入语义增强任务来进一步优化BERT。其次，我们引入了一个大规模的百度百科语料库进行实体识别的预训练，由于没有实际命名的实体标签，所以它是每周监督学习。第三，提出了软标签嵌入，以有效地传递实体识别和关系抽取之间的信息。结合这三个方面的贡献，我们提高了多头选择模型的信息提取能力，并实现了F1-得分0.876测试集-1上的单一模型。通过集成我们模型的四个变体，我们最终在测试集1上获得F1得分0.892（第一名），在测试集2上获得F1得分0.8924（第二名）。
2019-09-26 cs.CL
Universal Dependencies according to BERT: both more specific and more general
本文通过从自注意力中提取标记依赖树，分析了BERT所捕获的句法抽象的形式和程度。以前的工作表明，个人BERT头往往编码特定的依赖关系类型。我们通过明确比较BERT关系与通用自相似性（UD）注释来扩展这些发现，表明它们通常不一一匹配。我们提出了一种关系识别和句法树构造的方法。我们的方法比以前的工作产生更一致的依赖树，表明它更好地解释了BERT的语法抽象。与此同时，它可以成功地应用于只有少量的监督和推广以及跨语言。
2020-10-06 cs.CL
AutoRC: Improving BERT Based Relation Classification Models via Architecture Search
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Pingan Health Tech（平安健康医疗科技）；Ping An Health Cloud Company Limited（平安健康云有限公司）；Ping An International Smart City Technology Co., Ltd（平安国际智慧城市科技股份有限公司）
尽管基于BERT的关系分类（RC）模型相对于传统的深度学习模型已经取得了显著的改进，但是对于什么是最佳架构似乎还不能达成共识。首先，存在用于实体跨度标识的多种备选方案。第二，存在池化操作的集合，以将实体和上下文的表示聚合成固定长度的向量。第三，很难手动决定哪些特征向量（包括它们的交互）有利于对关系类型进行分类。在这项工作中，我们设计了一个全面的搜索空间的BERT为基础的RC模型，并采用神经架构搜索（NAS）的方法来自动发现上述的设计选择。在7个基准RC任务上的实验表明，该方法比基于基准BERT的RC模型更有效。烧蚀实验验证了搜索空间设计的必要性和搜索方法的有效性。
2020-09-27 cs.CL
Of Non-Linearity and Commutativity in BERT
ETH Zurich（苏黎世联邦理工学院）
在这项工作中，我们提供了对Transformer架构的新见解，特别是其最著名的变体BERT。首先，我们提出了一种方法来测量Transformers的不同元素的非线性程度。接下来，我们将重点研究Transformers内部的前馈网络（FFN），其中包含2/3的模型参数，迄今为止还没有得到太多的关注。我们发现，FFNs是一个效率低下，但重要的建筑元素，他们不能简单地被替换为注意力块没有性能下降。此外，我们研究了层之间的相互作用，在BERT和显示，而层表现出一定的层次结构，他们提取的功能在一个模糊的方式。我们的研究结果表明，BERT有一个归纳偏向层交换性，我们发现这主要是由于跳跃连接。这为经常性和权重共享的Transformer模型的强大性能提供了理由。
2021-05-07 cs.AI cs.CL
Extracting Radiological Findings With Normalized Anatomical Information Using a Span-Based BERT Relation Extraction Model
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
医学成像对于诊断和治疗许多医学问题至关重要，包括许多形式的癌症。医学成像报告提取放射科医生的发现和观察结果，创建非结构化医学图像的非结构化文本表示。这种文本编码信息的大规模使用需要将非结构化文本转换为结构化的语义表示。我们探讨的提取和规范化的放射学报告中的解剖信息，是与放射学的发现。我们调查这个提取和规范化的任务，使用基于跨度的关系抽取模型，共同提取实体和关系，使用BERT。这项工作探讨了影响提取和归一化性能的因素，包括身体部位/器官系统，发生频率，跨度长度和跨度多样性。它讨论了提高性能和创建高质量的放射性现象的语义表示的方法。
2021-08-20 cs.CL
Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text
East China University of Science and Technology（华东理工大学）；Shanghai Hospital Development Center（上海医院发展中心）
实体和关系抽取是构建医学文本的必要步骤。但是现有模型中的双向长短期记忆网络的特征提取能力并没有达到最佳效果。同时，该语言模型在越来越多的自然语言处理任务中取得了优异的效果。在本文中，我们提出了一个集中注意力模型的联合实体和关系抽取任务。该模型通过动态范围注意力机制将著名的BERT语言模型融入到联合学习中，从而提高了共享参数层的特征表示能力。在曙光医院冠状动脉造影文本上的实验结果表明，命名实体识别和关系分类任务的F1分数分别达到96.89%和88.51%，优于现有方法的1.65%和1.22%。
2019-10-22 cs.CL
Do Attention Heads in BERT Track Syntactic Dependencies?
New York University（纽约大学）；Verisk Analytics（Verisk分析公司）
我们研究了在预训练的Transformer语言模型（如BERT和RoBERTa）中，个体注意力在多大程度上隐式地捕获句法依赖关系。我们采用两种方法-采取最大的注意力权重和计算最大生成树-提取隐含的依赖关系，从每个层/头的注意力权重，并将它们与地面真理通用依赖（UD）树进行比较。我们发现，对于一些UD关系类型，存在头部，可以恢复的依赖类型显着优于基线上解析的英文文本，这表明一些自我注意头作为代理的句法结构。我们还分析了BERT微调两个数据集--面向语法的CoLA和面向语义的MNLI--调查微调是否会影响他们的自我注意力的模式，但我们没有观察到使用我们的方法提取的整体依赖关系的实质性差异。我们的研究结果表明，这些模型有一些专业的注意力头，跟踪个别的依赖类型，但没有通才头，执行整体解析显着优于一个平凡的基线，并直接分析注意力权重可能不会揭示很多的句法知识，BERT风格的模型是已知的学习。
2019-11-27 cs.CL
Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs
University of Science and Technology of China（中国科学技术大学）
归纳链接预测--其中在训练和推理阶段的实体可以是不同的--已被证明有希望完成不断进化的知识图谱。现有的归纳推理模型主要集中在通过学习逻辑规则来预测缺失环节。然而，许多现有的方法不考虑关系之间的语义相关性，这是常见的在现实世界的知识图谱。为了解决这个问题，我们提出了一种新的归纳推理方法，即TACT，它可以有效地利用拓扑感知的关系之间的关联，在一个实体独立的方式。TACT的灵感来自于观察到两个关系之间的语义相关性与它们在知识图谱中的拓扑结构高度相关。具体来说，我们将所有的关系对分为几个拓扑模式，然后提出了一个关系相关网络（RCN）学习的重要性，归纳链接预测的不同模式。实验表明，TACT可以有效地建模关系之间的语义相关性，并显着优于现有的国家的最先进的方法在基准数据集上的归纳链接预测任务。
2021-03-05 cs.CL cs.LG
Imposing Label-Relational Inductive Bias for Extremely Fine-Grained Entity Typing
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；IBM Research（IBM研究院）
现有的实体分类系统通常利用知识库（KB）模式提供的类型层次来建模标签相关性，从而提高整体性能。然而，这样的技术不能直接应用于类型集不受KB模式限制并且包括大量自由格式类型的更开放和实际的场景。为了在不访问手动注释的标签结构的情况下对底层标签相关性进行建模，我们引入了一种新的标签关系归纳偏差，由图传播层表示，该层有效地编码了全局标签共现统计数据和单词级相似性。在具有超过10，000个自由形式类型的大型数据集上，配备有基于注意力的匹配模块的图形增强模型能够实现高得多的召回分数，同时保持高水平的精确度。具体而言，它实现了15.3%的相对F1改进，并且输出的不一致性也更少。我们进一步表明，我们提出的图形层的简单修改也可以提高传统的和广泛测试的数据集，只包括KB模式类型的性能。
2019-03-06 cs.CL
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center（L3S研究中心）
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中，我们专门探讨了BERT，以理解和测量它在参数记忆中捕获的关系知识。虽然对语言理解的探索通常应用于BERT的所有层以及微调模型，但这还没有用于事实知识。我们利用现有的知识库完成任务（LAMA）来探测每一层的预训练以及微调的BERT模型（排名，问答，NER）。我们的研究结果表明，知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例（17-60%）。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时，关系知识被遗忘了。遗忘的程度受微调目标和训练数据的影响。我们发现，与掩蔽语言建模和问答相比，排名模型在最后一层忘记的最少，保留的知识更多。然而，掩蔽语言建模在从训练数据获取新知识方面表现最好。当涉及到学习事实时，我们发现容量和事实密度是关键因素。我们希望这一初步的工作将促进进一步的研究，了解参数记忆的语言模型和实际知识的训练目标的影响。重复实验的代码在GitHub上公开。
2021-09-08 cs.CL
RAILD: Towards Leveraging Relation Features for Inductive Link Prediction In Knowledge Graphs
FIZ Karlsruhe – Leibniz Institute for Information Infrastructure（卡尔斯鲁厄专业信息中心——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于开放世界假设，知识图谱（KG）永远不会是完整的。为了解决这个问题，迄今为止提出了各种链接预测（LP）方法。这些方法中的一些是归纳LP模型，其能够学习在训练期间未看到的实体的表示。然而，据我们所知，现有的归纳LP模型都没有专注于学习不可见关系的表示。在这项工作中，一个新的关系感知归纳链接预测（RAILD）提出了KG完成学习表示看不见的实体和看不见的关系。除了通过采用语言模型来利用与实体和关系相关联的文本文字之外，RAILD还引入了一种新颖的基于图的方法来生成关系的特征。使用不同的现有和新创建的具有挑战性的基准数据集进行实验，结果表明，RAILD导致性能改善的最先进的模型。此外，由于没有现有的归纳LP模型来学习看不见的关系的表示，我们已经创建了自己的基线，使用RAILD获得的结果也优于这些基线。
2022-11-21 cs.AI cs.CL
Relation-dependent Contrastive Learning with Cluster Sampling for Inductive Relation Prediction
Sun Yat-sen University（中山大学）
关系预测是为知识图谱补全而设计的任务，其目的是预测实体之间缺失的关系。最近基于子图的归纳关系预测模型受到越来越多的关注，它可以基于候选三元组周围提取的子图来预测未见过实体的关系。然而，它们并不是完全归纳的，因为它们不能预测看不见的关系。此外，它们没有充分重视关系的作用，因为它们只依赖于模型来学习参数化的关系嵌入，这导致对长尾关系的预测不准确。在本文中，我们引入了基于聚类的对比学习（ReCoLe）来进行归纳关系预测，它采用了一种基于聚类算法的采样方法来适应对比学习，以增强关系的作用并提高对未知关系的泛化能力。ReCoLe不是直接学习关系的嵌入，而是为每个关系分配一个预训练的基于GNN的编码器，以加强关系的影响。基于GNN的编码器通过对比学习进行优化，从而确保在长尾关系上具有令人满意的性能。此外，聚类抽样方法使ReCoLe能够处理看不见的关系和实体。实验结果表明，ReCoLe在常用的归纳数据集上优于最先进的方法。
2022-11-22 cs.AI cs.CL cs.LG
BARThez: a Skilled Pretrained French Sequence-to-Sequence Model
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
归纳迁移学习已经席卷了整个NLP领域，BERT和BART等模型在无数NLU任务中创造了新的技术水平。然而，大多数可用的模型和研究都是针对英语进行的。在这项工作中，我们介绍了BARThez，这是第一个针对法语的大规模预训练seq 2seq模型。基于BART，BARThez特别适合生成任务。我们评估了来自FLUE基准的五个判别任务和来自我们为这项研究创建的新型摘要数据集OrangeSum的两个生成任务。我们表明BARThez与最先进的基于BERT的法语语言模型（如CamemBERT和FlauBERT）相比具有很强的竞争力。我们还继续在BARThez的语料库上对多语言BART进行预训练，并展示了我们的结果模型mBARThez，以显着提高BARThez的生成性能。代码、数据和模型是公开的。
2021-02-09 cs.CL
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University（国立台湾大学）；National Cheng Kung University（国立成功大学）
虽然关系抽取是知识获取和表示中的一项重要任务，并且新生成的关系在现实世界中很常见，但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中，我们制定了zero-shot关系抽取问题，将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型，zero-shot BERT（ZH-BERT），直接预测看不见的关系，而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例，Escher-BERT学习两个函数，通过联合最小化它们之间的距离和对所看到的关系进行分类，将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入，使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明，EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts
NIT Trichy（蒂鲁吉拉伯利国立理工学院）
目的：本研究旨在验证一种基于句子BERT模型和改进算法的混合方法来计算任意两个生物医学概念之间的相关性的有效性。材料和方法：我们通过使用ELMo、BERT和句子BERT模型编码概念偏好术语来生成概念向量。我们使用BioELMo和Clinical ELMo。我们使用了本体知识免费（OKF）模型，如PubMedBERT，BioBERT，BioClinicalBERT，以及本体知识注入（OKI）模型，如SapBERT，CoderBERT，KbBERT和UmlsBERT。我们使用Siamese网络在SNLI和STSb数据集上训练所有的BERT模型，以允许模型在短语或句子级别上学习更多的语义信息，以便它们能够更好地表示多词概念。最后，为了将本体关系知识注入到概念向量中，我们使用了改进算法和来自各种UMLS关系的概念。我们在四个公开的数据集上评估了我们的混合方法，其中还包括最近发布的EHR-RelB数据集。EHR-RelB是最大的公开可用的相关性数据集，其中89%的术语是多词，这使得它更具挑战性。结果：句子BERT模型大多优于相应的BERT模型。使用基于SapBERT的Sentence BERT模型生成的概念向量和使用UML相关概念进行的改进在所有四个数据集上都取得了最佳结果。结论：在大多数情况下，句子BERT模型比BERT模型在计算相关性分数方面更有效。将本体知识注入概念向量进一步提高了它们…
2021-01-25 cs.CL
BERTologyNavigator: Advanced Question Answering with BERT-based Semantics
Universität Hamburg（汉堡大学）；Vellore Institute of Technology（韦洛尔理工学院）
提出两阶段系统 BERTologyNavigator，结合关系抽取、BERT CLS 嵌入与启发式规则导航 DBLP 知识图谱，并在 Scholarly QALD 问答任务中取得相应 F1 表现。
2024-01-17 cs.AI cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds（利兹大学）
针对Transformer深层句法建模不足的问题，提出SGB方法，利用GAT与BERT将句法依存特征作为显式知识融入机器翻译，实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出REPORT框架，利用分层Transformer同时聚合关系路径和上下文，仅依赖关系语义实现完全归纳式关系预测，并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
AR-BERT: Aspect-relation enhanced Aspect-level Sentiment Classification with Multi-modal Explanations
IIT Kharagpur（印度理工学院卡拉格普尔分校）
方面级情感分类（ALSC）是一个困难的问题，最先进的模型在基准数据集上显示不到80%的宏观F1分数。现有的模型不包括知识图谱（KG），如DBpedia方面的关系的信息。两个主要的挑战来自于KG实体方面的不准确的消歧，以及无法在与ALSC模型的联合训练中从大型KG学习方面表示。我们提出了AR-BERT，一种新的两级全局-局部实体嵌入方案，可以有效地联合训练基于KG的方面嵌入和ALSC模型。一种新的不正确的消歧检测技术解决的问题，方面消歧的不准确性。我们还介绍了在多模态解释生成中确定模态重要性的问题，并提出了一个两步的解决方案。与最近基于BERT的基准数据集基线相比，所提出的方法显示出2.5 - 4.1个百分点的一致改进。该代码可在https://github.com/mainuliitkgp/AR-BERT.git上获得。
2022-02-14 cs.CL cs.IR
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
Improving Scholarly Knowledge Representation: Evaluating BERT-based Models for Scientific Relation Classification
University of Illinois at Urbana Champaign（伊利诺伊大学香槟分校）；TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）；L3S Research Center at Leibniz University of Hannover（汉诺威莱布尼茨大学L3S研究中心）
随着研究出版物的快速增长，有大量的学术知识需要在数字图书馆中进行组织。为了应对这一挑战，技术依赖于知识图结构正在提倡。在这种基于图形的管道中，推断相关科学概念之间的关系类型是至关重要的一步。近年来，基于在大规模语料库上预训练的语言模型的自动关系分类技术得到了广泛的应用。尽管已经做出了显著的贡献，但其中许多方法是在不同的假设情况下进行评估的，这限制了它们的可比性。为此，我们提出了一个彻底的实证评估8伯特为基础的分类模型，重点是两个关键因素：1）BERT模型的变体，2）分类策略。在三个语料库上的实验表明，特定领域的预训练语料有助于基于Bert的分类模型识别科学关系的类型。虽然每次预测单个关系的策略比同时识别多个关系类型的策略在一般情况下实现了更高的分类精度，但后一种策略在具有大或小尺寸注释的语料库中表现出更一致的性能。我们的研究旨在为数字图书馆的利益相关者提供建议，以选择合适的技术来构建基于知识图的系统，以增强学术信息组织。
2020-07-13 cs.CL cs.DL
RpBERT: A Text-image Relation Propagation-based BERT Model for Multimodal NER
Zhejiang University City College（浙江大学城市学院）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
最近，多模态命名实体识别（MNER）利用图像来提高推特中NER的准确性。然而，大多数多模态方法使用注意力机制来提取视觉线索，而不管文本和图像是否相关。实际上，不相关的文本-图像对在推文中占很大比例。与文本无关的视觉线索会对多模态模型学习产生不确定甚至负面的影响。本文将文本-图像关系传播方法引入到多模态BERT模型中。我们集成了软或硬门来选择视觉线索，并提出了一个多任务算法训练的MNER数据集。在实验中，我们深入分析了使用文本-图像关系传播前后视觉注意的变化。我们的模型在MNER数据集上实现了最先进的性能。
2021-02-05 cs.CL cs.LG
Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction?
Université Paris-Saclay, INRAE, MaIAGE（巴黎-萨克雷大学，法国国家农业食品与环境研究院，应用数学与计算机科学、基因组学与环境研究单位）；Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique（巴黎-萨克雷大学，法国国家科学研究中心，数字科学跨学科实验室）
近年来，人们对关系抽取进行了大量的研究。BioCreative VII的DrugProt跟踪为关系抽取系统的开发和评估提供了一个手动注释的语料库，其中研究了化学品和基因之间的相互作用。我们描述了我们用于提交的集成系统，该系统通过多数投票结合了微调的bioBERT，sciBERT和const-bioBERT模型的预测。我们特别测试了语法信息对BERT关系抽取的贡献。我们观察到，向BERT添加基于成分的句法信息提高了准确率，但降低了召回率，因为在训练集中很少看到的关系不太可能被注入句法信息的BERT模型预测。我们的代码可以在线获取[https：//github.com/Maple177/drugprot-relation-extraction]。
2021-11-25 cs.AI cs.CL cs.LG
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center（L3S研究中心）
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中，我们专门探讨BERT来理解和测量它捕获的关系知识。我们利用知识库完成任务来探测预训练的每一层以及微调的BERT（排名，问答，NER）。我们的研究结果表明，知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例（17-60%）。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时，关系知识被遗忘，但遗忘的程度受到微调目标的影响，而不是数据集的大小。我们发现，排名模型在最后一层忘记的最少，保留的知识更多。我们在github上发布了我们的代码来重复实验。
2021-09-08 cs.CL cs.LG
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
远程监督关系抽取（RE）是一种有效的方法，规模RE大型语料库，但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音，但主要是设法识别最频繁的关系，忽略了长尾中的关系。我们提出了REDSandT（关系抽取与远程监督和Transformers），一种新的远程监督的transformer为基础的RE方法，管理，以捕捉更广泛的关系，通过高度翔实的实例和标签嵌入RE，利用BERT的预训练模型，标签和实体之间的关系，分别。我们通过对结构化输入（包括连接实体对和实体类型的子树）进行BERT微调，引导REDSandT只关注关系令牌。使用提取的信息向量，我们形状的标签嵌入，我们也使用的注意力机制的实例，以进一步减少噪音。最后，我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明，REDSandT以更高的置信度捕获了更广泛的关系集，实现了最先进的AUC（0.424）。
2021-02-01 cs.CL cs.IR cs.LG
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；PricewaterhouseCoopers GmbH（普华永道有限责任公司）
我们提出了KPI-BERT，一个系统，它采用新的方法命名实体识别（NER）和关系抽取（RE）提取和链接的关键绩效指标（KPI），如“收入”或“利息支出”，公司从现实世界的德国金融文件。具体来说，我们引入了一种端到端的可训练架构，该架构基于来自Transformers的双向编码器表示（BERT），将递归神经网络（RNN）与条件标签掩蔽相结合，以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制，并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能，超过了几个强大的基线，包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University（斯坦福大学）
最近的研究发现，多语种BERT（mBERT），一个基于transformer的多语种掩蔽语言模型，能够zero-shot跨语言迁移，这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠，我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现，子空间的mBERT表示恢复语法树的距离，在英语以外的语言，这些子空间大约是跨语言共享。受这些结果的启发，我们提出了一种无监督的分析方法，提供证据mBERT学习表示的句法依赖标签，在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明，即使没有明确的监督，多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
CU-UD: text-mining drug and chemical-protein interactions with ensembles of BERT-based models
University of Delaware（特拉华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
确定化学物质和蛋白质之间的关系是一项重要的文本挖掘任务。BioCreative VII轨道1 DrugProt任务旨在促进能够自动检测PubMed摘要中化合物/药物与基因/蛋白质之间关系的系统的开发和评估。在本文中，我们描述了我们的提交，这是一个集成系统，包括多个基于BERT的语言模型。我们使用多数表决和多层感知器将各个模型的输出结合起来。我们的系统获得了0.7708的精确度和0.7770的召回率，为0.7739的F1分数，证明了使用基于BERT的语言模型的集成自动检测化学品和蛋白质之间的关系的有效性。我们的代码可在https://github.com/bionlplab/drugprot_bcvii上获得。
2021-11-11 cs.AI cs.CL
A Graph Enhanced BERT Model for Event Prediction
Harbin Institute of Technology（哈尔滨工业大学）
预测现有事件上下文的后续事件是一项重要但具有挑战性的任务，因为它需要理解事件之间的潜在关系。以前的方法提出从事件图中检索关系特征，以增强事件相关性的建模。然而，事件图的稀疏性可能会限制相关图信息的获取，从而影响模型的性能。为了解决这个问题，我们考虑使用BERT模型自动构建事件图。为此，我们在BERT中加入了一个额外的结构化变量，以学习预测训练过程中的事件连接。因此，在测试过程中，未知事件的连接关系可以通过结构化变量来预测。两个事件预测任务的结果：脚本事件预测和故事结局预测，表明我们的方法可以优于最先进的基线方法。
2022-05-22 cs.AI cs.CL
Evaluating BERT-based Scientific Relation Classifiers for Scholarly Knowledge Graph Construction on Digital Library Collections
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心（TIB））；L3S Research Center at Leibniz University of Hannover（汉诺威莱布尼茨大学L3S研究中心）
针对现有基于BERT的科学关系分类器评估场景不统一、未考虑OCR噪声的问题，构建含噪平行语料，从BERT变体、分类策略、噪声影响三方面评估8种模型，得出领域特定BERT最优、单关系预测策略更佳、噪声使F值降10%-20%等结论，为数字图书馆知识图谱构建提供选型参考。
2023-05-03 cs.CL cs.DL
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；Department of Chemical and Biological Engineering, Northwestern University（西北大学化学与生物工程系）
关系抽取（RE）是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督（DS），它允许通过在文本语料库和知识库（KB）之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一，它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线，在本文中，我们提出了一种相关的方法来RESIDE也使用额外的边信息，但简化了句子编码与BERT嵌入。通过实验，我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小，但P@N结果表明，使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
On Robustness and Bias Analysis of BERT-based Relation Extraction
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）
微调预训练模型在标准自然语言处理基准测试中取得了令人印象深刻的性能。然而，由此产生的模型的普遍性仍然知之甚少。例如，我们不知道优秀的性能如何导致泛化模型的完美。在这项研究中，我们分析了微调BERT模型从不同的角度使用关系抽取。我们还根据我们提出的改进概括技术的差异。从实证实验中，我们发现BERT在随机化、对抗性和反事实测试以及偏见（即，选择和语义）。这些发现突出了未来改进的机会。我们的开源测试平台DiagnoseRE在\url{https://github.com/zjunlp/DiagnoseRE}中可用。
2021-12-25 cs.AI cs.CL cs.DB
Predicting Directionality in Causal Relations in Text
The George Washington University（乔治·华盛顿大学）
在这项工作中，我们测试了两个双向转换为基础的语言模型，BERT和斯潘BERT，预测文本内容中的因果对的方向性的性能。我们的初步研究结果表明，预测句子间的方向和隐含的因果关系是更具挑战性的。并且，Span BERT在跨度长度较长的因果样本上的性能优于BERT。我们还介绍了CREST，这是一个框架，用于统一收集分散的因果关系数据集。
2021-03-25 cs.AI cs.CL
Inductive Knowledge Graph Reasoning for Multi-batch Emerging Entities
Nanjing University（南京大学）；Tencent Inc（腾讯公司）
多年来，知识图谱（KGs）的推理主要集中在静态KGs上，其目的是从已知事实中推断新的结论。现实生活中知识的不断增长提出了在知识库扩展中实现归纳推理能力的必要性。现有的归纳工作假设新实体都是一批出现一次，这过于简化了新实体不断出现的真实场景。这项研究深入到一个更现实和具有挑战性的设置，新的实体出现在多个批次。我们提出了一个基于步行的归纳推理模型，以解决新的设置。具体而言，设计了一种具有自适应关系聚合的图卷积网络，利用实体的相邻关系对实体进行编码和更新。为了捕捉不同的邻居的重要性，我们采用了查询感知的反馈注意力机制在聚合。此外，为了缓解新实体的稀疏链接问题，我们提出了一个链接增强策略，以增加可信的事实到KG。我们构建了三个新的数据集来模拟这种多批次出现的情况。实验结果表明，我们提出的模型优于国家的最先进的嵌入式为基础的，基于行走和基于规则的模型归纳KG推理。
2022-09-14 cs.AI cs.CL
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore（新加坡国立大学）
视觉关系检测旨在推理图像中显著对象之间的关系，近年来受到越来越多的关注。受人类推理机制的启发，人们认为外部视觉常识知识有利于图像中对象的视觉关系推理，但现有方法很少考虑这一点。在本文中，我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers（RVL-BERT），它执行关系推理与视觉和语言常识知识，通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外，我们的模型将目标检测从视觉关系识别中分离出来，直接采用对象名称，使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明，与转移的知识和新的模块，RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
知识图谱嵌入的目的是用低维向量对实体和关系进行建模。大多数以前的方法要求在训练期间应该看到所有实体，这对于每天都有新实体出现的真实世界知识图谱是不切实际的。最近在这个问题上的努力建议结合传统的实体和关系嵌入来训练邻域聚合器，这可以帮助通过它们现有的邻居来归纳地嵌入新的实体。然而，他们的邻居聚集器忽略了一个实体的邻居的无序和不平等的性质。为此，我们总结了所需的属性，可能导致有效的邻域聚合器。我们还介绍了一种新的聚合器，即逻辑注意力网络（LAN），它通过聚合邻居与规则和基于网络的注意力权重来解决这些属性。通过与传统聚合器在两个知识图谱完成任务上的比较，我们实验验证了LAN在所需属性方面的优越性。
2020-10-04 cs.AI cs.CL
