TorusE: Knowledge Graph Embedding on a Lie Group
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
知识图谱对于许多人工智能（AI）任务是有用的。然而，知识图谱常常缺少事实。为了填充图，已经开发了知识图谱嵌入模型。知识图谱嵌入模型将知识图谱中的实体和关系映射到向量空间，并通过对候选三元组进行评分来预测未知三元组。transE是第一个基于推理的方法，它是众所周知的，因为它的简单和高效的知识图谱完成。它采用了实体嵌入之间的差异代表它们之间关系的原则。这个原理看起来很简单，但它可以有效地捕捉知识图谱的规则。然而，TransE在正则化方面存在问题。transE强制实体嵌入在嵌入向量空间中的球体上。这种正则化扭曲了嵌入，使它们难以满足上述原则。正则化也不利地影响链接预测的准确性。另一方面，正则化是很重要的，因为实体嵌入发散负采样没有它。本文提出了一种新的嵌入模型，TorusE，来解决正则化问题。transE原理可以定义在任何李群上。一个环面，这是一个紧李群，可以选择嵌入空间，以避免正则化。据我们所知，TorusE是第一个将对象嵌入到实向量空间或复向量空间之外的模型，本文是第一个正式讨论TransE正则化问题的模型。我们的方法优于其他国家的最先进的方法，如transE，DistMult和ComplEx的标准链接预测任务。我们表明，TorusE是可扩展的大型知识图谱，是比原来的transE更快。
2017-11-15 cs.AI
Modality-Aware Negative Sampling for Multi-modal Knowledge Graph Embedding
Zhejiang University（浙江大学）
针对多模态知识图谱嵌入中现有负采样方法不适用且效率低的问题，提出轻量高效的MANS，通过对齐实体结构与视觉嵌入提升性能，并在两个基准上验证其优于现有方法。
2023-04-23 cs.AI cs.CL
Embedding Knowledge Graphs Based on Transitivity and Antisymmetry of Rules
知识图谱的表示学习将实体和关系类型编码到连续的低维向量空间中，学习实体和关系类型的嵌入。现有的方法大多只关注知识三元组，而忽略了包含丰富背景知识的逻辑规则。虽然已经有一些工作旨在利用知识三元组和逻辑规则，他们忽略了逻辑规则的传递性和反对称性。本文提出了一种新的方法来学习知识表示与实体和有序关系的知识和逻辑规则。其核心思想是将知识三元组与逻辑规则相结合，利用逻辑规则的传递性和反对称性，对逻辑规则中的关系类型进行近似排序。关系类型的嵌入的所有条目都被约束为非负。我们将一般的约束优化问题转化为无约束优化问题来求解非负矩阵分解。实验结果表明，我们的模型显着优于其他基线上的知识图谱完成任务。这表明我们的模型能够捕捉到传递性和反对称性信息，这在知识图谱的嵌入学习中具有重要意义。
2017-04-19 cs.AI
Negative Sampling with Adaptive Denoising Mixup for Knowledge Graph Embedding
Zhejiang University（浙江大学）
针对知识图谱嵌入中负采样易含噪声的问题，提出DeMix方法，通过自监督去噪混合生成高质量三元组，提升收敛速度与链接预测性能。
2023-10-15 cs.AI
TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors
Qihoo360（奇虎360）；Xi’an Jiaotong University（西安交通大学）
基于翻译的知识图谱嵌入是transE提出以来知识表示学习的重要分支之一。虽然近年来许多基于预处理的方法取得了一定的进展，但其性能仍然不尽如人意。提出了一种新的知识图谱嵌入方法TripleRE，该方法具有两个版本。TripleRE的第一个版本创造性地将关系向量分为三个部分。第二个版本利用了残差的概念，并实现了更好的性能。此外，尝试使用NodePiece来编码实体在减少参数大小方面取得了令人满意的结果，并解决了可扩展性问题。实验结果表明，该方法在大规模知识图谱数据集上取得了较好的性能，在其他数据集上也取得了较好的性能。
2022-09-17 cs.AI
Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding
Kakao Enterprise Corp.（Kakao企业公司）
知识图谱（KG）嵌入被广泛用于使用KG的许多下游应用中。通常，由于KG仅包含地面真值三元组，因此需要构造任意负样本以用于KG的表示学习。近年来，由于负三元组的质量对KG嵌入有很大的影响，人们研究了各种高质量负样本的采样方法。本文提出了一种新的实体感知负采样（Entity Aware Negative Sampling，EANS）方法，该方法通过对对齐后的实体索引空间采用高斯分布，能够对与正实体相似的负实体进行采样。此外，我们为假阴性预测引入了辅助损失，可以减轻采样的假阴性三元组的影响。无论阴性样本大小如何，该方法都可以生成高质量的阴性样本，并有效减轻假阴性样本的影响。标准基准测试的实验结果表明，我们的EANS优于现有的国家的最先进的负采样方法在几个知识图谱嵌入模型。此外，所提出的方法实现了竞争力的性能，即使当负样本的数量被限制为只有一个。
2022-10-12 cs.AI cs.LG
Stay Positive: Knowledge Graph Embedding Without Negative Sampling
BorealisAI（博瑞利斯人工智能研究院）
知识图谱（KG）通常是不完整的，我们经常希望根据现有的事实推断新的事实。这可以被认为是一个二元分类问题;我们的目标是预测新的事实是真还是假。不幸的是，我们通常只有正面的例子（已知的事实），但是我们也需要负面的例子来训练分类器。为了解决这个问题，通常使用负采样策略生成负示例。然而，这可能产生可能降低性能的假阴性，在计算上是昂贵的，并且不产生校准的分类概率。在本文中，我们提出了一个训练过程，通过增加一个新的正则化项的损失函数，避免了需要负采样。我们的两个关系嵌入模型（DistMult和SimpleE）的结果显示了我们的建议在性能和速度方面的优点。
2022-01-07 cs.AI cs.LG
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明，语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明，联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Domain Representation for Knowledge Graph Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而，大多数现有的模型忽略了表示层次知识，如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示，使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明，域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
负采样是从知识图谱中未观测到的负三元组中抽取负三元组的过程，是知识图谱嵌入的关键步骤。最近，生成对抗网络（GAN），已被引入负采样。这些方法通过对具有大梯度的负三元组进行采样，避免了梯度消失的问题，从而获得了更好的性能。但是，它们使原始模型更加复杂，训练更加困难。在本文中，由于观察到具有大梯度的负三元组很重要但很少见，我们建议直接用缓存跟踪它们。通过这种方式，我们的方法可以作为以前基于GAN的方法的“蒸馏”版本，它不会浪费额外参数的训练时间来拟合负三元组的完整分布。然而，如何采样和更新缓存是两个关键问题。我们建议通过自动化机器学习技术来解决这些问题。自动化版本还将基于GAN的方法作为特例。理论解释NSCaching也提供了，证明优于固定的抽样方案。此外，我们进一步扩展了NSCaching与skip-gram模型的图嵌入。最后，通过大量的实验表明，该方法在KG嵌入模型和skip-gram模型上都有明显的改进，并且优于现有的负采样方法。
2021-07-14 cs.AI cs.DB cs.LG
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用，如完成知识图谱预测丢失的信息，推荐系统，问答，查询扩展等嵌入在知识图谱中的信息，虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision
Drexel University（德雷塞尔大学）
大多数知识图谱嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三元组的表示。然而，这些聚合是有损的，即它们不捕获原始三元组的语义，例如谓词中包含的信息。为了克服这些缺点，目前的方法从头开始学习三重嵌入，而不利用来自预训练模型的实体和谓词嵌入。在本文中，我们设计了一种新的微调方法来学习三重嵌入创建弱监督信号从预训练的知识图谱嵌入。我们开发了一种从知识图谱中自动采样三元组并从预训练的嵌入模型中估计其成对相似性的方法。然后，这些成对的相似性得分被馈送到一个类似于Siamese的神经架构中，以微调三重表示。我们评估所提出的方法在两个广泛研究的知识图谱，并表现出一致的改进，比其他国家的最先进的三重嵌入方法的三重分类和三重聚类任务。
2022-08-22 cs.AI cs.CL
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding
The Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
知识图谱（KG）嵌入是数据采掘研究中的一个基本问题，具有广泛的实际应用。它的目的是将图中的实体和关系编码到低维向量空间中，为后续算法提供依据。负采样是KG嵌入中的一个重要步骤，它从训练数据中未观测到的负三元组中抽取负三元组。最近，生成对抗网络（GAN），已被引入负采样。这些方法通过对大分数负三元组进行采样，避免了梯度消失的问题，从而获得了更好的性能。然而，使用GAN使得原始模型更加复杂和难以训练，其中必须使用强化学习。在本文中，动机的观察，负三元组与大分数是重要的，但罕见的，我们建议直接跟踪他们的缓存。然而，如何采样和更新缓存是两个重要的问题。我们精心设计的解决方案不仅高效，而且在探索和开发之间实现了良好的平衡。通过这种方式，我们的方法可以作为以前基于GA的方法的“蒸馏”版本，它不会浪费额外参数的训练时间来拟合负三元组的完整分布。大量实验表明，该方法在各种KG嵌入模型下都能取得显著的效果，优于现有的基于GAN的负采样方法。
2019-01-18 cs.AI cs.CL cs.LG
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法，例如，transE和transH，通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而，最佳损失函数是在实验期间确定的，实验的参数是在一组封闭的候选者中检查的。此外，在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合，忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中，我们提出了一个局部自适应的翻译方法知识图谱嵌入，称为transA，找到最佳的损失函数，通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明，该方法的优越性，相比，国家的最先进的。
2015-12-04 cs.AI cs.CL
Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University（南京大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加利福尼亚大学）；Alibaba Group（阿里巴巴集团）
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱（KG）的关联，使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后，我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多生物医学和医疗保健数据都以离散的符号形式编码，如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识，但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步，基于文本的表示学习有了显着的改进，但到目前为止，还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果，我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型，提供了与现有方法进行比较的基准和对最佳实践的深入讨论，并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入，代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；SAP SE Product Engineering Financial Services（SAP SE 产品工程金融服务部）
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱，即所有节点和边。这导致对大型图（如DBpedia或Wikidata）的计算要求非常高。然而，对于大多数下游应用场景，只有一小部分概念是真正感兴趣的。在本文中，我们提出了RDF 2 Vec Light，一种基于RDF 2 Vec的轻量级嵌入方法，它只为实体的一个子集生成矢量。为此，RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下，这样的嵌入是不可能的，由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR（挪威地震阵列研究所）；City, University of London（伦敦大学城市学院）；Norwegian Institute for Water Research（挪威水研究所）；University of Oslo（奥斯陆大学）；University of Oxford（牛津大学）；Norwegian University of Life Sciences（挪威生命科学大学）；Norwegian Geotechnical Institute（挪威岩土工程研究所）
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务，即化学效应预测。我们已经评估了九个知识图谱嵌入模型，这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明，使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外，我们还实现了一个微调架构，使知识图谱嵌入适应效果预测任务，并带来更好的性能。最后，我们评估了知识图谱嵌入模型的某些特征，以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Kronecker Decomposition for Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）；Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）
知识图谱嵌入研究主要集中在学习针对链接预测问题定制的实体和关系的连续表示。最近的结果表明，目前的方法对基准数据集的预测能力不断提高。然而，这种有效性往往伴随着过度参数化和计算复杂性增加的代价。前者引入了广泛的超参数优化来减轻恶意过拟合。后者放大了硬件彩票中奖的重要性。在这里，我们调查第一个问题的补救措施。我们提出了一种基于Kronecker分解的技术来减少知识图谱嵌入模型中的参数数量，同时保留其表达能力。通过Kronecker分解，在训练过程中将大的嵌入矩阵分解为较小的嵌入矩阵。因此，知识图谱的嵌入不是简单地检索，而是动态地重构。分解确保三个嵌入向量之间的元素级交互扩展为每个嵌入向量内的交互。这隐含地减少了嵌入向量的冗余，并鼓励特征重用。为了量化应用Kronecker分解对嵌入矩阵的影响，我们在基准数据集上进行了一系列实验。我们的实验表明，在嵌入矩阵上应用Kronecker分解可以提高所有基准数据集的参数效率。此外，经验证据表明，重建的嵌入需要对输入知识图谱中的噪声的鲁棒性。为了促进可重复的研究，我们提供了我们方法的开源实现，包括训练和评估脚本以及我们的知识图谱嵌入框架中的预训练模型（https：//github.com/dice-group/dice-embeddings）。
2022-05-13 cs.AI cs.LG
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的，因此实现跨语言知识对齐将有助于人们构建连贯的知识库，并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是，通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此，我们提出了MTransE，一个基于推理的多语言知识图谱嵌入模型，提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系，MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换，同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡，即轴校准，平移向量和线性变换，并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练，其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果，一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中，我们提出了一个组理论的角度来看，知识图谱嵌入，连接以前的方法与不同的群体行动。此外，通过利用舒尔引理从群表示理论，我们表明，国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford（牛津大学）
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成（TKGC）是该任务到时间知识图谱的扩展，其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上，这些模型是为（静态）知识图谱完成而开发的，并将这些模型扩展到包含时间，其中的想法是学习实体，关系和时间戳的潜在表示，然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上，提出了一种面向TKGC的嵌入模型BoxTE。我们发现，BoxTE是充分的表达，并具有很强的归纳能力的时间设置。然后，我们实证评估我们的模型，并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh（爱丁堡大学）；University of Victoria（维多利亚大学）
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能，实现HITS@10三倍提升，并通过规则方法提供可解释预测，验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Expeditious Generation of Knowledge Graph Embeddings
University of Leipzig（莱比锡大学）；University of Pennsylvania（宾夕法尼亚大学）；Paderborn University（帕德博恩大学）；University of Bonn（波恩大学）
知识图谱嵌入方法旨在将知识库中的实体和关系表示为连续向量空间中的点或向量。使用嵌入的几种方法已经在诸如链接预测、实体推荐、问答和三元组分类等任务上显示出有希望的结果。然而，只有少数方法可以计算非常大的知识库的低维嵌入，而不需要最先进的计算资源。在本文中，我们提出了KG 2Vec，一个简单而快速的知识图谱嵌入方法的基础上的跳跃图模型。我们不使用预定义的评分函数，而是依靠长短期记忆来学习它。我们表明，我们的嵌入实现的结果与最可扩展的方法知识图谱完成，以及一个新的度量。然而，KG2Vec可以在更短的时间内嵌入大型图形，在普通硬件上不到7小时就可以处理超过2.5亿个三元组。
2018-11-09 cs.AI cs.CL
Embedding Method for Knowledge Graph with Densely Defined Ontology
Fujitsu Limited（富士通公司）
针对现有知识图谱嵌入模型未充分利用本体中属性关系的局限性，提出一种将属性视为实体子集以实现统一表示的KGE模型TransU，并在标准与实用数据集上验证了其有效性。
2025-04-02 cs.AI cs.SI
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Embedding Ontologies via Incorporating Extensional and Intensional Knowledge
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；China Mobile Research Institute（中国移动研究院）
本文提出EIKE方法，通过扩展空间和内涵空间整合本体实例、概念及关系，结合几何方法和预训练语言模型捕捉结构与文本信息，在三组数据集上优于现有方法。
2026-03-25 cs.AI cs.CL
Knowledge Graph Embeddings and Explainable AI
Bocconi University（博科尼大学）；IBM Research AI（IBM研究AI）；Accenture Labs（埃森哲实验室）；University of Milan-Bicocca（米兰比可卡大学）；University College London（伦敦大学学院）
知识图谱嵌入是一种广泛采用的知识表示方法，其中实体和关系嵌入在向量空间中。在本章中，我们通过解释知识图谱嵌入的概念、如何生成它们以及如何评估它们来向读者介绍它们。我们总结了国家的最先进的在这一领域中描述的方法，已被引入到表示知识的向量空间。在知识表示方面，我们考虑了可解释性问题，并讨论了解释通过知识图谱嵌入获得的预测的模型和方法。
2020-04-30 cs.AI cs.CL
LogicENN: A Neural Based Knowledge Graphs Embedding Model with Logical Rules
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
知识图谱嵌入模型在人工智能研究中得到了广泛的关注。最近的工作表明，包含背景知识，如逻辑规则，可以提高嵌入在下游机器学习任务的性能。然而，到目前为止，大多数现有模型不允许包含规则。我们解决了包括规则的挑战，并提出了一个新的基于神经的嵌入模型（LogicENN）。我们证明了LogicENN可以学习知识图谱中编码规则的每一个基础事实。据我们所知，到目前为止，这还没有被证明为基于神经的嵌入模型家族。此外，我们推导出公式包含各种规则，包括（反）对称，逆，非自反和传递，蕴涵，组合，等价和否定。我们的提法可以避免接地的含义和等价关系。我们的实验表明，逻辑ENN优于国家的最先进的模型在链接预测。
2019-08-20 cs.AI cs.CL
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；Hokkaido University（北海道大学）
本文从word2vec中的二次抽样方法出发，介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
LEMON: LanguagE ModeL for Negative Sampling of Knowledge Graph Embeddings
University of Bonn（波恩大学）；BMW Group（宝马集团）；Nature-Inspired Machine Intelligence-InfAI（自然启发机器智能-InfAI研究院）
知识图谱嵌入模型已经成为机器学习的一个重要领域，这些模型在知识图谱中提供了实体和关系的潜在表示，然后可以用于下游的机器学习任务，例如链接预测。这种模型的学习过程可以通过对比正三元组和负三元组来执行。虽然KG的所有三元组都被认为是阳性，但阴性三元组通常不容易获得。因此，负三元组抽样方法的选择对知识图谱嵌入模型的性能和有效性起着至关重要的作用。目前的大多数方法从底层知识图谱中随机分布的实体中提取负样本，其中通常还包括无意义的三元组。其他已知的方法使用对抗技术或生成神经网络，这因此降低了过程的效率。在本文中，我们提出了一种考虑有关实体的可用补充知识来生成信息丰富的负样本的方法。特别地，预训练的语言模型用于通过利用实体之间的距离来形成邻域聚类，以经由符号实体的文本信息来获得符号实体的表示。我们的综合评估表明，所提出的方法的有效性基准知识图谱与文本信息的链接预测任务。
2022-10-15 cs.AI cs.LG
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University（德雷塞尔大学）；College of Computing and Informatics（计算与信息学院）
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性，自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此，我们综述了目前的研究景观字，句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类，并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中，我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL
Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Software Technology, Zhejiang University（浙江大学软件学院）
将世界知识建模为结构三元组的知识图谱不可避免地是不完整的。多模态知识图谱（MMKG）仍然存在这样的问题。因此，知识图谱补全（KGC）对于预测现有知识图谱中缺失的三元组具有重要意义。对于现有的KGC方法，基于嵌入的方法依赖于人工设计来利用多模态信息，而基于细调的方法在链接预测方面并不优于基于嵌入的方法。针对这些问题，提出了一种基于VisualBERT的知识图谱补全模型（VBKGC）。VBKGC可以捕获实体的深度融合的多模态信息，并将其集成到KGC模型中。此外，通过设计一种新的负抽样策略--孪生负抽样，实现了KGC模型与负抽样的协同设计。双胞胎负采样适用于多模式场景，并且可以对齐实体的不同嵌入。通过大量的实验，验证了VBKGC在链接预测任务上的优异性能，并对VBKGC作了进一步的探索。
2022-09-15 cs.AI cs.CL
Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康医疗大数据国家研究院）；Interactive Entertainment Group, Tencent Inc, China（腾讯互动娱乐集团）
针对不断增长的知识图谱，提出一种终身嵌入模型，通过掩码自编码器、嵌入迁移策略和正则化方法实现知识迁移与保留，有效避免灾难性遗忘，性能优于现有基线。
2023-04-10 cs.AI cs.CL
CausE: Towards Causal Knowledge Graph Embedding
Zhejiang University（浙江大学）
针对知识图谱嵌入易受琐碎模式和噪声链接误导的问题，提出因果增强框架CausE，通过因果干预估计混杂因子嵌入的因果效应并设计新训练目标，实现更优的知识图谱补全性能。
2023-07-24 cs.AI cs.CL
Embedding Uncertain Knowledge Graphs
University of California, Los Angeles（加州大学洛杉矶分校）
确定性知识图谱（KG）的嵌入模型已经得到了广泛的研究，其目的是捕获实体之间的潜在语义关系并将结构化知识并入机器学习。然而，有许多KG对不确定知识进行建模，这些知识通常对具有置信度分数的关系事实的固有不确定性进行建模，并且嵌入这种不确定知识代表了未解决的挑战。不确定性知识的捕获将通过提供更自然的知识表征而有益于许多知识驱动的应用，例如问答和语义搜索。本文提出了一种新的不确定KG嵌入模型UKGE，该模型的目的是在嵌入空间中同时保持关系事实的结构信息和不确定性信息。与以往的模型，特征与二进制分类技术的关系事实，UKGE学习嵌入根据不确定的关系事实的置信度得分。为了进一步提高UKGE的精度，我们还引入了概率软逻辑来推断训练过程中看不见的关系事实的置信度。我们提出并评估了两个变种的UKGE基于不同的学习目标。通过三个任务，即置信度预测，关系事实排序，和关系事实分类，在三个现实世界的不确定知识库进行实验。UKGE通过在这些任务上取得有希望的结果，在捕获不确定知识方面表现出有效性，并在这些任务上始终优于基线。
2019-02-26 cs.AI cs.CL
Hardware-agnostic Computation for Large-scale Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）
知识图谱嵌入的研究主要集中在学习连续表示的知识图谱的链接预测问题。最近开发的框架可以有效地应用于研究相关的应用程序。然而，这些框架并不能满足现实世界应用程序的许多要求。随着知识图谱的大小增长，将计算从商品计算机移动到这些框架中的计算机集群变得更具挑战性。寻找合适的超参数设置w.r.t.时间和计算预算留给实践者。此外，知识图谱嵌入框架中的持续学习方面经常被忽视，尽管持续学习在许多现实世界（深度）学习驱动的应用中起着重要作用。可以说，这些限制解释了缺乏公开可用的知识图谱嵌入模型的大型知识图谱。我们开发了一个基于DASK、Pytorch Lightning和Hugging Face的框架，以硬件无关的方式计算大规模知识图谱的嵌入，这能够解决与实际应用规模相关的现实挑战。我们提供了我们框架的开源版本以及具有超过11.4 B参数的预训练模型的中心。
2022-07-18 cs.AI cs.LG
Learning High-order Structural and Attribute information by Knowledge Graph Attention Networks for Enhancing Knowledge Graph Embedding
Tencent Inc（腾讯公司）
知识图谱表示学习的目标是将实体和关系编码到一个低维的嵌入空间中。最近的许多工作已经证明了知识图谱嵌入知识图谱完成任务的好处，如关系抽取。然而，我们注意到：1）现有方法只考虑实体间的直接关系，无法表达实体间的高阶结构关系; 2）这些方法只利用KG的关系三元组，而忽略了大量编码丰富语义信息的属性三元组。为了克服这些局限性，本文提出了一种新的知识图谱嵌入方法，命名为KANE，这是最近的发展的启发图卷积网络（GCN）。KANE在图卷积网络的框架下，能够高效、清晰、统一地捕捉知识群的高阶结构和属性信息。三个数据集的实证结果表明，KANE显着优于七个国家的最先进的方法。进一步的分析验证了我们的方法的有效性和注意力机制带来的好处。
2019-10-10 cs.AI cs.CL
Biomedical Knowledge Graph Refinement with Embedding and Logic Rules
Harbin Institute of Technology（哈尔滨工业大学）；Cornell University（康奈尔大学）
目前，对提供直接和精确的生物医学知识的高质量生物医学知识图谱（BioKG）的需求迅速增长。在COVID-19的背景下，这一问题更有必要得到重视。然而，大多数BioKG的建设不可避免地包括许多冲突和噪音来自文献中的不正确的知识描述和有缺陷的信息抽取技术。许多研究表明，在知识图谱上进行推理可以有效地消除这些冲突和噪声。本文提出了一种改进BioKG质量的方法BioGRER，该方法将知识图谱的嵌入和支持三元组和否定三元组的逻辑规则相结合。在所提出的模型中，生物KG细化问题被配制为三胞胎在生物KG的概率估计。采用变分EM算法交替优化知识图谱嵌入和逻辑规则推理。通过这种方式，我们的模型可以结合知识图谱嵌入和逻辑规则的努力，从而比单独使用它们更好的结果。我们在COVID-19知识图谱上评估了我们的模型，并获得了有竞争力的结果。
2020-12-02 cs.AI cs.CL
Survey on Embedding Models for Knowledge Graph and its Applications
该综述介绍了知识图谱的定义与图表示的缺陷，阐述了基于平移和基于神经网络的两类知识图谱嵌入模型的差异，还探讨了知识图谱在结合深度学习与社交媒体数据的领域中的应用。
2024-04-14 cs.AI cs.SI
Efficiently Embedding Dynamic Knowledge Graphs
Southeast University（东南大学）；Aalborg University（奥尔堡大学）；National University of Singapore（新加坡国立大学）
知识图谱（KG）嵌入将KG中的实体和关系编码到低维向量空间中，以支持各种应用，例如KG完成，问答和推荐系统。在现实世界中，知识图谱（KG）是动态的，并且随着时间的推移随着三元组的添加或删除而进化。然而，大多数现有的模型侧重于嵌入静态KG，而忽略了动态。为了适应KG中的变化，这些模型需要在整个KG上重新训练，这需要很高的时间成本。在本文中，为了解决上述问题，我们提出了一种新的上下文感知的动态知识图谱嵌入（DKGE）方法，支持嵌入学习的在线时尚。DKGE引入了两种不同的表示（即，在实体和关系以及它们的上下文的联合建模中，通过采用两个关注的图卷积网络、门策略和翻译操作，对每个实体和每个关系进行知识嵌入和上下文元素嵌入）。这有效地帮助限制KG更新在某些区域中的影响，而不是在整个图中，使得DKGE可以通过所提出的在线学习算法快速获取更新的KG嵌入。此外，DKGE还可以从头开始学习KG嵌入。在动态环境下的链接预测和问答任务上的实验证明了DKGE的有效性和效率。
2022-05-31 cs.AI cs.DB
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST（韩国科学技术院）
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题，本文提出 InGram，通过关系图与注意力机制聚合生成新实体和新关系嵌入，并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
学习知识库中存在的实体和关系的嵌入允许发现数据中隐藏的模式。在这项工作中，我们研究的几何空间的知识库完成的任务的贡献。我们专注于家庭的平移模型，其性能一直滞后，并提出了一个模型，称为HyperKG，它利用双曲空间，以更好地反映知识库的拓扑特性。我们调查的类型，我们的模型可以捕获，我们表明，它是一个突出的候选人有效地代表一个子集的数据库规则。我们经验表明，使用各种链接预测数据集，双曲空间允许显着缩小平移和双线性模型之间的性能差距。
2019-08-17 cs.AI cs.CL
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin（柏林工业大学）；Sapienza University of Rome（罗马第一大学）
知识图谱完成（又名~链接预测），即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的，因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果，使得这种解决方案不适用于关键领域，如医疗保健。为了进一步提高知识图谱完成的准确性，我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理（例如，OWL2）。通过这种方式，我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度，而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明，我们提高了香草知识图谱嵌入的MRR精度高达3倍，并优于混合解决方案，结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
Knowledge Base Embeddings: Semantics and Theoretical Properties
DI ENS（高等师范学院数字科学研究所）；ENS（高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；University of Bergen（卑尔根大学）；University of Oslo（奥斯陆大学）
本文从基于几何的语义视角分析描述逻辑知识库嵌入方法，提炼、推广并统一相关理论性质，进而考察具体方法与该理论框架的适配关系。
2024-08-09 cs.AI cs.LO
Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph
Joint NTU-Webank Research Institute on Fintech（南洋理工大学-微众银行金融科技联合研究院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学老年人积极生活联合卓越研究中心）
针对现有联邦知识图谱嵌入忽略客户端语义差异、嵌入质量受限的问题，提出基于客户端关系图的个性化方法PFedEG，通过邻近客户端亲和度融合生成个性化补充知识，在四个基准数据集上性能优于现有最优模型。
2024-06-17 cs.AI cs.IR
$μ\text{KG}$: A Library for Multi-source Knowledge Graph Embeddings and Applications
Nanjing University（南京大学）
本文介绍了$μ\text{KG}$，一个开源的Python库，用于知识图谱上的表示学习。$μ\text{KG}$支持多源知识图谱（以及单个知识图谱）、多个深度学习库（PyTorch和TensorFlow 2）、多个嵌入任务（链接预测、实体对齐、实体类型和多源链接预测）以及多个并行计算模式（多进程和多GPU计算）的联合表示学习。它目前实现了26个流行的知识图谱嵌入模型，并支持16个基准数据集。$μ\text{KG}$提供嵌入技术的高级实现，简化了不同任务的流水线。它还提供了高质量的文档，便于使用。$μ\text{KG}$比现有的知识图谱嵌入库更全面。这对于深入比较和分析各种嵌入模型和任务非常有用。我们表明，联合学习的嵌入可以极大地帮助知识驱动的下游任务，如多跳知识图谱问答。我们会密切留意有关范畴的最新发展，并将其纳入$μ\text{KG}$。
2022-07-28 cs.AI cs.CL cs.LG
A Method to Learn Embedding of a Probabilistic Medical Knowledge Graph: Algorithm Development
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Yidu Cloud Technology Inc（医渡云技术有限公司）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Southwest Hospital（西南医院）；Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；School of Science, Beijing Jiaotong University（北京交通大学理学院）
本文提出了一种基于医学知识的嵌入向量学习算法PrTransH。从真实世界的电子病历数据中嵌入医学知识图谱的独特挑战是知识三元组的不确定性模糊了“正确三元组”和“错误三元组”之间的边界，改变了许多现有算法的基本假设。为解决这一问题，对现有的TransH算法进行了改进，包括：1）将医学知识三元组的概率引入训练目标; 2）将基于边缘的排序损失替换为同时考虑有效三元组和受损三元组的统一损失计算; 3）在训练数据集上增加医学背景知识。在基于医学知识图谱的真实电子病历数据上的验证表明，PrTransH算法在链接预测任务上优于TransH算法.本文是第一篇在概率知识图谱上学习和验证知识嵌入的论文。
2020-11-08 cs.AI cs.CL
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria（卡拉布里亚大学）；University of Rome La Sapienza（罗马大学（罗马第一大学））
图嵌入技术允许从图结构中学习高质量的特征向量，并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习（知识）图中节点的特征向量。据我们所知，他们都没有解决嵌入的问题，图的边缘，即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上，并且通过应用一些操作（例如，平均）对端点节点的嵌入。本文的目标是介绍Triple2Vec，一种直接在（知识）图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地，线图的节点是原始图的边。我们表明，直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的，在知识图谱的上下文中。因此，我们引入三线图的概念。第二种是一种边加权机制，适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走，可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成，其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界（知识）图，并将其与相关的工作。
2019-05-28 cs.AI cs.LG
Explainable Knowledge Graph Embedding: Inference Reconciliation for Knowledge Inferences Supporting Robot Actions
Georgia Institute of Technology（佐治亚理工学院）
支持机器人的学习知识图谱表示包含丰富的驱动机器人行为的领域知识。然而，不存在一个推理和解框架，表示如何影响机器人的顺序决策的知识图谱表示。我们使用教学方法来解释一个学习，黑盒知识图谱表示，一个知识图谱嵌入的推论。我们的可解释模型，使用决策树分类器来局部近似黑盒模型的预测，并提供非专家可解释的自然语言解释。从我们的算法评估结果肯定了我们的模型设计的选择，我们的用户研究的结果与非专家支持所提出的推理和解框架的需要。关键的是，我们的模拟机器人评估结果表明，我们的解释使非专家纠正不稳定的机器人行为，由于荒谬的信念在黑盒子。
2022-05-04 cs.AI cs.RO
Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction
University of Tehran（德黑兰大学）
一些模型试图通过在更低的维度中嵌入知识图谱来解决链接预测问题，也称为知识图谱完成。然而，国家的最先进的结果是在相当大的增加嵌入的维数的成本，导致可扩展性问题的情况下，巨大的知识库。Transformers最近已经成功地用作知识图谱的强大编码器，但是可用的模型仍然具有可扩展性问题。为了解决这个问题，我们引入了一个基于transformer的模型来获得有表现力的低维嵌入。我们利用大量的自注意力头的关键应用查询相关的投影捕捉实体和关系之间的互信息。以WN 18 RR和FB 15 k-237作为标准链接预测基准测试的实验结果表明，该模型与当前最先进的模型具有相当的性能。值得注意的是，与最近五个最好的最先进的竞争对手相比，我们得到了令人鼓舞的结果，嵌入的维度平均减少了66.9%。
2022-11-26 cs.AI cs.LG
