Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding
Zhejiang University（浙江大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
由大量三元组组成的知识图（Knowledge Graph，KG）近年来得到广泛应用，许多知识图谱嵌入（Knowledge Graph，KGE）方法被提出来将KG中的实体和关系嵌入到连续向量空间中。这种嵌入方法简化了进行各种KG内任务（例如，链接预测）和KG外任务（例如，问答）。它们可以被视为代表KG的一般解决方案。然而，现有的KGE方法不适用于归纳设置，其中在源KG上训练的模型将在目标KG上进行测试，其中在模型训练期间看不到实体。现有的工作集中在归纳设置中的KG只能解决归纳关系预测任务。它们不能像KGE方法那样处理其他KG外的任务，因为它们不为实体生成嵌入。在本文中，实现归纳知识图谱嵌入，我们提出了一个模型MorsE，它不学习实体的嵌入，但学习可转移的元知识，可用于产生实体嵌入。这种元知识由实体独立的模块建模，并通过元学习来学习。实验结果表明，我们的模型显着优于相应的基线在KG和KG外的任务在归纳设置。
2022-05-06 cs.AI cs.CL cs.LG
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group（阿里巴巴集团）
多关系知识库问答（KBQA）系统在知识图谱（KG）上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入（KGE）技术来处理KG不完全性，但只考虑三重事实，而忽略了路径和多关系问题之间的重要语义相关性。在本文中，我们提出了一个路径和知识嵌入增强的多关系问答模型（PKEEQA），它利用KG中实体之间的多跳路径，通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性，有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明，PKEEQA提高了KBQA模型的多关系问答的性能，解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明，语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明，联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research（VinAI研究院）
关于实体及其关系的真实世界事实的知识图谱（KG）是用于各种自然语言处理任务的有用资源。然而，因为知识图谱通常是不完整的，所以执行知识图谱完成或链接预测是有用的，即，预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型，总结了在标准基准数据集上的最新实验结果，并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
Domain Representation for Knowledge Graph Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而，大多数现有的模型忽略了表示层次知识，如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示，使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明，域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs（甲骨文实验室）；AEHRC, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性，给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标，这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明，我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得：\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用，如完成知识图谱预测丢失的信息，推荐系统，问答，查询扩展等嵌入在知识图谱中的信息，虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
Demographic Aware Probabilistic Medical Knowledge Graph Embeddings of Electronic Medical Records
University of Bonn（波恩大学）
由电子病历构建的医学知识图谱包含了丰富的患者和医疗实体信息。KG嵌入模型在这些数据上的利用已被证明对于不同的医疗任务是有效的。然而，现有的模型没有适当地纳入患者的人口统计数据，他们中的大多数忽略了医疗KG的概率特征。在本文中，我们提出了DARLING（人口统计学感知pRobabiListic medIcal kNowledge embeddinG），一个人口统计学感知的医疗KG嵌入框架，通过将患者人口统计数据与相应的超平面相关联，明确地将人口统计数据纳入医疗实体空间。我们的框架利用医疗实体内的概率特征，通过人口统计学指导来学习它们的表示。我们评估DARLING通过链接预测的治疗和药物，从EMR数据构建的医疗KG，并说明其优越的性能相比，现有的KG嵌入模型。
2021-04-03 cs.AI cs.IR cs.LG
TransEdge: Translating Relation-contextualized Embeddings for Knowledge Graphs
Nanjing University（南京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
学习知识图谱（KG）嵌入近年来受到越来越多的关注。文献中的大多数嵌入模型将关系解释为线性或双线性映射函数来操作实体嵌入。然而，我们发现，这种关系级建模不能捕捉不同的关系结构的KG。在本文中，我们提出了一种新的边缘为中心的嵌入模型TransEdge，上下文关系表示在特定的头尾实体对。我们将这种关系的上下文化表示称为边嵌入，并将其解释为实体嵌入之间的转换。TransEdge在不同的预测任务上实现了令人满意的性能。在基准数据集上的实验表明，该算法在基于嵌入的实体对齐方面取得了较好的效果。我们还表明，TransEdge是与传统的实体对齐方法的互补。此外，它在链接预测方面表现出非常有竞争力的性能。
2020-04-22 cs.AI cs.CL cs.LG
MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology（大连理工大学）；Macquarie University（麦考瑞大学）
基于知识图谱嵌入的链接预测技术旨在预测新的三元组以自动构建知识图谱。然而，最近的KGE模型通过过度增加嵌入维数来实现性能改进，这可能会导致巨大的训练成本并需要更多的存储空间。在本文中，而不是训练高维模型，我们提出了MulDE，一种新的知识蒸馏框架，其中包括多个低维双曲KGE模型作为教师和两个学生组件，即初中和高中。在一种新的迭代蒸馏策略下，低维KGE模型Junior组件根据其初步预测结果主动询问教师，Senior组件基于关系特定缩放和对比注意两种机制自适应地整合教师知识对Junior组件进行训练.实验结果表明，MulDE能有效提高低维KGE模型的性能和训练速度。与几个广泛使用的数据集上的最先进的高维方法相比，蒸馏的32维模型具有竞争力。
2021-04-01 cs.AI cs.CL cs.LG
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision
Drexel University（德雷塞尔大学）
大多数知识图谱嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三元组的表示。然而，这些聚合是有损的，即它们不捕获原始三元组的语义，例如谓词中包含的信息。为了克服这些缺点，目前的方法从头开始学习三重嵌入，而不利用来自预训练模型的实体和谓词嵌入。在本文中，我们设计了一种新的微调方法来学习三重嵌入创建弱监督信号从预训练的知识图谱嵌入。我们开发了一种从知识图谱中自动采样三元组并从预训练的嵌入模型中估计其成对相似性的方法。然后，这些成对的相似性得分被馈送到一个类似于Siamese的神经架构中，以微调三重表示。我们评估所提出的方法在两个广泛研究的知识图谱，并表现出一致的改进，比其他国家的最先进的三重嵌入方法的三重分类和三重聚类任务。
2022-08-22 cs.AI cs.CL
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中，我们提出了一个组理论的角度来看，知识图谱嵌入，连接以前的方法与不同的群体行动。此外，通过利用舒尔引理从群表示理论，我们表明，国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法，例如，transE和transH，通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而，最佳损失函数是在实验期间确定的，实验的参数是在一组封闭的候选者中检查的。此外，在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合，忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中，我们提出了一个局部自适应的翻译方法知识图谱嵌入，称为transA，找到最佳的损失函数，通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明，该方法的优越性，相比，国家的最先进的。
2015-12-04 cs.AI cs.CL
MOHONE: Modeling Higher Order Network Effects in KnowledgeGraphs via Network Infused Embeddings
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
许多知识图谱嵌入方法对三元组进行操作，因此隐含地受到整个知识图谱的非常局部的视图的限制。我们提出了一个新的框架MOHONE有效地建模知识图中的高阶网络效应，从而使人们能够捕捉不同程度的网络连接（从本地到全球）。我们的框架是通用的，明确地模拟网络规模，并捕捉网络中相似性的两个不同方面：（a）共享的局部邻域和（b）基于角色的结构相似性。首先，我们介绍了学习网络表示的知识图谱捕捉这些不同方面的相似性的实体的方法。然后，我们提出了一种快速，有效的方法，将这些网络表示捕获到现有的知识图谱嵌入的信息。我们表明，我们的方法一致和显着提高性能的链接预测的几种不同的知识图嵌入方法，包括TRANSE，TRANSD，DISTMULT，和复杂（至少4点或17%，在某些情况下）。
2018-11-01 cs.AI cs.CL cs.LG
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多生物医学和医疗保健数据都以离散的符号形式编码，如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识，但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步，基于文本的表示学习有了显着的改进，但到目前为止，还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果，我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型，提供了与现有方法进行比较的基准和对最佳实践的深入讨论，并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入，代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；SAP SE Product Engineering Financial Services（SAP SE 产品工程金融服务部）
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱，即所有节点和边。这导致对大型图（如DBpedia或Wikidata）的计算要求非常高。然而，对于大多数下游应用场景，只有一小部分概念是真正感兴趣的。在本文中，我们提出了RDF 2 Vec Light，一种基于RDF 2 Vec的轻量级嵌入方法，它只为实体的一个子集生成矢量。为此，RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下，这样的嵌入是不可能的，由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR（挪威地震阵列研究所）；City, University of London（伦敦大学城市学院）；Norwegian Institute for Water Research（挪威水研究所）；University of Oslo（奥斯陆大学）；University of Oxford（牛津大学）；Norwegian University of Life Sciences（挪威生命科学大学）；Norwegian Geotechnical Institute（挪威岩土工程研究所）
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务，即化学效应预测。我们已经评估了九个知识图谱嵌入模型，这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明，使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外，我们还实现了一个微调架构，使知识图谱嵌入适应效果预测任务，并带来更好的性能。最后，我们评估了知识图谱嵌入模型的某些特征，以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Kronecker Decomposition for Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）；Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）
知识图谱嵌入研究主要集中在学习针对链接预测问题定制的实体和关系的连续表示。最近的结果表明，目前的方法对基准数据集的预测能力不断提高。然而，这种有效性往往伴随着过度参数化和计算复杂性增加的代价。前者引入了广泛的超参数优化来减轻恶意过拟合。后者放大了硬件彩票中奖的重要性。在这里，我们调查第一个问题的补救措施。我们提出了一种基于Kronecker分解的技术来减少知识图谱嵌入模型中的参数数量，同时保留其表达能力。通过Kronecker分解，在训练过程中将大的嵌入矩阵分解为较小的嵌入矩阵。因此，知识图谱的嵌入不是简单地检索，而是动态地重构。分解确保三个嵌入向量之间的元素级交互扩展为每个嵌入向量内的交互。这隐含地减少了嵌入向量的冗余，并鼓励特征重用。为了量化应用Kronecker分解对嵌入矩阵的影响，我们在基准数据集上进行了一系列实验。我们的实验表明，在嵌入矩阵上应用Kronecker分解可以提高所有基准数据集的参数效率。此外，经验证据表明，重建的嵌入需要对输入知识图谱中的噪声的鲁棒性。为了促进可重复的研究，我们提供了我们方法的开源实现，包括训练和评估脚本以及我们的知识图谱嵌入框架中的预训练模型（https：//github.com/dice-group/dice-embeddings）。
2022-05-13 cs.AI cs.LG
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的，因此实现跨语言知识对齐将有助于人们构建连贯的知识库，并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是，通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此，我们提出了MTransE，一个基于推理的多语言知识图谱嵌入模型，提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系，MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换，同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡，即轴校准，平移向量和线性变换，并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练，其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果，一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford（牛津大学）
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成（TKGC）是该任务到时间知识图谱的扩展，其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上，这些模型是为（静态）知识图谱完成而开发的，并将这些模型扩展到包含时间，其中的想法是学习实体，关系和时间戳的潜在表示，然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上，提出了一种面向TKGC的嵌入模型BoxTE。我们发现，BoxTE是充分的表达，并具有很强的归纳能力的时间设置。然后，我们实证评估我们的模型，并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh（爱丁堡大学）；University of Victoria（维多利亚大学）
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能，实现HITS@10三倍提升，并通过规则方法提供可解释预测，验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Expeditious Generation of Knowledge Graph Embeddings
University of Leipzig（莱比锡大学）；University of Pennsylvania（宾夕法尼亚大学）；Paderborn University（帕德博恩大学）；University of Bonn（波恩大学）
知识图谱嵌入方法旨在将知识库中的实体和关系表示为连续向量空间中的点或向量。使用嵌入的几种方法已经在诸如链接预测、实体推荐、问答和三元组分类等任务上显示出有希望的结果。然而，只有少数方法可以计算非常大的知识库的低维嵌入，而不需要最先进的计算资源。在本文中，我们提出了KG 2Vec，一个简单而快速的知识图谱嵌入方法的基础上的跳跃图模型。我们不使用预定义的评分函数，而是依靠长短期记忆来学习它。我们表明，我们的嵌入实现的结果与最可扩展的方法知识图谱完成，以及一个新的度量。然而，KG2Vec可以在更短的时间内嵌入大型图形，在普通硬件上不到7小时就可以处理超过2.5亿个三元组。
2018-11-09 cs.AI cs.CL
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin（柏林工业大学）；Sapienza University of Rome（罗马第一大学）
知识图谱完成（又名~链接预测），即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的，因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果，使得这种解决方案不适用于关键领域，如医疗保健。为了进一步提高知识图谱完成的准确性，我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理（例如，OWL2）。通过这种方式，我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度，而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明，我们提高了香草知识图谱嵌入的MRR精度高达3倍，并优于混合解决方案，结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
Embedding Ontologies via Incorporating Extensional and Intensional Knowledge
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；China Mobile Research Institute（中国移动研究院）
本文提出EIKE方法，通过扩展空间和内涵空间整合本体实例、概念及关系，结合几何方法和预训练语言模型捕捉结构与文本信息，在三组数据集上优于现有方法。
2026-03-25 cs.AI cs.CL
Knowledge Graph Embeddings and Explainable AI
Bocconi University（博科尼大学）；IBM Research AI（IBM研究AI）；Accenture Labs（埃森哲实验室）；University of Milan-Bicocca（米兰比可卡大学）；University College London（伦敦大学学院）
知识图谱嵌入是一种广泛采用的知识表示方法，其中实体和关系嵌入在向量空间中。在本章中，我们通过解释知识图谱嵌入的概念、如何生成它们以及如何评估它们来向读者介绍它们。我们总结了国家的最先进的在这一领域中描述的方法，已被引入到表示知识的向量空间。在知识表示方面，我们考虑了可解释性问题，并讨论了解释通过知识图谱嵌入获得的预测的模型和方法。
2020-04-30 cs.AI cs.CL
LogicENN: A Neural Based Knowledge Graphs Embedding Model with Logical Rules
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
知识图谱嵌入模型在人工智能研究中得到了广泛的关注。最近的工作表明，包含背景知识，如逻辑规则，可以提高嵌入在下游机器学习任务的性能。然而，到目前为止，大多数现有模型不允许包含规则。我们解决了包括规则的挑战，并提出了一个新的基于神经的嵌入模型（LogicENN）。我们证明了LogicENN可以学习知识图谱中编码规则的每一个基础事实。据我们所知，到目前为止，这还没有被证明为基于神经的嵌入模型家族。此外，我们推导出公式包含各种规则，包括（反）对称，逆，非自反和传递，蕴涵，组合，等价和否定。我们的提法可以避免接地的含义和等价关系。我们的实验表明，逻辑ENN优于国家的最先进的模型在链接预测。
2019-08-20 cs.AI cs.CL
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University（德雷塞尔大学）；College of Computing and Informatics（计算与信息学院）
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性，自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此，我们综述了目前的研究景观字，句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类，并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中，我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL
Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康医疗大数据国家研究院）；Interactive Entertainment Group, Tencent Inc, China（腾讯互动娱乐集团）
针对不断增长的知识图谱，提出一种终身嵌入模型，通过掩码自编码器、嵌入迁移策略和正则化方法实现知识迁移与保留，有效避免灾难性遗忘，性能优于现有基线。
2023-04-10 cs.AI cs.CL
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna（维也纳医科大学）
近年来，基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用，并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上，但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中，我们提出了一个开源的评估管道，基准神经嵌入的准确性的情况下，知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施，使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
CausE: Towards Causal Knowledge Graph Embedding
Zhejiang University（浙江大学）
针对知识图谱嵌入易受琐碎模式和噪声链接误导的问题，提出因果增强框架CausE，通过因果干预估计混杂因子嵌入的因果效应并设计新训练目标，实现更优的知识图谱补全性能。
2023-07-24 cs.AI cs.CL
Embedding Uncertain Knowledge Graphs
University of California, Los Angeles（加州大学洛杉矶分校）
确定性知识图谱（KG）的嵌入模型已经得到了广泛的研究，其目的是捕获实体之间的潜在语义关系并将结构化知识并入机器学习。然而，有许多KG对不确定知识进行建模，这些知识通常对具有置信度分数的关系事实的固有不确定性进行建模，并且嵌入这种不确定知识代表了未解决的挑战。不确定性知识的捕获将通过提供更自然的知识表征而有益于许多知识驱动的应用，例如问答和语义搜索。本文提出了一种新的不确定KG嵌入模型UKGE，该模型的目的是在嵌入空间中同时保持关系事实的结构信息和不确定性信息。与以往的模型，特征与二进制分类技术的关系事实，UKGE学习嵌入根据不确定的关系事实的置信度得分。为了进一步提高UKGE的精度，我们还引入了概率软逻辑来推断训练过程中看不见的关系事实的置信度。我们提出并评估了两个变种的UKGE基于不同的学习目标。通过三个任务，即置信度预测，关系事实排序，和关系事实分类，在三个现实世界的不确定知识库进行实验。UKGE通过在这些任务上取得有希望的结果，在捕获不确定知识方面表现出有效性，并在这些任务上始终优于基线。
2019-02-26 cs.AI cs.CL
Hardware-agnostic Computation for Large-scale Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）
知识图谱嵌入的研究主要集中在学习连续表示的知识图谱的链接预测问题。最近开发的框架可以有效地应用于研究相关的应用程序。然而，这些框架并不能满足现实世界应用程序的许多要求。随着知识图谱的大小增长，将计算从商品计算机移动到这些框架中的计算机集群变得更具挑战性。寻找合适的超参数设置w.r.t.时间和计算预算留给实践者。此外，知识图谱嵌入框架中的持续学习方面经常被忽视，尽管持续学习在许多现实世界（深度）学习驱动的应用中起着重要作用。可以说，这些限制解释了缺乏公开可用的知识图谱嵌入模型的大型知识图谱。我们开发了一个基于DASK、Pytorch Lightning和Hugging Face的框架，以硬件无关的方式计算大规模知识图谱的嵌入，这能够解决与实际应用规模相关的现实挑战。我们提供了我们框架的开源版本以及具有超过11.4 B参数的预训练模型的中心。
2022-07-18 cs.AI cs.LG
Learning High-order Structural and Attribute information by Knowledge Graph Attention Networks for Enhancing Knowledge Graph Embedding
Tencent Inc（腾讯公司）
知识图谱表示学习的目标是将实体和关系编码到一个低维的嵌入空间中。最近的许多工作已经证明了知识图谱嵌入知识图谱完成任务的好处，如关系抽取。然而，我们注意到：1）现有方法只考虑实体间的直接关系，无法表达实体间的高阶结构关系; 2）这些方法只利用KG的关系三元组，而忽略了大量编码丰富语义信息的属性三元组。为了克服这些局限性，本文提出了一种新的知识图谱嵌入方法，命名为KANE，这是最近的发展的启发图卷积网络（GCN）。KANE在图卷积网络的框架下，能够高效、清晰、统一地捕捉知识群的高阶结构和属性信息。三个数据集的实证结果表明，KANE显着优于七个国家的最先进的方法。进一步的分析验证了我们的方法的有效性和注意力机制带来的好处。
2019-10-10 cs.AI cs.CL
Biomedical Knowledge Graph Refinement with Embedding and Logic Rules
Harbin Institute of Technology（哈尔滨工业大学）；Cornell University（康奈尔大学）
目前，对提供直接和精确的生物医学知识的高质量生物医学知识图谱（BioKG）的需求迅速增长。在COVID-19的背景下，这一问题更有必要得到重视。然而，大多数BioKG的建设不可避免地包括许多冲突和噪音来自文献中的不正确的知识描述和有缺陷的信息抽取技术。许多研究表明，在知识图谱上进行推理可以有效地消除这些冲突和噪声。本文提出了一种改进BioKG质量的方法BioGRER，该方法将知识图谱的嵌入和支持三元组和否定三元组的逻辑规则相结合。在所提出的模型中，生物KG细化问题被配制为三胞胎在生物KG的概率估计。采用变分EM算法交替优化知识图谱嵌入和逻辑规则推理。通过这种方式，我们的模型可以结合知识图谱嵌入和逻辑规则的努力，从而比单独使用它们更好的结果。我们在COVID-19知识图谱上评估了我们的模型，并获得了有竞争力的结果。
2020-12-02 cs.AI cs.CL
Multidimensional Knowledge Graph Embeddings for International Trade Flow Analysis
University of Bayreuth（拜罗伊特大学）
针对传统回归难以建模高维、强非线性贸易数据的问题，本文构建多维经济贸易知识图谱 KonecoKG，并通过 AmpliGraph 生成嵌入以预测国际贸易关系。
2024-10-19 cs.AI cs.IR cs.LG
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine（洛林大学）
“经典”词嵌入，如Word 2 Vec，已被证明可以根据词的分布特性捕获词的语义。然而，它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系，如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系，但不能直接捕捉这些词的组合属性。据我们所知，最近的研究主要集中在表示学习上，它可以增强一个学习者和另一个学习者的优势。在这项工作中，我们开始探索另一种方法，使用上下文和KB嵌入联合在同一水平上，并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型，并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础，朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
NagE: Non-Abelian Group Embedding for Knowledge Graphs
Boston College（波士顿学院）；Brandeis University（布兰迪斯大学）
我们证明了隐藏在关系知识嵌入问题中的群代数结构的存在，这表明基于群的嵌入框架对于设计嵌入模型至关重要。我们的理论分析只是探讨嵌入问题本身的内在属性，因此是模型无关的。在理论分析的基础上，提出了一种基于群论的知识图谱嵌入框架，将关系嵌入为群元素，实体用群行为空间中的向量表示。我们提供了一个通用的配方来构建嵌入模型与两个实例化的例子：SO3E和SU2E，这两个应用连续的非阿贝尔群作为关系嵌入。使用这两个示例模型的实证实验在基准数据集上显示了最先进的结果。
2020-09-03 cs.AI cs.LG math.GR
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST（韩国科学技术院）
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题，本文提出 InGram，通过关系图与注意力机制聚合生成新实体和新关系嵌入，并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
Customizing Knowledge Graph Embedding to Improve Clinical Study Recommendation
Novartis（诺华）
使用知识图谱嵌入从临床试验中推断知识是一个新兴的领域。然而，为不同的用例定制图嵌入仍然是一个重大的挑战。我们提出了custom 2 vec，一个算法框架，通过在训练嵌入中加入用户偏好来定制图嵌入。它通过添加从单独的信息检索方法的手动审查结果派生的自定义节点和链接来捕获用户首选项。我们提出了一个联合学习目标，以保留原始的网络结构，同时结合用户的自定义注释。我们假设自定义训练提高了用户预期的预测，例如，在链接预测任务中。我们通过两种定制方案证明了custom 2 vec在非小细胞肺癌（NSCLC）相关临床试验中的有效性：推荐评估PD-1抑制剂的免疫肿瘤学试验，以及探索将新疗法与标准治疗进行比较的类似试验。结果表明，自定义2 vec训练比传统的训练方法取得了更好的性能。我们的方法是一种自定义知识图谱嵌入并实现更准确的推荐和预测的新方法。
2022-12-28 cs.AI cs.CL cs.CY
Exploring Scholarly Data by Semantic Query on Knowledge Graph Embedding Space
SOKENDAI (The Graduate University for Advanced Studies)（后藤大学（高级研究研究生大学））；National Institute of Informatics（信息研究院）
本文提出利用知识图谱嵌入空间的语义结构，通过定义嵌入向量间的代数语义查询，构建学术数据探索通用框架，并发现新的可解决任务。
2025-08-15 cs.AI cs.CL cs.DL
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
学习知识库中存在的实体和关系的嵌入允许发现数据中隐藏的模式。在这项工作中，我们研究的几何空间的知识库完成的任务的贡献。我们专注于家庭的平移模型，其性能一直滞后，并提出了一个模型，称为HyperKG，它利用双曲空间，以更好地反映知识库的拓扑特性。我们调查的类型，我们的模型可以捕获，我们表明，它是一个突出的候选人有效地代表一个子集的数据库规则。我们经验表明，使用各种链接预测数据集，双曲空间允许显着缩小平移和双线性模型之间的性能差距。
2019-08-17 cs.AI cs.CL
Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）；National Institute of Healthcare Data Science（国家健康医疗数据科学研究院）
联邦学习（FL）最近出现的一个范例，训练一个全球性的机器学习模型在分布式客户端，而无需共享原始数据。知识图谱（KG）嵌入表示连续向量空间中的知识图谱，是许多知识驱动应用的基础。作为一个有前途的组合，联邦KG嵌入可以充分利用从不同客户端学习的知识，同时保护本地数据的隐私。然而，数据异构、知识遗忘等现实问题仍然有待关注。在本文中，我们提出了FedLU，异构KG嵌入学习和unlearning的一种新的FL框架。为了解决数据异构导致的局部最优与全局收敛之间的漂移问题，提出了相互知识蒸馏的方法，将局部知识转移到全局，并吸收全局知识。提出了一种基于认知神经科学的去学习方法，该方法结合了回溯性干扰和被动衰减，通过重用知识蒸馏将局部客户端的特定知识擦除并传播到全局模型。我们构建了新的数据集，用于评估最先进技术的现实表现。大量的实验表明，FedLU在链接预测和知识遗忘方面都取得了优异的成绩。
2023-02-26 cs.CL cs.LG
Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph
Joint NTU-Webank Research Institute on Fintech（南洋理工大学-微众银行金融科技联合研究院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学老年人积极生活联合卓越研究中心）
针对现有联邦知识图谱嵌入忽略客户端语义差异、嵌入质量受限的问题，提出基于客户端关系图的个性化方法PFedEG，通过邻近客户端亲和度融合生成个性化补充知识，在四个基准数据集上性能优于现有最优模型。
2024-06-17 cs.AI cs.IR
A Method to Learn Embedding of a Probabilistic Medical Knowledge Graph: Algorithm Development
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Yidu Cloud Technology Inc（医渡云技术有限公司）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Southwest Hospital（西南医院）；Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；School of Science, Beijing Jiaotong University（北京交通大学理学院）
本文提出了一种基于医学知识的嵌入向量学习算法PrTransH。从真实世界的电子病历数据中嵌入医学知识图谱的独特挑战是知识三元组的不确定性模糊了“正确三元组”和“错误三元组”之间的边界，改变了许多现有算法的基本假设。为解决这一问题，对现有的TransH算法进行了改进，包括：1）将医学知识三元组的概率引入训练目标; 2）将基于边缘的排序损失替换为同时考虑有效三元组和受损三元组的统一损失计算; 3）在训练数据集上增加医学背景知识。在基于医学知识图谱的真实电子病历数据上的验证表明，PrTransH算法在链接预测任务上优于TransH算法.本文是第一篇在概率知识图谱上学习和验证知识嵌入的论文。
2020-11-08 cs.AI cs.CL
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria（卡拉布里亚大学）；University of Rome La Sapienza（罗马大学（罗马第一大学））
图嵌入技术允许从图结构中学习高质量的特征向量，并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习（知识）图中节点的特征向量。据我们所知，他们都没有解决嵌入的问题，图的边缘，即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上，并且通过应用一些操作（例如，平均）对端点节点的嵌入。本文的目标是介绍Triple2Vec，一种直接在（知识）图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地，线图的节点是原始图的边。我们表明，直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的，在知识图谱的上下文中。因此，我们引入三线图的概念。第二种是一种边加权机制，适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走，可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成，其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界（知识）图，并将其与相关的工作。
2019-05-28 cs.AI cs.LG
Edge: Enriching Knowledge Graph Embeddings with External Text
University of Georgia（佐治亚大学）；Adobe Research（Adobe研究院）
知识图谱具有稀疏性，这降低了由各种方法生成的表示的质量。虽然在整个网络和许多现有的知识库中有大量的文本信息，但在这些不同的数据源中对齐信息仍然是文献中的一个挑战。以前的工作已经部分解决了这个问题，丰富的知识图谱实体的基础上“硬”的词出现在知识图谱和外部文本的实体，而我们实现“软”的增强，提出了一个知识图谱丰富和嵌入框架命名边缘。给定一个原始的知识图谱，我们首先生成一个丰富的，但噪声增强图使用外部文本在语义和结构层次。为了提取相关知识并抑制引入的噪声，我们在原始图和增强图之间的共享嵌入空间中设计了图对齐项。为了增强在增强图上的嵌入学习，我们进一步基于负采样正则化目标实体的局部关系。在四个基准数据集上的实验结果表明，Edge算法在链接预测和节点分类中具有良好的鲁棒性和有效性.
2021-04-11 cs.CL cs.LG
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota（明尼苏达大学）；BlueLightAI, Inc.（BlueLightAI公司）
知识图谱嵌入涉及学习实体（图的顶点）和关系（图的边）的表示，使得所得到的表示对由知识图谱表示的已知事实信息进行编码，并且可以用于新关系的推断。我们发现，知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言：一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中，与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架，并允许对嵌入的各种先验约束进行表达。此外，所得到的嵌入可以很容易地适应复合关系的推理，而无需特殊的训练。我们实现这些想法，以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction
University of Tehran（德黑兰大学）
一些模型试图通过在更低的维度中嵌入知识图谱来解决链接预测问题，也称为知识图谱完成。然而，国家的最先进的结果是在相当大的增加嵌入的维数的成本，导致可扩展性问题的情况下，巨大的知识库。Transformers最近已经成功地用作知识图谱的强大编码器，但是可用的模型仍然具有可扩展性问题。为了解决这个问题，我们引入了一个基于transformer的模型来获得有表现力的低维嵌入。我们利用大量的自注意力头的关键应用查询相关的投影捕捉实体和关系之间的互信息。以WN 18 RR和FB 15 k-237作为标准链接预测基准测试的实验结果表明，该模型与当前最先进的模型具有相当的性能。值得注意的是，与最近五个最好的最先进的竞争对手相比，我们得到了令人鼓舞的结果，嵌入的维度平均减少了66.9%。
2022-11-26 cs.AI cs.LG
Product Knowledge Graph Embedding for E-commerce
Walmart Labs（沃尔玛实验室）
在本文中，我们提出了一种新的产品知识图谱（PKG）嵌入方法学习的内在产品关系作为产品知识的电子商业。我们定义了关键实体，并总结了关键的产品关系，是至关重要的一般电子商业应用程序，包括营销，广告，搜索排名和推荐。我们首先提供了一个全面的比较PKG和普通的知识图谱（KG），然后说明为什么KG嵌入方法不适合PKG学习。我们构建了一个自我注意增强的分布式表示学习模型，用于以端到端的方式从原始客户活动数据中学习PKG嵌入。我们设计了一个有效的多任务学习模式，充分利用多模态电子商业数据。庞加莱嵌入也被用来处理复杂的实体结构。我们使用来自grocery.walmart.com的真实世界数据集来评估知识完成，搜索排名和推荐的性能。所提出的方法相比，在知识完成和下游任务的基线。
2019-11-28 cs.IR cs.LG stat.ML
On The Expressive Power of Knowledge Graph Embedding Methods
本文提出一个数学框架比较知识图谱嵌入方法的推理能力，证明STransE优于TransComplEx，并提出新方法STransCoRe结合TransCoRe见解改进STransE以降低空间复杂度。
2024-07-26 cs.AI cs.LG
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions
Tsinghua University（清华大学）
知识表示是人工智能中一个重要的、历史悠久的课题，并且已经有大量的工作用于知识图谱嵌入，其将符号实体和关系投影到低维、实值向量空间中。然而，大多数嵌入方法只关注数据拟合，而忽略了显式的语义表达，导致不可解释的表示。因此，传统的嵌入方法对于诸如问答和实体分类的许多应用具有有限的潜力。为此，本文提出了一种知识图谱\textbf{(KSR)}的语义表示方法，该方法采用两级分层生成过程，在全局上提取多个方面，然后在每个方面为每个三元组分配一个特定的类别。由于方面和范畴都是语义相关的，因此每个方面中的范畴集合被视为这个三元组的语义表示。大量的实验证明，我们的模型大大优于其他国家的最先进的基线。
2017-06-17 cs.CL cs.LG
Universal Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）
本文提出基于 owl:sameAs 融合 DBpedia 和 Wikidata 等大规模知识来源，学习跨知识图谱对齐的通用嵌入，覆盖约 1.8 亿实体，并通过链接预测实验验证其语义优于单图嵌入。
2024-07-05 cs.AI
