Kronecker Decomposition for Knowledge Graph Embeddings
Paderborn University(帕德博恩大学);Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所)
知识图谱嵌入研究主要集中在学习针对链接预测问题定制的实体和关系的连续表示。最近的结果表明,目前的方法对基准数据集的预测能力不断提高。然而,这种有效性往往伴随着过度参数化和计算复杂性增加的代价。前者引入了广泛的超参数优化来减轻恶意过拟合。后者放大了硬件彩票中奖的重要性。在这里,我们调查第一个问题的补救措施。我们提出了一种基于Kronecker分解的技术来减少知识图谱嵌入模型中的参数数量,同时保留其表达能力。通过Kronecker分解,在训练过程中将大的嵌入矩阵分解为较小的嵌入矩阵。因此,知识图谱的嵌入不是简单地检索,而是动态地重构。分解确保三个嵌入向量之间的元素级交互扩展为每个嵌入向量内的交互。这隐含地减少了嵌入向量的冗余,并鼓励特征重用。为了量化应用Kronecker分解对嵌入矩阵的影响,我们在基准数据集上进行了一系列实验。我们的实验表明,在嵌入矩阵上应用Kronecker分解可以提高所有基准数据集的参数效率。此外,经验证据表明,重建的嵌入需要对输入知识图谱中的噪声的鲁棒性。为了促进可重复的研究,我们提供了我们方法的开源实现,包括训练和评估脚本以及我们的知识图谱嵌入框架中的预训练模型(https://github.com/dice-group/dice-embeddings)。
2022-05-13 cs.AI cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);Hokkaido University(北海道大学)
本文从word2vec中的二次抽样方法出发,介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford(牛津大学)
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成(TKGC)是该任务到时间知识图谱的扩展,其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上,这些模型是为(静态)知识图谱完成而开发的,并将这些模型扩展到包含时间,其中的想法是学习实体,关系和时间戳的潜在表示,然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上,提出了一种面向TKGC的嵌入模型BoxTE。我们发现,BoxTE是充分的表达,并具有很强的归纳能力的时间设置。然后,我们实证评估我们的模型,并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh(爱丁堡大学);University of Victoria(维多利亚大学)
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能,实现HITS@10三倍提升,并通过规则方法提供可解释预测,验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
本文提出Word2Spike,一种结合泊松率编码的神经形态方法,将词向量映射为脉冲吸引子状态,在保持高语义相似度和重建准确率的同时,实现了抗噪的联想记忆性能。
2025-09-09 cs.AI cs.NE
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin(柏林工业大学);Sapienza University of Rome(罗马第一大学)
知识图谱完成(又名~链接预测),即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的,因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果,使得这种解决方案不适用于关键领域,如医疗保健。为了进一步提高知识图谱完成的准确性,我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理(例如,OWL2)。通过这种方式,我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度,而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明,我们提高了香草知识图谱嵌入的MRR精度高达3倍,并优于混合解决方案,结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
Hardware-agnostic Computation for Large-scale Knowledge Graph Embeddings
Paderborn University(帕德博恩大学)
知识图谱嵌入的研究主要集中在学习连续表示的知识图谱的链接预测问题。最近开发的框架可以有效地应用于研究相关的应用程序。然而,这些框架并不能满足现实世界应用程序的许多要求。随着知识图谱的大小增长,将计算从商品计算机移动到这些框架中的计算机集群变得更具挑战性。寻找合适的超参数设置w.r.t.时间和计算预算留给实践者。此外,知识图谱嵌入框架中的持续学习方面经常被忽视,尽管持续学习在许多现实世界(深度)学习驱动的应用中起着重要作用。可以说,这些限制解释了缺乏公开可用的知识图谱嵌入模型的大型知识图谱。我们开发了一个基于DASK、Pytorch Lightning和Hugging Face的框架,以硬件无关的方式计算大规模知识图谱的嵌入,这能够解决与实际应用规模相关的现实挑战。我们提供了我们框架的开源版本以及具有超过11.4 B参数的预训练模型的中心。
2022-07-18 cs.AI cs.LG
$μ\text{KG}$: A Library for Multi-source Knowledge Graph Embeddings and Applications
Nanjing University(南京大学)
本文介绍了$μ\text{KG}$,一个开源的Python库,用于知识图谱上的表示学习。$μ\text{KG}$支持多源知识图谱(以及单个知识图谱)、多个深度学习库(PyTorch和TensorFlow 2)、多个嵌入任务(链接预测、实体对齐、实体类型和多源链接预测)以及多个并行计算模式(多进程和多GPU计算)的联合表示学习。它目前实现了26个流行的知识图谱嵌入模型,并支持16个基准数据集。$μ\text{KG}$提供嵌入技术的高级实现,简化了不同任务的流水线。它还提供了高质量的文档,便于使用。$μ\text{KG}$比现有的知识图谱嵌入库更全面。这对于深入比较和分析各种嵌入模型和任务非常有用。我们表明,联合学习的嵌入可以极大地帮助知识驱动的下游任务,如多跳知识图谱问答。我们会密切留意有关范畴的最新发展,并将其纳入$μ\text{KG}$。
2022-07-28 cs.AI cs.CL cs.LG
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST(韩国科学技术院)
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题,本文提出 InGram,通过关系图与注意力机制聚合生成新实体和新关系嵌入,并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
NagE: Non-Abelian Group Embedding for Knowledge Graphs
Boston College(波士顿学院);Brandeis University(布兰迪斯大学)
我们证明了隐藏在关系知识嵌入问题中的群代数结构的存在,这表明基于群的嵌入框架对于设计嵌入模型至关重要。我们的理论分析只是探讨嵌入问题本身的内在属性,因此是模型无关的。在理论分析的基础上,提出了一种基于群论的知识图谱嵌入框架,将关系嵌入为群元素,实体用群行为空间中的向量表示。我们提供了一个通用的配方来构建嵌入模型与两个实例化的例子:SO3E和SU2E,这两个应用连续的非阿贝尔群作为关系嵌入。使用这两个示例模型的实证实验在基准数据集上显示了最先进的结果。
2020-09-03 cs.AI cs.LG math.GR
Joint Embedding Learning of Educational Knowledge Graphs
本文针对教育知识图谱中结构关系价值有限、字面信息更重要的特点,提出一种联合学习结构信息和字面信息的嵌入模型,并在真实教育知识图谱及基准图上验证了其有效性和优越性。
2019-12-23 cs.AI cs.CL cs.LG
Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding
Zhejiang University(浙江大学);Huawei Technologies Co., Ltd.(华为技术有限公司);State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
由大量三元组组成的知识图(Knowledge Graph,KG)近年来得到广泛应用,许多知识图谱嵌入(Knowledge Graph,KGE)方法被提出来将KG中的实体和关系嵌入到连续向量空间中。这种嵌入方法简化了进行各种KG内任务(例如,链接预测)和KG外任务(例如,问答)。它们可以被视为代表KG的一般解决方案。然而,现有的KGE方法不适用于归纳设置,其中在源KG上训练的模型将在目标KG上进行测试,其中在模型训练期间看不到实体。现有的工作集中在归纳设置中的KG只能解决归纳关系预测任务。它们不能像KGE方法那样处理其他KG外的任务,因为它们不为实体生成嵌入。在本文中,实现归纳知识图谱嵌入,我们提出了一个模型MorsE,它不学习实体的嵌入,但学习可转移的元知识,可用于产生实体嵌入。这种元知识由实体独立的模块建模,并通过元学习来学习。实验结果表明,我们的模型显着优于相应的基线在KG和KG外的任务在归纳设置。
2022-05-06 cs.AI cs.CL cs.LG
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group(阿里巴巴集团)
多关系知识库问答(KBQA)系统在知识图谱(KG)上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入(KGE)技术来处理KG不完全性,但只考虑三重事实,而忽略了路径和多关系问题之间的重要语义相关性。在本文中,我们提出了一个路径和知识嵌入增强的多关系问答模型(PKEEQA),它利用KG中实体之间的多跳路径,通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性,有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明,PKEEQA提高了KBQA模型的多关系问答的性能,解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
Holographic Embeddings of Knowledge Graphs
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Universita Degli Studi Di Genova(热那亚大学)
实体和关系的学习嵌入是对诸如知识图谱的关系数据执行机器学习的有效且通用的方法。在这项工作中,我们提出了全息嵌入(HolE)来学习整个知识图谱的组成向量空间表示。所提出的方法与关联记忆的全息模型有关,因为它采用循环相关来创建组合表示。通过使用相关性作为组合算子,HolE可以捕获丰富的交互,但同时保持计算效率,易于训练,并且可扩展到非常大的数据集。在大量的实验中,我们表明,全息嵌入能够优于最先进的方法,在知识图谱和关系学习基准数据集的链接预测。
2015-12-07 cs.AI cs.LG stat.ML
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Knowledge Graph Embeddings in Geometric Algebras
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
知识图谱(KG)嵌入的目的是将KG中的实体和关系嵌入到低维的潜在表示空间中。现有的KG嵌入方法通过利用实值、复值或超复值(四元数或八元数)表示来对KG中的实体和关系进行建模,所有这些表示都包含在几何代数中。在这项工作中,我们介绍了一种新的几何代数为基础的KG嵌入框架,GeomE,它利用多向量表示和几何积模型的实体和关系。我们的框架包含了几种最先进的KG嵌入方法,具有建模各种关键关系模式的能力,包括(反)对称,反转和组合,丰富的表达能力和更高的自由度以及良好的泛化能力。在多个基准知识图谱上的实验结果表明,该方法优于现有的链接预测模型.
2021-03-22 cs.AI cs.LG stat.ML
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London(伦敦大学学院);Institute of Health Informatics(健康信息学研究所)
学习知识表示是一种越来越重要的技术,适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时,嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集,导致训练过程中的信息丢失,并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型,该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明,新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Domain Representation for Knowledge Graph Embedding
Westlake University(西湖大学);Zhejiang University(浙江大学);Northeastern University(东北大学)
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而,大多数现有的模型忽略了表示层次知识,如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示,使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明,域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota(明尼苏达大学);BlueLightAI, Inc.(BlueLightAI公司)
知识图谱嵌入涉及学习实体(图的顶点)和关系(图的边)的表示,使得所得到的表示对由知识图谱表示的已知事实信息进行编码,并且可以用于新关系的推断。我们发现,知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言:一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中,与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架,并允许对嵌入的各种先验约束进行表达。此外,所得到的嵌入可以很容易地适应复合关系的推理,而无需特殊的训练。我们实现这些想法,以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Universal Knowledge Graph Embeddings
Paderborn University(帕德博恩大学)
本文提出基于 owl:sameAs 融合 DBpedia 和 Wikidata 等大规模知识来源,学习跨知识图谱对齐的通用嵌入,覆盖约 1.8 亿实体,并通过链接预测实验验证其语义优于单图嵌入。
2024-07-05 cs.AI
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs(甲骨文实验室);AEHRC, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性,给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标,这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明,我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得:\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用,如完成知识图谱预测丢失的信息,推荐系统,问答,查询扩展等嵌入在知识图谱中的信息,虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
Learning Embeddings from Knowledge Graphs With Numeric Edge Attributes
Accenture Labs(埃森哲实验室)
与知识图谱的边相关联的数值已被用于表示从遗传数据到社交网络的越来越多的场景中的不确定性、边重要性甚至带外知识。然而,传统的知识图谱嵌入模型并没有被设计成捕获这样的信息,这损害了预测能力。我们提出了一种新的方法,注入数字边缘属性到传统的知识图谱嵌入架构的评分层。公开的数字丰富的知识图谱的实验表明,我们的方法优于传统的数字不知道的基线,以及最近的UKGE模型。
2021-05-18 cs.AI
Data Poisoning Attack against Knowledge Graph Embedding
SUNY at Buffalo(纽约州立大学布法罗分校);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
知识图谱嵌入(KGE)是一种在知识图谱中学习实体和关系的连续嵌入技术,由于其对知识图谱的补全、问答和推荐等下游任务的帮助,近年来受到了广泛的关注。尽管KGE在良性环境中是有效的,但它对对抗攻击的鲁棒性还没有得到很好的研究。由于知识图谱的异构性,现有的图数据攻击方法不能直接应用于知识图谱的嵌入攻击。为了填补这一空白,我们提出了一系列的数据投毒攻击策略,它可以有效地操纵任意目标的事实在一个知识图谱的可扩展性,通过添加或删除的事实图。两个广泛使用的基准测试的广泛评估所提出的攻击策略的有效性和效率进行了验证。
2019-06-24 cs.AI cs.CR cs.LG
Efficient Parallel Translating Embedding For Knowledge Graphs
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
知识图嵌入是将知识图谱中的实体和关系嵌入到低维向量空间中。翻译嵌入方法将关系看作是头实体到尾实体的翻译,取得了知识图谱嵌入方法中最先进的结果。然而,这些方法的一个主要局限性是耗时的训练过程,对于大型知识图谱,可能需要几天甚至几周的时间,并且在实际应用中造成很大困难。在本文中,我们提出了一个高效的并行框架,翻译嵌入方法,称为ParTrans-X,它使方法被翻译没有锁,利用知识图谱的区别结构。在两个数据集上,采用三种典型的平移嵌入方法,TransE [3],TransH [17]和更有效的变体TransE-AdaGrad [10]验证了ParTrans-X可以将训练过程加速超过一个数量级。
2018-01-09 cs.AI
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision
Drexel University(德雷塞尔大学)
大多数知识图谱嵌入技术将实体和谓词视为单独的嵌入矩阵,使用聚合函数来构建输入三元组的表示。然而,这些聚合是有损的,即它们不捕获原始三元组的语义,例如谓词中包含的信息。为了克服这些缺点,目前的方法从头开始学习三重嵌入,而不利用来自预训练模型的实体和谓词嵌入。在本文中,我们设计了一种新的微调方法来学习三重嵌入创建弱监督信号从预训练的知识图谱嵌入。我们开发了一种从知识图谱中自动采样三元组并从预训练的嵌入模型中估计其成对相似性的方法。然后,这些成对的相似性得分被馈送到一个类似于Siamese的神经架构中,以微调三重表示。我们评估所提出的方法在两个广泛研究的知识图谱,并表现出一致的改进,比其他国家的最先进的三重嵌入方法的三重分类和三重聚类任务。
2022-08-22 cs.AI cs.CL
ParaGraphE: A Library for Parallel Knowledge Graph Embedding
Nanjing University(南京大学)
知识图谱嵌入的目的是将知识图谱中的实体和关系转化为连续的低维向量,从而将知识图谱转化为数值表示。近年来,已有许多方法[1,5,3,2,6]被提出来解决这个问题,但现有的单线程实现方法对于大规模知识图谱来说是耗时的。在这里,我们设计了一个统一的并行框架来并行化这些方法,在不影响精度的情况下,实现了显着的时间减少。我们将我们的框架命名为ParaGraphE,它提供了一个并行知识图谱嵌入库。源代码可以从https://github.com/LIBBLE/LIBBLE-MultiThread/tree/master/ParaGraphE下载。
2017-04-05 cs.AI
Discrete Knowledge Graph Embedding based on Discrete Optimization
Rutgers University(罗格斯大学);JD Finance America Corporation(京东金融美国公司);University College London(伦敦大学学院)
提出一种离散知识图谱(KG)嵌入方法(DKGE),该方法基于一种易于计算的离散优化算法将KG实体和关系投影到汉明空间中,以解决传统连续图嵌入方法中存储和计算开销大的问题.理论上可以保证DKGE的收敛性。大量的实验表明,DKGE实现了优越的精度比经典的散列函数,映射到离散代码的有效连续嵌入。此外,与许多连续图嵌入方法相比,DKGE以低得多的计算复杂性和存储达到相当的精度。
2021-01-13 cs.AI cs.CL cs.IR
Predicting Gene-Disease Associations with Knowledge Graph Embeddings over Multiple Ontologies
LASIGE;Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院)
基于本体的基因-疾病关联预测方法包括经典的语义相似度方法和最近的知识图谱嵌入方法。虽然语义相似性通常限于本体内的层次关系,但知识图谱嵌入考虑它们的全部广度。然而,嵌入是在单个图上产生的,并且诸如基因-疾病关联之类的复杂任务可能需要额外的本体。我们调查的影响,采用更丰富的语义表示,是基于一个以上的本体,能够代表基因和疾病,并考虑多种关系的本体。我们的实验证明了采用基于随机游走的知识图谱嵌入的价值,并强调了需要更紧密地集成不同的本体。
2021-05-31 cs.LG
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法,例如,transE和transH,通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而,最佳损失函数是在实验期间确定的,实验的参数是在一组封闭的候选者中检查的。此外,在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合,忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中,我们提出了一个局部自适应的翻译方法知识图谱嵌入,称为transA,找到最佳的损失函数,通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明,该方法的优越性,相比,国家的最先进的。
2015-12-04 cs.AI cs.CL
TorusE: Knowledge Graph Embedding on a Lie Group
SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
知识图谱对于许多人工智能(AI)任务是有用的。然而,知识图谱常常缺少事实。为了填充图,已经开发了知识图谱嵌入模型。知识图谱嵌入模型将知识图谱中的实体和关系映射到向量空间,并通过对候选三元组进行评分来预测未知三元组。transE是第一个基于推理的方法,它是众所周知的,因为它的简单和高效的知识图谱完成。它采用了实体嵌入之间的差异代表它们之间关系的原则。这个原理看起来很简单,但它可以有效地捕捉知识图谱的规则。然而,TransE在正则化方面存在问题。transE强制实体嵌入在嵌入向量空间中的球体上。这种正则化扭曲了嵌入,使它们难以满足上述原则。正则化也不利地影响链接预测的准确性。另一方面,正则化是很重要的,因为实体嵌入发散负采样没有它。本文提出了一种新的嵌入模型,TorusE,来解决正则化问题。transE原理可以定义在任何李群上。一个环面,这是一个紧李群,可以选择嵌入空间,以避免正则化。据我们所知,TorusE是第一个将对象嵌入到实向量空间或复向量空间之外的模型,本文是第一个正式讨论TransE正则化问题的模型。我们的方法优于其他国家的最先进的方法,如transE,DistMult和ComplEx的标准链接预测任务。我们表明,TorusE是可扩展的大型知识图谱,是比原来的transE更快。
2017-11-15 cs.AI
Explaining Link Predictions in Knowledge Graph Embedding Models with Influential Examples
Accenture Labs(埃森哲实验室)
研究了知识图谱嵌入模型中链接预测的解释问题。我们提出了一个基于实例的方法,利用潜在的空间表示的节点和边缘的知识图谱来解释预测。我们通过观察有影响力的三元组删除后模型性能的逐步退化来评估识别三元组的重要性。我们的实验表明,这种方法产生的解释优于基线KGE模型的两个公开可用的数据集。
2022-12-05 cs.LG
Multidimensional Knowledge Graph Embeddings for International Trade Flow Analysis
University of Bayreuth(拜罗伊特大学)
针对传统回归难以建模高维、强非线性贸易数据的问题,本文构建多维经济贸易知识图谱 KonecoKG,并通过 AmpliGraph 生成嵌入以预测国际贸易关系。
2024-10-19 cs.AI cs.IR cs.LG
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University(莱比锡大学)
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER,以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离,这是相对简单的。然而,以前的工作表明,单独使用图嵌入是不足以实现高ER质量。因此,我们提出了一个更全面的ER方法称为EAGER(嵌入辅助知识图谱实体解析)的知识图谱,灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法,并使用假设检验来确保我们的结果的统计显著性。此外,我们比较我们的方法与国家的最先进的ER解决方案,我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱,但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Customizing Knowledge Graph Embedding to Improve Clinical Study Recommendation
Novartis(诺华)
使用知识图谱嵌入从临床试验中推断知识是一个新兴的领域。然而,为不同的用例定制图嵌入仍然是一个重大的挑战。我们提出了custom 2 vec,一个算法框架,通过在训练嵌入中加入用户偏好来定制图嵌入。它通过添加从单独的信息检索方法的手动审查结果派生的自定义节点和链接来捕获用户首选项。我们提出了一个联合学习目标,以保留原始的网络结构,同时结合用户的自定义注释。我们假设自定义训练提高了用户预期的预测,例如,在链接预测任务中。我们通过两种定制方案证明了custom 2 vec在非小细胞肺癌(NSCLC)相关临床试验中的有效性:推荐评估PD-1抑制剂的免疫肿瘤学试验,以及探索将新疗法与标准治疗进行比较的类似试验。结果表明,自定义2 vec训练比传统的训练方法取得了更好的性能。我们的方法是一种自定义知识图谱嵌入并实现更准确的推荐和预测的新方法。
2022-12-28 cs.AI cs.CL cs.CY
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Siemens Corporate Technology(西门子企业技术)
神经网络的最新进展已经解决了常见的图形问题,如链接预测,节点分类,节点聚类,节点推荐,通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后,编码的嵌入可以用于预测图中丢失的链接。然而,获得最佳的嵌入图可以是一个具有挑战性的计算任务,特别是在嵌入式系统。我们在这项工作中关注的两个技术是1)基于随机游走的方法的节点嵌入和2)知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的,但是是次优的,而知识图谱嵌入表现更好,但是在计算上是昂贵的。在这项工作中,我们研究了一个转换模型,该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入,而不会增加计算成本。大量的实验表明,所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Robust Knowledge Graph Embedding via Denoising
Beihang University(北京航空航天大学)
针对嵌入空间扰动,提出去噪鲁棒KGE框架,结合分数匹配训练并引入认证鲁棒性指标,实验验证其优于现有方法。
2025-05-14 cs.LG
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学)
许多生物医学和医疗保健数据都以离散的符号形式编码,如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识,但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步,基于文本的表示学习有了显着的改进,但到目前为止,还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果,我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型,提供了与现有方法进行比较的基准和对最佳实践的深入讨论,并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入,代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);SAP SE Product Engineering Financial Services(SAP SE 产品工程金融服务部)
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱,即所有节点和边。这导致对大型图(如DBpedia或Wikidata)的计算要求非常高。然而,对于大多数下游应用场景,只有一小部分概念是真正感兴趣的。在本文中,我们提出了RDF 2 Vec Light,一种基于RDF 2 Vec的轻量级嵌入方法,它只为实体的一个子集生成矢量。为此,RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下,这样的嵌入是不可能的,由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna(维也纳医科大学)
近年来,基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用,并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上,但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中,我们提出了一个开源的评估管道,基准神经嵌入的准确性的情况下,知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施,使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
Fast Linear Model for Knowledge Graph Embeddings
Facebook AI Research(Facebook人工智能研究院)
本文表明,基于词袋(BoW)表示的简单基线可以学习到令人惊讶的良好知识图嵌入。通过将知识库完成和问题回答作为监督分类问题,我们观察到实体和关系的建模共存导致了最先进的性能,使用开源库fastText只需几分钟的训练时间。
2017-10-30 cs.LG stat.ML
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA(加州大学洛杉矶分校);Stony Brook University(石溪大学)
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的,因此实现跨语言知识对齐将有助于人们构建连贯的知识库,并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是,通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此,我们提出了MTransE,一个基于推理的多语言知识图谱嵌入模型,提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系,MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换,同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡,即轴校准,平移向量和线性变换,并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练,其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果,一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
随着将事实知识整合到预先训练的语言模型(如BERT)中的新兴分支的出现,大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入,这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中,我们提出了语境化语言和知识嵌入(CoLAKE),它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入,而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性,我们将它们集成到一个统一的数据结构中,即词-知识图谱(WK图)。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明,CoLAKE在大多数任务上都优于以前的同类算法.此外,CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能,这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Embedding Knowledge Graphs Based on Transitivity and Antisymmetry of Rules
知识图谱的表示学习将实体和关系类型编码到连续的低维向量空间中,学习实体和关系类型的嵌入。现有的方法大多只关注知识三元组,而忽略了包含丰富背景知识的逻辑规则。虽然已经有一些工作旨在利用知识三元组和逻辑规则,他们忽略了逻辑规则的传递性和反对称性。本文提出了一种新的方法来学习知识表示与实体和有序关系的知识和逻辑规则。其核心思想是将知识三元组与逻辑规则相结合,利用逻辑规则的传递性和反对称性,对逻辑规则中的关系类型进行近似排序。关系类型的嵌入的所有条目都被约束为非负。我们将一般的约束优化问题转化为无约束优化问题来求解非负矩阵分解。实验结果表明,我们的模型显着优于其他基线上的知识图谱完成任务。这表明我们的模型能够捕捉到传递性和反对称性信息,这在知识图谱的嵌入学习中具有重要意义。
2017-04-19 cs.AI
Expeditious Generation of Knowledge Graph Embeddings
University of Leipzig(莱比锡大学);University of Pennsylvania(宾夕法尼亚大学);Paderborn University(帕德博恩大学);University of Bonn(波恩大学)
知识图谱嵌入方法旨在将知识库中的实体和关系表示为连续向量空间中的点或向量。使用嵌入的几种方法已经在诸如链接预测、实体推荐、问答和三元组分类等任务上显示出有希望的结果。然而,只有少数方法可以计算非常大的知识库的低维嵌入,而不需要最先进的计算资源。在本文中,我们提出了KG 2Vec,一个简单而快速的知识图谱嵌入方法的基础上的跳跃图模型。我们不使用预定义的评分函数,而是依靠长短期记忆来学习它。我们表明,我们的嵌入实现的结果与最可扩展的方法知识图谱完成,以及一个新的度量。然而,KG2Vec可以在更短的时间内嵌入大型图形,在普通硬件上不到7小时就可以处理超过2.5亿个三元组。
2018-11-09 cs.AI cs.CL
Embedding Method for Knowledge Graph with Densely Defined Ontology
Fujitsu Limited(富士通公司)
针对现有知识图谱嵌入模型未充分利用本体中属性关系的局限性,提出一种将属性视为实体子集以实现统一表示的KGE模型TransU,并在标准与实用数据集上验证了其有效性。
2025-04-02 cs.AI cs.SI
TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors
Qihoo360(奇虎360);Xi’an Jiaotong University(西安交通大学)
基于翻译的知识图谱嵌入是transE提出以来知识表示学习的重要分支之一。虽然近年来许多基于预处理的方法取得了一定的进展,但其性能仍然不尽如人意。提出了一种新的知识图谱嵌入方法TripleRE,该方法具有两个版本。TripleRE的第一个版本创造性地将关系向量分为三个部分。第二个版本利用了残差的概念,并实现了更好的性能。此外,尝试使用NodePiece来编码实体在减少参数大小方面取得了令人满意的结果,并解决了可扩展性问题。实验结果表明,该方法在大规模知识图谱数据集上取得了较好的性能,在其他数据集上也取得了较好的性能。
2022-09-17 cs.AI
Continual Learning of Knowledge Graph Embeddings
Georgia Institute of Technology(佐治亚理工学院);University of Birmingham(伯明翰大学)
近年来,使用分布式(神经)表示来表示和推理机器人应用的语义知识的方法已经复苏。然而,虽然机器人经常观察以前未知的概念,但这些表示通常假设所有概念都是先验已知的,并且包含新信息需要重新学习所有概念。我们的工作放松了现有表示的这种限制性假设,并通过利用一系列持续学习方法的原理来解决增量知识图谱嵌入问题。通过几个知识图和嵌入表示的实验评估,我们提供了有关权衡从业者匹配语义驱动的机器人应用程序,以一个合适的连续知识图谱嵌入方法的见解。
2021-05-10 cs.LG cs.RO
Neural Regression with Embeddings for Numerical Attribute Prediction in Knowledge Graphs
Heinz Nixdorf Institute, Paderborn University(帕德博恩大学海因茨·尼克斯多夫研究所)
本研究提出神经回归模型LitEm及协同训练框架,使直推式知识图谱嵌入模型可预测数值属性,在多数据集上取得优异性,还提升了双线性模型的链接预测性能。
2026-08-31 cs.LG
A Semantic Partitioning Method for Large-Scale Training of Knowledge Graph Embeddings
Sorbonne University(索邦大学)
针对现有知识图谱嵌入忽略本体、语义不足且难以大规模训练的问题,提出基于类的语义分区算法以融合本体并支持并行训练,并在多个基准上验证效果。
2025-01-08 cs.DC cs.LG
Embedding Ontologies via Incorporating Extensional and Intensional Knowledge
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);China Mobile Research Institute(中国移动研究院)
本文提出EIKE方法,通过扩展空间和内涵空间整合本体实例、概念及关系,结合几何方法和预训练语言模型捕捉结构与文本信息,在三组数据集上优于现有方法。
2026-03-25 cs.AI cs.CL
Exploring Scholarly Data by Semantic Query on Knowledge Graph Embedding Space
SOKENDAI (The Graduate University for Advanced Studies)(后藤大学(高级研究研究生大学));National Institute of Informatics(信息研究院)
本文提出利用知识图谱嵌入空间的语义结构,通过定义嵌入向量间的代数语义查询,构建学术数据探索通用框架,并发现新的可解决任务。
2025-08-15 cs.AI cs.CL cs.DL
Knowledge Graph Embeddings and Explainable AI
Bocconi University(博科尼大学);IBM Research AI(IBM研究AI);Accenture Labs(埃森哲实验室);University of Milan-Bicocca(米兰比可卡大学);University College London(伦敦大学学院)
知识图谱嵌入是一种广泛采用的知识表示方法,其中实体和关系嵌入在向量空间中。在本章中,我们通过解释知识图谱嵌入的概念、如何生成它们以及如何评估它们来向读者介绍它们。我们总结了国家的最先进的在这一领域中描述的方法,已被引入到表示知识的向量空间。在知识表示方面,我们考虑了可解释性问题,并讨论了解释通过知识图谱嵌入获得的预测的模型和方法。
2020-04-30 cs.AI cs.CL