Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University(南京大学);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加利福尼亚大学);Alibaba Group(阿里巴巴集团)
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱(KG)的关联,使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后,我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University(东北大学);Ulster University(阿尔斯特大学)
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$,头实体$h$与尾实体$t$具有关系$r$,当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$,每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的,因此这些表示不能用于检测未知事实(如果实体或关系从未出现在知识图谱中)。本文提出了一种新的方法,称为transW,旨在超越目前的工作,组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词(通常),学习从单词嵌入空间到知识嵌入空间的映射函数是明智的,它显示了如何使用人类单词构建实体。更重要的是,使用词嵌入构成知识嵌入使得处理出现的新事实(新实体或关系)成为可能。使用三个公共数据集的实验结果表明,建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University(莱比锡大学)
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER,以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离,这是相对简单的。然而,以前的工作表明,单独使用图嵌入是不足以实现高ER质量。因此,我们提出了一个更全面的ER方法称为EAGER(嵌入辅助知识图谱实体解析)的知识图谱,灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法,并使用假设检验来确保我们的结果的统计显著性。此外,我们比较我们的方法与国家的最先进的ER解决方案,我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱,但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Siemens Corporate Technology(西门子企业技术)
神经网络的最新进展已经解决了常见的图形问题,如链接预测,节点分类,节点聚类,节点推荐,通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后,编码的嵌入可以用于预测图中丢失的链接。然而,获得最佳的嵌入图可以是一个具有挑战性的计算任务,特别是在嵌入式系统。我们在这项工作中关注的两个技术是1)基于随机游走的方法的节点嵌入和2)知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的,但是是次优的,而知识图谱嵌入表现更好,但是在计算上是昂贵的。在这项工作中,我们研究了一个转换模型,该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入,而不会增加计算成本。大量的实验表明,所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR(挪威地震阵列研究所);City, University of London(伦敦大学城市学院);Norwegian Institute for Water Research(挪威水研究所);University of Oslo(奥斯陆大学);University of Oxford(牛津大学);Norwegian University of Life Sciences(挪威生命科学大学);Norwegian Geotechnical Institute(挪威岩土工程研究所)
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务,即化学效应预测。我们已经评估了九个知识图谱嵌入模型,这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明,使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外,我们还实现了一个微调架构,使知识图谱嵌入适应效果预测任务,并带来更好的性能。最后,我们评估了知识图谱嵌入模型的某些特征,以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Kronecker Decomposition for Knowledge Graph Embeddings
Paderborn University(帕德博恩大学);Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所)
知识图谱嵌入研究主要集中在学习针对链接预测问题定制的实体和关系的连续表示。最近的结果表明,目前的方法对基准数据集的预测能力不断提高。然而,这种有效性往往伴随着过度参数化和计算复杂性增加的代价。前者引入了广泛的超参数优化来减轻恶意过拟合。后者放大了硬件彩票中奖的重要性。在这里,我们调查第一个问题的补救措施。我们提出了一种基于Kronecker分解的技术来减少知识图谱嵌入模型中的参数数量,同时保留其表达能力。通过Kronecker分解,在训练过程中将大的嵌入矩阵分解为较小的嵌入矩阵。因此,知识图谱的嵌入不是简单地检索,而是动态地重构。分解确保三个嵌入向量之间的元素级交互扩展为每个嵌入向量内的交互。这隐含地减少了嵌入向量的冗余,并鼓励特征重用。为了量化应用Kronecker分解对嵌入矩阵的影响,我们在基准数据集上进行了一系列实验。我们的实验表明,在嵌入矩阵上应用Kronecker分解可以提高所有基准数据集的参数效率。此外,经验证据表明,重建的嵌入需要对输入知识图谱中的噪声的鲁棒性。为了促进可重复的研究,我们提供了我们方法的开源实现,包括训练和评估脚本以及我们的知识图谱嵌入框架中的预训练模型(https://github.com/dice-group/dice-embeddings)。
2022-05-13 cs.AI cs.LG
Fast Linear Model for Knowledge Graph Embeddings
Facebook AI Research(Facebook人工智能研究院)
本文表明,基于词袋(BoW)表示的简单基线可以学习到令人惊讶的良好知识图嵌入。通过将知识库完成和问题回答作为监督分类问题,我们观察到实体和关系的建模共存导致了最先进的性能,使用开源库fastText只需几分钟的训练时间。
2017-10-30 cs.LG stat.ML
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中,我们提出了一个组理论的角度来看,知识图谱嵌入,连接以前的方法与不同的群体行动。此外,通过利用舒尔引理从群表示理论,我们表明,国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
A Survey on Signed Graph Embedding: Methods and Applications
University of North Carolina Charlotte(北卡罗来纳大学夏洛特分校)
本文综述同构与异构符号图嵌入的理论、方法、应用及挑战,并通过引文作者网络案例、源码和数据集展望未来方向。
2024-09-05 cs.LG cs.SI
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford(牛津大学)
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成(TKGC)是该任务到时间知识图谱的扩展,其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上,这些模型是为(静态)知识图谱完成而开发的,并将这些模型扩展到包含时间,其中的想法是学习实体,关系和时间戳的潜在表示,然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上,提出了一种面向TKGC的嵌入模型BoxTE。我们发现,BoxTE是充分的表达,并具有很强的归纳能力的时间设置。然后,我们实证评估我们的模型,并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh(爱丁堡大学);University of Victoria(维多利亚大学)
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能,实现HITS@10三倍提升,并通过规则方法提供可解释预测,验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Continual Learning of Knowledge Graph Embeddings
Georgia Institute of Technology(佐治亚理工学院);University of Birmingham(伯明翰大学)
近年来,使用分布式(神经)表示来表示和推理机器人应用的语义知识的方法已经复苏。然而,虽然机器人经常观察以前未知的概念,但这些表示通常假设所有概念都是先验已知的,并且包含新信息需要重新学习所有概念。我们的工作放松了现有表示的这种限制性假设,并通过利用一系列持续学习方法的原理来解决增量知识图谱嵌入问题。通过几个知识图和嵌入表示的实验评估,我们提供了有关权衡从业者匹配语义驱动的机器人应用程序,以一个合适的连续知识图谱嵌入方法的见解。
2021-05-10 cs.LG cs.RO
A Semantic Partitioning Method for Large-Scale Training of Knowledge Graph Embeddings
Sorbonne University(索邦大学)
针对现有知识图谱嵌入忽略本体、语义不足且难以大规模训练的问题,提出基于类的语义分区算法以融合本体并支持并行训练,并在多个基准上验证效果。
2025-01-08 cs.DC cs.LG
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);Hokkaido University(北海道大学)
本文从word2vec中的二次抽样方法出发,介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Hardware-agnostic Computation for Large-scale Knowledge Graph Embeddings
Paderborn University(帕德博恩大学)
知识图谱嵌入的研究主要集中在学习连续表示的知识图谱的链接预测问题。最近开发的框架可以有效地应用于研究相关的应用程序。然而,这些框架并不能满足现实世界应用程序的许多要求。随着知识图谱的大小增长,将计算从商品计算机移动到这些框架中的计算机集群变得更具挑战性。寻找合适的超参数设置w.r.t.时间和计算预算留给实践者。此外,知识图谱嵌入框架中的持续学习方面经常被忽视,尽管持续学习在许多现实世界(深度)学习驱动的应用中起着重要作用。可以说,这些限制解释了缺乏公开可用的知识图谱嵌入模型的大型知识图谱。我们开发了一个基于DASK、Pytorch Lightning和Hugging Face的框架,以硬件无关的方式计算大规模知识图谱的嵌入,这能够解决与实际应用规模相关的现实挑战。我们提供了我们框架的开源版本以及具有超过11.4 B参数的预训练模型的中心。
2022-07-18 cs.AI cs.LG
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine(洛林大学)
“经典”词嵌入,如Word 2 Vec,已被证明可以根据词的分布特性捕获词的语义。然而,它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系,如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系,但不能直接捕捉这些词的组合属性。据我们所知,最近的研究主要集中在表示学习上,它可以增强一个学习者和另一个学习者的优势。在这项工作中,我们开始探索另一种方法,使用上下文和KB嵌入联合在同一水平上,并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型,并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础,朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST(韩国科学技术院)
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题,本文提出 InGram,通过关系图与注意力机制聚合生成新实体和新关系嵌入,并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin(柏林工业大学);Sapienza University of Rome(罗马第一大学)
知识图谱完成(又名~链接预测),即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的,因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果,使得这种解决方案不适用于关键领域,如医疗保健。为了进一步提高知识图谱完成的准确性,我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理(例如,OWL2)。通过这种方式,我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度,而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明,我们提高了香草知识图谱嵌入的MRR精度高达3倍,并优于混合解决方案,结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources
Beijing University of Posts and Telecommunications(北京邮电大学);Case Western Reserve University(凯斯西储大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
异构图(HGs)也被称为异构信息网络,在现实世界的场景中已经变得无处不在;因此,HG嵌入,其目的是学习低维空间中的表示,同时保留下游任务的异构结构和语义(例如,节点/图分类、节点聚类、链接预测)近年来引起了相当大的关注。在这篇综述中,我们对HG嵌入方法和技术的最新发展进行了全面的回顾。首先介绍了HG的基本概念,并与同构图表示学习进行了比较,讨论了异构性对HG嵌入带来的独特挑战;然后根据HG嵌入方法在学习过程中使用的信息,对HG嵌入方法进行了系统的调查和分类,以解决HG异构性带来的挑战。特别是对每一种具有代表性的HG嵌入方法进行了详细的介绍,并进一步分析了其优缺点,同时首次探讨了不同类型HG嵌入方法在现实工业环境中的转化性和适用性。此外,我们还介绍了几个广泛部署的系统,这些系统已经证明了HG嵌入技术在解决具有更广泛影响的实际应用问题方面的成功。为了便于将来在这一领域的研究和应用,我们还总结了开源代码,现有的图学习平台和基准数据集。最后,我们探讨了HG嵌入的其他问题和挑战,并预测了该领域未来的研究方向。
2020-11-30 cs.LG cs.SI
Improved Knowledge Graph Embedding using Background Taxonomic Information
The University of British Columbia(不列颠哥伦比亚大学)
知识图谱用于以三元组的形式表示关系信息。为了能够学习域,可以使用嵌入模型(例如张量因子分解模型)来预测新的三元组。通常还应该考虑背景分类学信息(根据子类和亚特性)。我们表明,现有的充分表达(a.k.a.通用)模型不能证明地尊重子类和子属性信息。我们表明,最小的修改现有的知识图谱完成方法,使注入分类信息。此外,我们证明了我们的模型是完全表达,假设一个下限的嵌入的大小。公共知识图谱上的实验结果表明,尽管它的简单,我们的方法是令人惊讶的有效。
2018-12-07 cs.LG stat.ML
$μ\text{KG}$: A Library for Multi-source Knowledge Graph Embeddings and Applications
Nanjing University(南京大学)
本文介绍了$μ\text{KG}$,一个开源的Python库,用于知识图谱上的表示学习。$μ\text{KG}$支持多源知识图谱(以及单个知识图谱)、多个深度学习库(PyTorch和TensorFlow 2)、多个嵌入任务(链接预测、实体对齐、实体类型和多源链接预测)以及多个并行计算模式(多进程和多GPU计算)的联合表示学习。它目前实现了26个流行的知识图谱嵌入模型,并支持16个基准数据集。$μ\text{KG}$提供嵌入技术的高级实现,简化了不同任务的流水线。它还提供了高质量的文档,便于使用。$μ\text{KG}$比现有的知识图谱嵌入库更全面。这对于深入比较和分析各种嵌入模型和任务非常有用。我们表明,联合学习的嵌入可以极大地帮助知识驱动的下游任务,如多跳知识图谱问答。我们会密切留意有关范畴的最新发展,并将其纳入$μ\text{KG}$。
2022-07-28 cs.AI cs.CL cs.LG
Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);National Institute of Healthcare Data Science(国家健康医疗数据科学研究院)
联邦学习(FL)最近出现的一个范例,训练一个全球性的机器学习模型在分布式客户端,而无需共享原始数据。知识图谱(KG)嵌入表示连续向量空间中的知识图谱,是许多知识驱动应用的基础。作为一个有前途的组合,联邦KG嵌入可以充分利用从不同客户端学习的知识,同时保护本地数据的隐私。然而,数据异构、知识遗忘等现实问题仍然有待关注。在本文中,我们提出了FedLU,异构KG嵌入学习和unlearning的一种新的FL框架。为了解决数据异构导致的局部最优与全局收敛之间的漂移问题,提出了相互知识蒸馏的方法,将局部知识转移到全局,并吸收全局知识。提出了一种基于认知神经科学的去学习方法,该方法结合了回溯性干扰和被动衰减,通过重用知识蒸馏将局部客户端的特定知识擦除并传播到全局模型。我们构建了新的数据集,用于评估最先进技术的现实表现。大量的实验表明,FedLU在链接预测和知识遗忘方面都取得了优异的成绩。
2023-02-26 cs.CL cs.LG
Knowledge Embedding Based Graph Convolutional Network
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
近年来,围绕图卷积网络(GCN)的研究已经有了相当多的文献。如何有效地利用复杂图中丰富的结构信息,例如具有异构类型的实体和关系的知识图谱,是该领域的主要挑战。大多数GCN方法要么局限于具有齐型边的图(例如,仅引用链接),或者仅关注节点的表示学习,而不是针对目标驱动的目标联合传播和更新节点和边两者的嵌入。本文通过提出一种新的框架来解决这些局限性,即基于知识嵌入的图卷积网络(KE-GCN),它结合了GCN在基于图的信念传播中的能力和高级知识嵌入(a.k.a.知识图谱嵌入)方法,并有所超越。我们的理论分析表明,KE-GCN提供了一个优雅的统一的几个著名的GCN方法作为特定的情况下,与一个新的角度图卷积。在基准数据集上的实验结果表明,KE-GCN在知识图谱对齐和实体分类方面优于强基线方法。
2021-04-23 cs.LG stat.ML
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria(卡拉布里亚大学);University of Rome La Sapienza(罗马大学(罗马第一大学))
图嵌入技术允许从图结构中学习高质量的特征向量,并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习(知识)图中节点的特征向量。据我们所知,他们都没有解决嵌入的问题,图的边缘,即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上,并且通过应用一些操作(例如,平均)对端点节点的嵌入。本文的目标是介绍Triple2Vec,一种直接在(知识)图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地,线图的节点是原始图的边。我们表明,直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的,在知识图谱的上下文中。因此,我们引入三线图的概念。第二种是一种边加权机制,适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走,可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成,其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界(知识)图,并将其与相关的工作。
2019-05-28 cs.AI cs.LG
Edge: Enriching Knowledge Graph Embeddings with External Text
University of Georgia(佐治亚大学);Adobe Research(Adobe研究院)
知识图谱具有稀疏性,这降低了由各种方法生成的表示的质量。虽然在整个网络和许多现有的知识库中有大量的文本信息,但在这些不同的数据源中对齐信息仍然是文献中的一个挑战。以前的工作已经部分解决了这个问题,丰富的知识图谱实体的基础上“硬”的词出现在知识图谱和外部文本的实体,而我们实现“软”的增强,提出了一个知识图谱丰富和嵌入框架命名边缘。给定一个原始的知识图谱,我们首先生成一个丰富的,但噪声增强图使用外部文本在语义和结构层次。为了提取相关知识并抑制引入的噪声,我们在原始图和增强图之间的共享嵌入空间中设计了图对齐项。为了增强在增强图上的嵌入学习,我们进一步基于负采样正则化目标实体的局部关系。在四个基准数据集上的实验结果表明,Edge算法在链接预测和节点分类中具有良好的鲁棒性和有效性.
2021-04-11 cs.CL cs.LG
Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction
University of Tehran(德黑兰大学)
一些模型试图通过在更低的维度中嵌入知识图谱来解决链接预测问题,也称为知识图谱完成。然而,国家的最先进的结果是在相当大的增加嵌入的维数的成本,导致可扩展性问题的情况下,巨大的知识库。Transformers最近已经成功地用作知识图谱的强大编码器,但是可用的模型仍然具有可扩展性问题。为了解决这个问题,我们引入了一个基于transformer的模型来获得有表现力的低维嵌入。我们利用大量的自注意力头的关键应用查询相关的投影捕捉实体和关系之间的互信息。以WN 18 RR和FB 15 k-237作为标准链接预测基准测试的实验结果表明,该模型与当前最先进的模型具有相当的性能。值得注意的是,与最近五个最好的最先进的竞争对手相比,我们得到了令人鼓舞的结果,嵌入的维度平均减少了66.9%。
2022-11-26 cs.AI cs.LG
On The Expressive Power of Knowledge Graph Embedding Methods
本文提出一个数学框架比较知识图谱嵌入方法的推理能力,证明STransE优于TransComplEx,并提出新方法STransCoRe结合TransCoRe见解改进STransE以降低空间复杂度。
2024-07-26 cs.AI cs.LG
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions
Tsinghua University(清华大学)
知识表示是人工智能中一个重要的、历史悠久的课题,并且已经有大量的工作用于知识图谱嵌入,其将符号实体和关系投影到低维、实值向量空间中。然而,大多数嵌入方法只关注数据拟合,而忽略了显式的语义表达,导致不可解释的表示。因此,传统的嵌入方法对于诸如问答和实体分类的许多应用具有有限的潜力。为此,本文提出了一种知识图谱\textbf{(KSR)}的语义表示方法,该方法采用两级分层生成过程,在全局上提取多个方面,然后在每个方面为每个三元组分配一个特定的类别。由于方面和范畴都是语义相关的,因此每个方面中的范畴集合被视为这个三元组的语义表示。大量的实验证明,我们的模型大大优于其他国家的最先进的基线。
2017-06-17 cs.CL cs.LG
NagE: Non-Abelian Group Embedding for Knowledge Graphs
Boston College(波士顿学院);Brandeis University(布兰迪斯大学)
我们证明了隐藏在关系知识嵌入问题中的群代数结构的存在,这表明基于群的嵌入框架对于设计嵌入模型至关重要。我们的理论分析只是探讨嵌入问题本身的内在属性,因此是模型无关的。在理论分析的基础上,提出了一种基于群论的知识图谱嵌入框架,将关系嵌入为群元素,实体用群行为空间中的向量表示。我们提供了一个通用的配方来构建嵌入模型与两个实例化的例子:SO3E和SU2E,这两个应用连续的非阿贝尔群作为关系嵌入。使用这两个示例模型的实证实验在基准数据集上显示了最先进的结果。
2020-09-03 cs.AI cs.LG math.GR
From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction
Tsinghua University(清华大学)
知识图谱嵌入的目的是通过将实体和关系转换到连续的向量空间中来提供一种数值化的知识表示范式。然而,现有的方法不能对知识图谱进行精细的描述,从而不能做出精确的预测。其原因有二:一是作为一个不适定的代数系统,二是应用了过于严格的几何形式。由于精确的预测是至关重要的,我们提出了一个基于流形的嵌入原则(\textbf{ManifoldE}),它可以被视为一个适定的代数系统,扩展的位置黄金三元组从一个点在当前的模型在我们的流形。大量的实验表明,所提出的模型实现了对国家的最先进的基线,特别是对于精确的预测任务的实质性改善,但仍保持高效率。
2017-06-17 cs.AI cs.LG
Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation
Nanyang Technological University(南洋理工大学)
本文提出FedKD,通过知识蒸馏实现低维联邦知识图谱嵌入,缓解教师模型过度自信问题,提升通信效率和训练效果。
2026-01-10 cs.AI cs.LG
Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings
Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
PEEK通过适应预训练嵌入模型,高效探测大语言模型的知识,准确率达90%,揭示了事实表示的底层结构。
2026-01-23 cs.CL cs.LG
Product Knowledge Graph Embedding for E-commerce
Walmart Labs(沃尔玛实验室)
在本文中,我们提出了一种新的产品知识图谱(PKG)嵌入方法学习的内在产品关系作为产品知识的电子商业。我们定义了关键实体,并总结了关键的产品关系,是至关重要的一般电子商业应用程序,包括营销,广告,搜索排名和推荐。我们首先提供了一个全面的比较PKG和普通的知识图谱(KG),然后说明为什么KG嵌入方法不适合PKG学习。我们构建了一个自我注意增强的分布式表示学习模型,用于以端到端的方式从原始客户活动数据中学习PKG嵌入。我们设计了一个有效的多任务学习模式,充分利用多模态电子商业数据。庞加莱嵌入也被用来处理复杂的实体结构。我们使用来自grocery.walmart.com的真实世界数据集来评估知识完成,搜索排名和推荐的性能。所提出的方法相比,在知识完成和下游任务的基线。
2019-11-28 cs.IR cs.LG stat.ML
Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding
Zhejiang University(浙江大学);Huawei Technologies Co., Ltd.(华为技术有限公司);State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
由大量三元组组成的知识图(Knowledge Graph,KG)近年来得到广泛应用,许多知识图谱嵌入(Knowledge Graph,KGE)方法被提出来将KG中的实体和关系嵌入到连续向量空间中。这种嵌入方法简化了进行各种KG内任务(例如,链接预测)和KG外任务(例如,问答)。它们可以被视为代表KG的一般解决方案。然而,现有的KGE方法不适用于归纳设置,其中在源KG上训练的模型将在目标KG上进行测试,其中在模型训练期间看不到实体。现有的工作集中在归纳设置中的KG只能解决归纳关系预测任务。它们不能像KGE方法那样处理其他KG外的任务,因为它们不为实体生成嵌入。在本文中,实现归纳知识图谱嵌入,我们提出了一个模型MorsE,它不学习实体的嵌入,但学习可转移的元知识,可用于产生实体嵌入。这种元知识由实体独立的模块建模,并通过元学习来学习。实验结果表明,我们的模型显着优于相应的基线在KG和KG外的任务在归纳设置。
2022-05-06 cs.AI cs.CL cs.LG
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group(阿里巴巴集团)
多关系知识库问答(KBQA)系统在知识图谱(KG)上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入(KGE)技术来处理KG不完全性,但只考虑三重事实,而忽略了路径和多关系问题之间的重要语义相关性。在本文中,我们提出了一个路径和知识嵌入增强的多关系问答模型(PKEEQA),它利用KG中实体之间的多跳路径,通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性,有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明,PKEEQA提高了KBQA模型的多关系问答的性能,解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
Holographic Embeddings of Knowledge Graphs
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Universita Degli Studi Di Genova(热那亚大学)
实体和关系的学习嵌入是对诸如知识图谱的关系数据执行机器学习的有效且通用的方法。在这项工作中,我们提出了全息嵌入(HolE)来学习整个知识图谱的组成向量空间表示。所提出的方法与关联记忆的全息模型有关,因为它采用循环相关来创建组合表示。通过使用相关性作为组合算子,HolE可以捕获丰富的交互,但同时保持计算效率,易于训练,并且可扩展到非常大的数据集。在大量的实验中,我们表明,全息嵌入能够优于最先进的方法,在知识图谱和关系学习基准数据集的链接预测。
2015-12-07 cs.AI cs.LG stat.ML
Bayes EMbedding (BEM): Refining Representation by Integrating Knowledge Graphs and Behavior-specific Networks
University of California, Berkeley(加州大学伯克利分校);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
知识图谱和行为图谱的低维嵌入已经证明在各种任务中非常强大,从预测实体之间未观察到的边缘到内容推荐。这两种类型的图可以包含相同实体/节点的不同和互补的信息。然而,以往的工作集中在知识图谱嵌入或行为图嵌入,而很少有工作考虑在一个统一的方式。在这里,我们提出了BEM,贝叶斯框架,它结合了从知识图谱和行为图的信息。更具体地说,BEM将来自知识图谱的预训练嵌入作为先验,并通过贝叶斯生成模型将它们与来自行为图谱的预训练嵌入相结合。边界元法能够在保持各自拓扑结构的前提下,从两侧相互细化嵌入。为了显示我们的方法的优越性,我们进行了一系列的实验在三个基准数据集:节点分类,链接预测,三元组分类的两个小数据集相关的Freebase,和项目推荐的大规模电子商务数据集。
2019-08-28 cs.LG cs.SI stat.ML
Knowledge Graph Embeddings in Geometric Algebras
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
知识图谱(KG)嵌入的目的是将KG中的实体和关系嵌入到低维的潜在表示空间中。现有的KG嵌入方法通过利用实值、复值或超复值(四元数或八元数)表示来对KG中的实体和关系进行建模,所有这些表示都包含在几何代数中。在这项工作中,我们介绍了一种新的几何代数为基础的KG嵌入框架,GeomE,它利用多向量表示和几何积模型的实体和关系。我们的框架包含了几种最先进的KG嵌入方法,具有建模各种关键关系模式的能力,包括(反)对称,反转和组合,丰富的表达能力和更高的自由度以及良好的泛化能力。在多个基准知识图谱上的实验结果表明,该方法优于现有的链接预测模型.
2021-03-22 cs.AI cs.LG stat.ML
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs(甲骨文实验室);AEHRC, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性,给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标,这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明,我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得:\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
University of Science and Technology of China(中国科学技术大学)
知识图谱嵌入,旨在将实体和关系表示为低维向量(或矩阵,张量等),已被证明是预测知识图谱中缺失链接的强大技术。现有的知识图谱嵌入模型主要集中在对称/反对称、反转、组合等关系模式的建模上。然而,许多现有的方法无法建模语义层次结构,这是常见的在现实世界中的应用。为了解决这个问题,我们提出了一种新的知识图谱嵌入模型-即层次感知知识图谱嵌入(HAKE)-将实体映射到极坐标系。HAKE的灵感来自于极坐标系中的同心圆可以自然地反映层次结构。具体而言,径向坐标旨在对层次结构中不同级别的实体进行建模,并且具有较小半径的实体预计处于较高级别;角坐标旨在区分层次结构中相同级别的实体,并且这些实体预计具有大致相同的半径但不同的角度。实验表明,HAKE可以有效地建模知识图谱中的语义层次结构,并显着优于现有的最先进的方法在基准数据集上的链接预测任务。
2022-04-06 cs.CL cs.LG stat.ML
Demographic Aware Probabilistic Medical Knowledge Graph Embeddings of Electronic Medical Records
University of Bonn(波恩大学)
由电子病历构建的医学知识图谱包含了丰富的患者和医疗实体信息。KG嵌入模型在这些数据上的利用已被证明对于不同的医疗任务是有效的。然而,现有的模型没有适当地纳入患者的人口统计数据,他们中的大多数忽略了医疗KG的概率特征。在本文中,我们提出了DARLING(人口统计学感知pRobabiListic medIcal kNowledge embeddinG),一个人口统计学感知的医疗KG嵌入框架,通过将患者人口统计数据与相应的超平面相关联,明确地将人口统计数据纳入医疗实体空间。我们的框架利用医疗实体内的概率特征,通过人口统计学指导来学习它们的表示。我们评估DARLING通过链接预测的治疗和药物,从EMR数据构建的医疗KG,并说明其优越的性能相比,现有的KG嵌入模型。
2021-04-03 cs.AI cs.IR cs.LG
Embedding Knowledge Graph in Function Spaces
Paderborn University(帕德博恩大学)
提出一种在有限维函数空间而非向量空间中嵌入知识图谱的新方法,通过多项式函数和神经网络计算嵌入,提升了表达能力和自由度,支持组合、导数等操作,并提供了可复现代码。
2024-09-24 cs.AI cs.LG stat.ML
The KEEN Universe: An Ecosystem for Knowledge Graph Embeddings with a Focus on Reproducibility and Transferability
University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所(IAIS));Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)(弗劳恩霍夫算法与科学计算研究所(SCAI))
在连续向量空间中嵌入知识图谱(KG)以便将其用于机器学习任务的新兴趋势。最近,已经提出了许多知识图谱嵌入(KGE)模型,其在学习低维表示的同时试图保持KGs的结构属性,诸如节点的相似性取决于它们的边缘到其他节点。KGE可以用于解决KG内的任务,例如预测新链接和消除实体的歧义。它们也可以用于下游任务,如问答和事实核查。总的来说,这些任务与语义Web社区相关。尽管它们很受欢迎,但KGE实验的可重复性和所提出的KGE模型到机器学习社区以外的研究领域的可转移性可能是一个重大挑战。因此,我们提出了KEEN Universe,这是一个知识图谱嵌入的生态系统,我们开发了该生态系统,重点关注可重复性和可转移性。KEEN Universe目前由Python包PyKEEN(Python KnowlEdge EmbeddiNgs)、BioKEEN(Biological KnowlEdge EmbeddiNgs)和KEEN Model Zoo组成,用于与社区共享经过训练的KGE模型。
2020-01-28 cs.AI cs.LG stat.ML
MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology(大连理工大学);Macquarie University(麦考瑞大学)
基于知识图谱嵌入的链接预测技术旨在预测新的三元组以自动构建知识图谱。然而,最近的KGE模型通过过度增加嵌入维数来实现性能改进,这可能会导致巨大的训练成本并需要更多的存储空间。在本文中,而不是训练高维模型,我们提出了MulDE,一种新的知识蒸馏框架,其中包括多个低维双曲KGE模型作为教师和两个学生组件,即初中和高中。在一种新的迭代蒸馏策略下,低维KGE模型Junior组件根据其初步预测结果主动询问教师,Senior组件基于关系特定缩放和对比注意两种机制自适应地整合教师知识对Junior组件进行训练.实验结果表明,MulDE能有效提高低维KGE模型的性能和训练速度。与几个广泛使用的数据集上的最先进的高维方法相比,蒸馏的32维模型具有竞争力。
2021-04-01 cs.AI cs.CL cs.LG
Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
本文提出多嵌入交互机制以统一并理论推导 CP、DistMult、ComplEx 等知识图谱嵌入模型,同时给出基于四元数代数的新模型并在基准上验证其效果。
2023-04-25 cs.AI cs.LG stat.ML
Faithiful Embeddings for EL++ Knowledge Bases
University of Stuttgart(斯图加特大学);Imperial College London(帝国理工学院);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southampton(南安普顿大学)
最近,越来越多的努力投入到学习符号知识库(KB)的连续表示。然而,这些方法要么只嵌入数据级知识(ABox),要么在处理概念级知识(TBox)时受到固有的限制,即,它们不能忠实地对KB中存在的逻辑结构建模。我们提出了BoxEL,这是一种几何KB嵌入方法,可以更好地捕获逻辑结构(即,ABox和TBox公理)。BoxEL将知识库中的概念建模为轴平行框,其适合于将概念相交建模,将实体建模为框内的点,并且将概念/实体之间的关系建模为仿射变换。我们展示了BoxEL的理论保证(健全性),以保持逻辑结构。即,损失为0的BoxEL嵌入的学习模型是KB的(逻辑)模型。实验结果表明,BoxEL算法优于传统的知识图谱嵌入方法和最先进的EL++嵌入方法。
2022-09-21 cs.AI cs.LG cs.LO
MOHONE: Modeling Higher Order Network Effects in KnowledgeGraphs via Network Infused Embeddings
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
许多知识图谱嵌入方法对三元组进行操作,因此隐含地受到整个知识图谱的非常局部的视图的限制。我们提出了一个新的框架MOHONE有效地建模知识图中的高阶网络效应,从而使人们能够捕捉不同程度的网络连接(从本地到全球)。我们的框架是通用的,明确地模拟网络规模,并捕捉网络中相似性的两个不同方面:(a)共享的局部邻域和(b)基于角色的结构相似性。首先,我们介绍了学习网络表示的知识图谱捕捉这些不同方面的相似性的实体的方法。然后,我们提出了一种快速,有效的方法,将这些网络表示捕获到现有的知识图谱嵌入的信息。我们表明,我们的方法一致和显着提高性能的链接预测的几种不同的知识图嵌入方法,包括TRANSE,TRANSD,DISTMULT,和复杂(至少4点或17%,在某些情况下)。
2018-11-01 cs.AI cs.CL cs.LG
Discrete Knowledge Graph Embedding based on Discrete Optimization
Rutgers University(罗格斯大学);JD Finance America Corporation(京东金融美国公司);University College London(伦敦大学学院)
提出一种离散知识图谱(KG)嵌入方法(DKGE),该方法基于一种易于计算的离散优化算法将KG实体和关系投影到汉明空间中,以解决传统连续图嵌入方法中存储和计算开销大的问题.理论上可以保证DKGE的收敛性。大量的实验表明,DKGE实现了优越的精度比经典的散列函数,映射到离散代码的有效连续嵌入。此外,与许多连续图嵌入方法相比,DKGE以低得多的计算复杂性和存储达到相当的精度。
2021-01-13 cs.AI cs.CL cs.IR
Multidimensional Knowledge Graph Embeddings for International Trade Flow Analysis
University of Bayreuth(拜罗伊特大学)
针对传统回归难以建模高维、强非线性贸易数据的问题,本文构建多维经济贸易知识图谱 KonecoKG,并通过 AmpliGraph 生成嵌入以预测国际贸易关系。
2024-10-19 cs.AI cs.IR cs.LG
Customizing Knowledge Graph Embedding to Improve Clinical Study Recommendation
Novartis(诺华)
使用知识图谱嵌入从临床试验中推断知识是一个新兴的领域。然而,为不同的用例定制图嵌入仍然是一个重大的挑战。我们提出了custom 2 vec,一个算法框架,通过在训练嵌入中加入用户偏好来定制图嵌入。它通过添加从单独的信息检索方法的手动审查结果派生的自定义节点和链接来捕获用户首选项。我们提出了一个联合学习目标,以保留原始的网络结构,同时结合用户的自定义注释。我们假设自定义训练提高了用户预期的预测,例如,在链接预测任务中。我们通过两种定制方案证明了custom 2 vec在非小细胞肺癌(NSCLC)相关临床试验中的有效性:推荐评估PD-1抑制剂的免疫肿瘤学试验,以及探索将新疗法与标准治疗进行比较的类似试验。结果表明,自定义2 vec训练比传统的训练方法取得了更好的性能。我们的方法是一种自定义知识图谱嵌入并实现更准确的推荐和预测的新方法。
2022-12-28 cs.AI cs.CL cs.CY
Embedding Compression for Teacher-to-Student Knowledge Transfer
Georgia Institute of Technology(佐治亚理工学院)
针对教师嵌入包含目标任务无关知识的问题,提出带有可训练教师变换的嵌入压缩模块以获取紧凑教师嵌入,实验证明该方法提升了分类性能及学生模型的泛化能力。
2024-02-09 cs.LG
Embedding World Knowledge into Tabular Models: Towards Best Practices for Embedding Pipeline Design
本文通过系统评估256种管道配置,探讨了如何设计有效的LLM嵌入管道,发现嵌入方式和模型选择对预测性能有显著影响,梯度提升树表现优异。
2026-03-18 cs.LG
Differentially Private Federated Knowledge Graphs Embedding
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑计算高精尖创新中心);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系);AI Group, Webank Co., Ltd(微众银行股份有限公司AI团队);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络空间科学与技术学院);Peng Cheng Laboratory(鹏城实验室);SKLSDE, Beihang University(北京航空航天大学软件开发环境国家重点实验室)
知识图谱嵌入在知识表示、推理和数据采掘等应用中起着重要的作用。然而,对于多个跨领域的知识图谱,现有的嵌入模型不能充分利用来自不同知识领域的数据,同时保护交换数据的隐私。此外,集中式嵌入模型可能无法扩展到广泛的现实世界知识图谱。因此,我们提出了一种新的分散的可扩展的学习框架,\emph{Federated Knowledge Graphs Embedding}(FKGE),其中嵌入从不同的知识图谱可以学习在一个异步和对等的方式,同时是隐私保护。FKGE利用知识图谱对之间的对抗生成,将不同领域的相同实体和关系转换到近嵌入空间。为了保护训练数据的隐私,FKGE进一步实现了隐私保护的神经网络结构,以保证原始数据不泄漏。我们进行了广泛的实验,以评估FKGE上的11个知识图谱,表现出显着的和一致的改进模型的质量与最多17.85\%和7.90\%的三重分类和链接预测任务的性能提高。
2021-08-16 cs.LG
A Survey on Recent Random Walk-based Methods for Embedding Knowledge Graphs
The University of Georgia(佐治亚大学)
本文综述了知识图谱及其嵌入技术,重点回顾了近年来开发的基于随机游走的嵌入方法,以解决知识图谱高维度数据需转换为低维向量空间的问题。
2024-09-24 cs.LG