TorusE: Knowledge Graph Embedding on a Lie Group
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
知识图谱对于许多人工智能（AI）任务是有用的。然而，知识图谱常常缺少事实。为了填充图，已经开发了知识图谱嵌入模型。知识图谱嵌入模型将知识图谱中的实体和关系映射到向量空间，并通过对候选三元组进行评分来预测未知三元组。transE是第一个基于推理的方法，它是众所周知的，因为它的简单和高效的知识图谱完成。它采用了实体嵌入之间的差异代表它们之间关系的原则。这个原理看起来很简单，但它可以有效地捕捉知识图谱的规则。然而，TransE在正则化方面存在问题。transE强制实体嵌入在嵌入向量空间中的球体上。这种正则化扭曲了嵌入，使它们难以满足上述原则。正则化也不利地影响链接预测的准确性。另一方面，正则化是很重要的，因为实体嵌入发散负采样没有它。本文提出了一种新的嵌入模型，TorusE，来解决正则化问题。transE原理可以定义在任何李群上。一个环面，这是一个紧李群，可以选择嵌入空间，以避免正则化。据我们所知，TorusE是第一个将对象嵌入到实向量空间或复向量空间之外的模型，本文是第一个正式讨论TransE正则化问题的模型。我们的方法优于其他国家的最先进的方法，如transE，DistMult和ComplEx的标准链接预测任务。我们表明，TorusE是可扩展的大型知识图谱，是比原来的transE更快。
2017-11-15 cs.AI
ProjE: Embedding Projection for Knowledge Graph Completion
University of Notre Dame（圣母大学）
随着每天产生的大量新信息，确定知识图谱中信息的有效性并填充其缺失部分是许多研究人员和实践者的关键任务。为了解决这个问题，许多知识图谱完成方法已经开发使用低维图嵌入。虽然研究人员继续使用越来越复杂的特征空间来改进这些模型，但我们表明，基础模型架构的简单变化可以胜过最先进的模型，而无需复杂的特征工程。在这项工作中，我们提出了一个共享变量的神经网络模型，称为ProjE，填补缺失的信息在知识图谱通过学习联合嵌入的知识图谱的实体和边缘，并通过微妙的，但重要的，改变标准的损失函数。在这样做时，ProjE的参数大小小于15个现有方法中的11个，同时在标准数据集上执行$37\%$比当前最好的方法更好。我们还表明，通过一个新的事实检查任务，ProjE是能够准确地确定许多声明性语句的准确性。
2016-11-16 cs.AI stat.ML
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明，语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明，联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Domain Representation for Knowledge Graph Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而，大多数现有的模型忽略了表示层次知识，如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示，使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明，域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用，如完成知识图谱预测丢失的信息，推荐系统，问答，查询扩展等嵌入在知识图谱中的信息，虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision
Drexel University（德雷塞尔大学）
大多数知识图谱嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三元组的表示。然而，这些聚合是有损的，即它们不捕获原始三元组的语义，例如谓词中包含的信息。为了克服这些缺点，目前的方法从头开始学习三重嵌入，而不利用来自预训练模型的实体和谓词嵌入。在本文中，我们设计了一种新的微调方法来学习三重嵌入创建弱监督信号从预训练的知识图谱嵌入。我们开发了一种从知识图谱中自动采样三元组并从预训练的嵌入模型中估计其成对相似性的方法。然后，这些成对的相似性得分被馈送到一个类似于Siamese的神经架构中，以微调三重表示。我们评估所提出的方法在两个广泛研究的知识图谱，并表现出一致的改进，比其他国家的最先进的三重嵌入方法的三重分类和三重聚类任务。
2022-08-22 cs.AI cs.CL
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法，例如，transE和transH，通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而，最佳损失函数是在实验期间确定的，实验的参数是在一组封闭的候选者中检查的。此外，在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合，忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中，我们提出了一个局部自适应的翻译方法知识图谱嵌入，称为transA，找到最佳的损失函数，通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明，该方法的优越性，相比，国家的最先进的。
2015-12-04 cs.AI cs.CL
Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University（南京大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加利福尼亚大学）；Alibaba Group（阿里巴巴集团）
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱（KG）的关联，使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后，我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多生物医学和医疗保健数据都以离散的符号形式编码，如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识，但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步，基于文本的表示学习有了显着的改进，但到目前为止，还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果，我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型，提供了与现有方法进行比较的基准和对最佳实践的深入讨论，并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入，代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；SAP SE Product Engineering Financial Services（SAP SE 产品工程金融服务部）
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱，即所有节点和边。这导致对大型图（如DBpedia或Wikidata）的计算要求非常高。然而，对于大多数下游应用场景，只有一小部分概念是真正感兴趣的。在本文中，我们提出了RDF 2 Vec Light，一种基于RDF 2 Vec的轻量级嵌入方法，它只为实体的一个子集生成矢量。为此，RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下，这样的嵌入是不可能的，由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR（挪威地震阵列研究所）；City, University of London（伦敦大学城市学院）；Norwegian Institute for Water Research（挪威水研究所）；University of Oslo（奥斯陆大学）；University of Oxford（牛津大学）；Norwegian University of Life Sciences（挪威生命科学大学）；Norwegian Geotechnical Institute（挪威岩土工程研究所）
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务，即化学效应预测。我们已经评估了九个知识图谱嵌入模型，这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明，使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外，我们还实现了一个微调架构，使知识图谱嵌入适应效果预测任务，并带来更好的性能。最后，我们评估了知识图谱嵌入模型的某些特征，以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Kronecker Decomposition for Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）；Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）
知识图谱嵌入研究主要集中在学习针对链接预测问题定制的实体和关系的连续表示。最近的结果表明，目前的方法对基准数据集的预测能力不断提高。然而，这种有效性往往伴随着过度参数化和计算复杂性增加的代价。前者引入了广泛的超参数优化来减轻恶意过拟合。后者放大了硬件彩票中奖的重要性。在这里，我们调查第一个问题的补救措施。我们提出了一种基于Kronecker分解的技术来减少知识图谱嵌入模型中的参数数量，同时保留其表达能力。通过Kronecker分解，在训练过程中将大的嵌入矩阵分解为较小的嵌入矩阵。因此，知识图谱的嵌入不是简单地检索，而是动态地重构。分解确保三个嵌入向量之间的元素级交互扩展为每个嵌入向量内的交互。这隐含地减少了嵌入向量的冗余，并鼓励特征重用。为了量化应用Kronecker分解对嵌入矩阵的影响，我们在基准数据集上进行了一系列实验。我们的实验表明，在嵌入矩阵上应用Kronecker分解可以提高所有基准数据集的参数效率。此外，经验证据表明，重建的嵌入需要对输入知识图谱中的噪声的鲁棒性。为了促进可重复的研究，我们提供了我们方法的开源实现，包括训练和评估脚本以及我们的知识图谱嵌入框架中的预训练模型（https：//github.com/dice-group/dice-embeddings）。
2022-05-13 cs.AI cs.LG
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的，因此实现跨语言知识对齐将有助于人们构建连贯的知识库，并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是，通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此，我们提出了MTransE，一个基于推理的多语言知识图谱嵌入模型，提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系，MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换，同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡，即轴校准，平移向量和线性变换，并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练，其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果，一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford（牛津大学）
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成（TKGC）是该任务到时间知识图谱的扩展，其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上，这些模型是为（静态）知识图谱完成而开发的，并将这些模型扩展到包含时间，其中的想法是学习实体，关系和时间戳的潜在表示，然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上，提出了一种面向TKGC的嵌入模型BoxTE。我们发现，BoxTE是充分的表达，并具有很强的归纳能力的时间设置。然后，我们实证评估我们的模型，并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh（爱丁堡大学）；University of Victoria（维多利亚大学）
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能，实现HITS@10三倍提升，并通过规则方法提供可解释预测，验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中，我们提出了一个组理论的角度来看，知识图谱嵌入，连接以前的方法与不同的群体行动。此外，通过利用舒尔引理从群表示理论，我们表明，国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Expeditious Generation of Knowledge Graph Embeddings
University of Leipzig（莱比锡大学）；University of Pennsylvania（宾夕法尼亚大学）；Paderborn University（帕德博恩大学）；University of Bonn（波恩大学）
知识图谱嵌入方法旨在将知识库中的实体和关系表示为连续向量空间中的点或向量。使用嵌入的几种方法已经在诸如链接预测、实体推荐、问答和三元组分类等任务上显示出有希望的结果。然而，只有少数方法可以计算非常大的知识库的低维嵌入，而不需要最先进的计算资源。在本文中，我们提出了KG 2Vec，一个简单而快速的知识图谱嵌入方法的基础上的跳跃图模型。我们不使用预定义的评分函数，而是依靠长短期记忆来学习它。我们表明，我们的嵌入实现的结果与最可扩展的方法知识图谱完成，以及一个新的度量。然而，KG2Vec可以在更短的时间内嵌入大型图形，在普通硬件上不到7小时就可以处理超过2.5亿个三元组。
2018-11-09 cs.AI cs.CL
Embedding Method for Knowledge Graph with Densely Defined Ontology
Fujitsu Limited（富士通公司）
针对现有知识图谱嵌入模型未充分利用本体中属性关系的局限性，提出一种将属性视为实体子集以实现统一表示的KGE模型TransU，并在标准与实用数据集上验证了其有效性。
2025-04-02 cs.AI cs.SI
Embedding Ontologies via Incorporating Extensional and Intensional Knowledge
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；China Mobile Research Institute（中国移动研究院）
本文提出EIKE方法，通过扩展空间和内涵空间整合本体实例、概念及关系，结合几何方法和预训练语言模型捕捉结构与文本信息，在三组数据集上优于现有方法。
2026-03-25 cs.AI cs.CL
Knowledge Graph Embeddings and Explainable AI
Bocconi University（博科尼大学）；IBM Research AI（IBM研究AI）；Accenture Labs（埃森哲实验室）；University of Milan-Bicocca（米兰比可卡大学）；University College London（伦敦大学学院）
知识图谱嵌入是一种广泛采用的知识表示方法，其中实体和关系嵌入在向量空间中。在本章中，我们通过解释知识图谱嵌入的概念、如何生成它们以及如何评估它们来向读者介绍它们。我们总结了国家的最先进的在这一领域中描述的方法，已被引入到表示知识的向量空间。在知识表示方面，我们考虑了可解释性问题，并讨论了解释通过知识图谱嵌入获得的预测的模型和方法。
2020-04-30 cs.AI cs.CL
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
LogicENN: A Neural Based Knowledge Graphs Embedding Model with Logical Rules
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
知识图谱嵌入模型在人工智能研究中得到了广泛的关注。最近的工作表明，包含背景知识，如逻辑规则，可以提高嵌入在下游机器学习任务的性能。然而，到目前为止，大多数现有模型不允许包含规则。我们解决了包括规则的挑战，并提出了一个新的基于神经的嵌入模型（LogicENN）。我们证明了LogicENN可以学习知识图谱中编码规则的每一个基础事实。据我们所知，到目前为止，这还没有被证明为基于神经的嵌入模型家族。此外，我们推导出公式包含各种规则，包括（反）对称，逆，非自反和传递，蕴涵，组合，等价和否定。我们的提法可以避免接地的含义和等价关系。我们的实验表明，逻辑ENN优于国家的最先进的模型在链接预测。
2019-08-20 cs.AI cs.CL
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；Hokkaido University（北海道大学）
本文从word2vec中的二次抽样方法出发，介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin（柏林工业大学）；Sapienza University of Rome（罗马第一大学）
知识图谱完成（又名~链接预测），即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的，因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果，使得这种解决方案不适用于关键领域，如医疗保健。为了进一步提高知识图谱完成的准确性，我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理（例如，OWL2）。通过这种方式，我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度，而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明，我们提高了香草知识图谱嵌入的MRR精度高达3倍，并优于混合解决方案，结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
$μ\text{KG}$: A Library for Multi-source Knowledge Graph Embeddings and Applications
Nanjing University（南京大学）
本文介绍了$μ\text{KG}$，一个开源的Python库，用于知识图谱上的表示学习。$μ\text{KG}$支持多源知识图谱（以及单个知识图谱）、多个深度学习库（PyTorch和TensorFlow 2）、多个嵌入任务（链接预测、实体对齐、实体类型和多源链接预测）以及多个并行计算模式（多进程和多GPU计算）的联合表示学习。它目前实现了26个流行的知识图谱嵌入模型，并支持16个基准数据集。$μ\text{KG}$提供嵌入技术的高级实现，简化了不同任务的流水线。它还提供了高质量的文档，便于使用。$μ\text{KG}$比现有的知识图谱嵌入库更全面。这对于深入比较和分析各种嵌入模型和任务非常有用。我们表明，联合学习的嵌入可以极大地帮助知识驱动的下游任务，如多跳知识图谱问答。我们会密切留意有关范畴的最新发展，并将其纳入$μ\text{KG}$。
2022-07-28 cs.AI cs.CL cs.LG
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna（维也纳医科大学）
近年来，基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用，并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上，但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中，我们提出了一个开源的评估管道，基准神经嵌入的准确性的情况下，知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施，使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
NagE: Non-Abelian Group Embedding for Knowledge Graphs
Boston College（波士顿学院）；Brandeis University（布兰迪斯大学）
我们证明了隐藏在关系知识嵌入问题中的群代数结构的存在，这表明基于群的嵌入框架对于设计嵌入模型至关重要。我们的理论分析只是探讨嵌入问题本身的内在属性，因此是模型无关的。在理论分析的基础上，提出了一种基于群论的知识图谱嵌入框架，将关系嵌入为群元素，实体用群行为空间中的向量表示。我们提供了一个通用的配方来构建嵌入模型与两个实例化的例子：SO3E和SU2E，这两个应用连续的非阿贝尔群作为关系嵌入。使用这两个示例模型的实证实验在基准数据集上显示了最先进的结果。
2020-09-03 cs.AI cs.LG math.GR
Exploring Scholarly Data by Semantic Query on Knowledge Graph Embedding Space
SOKENDAI (The Graduate University for Advanced Studies)（后藤大学（高级研究研究生大学））；National Institute of Informatics（信息研究院）
本文提出利用知识图谱嵌入空间的语义结构，通过定义嵌入向量间的代数语义查询，构建学术数据探索通用框架，并发现新的可解决任务。
2025-08-15 cs.AI cs.CL cs.DL
Joint Embedding Learning of Educational Knowledge Graphs
本文针对教育知识图谱中结构关系价值有限、字面信息更重要的特点，提出一种联合学习结构信息和字面信息的嵌入模型，并在真实教育知识图谱及基准图上验证了其有效性和优越性。
2019-12-23 cs.AI cs.CL cs.LG
Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding
Zhejiang University（浙江大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
由大量三元组组成的知识图（Knowledge Graph，KG）近年来得到广泛应用，许多知识图谱嵌入（Knowledge Graph，KGE）方法被提出来将KG中的实体和关系嵌入到连续向量空间中。这种嵌入方法简化了进行各种KG内任务（例如，链接预测）和KG外任务（例如，问答）。它们可以被视为代表KG的一般解决方案。然而，现有的KGE方法不适用于归纳设置，其中在源KG上训练的模型将在目标KG上进行测试，其中在模型训练期间看不到实体。现有的工作集中在归纳设置中的KG只能解决归纳关系预测任务。它们不能像KGE方法那样处理其他KG外的任务，因为它们不为实体生成嵌入。在本文中，实现归纳知识图谱嵌入，我们提出了一个模型MorsE，它不学习实体的嵌入，但学习可转移的元知识，可用于产生实体嵌入。这种元知识由实体独立的模块建模，并通过元学习来学习。实验结果表明，我们的模型显着优于相应的基线在KG和KG外的任务在归纳设置。
2022-05-06 cs.AI cs.CL cs.LG
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London（伦敦大学学院）；Institute of Health Informatics（健康信息学研究所）
学习知识表示是一种越来越重要的技术，适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时，嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集，导致训练过程中的信息丢失，并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型，该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明，新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Assessing the quality and coherence of word embeddings after SCM-based intersectional bias mitigation
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Department of Computer Science and Technology, SUNY Empire State University（SUNY帝国州大学计算机科学与技术系）
本文研究了基于SCM的交集偏见缓解方法在静态词嵌入中的有效性，通过复合表示和三种去偏策略评估了词嵌入的质量和连贯性，为平衡稳定性与类比性能提供了指导。
2026-01-07 cs.AI
Partial Knowledge In Embeddings
表示领域知识对任何任务都至关重要。已经开发了各种各样的技术来表示这种知识，从较旧的基于逻辑的方法到最近的基于深度学习的技术（即嵌入）。在本文中，我们将讨论其中的一些方法，重点是经常进行的代表性表达权衡。特别是，我们专注于各种技术的能力，以编码“部分知识”-成功的知识系统的一个关键组成部分。我们介绍和描述的概念“合奏的嵌入”和“聚合嵌入”，并演示他们如何允许部分知识。
2017-10-28 cs.AI
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center（国家癌症中心）
提出Retro方法，通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题，在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
Tracing Antisemitic Language Through Diachronic Embedding Projections: France 1789-1914
Ca’ Foscari University of Venice（威尼斯大学）
我们使用历时性的词嵌入研究了现代反犹太主义的发源地之一法国的反犹太主义历史的某些方面。我们构建了一个大型语料库的法国书籍和期刊的问题，包含一个关键字有关的犹太人，并进行了历时词嵌入在1789年至1914年期间。我们研究了4个目标词的语义空间随时间的变化，并对6个反犹太语篇流进行了嵌入投影。这使我们能够跟踪反犹太偏见在宗教，经济，社会政治，种族，伦理和阴谋领域的演变。预测显示，反犹太主义有增长的趋势，特别是在80年代中期开始的几年里，并在德雷福斯事件中达到高潮。我们的分析还使我们能够突出在其他宗教的更广泛背景下对犹太教的特殊不利偏见。
2019-06-04 cs.AI cs.CL cs.DL
GPSP: Graph Partition and Space Projection based Approach for Heterogeneous Network Embedding
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；School of Computer Science, South China Normal University（华南师范大学计算机学院）
在本文中，我们提出了GPSP，一种新的图形划分和空间投影为基础的方法，学习表示的异构网络，由多种类型的节点和链接。具体地说，我们首先将异构网络划分为同质和二分子网络。然后，通过学习投影嵌入向量，提取隐藏在二部子网络中的投影关系。最后，我们将来自二分子网络的投影向量与从同构子网络中学习到的投影向量连接起来，以形成异构网络的最终表示。在真实数据集上进行了广泛的实验。结果表明，GPSP优于国家的最先进的基线在两个关键的网络挖掘任务：节点分类和聚类。
2018-03-07 cs.AI cs.SI
Reverse Map Projections as Equivariant Quantum Embeddings
Zaiku Group Ltd.（扎伊库集团有限公司）；Tecacet Inc.（特卡塞特公司）；National Quantum Computing Centre（国家量子计算中心）
本文提出一类新的反向地图投影嵌入，用于将经典数据编码为量子态，解决振幅嵌入丢失范数信息的问题，并作为等变嵌入提升量子机器学习性能，实验表明其优于标准振幅嵌入。
2024-08-19 cs.AI cs.ET math-ph
Scalable Semantic Steering of Embedding Projections
Virginia Tech（弗吉尼亚理工学院）；Department of Defense（国防部）；Tulane University（路易斯安那州立大学）
研究高维数据嵌入的低维投影语义结构问题，提出可扩展语义引导方法，将语义计算从单个项目转移到用户定义组，通过单LLM调用为组生成结构化配置文件，减少LLM调用并在多模态嵌入中有效应用。
2026-07-07 cs.AI cs.CV cs.HC
Co-Embedding: Discovering Communities on Bipartite Graphs through Projection
Wordline TSS Labs（Wordline TSS实验室）；Département d’informatique de l’ENS（巴黎高等师范学院计算机系）；ENS, CNRS, PSL University（巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学）
许多数据集采用二分图的形式，其中两种类型的节点通过关系连接，例如用户观看的电影或与文件关联的标签。通过识别具有相似属性的项目组，二分图的划分可以用于加速推荐系统，或者减少信息检索系统的索引大小。这种类型的图通常由使用向量空间模型表示的算法处理，其中二进制向量表示0和1的项。这种表示的主要问题是维度相关性，如单词的同义性，这是没有考虑的。本文提出了一种利用项目投影的联合聚类算法，允许测量特征相似性。我们评估了我们的算法上的集群检索任务。在各种数据集上，我们的算法产生了具有连贯项的平衡聚类，从而在这项任务中获得了很高的检索分数。
2021-09-30 cs.AI cs.IR
APEX: Assumption-free Projection-based Embedding eXamination Metric for Generative Distribution Evaluation
University of Siena（锡耶纳大学）；AI for Good (AIGO), Istituto Italiano di Tecnologia（AI for Good（AIGO），意大利理工学院）；University of Verona（威尼斯大学）
APEX提出一种基于Sliced Wasserstein距离的无假设投影嵌入评估框架，利用CLIP和DINOv2作为特征提取器，克服传统指标的闭词汇瓶颈和参数限制，提升图像质量评估的鲁棒性和稳定性。
2026-10-14 cs.AI cs.CV
Recovering Temporal and Geographic Signals from Language Model Embeddings
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Instituto de Ciencias de la Computación, CONICET-UBA（计算机科学研究所，CONICET-UBA）
本研究提出一种基于投影的黑盒方法，仅利用输出嵌入即可从语言模型中恢复时间与地理信号，验证了嵌入编码时空信息，并为下游检索任务提供实用工具。
2026-09-09 cs.AI cs.IR
CLIP-PAE: Projection-Augmentation Embedding to Extract Relevant Features for a Disentangled, Interpretable, and Controllable Text-Guided Face Manipulation
University of Cambridge（剑桥大学）
针对CLIP联合空间中文本与图像嵌入差异导致的文本引导图像编辑伪影多、解耦性等不足，提出投影增强嵌入PAE作为优化目标，可集成到各类CLIP编辑算法中，在人脸编辑任务上实现了更优的解耦、可解释与可控效果及顶尖性能。
2025-09-02 cs.AI cs.CV cs.LG
Linear Projections of Teacher Embeddings for Few-Class Distillation
MIT（麻省理工学院）；Google Research（谷歌研究院）；University of Michigan（密歇根大学）
针对知识蒸馏在二分类和少类别NLP任务中效果不佳的问题，本文提出LELP方法，通过识别教师嵌入空间的线性子空间并构造伪子类来训练学生，实验显示其性能稳定优于现有蒸馏算法。
2024-10-02 cs.AI cs.LG
On-the-fly Global Embeddings Using Random Projections for Extreme Multi-label Classification
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）；IEEE Publication Technology Group（IEEE出版技术组）
极限多标签学习（XML）的目标是用来自极大的标签词汇表的最相关的标签子集（例如，一百万个标签）。最近，已经进行了许多尝试来解决这个问题，在基准数据集上实现合理的性能。在本文中，我们的目标不是提出一种全新的方法，而是提出并验证这项任务的简单基线。准确地说，我们研究了一种使用随机投影的动态全局和结构保持特征嵌入技术，其学习阶段独立于训练样本和标签词汇。此外，我们还展示了如何使用多个此类学习器的集成来进一步提高预测精度，而只需要线性增加训练和预测时间。在三个公开的XML基准测试上的实验表明，与现有的许多方法相比，该方法具有竞争力的准确性。此外，与最大的公开数据集上最接近的竞争对手相比，它在训练时间方面提供了约6572倍的加速比，模型大小减少了约14.7倍。
2021-10-15 cs.AI cs.CV cs.IR
PolyFlow: Safe and Efficient Polytope-Constrained Flow Matching with Constraint Embedding and Projection-free Update
University of Science and Technology of China（中国科学技术大学）
提出PolyFlow，一种将约束直接嵌入模型和流动力学的多面体约束流匹配框架，通过离散时间流公式和无投影架构消除离散化误差并严格满足任意多面体约束，在规划与控制任务中实现零约束违反并降低推理延迟。
2026-06-12 cs.AI cs.LG cs.RO
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
在过去的几十年里，知识感知方法已经推动了一系列自然语言处理应用。近年来，作为自然语言处理应用之一的文档摘要领域，知识的应用越来越受到人们的关注。以前的工作报告说，知识嵌入式文档摘要擅长生成卓越的摘要，特别是在信息量，连贯性和事实的一致性。本文旨在提出第一个系统的调查，为国家的最先进的方法，将知识嵌入到文档摘要。特别是，我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入，特别是深度学习模型。最后，我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
AKRMap: Adaptive Kernel Regression for Trustworthy Visualization of Cross-Modal Embeddings
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
AKRMap是一种新的降维技术，通过在投影空间中学习度量景观的自适应核回归，支持交互式探索，生成比传统方法更准确可信的跨模态嵌入可视化。
2025-05-28 cs.AI cs.CV cs.HC
On Evaluating Embedding Models for Knowledge Base Completion
University of Mannheim（曼海姆大学）；Mannheim（曼海姆）
知识库有助于许多网络搜索和挖掘任务，但它们往往是不完整的。为了将缺失的事实添加到给定的知识库中，在最近的文献中已经提出了各种嵌入模型。也许令人惊讶的是，相对简单的模型，有限的表达能力往往表现得非常好，在今天最常用的评估协议。在本文中，我们探讨了最近的模型是否能很好地完成知识库，并认为目前的评估协议更适合于问答，而不是知识库完成。我们表明，当专注于评估知识库完成的不同预测任务时，即使在以前被认为太容易的数据集上，当前嵌入模型的性能也不令人满意。当将嵌入模型与简单的基于规则的基线进行比较时，尤其如此。这项工作表明，需要更多的研究嵌入模型和评估协议的知识库完成。
2019-01-31 cs.AI cs.LG stat.ML
Projection: A Mechanism for Human-like Reasoning in Artificial Intelligence
University of Surrey（萨里大学）
人工智能系统还不能与人类的能力相匹配，将知识应用于与它们被编程或训练的情况不同的情况。在视觉对象识别中，利用自上而下的信息（来自模型）的推理方法已被证明对于在困难条件下识别实体是有效的。在这里，这种类型的推理，称为“投影”，被证明是解决将知识应用于各种或具有挑战性的情况的问题的关键机制，涉及一系列人工智能领域，如视觉，机器人或语言。最后讨论了投影与解决常识问题的相关性。
2022-05-17 cs.AI cs.CV cs.RO
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo（滑铁卢大学）
上下文词嵌入模型，如BioBERT和Bio_ClinicalBERT，通过将其预训练过程集中在特定领域的语料库上，在生物医学自然语言处理任务中取得了最先进的结果。然而，这样的模型不考虑专家领域知识。在这项工作中，我们介绍了UmlsBERT，一个上下文嵌入模型，通过一种新的知识增强策略，在预训练过程中集成领域知识。更具体地说，用统一医学语言系统（UMLS）元词库对UmlsBERT进行增强是以两种方式进行的：i）连接UMLS中具有相同基础“概念”的单词，以及ii）利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略，UmlsBERT可以将临床领域知识编码到词嵌入中，并在常见的命名实体识别（NER）和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group（阿里巴巴集团）
多关系知识库问答（KBQA）系统在知识图谱（KG）上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入（KGE）技术来处理KG不完全性，但只考虑三重事实，而忽略了路径和多关系问题之间的重要语义相关性。在本文中，我们提出了一个路径和知识嵌入增强的多关系问答模型（PKEEQA），它利用KG中实体之间的多跳路径，通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性，有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明，PKEEQA提高了KBQA模型的多关系问答的性能，解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
