Joint Embedding Learning of Educational Knowledge Graphs
本文针对教育知识图谱中结构关系价值有限、字面信息更重要的特点，提出一种联合学习结构信息和字面信息的嵌入模型，并在真实教育知识图谱及基准图上验证了其有效性和优越性。
2019-12-23 cs.AI cs.CL cs.LG
Robust Graph Embedding with Noisy Link Weights
Kyoto University（京都大学）；RIKEN Center for Artificial Intelligence Project (AIP)（理化学研究所人工智能项目中心）
我们提出了$β$ -图嵌入鲁棒学习特征向量的数据向量和噪声链接权重。一个新引入的经验矩$β$ -分数减少污染的影响，并鲁棒地测量潜在的正确的预期权重的链接和指定的生成模型之间的差异。所提出的方法是计算易处理的，我们采用了一个小批量为基础的有效的随机算法，并证明该算法局部最小化的经验矩$β$得分。我们在合成和真实世界的数据集上进行数值实验。
2019-02-22 cs.LG stat.ML
ExplaiNE: An Approach for Explaining Network Embedding-based Link Predictions
Ghent University（根特大学）
网络是功能强大的数据结构，但对于传统的机器学习方法来说是具有挑战性的。网络嵌入（NE）方法试图通过学习节点的向量表示来解决这个问题，以供后续在下游机器学习任务中使用。链接预测（LP）是这样的下游机器学习任务之一，其是NE方法的重要用例和流行基准。不幸的是，虽然NE方法在这项任务中表现得非常好，但与更简单的LP方法相比，它们缺乏透明度。我们介绍ExplaiNE，一种方法来提供反事实的解释NE为基础的LP方法，通过识别网络中的现有链接，解释预测的链接。ExplaiNE适用于广泛的NE算法类别。对NE方法“有条件的网络嵌入”的广泛的经验评估特别证明了其准确性和可扩展性。
2019-04-22 cs.LG stat.ML
High-order joint embedding for multi-level link prediction
University of California, Irvine（加州大学尔湾分校）
链接预测是从观测到的网络中推断出潜在的链接，是网络分析中的基本问题之一。与传统的图表示模型只预测双向成对关系不同，本文提出了一种新的基于张量的联合网络嵌入方法，将成对链接和超链接同时编码到一个潜在空间中，该方法在推断潜在的不可观察超链接时捕获了成对链接和多路链接之间的依赖关系.所提出的嵌入过程的主要优点是，它结合了节点之间的成对关系和子组结构，以捕获更丰富的网络信息。此外，该方法引入了链接之间的层次依赖关系来推断潜在的超链接，并导致更好的链接预测。在理论上，我们建立了所提出的嵌入方法的估计一致性，并提供了一个更快的收敛速度相比，链接预测利用成对链接或超链接。仿真环境和Facebook自我网络的数值研究表明，所提出的方法提高了超链接和成对链接预测的准确性相比，现有的链接预测算法。
2021-11-07 cs.LG cs.SI stat.ML
Global and local evaluation of link prediction tasks with neural embeddings
Medical University of Vienna（维也纳医科大学）
我们把我们的注意力集中在知识图谱的链接预测问题，这在这里被视为一个二元分类任务的神经嵌入的实体。通过比较、组合和扩展不同领域的基于图的数据的链接预测方法，形式化了一个统一的知识图谱神经嵌入质量评价基准方法.然后，该基准被用于实证研究在整个图中全局训练神经嵌入的潜力，而不是在特定关系中局部训练嵌入的通常方式。这种测试嵌入质量的新方法评估了二进制分类器在有限数据的情况下用于可扩展链接预测的性能。我们的评估管道是开源的，我们的目标是吸引社区更多地关注神经嵌入评估的透明度和可重复性这一重要问题。
2018-07-27 cs.AI cs.LG stat.ML
Fast Linear Model for Knowledge Graph Embeddings
Facebook AI Research（Facebook人工智能研究院）
本文表明，基于词袋（BoW）表示的简单基线可以学习到令人惊讶的良好知识图嵌入。通过将知识库完成和问题回答作为监督分类问题，我们观察到实体和关系的建模共存导致了最先进的性能，使用开源库fastText只需几分钟的训练时间。
2017-10-30 cs.LG stat.ML
Factoring out prior knowledge from low-dimensional embeddings
Ghent University（根特大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
低维嵌入技术，如tSNE和UMAP允许可视化高维数据，从而促进有趣结构的发现。虽然它们被广泛使用，但它们将数据可视化为原样，而不是根据我们对数据的背景知识。然而，我们已经知道的东西强烈地决定了什么是新奇的，因此是有趣的。在本文中，我们提出了两种方法分解出先验知识的形式，距离矩阵的低维嵌入。为了从tSNE嵌入中排除先验知识，我们提出了JEDI，它使用Jensen-Shannon散度以原则性的方式适应tSNE目标。为了从任何下游嵌入方法中排除先验知识，我们提出了CONFETTI，其中我们直接对输入距离矩阵进行操作。对合成数据和真实世界数据的大量实验表明，这两种方法都能很好地工作，提供了表现出有意义的结构的嵌入，否则这些结构将保持隐藏。
2021-03-02 cs.LG stat.ML
Complex Embeddings for Simple Link Prediction
Xerox Research Centre Europe（施乐欧洲研究中心）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University College London（伦敦大学学院）
在统计关系学习中，链接预测问题是自动理解大型知识库结构的关键。在以前的研究中，我们建议解决这个问题，通过潜在的因式分解。然而，这里我们使用了复值嵌入。复合嵌入的合成可以处理大量的二元关系，其中包括对称和反对称关系。与神经张量网络和全息嵌入等最先进的模型相比，我们基于复杂嵌入的方法可以说更简单，因为它只使用Hermitian点积，这是实向量之间标准点积的复杂对应物。我们的方法可扩展到大型数据集，因为它在空间和时间上都保持线性，同时在标准链接预测基准上始终优于其他方法。
2016-06-20 cs.AI cs.LG stat.ML
Interpreting Knowledge Graph Relation Representation from Word Embeddings
University of Edinburgh（爱丁堡大学）
许多模型通过利用知识图谱数据的低秩潜在结构、编码实体之间的已知关系并使未知事实能够被推断来学习其表示。为了预测实体之间的关系是否成立，通常在关系特定映射之后在潜在空间中比较嵌入。虽然它们的预测性能稳步提高，但这些模型如何捕捉语义信息的潜在结构仍然无法解释。最近的理论理解的词嵌入的基础上，我们将知识图谱关系分为三种类型，并为每一个明确的要求，他们的表示。我们的分析证明了关系表示的经验性质和领先的知识图谱表示方法的相对性能。
2021-01-18 cs.LG stat.ML
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
Semi-supervised Graph Embedding Approach to Dynamic Link Prediction
The University of Tokyo（东京大学）
我们提出了一个简单的离散时间半监督图嵌入方法，在动态网络中的链接预测。学习的嵌入反映了来自时间和横截面网络结构的信息，这是通过将损失函数定义为来自过去动态的监督损失和预测当前网络中的邻域上下文的无监督损失的加权和来执行的。我们的模型也能够学习不同的嵌入形成和溶解动力学。这些关键方面有助于我们的模型的预测性能，我们提供了三个真实世界的动态网络的实验表明，我们的方法是可比的最先进的方法在链接形成预测和优于最先进的基线方法在链接解散预测。
2016-10-14 cs.LG cs.SI physics.soc-ph
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota（明尼苏达大学）；BlueLightAI, Inc.（BlueLightAI公司）
知识图谱嵌入涉及学习实体（图的顶点）和关系（图的边）的表示，使得所得到的表示对由知识图谱表示的已知事实信息进行编码，并且可以用于新关系的推断。我们发现，知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言：一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中，与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架，并允许对嵌入的各种先验约束进行表达。此外，所得到的嵌入可以很容易地适应复合关系的推理，而无需特殊的训练。我们实现这些想法，以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
ALPINE: Active Link Prediction using Network Embedding
Ghent University（根特大学）；IDLab（ID实验室）；Dept. of Electronics and Information Systems（电子与信息系统系）
许多现实世界的问题可以形式化为预测部分观测网络中的链接。例如，Facebook的友谊建议，消费者产品推荐，以及识别犯罪网络中参与者之间的隐藏互动。几种链接预测算法，特别是最近引入的使用网络嵌入的算法，能够通过仅依赖于网络的观察部分来实现这一点。通常，可以查询节点对的链路状态，其可以被链接预测算法用作附加信息。不幸的是，这样的查询可能是昂贵的或耗时的，强制仔细考虑哪些节点对查询。在本文中，我们估计查询任何特定的节点对后，在链接预测准确性的改善，使用在主动学习设置。具体来说，我们提出了ALPINE（主动链路预测使用网络嵌入），第一种方法来实现这一链接预测的基础上网络嵌入。为此，我们从实验设计中推广了V-最优性的概念，以及最初在标准分类设置中开发的更基本的主动学习策略。实际数据的实验结果表明，ALPINE是可扩展的，并提高链接预测的准确性与少得多的查询。
2020-02-04 cs.IT cs.LG math.IT
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
University of Science and Technology of China（中国科学技术大学）
知识图谱嵌入，旨在将实体和关系表示为低维向量（或矩阵，张量等），已被证明是预测知识图谱中缺失链接的强大技术。现有的知识图谱嵌入模型主要集中在对称/反对称、反转、组合等关系模式的建模上。然而，许多现有的方法无法建模语义层次结构，这是常见的在现实世界中的应用。为了解决这个问题，我们提出了一种新的知识图谱嵌入模型-即层次感知知识图谱嵌入（HAKE）-将实体映射到极坐标系。HAKE的灵感来自于极坐标系中的同心圆可以自然地反映层次结构。具体而言，径向坐标旨在对层次结构中不同级别的实体进行建模，并且具有较小半径的实体预计处于较高级别;角坐标旨在区分层次结构中相同级别的实体，并且这些实体预计具有大致相同的半径但不同的角度。实验表明，HAKE可以有效地建模知识图谱中的语义层次结构，并显着优于现有的最先进的方法在基准数据集上的链接预测任务。
2022-04-06 cs.CL cs.LG stat.ML
On Evaluating Embedding Models for Knowledge Base Completion
University of Mannheim（曼海姆大学）；Mannheim（曼海姆）
知识库有助于许多网络搜索和挖掘任务，但它们往往是不完整的。为了将缺失的事实添加到给定的知识库中，在最近的文献中已经提出了各种嵌入模型。也许令人惊讶的是，相对简单的模型，有限的表达能力往往表现得非常好，在今天最常用的评估协议。在本文中，我们探讨了最近的模型是否能很好地完成知识库，并认为目前的评估协议更适合于问答，而不是知识库完成。我们表明，当专注于评估知识库完成的不同预测任务时，即使在以前被认为太容易的数据集上，当前嵌入模型的性能也不令人满意。当将嵌入模型与简单的基于规则的基线进行比较时，尤其如此。这项工作表明，需要更多的研究嵌入模型和评估协议的知识库完成。
2019-01-31 cs.AI cs.LG stat.ML
Product Knowledge Graph Embedding for E-commerce
Walmart Labs（沃尔玛实验室）
在本文中，我们提出了一种新的产品知识图谱（PKG）嵌入方法学习的内在产品关系作为产品知识的电子商业。我们定义了关键实体，并总结了关键的产品关系，是至关重要的一般电子商业应用程序，包括营销，广告，搜索排名和推荐。我们首先提供了一个全面的比较PKG和普通的知识图谱（KG），然后说明为什么KG嵌入方法不适合PKG学习。我们构建了一个自我注意增强的分布式表示学习模型，用于以端到端的方式从原始客户活动数据中学习PKG嵌入。我们设计了一个有效的多任务学习模式，充分利用多模态电子商业数据。庞加莱嵌入也被用来处理复杂的实体结构。我们使用来自grocery.walmart.com的真实世界数据集来评估知识完成，搜索排名和推荐的性能。所提出的方法相比，在知识完成和下游任务的基线。
2019-11-28 cs.IR cs.LG stat.ML
Holographic Embeddings of Knowledge Graphs
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Universita Degli Studi Di Genova（热那亚大学）
实体和关系的学习嵌入是对诸如知识图谱的关系数据执行机器学习的有效且通用的方法。在这项工作中，我们提出了全息嵌入（HolE）来学习整个知识图谱的组成向量空间表示。所提出的方法与关联记忆的全息模型有关，因为它采用循环相关来创建组合表示。通过使用相关性作为组合算子，HolE可以捕获丰富的交互，但同时保持计算效率，易于训练，并且可扩展到非常大的数据集。在大量的实验中，我们表明，全息嵌入能够优于最先进的方法，在知识图谱和关系学习基准数据集的链接预测。
2015-12-07 cs.AI cs.LG stat.ML
Using link and content over time for embedding generation in Dynamic Attributed Networks
IBM Research（IBM研究院）；University of São Paulo（圣保罗大学）
在这项工作中，我们考虑的问题相结合的链接，内容和时间分析的社区发现和预测在不断发展的网络。这种时间和内容丰富的网络出现在许多现实生活中，如书目网络和问答论坛。文献中的大多数工作（使用内容和结构）都涉及网络的静态快照，它们不能反映多个快照中发生的动态变化。将社区中的动态变化纳入分析还可以提供有关网络中变化的有用见解，例如作者跨社区的迁移。在这项工作中，我们提出了Chimera，一个共享的因子分解模型，可以同时考虑图链接，内容和时间分析。这种方法的工作原理是以多维形式提取网络的潜在语义结构，但在某种程度上考虑了这些嵌入的时间连续性。这种方法通过使用嵌入作为代理简化了底层网络的时间分析。这种简化的结果是，也可以使用这种嵌入的时间序列来预测未来的社区。我们目前的实验结果说明该方法的有效性。
2019-11-22 cs.LG cs.SI stat.ML
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna（维也纳医科大学）
近年来，基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用，并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上，但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中，我们提出了一个开源的评估管道，基准神经嵌入的准确性的情况下，知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施，使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
Bayes EMbedding (BEM): Refining Representation by Integrating Knowledge Graphs and Behavior-specific Networks
University of California, Berkeley（加州大学伯克利分校）；Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）
知识图谱和行为图谱的低维嵌入已经证明在各种任务中非常强大，从预测实体之间未观察到的边缘到内容推荐。这两种类型的图可以包含相同实体/节点的不同和互补的信息。然而，以往的工作集中在知识图谱嵌入或行为图嵌入，而很少有工作考虑在一个统一的方式。在这里，我们提出了BEM，贝叶斯框架，它结合了从知识图谱和行为图的信息。更具体地说，BEM将来自知识图谱的预训练嵌入作为先验，并通过贝叶斯生成模型将它们与来自行为图谱的预训练嵌入相结合。边界元法能够在保持各自拓扑结构的前提下，从两侧相互细化嵌入。为了显示我们的方法的优越性，我们进行了一系列的实验在三个基准数据集：节点分类，链接预测，三元组分类的两个小数据集相关的Freebase，和项目推荐的大规模电子商务数据集。
2019-08-28 cs.LG cs.SI stat.ML
Knowledge Graph Embeddings in Geometric Algebras
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
知识图谱（KG）嵌入的目的是将KG中的实体和关系嵌入到低维的潜在表示空间中。现有的KG嵌入方法通过利用实值、复值或超复值（四元数或八元数）表示来对KG中的实体和关系进行建模，所有这些表示都包含在几何代数中。在这项工作中，我们介绍了一种新的几何代数为基础的KG嵌入框架，GeomE，它利用多向量表示和几何积模型的实体和关系。我们的框架包含了几种最先进的KG嵌入方法，具有建模各种关键关系模式的能力，包括（反）对称，反转和组合，丰富的表达能力和更高的自由度以及良好的泛化能力。在多个基准知识图谱上的实验结果表明，该方法优于现有的链接预测模型.
2021-03-22 cs.AI cs.LG stat.ML
Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach
知识库被用于从自然语言处理到语义网络搜索的各种应用中;唉，在实践中，它们的不完整性损害了它们的有用性。嵌入模型在知识库完成方面达到了最先进的精度，但它们的预测是出了名的难以解释。在本文中，我们适应“教学方法”（从神经网络的文献），以便解释嵌入模型提取加权霍恩规则。我们展示了如何教学方法必须适应采取大规模的关系方面的知识基础，并通过实验显示其优势和劣势。
2018-06-20 cs.AI cs.LG stat.ML
Systematic Biases in Link Prediction: comparing heuristic and graph embedding based methods
链接预测是网络分析中的一个热门研究课题。在过去的几年中，基于图嵌入的新技术已经成为一种强大的替代算法。在这篇文章中，我们研究了预测中的系统偏差问题，并表明，一些基于图嵌入的方法提供的偏差小于基于统计学的方法，尽管根据通常的质量分数达到较低的分数。我们讨论的背景下，过滤器泡沫问题和算法公平性的推荐系统这一发现的相关性。
2018-10-11 cs.SI stat.ML
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London（伦敦大学学院）；Institute of Health Informatics（健康信息学研究所）
学习知识表示是一种越来越重要的技术，适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时，嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集，导致训练过程中的信息丢失，并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型，该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明，新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Data Poisoning Attack against Knowledge Graph Embedding
SUNY at Buffalo（纽约州立大学布法罗分校）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
知识图谱嵌入（KGE）是一种在知识图谱中学习实体和关系的连续嵌入技术，由于其对知识图谱的补全、问答和推荐等下游任务的帮助，近年来受到了广泛的关注。尽管KGE在良性环境中是有效的，但它对对抗攻击的鲁棒性还没有得到很好的研究。由于知识图谱的异构性，现有的图数据攻击方法不能直接应用于知识图谱的嵌入攻击。为了填补这一空白，我们提出了一系列的数据投毒攻击策略，它可以有效地操纵任意目标的事实在一个知识图谱的可扩展性，通过添加或删除的事实图。两个广泛使用的基准测试的广泛评估所提出的攻击策略的有效性和效率进行了验证。
2019-06-24 cs.AI cs.CR cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University（普渡大学）；Ludwig-Maximilians-Universitat München（慕尼黑大学）
这项工作提供了关于图消息传递神经网络（gMPNN）-如图神经网络（GNN）-执行归纳分布外（OOD）链接预测任务的能力的第一个理论研究，其中部署（测试）图的大小大于训练图。我们首先证明了非渐近界，表明基于置换等变（结构）节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后，我们提出了一个理论上合理的gMPNN输出结构成对（2节点）嵌入，并证明非渐近界显示，随着测试图的增长，这些嵌入收敛到一个连续函数的嵌入，保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
A Factorization Machine Framework for Testing Bigram Embeddings in Knowledgebase Completion
University College London（伦敦大学学院）
到目前为止，基于嵌入的知识库补全模型大多结合了单个实体或关系的分布式表示来计算缺失链接的真值分数。然而，事实也可以使用成对嵌入来表示，即实体和关系对的嵌入。在本文中，我们探索这样的二元模型嵌入与灵活的分解机模型和几个消融从它。我们调查的相关性的各种二元模型类型的fb15k237数据集，并找到相对的改进相比，组合模型。
2016-04-20 cs.AI cs.CL cs.NE
