Temporal Smoothness Regularisers for Neural Link Predictors
University of California, Los Angeles(加州大学洛杉矶分校);Cornell University(康奈尔大学)
本文提出了一种基于时间平滑正则化器的神经链接预测方法,在三个数据集上实现了更准确的结果。
2024-11-05 cs.LG
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法,解决低秩矩阵与张量老虎机中未知奖励链接的问题,分别实现最优遗憾界,并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Probabilistic Latent Tensor Factorization Model for Link Pattern Prediction in Multi-relational Networks
LIP6 - UPMC(LIP6实验室 - 皮埃尔和玛丽·居里大学)
本文针对多个关系类型连接的对象集合中的链接模式预测问题,其中每种类型都可能扮演不同的角色。虽然常见的链接分析模型仅限于单一类型的链接预测,我们试图在这里捕捉不同的关系类型之间的相关性,并揭示各种关系类型对性能质量的影响。为此,我们将对象对之间的整体关系定义为\textit{link pattern},它由网络中的交互模式和连接结构组成,然后使用张量形式化来联合建模和预测链接模式,我们称之为\textit{Link Pattern Prediction}(LPP)问题。为了解决这个问题,我们提出了一个概率潜在张量分解(PLTF)模型,通过引入另一个潜在的因素,多个关系类型,并提供层次贝叶斯处理所提出的概率模型,以避免过拟合解决LPP问题。为了学习所提出的模型,我们开发了一个有效的马尔可夫链蒙特卡罗抽样方法。在几个真实世界的数据集上进行了大量的实验,并证明了对现有的几种最先进的方法的显着改进。
2012-04-11 cs.LG cs.SI stat.ML
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型,用于解决链接预测问题,相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
SimplE Embedding for Link Prediction in Knowledge Graphs
University of British Columbia(不列颠哥伦比亚大学)
知识图谱包含关于世界的知识,并提供这些知识的结构化表示。目前的知识图谱只包含世界上真实知识的一小部分。链接预测方法的目标是在给定实体之间的现有链接的情况下预测知识图的新链接。张量分解方法已被证明是有前途的链接预测问题。在1927年提出的,典型的Polyadic(CP)分解是最早的张量分解方法之一。CP通常在链接预测方面表现不佳,因为它为每个实体学习两个独立的嵌入向量,而它们实际上是绑定的。我们提出了一个简单的增强CP(我们称之为SimpleE),让每个实体的两个嵌入学习依赖。SimpleE的复杂度随着嵌入的大小线性增长。通过SimpleE学习的嵌入是可解释的,某些类型的背景知识可以通过权重绑定并入这些嵌入。我们证明了SimplE是完全表达的,并推导出一个充分表达的嵌入大小的界限。我们的经验表明,尽管它的简单性,简单优于几个国家的最先进的张量因式分解技术。SimplE的代码可以在GitHub上找到,网址是https://github.com/Mehran-k/SimplE。
2018-10-26 cs.LG stat.ML
A Probit Tensor Factorization Model For Relational Learning
North Carolina State University(北卡罗来纳州立大学);Fudan University(复旦大学)
随着知识图谱的大量涌现,对具有复杂多关系结构的数据进行建模在统计关系学习领域得到了越来越多的关注。统计关系学习最重要的目标之一是链接预测,即,预测所述知识图谱中是否存在某些关系。已经提出了大量的模型和算法来执行链接预测,其中张量因子分解方法已被证明在计算效率和预测精度方面达到最先进的性能。然而,现有的张量分解模型的一个共同的缺点是,以相同的方式处理缺失的关系和不存在的关系,这导致信息的丢失。为了解决这个问题,我们提出了一个二进制张量因式分解模型与概率链接,它不仅继承了经典的张量因式分解模型的计算效率,但也占关系数据的二进制性质。我们提出的概率单位张量因子分解(PTF)模型在预测精度和可解释性方面都具有优势
2021-11-09 cs.LG stat.CO stat.ML
TuckER: Tensor Factorization for Knowledge Graph Completion
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
知识图谱是现实世界事实的结构化表示。然而,它们通常只包含所有可能事实的一小部分。链接预测是基于现有事实推断缺失事实的任务。我们提出了TuckER,一个相对简单,但功能强大的线性模型的基础上塔克分解的二进制张量表示的知识图谱三元组。TuckER在标准链接预测数据集上的表现优于以前最先进的模型,为更精细的模型提供了强大的基线。我们表明,TuckER是一个充分表达的模型,推导出其嵌入维数的足够的界限,并表明,以前介绍的几个线性模型可以被视为特殊情况下的TuckER。
2019-08-24 cs.LG stat.ML
MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
知识图嵌入的目的是预测知识图谱中实体之间缺失的关系。基于张量分解的模型,如ComplEx,在效率和表达能力之间提供了良好的权衡,这是至关重要的,因为现实世界的知识图谱的大小。最近的多分区嵌入相互作用(MEI)模型通过使用块项张量格式包含这些模型,并提供了一个系统的解决方案的权衡。然而,MEI有几个缺点,其中一些来自其包含的基于张量分解的模型。在本文中,我们解决这些缺点,并介绍了多分区嵌入相互作用改进的超越块项格式(MEIM)模型,独立的核心张量的合奏效果和软正交的最大秩映射,除了多分区嵌入。MEIM提高了表现力,同时仍然非常高效,帮助它超越强大的基线,并使用相当小的嵌入大小在困难的链接预测基准上实现最先进的结果。源代码发布于https://github.com/tranhungnghiep/MEIM-KGE。
2022-10-04 cs.AI cs.LG
Tensor Decompositions for temporal knowledge base completion
Université Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高科桥路学院);Facebook AI Research(Facebook人工智能研究院);Swiss Data Science Center(瑞士数据科学中心);EPFL(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
大多数关系数据中的表示学习和链接预测算法都是针对静态数据设计的。然而,它们所应用的数据通常会随着时间的推移而演变,例如社交网络中的朋友图或推荐系统中的用户与项目的交互。这也是知识库的情况,它包含的事实,如(美国,有总统,B。奥巴马,[2009-2017]),仅在某些时间点有效。对于时间约束下的链路预测问题,即,回答诸如(US,has president,?,2012),我们提出了一个解决方案的灵感来自4阶张量的典型分解。我们引入了新的正则化方案并提出了ComplEx的扩展(Trouillon等人,2016年),实现了最先进的性能。此外,我们提出了一个新的数据集的知识库完成从维基数据,大于以前的基准由一个数量级,作为一个新的参考评估时间和非时间的链接预测方法。
2020-04-10 cs.LG stat.ML
Learning Representations of Entities and Relations
University of Edinburgh(爱丁堡大学)
将事实编码为实体的表示和它们之间的二元关系,如通过知识图谱表示模型所学习的,对于各种任务是有用的,包括预测新事实、问答、事实检查和信息检索。本论文的重点是(i)改进知识图谱表示,以解决链接预测任务;以及(ii)设计一个关于如何在关系表示的几何中捕获语义的理论。大多数知识图谱是非常不完整的,手动添加新信息的成本很高,这推动了可以自动推断缺失事实的方法的发展。本论文的第一个贡献是HypER,一个卷积模型,它简化和改进了现有的卷积最先进的模型ConvE的链接预测性能,并可以在数学上解释的约束张量因式分解。第二个贡献是TuckER,这是一个相对简单的线性模型,在其引入时,在标准数据集上获得了最先进的链接预测性能。第三个贡献是MuRP,第一个嵌入双曲空间的多关系图表示模型。MuRP优于所有现有的模型和它的欧几里德对应MuRE在层次知识图谱关系的链接预测,同时需要少得多的维度。尽管开发了大量的知识图谱表示模型,并逐渐提高预测性能,但对它们学习的潜在结构知之甚少。我们概括了最近的理论理解的语义关系的相似性,释义和类比是如何编码的几何相互作用的词嵌入如何更一般的关系,如发现在知识图谱,可以被编码在其表示。
2022-01-31 cs.AI cs.LG
Clustering Ensemble Meets Low-rank Tensor Approximation
Southeast University(东南大学);City University of Hong Kong(香港城市大学)
本文探讨了聚类集成问题,其目的是将多个基本聚类组合起来,以产生比单个聚类更好的性能。现有的聚类集成方法通常构造指示样本之间的成对相似性的共关联矩阵,作为来自不同基聚类的连接矩阵的加权线性组合,并且然后采用所得的共关联矩阵作为现成聚类算法的输入,例如,谱聚类然而,协同关联矩阵可能由较差的基本聚类支配,从而导致较差的性能。在本文中,我们提出了一种新的低秩张量近似的方法来解决这个问题,从全局的角度来看。具体来说,通过检查两个样本在不同的基本聚类下是否被聚类到同一个聚类,我们推导出一个相干链接矩阵,该矩阵包含样本之间有限但高度可靠的关系。然后,我们堆叠的相干连接矩阵和协关联矩阵,以形成一个三维张量,其低秩属性被进一步探讨传播的相干连接矩阵的信息的协关联矩阵,产生一个细化的协关联矩阵。我们制定了该方法作为一个凸约束优化问题,并有效地解决它。在7个基准数据集上的实验结果表明,与12种最先进的方法相比,该模型在聚类性能上取得了突破。据我们所知,这是第一个探索低秩张量在聚类集成上的潜力的工作,这与以前的方法有根本的不同。
2020-12-16 cs.LG stat.ML
Position: Tensor Networks are a Valuable Asset for Green AI
Delft University of Technology(代尔夫特理工大学);Xebia Data(Xebia数据公司)
本文建立张量网络与绿色AI的基础联系,用绿色AI效率指标评估其在核机器和深度学习中的应用,论证TNs的对数压缩等优势可促进AI研究的可持续性与包容性。
2024-05-30 cs.AI cs.LG
Latent Space Model for Higher-order Networks and Generalized Tensor Decomposition
Hong Kong University of Science and Technology(香港科技大学);Ohio State University(俄亥俄州立大学)
我们引入了一个统一的框架,制定为一般的潜在空间模型,研究复杂的高阶网络多个实体之间的相互作用。我们的框架涵盖了最近网络分析文献中的几种流行模型,包括混合多层潜在空间模型和超图潜在空间模型。我们通过一个广义多线性核函数作为连接函数来描述潜在位置和观测数据之间的关系。虽然我们的模型具有良好的通用性,其最大似然参数估计也是方便的,通过广义张量分解过程。我们提出了一种新的算法,使用投影梯度下降的格拉斯曼。我们还为我们的算法开发了原始的理论保证。首先,我们证明了它的线性收敛性在温和的条件下。其次,我们建立了有限样本的潜在位置估计的统计出错率,由信号强度,自由度和光滑的链接函数,一般和特定的潜在空间模型。我们证明了我们的方法对合成数据的有效性。我们还展示了我们的方法在两个现实世界的数据集上的优点,这些数据集通常由不同的特定模型描述,以产生有意义的和可解释的参数估计和准确的链接预测。我们证明了我们的方法对合成数据的有效性。我们还展示了我们的方法在两个现实世界的数据集上的优点,这些数据集通常由不同的特定模型描述,以产生有意义的和可解释的参数估计和准确的链接预测。
2021-06-30 cs.LG math.ST stat.ME
DynACPD Embedding Algorithm for Prediction Tasks in Dynamic Networks
Indiana University(印第安纳大学)
经典的网络嵌入创建跨节点的特征之间的学习关系的低维表示。这样的嵌入对于诸如链接预测和节点分类之类的任务是重要的。本文研究动态网络的低维嵌入问题,动态网络是一类节点间既存在时间链接关系又存在空间链接关系的时变网络。我们提出了新的嵌入方法的动态网络的基础上高阶张量分解的张量表示的动态网络。在某种意义上,我们的嵌入类似于静态网络的谱嵌入方法。我们提供了一个合理的我们的算法,通过数学分析,其有效性的一些潜在的原因。最后,我们通过比较我们的算法在链接预测任务上的性能与三个不同的真实动态网络中的一系列当前基线方法来证明我们的方法的能力和效率。
2021-03-12 cs.AI cs.LG