Multi-relational Poincaré Graph Embeddings
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
双曲嵌入最近在机器学习中受到关注,因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而,多关系知识图谱往往表现出多个同时的层次结构,目前的双曲线模型没有捕捉。为了解决这个问题,我们提出了一个模型,嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型(MuRP)通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明,本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法,特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络(GCN)是卷积神经网络(CNN)的推广,可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近,注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图,其边缘的特点是在多个视图或精确的多个关系。例如,在化学图论中,化合物结构通常由氢耗尽的分子图表示,其中节点对应于原子,边对应于化学键。多个属性对于表征化学键可能很重要,例如原子对(键连接的原子类型),芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域,人们越来越感兴趣的是从分子图中直接学习化合物的分子性质,而不是从化学家预先定义的指纹中。所提出的GCN模型,我们称之为基于边缘注意力的多关系GCN(EAGCN),在图卷积中联合学习注意力权重和节点特征。对于每个键属性,使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典,并通过查找字典形成每个分子的注意力矩阵,EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征,这是独立的变化的分子(图)的大小。我们证明了EAGCN对多个化学数据集的有效性:Tox21,HIV,Freesolv和亲脂性,并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Exchangeable modelling of relational data: checking sparsity, train-test splitting, and sparse exchangeable Poisson matrix factorization
各种机器学习任务-例如,矩阵分解、主题建模和特征分配-可以被看作是学习二分图上的概率分布的参数。最近,一类新的网络模型,稀疏可交换图,已被引入到解决一些重要的病理传统方法的统计网络建模;最值得注意的是,无法建模稀疏性(在渐近意义上)。本文件解释了从这项工作中产生的一些实际见解。我们首先展示了如何检查稀疏性是否与使用网络子采样来识别稀疏性的简单签名来建模给定(固定大小)数据集相关。我们讨论了(稀疏)可交换子采样理论对测试训练数据集分裂的影响;我们认为常见的方法可能会导致有偏见的结果,我们提出了一个原则性的替代方案。最后,我们研究了稀疏可交换泊松矩阵分解作为一个工作的例子。特别是,我们展示了如何适应平均场变分推断的稀疏可交换设置,使我们能够扩展推理到巨大的数据集。
2017-12-06 stat.ML
Nonparametric Bayes dynamic modeling of relational data
对称二元矩阵表示实体之间的关系,在许多领域中是常见的。我们的重点是动态发展的二元关系矩阵,与兴趣是在推理的关系结构和预测。我们提出了一个非参数贝叶斯动态模型,它降低了通过低维潜在空间表示的特征的二进制矩阵的维数,通过高斯过程的潜坐标在连续时间演变。通过使用从概率矩阵空间到潜在关系空间的逻辑映射函数,我们得到了一个灵活且易于计算的公式。采用Pandelya-Gamma数据增强,一个有效的吉布斯采样器的后验计算,与自动推断的潜在空间的维数。我们提供了一些理论结果的模型的灵活性,并通过仿真实验来说明性能。我们还考虑了在世界金融市场的共同运动的应用。
2013-11-19 stat.ML
Unsupervised Object Matching for Relational Data
NTT Communication Science Laboratories(NTT通信科学实验室)
提出了一种无监督的关系数据对象匹配方法,该方法在不需要对应信息的情况下,在不同关系数据集中找到对象之间的匹配。例如,所提出的方法在没有字典也没有对齐信息的多语言文档-词网络中匹配不同语言的文档。该方法假设每个对象都有潜在的向量,邻居对象的概率由潜在向量的内积来建模,其中邻居是通过在关系上的短随机游动来生成的。通过最大化每个数据集的邻居的可能性来估计潜在向量。估计的潜在向量包含给定关系数据集中每个对象的隐藏结构信息。然后,该方法通过匹配分布同时保留结构信息,将所有数据集的潜在向量线性投影到所有数据集共享的公共潜在空间上。投影矩阵的估计,通过最小化的正交正则化的潜向量分布之间的距离。为了有效地表示分布,我们使用的核嵌入的分布,持有高阶矩信息的分布作为一个元素,在再生核希尔伯特空间,这使我们能够计算分布之间的距离没有密度估计。通过使用正交正则化器,保留了编码在隐向量中的结构信息。我们使用真实世界的多语言文档-词关系数据集和多个用户-项目关系数据集的实验证明了所提出的方法的有效性。
2018-12-27 cs.LG stat.ML
Discriminative Relational Topic Models
Tsinghua University(清华大学)
许多科学和工程领域涉及分析网络数据。对于文档网络,关系主题模型(RTMs)提供了一个概率生成过程来描述链接结构和文档内容,并且它们在预测网络结构和发现潜在主题表示方面表现出了希望。然而,现有的RTMs在有限的模型表达能力和处理不平衡的网络数据的能力的局限性。为了扩大RTMs的适用范围并提高其推理精度,本文提出了三个扩展:1)不同于通常的只允许相同主题交互的对角权重矩阵的链接似然,我们将其推广为使用一个完整的权重矩阵,它可以捕获所有成对主题交互,并且适用于非对称网络; 2)而不是做标准的贝叶斯推理,我们执行正则化贝叶斯推理,(RegBayes)通过引入正则化参数,解决了一般真实网络中链路结构不平衡的问题,提高了学习后的潜规则的判别能力,陈述; 3)在不做严格平均场假设的情况下,通过探索数据增强,给出了广义关系主题模型的收缩Gibbs抽样算法,而不是用严格平均场假设进行变分近似.在一般的RegBayes框架下,我们仔细研究了两个流行的判别损失函数,即逻辑对数损失和最大边际铰链损失。在几个真实网络数据集上的实验结果表明,这些扩展对提高预测性能具有重要意义,并且通过一种简单的快速近似方法可以显著提高时间效率。
2013-10-09 cs.IR cs.LG stat.ML
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore(新加坡国立大学)
我们提出了第一个基于深度学习的架构,用于任意矩阵集合的集体矩阵三分解(DCMTF),也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类,以发现每个输入矩阵中的潜在聚类,跨两个维度,以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到:https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
Multi-way Clustering and Discordance Analysis through Deep Collective Matrix Tri-Factorization
National University of Singapore(新加坡国立大学)
异构、多类型、多模态的关系数据在许多领域中越来越多,它们的探索性分析带来了一些挑战。我们推进了神经无监督学习的最新技术来分析这些数据。我们设计了第一种神经方法,用于对任意矩阵集合进行集体矩阵三因子分解,以对所有组成实体进行谱聚类并学习聚类关联。在基准数据集上的实验证明了它比以前的非神经方法的有效性。利用来自多路聚类和集体矩阵完成的信号,我们设计了一种独特的技术,称为不一致性分析,以揭示关于两个实体的集合中矩阵子集之间的信息差异。我们说明了它的效用,在质量评估的知识库和改进表示学习。
2021-09-27 cs.LG stat.ML
Learning Inter- and Intra-manifolds for Matrix Factorization-based Multi-Aspect Data Clustering
Queensland University of Technology(昆士兰科技大学)
对多视图、多类型关系数据等多方面的数据进行聚类,由于其广泛的适用性,近年来已成为一个热门的研究方向。该方法使用流形学习与非负矩阵分解(NMF)框架,学习多维数据的准确低秩表示,已显示出有效性。我们建议在NMF框架中包括内部流形,利用不同数据类型(或视图)的数据点的距离信息来学习数据聚类的多样性流形。实证分析表明,该方法可以找到各种相关类型的部分表示,并在聚类过程中选择有用的功能。在多个数据集上的实验结果表明,该方法在精度和效率上都优于现有的多方面数据聚类方法。
2020-09-07 cs.LG stat.ML
Generalizing k-means for an arbitrary distance matrix
Eötvös Loránd University(厄特沃什·罗兰大学)
原始的k-means聚类方法只有在表示数据点的确切向量已知时才有效。因此,计算距离质心需要向量运算,因为抽象数据点的平均值是未定义的。现有的算法可以扩展到那些情况下,当唯一的输入是距离矩阵,和确切的代表向量是未知的。这种扩展可以被命名为关系k-means后,一个类似的模糊聚类算法发明的符号。然后,提出了一种方法,用于推广k-均值的情况下,数据点绝对没有连接的欧氏空间。
2013-03-24 cs.CV cs.LG stat.ML
Equivariant Entity-Relationship Networks
University of British Columbia(不列颠哥伦比亚大学);McGill University(麦吉尔大学);Mila(米拉研究所)
关系模型是大数据的普遍表示,部分原因是它在数据库中的广泛使用。在本文中,我们提出了等变的机密关系网络(EERN),这是一个多层感知器等变的对称变换的机密关系模型。为此,我们确定了最有表现力的线性映射,是完全等变的实体关系对称性的家庭,并进一步表明,他们subterranean最近推出的等变映射集,可交换张量,和图形。所提出的前馈层具有线性复杂度的数据,并可用于归纳和直推推理的关系数据库,包括数据库嵌入,和预测丢失的记录。这为将深度学习应用于最丰富的数据形式之一提供了原则性的理论基础。经验上,EERN优于不同的变种耦合矩阵张量分解在合成和真实数据的实验。
2020-06-05 cs.LG stat.ML
Sparse matrix-variate Gaussian process blockmodels for network modeling
Purdue University(普渡大学)
我们面对来自各种来源的网络数据,例如蛋白质相互作用和在线社交网络。一个关键问题是对网络交互进行建模,并识别潜在的网络节点组。这个问题是具有挑战性的,由于许多原因。例如,网络节点是相互依赖的而不是彼此独立的,并且已知数据是非常嘈杂的(例如,缺失边缘)。为了解决这些问题,我们提出了一种新的网络数据关系模型,稀疏矩阵变量高斯过程块模型(SMGB)。我们的模型概括了流行的双线性生成模型,并使用具有潜在成员变量的矩阵变量高斯过程捕获非线性网络交互。我们还分配稀疏先验分布的潜在成员变量学习稀疏组分配的个别网络节点。为了有效地从数据中估计潜变量,我们开发了一种有效的变分期望最大化方法。我们将我们的方法与合成和真实世界网络数据集上的几种最先进的网络模型进行了比较。实验结果表明,SMGB优于其他方法在发现潜在类或预测未知的相互作用。
2012-02-14 cs.LG stat.ML
Goodness-of-fit Test for Latent Block Models
The University of Tokyo(东京大学);RIKEN(理化学研究所)
潜在块模型用于概率双聚类,这是一种有效的方法,用于分析各种关系数据集。然而,一直没有统计检验方法来确定潜在块模型的行和列聚类数。最近的研究已经构建了随机块模型的基于随机检验的方法,该方法假设观测矩阵是平方对称矩阵,并且对于行和列的聚类分配是相同的。在这项研究中,我们开发了一个新的拟合优度测试潜在块模型,以测试是否观察到的数据矩阵适合一组给定的行和列集群编号,或者它包括更多的集群在至少一个方向的行和列。为了构建检验方法,我们使用了样本协方差阵的随机矩阵理论的结果。我们通过实验证明了所提出的方法的有效性,通过显示的渐近行为的检验统计量和测量的测试精度。
2020-09-17 cs.LG stat.ML
Factorized Fusion Shrinkage for Dynamic Relational Data
针对动态关系数据的突变问题,提出分解融合收缩模型,通过全局-局部收缩先验实现动态潜因子的分组融合,证明后验收敛达极小极大最优率,设计可扩展的结构化变分推断框架,适配多种模型并经实验验证有效。
2024-07-12 stat.ME stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)(塞阿拉联邦学院);Federal University of Ceará (UFC)(塞阿拉联邦大学);Sigma Nova
提出基于重心蒸馏的归纳式框架,将转导式GW-MDS嵌入转化为显式神经映射,在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Non-Negative Matrix Factorizations for Multiplex Network Analysis
网络已经成为表示、分析和建模多个领域中出现的关系数据的通用工具。网络分析的一个重要方面是社区发现或网络聚类。直到最近,主要的焦点一直是发现社区结构中的单一(即,单路)网络。然而,随着具有多种模态的关系数据的出现,多重网络,即,出现了由代表关系不同方面的多个层次组成的网络。因此,复用网络中的社区发现,即,检测所有层共享的节点集群已成为新的挑战。在本文中,我们提出了网络融合复合社区提取(NF-CCE),一类新的算法,基于四种不同的非负矩阵分解模型,能够提取复合社区在多路复用网络。每个算法分为两个步骤:首先,它找到每个网络层的非负,低维特征表示;然后,它通过集体因子分解将层的特征表示融合成一个共同的非负,低维特征表示。从共同特征表示中提取复合聚类。我们证明了我们的算法在各种类型的多路复用网络,包括生物,社会,经济,引用,电话通信和大脑多路复用网络的最先进的方法的优越性能。
2017-01-25 cs.SI stat.ML
Predicting Cellular Responses with Variational Causal Inference and Refined Relational Information
University of California, Berkeley(加利福尼亚大学伯克利分校);Immunai(Immunai公司);Amazon(亚马逊公司)
为预测细胞在扰动下的响应,本文提出图变分贝叶斯因果推断框架,结合基因调控网络(GRN)并通过邻接矩阵更新技术精炼GRN,还提出稳健估计器,实验表明其在个体响应预测上优于现有深度学习模型。
2025-02-11 cs.AI cs.LG q-bio.GN
Log-Normal Matrix Completion for Large Scale Link Prediction
无处不在的在线社交网络的激增导致了关系图的大规模出现,关系图表达了链接形成和描述性用户节点特征的独特模式。由于相互节点友好信息的低秩性质以及用于快速矩阵处理的并行计算机体系结构的可用性,矩阵分解和完成已经成为用于链接预测的流行方法。当前的链接预测文献已经证明,通过利用稀疏性以及低秩矩阵假设,极大地提高了性能。然而,大多数研究都通过有限的L1或Frobenius范数引入稀疏性,而不是考虑导致图形成和关系演化的更详细的分布。特别是,已经发现社交网络表达帕累托分布,或最近发现的对数正态分布。采用凸诱导Lovasz扩展,我们演示了如何将特定的度分布信息可以导致大规模的改进矩阵完成基于链接预测。引入对数正态矩阵完备化方法,并采用乘子交替方向法求解复杂优化问题。使用来自三个流行的社交网络的数据,我们的实验产生了高达5%的AUC增加超过最高性能的非结构化稀疏的方法。
2016-01-28 cs.LG cs.SI stat.ML