Beyond Feature and Structure Alignment: Learning Transferable Propagation Knowledge for Graph Foundation Models
Tianjin University(天津大学)
针对现有图基础模型忽略可迁移传播知识单元与传播模式异质性的局限,本文提出ProGFM,通过传播关系原型库学习跨域可迁移传播知识,在多跨域场景下实现更优泛化性能。
2026-08-03 cs.LG
Revisiting Embeddings for Graph Neural Networks
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
当前的图表示学习技术使用图神经网络(GNN)从数据集嵌入中提取特征。在这项工作中,我们检查了这些嵌入的质量,并评估了改变它们如何影响GNN的准确性。我们探索了图像和文本的不同嵌入提取技术;并发现不同GNN架构的性能取决于所使用的嵌入风格。我们在可用的图形数据集中看到了词袋(BoW)嵌入和文本分类任务的流行。考虑到嵌入对GNN性能的影响。这导致GNN针对BoW向量被优化的现象。
2022-11-29 cs.LG
Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题,提出将其作为邻域图中标签传播过程的新视角,引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图,在降计算成本同时保持聚类质量,处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
Propagation on Multi-relational Graphs for Node Regression
\' E cole Polytechnique F\' e d\' e rale de Lausanne (EPFL), Lausanne, Switzerland
近年来,真实世界中的数据越来越多,这些数据具有丰富的结构信息,可以方便地用多关系图来描述。虽然在一个简单的图上的连续节点特征的推理是相当不足的研究,目前的关系学习研究,我们更进一步,并专注于多关系图上的节点回归问题。我们从著名的标签传播算法的灵感,旨在完成分类功能在一个简单的图,并提出了一种新的传播框架,以完成缺失的连续功能在节点的多关系和有向图。我们的多关系传播算法是由一个关系的本地生成模型的迭代邻域聚合。我们的研究结果表明,利用多关系结构的数据在几个节点回归方案在不同的设置的好处。
2021-10-15 cs.LG
Graph Clustering with Cross-View Feature Propagation
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
针对图聚类任务,提出结合多视图特征传播的GCCFP方法,通过含正则项的统一目标函数确定簇归属,经迭代优化且可有限步收敛,在真实图上性能优于现有方法。
2024-08-12 cs.LG
Multi-view Graph Embedding with Hub Detection for Brain Network Analysis
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Shanghai Institute for Advanced Communication and Data Science, Fudan University(复旦大学上海先进通信与数据科学研究院);Cornell University(康奈尔大学);Northwestern University(西北大学)
多视图图的嵌入是图学习领域的一个研究热点。现有的大多数多视图图嵌入工作的目标是通过以特定的方式组合不同的视图来找到跨图的所有视图的共享公共节点嵌入。Hub检测作为图挖掘中的另一个重要课题,近年来也受到了广泛的关注,特别是在脑网络分析的背景下。图的嵌入和中心检测都与图的节点聚类结构有关。多视图图嵌入通常意味着基于多个视图的图的节点聚类结构,而枢纽节点是图中不同节点簇之间的边界跨越节点,因此可能潜在地影响图的聚类结构。然而,现有的多视图图嵌入的工作都没有考虑枢纽时,学习多视图嵌入。在本文中,我们建议将枢纽检测任务纳入多视图图嵌入框架,使这两个任务可以相互受益。具体来说,我们提出了一个自动加权框架的多视图图形嵌入与枢纽检测(MVGE-HD)的大脑网络分析。MVGE-HD框架学习跨所有视图的统一图嵌入,同时减少集线器对模糊图中节点集群之间的边界的潜在影响,从而为图带来清晰且有区别的节点聚类结构。我们将MVGE-HD应用于两个真实的多视图脑网络数据集(即,HIV和双相)。实验结果表明,所提出的框架在脑网络分析的临床研究和应用的优越性能。
2017-09-12 cs.LG
Node Embeddings via Neighbor Embeddings
Hertie AI, University of Tübingen, Germany(赫尔特人工智能研究所、图宾根大学,德国);Department of Computer Science, Aarhus University, Denmark(计算机科学系,奥胡斯大学,丹麦)
本文提出图邻居嵌入框架,无需随机游走即可直接整合相邻节点的嵌入向量,优于现有节点嵌入算法,在局部结构保持方面表现突出,并应用于2D节点嵌入问题,获得优于现有图布局算法的t-SNE布局。
2025-11-24 cs.LG
Scalable Label Propagation for Multi-relational Learning on the Tensor Product of Graphs
University of Minnesota Twin Cities(明尼苏达大学双城分校)
知识图谱上的多关系学习推断跨图的实体之间的高阶关系。该学习任务可以通过在知识图谱的张量积上的标签传播来解决,以学习作为张量的高阶关系。在本文中,我们推广了广泛使用的标签传播模型的归一化张量积图,并提出了一个优化配方和可扩展的基于低秩张量的标签传播算法(LowrankTLP)推断多关系的两个学习任务,超链接预测和多图对齐。优化配方最大限度地减少噪音张量估计误差的上界多图对齐,通过学习与归一化张量积图的频谱中的特征对的子集。我们还提供了一个数据依赖的二进制超链接预测的转导Rademacher绑定。我们加速LowrankTLP与并行张量计算,使标签传播的张量积的100个图,每个大小为1000在不到半小时的模拟。LowrankTLP还被应用于预测出版记录中的作者-论文-地点超链接,多达26个CT扫描图像的分割区域的对齐以及多个物种的蛋白质-蛋白质相互作用网络的对齐。实验表明,LowrankTLP确实很好地近似原始标签传播,具有更好的可扩展性和准确性。
2020-05-18 cs.LG
Higher-Order Expander Graph Propagation
University of Cambridge(剑桥大学);Stanford University(斯坦福大学)
针对图神经网络消息传递中的过压缩问题,本文提出高阶扩展图传播方法,通过构建二分扩展图捕获高阶相关性,并在合成和真实数据上验证其有效性。
2023-11-14 cs.LG
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York(纽约城市学院);Biomedical Engineering Department(生物医学工程系)
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题,本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构,通过递归前向传播算法实现自监督学习,从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Neural Enhanced Belief Propagation on Factor Graphs
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学博世三角洲实验室)
图模型是局部相关随机变量的结构化表示。对这些随机变量进行推理的传统方法是使用置信传播进行推理。当提供真实的数据生成过程时,置信传播可以推断树结构因子图中的最优后验概率估计。然而,在许多情况下,我们可能只能获得数据生成过程的差近似,或者我们可能会面临因子图中的循环,导致次优估计。在这项工作中,我们首先扩展图神经网络的因子图(FG-GNN)。然后,我们提出了一个新的混合模型,结合运行的FG-GNN与信念传播。FG-GNN在每次推理迭代时接收来自置信传播的输入消息,并输出它们的校正版本。因此,我们得到一个更准确的算法,结合了信念传播和图神经网络的好处。我们将我们的想法纠错解码任务,我们表明,我们的算法可以优于信念传播LDPC码在突发信道。
2021-03-16 cs.LG stat.ML
Convergence of Generalized Belief Propagation Algorithm on Graphs with Motifs
Qualcomm(高通);Northwestern University(西北大学)
置信传播是机器学习中众多应用的基本消息传递算法。已知树图上的置信传播算法是精确的。然而,在大多数应用中,置信传播是在循环图上运行的。因此,理解循环图上的信念传播行为一直是各个领域研究者的主要课题。本文研究了具有模体(三角形、环等)的图上的广义置信传播算法的收敛行为我们表明,在一定的初始化,广义信念传播收敛到全局最优的Bethe自由能的铁磁伊辛模型的图案。
2021-12-11 cs.AI cs.LG stat.ML
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Siemens Corporate Technology(西门子企业技术)
神经网络的最新进展已经解决了常见的图形问题,如链接预测,节点分类,节点聚类,节点推荐,通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后,编码的嵌入可以用于预测图中丢失的链接。然而,获得最佳的嵌入图可以是一个具有挑战性的计算任务,特别是在嵌入式系统。我们在这项工作中关注的两个技术是1)基于随机游走的方法的节点嵌入和2)知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的,但是是次优的,而知识图谱嵌入表现更好,但是在计算上是昂贵的。在这项工作中,我们研究了一个转换模型,该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入,而不会增加计算成本。大量的实验表明,所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Graph sampling for node embedding
节点嵌入是图表示学习中的一个中心话题。计算效率和可扩展性对于任何需要全图操作的方法都是具有挑战性的。我们提出了采样方法节点嵌入,或没有明确的建模的特征向量,其目的是提取有用的信息,从相关的图形Laplacien和给定的值与图形的特征向量。
2022-10-19 cs.LG stat.ML
Customized Graph Embedding: Tailoring Embedding Vectors to different Applications
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学)
图是一种自然的数据表示方法,在知识图谱挖掘、社会网络分析和生物网络比较等领域有着广泛的应用。对于这些应用程序,图嵌入是至关重要的,因为它提供了图的矢量表示。现有的图嵌入方法的一个局限性是它们的嵌入优化过程与目标应用程序断开。在本文中,我们提出了一种新的方法,即自定义图嵌入(CGE)来解决这个问题。CGE算法通过自动区分特定应用程序的不同图形路径的重要性来学习图形节点的自定义矢量表示。在一组不同的节点分类数据集上进行了大量的实验,这些实验证明了CGE的强大性能,并为模型提供了深入的见解。
2020-01-23 cs.LG cs.SI
Exploring the Semantic Content of Unsupervised Graph Embeddings: An Empirical Study
Durham University(杜伦大学);InlecomSystems;SUSTech(南方科技大学);Newcastle University(纽卡斯尔大学)
图嵌入已成为图挖掘领域中一项关键且广泛使用的技术,在社会、引文、交通和生物等广泛领域都取得了成功。图嵌入技术的目标是自动创建给定图的低维表示,该表示在所得到的嵌入空间中捕获关键结构元素。然而,到目前为止,很少有工作探索究竟是什么拓扑结构正在学习的嵌入过程。在本文中,我们调查,如果图嵌入近似的东西类似于传统的顶点级图的功能。如果能找到这样的关系,它可以用来提供一个理论上的洞察如何图嵌入方法的功能。我们通过预测已知的拓扑特征,使用监督和无监督的方法,直接从嵌入空间进行这项调查。如果可以找到嵌入和拓扑特征之间的映射,那么我们认为特征所封装的结构信息是在嵌入空间中表示的。为了探索这一点,我们提出了广泛的实验评估,从五个国家的最先进的无监督图嵌入技术,在一系列的经验图数据集,测量选择的拓扑特征。我们证明了几个拓扑特征确实是由嵌入空间近似的,这使得我们能够深入了解图嵌入如何创建良好的表示。
2018-06-19 cs.LG stat.ML
Unsupervised Graph Embedding via Adaptive Graph Learning
Northwestern Polytechnical University(西北工业大学)
图自编码器(GAE)是用于图嵌入的表示学习中的强大工具。然而,GAE的性能非常依赖于图结构的质量,即,adjacency matrix的。换句话说,当邻接矩阵不完整或被干扰时,GAE将表现不佳。本文提出了两种新的无监督图嵌入方法:基于自适应图学习的无监督图嵌入(BAGE)和基于变分自适应图学习的无监督图嵌入(VBAGE)。该方法扩展了GAE在图嵌入上的应用范围,即在没有图结构的一般数据集上的应用。同时,自适应学习机制可以初始化邻接矩阵而不受参数的影响。此外,将潜在表示嵌入到拉普拉斯图结构中,以保持图在向量空间中的拓扑结构。此外,当原始图结构不完整时,邻接矩阵可以自学习以获得更好的嵌入性能。通过自适应学习,该方法对图结构具有更强的鲁棒性。在几个数据集上的实验研究验证了我们的设计,并证明我们的方法在节点聚类,节点分类和图形可视化任务中的性能远远优于基线。
2021-03-23 cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Adversarially Regularized Graph Autoencoder for Graph Embedding
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学)
图嵌入是在低维空间中表示图数据的一种有效方法。现有的嵌入算法主要关注于保持图的拓扑结构或最小化图的重构误差,但大多忽略了图中潜码的分布,这往往导致嵌入效果不佳。在本文中,我们提出了一种新的对抗图嵌入框架的图形数据。该框架将图中的拓扑结构和节点内容编码为紧凑表示,在该紧凑表示上训练解码器以重建图结构。此外,通过对抗性训练方案,潜在表示被强制匹配先验分布。为了学习鲁棒的嵌入,开发了两种对抗方法,对抗正则化图自动编码器(ARGA)和对抗正则化变分图自动编码器(ARVGA)。真实世界的图上的实验研究验证了我们的设计,并证明我们的算法优于基线的链接预测,图聚类和图形可视化任务的大幅度提高。
2019-01-08 cs.LG stat.ML
GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding
Cornell University(康奈尔大学);Michigan Technological University(密歇根理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
图嵌入技术已经越来越多地部署在涉及非欧几里德数据学习的许多不同应用中。然而,现有的图嵌入模型要么在训练过程中没有包含节点属性信息,要么受到节点属性噪声的影响,这会影响准确性。此外,由于它们的高计算复杂性和存储器使用,它们中的很少扩展到大型图。在本文中,我们提出了GraphZoom,一个多层次的框架,用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先执行图融合以生成新的图,该新的图有效地编码了原始图的拓扑和节点属性信息。然后,通过合并具有高光谱相似性的节点,将该融合图反复粗化为小得多的图。GraphZoom允许将任何现有的嵌入方法应用于粗化图,然后逐步将粗化级别获得的嵌入细化为越来越精细的图。我们已经在一些流行的图形数据集上评估了我们的方法,用于转换和归纳任务。我们的实验表明,与最先进的无监督嵌入方法相比,GraphZoom可以大幅提高分类精度,并将整个图嵌入过程显著加速高达40.8倍。
2020-02-17 cs.LG stat.ML
Propagation Kernels
我们介绍了传播内核,一个通用的图形内核框架,有效地测量结构化数据的相似性。传播内核基于监视信息如何通过一组给定的图传播。它们利用来自传播方案(如随机游动)的早期分布来捕获编码在节点标签、属性和边信息中的结构信息。这有两个好处。首先,现成的传播方案可以用于自然地构造许多图类型的核,包括标记的、部分标记的、未标记的、有向的和属性的图。其次,通过利用现有的高效和信息传播方案,传播内核可以比最先进的方法快得多,而不会牺牲预测性能。我们还将证明,如果手头的图具有规则的结构,例如在对图像或视频数据建模时,可以利用这种规则性将内核计算扩展到具有数千个节点的大型图数据库。我们支持我们的贡献,详尽的实验,从各种应用领域的一些现实世界的图。
2014-10-13 cs.LG stat.ML
Gaussian Embedding of Large-scale Attributed Graphs
Monash University(莫纳什大学)
图嵌入方法将高维复杂的图内容转换为低维表示。它们可用于各种图形分析任务,包括链接预测、节点分类、推荐和可视化。大多数现有的方法将图节点表示为低维嵌入空间中的点向量,忽略了现实世界图中存在的不确定性。此外,许多真实世界的图是大规模的,内容丰富(例如节点属性)。在这项工作中,我们提出了GLACE,一种新颖的,可扩展的图形嵌入方法,有效地保留了图形结构和节点属性,在一个端到端的方式。GLACE通过高斯嵌入有效地对不确定性进行建模,并支持基于其属性的新节点的归纳推理。在我们的综合实验中,我们在真实世界的图形上评估了GLACE,结果表明GLACE在多个图形分析任务上的表现明显优于最先进的嵌入方法。
2019-12-02 cs.LG stat.ML
DyGCN: Dynamic Graph Embedding with Graph Convolutional Network
University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Institution of Automation Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);National Laboratory of Pattern Recognition (NLPR)(模式识别国家重点实验室);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
图嵌入,旨在学习低维表示(aka。节点的嵌入)最近受到了极大的关注。近年来,人们对静态图进行了大量的研究,其中图卷积网络(GCN)是一类有效的模型。然而,这些方法主要集中在静态图嵌入。在这项工作中,我们提出了一个有效的动态图嵌入方法,动态图卷积网络(DyGCN),这是一个扩展的GCN为基础的方法。我们自然地将GCN的嵌入传播方案以高效的方式推广到动态设置,即沿着图传播变化以更新节点嵌入。首先更新受影响最大的节点,然后将其更改传播到其他节点并导致其更新。在各种动态图上进行的大量实验表明,我们的模型可以以节省时间和保持性能的方式更新节点嵌入。
2021-04-07 cs.IR cs.LG
Tri-graph Information Propagation for Polypharmacy Side Effect Prediction
University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学);Perimeter Institute for Theoretical Physics(圆周理论物理研究所)
药物组合的使用通常会导致多药副作用(POSE)。最近的一种方法将POSE预测公式化为药物和蛋白质图上的链接预测问题,并用图卷积网络(GCN)解决它。然而,由于POSE中的复杂关系,该方法具有较高的计算成本和内存需求。本文提出了一种灵活的三图信息传播(TIP)模型,该模型在三个子图上进行操作,通过蛋白质-蛋白质图到药物-药物图的传播来逐步学习表示。实验结果表明,TIP算法的准确率提高了7%以上,时间效率提高了83 $\times$,空间效率提高了3 $\times$。
2020-01-28 cs.LG stat.ML
Wasserstein Embedding for Graph Learning
HRL Laboratories, LLC.(HRL有限责任公司);University of Virginia(弗吉尼亚大学)
我们提出了Wasserstein Embedding for Graph Learning(WEGL),这是一种用于将整个图嵌入到向量空间中的新型快速框架,其中各种机器学习模型适用于图级预测任务。我们利用新的见解定义图之间的相似性作为其节点嵌入分布之间的相似性的函数。具体来说,我们使用Wasserstein距离来衡量不同图的节点嵌入之间的差异。与以前的工作不同,我们避免了两两计算图之间的距离,并减少了计算复杂性从二次到线性的图的数量。WEGL计算从参考分布到每个节点嵌入的Monge映射,并基于这些映射创建图的固定大小的向量表示。我们在各种基准图属性预测任务上评估了我们的新图嵌入方法,显示了最先进的分类性能,同时具有卓越的计算效率。该代码可在https://github.com/navid-naderi/WEGL上获得。
2021-03-02 cs.LG stat.ML
Learning node embeddings via summary graphs: a brief theoretical analysis
Data Intelligence Research Center(数据智能研究中心);Institute of Computing Technology(计算技术研究所);University of Michigan(密歇根大学)
图表示学习在许多图挖掘应用中起着重要的作用,但学习大规模图的嵌入仍然是一个问题。最近的工作试图通过图形摘要来提高可伸缩性--即,它们学习在较小的摘要图上的嵌入,然后恢复原始图的节点嵌入。然而,所有现有的工作依赖于启发式设计,缺乏理论分析。与现有的工作不同,我们贡献了一个深入的理论分析的三个具体的嵌入学习方法的基础上引入的核矩阵,并揭示了学习嵌入通过图摘要实际上是学习嵌入的近似图构造的配置模型。并对逼近误差进行了分析。据我们所知,这是第一个工作,给这种方法的理论分析。此外,我们的分析框架给出了一些现有的方法的解释,并提供了很大的见解,为今后的工作在这个问题上。
2022-07-04 cs.LG cs.SI
Benchmarks for Graph Embedding Evaluation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
图嵌入是在低维空间中表示图的节点的任务,其在图任务中的应用在学术界和工业界都获得了显着的牵引力。最近提出的许多图嵌入方法之间的主要区别是它们保持图的固有属性的方式。然而,在实践中,比较这些方法是非常具有挑战性的。大多数方法报告的性能提升少数选定的真正的图形。因此,很难将这些性能改进推广到其他类型的图。给定一个图表,目前不可能量化一种方法相对于另一种方法的优势。在这项工作中,我们引入了一个原则性的框架来比较图嵌入方法。我们的目标有三个方面:(i)提供一个统一的框架,用于比较各种图形嵌入方法的性能,(ii)建立一个具有不同结构属性的真实图形的基准,以及(iii)为用户提供一个工具,以确定最佳的图形嵌入方法。本文评估了4个最有影响力的图嵌入方法和4个传统的链接预测方法对语料库的100个真实世界的网络具有不同的属性。我们根据它们的属性组织了100个网络,以更好地了解这些流行方法的嵌入性能。我们使用100个基准图的比较来定义GFS-score,它可以应用于任何嵌入方法来量化其性能。我们使用GFS评分对最先进的嵌入方法进行排名,并表明它可用于理解和评估新型嵌入方法。我们设想,拟议的框架(https://www.github.com/palash1992/GEM-Benchmark)将作为一个基准平台,测试和比较未来的图嵌入技术的性能。
2019-08-26 cs.LG cs.SI
Unbiased Graph Embedding with Biased Graph Observations
University of Virginia(弗吉尼亚大学)
图嵌入技术在现实世界的机器学习任务中是关键的,这些任务对图结构数据进行操作,例如社会推荐和蛋白质结构建模。嵌入主要在节点级别上执行,用于学习每个节点的表示。由于图的形成不可避免地受到某些敏感节点属性的影响,节点嵌入可能继承这样的敏感信息并在下游任务中引入不期望的偏差。大多数现有的作品强加ad-hoc约束的节点嵌入,以限制其分布的无偏性/公平性,但妥协的效用所得到的嵌入。在本文中,我们提出了一个原则性的无偏图嵌入的新方法,从一个底层的无偏图学习节点嵌入,这是不受敏感节点属性。受这种新视角的启发,我们提出了两种互补的方法来发现这样的底层图,其目标是引入对嵌入效用的最小影响。我们的理论依据和广泛的实验比较对国家的最先进的解决方案证明了我们提出的方法的有效性。
2022-04-23 cs.AI cs.LG
One-Hot Graph Encoder Embedding
University of Delaware(特拉华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种线性复杂度的 one-hot 图编码器嵌入方法,可快速处理数十亿条边的图数据,适用于邻接矩阵或图拉普拉斯,并在顶点分类、聚类和图自举中展现计算优势。
2022-12-02 cs.LG stat.ML
Graph Propagation Transformer for Graph Representation Learning
OPPO Research Institute(OPPO研究院)
该研究提出图传播Transformer(GPTrans)架构,通过支持三类信息传播的图传播注意力机制学习图表示,在多个基准实验中性能优于现有基于Transformer的图模型。
2024-10-09 cs.AI cs.LG
A Complex Network based Graph Embedding Method for Link Prediction
King Saud University(沙特国王大学);College of Computer and Information Sciences(计算机与信息科学学院)
图嵌入方法旨在通过将节点映射到低维向量空间来找到有用的图表示。它是一个具有重要下游应用的任务,例如链接预测、图重构、数据可视化、节点分类和语言建模。近年来,图嵌入领域已经从线性代数方法转向结合随机游走和深度神经网络的局部、基于梯度的优化方法,以解决嵌入大型图的问题。然而,尽管优化工具有了这种改进,但图嵌入方法仍然是以一种无视现实网络特殊性的方式设计的。事实上,近年来在理解和建模复杂的现实网络方面取得了重大进展。然而,所获得的结果有一个小的影响,图嵌入算法的发展。本文旨在通过设计一种图嵌入方法来弥补这一点,该方法利用了网络科学领域最近的有价值的见解。更准确地说,我们提出了一种新的图嵌入方法的基础上的流行度相似性和局部吸引力的范例。我们评估了所提出的方法在大量的现实生活中的网络上的链接预测任务的性能。我们表明,使用广泛的实验分析,所提出的方法优于国家的最先进的图嵌入算法。我们还证明了它的鲁棒性的数据稀缺性和嵌入维数的选择。
2022-09-11 cs.LG cs.SI
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria(卡拉布里亚大学);University of Rome La Sapienza(罗马大学(罗马第一大学))
图嵌入技术允许从图结构中学习高质量的特征向量,并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习(知识)图中节点的特征向量。据我们所知,他们都没有解决嵌入的问题,图的边缘,即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上,并且通过应用一些操作(例如,平均)对端点节点的嵌入。本文的目标是介绍Triple2Vec,一种直接在(知识)图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地,线图的节点是原始图的边。我们表明,直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的,在知识图谱的上下文中。因此,我们引入三线图的概念。第二种是一种边加权机制,适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走,可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成,其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界(知识)图,并将其与相关的工作。
2019-05-28 cs.AI cs.LG
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University(莱比锡大学)
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER,以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离,这是相对简单的。然而,以前的工作表明,单独使用图嵌入是不足以实现高ER质量。因此,我们提出了一个更全面的ER方法称为EAGER(嵌入辅助知识图谱实体解析)的知识图谱,灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法,并使用假设检验来确保我们的结果的统计显著性。此外,我们比较我们的方法与国家的最先进的ER解决方案,我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱,但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning
University of Minnesota Twin Cities(明尼苏达大学双城分校)
学习强大的数据嵌入已经成为机器学习的核心,特别是在自然语言处理和计算机视觉领域。这些嵌入的关键在于,它们以无监督的方式在庞大的数据库上进行预训练,有时还辅以迁移学习。然而,目前在图学习领域,通过现有的图神经网络(GNN)学习的嵌入是任务相关的,因此不能在不同的数据集之间共享。在本文中,我们提出了第一个功能强大且理论上有保证的图神经网络,该网络旨在学习任务无关的图嵌入,此后称为深度通用图嵌入(DUGNN)。我们的DUGNN模型结合了一个新的图神经网络(作为通用图编码器),并利用丰富的图核(作为多任务图解码器)进行无监督学习和(特定于任务的)自适应监督学习。通过学习跨不同数据集的任务无关图嵌入,DUGNN还获得了迁移学习的好处。通过广泛的实验和消融研究,我们表明,所提出的DUGNN模型在图分类基准数据集上的准确率提高了3% - 8%,始终优于现有的最先进的GNN模型和图核。
2019-11-27 cs.LG stat.ML
A Multi-purposed Unsupervised Framework for Comparing Embeddings of Undirected and Directed Graphs
SGH Warsaw School of Economics(华沙经济学院);Ryerson University(瑞尔森大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将网络的节点转换为一组向量。一个好的嵌入应该捕获底层图的拓扑和结构、节点到节点的关系,以及关于图、其子图和节点本身的其他相关信息。如果实现了这些目标,嵌入就是一个有意义的、可理解的、通常是压缩的网络表示。不幸的是,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们扩展了最近介绍的作者评价图嵌入的框架。现在,该框架为每个嵌入分配了两个分数,局部和全局,用于衡量评估嵌入的质量,这些嵌入需要分别良好地表示网络的局部和全局属性。如果需要,可以以无监督的方式选择最佳嵌入,或者框架可以识别一些值得进一步研究的嵌入。该框架是灵活的,可扩展的,可以处理无向/有向,加权/未加权图。
2021-11-30 cs.LG cs.SI
An Unsupervised Framework for Comparing Graph Embeddings
SGH Warsaw School of Economics(华沙经济学院);Ryerson University(瑞尔森大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将图的顶点变换为向量集。好的嵌入应该捕获图的拓扑、顶点到顶点的关系,以及关于图、子图和顶点的其他相关信息。如果这些目标得以实现,它们就是有意义的、可理解的、压缩的网络表示。它们还为数据科学家提供了更多的选择和工具,因为图形上的机器学习仍然非常有限。最后,向量运算比图上的类似运算更简单、更快。主要的挑战是需要确保嵌入很好地描述了图的属性。特别是,必须对嵌入维数做出决定,这对嵌入的质量有很大影响。因此,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们提出了一个“发散分数”,可以分配给各种嵌入,以区分好的和坏的。这个通用框架为无监督图嵌入比较提供了一个工具。为了实现这一点,我们需要推广著名的Chung-Lu模型,将其本身就很有趣的几何学纳入其中。为了测试我们的框架,我们对合成网络和真实网络以及各种嵌入算法进行了大量实验。
2019-05-29 cs.LG cs.SI
Memory and Capacity of Graph Embedding Methods
University of California, Berkeley(加州大学伯克利分校)
本文声明废止,并指引读者参阅合并后的新论文,该论文涉及张量积与近似正交编码的图嵌入方法。
2023-05-13 cs.LG stat.ML
Graph Embedding VAE: A Permutation Invariant Model of Graph Structure
AITRICS
图结构的生成模型在生物学和社会科学中有应用。最先进的是GraphRNN,它将图形生成过程分解为一系列顺序步骤。虽然它对中等大小的图有效,但它对较大的图失去了置换不变性。相反,我们提出了一个置换不变的潜变量生成模型依赖于图嵌入编码结构。使用随机图文献中的工具,我们的模型具有高度可扩展性,可以在$O(|V | + |E|)$中进行可能性评估和生成。
2019-10-17 cs.LG stat.ML
Low-dimensional statistical manifold embedding of directed graphs
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);ETH Zürich(苏黎世联邦理工学院);University of Zagreb(萨格勒布大学)
本文提出了一种新的有向图到统计流形的节点嵌入方法,该方法基于两两相对熵的全局最小化和图的测地线的非线性方法。每个节点被编码在一个可测量的空间上的概率密度函数。此外,我们分析了这种嵌入的几何性质和有效的学习过程之间的联系。大量的实验表明,我们提出的嵌入是更好地保持全局测地线信息的图,以及优于现有的嵌入模型的有向图在各种评价指标,在无监督的设置。
2020-02-06 cs.LG stat.ML
TEAGS: Time-aware Text Embedding Approach to Generate Subgraphs
Singapore University of Technology and Design(新加坡科技设计大学);University of Queensland(昆士兰大学);Iran University of Science and Technology(伊朗科技大学)
传染(例如病毒、流言)在传播图中的节点上传播。我们可以使用节点的时间和文本数据来计算边权重,然后生成具有高度相关节点的子图。这对许多应用都是有益的。然而,挑战也很多。首先,每对节点之间的传播模式可能随时间而改变。其次,传染的方式并不总是相同的。因此,包括主题建模在内的现有文本挖掘方法不能有效地计算边权重。第三,由于传播受时间的影响,词-词共现模式可能在不同的时间维度上不同,这会降低词嵌入方法的有效性。我们认为,应该考虑多方面的时间维度(小时,天等),以更好地计算节点之间的相关性权重。在这项工作中,我们设计了一个新的框架,一方面,集成了基于神经网络的时间感知词嵌入组件,通过多个时间方面来构建词向量,另一方面,使用时间生成模型来计算权重。随后,我们提出了一个最大堆图切割算法来生成子图。我们通过对真实世界数据集的全面实验来验证我们的模型。实验结果表明,该模型能更有效地检索子图,并且在词嵌入和传播过程中都应注意时间动态性。
2019-08-24 cs.DB cs.IR cs.LG
AdaProp: Learning Adaptive Propagation for Graph Neural Network based Knowledge Graph Reasoning
Paradigm Inc.(第四范式公司);Hong Kong Baptist University(香港浸会大学);Tsinghua University(清华大学);HKUST (Guangzhou)(香港科技大学(广州))
针对现有GNN知识图谱推理方法人工设计传播路径忽略实体与查询关系相关性、实体数爆炸的问题,提出AdaProp方法,通过增量采样机制和基于学习的采样分布实现自适应传播,兼具高效性与语义感知能力。
2023-06-14 cs.AI cs.LG
Manifold structure in graph embeddings
University of Bristol(布里斯托大学);Heilbronn Institute for Mathematical Research(海尔布隆数学研究所)
图的统计分析通常从嵌入开始,即将其节点表示为空间中的点的过程。如何选择嵌入维数在实践中是一个微妙的决定,但在理论上,真实维数的概念通常是可用的。在谱嵌入中,这个维度可能非常高。然而,本文表明,现有的随机图模型,包括图子和其他潜在的位置模型,预测数据应该生活在一个低得多的维度集附近。因此,人们可以通过采用利用隐藏流形结构的方法来规避维数灾难。
2021-01-05 cs.LG stat.ML
Active Learning for Graph Embedding
Advanced Digital Sciences Center(先进数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图嵌入通过将图转换为保留结构信息的低维空间,为图分析提供了一种有效的解决方案。与图形结构数据相比,i.i.d.节点嵌入可以在时间和空间两个方面被有效地处理。现有的半监督图嵌入算法都假设标记节点是给定的,这在现实世界中并不总是正确的。虽然手动标记所有的训练数据是不适用的,如何选择的训练数据的子集进行标记,以最大限度地提高图形分析任务的性能是非常重要的。这激发了我们提出的主动图嵌入(AGE)框架,在该框架中,我们为任何半监督图嵌入算法设计了一个通用的主动学习查询策略。AGE基于图形信息选择信息量最大的节点作为训练标记节点(即,节点中心性)以及学习的节点嵌入(即,节点分类不确定性和节点嵌入代表性)。不同的查询标准与时间敏感的参数相结合,随着学习的进行,将焦点从基于图的查询标准转移到基于嵌入的标准。在三个公共数据集上进行了实验,结果验证了我们的查询策略的每个组件的有效性和使用时间敏感参数将它们组合起来的能力。我们的代码可在https://github.com/vwz/AGE上获得。
2017-05-15 cs.LG stat.ML
Hyperparameter-free and Explainable Whole Graph Embedding
University of Electronic Science and Technology of China(电子科技大学);Yangtze Delta Region Institute (Huzhou), University of Electronic Science and Technology of China(电子科技大学长三角研究院(湖州));Beijing Computational Science Research Center(北京计算科学研究中心);City University of Hong Kong(香港城市大学)
图形可以用来描述复杂的系统。近年来,全图嵌入(图表示学习)能够在保持图的固有性质的同时将图压缩成一个紧凑的低维向量,引起了人们的广泛关注。然而,大多数图嵌入方法都存在参数调整繁琐或解释性差等问题。基于DHC(Degree,H-index,and Coreness)定理和香农熵(Shannon Entropy,E),提出了一种简单的无超参数的全图嵌入方法,简称DHC-E。DHC-E可以为涉及分子,社会和大脑网络的监督分类学习任务提供简单性和质量之间的权衡。此外,它在低维图形可视化方面表现良好。总的来说,DHC-E是简单的,无超参数的,并且可以解释整个图嵌入,具有探索图分类和低维图可视化的潜力。
2022-02-06 cs.LG cs.SI
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
DeepWalking Backwards: From Embeddings Back to Graphs
UMass Amherst(马萨诸塞大学阿默斯特分校);Boston University(波士顿大学);ISI Foundation(ISI基金会)
低维节点嵌入在分析图数据集中起着关键作用。然而,很少有人研究流行的嵌入方法到底编码了什么信息,以及这些信息如何与下游机器学习任务的性能相关。我们通过研究嵌入是否可以被反转以(近似)恢复用于生成它们的图来解决这个问题。专注于流行的DeepWalk方法的变体(Perozzi等人,2014; Qiu等人,2018),我们提出了用于精确嵌入反演的算法-即,从图G的低维嵌入,我们可以找到具有非常相似嵌入的图H。我们在真实世界的网络上进行了大量的实验,观察到关于G的重要信息,例如特定的边缘和三角形密度等整体属性,经常在H中丢失。然而,社区结构往往得到保留,甚至得到加强。我们的研究结果是更严格地理解关于输入图的信息嵌入编码以及为什么这些信息对学习任务有用的一步。
2021-02-17 cs.LG cs.SI
Knowledge Propagation over Conditional Independence Graphs
Microsoft Research(微软研究院)
本文针对条件独立图提出知识传播算法,通过利用特征间的直接依赖关系改进图上的信息传播,并在Cora和PubMed数据集上取得优于现有方法的性能。
2024-10-22 cs.AI cs.LG
Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs
University of Washington(华盛顿大学)
本文研究了在欧氏空间中嵌入有向图同时保留方向信息的问题。我们建模一个有向图作为一个有限的一组观察,从一个流形上的扩散赋予一个向量场。这是有向图的第一个生成模型。我们介绍了一个图嵌入算法,估计所有三个功能的模型:低维嵌入的流形,数据密度和向量场。在此过程中,我们还得到了关于由有向图导出的“Laplacian型”矩阵的极限的新的理论结果。将我们的方法应用于人工构建和真实数据突出了其优势。
2014-05-30 cs.LG stat.ML
Data-Driven Radio Propagation Modeling using Graph Neural Networks
Orange Labs(奥兰治实验室)
针对传统无线电传播物理模型准确性与灵活性不足的问题,提出将环境转为图表示、用图神经网络从真实数据学习传播特性的方法,在速度和精度上优于经典方法,首次实现仅靠点测量生成信号覆盖图。
2025-01-08 cs.AI cs.LG cs.NI
Parallel Computation of Graph Embeddings
EPFL(洛桑联邦理工学院);The University of Queensland(昆士兰大学);HUST(河内科技大学);Griffith University(格里菲斯大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
图嵌入的目的是学习一种基于向量的顶点表示,它包含了图的结构。然后,该表示使得能够推断图属性。然而,现有的图嵌入技术不能很好地扩展到大型图。因此,我们提出了一个框架,并行计算的图形嵌入使用一个集群的计算节点与资源约束。我们展示了如何分配任何现有的嵌入技术,首先分裂一个图的任何给定的一组受约束的计算节点,然后调和这些子图派生的嵌入空间。我们还提出了一种新的方法来评估图嵌入的质量,这是独立于一个特定的推理任务。在此基础上,我们给出了一个正式的界限之间的差异嵌入集中式和并行计算。实验结果表明,我们的方法并行计算规模以及,同时在很大程度上保持嵌入质量。
2019-09-06 cs.LG cs.SI stat.ML
Curvature Regularization to Prevent Distortion in Graph Embedding
Jilin University(吉林大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的研究在各种应用中取得了成功的图嵌入。大多数图嵌入方法保持图在嵌入空间中到流形的邻近性。我们认为,一个重要的,但被忽视的问题,这种保持邻近性的策略:图拓扑模式,而保持良好的嵌入流形,可能会扭曲周围的嵌入欧氏空间,因此,检测它们变得困难的机器学习模型。为了解决这个问题,我们提出了曲率正则化,以加强嵌入流形的平坦性,从而防止失真。我们提出了一种新的基于角度的截面曲率,称为ABS曲率,相应的三种曲率正则化诱导平坦的嵌入流形在图嵌入。我们将曲率正则化集成到五种流行的保持邻近性的嵌入方法中,两个应用程序的经验结果表明,在广泛的开放图数据集上有显着的改进。
2020-11-28 cs.CV cs.LG stat.ML
Residual2Vec: Debiasing graph embedding with random graphs
Luddy School of Informatics, Computing and Engineering, Indiana University(印第安纳大学勒迪信息、计算与工程学院);Pohang University of Science and Technology(浦项科技大学)
图嵌入将图映射成方便的向量空间表示,用于图分析和机器学习应用。许多图嵌入方法取决于基于随机游走的上下文节点的采样。然而,由于图的结构特性,随机游动可以是有偏采样器。最值得注意的是,随机游走是由每个节点的度偏置的,其中节点的采样与其度成比例。这种偏见的含义还不清楚,特别是在图表示学习的背景下。在这里,我们研究了随机游动的偏差对图嵌入的影响,并提出了residual2vec,一种通用的图嵌入方法,可以通过使用随机图来消除图中的各种结构偏差。我们证明,这种去偏置不仅提高了链接预测和聚类性能,但也使我们能够明确地建模显着的结构特性图嵌入。
2021-10-14 cs.LG cs.SI physics.soc-ph
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota(明尼苏达大学);BlueLightAI, Inc.(BlueLightAI公司)
知识图谱嵌入涉及学习实体(图的顶点)和关系(图的边)的表示,使得所得到的表示对由知识图谱表示的已知事实信息进行编码,并且可以用于新关系的推断。我们发现,知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言:一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中,与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架,并允许对嵌入的各种先验约束进行表达。此外,所得到的嵌入可以很容易地适应复合关系的推理,而无需特殊的训练。我们实现这些想法,以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中,我们提出了一个组理论的角度来看,知识图谱嵌入,连接以前的方法与不同的群体行动。此外,通过利用舒尔引理从群表示理论,我们表明,国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT