Building Transportation Foundation Model via Generative Graph Transformer
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出交通基础模型(TFM),通过图结构和动态图生成算法将交通仿真原理融入预测,以数据驱动方式解决传统系统在复杂性和准确性上的挑战。
2023-05-24 cs.AI cs.LG
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc(米什科尔茨大学)
本文是一篇关于图神经网络(GNNs)的全面综述,探讨了其在各领域的应用,并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
De Bruijn goes Neural: Causality-Aware Graph Neural Networks for Time Series Data on Dynamic Graphs
Julius-Maximilians-Universität Würzburg(维尔茨堡朱利叶斯-马克西米利安大学);University of Zurich(苏黎世大学)
我们介绍了De Bruijn图神经网络(DBGNNs),一种新的时间感知图神经网络架构,用于动态图上的时间分辨数据。我们的方法占时间拓扑模式展开的因果拓扑的动态图,这是由因果散步,即时间上有序的链接序列,节点可以随着时间的推移相互影响。我们的架构建立在多层高阶De Bruijn图上,这是一种迭代线图构造,其中k阶De Bruijn图中的节点表示长度为k-1的行走,而边表示长度为k的行走。我们开发了一个图神经网络架构,利用德布鲁因图实现的消息传递计划,遵循非马尔可夫动力学,这使我们能够学习模式的因果拓扑结构的动态图。为了解决具有不同阶数k的De Bruijn图可以用于对同一数据集进行建模的问题,我们进一步应用统计模型选择来确定用于消息传递的最佳图拓扑。对合成和经验数据集的评估表明,DBGNN可以利用动态图中的时间模式,这大大提高了监督节点分类任务的性能。
2022-09-17 cs.AI cs.LG
Introduction to Graph Neural Networks for Machine Learning Engineers
The MITRE Corporation(MITRE公司);National Cancer Institute(国家癌症研究所)
本文通过编码器-解码器框架介绍图神经网络,并通过同质图上的理论和实验分析不同训练规模和复杂度下的行为,重点讨论过平滑和过挤压问题。
2026-06-01 cs.AI cs.LG
Chickenpox Cases in Hungary: a Benchmark Dataset for Spatiotemporal Signal Processing with Graph Neural Networks
The University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学);Central European University(中欧大学);Obuda University(欧布达大学);Corvinus University of Budapest(布达佩斯考文纽斯大学)
递归图卷积神经网络是用于时空信号处理的高效机器学习技术。新提出的图神经网络架构在标准任务(如交通或天气预报)上进行重复评估。在本文中,我们提出了匈牙利水痘病例数据集作为一个新的数据集比较图神经网络架构。我们的时间序列分析和预测实验表明,在匈牙利的水痘病例数据集是足够的比较新的经常性图神经网络架构的预测性能和预测能力。
2021-02-16 cs.AI cs.LG
Coupling Graph Neural Networks with Fractional Order Continuous Dynamics: A Robustness Study
Nanyang Technological University(南洋理工大学);C3 AI
本文研究图神经分数阶微分方程模型在对抗扰动下的鲁棒性,通过理论界分析与实证评估证明其相较整数阶图神经 ODE 具有更强稳定性。
2024-03-04 cs.AI cs.LG
Hitting and commute times in large graphs are often misleading
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Saarland University(萨尔兰大学)
除了最短路径距离,图中顶点之间的第二个最流行的距离函数是通勤距离(阻力距离)。对于两个顶点u和v,命中时间H_{uv}是从u到v随机游走所需的预期时间。通勤时间是其对称化版本C_{uv} = H_{uv} + H_{vu}。本文研究了当图的顶点数n很大时,图的可换距离和击中时间的性质。我们证明,当n收敛到无穷大时,击中时间和通勤距离收敛到完全不考虑图的全局结构的表达式。也就是说,击中时间H_{uv}收敛于1/d_v,而交换时间收敛于1/d_u + 1/d_v,其中d_u和d_v表示顶点u和v的度。在这些情况下,击中时间和交换时间在某种意义上是误导的,因为它们不提供关于图的结构的信息。我们主要研究两类随机图:随机几何图(k-最近邻图、ε-图、高斯相似图)和具有给定期望度的随机图(特别是具有和不具有种植分区的Erdos-Renyi图)
2011-05-26 cs.DS cs.LG math.PR
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University(里士大学)
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能,发现GNNs在准确率和速度上均优于CNNs,为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Survey of Image Based Graph Neural Networks
在这篇综述论文中,我们分析了基于图像的图神经网络,并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素,以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后,将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好,计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Affinity-Aware Graph Networks
Google Research(谷歌研究院);DeepMind(深度思维)
图神经网络(GNN)已经成为一种强大的关系数据学习技术。由于它们执行的消息传递步骤数量相对有限,因此感受野较小,因此人们对通过结合底层图形的结构方面来提高它们的表达能力非常感兴趣。在本文中,我们探讨了在图神经网络中使用亲和性度量作为特征,特别是随机游走产生的度量,包括有效电阻,命中和通勤时间。我们提出了基于这些功能的消息传递网络,并评估其在各种节点和图形属性预测任务上的性能。我们的架构具有较低的计算复杂性,而我们的功能是不变的置换的基础图。我们计算的度量允许网络利用图的连通性,从而使我们能够在各种任务中超越相关基准,通常消息传递步骤显著减少。在最大的公开可用的图回归数据集之一OGB-LSC-PCQM 4 Mv 1上,我们在撰写本文时获得了最知名的单模型验证MAE。
2022-06-23 cs.LG stat.ML
On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology
University of Cambridge(剑桥大学);Sapienza University(萨皮恩扎大学);University of Oxford(牛津大学);Microsoft Research(微软研究院)
本研究从理论上分析了消息传递神经网络中过压缩现象的成因,证明增加宽度可缓解但增加敏感度,深度无益且受梯度消失主导,而图拓扑结构影响最大,为图重连方法提供了理论依据。
2023-05-24 cs.AI cs.DM cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology(南京理工大学)
为了有效地对图实例进行分类,图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元,在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络,它使用EM路由机制(CapsGNNEM)来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明,所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University(乔治梅森大学)
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点,边表示它们在地图中的相邻关系。我们实验的House-GAN数据集,包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明,图神经网络,特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率,超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University(南洋理工大学);C3 AI(C3 AI公司)
本研究探索图神经PDEs对拓扑扰动的鲁棒性,证明其天然更稳健,并提出通用框架以定义新型鲁棒GNNs,在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程(GNP),其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入,并输出目标点上的分布。我们展示了图神经过程中的边缘插补,并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Graph Neural Networks and Boolean Satisfiability
Stanford University(斯坦福大学)
在本文中,我们探讨了深度神经架构是否可以学习对布尔可满足性(SAT)进行分类。我们花了相当多的时间来讨论SAT的理论性质。然后,我们定义了一个图形表示的合取范式的布尔公式,和训练神经分类器在一般的图形结构称为图神经网络,或GNNs,识别满足性的功能。据我们所知,这是以前从未尝试过的。我们的初步发现可能意义深远。在弱监督环境中,即没有问题特定的特征工程,图神经网络可以学习满足性特征。
2017-02-12 cs.AI
Knowledge Enhanced Graph Neural Networks for Graph Completion
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔中心);CNRS(法国国家科学研究中心)
提出知识增强图神经网络KeGNN,结合神经与符号方法,将先验知识融入图神经网络,用于图补全任务,并在节点分类基准上验证有效性。
2023-08-31 cs.AI cs.LG cs.LO
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study(高等研究院);Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
虽然图核(GK)易于训练并享有可证明的理论保证,但它们的实际性能受到其表达能力的限制,因为核函数通常依赖于图的手工组合特征。与图核相比,图神经网络(GNN)通常具有更好的实际性能,因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于大量的超参数和训练过程的非凸性质,GNN更难训练。GNN的理论保证也没有得到很好的理解。此外,GNN的表达能力与参数的数量成比例,因此当计算资源有限时,很难利用GNN的全部功能。本文提出了一类新的图核,图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力,继承了GK的优点。从理论上讲,我们证明了GNTK可以在图上学习一类光滑函数。根据经验,我们在图分类数据集上测试了GNTK,并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
An Energy-Based View of Graph Neural Networks
New York University(纽约大学)
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中,我们考虑将图神经网络与Grathwohl et al.(2019)的基于能量的观点相结合,目的是获得更强大的分类器。我们成功地实现了这个框架,提出了一种新的方法来确保在特征和邻接矩阵上生成,并根据标准的图卷积网络(GCN)架构(Kipf & Welling(2016))评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能,为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute(弗莱顿研究所);New York University(纽约大学);University of Chicago(芝加哥大学)
我们介绍了基于自同构的图神经网络(Autobahn),一个新的家庭的图神经网络。在一个高速公路,我们分解成一个子图的集合图,并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构,例如消息传递神经网络。我们的形式主义还包括新颖的架构:作为一个例子,我们引入了一个图神经网络,它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式,保留了卷积的直观含义,而不会牺牲全局置换等方差。我们验证了我们的方法,应用Autobahn分子图,在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Graph Neural Networks: Taxonomy, Advances and Trends
Taiyuan University of Technology(太原理工大学);Shanxi Spatial Information Network Engineering Technology Research Center(山西省空间信息网络工程技术研究中心);Shanxi Intelligent Perception Engineering Research Center(山西省智能感知工程研究中心)
图神经网络提供了一个强大的工具包,用于根据特定任务将真实世界的图嵌入到低维空间中。截至目前,已有多项关于该主题的调查。但是,它们往往侧重于不同的角度,使读者无法看到图神经网络的全貌。本文旨在克服这一局限性,对图神经网络进行全面的综述。首先,我们为图神经网络提供了一种新的分类方法,然后参考了多达400篇相关文献,展示了图神经网络的全貌。所有这些都被归入相应的类别。为了推动图神经网络进入一个新的阶段,我们总结了四个未来的研究方向,以克服所面临的挑战。希望越来越多的学者能够理解和利用图神经网络,并将其应用于研究领域。
2022-02-25 cs.LG
Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
UCSB(加州大学圣巴巴拉分校);Adobe(奥多比公司);Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了求解图神经正切核(GNTK)是否等价于训练无限宽图神经网络,证明了图级回归的等价性,并首次提出并证明了节点级回归的GNTK公式与等价性。
2023-09-14 cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University(中南大学);State Grid Hunan Electric Power Company Limited(国网湖南省电力有限公司);Alibaba Group(阿里巴巴集团)
近年来,随着图神经网络在非欧数据上的成功应用,图神经结构搜索受到了广泛关注。然而,在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中,我们提出了一个并行图结构搜索(GraphPAS)框架的图神经网络。在GraphPAS中,我们通过设计一种基于共享的进化学习来并行探索搜索空间,这可以在不损失准确性的情况下提高搜索效率。此外,动态地采用结构信息熵作为变异选择概率,减少了空间探索。实验结果表明,GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Neural Graph Matching for Pre-training Graph Neural Networks
Ant Group(蚂蚁集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
近年来,图神经网络(GNNs)在结构化数据建模方面表现出强大的能力。然而,当适应下游任务时,它通常需要大量的特定于任务的标记数据,而这些数据在实践中可能非常稀缺。解决数据稀缺问题的一个有前途的解决方案是在大量未标记图或粗粒度标记图上预训练可转移和表达的GNN模型。然后,预训练的GNN在下游数据集上进行微调,并带有特定于任务的细粒度标签。在本文中,我们提出了一种新的基于图匹配的GNN预训练框架,称为GMPT。专注于一对图,我们建议通过神经图匹配来学习它们之间的结构对应关系,包括图内消息传递和图间消息传递。通过这种方式,当与不同的图配对时,我们可以学习给定图的自适应表示,并且在单个预训练任务中自然地考虑节点和图级别的特征。该方法可用于完全自监督预训练和粗粒度监督预训练。我们进一步提出了一个近似的对比训练策略,以显着减少时间/内存消耗。在多域、分布外的基准测试上的大量实验证明了我们方法的有效性。该代码可从以下网址获取:https://github.com/RUCAIBox/GMPT。
2022-03-03 cs.LG
Benchmarking Graph Neural Networks on Link Prediction
Auburn University(奥本大学)
在本文中,我们基准测试几个现有的图神经网络(GNN)模型在不同的数据集上的链接预测。特别地,图卷积网络(GCN)、GraphSAGE、图注意力网络(GAT)以及变分图自动编码器(VGAE)被实现为专用于链接预测任务,执行深入分析,并且复制来自几篇不同论文的结果,还提供了更公平和系统的比较。我们的实验表明,这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Dept. of Electrical and Systems Eng.(电气与系统工程系);Philadelphia, PA 19143(费城,PA 19143)
图神经网络(GNN)依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的,并且不依赖于图,因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中,我们引入图子NN作为GNN的极限对象,并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的,则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
On Node Features for Graph Neural Networks
EPFL(洛桑联邦理工学院);HUST(华中科技大学);Google(谷歌公司);Griffith University(格里菲斯大学)
图神经网络(GNN)是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而,这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明,如果节点特征和节点标签之间存在很强的相关性,GNN就能很好地工作。基于这些结果,我们提出了新的特征初始化方法,允许将图神经网络应用于非属性图。我们的实验结果表明,人工特征具有很强的竞争力,真正的功能。
2019-11-20 cs.LG stat.ML
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架,证明图态可作为参数化量子电路表征神经网络,也可作为底层结构在量子计算机上构建图神经网络,为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
Factor Graph Neural Network
National University of Singapore(新加坡国立大学);Nanjing University(南京大学)
大多数成功的深度神经网络架构都是结构化的,通常由卷积神经网络和门控递归神经网络等元素组成。最近,图神经网络已经成功地应用于图结构化数据,例如点云和分子数据。这些网络通常只考虑成对依赖关系,因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络(FGNN),以捕捉高阶依赖。我们表明,FGNN是能够代表最大产品的信念传播,概率图模型的近似推理算法,因此,它是能够做得很好,当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
Graph and graphon neural network stability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是一种学习架构,它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此,GNN的稳定性很重要,因为在现实世界的场景中,通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限,也是确定图和随机图的生成模型。基于图子信号处理理论,我们定义了图子神经网络,并分析了它们对图子扰动的稳定性。然后,我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到,GNNs是稳定的graphon扰动的稳定性界,随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络(DGNN)的现有方法通常需要大量的历史数据(随时间的交互),这在实践中并不总是可用的。随着时间的推移,丢失的链接是图形数据中的一种常见现象,它进一步加剧了这个问题,从而创建了极其稀疏和动态的图形。为了解决这个问题,我们提出了一种新的方法,基于神经过程,称为图顺序神经ODE过程(GSNOP)。具体来说,GSNOP结合了神经过程和神经常微分方程的优点,将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布,GSNOP将不确定性引入到预测中,使其推广到更多的情况,而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明,GSNOP可以显着提高现有DGNN的性能,并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
Customized Graph Neural Networks
Michigan State University(密歇根州立大学);Microsoft Research Asia(微软亚洲研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
最近,图神经网络(GNNs)大大推进了图分类的任务。通常,我们首先在给定的训练集中构建一个统一的GNN模型,然后使用这个统一的模型来预测测试集中所有未见过的图的标签。然而,同一数据集中的图通常具有显著不同的结构,这表明统一模型在给定单个图的情况下可能是次优的。因此,在本文中,我们的目标是开发定制的图神经网络的图形分类。具体来说,我们提出了一种新的定制图神经网络框架,即,自定义GNN。给定一个图样本,Customized-GNN可以基于其结构为该图生成一个特定于样本的模型。同时,该框架具有很强的通用性,可以应用于现有的众多图神经网络模型。各种图分类基准上的综合实验证明了所提出的框架的有效性。
2021-12-14 cs.LG stat.ML
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
近年来,深度学习彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而,有越来越多的应用程序,其中数据是从非欧几里德域生成的,并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近,出现了许多关于扩展图数据的深度学习方法的研究。在本调查中,我们提供了数据采掘和机器学习领域的图神经网络(GNN)的全面概述。我们提出了一种新的分类法,将最先进的图神经网络分为四类,即递归图神经网络,卷积图神经网络,图自动编码器,时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用,并总结了图神经网络的开源代码,基准数据集和模型评估。最后,我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum(波鸿鲁尔大学);University of Bonn(波恩大学)
能够处理多关系图的图神经网络(GNN)的许多流行变体可能遭受消失梯度。在这项工作中,我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力,以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明,该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University(比勒费尔德大学);Guangdong University of Foreign Studies(广东外语外贸大学)
图神经网络在过去的几年里受到了越来越多的关注,因为它们有希望处理图结构数据的能力,这可以在许多现实世界的问题中找到,例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题,而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题,提出了一种图网络模型。与传统的图网络不同,我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外,一个新的损失函数考虑到节点的自我信息,建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
Quantum Graph Neural Networks
X, The Moonshot Factory(X,登月工厂);Google Research(谷歌研究院)
我们介绍了量子图神经网络(QGNN),一类新的量子神经网络ansatze是定制的,以表示具有图形结构的量子过程,特别适合于在量子网络上的分布式量子系统上执行。除了这类通用的ansatze,我们还介绍了进一步的专用架构,即量子图递归神经网络(QGRNN)和量子图卷积神经网络(QGCNN)。我们提供了QGNNs的四个示例应用:学习量子系统的哈密顿动力学,学习如何在量子网络中创建多体纠缠,谱聚类的无监督学习和图同构分类的监督学习。
2019-09-26 cs.LG quant-ph
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Shanghai Jiao Tong University(上海交通大学)
我们提出了可解释的图神经网络的采样和恢复的图形信号,分别。为了进行信息测量,我们提出了一个新的图神经采样模块,其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号,我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比,所提出的方法能够灵活地学习各种图形信号模型的数据,通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比,所提出的方法是通过利用特定的图形属性设计的,并提供可解释性。我们进一步设计了一个新的多尺度图神经网络,它是一个可训练的多尺度图滤波器组,可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中,我们说明了所提出的图神经采样和恢复模块的效果,并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中,图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明,我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比,以前提出这种设置的神经架构的工作获得了有希望的结果,但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中,我们提出了一个新的模型,编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换,允许节点和边缘有自己的隐藏表示,同时解决参数爆炸问题,目前在以前的工作。实验结果表明,我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
Graph Rewriting for Graph Neural Networks
University of Leicester(莱斯特大学)
本文提出图重写神经网络(GReNN),将图重写作为图神经网络的形式化语义基础与工程方法,并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
Learning Commute-Time-Preserving World Models for Planning
Friedrich Miescher Institute for Biomedical Research(弗里德里希·米舍尔生物医学研究所);University of Basel(巴塞尔大学)
针对现有世界模型在潜在空间中因各向同性表示而破坏通勤时间缩放的问题,提出CTWM模型,结合位移预测器与对数行列式正则化器,在可逆动力学下恢复正确缩放,以更少参数在连续目标到达任务中达到或超越基线性能。
2026-10-02 cs.LG
Graph Random Neural Features for Distance-Preserving Graph Representations
Universitá della Svizzera italiana(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);University of Manitoba(曼尼托巴大学);University of Exeter(埃克塞特大学)
提出了一种基于图神经网络的图随机神经特征(GRNF)嵌入方法。嵌入自然地处理图同构,并在概率上保持图域的度量结构。除了是一个显式的嵌入方法,它还允许我们高效和有效地近似图度量距离(以及完整的核函数);还提供了一个标准来选择嵌入维数权衡近似精度与计算成本。GRNF可以在传统的处理方法中使用,也可以用作图神经网络的无训练输入层。伴随GRNF的理论保证确保所考虑的图距离是度量的,因此允许区分任何一对非同构图。
2020-06-02 cs.LG stat.ML
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息,学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外,图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型,即,小图与巨型网络,它们在大小,实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型,用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据,将介绍近年来推出的图神经网络。更具体地说,本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中,IsoNN,SDBN和LF&ER最初是针对小图提出的,其余的最初是针对巨网络提出的。读者在阅读本教程时,也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
DG-Trans: Dual-level Graph Transformer for Spatiotemporal Incident Impact Prediction on Traffic Networks
Virginia Tech(弗吉尼亚理工大学);South Dakota State University(南达科他州立大学)
交通事件影响的及时估计可以指导通勤者进行出行规划,提高交通机构决策的弹性。然而,它比节点级和图级预测任务更具挑战性,因为它需要从动态图中提取异常子图或子时间序列。在本文中,我们提出了DG-Trans,一种新的交通事件影响预测框架,通过动态图学习来预测交通事件的影响。该框架包含一个双层的空间Transformer和一个基于重要性分数的时间Transformer,该框架的性能是合理的两个新构建的基准数据集。双层空间Transformer移除节点之间不必要的边,以将受影响的子图与其他节点隔离。同时,基于重要性分数的时间Transformer识别节点特征的异常变化,导致预测更多地依赖于事件发生后的测量变化。因此,DG-Trans具有提取时空依赖性和识别受事件影响的异常节点的双重能力,同时消除良性节点引入的噪声。在真实数据集上的大量实验验证了DG-Trans优于现有的最先进的方法,特别是在提取时空依赖模式和预测交通事故影响方面。它为交通事故管理系统提供了很好的潜力。
2023-03-21 cs.LG cs.SI
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Streaming Graph Neural Networks
Michigan State University(密歇根州立大学)
图形是许多真实世界数据(如社交网络)的基本表示。近年来,人们越来越努力地将神经网络模型扩展到图结构数据。这些方法,通常被称为图神经网络,已被应用于推进许多图形相关的任务,如推理动力学的物理系统,图分类,和节点分类。现有的大多数图神经网络模型都是针对静态图设计的,而现实世界中的许多图本质上是动态的。例如,随着新用户的加入和新关系的创建,社交网络自然地发展。现有的图神经网络模型不能利用动态图中的动态信息。然而,动态信息已被证明可以增强许多图分析任务的性能,例如社区发现和链接预测。因此,有必要为动态图设计专用的图神经网络。本文提出了一种新的{ \bf D}类{ \bf G}类{\bf N}神经网络模型DGNN,它能够对图的演化过程中的动态信息进行建模。特别地,所提出的框架可以保持更新节点信息,通过捕获的边缘(交互),边缘之间的时间间隔和信息传播相干的顺序信息。在各种动态图上的实验结果证明了该框架的有效性。
2018-11-06 cs.LG stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室);Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室);Tallahassee(塔拉哈西(此处按要求不应提取,但原文本中Tallahassee为城市名,根据规则应忽略,仅保留明确机构部分))
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时,对于一些图学习场景,例如,具有文本/图像属性的节点或具有长距离节点相关性的图,深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络,即DIFNET(图扩散神经网络),用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模,并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验,比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性,特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中,我们利用图信号处理来表征图神经网络(GNNs)的表示空间。我们讨论了图卷积滤波器在GNN中的作用,并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解,并有助于解释其可扩展性和可转移性,再加上其本地和分布式性质,使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器,并讨论其属性。最后,我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University(安徽大学)
近年来,图神经网络(GNNs)在图数据学习任务中得到越来越多的关注。然而,在许多应用中,图可能以不完整的形式出现,其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的,不能直接处理属性不完全的图数据。为了解决这个问题,我们开发了一种新的基于部分聚集的GNNs,命名为部分图神经网络(PaGNNs),用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上,我们在不完全图上定义了两个新的部分聚集(重建)函数,并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion
Northeastern University(东北大学);Google(谷歌)
本文提出基于图神经网络特征扩散矩阵最大奇异值的新泛化界,利用Hessian分析噪声稳定性,在真实图上数值更小且渐近匹配下界,并验证了优化噪声稳定性能提升微调预训练模型的测试性能。
2023-10-23 cs.LG cs.SI math.ST
Finsler Geometry, Graph Neural Networks, and You
Rice University(莱斯大学)
针对图拉普拉斯只能近似各向同性算子的局限,提出基于芬斯勒拉普拉斯的图神经网络层,证明其收敛性并恢复非线性扩散方程的几何结构。
2026-06-17 cs.LG eess.SP math.DG