A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
近年来,深度学习彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而,有越来越多的应用程序,其中数据是从非欧几里德域生成的,并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近,出现了许多关于扩展图数据的深度学习方法的研究。在本调查中,我们提供了数据采掘和机器学习领域的图神经网络(GNN)的全面概述。我们提出了一种新的分类法,将最先进的图神经网络分为四类,即递归图神经网络,卷积图神经网络,图自动编码器,时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用,并总结了图神经网络的开源代码,基准数据集和模型评估。最后,我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum(波鸿鲁尔大学);University of Bonn(波恩大学)
能够处理多关系图的图神经网络(GNN)的许多流行变体可能遭受消失梯度。在这项工作中,我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力,以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明,该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
Discrete and Continuous Deep Residual Learning Over Graphs
Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学);Università Degli Studi di Siena(锡耶纳大学)
在本文中,我们提出了使用连续的剩余模块的图形内核的图神经网络。我们展示了离散和连续残差层如何允许更强大的训练,因为连续残差层是通过常微分方程(ODE)求解器集成以产生输出的残差层。我们的实验表明,当使用多层时,这些残差比使用非残差模块的残差获得更好的结果,减轻了基于GCN的模型的低通滤波效果。最后,我们应用和分析这些技术的行为,并指出这种技术如何在其他领域是有用的,允许更多的可预测的行为下的动态时间的计算。
2019-11-26 cs.LG stat.ML
Continuous Temporal Graph Networks for Event-Based Graph Data
Xi’an Jiaotong University(西安交通大学);LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司);CRRC Zhuzhou Institute Co., Ltd.(中车株洲所有限公司)
时态图数据的连续时间动态建模越来越受到人们的关注。以前的方法通过指定神经网络的离散层将时间演化的关系信息编码为低维表示,而真实世界的动态图通常随时间连续变化。因此,我们提出了连续时态图网络(CTGN)来捕获时态图数据的连续动态。我们使用的链接开始时间戳和链接持续时间作为不断变化的信息来模拟节点的连续动态。其核心思想是使用神经常微分方程(ODE)来描述动态图上节点表示的连续动态性。利用一种新的图神经网络对常微分方程进行参数化。现有的动态图网络可以看作是CTGN的一种特殊离散化。在转换和归纳任务上的实验结果证明了我们所提出的方法在竞争基线上的有效性。
2022-05-31 cs.LG
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息,学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外,图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型,即,小图与巨型网络,它们在大小,实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型,用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据,将介绍近年来推出的图神经网络。更具体地说,本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中,IsoNN,SDBN和LF&ER最初是针对小图提出的,其余的最初是针对巨网络提出的。读者在阅读本教程时,也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Continuous-Depth Neural Models for Dynamic Graph Prediction
KAIST(韩国科学技术院);The University of Tokyo(东京大学);Syntensor
我们介绍了连续深度图神经网络(GNNs)的框架。神经图微分方程(神经GDE)被形式化为GNN的对应物,其中输入-输出关系由GNN层的连续体确定,混合离散拓扑结构和微分方程。所提出的框架是兼容的静态GNN模型,并通过混合动力系统理论扩展到动态和随机设置。在这里,神经GDE通过利用底层动力学几何结构来提高性能,进一步引入适应不规则采样数据的能力。结果证明了所提出的模型在应用中的有效性,例如交通预测或遗传调控网络中的预测。
2021-06-22 cs.AI cs.LG stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室);Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室);Tallahassee(塔拉哈西(此处按要求不应提取,但原文本中Tallahassee为城市名,根据规则应忽略,仅保留明确机构部分))
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时,对于一些图学习场景,例如,具有文本/图像属性的节点或具有长距离节点相关性的图,深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络,即DIFNET(图扩散神经网络),用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模,并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验,比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性,特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
From Continuous Dynamics to Graph Neural Networks: Neural Diffusion and Beyond
University of Sydney(悉尼大学);Western Sydney University(西悉尼大学)
本文首次系统综述了从连续动力学视角设计图神经网络的研究,提出一般框架并分类现有方法,以解决过度平滑和过度挤压等经典 GNN 局限。
2023-10-29 cs.AI cs.LG stat.ML
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology(南京理工大学)
为了有效地对图实例进行分类,图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元,在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络,它使用EM路由机制(CapsGNNEM)来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明,所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Weisfeiler-Lehman meets Events: An Expressivity Analysis for Continuous-Time Dynamic Graph Neural Networks
University of Kassel, Germany(德国凯泽尔大学)
针对现实系统异步演化且可能不连通的问题,本文扩展属性离散动态图理论至连续时间场景,提出连续时间动态1-WL测试并证明其与展开树等价,识别出保留区分能力和逼近保证的CGNN类,还给出实用设计指南。
2025-08-25 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University(乔治梅森大学)
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点,边表示它们在地图中的相邻关系。我们实验的House-GAN数据集,包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明,图神经网络,特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率,超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中,我们利用图信号处理来表征图神经网络(GNNs)的表示空间。我们讨论了图卷积滤波器在GNN中的作用,并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解,并有助于解释其可扩展性和可转移性,再加上其本地和分布式性质,使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器,并讨论其属性。最后,我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University(南洋理工大学);C3 AI(C3 AI公司)
本研究探索图神经PDEs对拓扑扰动的鲁棒性,证明其天然更稳健,并提出通用框架以定义新型鲁棒GNNs,在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study(高等研究院);Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
虽然图核(GK)易于训练并享有可证明的理论保证,但它们的实际性能受到其表达能力的限制,因为核函数通常依赖于图的手工组合特征。与图核相比,图神经网络(GNN)通常具有更好的实际性能,因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于大量的超参数和训练过程的非凸性质,GNN更难训练。GNN的理论保证也没有得到很好的理解。此外,GNN的表达能力与参数的数量成比例,因此当计算资源有限时,很难利用GNN的全部功能。本文提出了一类新的图核,图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力,继承了GK的优点。从理论上讲,我们证明了GNTK可以在图上学习一类光滑函数。根据经验,我们在图分类数据集上测试了GNTK,并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
An Energy-Based View of Graph Neural Networks
New York University(纽约大学)
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中,我们考虑将图神经网络与Grathwohl et al.(2019)的基于能量的观点相结合,目的是获得更强大的分类器。我们成功地实现了这个框架,提出了一种新的方法来确保在特征和邻接矩阵上生成,并根据标准的图卷积网络(GCN)架构(Kipf & Welling(2016))评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能,为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Coden: Efficient Temporal Graph Neural Networks for Continuous Prediction
College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)
Coden是一种为连续预测设计的高效时序图神经网络,通过克服现有模型的复杂性瓶颈,实现了动态图的高效学习和预测。
2026-02-13 cs.LG
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute(弗莱顿研究所);New York University(纽约大学);University of Chicago(芝加哥大学)
我们介绍了基于自同构的图神经网络(Autobahn),一个新的家庭的图神经网络。在一个高速公路,我们分解成一个子图的集合图,并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构,例如消息传递神经网络。我们的形式主义还包括新颖的架构:作为一个例子,我们引入了一个图神经网络,它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式,保留了卷积的直观含义,而不会牺牲全局置换等方差。我们验证了我们的方法,应用Autobahn分子图,在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc(米什科尔茨大学)
本文是一篇关于图神经网络(GNNs)的全面综述,探讨了其在各领域的应用,并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion
Northeastern University(东北大学);Google(谷歌)
本文提出基于图神经网络特征扩散矩阵最大奇异值的新泛化界,利用Hessian分析噪声稳定性,在真实图上数值更小且渐近匹配下界,并验证了优化噪声稳定性能提升微调预训练模型的测试性能。
2023-10-23 cs.LG cs.SI math.ST
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架,证明图态可作为参数化量子电路表征神经网络,也可作为底层结构在量子计算机上构建图神经网络,为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
De Bruijn goes Neural: Causality-Aware Graph Neural Networks for Time Series Data on Dynamic Graphs
Julius-Maximilians-Universität Würzburg(维尔茨堡朱利叶斯-马克西米利安大学);University of Zurich(苏黎世大学)
我们介绍了De Bruijn图神经网络(DBGNNs),一种新的时间感知图神经网络架构,用于动态图上的时间分辨数据。我们的方法占时间拓扑模式展开的因果拓扑的动态图,这是由因果散步,即时间上有序的链接序列,节点可以随着时间的推移相互影响。我们的架构建立在多层高阶De Bruijn图上,这是一种迭代线图构造,其中k阶De Bruijn图中的节点表示长度为k-1的行走,而边表示长度为k的行走。我们开发了一个图神经网络架构,利用德布鲁因图实现的消息传递计划,遵循非马尔可夫动力学,这使我们能够学习模式的因果拓扑结构的动态图。为了解决具有不同阶数k的De Bruijn图可以用于对同一数据集进行建模的问题,我们进一步应用统计模型选择来确定用于消息传递的最佳图拓扑。对合成和经验数据集的评估表明,DBGNN可以利用动态图中的时间模式,这大大提高了监督节点分类任务的性能。
2022-09-17 cs.AI cs.LG
Graph and graphon neural network stability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是一种学习架构,它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此,GNN的稳定性很重要,因为在现实世界的场景中,通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限,也是确定图和随机图的生成模型。基于图子信号处理理论,我们定义了图子神经网络,并分析了它们对图子扰动的稳定性。然后,我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到,GNNs是稳定的graphon扰动的稳定性界,随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
Revisiting Graph Neural Networks: All We Have is Low-Pass Filters
Tokyo Institute of Technology(东京工业大学);RIKEN(理化学研究所)
图神经网络已成为解决图结构数据上的机器学习问题的重要技术之一。最近关于顶点分类的工作提出了深度和分布式学习模型,以实现高性能和可扩展性。然而,我们发现基准数据集的特征向量已经为分类任务提供了相当多的信息,而图结构只提供了一种对数据进行降噪的方法。在本文中,我们开发了一个理论框架的基础上,图信号处理分析图神经网络。结果表明,图神经网络只对特征向量进行低通滤波,不具有非线性流形学习特性。我们进一步研究了它们对特征噪声的弹性,并对基于GCN的图神经网络设计提出了一些见解。
2019-05-26 cs.IT cs.LG math.IT
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Shanghai Jiao Tong University(上海交通大学)
我们提出了可解释的图神经网络的采样和恢复的图形信号,分别。为了进行信息测量,我们提出了一个新的图神经采样模块,其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号,我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比,所提出的方法能够灵活地学习各种图形信号模型的数据,通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比,所提出的方法是通过利用特定的图形属性设计的,并提供可解释性。我们进一步设计了一个新的多尺度图神经网络,它是一个可训练的多尺度图滤波器组,可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中,我们说明了所提出的图神经采样和恢复模块的效果,并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中,图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明,我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络(DGNN)的现有方法通常需要大量的历史数据(随时间的交互),这在实践中并不总是可用的。随着时间的推移,丢失的链接是图形数据中的一种常见现象,它进一步加剧了这个问题,从而创建了极其稀疏和动态的图形。为了解决这个问题,我们提出了一种新的方法,基于神经过程,称为图顺序神经ODE过程(GSNOP)。具体来说,GSNOP结合了神经过程和神经常微分方程的优点,将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布,GSNOP将不确定性引入到预测中,使其推广到更多的情况,而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明,GSNOP可以显着提高现有DGNN的性能,并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University(比勒费尔德大学);Guangdong University of Foreign Studies(广东外语外贸大学)
图神经网络在过去的几年里受到了越来越多的关注,因为它们有希望处理图结构数据的能力,这可以在许多现实世界的问题中找到,例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题,而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题,提出了一种图网络模型。与传统的图网络不同,我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外,一个新的损失函数考虑到节点的自我信息,建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
GOPHER: Categorical probabilistic forecasting with graph structure via local continuous-time dynamics
Stanford University(斯坦福大学);Amazon Research(亚马逊研究院)
我们考虑的问题的概率预测的类别与图结构,在一个顶点的动态依赖于其局部连通性结构。我们提出了GOPHER,一种方法,结合了图神经网络与神经ODE的归纳偏差,以捕捉我们的概率预测的内在局部连续时间动态。我们通过与基线模型进行比较来研究这两种归纳偏见的好处,这些模型有助于理清每种偏见的好处。我们发现,捕获的图形结构是至关重要的准确的域内概率预测和更多的样本有效的模型。令人惊讶的是,我们的实验表明,尽管反映了真实的概率动力学,但连续时间演化感应偏置几乎没有带来任何好处。
2021-12-18 cs.LG math.DS
Quantum Graph Neural Networks
X, The Moonshot Factory(X,登月工厂);Google Research(谷歌研究院)
我们介绍了量子图神经网络(QGNN),一类新的量子神经网络ansatze是定制的,以表示具有图形结构的量子过程,特别适合于在量子网络上的分布式量子系统上执行。除了这类通用的ansatze,我们还介绍了进一步的专用架构,即量子图递归神经网络(QGRNN)和量子图卷积神经网络(QGCNN)。我们提供了QGNNs的四个示例应用:学习量子系统的哈密顿动力学,学习如何在量子网络中创建多体纠缠,谱聚类的无监督学习和图同构分类的监督学习。
2019-09-26 cs.LG quant-ph
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比,以前提出这种设置的神经架构的工作获得了有希望的结果,但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中,我们提出了一个新的模型,编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换,允许节点和边缘有自己的隐藏表示,同时解决参数爆炸问题,目前在以前的工作。实验结果表明,我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
CKGConv: General Graph Convolution with Continuous Kernels
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
针对图卷积定义不统一且缺乏灵活性的问题,提出连续核图卷积(CKGConv)框架,将核参数化为图位置编码导出的伪坐标的连续函数,理论上具备强表达力,实验上优于现有图卷积网络且媲美最佳图Transformer。
2024-06-05 cs.AI cs.LG
Graph Rewriting for Graph Neural Networks
University of Leicester(莱斯特大学)
本文提出图重写神经网络(GReNN),将图重写作为图神经网络的形式化语义基础与工程方法,并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
Continuous Product Graph Neural Networks
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);CentraleSupélec(中央高等电力学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学)
针对现有多图多域数据处理方法多为离散滤波的局限,研究者提出基于图上张量偏微分方程的连续乘积图神经网络CITRUS,经理论分析和交通、天气时空预测数据集验证,性能优于现有方法。
2024-10-30 cs.AI cs.LG
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University(里士大学)
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能,发现GNNs在准确率和速度上均优于CNNs,为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Continuous Spiking Graph Neural Networks
针对连续图神经网络计算开销大、难以部署于低功耗设备的问题,提出融合脉冲神经网络与连续动力学的COS-GNN框架,利用二阶ODE实现高效传播,并理论证明其缓解梯度问题,实验验证其有效性。
2026-09-21 cs.AI cs.LG cs.NE
Survey of Image Based Graph Neural Networks
在这篇综述论文中,我们分析了基于图像的图神经网络,并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素,以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后,将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好,计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Knowledge Enhanced Graph Neural Networks for Graph Completion
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔中心);CNRS(法国国家科学研究中心)
提出知识增强图神经网络KeGNN,结合神经与符号方法,将先验知识融入图神经网络,用于图补全任务,并在节点分类基准上验证有效性。
2023-08-31 cs.AI cs.LG cs.LO
Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University(多特蒙德工业大学)
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图,但不幸的是,用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制,我们提出了散列图内核,一个通用的框架,从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是,两者,能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析,并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo(Criteo公司);Sorbonne Université(索邦大学)
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察,我们研究了最近推出的GroupSort神经网络,限制的权重,并作出理论上的一步,更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数,并且在深度和大小上都具有上界。总之,GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling
Shanghai QiZhi Institute(上海智己研究院);University of Pennsylvania(宾夕法尼亚大学)
提出基于Neural SDE的连续序列建模方法,将时间序列视为连续动力系统的离散样本,推导最大似然目标与无模拟训练方案,在具身与生成AI任务中验证有效性。
2025-01-31 cs.LG stat.ML
A generative neural network model for random dot product graphs
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了GraphMoE,一种新的基于神经网络的方法来学习随机图的生成模型。神经网络被训练成通过矩估计器来匹配一类随机图的分布。用于训练的特征是graphlets,小顺序的子图计数。神经网络接受随机噪声作为输入,并输出图中节点的矢量表示。然后通过将核应用于表示来实现随机图。通过这种方式生成的图表被证明能够模仿来自化学、医学和社交网络的数据。生成的图与目标数据足够相似,从而能够欺骗能够分离随机图类别的随机神经网络。
2022-04-15 cs.LG stat.ML
An Algorithm for Approximating Continuous Functions on Compact Subsets with a Neural Network with one Hidden Layer
George Cybenko在1989年的里程碑式论文中指出,存在一个前馈神经网络,它只有一个隐藏层(和有限数量的神经元),可以任意逼近单位超立方体上给定的连续函数$f$。这篇论文没有讨论如何找到这样一个网络的权重/参数,或者找到它们在计算上是否可行。本文给出了一个具有一个隐层的神经网络重构任意连续标量或向量值连续函数的算法。
2019-02-10 cs.LG math.FA stat.ML
Graph Wavelet Neural Network
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
我们提出了图小波神经网络(GWNN),一种新的图卷积神经网络(CNN),利用图小波变换来解决以前的谱图CNN方法依赖于图傅立叶变换的缺点。与图傅立叶变换不同,图小波变换不需要进行矩阵特征分解,计算量大,可以通过快速算法得到。此外,图小波是稀疏的,并在顶点域的局部化,提供了高效率和良好的解释图卷积。在三个基准数据集Cora,Citeseer和Pubmed上,所提出的GWNN在基于图的半监督分类任务中显着优于以前的谱图CNN。
2019-04-12 cs.LG stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);Criteo AI Lab(科韬人工智能实验室);Crest, ENSAE(法国国立统计与经济管理学院 Crest 研究中心)
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构(LSTM、GRU等)具有可比性能的可能模型参数之外,所得结果易于解释。
2021-06-10 cs.LG
Neural Integration of Continuous Dynamics
Massachusetts Institute of Technology(麻省理工学院)
神经动力系统是至少部分地由神经网络描述的动力系统。连续时间神经动力系统的类,但是,必须进行数值积分的模拟和学习。在这里,我们提出了一个紧凑的神经电路两个常见的数值积分器:显式固定步骤的龙格-库塔方法的任何顺序和半隐式/预测-校正亚当斯-Bashforth-Moulton方法。它们被建模为嵌入连续神经微分方程的恒定大小的递归网络,实现了完全神经的时间输出。使用动力系统的多项式类,我们证明了神经和数值积分的等价性。
2019-11-23 cs.LG cs.NA math.DS
Continuous Graph Flow
Borealis AI(北极光人工智能);Princeton University(普林斯顿大学);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们提出了连续图流,一个生成的连续流为基础的方法,旨在模拟复杂的分布图结构的数据。一旦学习,该模型可以应用于任意图,定义由图表示的随机变量的概率密度。它被制定为一个常微分方程系统与共享和可重用的功能,操作的图形。这导致了一种新型的神经图消息传递方案,该方案随着时间的推移执行连续的消息传递。这类模型提供了几个优点:灵活的表示,可以推广到可变的数据维度;能够在复杂的数据分布中建模依赖关系;可逆和内存效率;以及准确和有效的数据可能性计算。我们证明了我们的模型在不同领域的各种生成任务的有效性:图形生成,图像拼图生成和布局生成场景图。我们提出的模型实现了显着更好的性能相比,国家的最先进的模型。
2019-09-28 cs.CV cs.LG stat.ML
Continuous-Time Signal Decomposition: An Implicit Neural Generalization of PCA and ICA
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文将PCA和ICA低秩分解推广至连续时间向量值信号,提出隐式神经表示框架通过损失函数中的对比项统一求解,使其适用于点云与非均匀采样信号。
2025-07-12 cs.LG eess.SP stat.ML
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg(弗莱堡大学);German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Bosch Center for Artificial Intelligence(博世人工智能中心)
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构,同时只增加了一个小的开销在环境中的相互作用。为了实现这一点,我们结合神经进化技术与离线训练,并提出了一种新的架构变异算子。五个连续控制基准的实验表明,所提出的演员-评论家神经进化算法往往优于强演员-评论家基线,并能够自动找到拓扑结构的采样效率的方式,否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Continuous and Discrete-Time Survival Prediction with Neural Networks
University of Oslo(奥斯陆大学)
考虑了离散时间生存方法在连续时间生存预测中的应用。为了这个目的,连续时间数据的离散化计划,提出了考虑估计的事件时间分布的分位数,并且,对于较小的数据集,它被发现是优选的常用的等距计划。此外,连续时间生存估计的两个插值方案进行了探讨,这两个都被证明产生改进的性能相比,离散时间估计。考虑的生存方法是基于右删失生存数据的可能性,和参数化的概率质量函数(PMF)或离散时间的风险率,两者与神经网络。通过仿真和对真实数据的研究,发现风险率参数化的性能略优于PMF的参数化。受这些研究的启发,假设连续时间风险率是分段常数,提出了一种连续时间方法。除了文献中发现的其他生存预测方法外,该方法被命名为PC-危险,与上述方法具有高度竞争力。
2019-10-15 cs.LG stat.ME stat.ML