Simple yet Effective Gradient-Free Graph Convolutional Networks
The Hong Kong Polytechnic University(香港理工大学)
线性化图神经网络(GNNs)是近年来用于图表示学习的一个研究热点。与非线性图神经网络(GNN)模型相比,线性化GNN具有更高的时间效率,并且可以在典型的下游任务(如节点分类)上实现相当的性能。虽然一些线性GNN变体是故意设计来减轻“过度平滑”,但实证研究表明,它们仍然在某种程度上受到这个问题的困扰。在本文中,我们将过度平滑与消失梯度现象联系起来,并设计了一个无梯度训练框架,以实现更高效和更有效的线性化GNN,这可以显着克服过度平滑并增强模型的泛化能力。实验结果表明,我们的方法在不同深度的节点分类任务上取得了更好和更稳定的性能,并且花费了更少的训练时间。
2023-02-01 cs.LG cs.SI
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
A Survey on Graph Classification and Link Prediction based on GNN
School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学)
本文综述了图卷积神经网络的基础,解析了基于注意力机制和自编码器的GNN模型,并总结了其在节点分类、图分类及链接预测任务中的应用与相关数据集。
2023-07-03 cs.LG
Triple Sparsification of Graph Convolutional Networks without Sacrificing the Accuracy
Indiana University Bloomington(印第安纳大学伯明顿分校)
图神经网络(GNN)被广泛用于在图上执行不同的机器学习任务。随着图的大小增加,GNN变得更深,除了内存需求外,训练和推理时间也变得昂贵。因此,在不牺牲准确性的情况下,图稀疏化或模型压缩成为图学习任务的可行方法。一些现有的技术只研究图和GNN模型的稀疏化。在本文中,我们开发了一个SparseGCN管道来研究GNN中所有可能的稀疏化。我们提供了一个理论分析和经验表明,它可以增加高达11.6%的额外稀疏嵌入矩阵,而不牺牲常用的基准图数据集的准确性。
2022-08-06 cs.LG cs.PF
VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization
University of Maryland(马里兰大学)
大多数最先进的图神经网络(GNN)可以被定义为一种图卷积的形式,它可以通过直接邻居之间或更远的消息传递来实现。为了将这样的GNN扩展到大型图,提出了各种邻居、层或子图采样技术,以通过仅考虑在小批量中传递到节点的消息的小子集来缓解“邻居爆炸”问题。然而,基于采样的方法很难应用于GNN,这些GNN每层都利用多跳或全局上下文,对于不同的任务和数据集表现出不稳定的性能,并且不能加速模型推理。我们提出了一种原则性和根本不同的方法,VQ-GNN,这是一种通用框架,可以使用矢量量化(VQ)来扩展任何基于卷积的GNN,而不会影响性能。与基于采样的技术相比,我们的方法可以通过学习和更新全局节点表示的少量量化参考向量,在每个GNN层内使用VQ,有效地保留传递给小批量节点的所有消息。我们的框架避免了使用量化表示与低秩版本的图卷积矩阵相结合的GNN的“邻居爆炸”问题。我们表明,这样一个紧凑的低秩版本的巨大的卷积矩阵是足够的理论和实验。在公司VQ,我们设计了一个新的近似的消息传递算法和一个非平凡的反向传播规则,我们的框架。在不同类型的GNN骨干上的实验证明了我们的框架在大型图节点分类和链接预测基准测试上的可扩展性和竞争性能。
2021-10-27 cs.LG stat.ML
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Dept. of Electrical and Systems Eng.(电气与系统工程系);Philadelphia, PA 19143(费城,PA 19143)
图神经网络(GNN)依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的,并且不依赖于图,因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中,我们引入图子NN作为GNN的极限对象,并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的,则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
LON-GNN: Spectral GNNs with Learnable Orthonormal Basis
Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
近年来,大量的谱图神经网络(GNN)方法利用多项式基与可学习的系数,以实现许多节点级任务的顶级性能。虽然已经探索了各种各样的多项式基,但每种方法都采用固定的多项式基,这可能不是给定图的最佳选择。此外,我们确定了这些方法的所谓的超越问题,并表明这在某种程度上是植根于他们的规则化策略和非规范化的基础。在本文中,我们首次尝试解决这两个问题。利用Jacobi多项式,我们设计了一种新的谱GNN,LON-GNN,具有可学习的OrthoNormal基,并证明了正则化系数现在等价于正则化学习滤波器函数的范数。我们在不同的图数据集上进行了广泛的实验,以评估LON-GNN的拟合和泛化能力,结果表明其优越性。
2023-03-30 cs.AI cs.LG
Feature Distribution on Graph Topology Mediates the Effect of Graph Convolution: Homophily Perspective
Kim Jaechul Graduate School of Artificial Intelligence, KAIST(KAIST金在哲人工智能研究生院);School of Electrical Engineering, KAIST(KAIST电气工程学院);Michigan State University(密歇根州立大学)
针对特征打乱提升GNN性能的现象,提出A-X依赖的测量方法与控制模型,建立其与图卷积的理论关系并实证,发现更小的A-X依赖可提升节点分类性能。
2024-06-06 cs.LG cs.SI
Learning Stable Graph Neural Networks via Spectral Regularization
University of Cambridge(剑桥大学);Delft University of Technology(代尔夫特理工大学)
图神经网络(GNNs)的稳定性表征了GNNs如何对图扰动做出反应,并为噪声场景中的架构性能提供保证。本文提出了一种自正则化图神经网络(SR-GNN)解决方案,通过正则化图谱域中的滤波器频率响应来提高结构稳定性。SR-GNN不仅将图形信号视为输入,还将底层图形的特征向量视为输入,其中处理信号以生成任务相关特征和特征向量来表征每层的频率响应。我们通过最小化代价函数和正则化最大频率响应接近1来训练SR-GNN。前者提高了体系结构的性能,而后者加强了扰动稳定性,并通过多层传播减少了信息丢失。我们进一步证明了SR-GNN保持了置换等方差,这允许探索图信号的内部对称性,并在类似的图结构上表现出迁移。源定位和电影推荐的数值结果证实了我们的研究结果,并显示SR-GNN在未扰动图上产生与香草GNN相当的性能,但大大提高了稳定性。
2022-11-13 cs.LG eess.SP
Higher-order Sparse Convolutions in Graph Neural Networks
Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Khalifa University(哈利法大学);Information Technology University(信息技术大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);La Rochelle Université(拉罗谢尔大学)
图神经网络(GNNs)已被应用于计算机科学中的许多问题。捕捉节点之间的高阶关系对于提高GNN的表达能力至关重要。然而,现有的方法来捕捉这些关系可能是不可行的大规模的图形。在这项工作中,我们介绍了一种新的高阶稀疏卷积的基础上的Sobolev范数的图形信号。我们的稀疏Sobolev GNN(S-SobGNN)在每一层上计算一个级联的过滤器,并增加Hadamard幂,以获得一组更多样化的函数,然后线性组合层对每个过滤器的嵌入进行加权。我们在半监督学习的几个应用中评估S-SobGNN。与几种最先进的方法相比,S-SobGNN在所有应用中都表现出了竞争力。
2023-02-21 cs.LG eess.SP
A Joint Graph and Image Convolution Network for Automatic Brain Tumor Segmentation
Brown University(布朗大学);Brown Alpert Medical School(布朗大学阿尔珀特医学院)
我们提出了一个联合图卷积-图像卷积神经网络,作为我们提交给脑肿瘤分割(BraTS)2021挑战的文件。我们将每个大脑建模为由不同图像区域组成的图,该图最初由图神经网络(GNN)分割。随后,通过简单(体素)卷积神经网络(CNN)进一步细化由GNN识别的肿瘤体积,其产生最终分割。这种方法通过图形表示捕获全局大脑特征交互,并通过使用卷积滤波器捕获局部图像细节。我们发现GNN组件本身可以有效地识别和分割脑肿瘤。CNN的加入进一步提高了模型的中位数性能,在所有评估的指标中提高了2%。在验证集上,我们的联合GNN-CNN模型在整个肿瘤、核心肿瘤和增强肿瘤上分别实现了0.89、0.81、0.73的平均Dice评分和6.8、12.6、28.2 mm的平均Hausdorff距离(第95百分位数)。
2022-07-30 cs.CV cs.LG eess.IV
Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution
The University of Sydney(悉尼大学)
本文提出了一种用于谱图神经网络的多尺度自适应框架小波卷积方法,通过在谱域直接设计滤波函数将图数据分解为低通和高通谱,有效滤除噪声并保留关键特征,在节点分类任务中展现出卓越的鲁棒性和性能。
2024-07-29 cs.AI cs.LG cs.NA
CORGI: GNNs with Convolutional Residual Global Interactions for Lagrangian Simulation
Department of Computer Science(计算机科学系)
CORGI通过引入卷积残差全局交互机制,提升GNNs在拉格朗日模拟中的准确性和效率,实现更高的性能和更优的计算资源利用。
2025-11-28 cs.LG
Graph Learning Should Move Beyond Restrictive Views of Spectral and Message-Passing GNNs
RWTH Aachen University(亚琛工业大学);Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Univ. de Montréal(蒙特利尔大学);Mila(Mila人工智能研究所);Technion – Israel Institute of Technology(技术学院–以色列理工学院)
本文澄清了谱图神经网络与消息传递图神经网络的异同,提出基于特征基对称性的谱GNN精确定义,并倡导统一理论框架以推动图学习发展。
2026-06-16 cs.LG
Fast Haar Transforms for Graph Neural Networks
Zhejiang Normal University(浙江师范大学);The University of New South Wales(新南威尔士大学);Princeton University(普林斯顿大学);City University of Hong Kong(香港城市大学)
图神经网络(Graph Neural Network,GNNs)由于其在高维图结构数据的分类和回归任务中的强大能力,近年来成为研究热点。然而,由于GNN通常通过图拉普拉斯算子的标准正交基来定义图卷积,因此当图大小很大时,它们会遭受高计算成本。本文引入了图上粗粒度链的稀疏局部化标准正交系Haar基。Haar基下的图卷积,称为Haar卷积,可以相应地为GNN定义。利用Haar基的稀疏性和局部性,可以在图上进行快速Haar变换,从而实现图数据与滤波器之间Haar卷积的快速计算。我们在配备Haar卷积的GNN上进行实验,这展示了基于图的回归和节点分类任务的最新结果。
2019-10-30 cs.LG stat.ML
Stability of Graph Neural Networks to Relative Perturbations
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
图神经网络(GNN)由应用图卷积和逐点非线性的级联层组成,已经成为处理图上支持的信号的强大架构。图卷积(以及GNN)在很大程度上依赖于图的知识来进行操作。然而,在许多实际情况下,GSO是未知的,需要估计,或者可能会改变从训练时间到测试时间。在本文中,我们将研究支持信号的底层图形拓扑的变化对GNN输出的影响。我们证明,图卷积与积分Lipschitz滤波器导致GNNs的输出变化是有界的拓扑结构中的相对变化的大小。此外,我们利用这一结果表明,GNN成功的主要原因是它们是能够区分高特征值特征的稳定架构,这是线性图过滤器无法实现的壮举(既稳定又有区别,但不能两者兼而有之)。最后,我们评论使用这个结果来训练GNNs,提高稳定性,并在电影推荐系统上进行实验。
2019-10-21 cs.LG eess.SP stat.ML
Space-Time Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
我们介绍了时空图神经网络(ST-GNN),一种新的GNN架构,量身定制,以共同处理时变网络数据的底层时空拓扑结构。我们提出的架构的基石是时间和图形卷积滤波器的组成,其次是逐点非线性激活函数。我们介绍了一个通用的定义卷积运算符,模仿其底层支持信号的扩散过程。在这个定义之上,我们提出了时空图卷积,它是建立在时间和图形移位运算符的组合上的。我们证明了具有多元积分Lipschitz滤波器的ST-GNNs对底层图中的小扰动以及时间扭曲引起的时域中的小扰动是稳定的。我们的分析表明,网络拓扑和系统时间演化的微小变化不会显著影响ST-GNN的性能。分散控制系统的数值实验表明,所提出的ST-GNNs的有效性和稳定性。
2022-01-23 cs.LG
KQGC: Knowledge Graph Embedding with Smoothing Effects of Graph Convolutions for Recommendation
Rakuten Institute of Technology, Rakuten Group, Inc.(乐天集团乐天技术研究所);The University of Tokyo(东京大学)
随着图表示学习(GRL)的发展,在推荐系统中利用图已经变得流行起来。其中,知识图谱嵌入(KGE)和图神经网络(GNNs)是GRL的代表性方法,在多个推荐任务上取得了最佳性能。此外,KGE和GNNs的组合(KG-GNNs)已在许多学术文献中进行了探索并发现有效。GNN的主要特征之一是它们能够在所产生的稠密表示中保留邻居之间的结构属性,这通常被称为平滑。平滑是特别需要在同伦图的存在下,如我们在推荐系统中发现的。在本文中,我们提出了一个新的推荐系统模型命名为基于知识查询的图卷积(KQGC)。与对KG-GNN进行平滑相比,KQGC专注于平滑,并利用简单的线性图卷积来平滑KGE。一个预先训练好的KGE被输入KQGC,通过聚集邻居知识查询来平滑KGE,这允许实体嵌入在适当的向量点上对齐,以有效地平滑KGE。我们建议KQGC的推荐任务,针对特定产品的潜在用户。在一个真实的电子商务数据集上进行的大量实验证明了KQGC的有效性。
2022-05-23 cs.IR cs.LG
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University(里士大学)
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能,发现GNNs在准确率和速度上均优于CNNs,为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Deformable Graph Convolutional Networks
Korea University(高丽大学)
图神经网络(GNN)显著提高了图结构数据的表示能力。尽管GNN最近取得了成功,但大多数GNN中的图卷积有两个局限性。由于图卷积是在输入图上的一个小的局部邻域中执行的,因此它本质上无法捕获距离节点之间的长程依赖关系。此外,当节点具有属于不同类的邻居时,即,异质性,从他们聚集的消息往往负面影响表示学习。为了解决图卷积的两个常见问题,在本文中,我们提出了可变形图卷积网络(可变形GCN),自适应地在多个潜在空间中执行卷积,并捕获节点之间的短/长距离依赖关系。与节点表示(特征)分离,我们的框架同时学习节点位置嵌入(坐标),以端到端的方式确定节点之间的关系。根据节点位置,卷积核通过变形向量变形,并对其相邻节点应用不同的变换。我们广泛的实验表明,可变形GCN灵活地处理异构性,并在六个异构图数据集上实现了节点分类任务的最佳性能。
2021-12-29 cs.LG
Edge Entropy as an Indicator of the Effectiveness of GNNs over CNNs for Node Classification
Carnegie Mellon University(卡内基梅隆大学)
图神经网络(GNN)将卷积神经网络(CNN)扩展到基于图的数据。出现的一个问题是GNN中的底层图结构相对于CNN(忽略此图结构)提供了多少性能改进。为了解决这个问题,我们引入了边缘熵,并评估了它对GNN相对于CNN的性能改进的可能性。我们对合成数据集和真实数据集的节点分类结果表明,较低的边缘熵值预测GNN相对于CNN的预期性能增益较大,相反,较高的边缘熵导致预期较小的改进增益。
2020-12-16 cs.LG eess.SP
PairNorm: Tackling Oversmoothing in GNNs
Carnegie Mellon University(卡内基梅隆大学);Pittsburgh, PA 15213, USA(美国宾夕法尼亚州匹兹堡市(15213))
图神经网络(GNNs)的性能随着层数的增加而逐渐下降。这种衰减部分归因于过度平滑,重复的图卷积最终使节点嵌入无法区分。我们仔细研究了两种不同的解释,旨在量化过度平滑。我们的主要贡献是PairNorm,这是一个新的规范化层,它基于对图卷积算子的仔细分析,可以防止所有节点嵌入变得过于相似。此外,PairNorm具有快速、易于实现的特点,不需要对网络架构进行任何更改,也不需要任何额外的参数,并且广泛适用于任何GNN。在真实世界图上的实验表明,PairNorm使更深的GCN、GAT和SGC模型对过度平滑更鲁棒,并显著提高了受益于更深GNN的新问题设置的性能。代码可在https://github.com/LingxiaoShawn/PairNorm上获得。
2020-02-13 cs.LG stat.ML
Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs
Meta AI
针对3D等变图神经网络中SO(3)卷积计算复杂度高的问题,提出将其简化为等价SO(2)卷积的方法,将复杂度从O(L⁶)降至O(L³),并构建eSCN模型在OC-20、OC-22数据集上取得SOTA结果。
2023-06-14 cs.LG physics.chem-ph physics.comp-ph
FoSR: First-order spectral rewiring for addressing oversquashing in GNNs
UCLA(加州大学洛杉矶分校);MPI MiS(马克斯·普朗克数学研究所)
图神经网络(GNN)能够通过沿着图的边缘传递消息来利用图数据的结构。虽然这允许GNN根据图结构学习特征,但对于某些图拓扑,它会导致低效的信息传播和称为过度挤压的问题。最近,这与图的曲率和谱隙有关。另一方面,在消息传递图中添加边会导致节点表示越来越相似,并导致过度平滑的问题。我们提出了一个计算效率高的算法,防止oversquashing系统添加边的基础上频谱扩展的图形。我们将其与关系架构相结合,这使得GNN保留了原始的图结构,并可证明地防止了过度平滑。我们发现实验中,我们的算法优于现有的图重新布线方法在几个图分类任务。
2023-02-16 cs.LG stat.ML
How Powerful are Spectral Graph Neural Networks
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
谱图神经网络是一种基于图信号滤波器的图神经网络。最近出现了一些能够学习任意光谱滤波器的模型。然而,很少有作品分析谱GNNs的表达能力。本文从理论上研究了谱GNN的表达能力。我们首先证明了即使没有非线性的谱GNNs也可以产生任意的图形信号,并给出了达到普适性的两个条件。它们是:1)没有图拉普拉斯的重特征值,2)没有丢失的频率分量的节点特征。我们还建立了谱GNN的表达能力和图同构(GI)测试之间的联系,后者通常用于表征空间GNN的表达能力。此外,我们从优化的角度研究了具有相同表达能力的不同谱GNN之间的经验性能差异,并鼓励使用正交基,其权重函数对应于谱中的图形信号密度。受分析的启发,我们提出了JacobiConv,它使用Jacobi基,由于其正交性和灵活性,以适应广泛的权重函数。JacobiConv放弃了非线性,同时在合成和真实世界的数据集上都优于所有基线。
2022-06-17 cs.AI cs.LG
Position: Spectral GNNs Are Neither Spectral Nor Superior for Node Classification
Department of Computer Science, University of Heriot-Watt, Edinburgh, UK(赫瑞-瓦特大学计算机科学系,爱丁堡,英国)
本文指出谱图神经网络在节点分类中未能有效捕捉图谱,其成功更多归因于消息传递动态而非谱方法,且部分模型因实现问题表现不佳。
2026-03-26 cs.LG
EEG-GNN: Graph Neural Networks for Classification of Electroencephalogram (EEG) Signals
Northeastern University(东北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Mitsubishi Electric Corporation (MELCO)(三菱电机公司)
卷积神经网络(CNN)已被频繁地用于从脑电图(EEG)中提取主体不变特征以用于分类任务。这种方法保持电极与图像的像素等距类似的基本假设,因此无法探索/利用不同电极部位之间的复杂功能神经连接。我们克服了这个限制,通过定制的卷积和池的概念应用到二维网格状输入的功能网络的电极网站。此外,我们开发了各种图神经网络(GNN)模型,将电极投射到图的节点上,其中节点特征表示为在试验中收集的EEG通道样本,并且节点可以根据神经科学家制定的灵活策略通过加权/未加权边缘连接。实证评估表明,我们提出的基于GNN的框架在ErrP和RSVP数据集上优于标准的CNN分类器,并且允许神经科学的可解释性和可解释性,以适应EEG相关分类问题的深度学习方法。我们基于GNN的框架的另一个实际优势是,它可以用于EEG通道选择,这对于降低计算成本和设计便携式EEG耳机至关重要。
2021-06-16 cs.LG eess.SP
Learnable Graph Convolutional Attention Networks
Saarland University(萨尔兰大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
现有的图神经网络(GNN)通过均匀地聚合(卷积)所有相邻节点的特征或者通过对特征应用非均匀分数(参与)来计算节点之间的消息交换。最近的工作已经显示了所产生的GNN架构的优点和缺点,分别是GCN和GAT。在这项工作中,我们的目标是充分利用这两种方法的优势。为此,我们首先介绍了图卷积注意力层(CAT),它依赖于卷积来计算注意力分数。不幸的是,就像GCN和GAT的情况一样,我们表明这三个国家之间不存在明显的赢家(无论是理论上还是实践中),因为它们的表现直接取决于数据的性质(即,图和特征)。这个结果让我们看到了我们工作的主要贡献,可学习的图卷积注意力网络(L-CAT):一种GNN架构,通过仅添加两个标量参数,在每层的GCN,GAT和CAT之间自动插值。我们的研究结果表明,L-CAT能够有效地结合网络中不同的GNN层,在广泛的数据集中优于竞争方法,并产生一个更强大的模型,减少了交叉验证的需要。
2023-02-28 cs.LG
Scaling Kinetic Monte-Carlo Simulations of Grain Growth with Combined Convolutional and Graph Neural Networks
Department of Electrical and Computer Engineering, University of Florida, Gainesville, FL, USA(电气与计算机工程系,佛罗里达大学,盖恩斯维尔,佛罗里达州,美国);Northwestern University(西北大学);Lawrence Livermore National Laboratory, Livermore, CA, United States(劳伦斯利弗莫尔国家实验室,利弗莫尔,加利福尼亚州,美国)
本文提出结合卷积神经网络和图神经网络的方法,通过压缩空间维度提升晶粒生长模拟的计算效率和准确性,适用于大规模模拟场景。
2026-03-22 cond-mat.mtrl-sci cs.LG
Learning by Transference: Training Graph Neural Networks on Growing Graphs
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)使用图卷积来利用网络不变性并从网络数据中学习有意义的特征表示。然而,在大规模图卷积招致高计算成本,导致可扩展性的限制。利用图子-图的极限对象-在本文中,我们考虑学习图子神经网络(WNN)-GNN的极限对象-通过在从图子采样的图上训练GNN的问题。在光滑条件下,我们证明了:(i)GNN和WNN上的学习步骤之间的预期距离随着图的大小渐近减小,以及(ii)当在一系列增长图上训练时,梯度下降遵循WNN的学习方向。受这些结果的启发,我们提出了一种新的算法来学习大规模图上的GNN,从中等数量的节点开始,在训练过程中逐渐增加图的大小。该算法进一步基准上的分散控制的问题,在那里它保留了相当的性能,其大规模的对应,以减少计算成本。
2022-06-27 cs.LG eess.SP
Spatio-Temporal Sparsification for General Robust Graph Convolution Networks
Central South University(中南大学)
图神经网络(GNN)因其在各种图结构数据上的成功应用而引起越来越多的关注。然而,最近的研究表明,对抗攻击正在威胁GNN的功能。虽然已经提出了许多工作,以防止对抗攻击从不同的角度来看,他们中的大多数可以是强大的攻击,只有在特定的情况下。为了解决这种鲁棒泛化的不足,我们提出通过在GNN隐藏节点表示上应用时空稀疏化(称为ST稀疏)来防御对GNN的对抗攻击。ST-Sparse在精神上类似于Dropout正则化。通过对GCN作为目标GNN模型的深入实验评估,我们发现ST-Sparse的优点如下:(1)ST-Sparse在大多数情况下表现出防御性能的改善,因为它可以有效地提高鲁棒精度,最高可提高6%;(2)ST-Sparse通过与现有的防御方法相结合,展示了其强大的泛化能力,类似于将Dropout集成到各种深度学习模型中作为标准正则化技术;(3)ST-Sparse在干净数据集上也表现出普通的泛化能力,(ST-Sparse与原GCN的融合)的性能甚至优于原GCN,而其他三种代表性的防御方法都不如原GCN。
2021-03-23 cs.AI cs.LG
A Comprehensive Benchmark on Spectral GNNs: The Impact on Efficiency, Memory, and Effectiveness
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学);The University of British Columbia(不列颠哥伦比亚大学)
本研究针对谱图神经网络(spectral GNNs)缺乏统一基准的问题,通过分类35个GNN及27个滤波器、构建统一框架并实验,揭示其效率与有效性的复杂关系,为模型选择与部署提供指南。
2025-08-20 cs.AI cs.LG
Hyperbolic-PDE GNN: Spectral Graph Neural Networks in the Perspective of A System of Hyperbolic Partial Differential Equations
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文将图神经网络的消息传递形式化为双曲偏微分方程系统,将节点表示映射到由拓扑特征向量张成的解空间,从而增强可解释性并显式提取拓扑特征,同时建立与谱图神经网络的联系,引入多项式逼近滤波函数,显著提升了多种谱图神经网络在图任务上的性能。
2025-05-29 cs.LG
Training Graph Neural Networks on Growing Stochastic Graphs
University of Pennsylvania(宾夕法尼亚大学);Simons-Berkeley Institute(西蒙斯-伯克利研究所)
图神经网络(GNN)依赖于图卷积来利用网络数据中有意义的模式。基于矩阵乘法,卷积产生高计算成本,导致实践中的可扩展性限制。为了克服这些限制,所提出的方法依赖于在较少数量的节点中训练GNN,然后将GNN转移到更大的图中。尽管这些方法能够限制具有不同节点数量的GNN的输出之间的差异,但它们不能保证在非常大的图上获得最佳GNN。在本文中,我们建议通过利用一系列增长图的极限对象graphon来学习非常大的图上的GNN。我们建议在训练时增加图的大小,并且我们表明我们所提出的方法--通过迁移学习--收敛到图子数据上的一阶稳定点的邻域。数值实验验证了我们提出的方法。
2022-10-27 cs.LG
AutoSGNN: Automatic Propagation Mechanism Discovery for Spectral Graph Neural Networks
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
针对单个图神经网络难以同时处理不同类型图的问题,提出自动化框架AutoSGNN,结合大语言模型与进化策略统一谱GNN搜索空间以自动生成适应各类图的架构,在九个数据集上性能与效率均优于现有方法。
2024-12-18 cs.LG
Learning to solve Minimum Cost Multicuts efficiently using Edge-Weighted Graph Convolutional Neural Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Siegen(锡根大学)
最小代价多割问题是对实值边加权图进行划分以使划分的总代价最小化的NP-难/APX-难组合优化问题。虽然图卷积神经网络(GNN)已被证明在组合优化的上下文中是有前途的,但它们中的大多数仅针对正值边权重进行定制或测试,即它们不符合多割问题的性质。因此,我们适应各种GNN架构,包括图卷积网络,有符号图卷积网络和图同构网络,以促进有效编码的实值边成本。此外,我们采用了重新制定的多割ILP约束的多项式程序的损失函数,允许学习可行的多割解决方案,在一个可扩展的方式。因此,我们提供了端到端可训练多解的第一种方法。我们的研究结果支持GNN方法可以在实践中产生良好的解决方案,同时与LP求解器和优化的并行计算相比,提供更低的计算时间和更大的可扩展性,特别是在考虑大型实例时。
2022-04-04 cs.CV cs.LG
Redesigning graph filter-based GNNs to relax the homophily assumption
King Juan Carlos University(胡安·卡洛斯国王大学);Rice University(莱斯大学)
针对传统GNN隐含同质性假设、在异质性数据上性能下降的问题,提出重新诠释图滤波器作用的卷积GNN架构,兼具强归纳偏置与高表达能力,可适配同/异质性数据、缓解过平滑,且经理论证明具置换等变性,实验表现优于多个SOTA基线。
2024-09-13 cs.LG
Analysis of Convolutions, Non-linearity and Depth in Graph Neural Networks using Neural Tangent Kernel
Technical University of Munich(慕尼黑工业大学)
本文利用图神经正切核在半监督节点分类下理论分析GNN架构,证明线性网络与ReLU相当、行归一化最优、深度导致过度平滑但跳跃连接可消除该问题,并在真实数据集上验证。
2023-10-31 cs.LG
Multi-Channel Graph Convolutional Networks
Texas A&M University(得克萨斯农工大学)
图神经网络(GNN)已被证明是有效的分类图结构。为了进一步提高图的表示学习能力,层次GNN已被探索。它利用可微分池将节点聚类成固定的组,并生成一个粗粒度的结构伴随着原始图的收缩。然而,这样的聚类会丢弃一些图信息,并达到次优的结果。这是因为节点本身具有不同的特征或角色,两个非同构图可能具有相同的粗粒度结构,在池化后无法区分。为了弥补粗粒度聚类造成的损失,进一步提高GNN,我们提出了一种多通道图卷积网络(MuchGCN)。它是由卷积神经网络,在一系列的通道编码,以保持输入图像的综合特征的动机。因此,我们定义了特定的图卷积来学习每一层的一系列图通道,并迭代地池图来编码分层结构。已经仔细进行了实验,以证明MuchGCN的优越性超过国家的最先进的图分类算法。
2019-12-17 cs.LG cs.SI
Binary Graph Convolutional Network with Capacity Exploration
Beihang University(北京航空航天大学);Hebei University of Technology(河北工业大学)
目前图神经网络(GNN)的成功通常依赖于加载整个属性图进行处理,这可能不满足于有限的内存资源,特别是当属性图很大时。提出了一种二进制图卷积网络(Binary Graph Convolutional Network,Bi-GCN),它将网络参数和输入节点属性二进制化,并利用二进制运算代替浮点矩阵乘法来实现网络的压缩和加速。同时,我们还提出了一种新的基于梯度近似的反向传播方法来正确训练我们的Bi-GCN。理论分析表明,在三个引文网络上,我们的Bi-GCN可以将网络参数和输入数据的内存消耗平均降低约31倍,并将推理速度平均提高约51倍,Cora、PubMed和CiteSeer。此外,我们还介绍了一种通用方法,将我们的二值化方法推广到其他GNN变体,并实现类似的效率。虽然所提出的Bi-GCN和Bi-GNN简单而有效,但这些压缩网络也可能具有潜在的容量问题,即,它们可能没有足够的存储容量来学习用于特定任务的适当表示。为了解决这个容量问题,提出了熵覆盖假设来预测Bi-GNN隐藏层宽度的下限。大量的实验表明,我们的Bi-GCN和Bi-GNN可以在七个节点的分类数据集上提供与相应的全精度基线相当的性能,并验证了我们的熵覆盖假设在解决容量问题方面的有效性。
2022-10-24 cs.LG
Review of blockchain application with Graph Neural Networks, Graph Convolutional Networks and Convolutional Neural Networks
本文综述了GNN、GCN和CNN在区块链中的应用,分析其如何提升效率、安全性与可扩展性,并展望未来研究方向。
2024-10-01 cs.LG
Beyond Low-frequency Information in Graph Convolutional Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
图神经网络(GNN)已被证明在各种网络相关任务中是有效的。大多数现有的GNN通常利用节点特征的低频信号,这引发了一个基本问题:低频信息是否就是我们在现实世界中所需要的全部信息?在本文中,我们首先提出了一个实验研究评估低频和高频信号的作用,结果清楚地表明,探索低频信号是远离学习有效的节点表示在不同的情况下。我们如何自适应地学习GNN中低频信息之外的更多信息?一个明智的答案可以帮助GNN增强适应性。针对这一问题,提出了一种新的频率自适应图卷积网络(FAGCN),它具有自选通机制,能够在消息传递过程中自适应地融合不同的信号。为了更深入地理解,我们从理论上分析了低频信号和高频信号对学习节点表示的作用,这进一步解释了为什么FAGCN可以在不同类型的网络上表现良好。在六个真实网络上的大量实验验证了FAGCN不仅解决了过度平滑问题,而且具有优于现有技术的优势。
2021-01-04 cs.LG cs.SI
Mamba-Based Graph Convolutional Networks: Tackling Over-smoothing with Selective State Space
Jilin University(吉林大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出MbaGCN,通过引入Mamba范式,解决图神经网络中的过平滑问题,通过三种核心组件提升深度GNN模型的灵活性和可扩展性。
2026-04-10 cs.LG
Homomorphism Expressivity of Spectral Invariant Graph Neural Networks
Peking University(北京大学);Technion(以色列理工学院);NVIDIA Research(英伟达研究院)
本文通过同态表达性视角,全面定量分析了谱不变图神经网络的表达力,证明其能精确计数平行树,并扩展了现有研究、解决了多个开放问题。
2025-03-01 cs.LG
DualLaguerreNet: A Decoupled Spectral Filter GNN and the Uncovering of the Flexibility-Stability Trade-off
Akdeniz Üniversitesi(阿达纳大学)
针对单谱滤波器GNN的次优平均响应问题,本文提出解耦高低频拉盖尔滤波器的DualLaguerreNet,在异配任务上达SOTA,同时揭示了自适应GNN滤波器设计中灵活性与稳定性的根本权衡。
2025-11-04 cs.AI cs.LG eess.SP
GNN Transformation Framework for Improving Efficiency and Scalability
Osaka University(大阪大学);Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个框架,可以自动将不可扩展的GNN转换为基于预计算的GNN,这些GNN对于大规模图来说是高效和可扩展的。我们的框架的优点是双重的; 1)它通过将局部特征聚合与图卷积中的权重学习分离,将各种不可扩展的GNN转换为大规模图,2)通过将其边缘分解为小的不相交和平衡集,有效地在GPU上执行大规模图的预计算。通过对大规模图的大量实验,我们证明了变换后的GNN在训练时间上比现有的GNN运行得更快,同时达到了与最先进的GNN竞争的准确性。因此,我们的转换框架为可扩展GNN的未来研究提供了简单有效的基线。
2022-07-25 cs.LG
When Does A Spectral Graph Neural Network Fail in Node Classification?
Hong Kong University of Science and Technology(香港科技大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
谱图神经网络(GNN)与各种图过滤器已收到广泛的肯定,由于其在图学习问题的有前途的性能。然而,众所周知,GNN并不总是表现良好。虽然图滤波器为模型解释提供了理论基础,但尚不清楚频谱GNN何时会失败。本文针对节点分类问题,通过研究谱GNNs的预测误差,对谱GNNs的性能进行了理论分析。借助我们提出的图指标,包括同质度和响应效率,我们建立了一个全面的理解图结构,节点标签,图过滤器之间的复杂关系。我们指出,图过滤器的标签差异的响应效率低,容易失败。为了提高GNNs的性能,我们从理论分析中提供了一个可证明的更好的滤波器设计策略-使用数据驱动的滤波器组,并提出了简单的模型进行经验验证。实验结果表明,我们的理论结果的一致性,并支持我们的策略。
2022-02-17 cs.LG
A Spectral Analysis of Graph Neural Networks on Dense and Sparse Graphs
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种随机图模型,分析了稀疏性对图谱及GNNs节点分类性能的影响,并证明GNNs在稀疏图上优于谱方法。
2023-09-13 cs.LG cs.SI eess.SP
Transformer and Snowball Graph Convolution Learning for Brain functional network Classification
School of Computer Science and Engineering(计算机科学与工程学院);South China University of Technology(华南理工大学)
本文提出 TSEN 模型用于脑功能网络分类,通过将图 Snowball 连接与图 Transformer 结合并引入 Snowball 图卷积作为位置嵌入,有效捕获多尺度全局与局部模式,在自闭症和抑郁症数据集上优于现有 GNN 模型。
2023-08-02 cs.AI cs.LG
Adaptive Gated Graph Convolutional Network for Explainable Diagnosis of Alzheimer's Disease using EEG Data
Coventry University(考文垂大学);University of Sheffield(谢菲尔德大学);Royal Devon and Exeter NHS Foundation Trust(皇家德文和埃克塞特国民保健服务基金会信托)
提出自适应门控图卷积网络(AGGCN),结合卷积特征增强与相关性度量自适应学习脑图结构,在EEG数据上实现高精度且可解释的阿尔茨海默病诊断。
2023-09-27 cs.AI cs.LG cs.NE
Bi-GCN: Binary Graph Convolutional Network
Beihang University(北京航空航天大学);Hebei University of Technology(河北工业大学)
图神经网络(GNN)在图表示学习方面取得了巨大的成功。不幸的是,目前的GNN通常依赖于将整个属性图加载到网络中进行处理。这种隐式假设可能不满足有限的内存资源,特别是当属性图很大时。本文首先提出了一种二进制图卷积网络(Bi-GCN),它将网络参数和输入节点特征二进制化。此外,为了加速,将原矩阵乘法修改为二进制运算。理论分析表明,在引文网络上,Bi-GCN可以将网络参数和输入数据的内存消耗平均降低约30倍,推理速度平均提高约47倍。同时,我们还设计了一种新的基于梯度近似的反向传播算法来训练我们的Bi-GCN。大量的实验表明,我们的Bi-GCN可以提供一个相当的性能相比,全精度基线。此外,我们的二值化方法可以很容易地应用到其他GNN,这已经在实验中得到了验证。
2021-04-08 cs.LG
Criteria Tell You More than Ratings: Criteria Preference-Aware Light Graph Convolution for Effective Multi-Criteria Recommendation
Yonsei University(延世大学);The University of New South Wales Australia(澳大利亚新南威尔士大学)
本文首次将 GNN 用于多准则推荐,提出 CPA-LGC,通过多准则扩展图与准则偏好嵌入捕获高阶协同信号,并在四个真实数据集上验证其准确、有效且高效。
2023-06-06 cs.AI cs.IR cs.IT
Adaptive Graph Convolution Networks for Traffic Flow Forecasting
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Huazhong University of Science and Technology(华中科技大学)
针对固定感受野难以适应时变道路状况的问题,本文提出 AGC-net,利用上下文注意力、多尺度图小波和移位图卷积核提升交通流预测性能,并在两个公开数据集上显著优于基线模型。
2023-07-07 cs.LG
Space-Time Graph Neural Networks with Stochastic Graph Perturbations
University of Pennsylvania(宾夕法尼亚大学)
时空图神经网络(ST-GNN)是最近开发的学习时变数据的有效图表示的架构。ST-GNN在多智能体系统中特别有用,因为它们的稳定性和尊重智能体之间通信延迟的能力。在本文中,我们重新审视了ST-GNNs的稳定性,并证明了它们对随机图扰动是稳定的。我们的分析表明,ST-GNN适用于时变图上的迁移学习,并能够设计联合处理时变图和时变信号的广义卷积架构。分散控制系统的数值实验验证了我们的理论结果,并展示了传统和广义ST-GNN架构的好处。
2022-10-28 cs.LG eess.SP