Stability Properties of Graph Neural Networks
Univ. California, Berkeley(加州大学伯克利分校);Univ. Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)已经成为用于图信号的非线性处理的强大工具,在推荐系统、断电预测和运动规划等方面表现出成功。GNN由一系列层组成,每个层都应用图卷积,然后是逐点非线性。在这项工作中,我们研究了底层拓扑结构的变化对GNN输出的影响。首先,我们证明了GNN是置换等变的,这意味着它们有效地利用了底层拓扑的内部对称性。然后,我们证明了图卷积与积分Lipschitz滤波器,结合相应的非线性的频率混合效应,产生一个架构,这是稳定的底层拓扑结构的小变化和歧视性的信息位于高频率。这两个属性在仅使用线性图滤波器时无法同时保持,它们要么是有区别的,要么是稳定的,从而解释了GNN的优越性能。
2020-09-23 cs.LG stat.ML
Motif Graph Neural Network
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Singapore Management University(新加坡管理大学);Shantou University(汕头大学)
提出Motif Graph Neural Network (MGNN)框架,通过模体冗余最小化算子和单射模体组合增强高阶图结构的判别能力,在七个公开基准上优于现有方法。
2023-07-03 cs.LG
Quantifying the Reproducibility of Graph Neural Networks using Multigraph Brain Data
Istanbul Technical University(伊斯坦布尔理工大学);University of Dundee(邓迪大学)
图神经网络(GNN)在解决计算机视觉、计算机辅助诊断和相关领域中的若干问题方面已经见证了前所未有的增长。虽然之前的研究都集中在提高模型的准确性上,但量化GNN识别的最具鉴别力的特征的可重复性仍然是一个完整的问题,特别是在临床应用中,人们对GNN的可靠性表示担忧。具体而言,生物标志物在临床数据集之间的再现性和在类别之间的分布偏移(例如,健康和紊乱的大脑)对于揭示疾病的基本机制以及推动个性化治疗的发展至关重要。出于这些问题的动机,我们首次提出了基于再现性的GNN选择(RG-Select),这是一个通过量化最具鉴别力的特征(即,生物标志物)在不同模型之间共享。为了确定我们的框架的合理性,再现性评估包括不同因素的变化,如训练策略和数据扰动。尽管存在这些挑战,我们的框架成功地在不同的训练策略和各种临床数据集上得出了可复制的结论。因此,我们的研究结果可以为计算机辅助诊断和预后任务的生物标志物可信度和可靠性评估方法的发展铺平道路。RG-Select代码可在GitHub上获得,网址为https://github.com/basiralab/RG-Select。
2021-09-06 cs.LG
Overcoming Class Imbalance: Unified GNN Learning with Structural and Semantic Connectivity Representations
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出统一图神经网络学习框架Uni-GNN,通过融合结构与语义连接表示并利用平衡伪标签机制扩充少数类标注节点,有效缓解图节点分类中的类别不平衡问题,并在多个基准数据集上取得优于现有方法的性能。
2024-12-30 cs.AI cs.LG
Distribution Preserving Graph Representation Learning
Feinberg School of Medicine, Northwestern University(西北大学范伯格医学院)
图神经网络(GNN)是一种有效的建模图的分布式表示的节点和整个图。近年来,对GNN表达能力的研究引起了越来越多的关注。一个高表达性的GNN具有生成判别图表示的能力。然而,在特定图学习任务的端到端训练过程中,高表达性GNN有可能生成过拟合目标任务的训练数据的图表示,同时丢失对模型泛化重要的信息。在本文中,我们提出了分布保持GNN(DP-GNN)-一个GNN框架,可以通过保留图表示和节点表示中的几种分布信息来提高表达GNN模型的泛化能力。除了可推广性之外,通过应用表达性GNN主干,DP-GNN还可以具有高表达能力。我们在多个用于图分类任务的基准数据集上评估了所提出的DP-GNN框架。实验结果表明,我们的模型达到国家的最先进的性能。
2022-02-27 cs.AI cs.LG
edGNN: a Simple and Powerful GNN for Directed Labeled Graphs
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院);ETH(苏黎世联邦理工学院)
图神经网络(GNN)利用图拓扑和图标签的能力是构建有区别的节点和图嵌入的基础。在以前工作的基础上,我们从理论上证明了edGNN,我们的有向标记图的模型,与图同构的Weisfeiler-Lehman算法一样强大。我们的实验支持我们的理论研究结果,确认图神经网络可以有效地用于有向图的节点和边标签的推理问题。代码可在https://github.com/guillaumejaume/edGNN获得。
2019-12-04 cs.LG stat.ML
Learning Conjoint Attentions for Graph Neural Nets
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
在本文中,我们提出了联合注意力(CA),一类新的学习参加图神经网络(GNNs)的战略。除了考虑在GNN内传播的逐层节点特征外,CA还可以在计算注意力分数时结合各种结构干预,例如节点簇嵌入和可以在GNN外部学习的高阶结构相关性。因此,被联合标准视为重要的节点特征更有可能在GNN中传播。鉴于新的联合注意力策略,我们提出了图联合注意力网络(CAT),它可以学习嵌入有联合注意力所认为的重要潜在特征的表示。此外,我们从理论上验证了CAT的辨别能力。利用所提出的联合注意力策略的CAT已经在成熟的基准数据集中进行了广泛的测试,并与最先进的基线进行了全面的比较。所获得的显着性能证明了所提出的联合注意力的有效性。
2021-12-13 cs.LG
GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning
Carnegie Mellon University(卡内基梅隆大学)
3D多目标跟踪(MOT)是自主系统的关键。最近的工作使用标准的检测跟踪流水线,其中首先对每个对象独立地执行特征提取,以便计算亲和矩阵。然后将亲和矩阵传递给匈牙利算法进行数据关联。这个标准管道的一个关键过程是学习不同对象的区别特征,以减少数据关联过程中的混淆。在这项工作中,我们提出了两种技术,以提高区分特征学习MOT:(1)而不是获得每个对象的特征独立,我们提出了一种新的特征交互机制,通过引入图神经网络。结果,一个对象的特征被告知其他对象的特征,使得对象特征可以倾向于具有相似特征的对象(即,可能具有相同ID的对象)并且偏离具有不同特征的对象(即,对象可能具有不同的ID),从而为每个对象提供更具鉴别力的特征;(2)在先前的工作中,我们提出了一种新的联合特征提取器,以同时从2D和3D空间学习外观和运动特征,而不是从2D或3D空间获得特征。由于来自不同模态的特征通常具有互补信息,因此联合特征可以比来自每个单独模态的特征更具区分性。为了确保联合特征提取器不严重依赖于一种模态,我们还提出了一种集成训练范式。通过广泛的评估,我们提出的方法在KITTI和nuScenes 3D MOT基准测试中达到了最先进的性能。我们的代码将在https://github.com/xinshuoweng/GNN3DMOT上提供
2020-06-12 cs.CV cs.LG eess.IV
Discriminability of Single-Layer Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);University of California, Berkeley(加州大学伯克利分校)
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习需要有效利用这种图结构的方法。图神经网络(GNNs)提供了一种这样的方法,并在广泛的问题上表现出有前途的性能。理解GNN工作的原因至关重要,特别是在涉及物理网络的应用中。我们专注于可辨别性的属性,并建立条件下,包含逐点非线性到一个稳定的图形滤波器银行导致高特征值内容的鉴别能力增加。我们定义了一个与体系结构稳定性相关的可辨别性概念,表明GNN至少与线性图滤波器组一样具有辨别力,并描述了无法区分的信号。
2020-10-21 cs.LG eess.SP stat.ML
Distance-Restricted Folklore Weisfeiler-Leman GNNs with Provable Cycle Counting Power
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出距离受限的d-DRFWL(2) GNN,通过限制消息传递的节点对距离避免子图提取开销,并证明其在d=2时即可计数3至6环,成为目前最高效的环计数GNN模型。
2024-01-11 cs.LG
GOAt: Explaining Graph Neural Networks via Graph Output Attribution
University of Alberta(阿尔伯塔大学);Huawei(华为);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
针对现有图神经网络解释方法多依赖辅助模型仍属黑箱的问题,提出图输出归因方法GOAt,通过将GNN展开为标量积之和解析计算节点与边的重要性,在忠实性、判别性和稳定性上均优于现有前沿方法。
2024-01-26 cs.LG
Investigating the Predictive Reproducibility of Federated Graph Neural Networks using Medical Datasets
Istanbul Technical University(伊斯坦布尔理工大学);Faculty of Medicine of Sousse(苏塞医学院)
图神经网络(GNN)在各个领域取得了非凡的增强,包括医学成像和网络神经科学领域,在诊断自闭症等具有挑战性的神经系统疾病方面表现出很高的准确性。面对医疗数据的稀缺性和高隐私性,训练这种数据饥渴的模型仍然具有挑战性。联邦学习为这个问题带来了一个有效的解决方案,它允许在不同医院独立收集的多个数据集上以完全数据保存的方式训练模型。尽管最先进的GNN和联邦学习技术都专注于提高分类准确性,但它们忽略了一个关键的未解决问题:研究最具区分性的生物标志物的再现性(即,特征)在联邦学习范例内由GNN模型选择。量化预测医学模型对训练和测试数据分布扰动的可重复性是开发转化临床应用时要克服的最大障碍之一。据我们所知,这是第一次研究联邦GNN模型的可重复性,并将其应用于对医学成像和大脑连接数据集进行分类。我们使用在医学成像和连接组数据集上训练的各种GNN模型来评估我们的框架。更重要的是,我们发现联邦学习提高了GNN模型在此类医学学习任务中的准确性和可重复性。我们的源代码可以在https://github.com/basiralab/reproducibleFedGNN上找到。
2022-09-13 cs.LG
The Weisfeiler-Lehman Distance: Reinterpretation and Connection with GNNs
University of California San Diego(加州大学圣地亚哥分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);The Ohio State University(俄亥俄州立大学)
本文利用随机过程概念重新解释 WL 距离,揭示其与随机过程距离、Gromov-Wasserstein 距离及消息传递神经网络的联系,并阐明其对 Lipschitz 性和通用逼近的理论意义。
2023-09-29 cs.LG
A Spectral Theory of Normalized Corrected GNN Propagation
Center for Discrete Mathematics, Fuzhou University(福州大学离散数学中心);School of Computer and Information Science, Fujian Agriculture and Forestry University(福建农林大学计算机与信息学院);Department of Strategic & Advanced Interdisciplinary Research, Pengcheng Laboratory (PCL), Shenzhen, Guangdong, China(鹏城实验室战略与交叉前沿研究部)
提出归一化校正GNN传播的谱理论,证明在密集多对数条件下经过O(log n)层传播后能精确恢复节点类别,并给出多类部分恢复定理。
2026-06-23 cs.LG
Boosting the Cycle Counting Power of Graph Neural Networks with I$^2$-GNNs
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
本研究提出I$^2$-GNNs,通过为根节点及其邻居分配不同标识符,增强子图MPNNs的环计数能力,使其能在线性时间内计数所有3至6环,并在分子预测中表现优异。
2023-05-08 cs.LG
GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks
The Ohio State University(俄亥俄州立大学)
本文提出GNNInterpreter,一种与模型无关的GNN模型级解释方法,通过概率生成式图分布和专门设计的目标函数生成最具判别性的图模式,在四个数据集上验证了其灵活性和揭示模型缺陷的能力。
2024-02-22 cs.AI cs.LG
Transaction Fraud Detection via an Adaptive Graph Neural Network
Tongji University(同济大学);Monmouth University(蒙茅斯大学);New Jersey Institute of Technology(新泽西理工学院)
针对欺诈者模仿持卡人行为导致检测困难的问题,提出 ASA-GNN,通过自适应邻居采样、多跳信息补充与多样性熵指标学习判别性表示,并在三个真实金融数据集上超越现有最优方法。
2023-07-11 cs.LG
How Powerful are Graph Neural Networks?
MIT(麻省理工学院);Stanford University(斯坦福大学)
图神经网络是一种有效的图的表示学习框架。GNN遵循邻域聚合方案,其中节点的表示向量通过递归聚合和变换其相邻节点的表示向量来计算。已经提出了许多GNN变体,并在节点和图分类任务上取得了最先进的结果。然而,尽管GNN彻底改变了图表示学习,但对其表示属性和局限性的理解有限。在这里,我们提出了一个理论框架,用于分析GNN捕获不同图结构的表达能力。我们的研究结果描述了流行的GNN变体(如图卷积网络和GraphSAGE)的区分能力,并表明它们无法学习区分某些简单的图结构。然后,我们开发了一个简单的架构,可以证明是最具表现力的GNN类,是一样强大的Weisfeiler-Lehman图同构测试。我们在一些图分类基准上实证验证了我们的理论研究结果,并证明我们的模型达到了最先进的性能。
2019-02-22 cs.CV cs.LG stat.ML
Hierarchy-Aware Neural Subgraph Matching with Enhanced Similarity Measure
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);College of Information and Communication, National University of Defense Technology(信息与通信学院,国防科技大学)
针对现有GNN子图匹配方法忽略特征相对位置、度量区分度不足的问题,提出层级感知的NC-Iso架构与相似性优势比增强度量,在9个数据集上验证了其有效性与效率,为子图检索提供更优方案。
2025-10-01 cs.LG
Graph Neural Networks with Parallel Neighborhood Aggregations for Graph Classification
Indian Institute of Science(印度科学学院)
我们专注于图形分类使用图神经网络(GNN)模型,预先计算的节点功能,使用一个银行的邻域聚合图运营商并行排列。由于预先计算,这些GNN模型具有减少训练和推理时间的天然优势,但也与在训练期间通过顺序邻域聚合过程更新节点特征的流行GNN变体有根本不同。我们提供的理论条件下,一个通用的GNN模型与并行邻域聚合(PA-GNN,在短时间内)可证明为强大的著名的Weisfeiler-Lehman(WL)图同构测试在区分非同构图。虽然PA-GNN模型与WL测试没有明显的关系,但我们证明了从这两种方法获得的图嵌入是注入相关的。然后,我们提出了一个专门的PA-GNN模型,称为SPIN,它服从开发的条件。我们通过数值实验证明,所开发的模型在许多不同的现实世界数据集上实现了最先进的性能,同时保持了WL测试的区分能力和在训练过程之前预处理图形的计算优势。
2021-11-22 cs.LG eess.SP stat.ML
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute(全球健康药物研发中心)
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体,大多数遵循邻域聚合方案,其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增,但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题,并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为,随着更丰富的信息从浅层传播到深层,GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试,提出了一个新的通用GNN层配方,并在此基础上提出了一个新的GNN变体,称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性,并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York(纽约市立大学研究生中心);Hunter College, The City University of New York(纽约市立大学亨特学院)
图神经网络(GNN)在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案,其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力,注意力机制已经变得流行,以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果,但人们对其辨别能力缺乏清晰的认识。在这项工作中,我们提出了一个理论分析的GNN,采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能,我们提出了基数保持注意力(CPA)模型,可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析,并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Can we ease the Injectivity Bottleneck on Lorentzian Manifolds for Graph Neural Networks?
Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(巴黎-罗克琴克特研究所);Rajiv Gandhi University(拉贾维·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒实验室);Vellore Institute of Technology(韦洛尔理工学院)
本文提出洛伦兹图同构网络 LGIN,通过保持洛伦兹度量的新更新规则缓解双曲 GNN 的单射瓶颈,在九个基准数据集上优于或匹配最先进的欧氏与双曲基线,首次将高判别力 GNN 原理适配到黎曼流形。
2025-07-18 cs.AI cs.LG
Balancing Efficiency and Expressiveness: Subgraph GNNs with Walk-Based Centrality
Imperial College London(帝国理工学院伦敦校区);Technion -- Israel Institute of Technology(技术学院——以色列理工学院);University of Oxford(牛津大学);NVIDIA Research(NVIDIA研究)
针对子图GNN计算成本高的问题,提出基于游走中心性采样的HyMN方法,大幅减少子图包大小,兼顾效率与表达能力,实验证明其性能优于或媲美现有方法且运行时间大幅降低。
2025-07-07 cs.LG cs.NE
Revealing Combinatorial Reasoning of GNNs via Graph Concept Bottleneck Layer
Tongji University, Shanghai, China(同济大学);City University of Macau, Macau, China(澳门城市大学)
本文提出图概念瓶颈层,通过将概念视为图词并利用语言模型学习嵌入,提升GNNs的组合推理可解释性与性能。
2026-03-02 cs.AI cs.LG
Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily
Fudan University(复旦大学);The University of Sydney(悉尼大学)
本文针对GNN在异配图上的性能问题,提出基于冯·诺依曼熵的新指标和卷积无关框架CAGNNs,通过学习邻居效应提升大多数GNN在异配数据集上的表现。
2023-04-16 cs.AI cs.LG
A Hierarchy of Graph Neural Networks Based on Learnable Local Features
Operational Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院);Institute for Applied Computational Science(应用计算科学研究所);Harvard University(哈佛大学);Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
图神经网络(GNN)是通过迭代地聚合来自节点邻域的特征来学习图上的表示的强大工具。已经提出了许多变体模型,但对于如何比较不同的架构以及如何系统地构建GNN的理解有限。在这里,我们提出了一个基于其聚合区域的GNN层次结构。我们推导出理论结果的判别力和特征表示能力的每一类。然后,我们展示了如何利用这个框架来系统地构建任意强大的GNN。作为一个例子,我们构建了一个简单的架构,超过了Weisfeiler-Lehman图同构测试的表现力。我们在合成和现实世界的基准测试中实证验证了我们的理论,并证明了我们的示例的理论能力转化为节点分类,图分类和图回归任务的强大结果。
2019-11-13 cs.CV cs.LG stat.ML
Enhancing Knowledge Graph Completion with GNN Distillation and Probabilistic Interaction Modeling
Shandong Key Laboratory of Industrial Network Security(山东工业网络安全重点实验室);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对知识图谱补全中GNN过平滑、嵌入模型难捕捉抽象关系特征的问题,提出融合GNN蒸馏与抽象概率交互建模的统一框架,在WN18RR和FB15K-237数据集上实现显著性能提升。
2025-05-18 cs.AI cs.LG
Domain-adaptive Message Passing Graph Neural Network
Hainan University(海南大学);Griffith University(格里菲斯大学);The Hong Kong Polytechnic University(香港理工大学)
针对跨网络节点分类问题,提出领域自适应消息传递图神经网络DM-GNN,通过双特征提取器、标签传播分类器和条件对抗领域自适应学习可跨网络转移的节点表示,实验证明其优于十一种最先进方法。
2023-10-17 cs.LG
GNNAnatomy: Rethinking Model-Level Explanations for Graph Neural Networks
University of California, Davis(加州大学戴维斯分校)
本文提出基于蒸馏的GNNAnatomy,利用graphlet表示和透明MLP代理提取多粒度模型级解释,并通过人机协同接口增强可信度。
2025-06-06 cs.IR cs.LG cs.SI
Stability of Graph Neural Networks to Relative Perturbations
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
图神经网络(GNN)由应用图卷积和逐点非线性的级联层组成,已经成为处理图上支持的信号的强大架构。图卷积(以及GNN)在很大程度上依赖于图的知识来进行操作。然而,在许多实际情况下,GSO是未知的,需要估计,或者可能会改变从训练时间到测试时间。在本文中,我们将研究支持信号的底层图形拓扑的变化对GNN输出的影响。我们证明,图卷积与积分Lipschitz滤波器导致GNNs的输出变化是有界的拓扑结构中的相对变化的大小。此外,我们利用这一结果表明,GNN成功的主要原因是它们是能够区分高特征值特征的稳定架构,这是线性图过滤器无法实现的壮举(既稳定又有区别,但不能两者兼而有之)。最后,我们评论使用这个结果来训练GNNs,提高稳定性,并在电影推荐系统上进行实验。
2019-10-21 cs.LG eess.SP stat.ML
D4Explainer: In-Distribution GNN Explanations via Discrete Denoising Diffusion
Yale University(耶鲁大学);Stanford University(斯坦福大学)
D4Explainer首次将生成式图分布学习与离散去噪扩散结合,统一实现分布内反事实解释和模型级解释,在准确性、忠实度、多样性和鲁棒性上达到最优。
2023-10-30 cs.AI cs.LG
A Variational Edge Partition Model for Supervised Graph Representation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nanyang Technological University(南洋理工大学);Xidian University(西安电子科技大学)
图神经网络(GNNs)通过边传播节点特征并学习如何在标签监督下转换聚合特征,在节点级和图级分类任务的监督特征提取方面取得了巨大成功。然而,GNN通常将图结构视为给定的,而忽略边是如何形成的。本文介绍了一种图形生成过程来模拟如何通过聚合一组重叠节点社区上的节点交互来生成观察到的边缘,每个社区都通过逻辑OR机制对边缘做出贡献。基于这种生成模型,我们将每个边划分为多个社区特定的加权边的总和,并使用它们来定义社区特定的GNN。提出了一种变分推断框架,用于联合学习基于GNN的推理网络,该推理网络将边缘划分为不同的社区,这些社区特定的GNN,以及基于GNN的预测器,该预测器将社区特定的GNN组合用于最终分类任务。对真实世界图数据集的广泛评估已经验证了所提出的方法在学习节点级和图级分类任务的区分表示方面的有效性。
2022-10-31 cs.LG stat.CO stat.ME
PF-GNN: Differentiable particle filtering based approximation of universal graph representations
School of Computing, National University of Singapore(新加坡国立大学计算机学院);PayPal Innovation Lab(PayPal创新实验室)
针对消息传递GNN表达能力受1-WL测试限制的问题,提出基于可微粒子滤波的PF-GNN,通过采样IR范式的着色搜索树近似通用图表示,端到端可微且仅线性增加耗时,在合成与真实数据集上性能优于主流GNN。
2024-01-31 cs.AI cs.LG
Are LLMs Better GNN Helpers? Rethinking Robust Graph Learning under Deficiencies with Iterative Refinement
School of Computing KAIST Daejeon Republic of Korea(韩国国立庆尚大学计算机科学学院);School of Computer Science(计算机科学学院);School of Computing KAIST(韩国国立庆尚大学计算机科学学院)
该研究针对真实图缺陷削弱GNN性能的问题,首次系统对比传统GNN与LLM增强图方法在复合缺陷下的表现,提出迭代式RoGRAD框架,通过RAG和迭代图对比学习实现动态增强,性能超越两类基线,最高平均提升82.43%。
2025-10-02 cs.AI cs.LG
Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks
The University of Sydney(悉尼大学);Stevens Institute of Technology(斯蒂文斯理工学院);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);JD Explore Academy(京东探索学院)
在本文中,我们研究了一种新的Meta聚集方案,二值化图神经网络(GNNs)。我们首先开发一个普通的1位GNN框架,将GNN参数和图形特征二进制化。尽管轻量级架构,我们观察到,这个香草框架在区分图拓扑方面的区分能力不足,导致性能急剧下降。这一发现促使我们设计Meta聚合器来提高香草二进制GNN的表达能力,其中聚合方案可以基于二进制特征以可学习的方式自适应地改变。为此,我们提出了两种专用形式的Meta邻域聚合器,一个专用的Meta聚合器称为贪婪Gumbel邻域聚合器(GNA),和一个扩散的Meta聚合器称为自适应混合邻域聚合器(ANA)。GNA学习从候选池中专门挑选一个最佳聚合器,而ANA学习混合聚合行为,以同时保留多个聚合器的优点。此外,所提出的Meta聚合器可以很容易地用作现有全精度GNN的通用插件模块。在不同领域的实验表明,所提出的方法产生的结果优于最先进的。
2021-09-27 cs.CV cs.LG
Transaction Fraud Detection via Spatial-Temporal-Aware Graph Transformer
Tongji University(同济大学)
本文提出时空感知图Transformer(STA-GT),通过时间编码策略和Transformer模块融合局部与全局时空信息,克服传统GNN结构限制,在交易欺诈检测任务上取得优于现有GNN模型的效果。
2023-07-11 cs.LG q-fin.GN
Topological Pooling on Graphs
Temple University(天普大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
图神经网络(GNN)在各种图学习任务中取得了巨大的成功,从图分类到异常检测。最近出现了许多在GNN中采用图池操作的方法,其目标是在图表示学习期间保留图属性和结构特征。然而,大多数现有的图池操作遭受的局限性,依赖于节点的邻居加权和嵌入,这导致不充分的编码丰富的拓扑结构和节点属性所表现出的现实世界的网络。通过调用持久同源性和地标的概念,我们提出了一种新的拓扑池层和证人复杂的拓扑嵌入机制,使我们能够系统地整合隐藏的拓扑信息在本地和全球水平。具体来说,我们设计了新的可学习的局部和全局拓扑表示Wit-TopoPool,使我们能够同时从图中提取丰富的判别拓扑信息。在11个不同的基准数据集上对18个基线模型进行的实验以及图分类任务表明,Wit-TopoPool在所有数据集上的性能都明显优于所有竞争对手。
2023-03-25 cs.LG
Beyond Fixed Depth: Adaptive Graph Neural Networks for Node Classification Under Varying Homophily
本文针对固定聚合深度在同配与异配图上泛化不足的问题,提出基于理论度量的自适应深度GNN架构,动态选择节点级聚合深度,并在统一模型中一致提升标准GNN骨干网络在多个基准上的节点分类性能。
2025-11-10 cs.AI cs.LG
Hashing-Accelerated Graph Neural Networks for Link Prediction
Leibniz University Hannover(汉诺威莱布尼茨大学);Fudan University(复旦大学);Microsoft Research(微软研究院)
网络在现实世界中无处不在。链接预测是网络结构化数据的关键问题之一,其目的是预测两个节点之间是否存在链接。传统的方法是基于显式的相似性计算之间的紧凑的节点表示通过嵌入每个节点到一个低维空间。为了有效地处理链接预测中密集的相似性计算,哈希技术已被成功地用于产生汉明空间中的节点表示。然而,基于散列的链接预测算法面临着随机散列技术的准确性损失或嵌入过程中学习散列技术的效率低下。目前,图神经网络(GNN)框架已经以端到端的方式被广泛应用于图相关任务,但由于大量的参数学习,它通常需要大量的计算资源和内存成本,这使得基于GNN的算法在没有强大的工具的帮助下不切实际。在本文中,我们提出了一个简单而有效的模型,称为#GNN,它平衡了准确性和效率之间的权衡。#GNN能够通过利用随机散列技术来实现GNN框架中的消息传递和捕获高阶邻近度,从而有效地获取用于链接预测的汉明空间中的节点表示。此外,我们在概率上描述了#GNN的区分能力。大量的实验结果表明,所提出的#GNN算法实现的准确性媲美基于学习的算法,并优于随机算法,同时运行速度显着快于基于学习的算法。此外,该算法在资源有限的大规模网络上表现出良好的可扩展性。
2021-05-29 cs.LG cs.SI
Graph Partial Label Learning with Potential Cause Discovering
Institute of Software Chinese Academy of Science(中国科学院软件研究所);Tsinghua University(清华大学)
本文将偏标记学习引入图表示学习,提出一种基于潜在原因提取的新方法,通过辅助训练有效消除候选标签中的干扰信息,并在多数据集上验证了其优越性。
2024-08-22 cs.LG
Task-driven Heterophilic Graph Structure Learning
Indian Institute of Science, Bangalore, India(印度科学研究院,班加罗尔);University of Rochester, Rochester, United States(罗切斯特大学)
FgGSL通过结合频率信息与监督拓扑推断,实现任务驱动的异质图结构学习,有效提升图神经网络在异质图上的性能。
2025-12-29 cs.LG
AutoHEnsGNN: Winning Solution to AutoGraph Challenge for KDD Cup 2020
Tsinghua University(清华大学);Meituan(美团)
图神经网络(GNN)已经变得越来越流行,并在许多基于图的应用中取得了令人印象深刻的结果。然而,需要大量的手工工作和领域知识来设计有效的架构,并且GNN模型的结果在不同的训练设置中具有很高的差异,这限制了现有GNN模型的应用。在本文中,我们提出了AutoHEnsGNN,这是一个框架,可以在没有任何人为干预的情况下为图形任务构建有效和强大的模型。AutoHEnsGNN在2020年KDD杯AutoGraph挑战赛中获得第一名,并在决赛阶段获得五个真实数据集的最佳排名分数。给定一个任务,AutoHEnsGNN首先应用快速代理评估来自动选择一个有希望的GNN模型池。然后构建了一个层次集成框架:1)提出了图自集成(GSE)方法,该方法能够有效地利用局部和全局邻域信息,减少权值初始化的方差; 2)基于GSE方法,采用不同类型GNN模型的加权集成,有效地学习更具区分性的节点表示。为了有效地搜索体系结构和集成权重,我们提出了AutoHEnsGNN $_{\text{Gradient}}$,它将体系结构和集成权重作为体系结构参数,并使用基于梯度的体系结构搜索来获得最优配置,以及AutoHEnsGNN $_{\text{Adaptive}}$,它可以根据模型精度自适应地调整集成权重。在节点分类、图分类、边缘预测和KDD Cup挑战赛上的大量实验证明了AutoHEnsGNN的有效性和通用性
2021-11-25 cs.AI cs.LG
RoSGAS: Adaptive Social Bot Detection with Reinforced Self-Supervised GNN Architecture Search
University of Science and Technology of China(中国科学技术大学);Key Laboratory of Cyberculture Content Cognition and Detection, Ministry of Culture and Tourism(文化和旅游部网络文化内容认知与检测重点实验室);University of Leeds(利兹大学);National Engineering Laboratory for Public Safety Risk Perception and Control by Big Data(公共安全风险防控大数据国家工程实验室);Beihang University(北京航空航天大学)
社交机器人是指社交网络上的自动账户,它们试图表现得像人类一样。虽然图神经网络(GNN)已被大规模应用于社交机器人检测领域,但大量的领域专业知识和先验知识大量参与了最先进的方法,以设计用于特定分类任务的专用神经网络架构。然而,在模型设计中涉及过大的节点和网络层,通常会导致过度平滑问题和缺乏嵌入鉴别。在本文中,我们提出了RoSGAS,这是一种新型的增强型自监督GNN架构搜索框架,可以自适应地确定GNN架构中最合适的多跳邻居和层数。更具体地说,我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构的信息网络来呈现用户的连接,利用帐户元数据,关系,行为特征和内容特征。RoSGAS使用多代理深度强化学习(RL)机制来导航最佳邻域和网络层的搜索,以单独学习每个目标用户的子图嵌入。为了加快RL训练过程,提出了一种最近邻机制,并且在自监督学习的帮助下,RoSGAS可以学习更多有区别的子图嵌入。在5个Twitter数据集上的实验表明,RoSGAS在准确性,训练效率和稳定性方面优于最先进的方法,并且在处理未知样本时具有更好的泛化能力。
2022-12-04 cs.LG cs.SI
Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis
University of Pennsylvania(宾夕法尼亚大学)
本文利用图算子特征值分解的线性代数分析,证明带匿名白色输入的标准 GNN 可超越 WL 算法表达力,并通过图同构与分类实验验证。
2023-07-21 cs.AI cs.LG eess.SP
Improving Graph Neural Networks by Learning Continuous Edge Directions
Harvard University(哈佛大学);Dana-Farber Cancer Institute(丹娜法伯癌症研究院);Harvard Medical School(哈佛医学院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所)
提出CoED GNN框架,通过学习可微的连续模糊边方向并引入复值拉普拉斯算子实现特征长程定向传输,显著提升了图神经网络在节点分类等任务上的判别能力。
2025-02-28 cs.LG
Graph Representation learning for Audio & Music genre Classification
Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
音乐类型可以说是音乐和音频内容的最重要和最有区别性的信息之一。基于视觉表示的方法已经在用于音乐流派分类的谱图上进行了探索。然而,缺乏高质量的数据和增强技术使得很难成功地使用深度学习技术。我们讨论了图神经网络在此类任务中的应用,因为它们具有很强的归纳偏差,并表明CNN和GNN的组合能够在GTZAN和AudioSet(不平衡音乐)数据集上实现最先进的结果。我们还讨论了Siamese神经网络作为学习边缘相似性权重的GNN的类似物的作用。此外,我们还进行视觉分析,以了解我们的模型的视野到基于体裁标签的频谱图。
2019-10-23 cs.LG cs.SD stat.ML
Repurposing Unified Topological Signatures for Graph Representation Learning
BITS Pilani(比拉理工学院皮拉尼校区)
本研究将统一拓扑签名(UTS)集成到GNN训练中,通过增强、正则化和池化三种干预,突破了1-WL表达性限制,在三个基准上提升准确率最高达5.8%。
2026-09-16 cs.AI cs.LG
Towards Faithful Class-level Self-explainability in Graph Neural Networks by Subgraph Dependencies
School of Computing, Macquarie University(麦考瑞大学计算机学院);CSIRO’s Data61(CSIRO数据61)
本文提出自解释GNN框架GraphOracle,通过联合学习分类器与判别性稀疏子图,并利用熵正则化子图选择和随机游走提取,实现忠实、可扩展的类级解释,弥补了ProtGNN和PGIB等先前方法在类级解释上的不足。
2025-08-15 cs.AI cs.LG
SCGC : Self-Supervised Contrastive Graph Clustering
University of Queensland(昆士兰大学)
图聚类发现网络中的群体或社区。自动编码器(AE)等深度学习方法可以提取有效的聚类和下游表示,但无法包含丰富的结构信息。虽然图神经网络(GNN)在编码图结构方面取得了巨大成功,但基于卷积或注意力变体的典型GNN遭受过平滑、噪声、异质性,计算成本高,并且通常需要存在完整的图。相反,我们提出了自监督对比图聚类(SCGC),它通过对比损失信号来施加图结构,以学习有区别的节点表示和迭代改进的软聚类标签。我们还提出了SCGC*,具有更有效,新颖的影响增强对比度(IAC)损失,以融合更丰富的结构信息,并将原始模型参数减半。SCGC(*)使用简单的线性单元更快,完全消除了传统GNN的卷积和注意力,但有效地结合了结构。它不受层深度的影响,对过度平滑、不正确的边缘和异质性具有鲁棒性。它是可扩展的,在许多以前的GNN模型的限制,和平凡的并行化。我们在广泛的基准图数据集上获得了最先进的显着改进,包括图像,传感器数据,文本和引文网络。具体来说,对于DBLP,ARI上减少了20%,NMI上减少了18%;总体上减少了55%的训练时间,总体上减少了81%的推理时间。我们的代码可在:https://github.com/gayanku/SCGC
2022-04-27 cs.CV cs.LG cs.MM
Attention-based graph neural networks: a survey
School of Computer Science and Technology, China University of Mining and Technology(中国矿业大学计算机科学与技术学院);Mine Digitization Engineering Research Center, Ministry of Education of the People’s Republic of China(教育部矿山数字化工程研究中心)
本文综述了基于注意力机制的图神经网络的最新进展,提出两级分类法,分析了发展历史和架构,并总结了各种模型的优缺点及未来方向。
2026-05-09 cs.AI cs.LG cs.SI
Deep Cut-informed Graph Embedding and Clustering
针对基于GNN的深度图聚类存在表示坍缩问题,本文提出非GNN的DCGC框架,通过割信息图编码和最优传输聚类,有效缓解坍缩并提升聚类性能。
2025-04-25 cs.AI cs.LG
Topology-Informed Graph Transformer
National Institute for Mathematical Sciences(数学科学研究院);Max Planck Institute(马克斯·普朗克研究所)
本研究提出拓扑感知图Transformer,通过增强图同构判别能力与整体性能,提升图神经网络在区分同构类任务中的表现。
2026-01-08 cs.LG