ADMP-GNN: Adaptive Depth Message Passing GNN
Université Paris-Saclay, CentraleSupélec, Inria(巴黎-萨克雷大学、中央超导研究所、法国国家信息与自动化技术研究所)
针对现有GNN对所有节点采用固定消息传递层数、未适配节点差异的问题,提出可动态调整各节点消息传递层数的ADMP-GNN框架,适用于各类消息传递类GNN,在节点分类任务上性能优于基线模型。
2025-09-01 cs.LG stat.ML
ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);Meta AI;Amazon Web Services(亚马逊云科技);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出 ReFactor GNN,将因子分解模型的梯度下降重构为消息传递,从而兼顾节点特征与归纳泛化,并在 KGC 基准上以少一个数量级参数达到优异性能。
2025-01-16 cs.AI cs.CL cs.LG
Rethinking Graph Neural Architecture Search from Message-passing
University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)最近作为从图上的数据学习的标准工具包出现。目前的GNN设计工作依赖于大量的人类专业知识来探索不同的消息传递机制,并需要手动枚举来确定适当的消息传递深度。受CNN中神经结构搜索(NAS)强大搜索能力的启发,提出了一种新的搜索空间的图神经结构搜索(GNAS)。GNAS可以自动学习更好的架构,并在图上获得最佳的消息传递深度。具体来说,我们设计了图神经架构范式(GAP),它采用树型拓扑计算过程和两种细粒度原子操作(特征过滤和邻居聚合),从消息传递机制出发,构建了强大的图网络搜索空间。特征过滤执行自适应特征选择,而邻居聚合捕获结构信息并计算邻居的统计信息。实验表明,我们的GNAS可以搜索更好的GNN与多种消息传递机制和最佳的消息传递深度。搜索网络在三个经典图任务的五个大规模数据集上比最先进的手动设计和基于搜索的GNN取得了显着的改进。代码可以在https://github.com/phython96/GNAS-MP上找到。
2021-06-24 cs.AI cs.LG
SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP
Fudan University(复旦大学);The University of Sydney(悉尼大学)
消息传递机制帮助图神经网络(GNN)在各种节点分类任务上取得了显着的效果。然而,在将GNN部署到大规模图时,消息传递中的递归节点获取和聚合会导致推理延迟。一个有前途的推理加速方向是将GNN提取为无消息传递的学生多层感知器(MLP)。然而,由于缺乏结构输入,MLP学生不能完全学习结构知识,这导致在异质性和归纳情景中的表现较差。为了解决这个问题,我们打算以低延迟和可解释的方式将结构信息注入MLP类学生。具体来说,我们首先设计了一个结构感知MLP(SA-MLP)的学生,编码功能和结构,而无需消息传递。然后,我们引入了一种新的结构混合知识蒸馏策略,以提高学习能力的结构信息的MLP。此外,我们设计了一个潜在的结构嵌入近似技术与两阶段蒸馏归纳的情况下。在转换和归纳设置下对八个基准数据集进行的广泛实验表明,我们的SA-MLP可以始终优于教师GNN,同时保持MLP的更快推理。我们工作的源代码可以在https://github.com/JC-202/SA-MLP中找到。
2022-10-18 cs.AI cs.LG
Identity-aware Graph Neural Networks
Stanford University(斯坦福大学)
消息传递图神经网络(GNN)为关系数据提供了一个强大的建模框架。然而,现有GNN的表达能力是由1-Weisfeiler-Lehman(1-WL)图同构测试的上限,这意味着GNN不能预测节点聚类系数和最短路径距离,并且不能区分不同的d-正则图。在这里,我们开发了一类消息传递GNN,命名为身份感知图神经网络(ID-GNN),具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳考虑节点的身份来扩展现有的GNN架构。为了嵌入给定的节点,ID-GNN首先提取以该节点为中心的自我网络,然后进行多轮异构消息传递,其中将不同的参数集应用于中心节点而不是自我网络中的其他周围节点。我们进一步提出了一个简化但更快的ID-GNN版本,它将节点身份信息作为增强节点特征注入。总而言之,ID-GNN的两个版本代表了消息传递GNN的一般扩展,其中实验表明,将现有GNN转换为ID-GNN,在具有挑战性的节点,边缘和图形属性预测任务上平均提高了40%的准确性;在节点和图形分类基准上提高了3%的准确性;在现实世界的链接预测任务上提高了15%的ROC AUC。此外,ID-GNN表现出比其他特定任务的图网络更好或相当的性能。
2021-02-05 cs.AI cs.LG cs.SI
Boosting Graph Neural Networks by Injecting Pooling in Message Passing
Hanyang University(汉阳大学)
图神经网络(GNN)领域取得了巨大的成功,这是由于消息传递(MP)层的发展,该层通过将节点与其邻居相结合来更新节点的表示,以解决可变大小和无序的图。尽管MP GNN取得了丰硕的进展,但当节点表示变得过于相似甚至无法区分时,它们的性能可能会受到过度平滑的影响。此外,据报道,随着GNN层的增加,本征图结构被平滑化。受图像处理中边缘保持双边滤波器的启发,我们提出了一个新的、适应性强的MP框架来防止过度平滑。我们的双边MP估计成对的模块化梯度,利用节点的类信息,并进一步保持全局图结构时,使用的梯度聚合功能。我们提出的方案可以推广到所有普通的MP GNN。使用四个最先进的MP GNN在五个中等大小的基准数据集上进行的实验表明,双边MP通过减轻过度平滑来提高性能。通过检查定量测量,我们还验证了所提出的机制在防止过度平滑问题的有效性。
2022-02-08 cs.AI cs.LG
What Expressivity Theory Misses: Message Passing Complexity for GNNs
School of Computation, Information and Technology & Munich Data Science Institute(计算、信息与技术学院及慕尼黑数据科学研究所)
针对表达性理论忽视实际限制的问题,提出消息传递复杂度(MPC)连续度量,量化GNN解决任务的难度,兼顾过压缩等实际因素,并通过实验验证其预测与性能相关,为理解与改进GNN提供新框架。
2025-10-22 cs.LG
Improving the Expressiveness of $K$-hop Message-Passing GNNs by Injecting Contextualized Substructure Information
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出子结构编码函数并注入情境化子结构信息,以克服$K$跳消息传递GNN的局限性,在理论和实验上均显著提升了模型的表达能力与性能。
2024-06-27 cs.LG
Caterpillar GNN: Replacing Message Passing with Graph-Level Aggregation
University of Antwerp(安特卫普大学)
本文提出Caterpillar GNN,通过基于游走关联矩阵的高效聚合替代消息传递,在保持可比预测性能的同时减少计算图隐藏层节点,并攻克挑战MPGNNs的基准。
2026-11-09 cs.LG
Message-Passing GNNs Fail to Approximate Sparse Triangular Factorizations
AIC, Skoltech(斯克里普金技术大学人工智能中心);Skoltech AI4S Center(斯克里普金技术大学AI4S中心);Sberbank of Russia(俄罗斯储蓄银行);AIRI
本文通过理论和实验证明,消息传递图神经网络在逼近稀疏三角分解时存在根本性局限,需要超越消息传递的架构创新。
2026-05-25 cs.AI cs.LG cs.NA
Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning
Xiamen University(厦门大学);Fudan University(复旦大学);Central South University(中南大学)
该研究针对文本属性图学习提出了检索增强的RTA框架,以标签感知的检索与传播替代传统结构消息传递,经多基准测试,其性能匹配或优于强基线且效率、鲁棒性更优。
2026-08-28 cs.AI cs.LG
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology(哈尔滨工业大学)
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外,没有提出GNN的理论起源。令我们惊讶的是,消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重,我们提出了子空间幂迭代聚类(SPIC)模型,该模型仅使用一个聚合器进行迭代学习。实验表明,我们的模型扩展了GNN,增强了它们处理随机特征网络的能力。此外,我们展示了一些最先进的GNN在设计中的冗余性,并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
Enhancing Graph Representations with Neighborhood-Contextualized Message-Passing
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Kyoto University(京都大学);Ateneo de Manila University(马尼拉雅典耀大学);UNI-President Information Philippines Corporation(统一信息菲律宾公司);The Chinese University of Hong Kong(香港中文大学)
提出邻域上下文化消息传递(NCMP)框架,通过整合多集邻域上下文增强GNN表达能力,并实例化为SINC-GCN,在保持高效的同时显著提升性能。
2026-07-01 cs.AI cs.LG
Entropy Aware Message Passing in Graph Neural Networks
ETH Zurich(苏黎世联邦理工学院)
针对深度图神经网络的过平滑问题,提出一种融合熵感知消息传递项、在节点聚合时对熵做梯度上升以保留嵌入熵的新型物理启发GNN模型,可适配现有架构并在多数据集上与前沿模型对比验证。
2024-03-07 cs.LG
Twin Weisfeiler-Lehman: High Expressive GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
通过Weisfeiler-Lehman(WL)测试,消息传递GNN的表达能力有上限。为了实现WL测试之外的高表达GNN,我们提出了一种新的图同构测试方法,即Twin-WL,它同时传递节点标签和节点身份,而不是只传递节点标签作为WL。身份传递机制编码了有根子图的完整结构信息,因此Twin-WL可以在区分图结构方面提供比WL更大的能力。在Twin-WL的基础上,通过定义有根子图上的读出函数,实现了两个Twin-GNN用于图分类:一个简单地读出有根子图的大小,另一个按照GNN的风格读出子图的丰富结构信息。我们证明了这两个Twin-GNN都比传统的消息传递GNN具有更高的表达能力。实验还表明,Twin-GNN在图分类任务中的表现明显优于最先进的方法。
2022-03-22 cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University(普渡大学);Ludwig-Maximilians-Universitat München(慕尼黑大学)
这项工作提供了关于图消息传递神经网络(gMPNN)-如图神经网络(GNN)-执行归纳分布外(OOD)链接预测任务的能力的第一个理论研究,其中部署(测试)图的大小大于训练图。我们首先证明了非渐近界,表明基于置换等变(结构)节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后,我们提出了一个理论上合理的gMPNN输出结构成对(2节点)嵌入,并证明非渐近界显示,随着测试图的增长,这些嵌入收敛到一个连续函数的嵌入,保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
Graph Learning Should Move Beyond Restrictive Views of Spectral and Message-Passing GNNs
RWTH Aachen University(亚琛工业大学);Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Univ. de Montréal(蒙特利尔大学);Mila(Mila人工智能研究所);Technion – Israel Institute of Technology(技术学院–以色列理工学院)
本文澄清了谱图神经网络与消息传递图神经网络的异同,提出基于特征基对称性的谱GNN精确定义,并倡导统一理论框架以推动图学习发展。
2026-06-16 cs.LG
PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm
Peking University(北京大学);Tencent Inc.(腾讯公司)
图神经网络(GNN)在各种基于图的任务中已经实现了最先进的性能。然而,由于主流GNN是基于神经消息传递机制设计的,因此它们不能很好地扩展到数据大小和消息传递步骤。尽管人们对可扩展GNN的设计产生了浓厚的兴趣,但目前的研究集中在特定的GNN设计上,而不是一般的设计空间,限制了潜在的可扩展GNN模型的发现。本文提出了PasCa,这是一种新的范式和系统,它提供了一种原则性的方法来系统地构建和探索可扩展GNN的设计空间,而不是研究单个设计。通过解构消息传递机制,PasCa提出了一种新的可扩展图神经架构范式(Scalable Graph Neural Architecture Paradigm,SGAP),并给出了一个包含15万种不同设计的通用架构设计空间。遵循该范例,我们实现了一个自动搜索引擎,该引擎可以自动搜索性能良好且可扩展的GNN架构,以平衡多个标准之间的权衡(例如,准确性和效率)。对10个基准数据集的实证研究表明,代表性实例(即,PasCa-V1,V2和V3)在竞争基线之间实现了一致的性能。具体来说,PasCa-V3在我们的大型行业数据集上的预测准确性方面优于最先进的GNN方法JK-Net 0.4\%,同时实现了高达$28.3\times$的训练加速。
2022-03-01 cs.AI cs.LG
Beyond Message Passing: A Symbolic Alternative for Expressive and Interpretable Graph Learning
McGill University(麦吉尔大学);University of Toronto(多伦多大学)
SymGraph通过符号框架超越传统消息传递限制,实现更高效的图学习和可解释性。
2026-02-23 cs.AI cs.LG
Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙弗雷泽大学);Tencent(腾讯)
图神经网络(GNN)是一种新兴的基于图的机器学习模型。置换等方差和邻近感知是GNN非常需要的两个重要属性。这两个属性都需要解决一些具有挑战性的图形问题,例如寻找社区和领导者。在本文中,我们首先分析表明,现有的GNNs,主要是基于消息传递机制,不能同时保持这两个属性。然后,我们提出了随机消息传递(SMP)模型,一个通用的和简单的GNN保持接近意识和置换等变性。为了保持节点的邻近性,我们用随机节点表示来增强现有的GNN。我们从理论上证明了该机制可以使GNN保持节点的邻近性,同时,保持一定的参数化的置换等变性。我们报告了广泛的实验结果,在10个数据集上,并证明了SMP的有效性和效率的各种典型的图挖掘任务,包括图重建,节点分类,和链接预测。
2022-02-22 cs.LG stat.ML
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers(法国国立工艺学院);Sorbonne Université(索邦大学)
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题,提出排序损失平滑优化方法与个性化PageRank负采样策略,还拓展了归纳式用户中心评估协议,在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
Provably Powerful Graph Neural Networks for Directed Multigraphs
IBM Research Europe(IBM欧洲研究院)
本文提出将标准消息传递GNN通过多重图端口编号、自我ID和反向消息传递转化为有向多重图神经网络,理论上可检测任意有向子图模式,实验显示在合成任务及金融犯罪检测中显著提升F1分数并超越基线。
2024-01-04 cs.AI cs.LG
Towards Dynamic Message Passing on Graphs
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Agriculture Information Institute, CAAS(中国农业科学院农业信息研究所);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
针对现有图神经网络消息传递过度依赖输入拓扑、存在瓶颈或高计算开销的问题,提出一种动态消息传递机制并基于此开发$\texttt{N^2}$模型,通过节点与伪节点的空间关系构建灵活路径,在18个基准上性能更优且参数更少、可扩展至大规模任务。
2024-12-01 cs.LG
Dynamically Pruned Message Passing Networks for Large-Scale Knowledge Graph Reasoning
Hulu(葫芦);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
我们提出了动态修剪消息传递网络(DPMPN)的大规模知识图谱推理。与现有的基于嵌入或基于路径的模型相比,我们学习了一个依赖于输入的子图来显式地建模推理过程。子图的动态构造和扩展应用图形注意力机制的输入查询的条件。通过这种方式,我们不仅构建了图结构的解释,而且还使图神经网络(GNN)中设计的消息传递能够随图的大小而扩展。我们从提出的意识先验中获得灵感,并开发了一个双GNN框架,同时编码输入不可知的全图表示,并学习由注意力模块协调的输入依赖的局部表示。实验证明了我们的模型的推理能力,即提供清晰的图形解释以及提供准确的预测,在知识库完成任务中优于大多数最先进的方法。
2020-04-07 cs.AI cs.LG
Repetition Makes Perfect: Recurrent Graph Neural Networks Match Message-Passing Limit
本文研究了可计算递归图神经网络的表达能力,证明其能计算符合颜色细化算法自然消息传递不变性的任意图算法,且通过随机初始化可表达所有图算法。
2025-12-08 cs.CC cs.LG
Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing
Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院)
大多数图神经网络遵循消息传递机制。然而,当多次消息传递应用于图时,它面临过度平滑问题,导致不可区分的节点表示,并阻止模型有效地学习更远节点之间的依赖关系。另一方面,具有不同标签的相邻节点的特征可能被错误地混合,从而导致异质性问题。在这项工作中,我们建议将消息传递到节点表示中,特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明,我们的模型可以同时在同质和异质环境中实现最先进的技术,而无需任何有针对性的设计。此外,当模型变得非常深时,它的性能保持得很好,有效地防止了过度平滑问题。最后,可视化门控向量表明,我们的模型学习在同质性和异质性设置之间表现不同,提供了一个可解释的图神经模型。
2023-02-03 cs.LG
Persistent Message Passing
DeepMind
图神经网络(GNN)是一个强大的归纳偏见建模算法推理过程和数据结构。他们的能力主要表现在以马尔可夫动力学为特征的任务上,在这些任务中,查询任何相关的数据结构只取决于其最新状态。然而,对于许多感兴趣的任务,支持依赖于先前状态的高效数据结构查询可能是非常有益的。这需要跟踪数据结构随时间的演变,从而对GNN的潜在表示施加巨大压力。我们引入了持久消息传递(PMP),这是一种赋予GNN通过显式持久化来查询过去状态的能力的机制:它不是重复节点表示,而是在需要时创建新节点。PMP在动态时间范围查询上将分布外推广到超过2倍的测试输入,显著优于覆盖状态的GNN。
2021-04-27 cs.AI cs.LG cs.SI
Sign is Not a Remedy: Multiset-to-Multiset Message Passing for Learning on Heterophilic Graphs
Harbin Institute of Technology(哈尔滨工业大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);Pengcheng Laboratory(鹏城实验室);Fudan University(复旦大学);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);Griffith University(格里菲斯大学)
针对异配图中符号消息传递(SMP)存在的多跳邻居表示更新不理想及易过平滑等局限,提出多重集到多重集GNN(M2M-GNN)消息传递函数,有效缓解了这些问题并取得更优性能。
2024-05-31 cs.LG
Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages
University of Electronic Science and Technology of China(电子科技大学)
如今,遵循消息传递范式的图神经网络(GNNs)成为图形数据学习的主要方式。这种范例中的模型必须花费额外的空间来使用邻接矩阵查找相邻节点,并花费额外的时间来聚合来自相邻节点的多个消息。为了解决这个问题,我们开发了一种名为LinkDist的方法,该方法将连接节点对的自我知识提取到多层感知器(MLP)中,而无需聚合消息。对8个真实世界数据集的实验表明,来自LinkDist的MLP可以在不知道其邻接关系的情况下预测节点的标签,但在半监督和全监督节点分类的情况下,与GNN相比具有相当的准确性。此外,LinkDist受益于其非消息传递范式,我们还可以以对比的方式从任意采样的节点对中获取自我知识,以进一步提高LinkDist的性能。
2021-06-16 cs.AI cs.LG
Debiasing Message Passing to Mitigate Popularity Bias in GNN-based Collaborative Filtering
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出DPAA框架,通过自适应嵌入感知交互加权和层间加权,缓解GNN协同过滤中的流行偏差问题,实验表明其优于现有方法。
2026-10-06 cs.IR cs.LG
Hierarchical Message-Passing Graph Neural Networks
University of Luxembourg(卢森堡大学);National Cheng Kung University(国立成功大学)
图神经网络(GNN)已经成为利用图进行机器学习的突出方法,并且已经越来越多地应用于众多领域。然而,由于大多数现有的GNN模型都是基于扁平的消息传递机制,因此需要解决两个限制:(i)它们在编码跨越图结构的长距离信息时成本很高;(ii)它们无法编码图中高阶邻域中的特征,因为它们只在原始图中观察到的边缘上执行信息聚合。为了解决这两个问题,我们提出了一个新的层次消息传递图神经网络框架。其核心思想是生成一个层次结构,将平面图中的所有节点重新组织成多级超级图,以及创新的层内和层间传播方式。派生的层次结构创建连接遥远的节点,使信息的远程交互可以有效地通过消息传递访问的快捷方式,并将中观和宏观层次的语义到学习的节点表示。我们提出了第一个模型来实现这个框架,称为分层社区感知图神经网络(HC-GNN),与一个分层的社区发现算法的援助。理论分析表明,HC-GNN的显着能力,在捕获长距离的信息,而不引入沉重的额外的计算复杂度。在9个数据集上进行的实验表明,HC-GNN在网络分析任务中的表现优于最先进的GNN模型,包括节点分类,链接预测和社区发现。此外,模型分析进一步证明了HC-GNN面对图稀疏性的鲁棒性和结合不同GNN编码器的灵活性。
2022-10-26 cs.LG stat.ML
Using Subgraph GNNs for Node Classification:an Overlooked Potential Approach
East China Normal University(东华师范大学)
SubGND通过引入子图分类方法和自适应特征缩放机制,在异质设置中实现了与全局GNNs相当或更优的节点分类性能。
2026-01-13 cs.AI cs.LG
Improving Subgraph-GNNs via Edge-Level Ego-Network Encodings
Universitat Pompeu Fabra(庞培法布拉大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);ISI Foundation Turin(都灵ISI基金会)
本文提出边级自我网络编码以增强子图GNN,理论上证明其表达能力优于基于节点的子图MP-GNN,并在多个基准上匹配或改进基线且显著降低内存使用。
2024-05-02 cs.AI cs.LG
Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm
Texas A&M University(得克萨斯A&M大学)
本文提出边感知的 NC-1-WL 及其神经版本 NC-GNN,在保持消息传递可扩展性的同时,使表达能力严格介于 1-WL 与 3-WL 之间,并在基准实验中验证其效果与效率。
2024-01-23 cs.AI cs.LG
Polarized Direct Cross-Attention Message Passing in GNNs for Machinery Fault Diagnosis
Department of Automation, College of Artificial Intelligence, China University of Petroleum (Beijing)(自动化系,人工智能学院,中国石油大学(北京));Department of Safety Engineering, College of Safety and Ocean Engineering, China University of Petroleum (Beijing)(安全工程系,安全与海洋工程学院,中国石油大学(北京))
本文提出极化直接交叉注意力信息传递框架,通过数据驱动的图构建实现自适应信息传递,提升机械故障诊断的准确性和鲁棒性。
2026-03-06 cs.LG
S$^3$GNN: Efficient Global Mixing and Local Message Passing for Long-Range Graph Learning
Department of Engineering, University of Cambridge, Cambridge, UK.(剑桥大学工程系,英国剑桥);University of Sydney, Australia.(悉尼大学,澳大利亚)
提出S$^3$GNN模型,通过轻量级重新引入被忽略的组件并降低计算复杂度,在不依赖强理论假设的情况下缓解过挤压现象,实现长程依赖的高效学习。
2026-05-22 cs.LG
Demystifying MPNNs: Message Passing as Merely Efficient Matrix Multiplication
University of Heriot-Watt(赫瑞瓦特大学)
本文全面分析了图神经网络行为,证明 k 层消息传递网络通过迭代计算高效聚合 k 跳邻域信息,并探讨了循环结构、梯度问题、归一化方案及均匀特征对性能的影响,构建了连接经验直觉与理论理解的框架。
2025-01-31 cs.AI cs.LG cs.NE
Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Microsoft Research Asia(微软亚洲研究院)
图神经网络(GNN)是用于对图数据建模的流行的机器学习方法。许多GNN在同质图上表现良好,但在异质图上表现不佳。近年来,一些研究者将注意力转向通过调整消息传递机制或扩大消息传递的感受野来设计异质图的GNN。与现有的从模型设计的角度减轻异质性问题的工作不同,我们建议从正交的角度研究异质性图,通过重新布线图结构来减少异质性,使传统的GNN表现得更好。通过全面的实证研究和分析,我们验证了重新布线方法的潜力。为了充分利用它的潜力,我们提出了一种名为Deep Heterophily Graph Rewiring(DHGR)的方法,通过添加同伦边和修剪异伦边来重新连接图。通过比较节点邻居的标签/特征分布的相似性来确定重新布线的详细方式。此外,我们设计了一个可扩展的实现DHGR,以保证高效率。DHRG可以很容易地用作插件模块,即,图预处理步骤,用于任何GNN,包括同质性和异质性的GNN,以提高它们在节点分类任务上的性能。据我们所知,这是第一个研究异形图的图重布线的工作。在11个公共图数据集上的实验证明了本文方法的优越性。
2022-09-17 cs.AI cs.LG
Mixture of Message Passing Experts with Routing Entropy Regularization for Node Classification
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络安全学院);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江区网络安全研究所);Faculty of Artificial Intelligence in Education, Central China Normal University(中央财经大学教育人工智能学院)
针对GNN在异质性结构中性能下降的问题,提出GNNMoE框架,通过熵驱动的消息传递专家混合与路由熵正则化实现节点级自适应表示学习,在12个数据集上优于SOTA方法,兼具可扩展性和可解释性。
2025-11-12 cs.LG cs.SI
Unveiling the Role of Message Passing in Dual-Privacy Preservation on GNNs
University of Southern California(南加利福尼亚大学);University of Wyoming(怀俄明大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究揭示GNN中结构偏差下的消息传递是隐私泄露核心,提出含三大模块的双重隐私保护框架,在四个基准数据集上验证其可兼顾隐私保护与下游任务效用。
2023-08-25 cs.CR cs.LG cs.SI
Solving Oversmoothing in GNNs via Nonlocal Message Passing: Algebraic Smoothing and Depth Scalability
School of Mathematical Sciences, Fudan University(复旦大学数学学院)
本文提出一种基于Post-LN的非局部消息传递方法,通过代数平滑解决图神经网络中的过度平滑问题,并支持更深层网络,提升性能且无需额外参数。
2025-12-10 cs.LG
Multi-Attractor GNNs: Set-Valued Expressivity Beyond Unique Equilibria
University of Central Florida(中佛罗里达大学)
本文提出多吸引子图神经网络,利用多个均衡使权重共享的消息传递GNN表示集值等变映射,无需解标签即可学习,在多个任务上优于现有基线。
2026-09-29 cs.AI cs.LG
CoRe-GNN: Multilevel Message passing on Coarsened graphs
CNRS(法国国家科学研究中心);IRISA(IRISA研究所);INRIA(法国国家信息与自动化研究所)
CoRe-GNN是一种基于粗化图的多级消息传递图神经网络,并行执行粗化聚类间与局部聚类内传播,在多种节点分类基准上优于图粗化和Cluster-GCN,兼具长程任务竞争力与内存效率。
2026-08-04 cs.LG
On the under-reaching phenomenon in message-passing neural PDE solvers: revisiting the CFL condition
ESI Group-UZ Chair of the National Strategy on Artificial Intelligence(国家人工智能战略委员会ESI集团-乌达学院);Aragon Institute of Engineering Research (I3A)(阿龙工程研究 institute);Universidad de Zaragoza(萨拉戈塔大学);Aragonese Foundation for Research and Development (ARAID)(阿拉贡研究与发展基金会)
本文为GNN求解PDE推导了消息传递迭代次数的精确下界,关联物理常数与离散化以减少超参数调优,确保信息有效传播并提升求解精度。
2025-07-09 cs.LG stat.ML
Direct Molecular Polarizability Prediction with SO(3) Equivariant Local Frame GNNs
Institute of Computer Science, Johannes Gutenberg-University, Mainz(计算机科学研究所,吉森大学,美因茨);Max Planck Institute for Polymer Research, Mainz(聚合物研究所,美因茨)
本文提出一种基于SO(3)等变局部坐标系的图神经网络,通过标量、向量和张量通道的消息传递直接预测分子极化率,并在QM7-X数据集上验证其优于标量消息传递模型。
2025-11-10 cs.LG
$P^2$GNN: Two Prototype Sets to boost GNN Performance
Amazon, India(亚马逊(印度))
$P^2$GNN通过引入两种原型集提升GNN性能,有效增强全局上下文和去噪效果,实验表明其在电商和开源数据集上均取得优异表现。
2026-03-10 cs.LG
Channel-Attentive Graph Neural Networks
Boğaziçi University(博阿济济大学)
本文提出自适应通道级消息传递模型Channel-Attentive GNN,通过学习关注邻居节点及特征通道来缓解图神经网络的过度平滑问题,在强异质性图上取得领先表现。
2025-03-05 cs.LG
Efficient Higher-order Subgraph Attribution via Message Passing
BIFOLD -- Berlin Institute for the Foundations of Learning(柏林学习与数据基础研究院);Department of Artificial Intelligence, Korea University, Seoul 136-713, Korea(韩国大学人工智能系);RIKEN Center for AIP, Japan(日本AIP研究中心)
本文提出了一种基于消息传递的高效算法,能够在线性时间内通过GNN-LRP对子图进行归因,并扩展了子图归因方法以考虑邻接图特征,实验表明该方法具有显著加速和高实用性。
2026-05-21 cs.LG
Elastic Graph Neural Networks
Michigan State University(密歇根州立大学);Shandong University(山东大学)
虽然许多现有的图神经网络(GNN)已被证明可以执行基于$\ell_2$的图平滑,从而在全局上强制平滑,但在这项工作中,我们的目标是通过基于$\ell_1$的图平滑进一步增强GNN的局部平滑自适应性。因此,我们介绍了一个家庭的GNN(弹性GNN)的基础上$\ell_1$和$\ell_2$的图形平滑。特别是,我们提出了一个新的和一般的消息传递方案到GNNs。这种消息传递算法不仅对反向传播训练友好,而且在理论收敛保证的情况下实现了所需的平滑特性。在半监督学习任务上的实验表明,所提出的弹性GNN在基准数据集上具有更好的自适应性,并且对图对抗攻击具有显著的鲁棒性。弹性GNN的实现可在\url{https://github.com/lxiaorui/ElasticGNN}上获得。
2021-07-05 cs.AI cs.LG cs.NE
Hyperbolic-PDE GNN: Spectral Graph Neural Networks in the Perspective of A System of Hyperbolic Partial Differential Equations
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文将图神经网络的消息传递形式化为双曲偏微分方程系统,将节点表示映射到由拓扑特征向量张成的解空间,从而增强可解释性并显式提取拓扑特征,同时建立与谱图神经网络的联系,引入多项式逼近滤波函数,显著提升了多种谱图神经网络在图任务上的性能。
2025-05-29 cs.LG
A quatum inspired neural network for geometric modeling
Chinese Academy of Sciences(中国科学院);Huawei Technologies Ltd(华为技术有限公司);Université de Montréal(蒙特利尔大学)
针对现有几何GNN仅能实现多体系统平均场近似、难以捕捉复杂关联的问题,提出基于等变矩阵乘积态的消息传递策略,可高效建模多体关联并保留对称性,在基准任务上取得更优精度,为首款参数化几何张量网络。
2024-01-28 cs.AI cs.LG physics.comp-ph
ASGNN: Graph Neural Networks with Adaptive Structure
ShanghaiTech University(上海科技大学);IBM Research(IBM研究院);Fudan University(复旦大学)
图神经网络(GNN)模型在许多机器学习任务中取得了令人瞩目的成就。然而,许多现有的GNN模型被证明容易受到对抗攻击的攻击,这就迫切需要构建强大的GNN架构。在这项工作中,我们提出了一种新的可解释的消息传递方案与自适应结构(ASMP),以抵御对抗攻击的图结构。ASMP中的层是基于最小化目标函数的优化步骤导出的,该目标函数同时学习节点特征和图结构。ASMP是自适应的,在这个意义上,在不同的层中的消息传递过程是能够进行动态调整的图形。这样的属性允许更细粒度的处理的噪声(或扰动)的图形结构,从而提高了鲁棒性。理论上建立了ASMP格式的收敛性。将ASMP与神经网络相结合,可以得到一类新的自适应结构GNN模型(ASGNN)。半监督节点分类任务的大量实验表明,所提出的ASGNN优于国家的最先进的GNN架构的分类性能在各种对抗攻击。
2022-10-03 cs.AI cs.LG
Transformers are Graph Neural Networks
Department of Computer Science and Technology University of Cambridge, UK(计算机科学与技术系剑桥大学)
本文揭示了Transformer架构与图神经网络(GNN)的数学联系,指出Transformer可视为在全连接标记图上运行的消息传递GNN,其凭借在现代硬件上更高效的密集矩阵运算赢得了硬件彩票。
2025-06-27 cs.AI cs.LG
Message Passing Meets Graph Neural Networks: A New Paradigm for Massive MIMO Systems
Hong Kong University of Science and Technology(香港科技大学);City University of Hong Kong(香港城市大学)
本文提出AMP-GNN框架,将近似消息传递算法展开并引入图神经网络模块,用于大规模MIMO收发机设计,在降低复杂度的同时显著提升检测性能并增强对失配的鲁棒性。
2023-10-31 cs.IT cs.LG eess.SP