On Local Aggregation in Heterophilic Graphs
Intel Labs（英特尔实验室）
最近的许多工作研究了图神经网络（GNNs）在图同构（一种依赖于标签的连通性度量）的背景下的性能。传统的GNN通过聚合图中节点邻居的信息来生成节点嵌入。节点分类任务的最新结果表明，这种局部聚合方法在低同伦图（异亲图）中表现不佳。已经提出了几种机制来通过增加GNN层的聚合范围（通过多跳聚合或通过来自远程节点的远程聚合）来提高GNN在这种图上的准确性。在本文中，我们证明了适当调整的经典GNNs和多层感知器匹配或超过最近的heterophilic图上的远程聚合方法的准确性。因此，我们的研究结果强调了需要替代数据集来衡量长期GNN聚合机制。我们还表明，同质性是一个穷人的信息在一个节点的局部邻域的措施，并提出了邻域信息内容（NIC）度量，这是一种新的信息理论图度量。我们认为，NIC是更相关的GNN使用的本地聚合方法。我们表明，从经验上讲，它与节点分类任务中的GNN准确性的相关性比同质性更好。
2021-06-06 cs.AI cs.LG
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat（拉巴特国际大学）
本文从统计信号处理角度重新审视GNN中的邻域聚合，指出基准模型在边缘独立标签假设下的概念缺陷，并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Caterpillar GNN: Replacing Message Passing with Efficient Aggregation
University of Antwerp（安特卫普大学）
本文提出Caterpillar GNN，通过基于游走关联矩阵的高效聚合替代消息传递，在保持可比预测性能的同时减少计算图隐藏层节点，并攻克挑战MPGNNs的基准。
2025-09-26 cs.LG
Reliable Graph Neural Networks via Robust Aggregation
Department of Informatics（信息学系）；Technical University of Munich（慕尼黑工业大学）
针对图结构的扰动已被证明在降低图神经网络（GNN）的性能方面非常有效，而对抗性训练等传统防御似乎无法提高鲁棒性。这项工作的动机是观察到的adversarially注入的边缘有效地可以被看作是额外的样本节点的邻域聚合函数，这导致扭曲的聚合层积累。传统的GNN聚合函数，如总和或平均值，可以被单个离群值任意扭曲。我们提出了一个强大的聚集功能的鲁棒统计领域的动机。我们的方法表现出最大可能的击穿点0.5，这意味着聚合的偏差是有界的，只要一个节点的对抗边缘的分数小于50%。我们的新聚合函数Soft Medoid是Medoid的完全可微推广，因此非常适合端到端深度学习。为GNN配备我们的聚合将Cora ML上的结构扰动的鲁棒性提高了3倍（Citeseer上为5.5倍），对于低度节点提高了8倍。
2020-10-29 cs.LG stat.ML
Architectural Implications of GNN Aggregation Programming Abstractions
Beihang University（北京航空航天大学）
本文按数据组织和传播方法对GNN聚合的编程抽象进行分类，在最先进的GNN库上构建这些抽象并进行详细的特征化研究，比较其性能与效率，为未来GNN加速提供见解。
2023-10-21 cs.AI cs.LG cs.PF
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，其过滤邻域节点信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Stochastic Aggregation in Graph Neural Networks
Sloan Kettering Institute（斯隆凯特琳研究所）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；City College of New York（纽约城市学院）；City University of New York（纽约城市大学）；Facebook, Inc.（脸书公司）
图神经网络（GNNs）表现出的病理，包括过度平滑和有限的鉴别能力，作为次优表达的聚合机制的结果。我们在这里提出了一个统一的框架随机聚合（STAG）在GNN，噪声（自适应）注入到聚合过程中从附近形成节点嵌入。我们提供的理论论据，STAG模型，很少的开销，补救上述两个问题。除了固定噪声模型，我们还提出了概率版本的STAG模型和一个变分推断框架来学习噪声后验。我们进行说明性的实验，明确针对过平滑和多集聚合的限制。此外，STAG增强了GNN的一般性能，这一性能在常见的引文和分子图基准数据集中表现出竞争力。
2021-02-26 cs.AI cs.LG stat.ML
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
RAW-GNN: RAndom Walk Aggregation based Graph Neural Network
Tianjin University（天津大学）；Meituan（美团）；The Hong Kong Polytechnic University（香港理工大学）
基于图卷积的方法已经成功地应用于同构图上的表示学习，其中具有相同标签或相似属性的节点倾向于彼此连接。由于这些方法使用的图卷积网络（GCN）的同质性假设，它们不适合于异质图，其中具有不同标签或不相似属性的节点往往是相邻的。有几种方法试图解决这种异质性问题，但它们并没有改变GCN的基本聚合机制，因为它们依赖于求和运算符来聚合来自相邻节点的信息，这隐含地受到同质性假设的影响。在这里，我们引入了一种新的聚合机制，并开发了一个随机游走聚合为基础的图神经网络（称为RAW-GNN）的方法。该方法将随机游走策略与图神经网络相结合。该方法利用广度优先随机游走搜索来捕获同质信息，利用深度优先搜索来收集异质信息。该算法用基于路径的邻域代替传统的邻域，并引入了一种新的基于递归神经网络的路径聚集器。这些设计使得RAW-GNN适用于同质和异质图。大量的实验结果表明，新方法在各种同质和异质图上都达到了最先进的性能。
2022-06-28 cs.LG
Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs
Imperial College London（伦敦帝国学院）；Stockholm University（斯德哥尔摩大学）；Sorbonne Université（索邦大学）；Flatiron Institute（弗拉蒂伦研究所）
本文提出 Fishnets 聚合策略，用于集合和图的信息最优嵌入，兼具可扩展性与分布鲁棒性，并能作为 GNN 的即插即用聚合方案，在 ogbn-protein 上以更少参数和更快训练达到最先进性能。
2024-06-28 cs.LG stat.ML
Extending Graph Transformers with Quantum Computed Aggregation
PASQAL SAS（PASQAL公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
最近，随着消息传递神经网络的局限性变得越来越明显，社区中已经在努力设计新的图神经网络（GNN）。这导致了使用全局图特征（如拉普拉斯特征映射）的图Transformers的出现。在我们的论文中，我们介绍了一种GNN架构，其中聚合权重是使用量子系统的长程相关性计算的。这些相关性是通过将图形拓扑转换为量子计算机中一组量子比特的相互作用而产生的。这项工作的灵感来自于量子处理单元的最新发展，该单元能够计算一个新的全局图特征家族，否则经典硬件将无法实现。我们给出了一些关于这种方法的潜在好处的理论见解，并在标准数据集上对我们的算法进行了基准测试。虽然不适用于所有数据集，但我们的模型与标准GNN架构相似，并为量子增强GNN铺平了充满希望的未来。
2022-10-19 cs.LG quant-ph stat.ML
LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
The Hong Kong Polytechnic University（香港理工大学）
LoRAP通过低秩聚合提示提升量化图神经网络训练性能，减少计算开销并提高低比特量化效果。
2026-01-21 cs.LG cs.SI
Redundancy-Free Computation Graphs for Graph Neural Networks
Stanford University（斯坦福大学）；Microsoft（微软）
图神经网络（GNN）基于图中节点邻居之间的信息的重复聚合。然而，由于公共邻居在不同节点之间共享，这导致重复和低效的计算。我们提出了分层聚合计算图（HAGs），这是一种新的GNN图表示，通过分层管理中间聚合结果，消除GNN训练和推理中的重复计算和不必要的数据传输，显式地避免了冗余。我们引入了一个精确的成本函数来定量评估不同的HAGs的运行时性能，并使用一种新的HAG搜索算法来找到优化的HAGs。实验表明，HAG表示显著优于标准GNN图表示，将端到端训练吞吐量提高了2.8倍，并将GNN训练中的聚合和数据传输减少了6.3倍和5.6倍，同时保持了原始模型的准确性。
2019-06-09 cs.LG cs.SI stat.ML
Principal Neighbourhood Aggregation for Graph Nets
University of Cambridge（剑桥大学）；InVivo AI；DeepMind
图神经网络（GNN）已被证明是用于图结构数据的不同预测任务的有效模型。最近的工作，他们的表达能力集中在同构任务和可数特征空间。我们扩展了这个理论框架，以包括连续的功能-这经常发生在现实世界的输入域和GNN的隐藏层-我们证明了在这种情况下，多个聚合函数的要求。因此，我们提出了主邻域聚合（PNA），一种新的架构相结合的多个聚合度缩放器（概括的总和聚合器）。最后，我们通过一个新的基准测试来比较不同模型捕获和利用图结构的能力，该基准测试包含来自经典图论的多个任务，以及来自现实世界领域的现有基准测试，所有这些都证明了我们模型的实力。通过这项工作，我们希望将GNN的一些研究转向新的聚合方法，我们认为这对于寻找强大而强大的模型至关重要。
2020-12-31 cs.CV cs.LG stat.ML
Ralts: Robust Aggregation for Enhancing Graph Neural Network Resilience on Bit-flip Errors
George Washington University（乔治·华盛顿大学）
针对硬件瞬态故障引发的位翻转问题，本文提出轻量通用的 Ralts 鲁棒聚合方法，利用图相似性修复拓扑并兼容消息传递 GNN，显著提升准确率且保持高效执行。
2025-07-24 cs.LG
Lost in Aggregation: On a Fundamental Expressivity Limit of Message-Passing Graph Neural Networks
RWTH Aachen University（亚琛工业大学）
本文定义了聚合函数的信息-复杂度属性，证明了具有此类聚合的MP-GNN模型在所有图上仅诱导多项式数量的等价类，而非同构图的数量是超指数级的。
2026-08-12 cs.CC cs.LG
Non-Local Feature Aggregation on Graphs via Latent Fixed Data Structures
Baidu Research（百度研究院）
与图像/文本数据相比，其顺序可以用于使用池化层以直接的方式执行非局部特征聚合，图缺乏张量表示，并且大多数情况下使用逐元素的最大值/均值函数来聚合局部提取的特征向量。在本文中，我们提出了一种新的方法，在图神经网络（GNNs），利用潜在的固定数据结构（LFDS）的全局特征聚合提取的特征向量。局部提取的特征向量被排序/分布在LFDS上，并且利用潜在神经网络（CNN/GNN）来在LFDS上执行特征聚合。该方法被用来设计几种新的全局特征聚合方法的基础上选择的LFDS。我们介绍了多个LFDS，包括循环，三维张量（图像），序列，数据驱动图和一个算法，排序/分配的LFDS上提取的局部特征向量。虽然所提出的方法的计算复杂度是线性的输入图的顺序，他们取得竞争力或更好的结果。
2021-08-16 cs.LG stat.ML
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute（全球健康药物研发中心）
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体，大多数遵循邻域聚合方案，其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增，但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题，并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为，随着更丰富的信息从浅层传播到深层，GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试，提出了一个新的通用GNN层配方，并在此基础上提出了一个新的GNN变体，称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性，并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University（安徽大学）
近年来，图神经网络（GNNs）在图数据学习任务中得到越来越多的关注。然而，在许多应用中，图可能以不完整的形式出现，其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的，不能直接处理属性不完全的图数据。为了解决这个问题，我们开发了一种新的基于部分聚集的GNNs，命名为部分图神经网络（PaGNNs），用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上，我们在不完全图上定义了两个新的部分聚集（重建）函数，并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab（英特尔人工智能实验室）
我们提出了顺序聚合和再物质化（SAR）计划的分布式全批训练的图神经网络（GNNs）在大型图。最近，GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面，SAR是一种分布式技术，可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案，该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为，其中每个工作线程的内存消耗随工作线程的数量线性下降，即使是密集连接的图形。使用SAR，我们报告了迄今为止全批GNN训练的最大应用，并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术，以优化基于注意力的模型的运行时间和内存效率。我们表明，与SAR相结合，我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库：\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Stability of Aggregation Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
该研究针对聚合图神经网络（Agg-GNNs）的图扰动稳定性展开，推导了其映射算子的稳定性界与稳定条件，揭示了其稳定性仅与CNN第一层滤波器相关的特性，并通过数值实验验证了结论。
2023-08-23 cs.LG
HAGNN: Hybrid Aggregation for Heterogeneous Graph Neural Networks
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Research Center for Graph Computing, Zhejiang Lab（浙江实验室图计算研究中心）
本文提出HAGNN框架，通过同时利用元路径邻居与直接邻居进行两阶段混合聚合，充分利用异构图语义信息，在节点分类、聚类和链接预测任务上优于现有模型。
2024-12-15 cs.LG
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh（孟加拉国独立大学）
图神经网络（GNN）通过聚集来自图中的邻域的信息来学习节点的低维表示。然而，传统的GNN由于其本地（$l$ -跳邻域）聚合方案而遭受两个基本缺点。第一，并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点，因此不相关的信息被聚合，这降低了表示的质量。其次，传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制，我们利用互信息（MI）来定义两种类型的邻居，1）\textit{Local Neighborhood}，其中节点在社区内密集连接，每个节点将与其邻居共享更高的MI，以及2）\textit{Non-Local Neighborhood}，其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示，我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外，我们利用自我监督学习来估计MI与少量的标记数据。最后，我们表明，我们的模型显着优于国家的最先进的方法，在广泛的双折射和双折射图。
2021-04-27 cs.LG
AutoSAGE: Input-Aware CUDA Scheduling for Sparse GNN Aggregation (SpMM/SDDMM) and CSR Attention
Faculty of Technical Sciences, University of Novi Sad（技术科学学院，诺维萨德大学）
AutoSAGE通过输入感知的CUDA调度优化稀疏图神经网络聚合，实现性能提升并在不同数据集和测试中取得显著加速效果。
2025-11-17 cs.LG cs.PF
RSEA-MVGNN: Multi-View Graph Neural Network with Reliable Structural Enhancement and Aggregation
Financial Intelligence and Financial Engineering Key Laboratory of Sichuan Province, School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics（四川省金融智能与金融工程重点实验室，西南财经大学计算机与人工智能学院）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究院）
本文提出RSEA-MVGNN，通过主观逻辑估计视图不确定性，实现可靠结构增强和视图质量评估，提升多视图图神经网络的特征聚合效果。
2024-08-14 cs.LG
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York（纽约市立大学研究生中心）；Hunter College, The City University of New York（纽约市立大学亨特学院）
图神经网络（GNN）在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案，其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力，注意力机制已经变得流行，以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果，但人们对其辨别能力缺乏清晰的认识。在这项工作中，我们提出了一个理论分析的GNN，采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能，我们提出了基数保持注意力（CPA）模型，可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析，并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
Feature Correlation Aggregation: on the Path to Better Graph Neural Networks
Australian National University（澳大利亚国立大学）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Monash University（莫纳什大学）
在引入图神经网络（GNNs）之前，建模和分析不规则数据，特别是图形，被认为是深度学习的致命弱点。GNN的核心概念是通过递归聚合中心节点及其邻居的表示来找到表示。GNN的核心概念是通过递归地聚合中心节点的表示及其邻居的表示来找到表示，并且它的成功已经被许多GNN的设计所证明。然而，大多数算法只注重利用节点与其邻居之间的一阶信息。在本文中，我们通过对GNN的核心操作进行令人沮丧的简单和无辜的修改来引入中心节点置换变量函数，即特征相关性聚集（FOG）模块，该模块从管道中节点与其邻居之间的特征相关性中学习二阶信息。通过将FOG添加到现有的GNN变体中，我们根据经验验证了这种二阶信息在广泛的基准测试中补充了原始GNN生成的特征。一个有形的提升模型的性能被观察到，该模型超过了以前的国家的最先进的结果，同时采用更少的参数显着的利润率。(e.g.,使用图卷积网络的真实世界分子数据集的33.116%的改进）。
2021-09-20 cs.CV cs.LG
The Oversmoothing Fallacy: A Misguided Narrative in GNN Research
Graduate School of Artificial Intelligence（人工智能研究生院）；Department of Computer Science & Engineering（计算机科学与工程系）；POSTECH
本文指出GNN研究中过度平滑问题被夸大，其本质常与梯度消失混淆，并证明跳跃连接和归一化可支持深度GNN堆叠而不损失性能。
2025-06-05 cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
随着图数据大小的增加，推理过程中的巨大延迟和内存消耗对图神经网络（GNN）的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法，但大多数以前关于GNN量化的工作都未能利用GNN的独特特性，从而导致精度严重下降。通过深入分析GNN的拓扑结构，我们观察到图的拓扑结构导致节点之间存在显著差异，图中的大多数节点似乎具有较小的聚合值。受此启发，在本文中，我们提出了GNN的聚合感知混合精度量化（$\rm A^2Q$），其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题，我们提出了一种局部梯度方法，以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比，我们的方法可以实现高达18.6倍（即，1.70bit）压缩比，精度下降可忽略不计。同时，与现有的量化方法相比，该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%，在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
GraLSP: Graph Neural Networks with Local Structural Patterns
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
直到最近，图神经网络（GNNs）才被用来进行图表示学习，其中基于节点邻域内特征聚合的GNNs取得了巨大的成功。然而，尽管取得了这些成就，GNN说明了识别一些常见的结构模式，不幸的是，在各种网络现象中发挥重要作用的缺陷。在本文中，我们提出了GraLSP，一个GNN框架，显式地将局部结构模式通过随机匿名行走到邻域聚合。具体来说，我们通过随机匿名行走，强大而灵活的工具，代表结构模式捕捉局部图结构。然后，步行被送入特征聚合，在那里我们设计了各种机制来解决结构特征的影响，包括自适应接受半径，注意力和放大。此外，我们设计的目标，捕捉结构之间的相似性，并与节点邻近度的目标进行优化。通过充分利用结构模式，我们的模型能够在多个数据集的各种预测任务中优于竞争对手。
2019-12-07 cs.LG stat.ML
LGAN: An Efficient High-Order Graph Neural Network via the Line Graph Aggregation
LGAN通过线图聚合实现高效高阶图神经网络，提升表达能力与可解释性。
2025-12-11 cs.AI cs.LG
Learning Resource Allocation Policy: Vertex-GNN or Edge-GNN?
本文分析Vertex-GNN与Edge-GNN在学习无线资源分配策略（链路调度、功率控制、预编码）中的表达能力，发现Edge-GNN在区分信道矩阵上更优，且能以更低训练和推理时间达到相同性能。
2023-12-24 cs.LG eess.SP
Sound Logical Explanations for Mean Aggregation Graph Neural Networks
Department of Computer Science University of Oxford（计算机科学系牛津大学）
针对均值聚合GNN可解释性研究缺失的问题，本文研究非负权重均值聚合GNN（MAGNN），证明其适配的可靠单调规则类别，提出可解释其预测的一阶逻辑片段，实验验证该方法性能达标且可生成有效解释、暴露模型问题。
2025-10-27 cs.AI cs.LG cs.LO
Mutual Information Maximization in Graph Neural Networks
最近已经开发了用于图上的表示学习的各种图神经网络（GNN）框架。这些框架依赖于聚合和迭代方案来学习节点的表示。然而，在学习过程中，节点之间的信息不可避免地在该方案中丢失。为了减少损失，我们扩展了GNNs框架，通过探索互信息方法中的聚合和迭代方案。提出了一种新的方法，扩大正常的邻域在集结的GNNs，其目的是最大化互信息。基于几个基准数据集上进行的一系列实验，我们表明，所提出的方法提高了四种类型的图任务，包括监督和半监督图分类，图链接预测和图边缘生成和分类的最先进的性能。
2020-03-24 cs.CV cs.LG stat.ML
Convolutional Neural Network Architectures for Signals Supported on Graphs
Univ. of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos Univ.（胡安·卡洛斯国王大学）；Delft Univ. of Technology（代尔夫特理工大学）
介绍了两种将卷积神经网络（CNN）推广用于处理图上支持的信号的架构。我们从选择图神经网络（GNN）开始，它用线性移位不变图滤波器取代线性时不变滤波器来生成卷积特征，并将池化重新解释为可能的非线性子采样阶段，其中附近的节点将其信息集中在一组预选的样本节点中。该架构的一个关键组件是记住采样节点的位置，以允许在更深层计算卷积特征。第二种架构被称为聚合GNN，通过图形扩散信号，并存储指定节点观察到的扩散分量的序列。该过程有效地将所有分量聚合成具有时间结构的信息流，可以将常规CNN的卷积和池化阶段应用于该信息流。一个多节点版本的聚合GNNs进一步引入大规模图中的操作。选择和聚合GNN的一个重要属性是，当特定于被重新解释为循环图中的图信号的时间信号时，它们简化为传统的CNN。比较数值分析在合成和真实世界的网络源定位应用。还评估了作者归属问题和文本类别分类的性能。多节点聚合GNN始终是性能最佳的GNN架构。
2018-12-07 cs.AI cs.LG eess.SP
Towards Understanding the Expressive Power of GNNs with Global Readout
Leipzig University（莱比锡大学）；ScaDS.AI Center Leipzig/Dresden（ScaDS.AI中心（莱比锡/德累斯顿））
本文研究了消息传递聚合-结合-读取图神经网络（ACR-GNNs）的表达能力，证明了通过求和聚合和读取可捕捉无法在C2逻辑中表达的FO属性，并提出了两种恢复可表征性的方法。
2026-04-23 cs.AI cs.LG cs.LO
Some Might Say All You Need Is Sum
RWTH Aachen University（亚琛工业大学）
本文探索了无大小限制的GNN表达能力，证明Sum聚合无法近似Mean或Max可精确计算的基本函数，且Sum与Mean/Max的组合比单独使用Sum更具表达能力，揭示了GNN聚合函数的理论限制。
2023-05-19 cs.LG
All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN
University of Science and Technology of China（中国科学技术大学）；Tongji University（同济大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Oxford（牛津大学）；Griffith University（格里菲斯大学）
针对GNN加深易出现过平滑、梯度消失及异配图适配性差的问题，提出节点特定层聚合过滤架构NoSAF，通过动态码本逐层过滤节点信息，还推出带层间信息补偿的NoSAF-D，兼顾深度与性能。
2024-05-13 cs.LG
GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；Inria（法国国家信息与自动化研究所）
本文研究了具有差分隐私（DP）的图神经网络（GNNs）的学习问题。我们提出了一种基于聚合扰动（GAP）的新的差分私有GNN，它向GNN的聚合函数添加随机噪声，以在统计上混淆单个边缘（边缘级隐私）或单个节点及其所有相邻边缘（节点级隐私）的存在。GAP的新架构针对私有学习的具体情况进行了调整，由三个独立的模块组成：（i）编码器模块，我们在不依赖于边信息的情况下学习私有节点嵌入;（ii）聚合模块，我们基于图结构计算有噪声的聚合节点嵌入;以及（iii）分类模块，其中我们在私有聚集上训练神经网络以用于节点分类，而不进一步查询图边。GAP与以前的方法相比的主要优点是，它可以受益于多跳邻域聚合，并保证边缘级和节点级DP不仅用于训练，而且在推理时没有超出训练隐私预算的额外成本。我们使用Rényi DP分析了GAP的正式隐私保证，并在三个真实世界的图数据集上进行了实证实验。我们证明了GAP比最先进的DP-GNN方法和基于朴素MLP的基线提供了更好的准确性-隐私权衡。我们的代码可在https://github.com/sisaman/GAP上公开获取。
2022-11-18 cs.CR cs.LG
A Novel Higher-order Weisfeiler-Lehman Graph Convolution
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
当前的GNN架构使用顶点邻域聚合方案，这将它们的鉴别能力限制为一维Weisfeiler-Lehman（WL）图同构测试的鉴别能力。在这里，我们提出了一种新的图卷积算子，是基于2维WL测试。我们正式表明，由此产生的2-WL-GNN架构比现有的GNN方法更具歧视性。这一理论结果得到了使用合成和真实数据的实验研究的补充。在多个常见的图分类基准测试中，我们证明了所提出的模型与最先进的图内核和GNN相比具有竞争力。
2020-09-21 cs.LG stat.ML
Aggregation Buffer: Revisiting DropEdge with a New Parameter Block
School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国釜山国立大学电气工程学院）；Computer Science Department, University of Münster, Münster, Germany（德国穆斯堡大学计算机科学系）
针对 DropEdge 在监督学习中性能受限的问题，提出一种名为 Aggregation Buffer 的参数块，通过改进 GNN 的鲁棒性来提升性能，并统一解决度偏差和结构差异等问题。
2026-05-29 cs.LG
Designing the Topology of Graph Neural Networks: A Novel Feature Fusion Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Paradigm. Inc.（第四范式有限公司）；Lenovo（联想）
近年来，图神经网络（GNN）在各种实际应用中表现出了卓越的性能。为了提高模型的容量，除了设计聚集操作外，GNN的拓扑结构设计也很重要。一般来说，有两种主流的GNN拓扑设计方式。第一种是堆叠聚合操作以获得更高级别的功能，但随着网络的深入，很容易导致性能下降。第二，在每一层中使用多个聚合操作，这提供了足够的和独立的特征提取阶段的本地邻居，但昂贵的获得更高级别的信息。为了享受这两种方式的好处，同时减轻相应的不足，我们学习设计的GNN的拓扑结构在一个新的特征融合的角度，这被称为F $^2$ GNN。具体而言，我们提供了一个特征融合的角度来设计GNN拓扑结构，并提出了一个新的框架，统一现有的拓扑结构设计与特征选择和融合策略。在此基础上提出了一种神经结构搜索方法，该方法包含一组搜索空间中的选择和融合操作以及一种改进的可微搜索算法。在八个真实数据集上的性能提升证明了F $^2$ GNN的有效性。实验结果表明，F $^2$ GNN通过自适应地利用不同层次的特征，在改善现有GNN拓扑设计方法不足的同时，能够有效地提高模型容量，特别是缓解过度平滑问题.
2022-02-01 cs.LG
Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging
McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
时空克里格法是时空数据分析中的一个重要应用，旨在根据观测信号恢复/内插未采样/未观测位置的信号。时空克里金法的主要挑战是如何有效地建模和利用数据中的时空依赖性。最近，图神经网络（GNNs）在时空克里金任务中表现出了巨大的潜力。然而，标准GNN通常需要精心设计的邻接矩阵和特定的聚合函数，这对于一般应用/问题来说是不灵活的。为了解决这个问题，我们提出了SATCN -空间聚合和时间卷积网络-一个通用的和灵活的框架来执行时空克里格为各种时空数据集，而不需要模型规范。具体来说，我们提出了一种新的空间聚合网络（SAN）的灵感来自主邻域聚合，它使用多个聚合功能，以帮助一个节点收集不同的信息，从它的邻居。为了排除来自未采样节点的信息，一个屏蔽策略，防止未采样的传感器发送消息到他们的邻居被引入到SAN。我们通过时间卷积网络捕获时间依赖性，这使得我们的模型能够处理不同大小的数据。为了使SATCN可推广到看不见的节点，甚至看不见的图结构，我们采用归纳策略训练SATCN。我们对三个真实世界的时空数据集进行了广泛的实验，包括交通速度和气候记录。我们的研究结果表明，SATCN优于传统的和基于GNN的克里金模型。
2021-09-24 cs.LG
SIGMA: An Efficient Heterophilous Graph Neural Network with Fast Global Aggregation
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文提出SIGMA，一种高效的异质图神经网络聚合方法，结合结构相似性度量SimRank，实现快速全局聚合，具有线性时间复杂度，优于现有方法。
2026-04-12 cs.LG cs.SI
Graph Representation Learning via Aggregation Enhancement
Technion（以色列理工学院）；Habana Labs（Habana实验室）
图神经网络（GNN）已经成为处理图结构数据的强大工具，但在有效地聚合和传播层之间的信息方面仍然面临挑战，这限制了它们的性能。我们用核回归（KR）方法来解决这个问题，使用KR损失作为自监督设置中的主要损失或作为监督设置中的正则化项。与最先进的技术相比，我们在多个转导和归纳节点分类数据集的两种情况下都显示出了实质性的性能改进，特别是对于深度网络。与互信息（MI）相反，KR损失是凸的，并且在高维情况下易于估计，即使它间接地最大化其输入之间的MI。我们的工作突出了KR推进图表示学习领域和增强GNN性能的潜力。复制我们实验的代码可以在https://github.com/Anonymous1252022/KR_for_GNNs上找到。
2023-02-08 cs.LG
Robust Graph Neural Networks via Unbiased Aggregation
North Carolina State University（北卡罗来纳州立大学）；Vanderbilt University（范德堡大学）
本文提出基于无偏聚合的鲁棒GNN，通过统一鲁棒估计视角分析现有防御的偏差，设计无偏图信号估计器及拟牛顿迭代重加权最小二乘算法，实验证明其强鲁棒性。
2024-11-09 cs.LG
Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses
UIUC USA（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA USA（英伟达公司）；NVIDIA/UIUC USA（英伟达公司/伊利诺伊大学厄巴纳-香槟分校）
针对大规模图神经网络训练中CPU数据加载瓶颈和内存不足问题，提出GIDS数据加载器，利用GPU直接访问存储、并行容忍延迟并消除缺页异常，使整体训练流程加速高达392倍。
2024-03-06 cs.AI cs.AR cs.DC
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，过滤节点的邻域信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN模型在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-12-21 cs.AI cs.LG
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University（清华大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）；HEC Montreal（蒙特利尔高等商学院）；Université de Montréal（蒙特利尔大学）
图神经网络（GNN）由于其在各种领域中的简单性和有效性而越来越受欢迎。然而，通常需要大量的标记数据来训练这些网络，这在某些领域中可能是非常昂贵的。在本文中，我们研究了GNN的主动学习，即，如何有效地标记图上的节点，以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练，我们学习了一种可转移的主动学习策略，该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
Hop-Hop Relation-aware Graph Neural Networks
University of Sheffield（谢菲尔德大学）
图神经网络广泛应用于图表示学习。然而，大多数GNN方法都是针对同构或异构图设计的。在本文中，我们提出了一个新的模型，Hop-Hop感知图神经网络（HHR-GNN），统一这两种类型的图的表示学习。HHR-GNN通过利用知识图谱嵌入来学习中心节点在不同跳处的表示之间的关系分数，从而为每个节点学习个性化的感受域。在邻域聚合中，我们的模型同时允许跳感知投影和聚合。该机制使中心节点能够学习可应用于同质和异构图的逐跳邻域混合。五个基准测试的实验结果显示，与最先进的GNN相比，我们的模型具有竞争力的性能，例如，在大型异构图上，每个训练时期的时间成本提高了13 K。
2020-12-21 cs.LG
Simple GNNs with Low Rank Non-parametric Aggregators
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对半监督节点分类（SSNC）中现有GNN架构过度设计的问题，提出用非参数学习器替代特征聚合以简化GNN设计并避免超参数选择复杂性，实验验证其在多种图类型上的适用性并关注评估惯例变化对性能的影响。
2024-11-26 cs.LG stat.ML
Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations
Princeton University（普林斯顿大学）
本文为ReLU激活的图神经网络提出初始化与架构选择三原则，包括He初始化推广、残差聚合算子缓解过平滑及残差连接避免关联崩溃，从而加速深层GNN训练。
2023-06-20 cs.AI cs.LG hep-ex
Sparse Graph Attention Networks
Georgia State University（佐治亚州立大学）
图神经网络（GNN）已被证明是图结构数据的有效表示学习框架，并且在许多实际预测任务（例如节点分类、链接预测和图分类）上实现了最先进的性能。在GNN的变体中，图注意力网络（GAT）学习在节点的所有邻居上分配密集的注意力系数以进行特征聚合，并提高许多图学习任务的性能。然而，现实世界的图通常非常大，而且有噪声，如果没有适当地正则化，GAT很容易过拟合。更糟糕的是，GAT的局部聚合机制可能会在区分图上失败，其中局部邻域内的节点提供更多的噪声而不是用于特征聚合的有用信息。在本文中，我们提出了稀疏图注意力网络（SGAT），它在$L_0$范数正则化下学习稀疏注意力系数，然后将学习到的稀疏注意力用于所有GNN层，从而产生边缘稀疏图。通过这样做，我们可以识别噪声/任务无关的边缘，从而对大多数信息丰富的邻居进行特征聚合。在合成和真实世界的图学习基准上进行的大量实验证明了SGAT的优越性能。特别地，SGAT可以在保持相似分类精度的情况下，从大的平行图中去除约50%~ 80%的边.在离散图上，SGAT修剪了大多数噪声边缘，并在分类精度上显著优于GAT。此外，去除的边缘可以直观和定量地解释。据我们所知，这是第一个图学习算法，显示显着的冗余图和边缘稀疏图可以实现类似的或有时更高的预测性能比原来的图。
2021-04-11 cs.LG stat.ML
