Fixed Aggregation Features Can Rival GNNs
Celia Rubio-Madrigal；Rebekka Burkholz
提出固定聚合特征（FAFs）方法，将图学习转化为表格问题，通过非训练聚合特征结合表格模型，在多数基准上达到或超越GNN性能。
2026-06-03 cs.LG
Virtual Nodes based Heterogeneous Graph Convolutional Neural Network for Efficient Long-Range Information Aggregation
School of Statistics and Mathematics, Guangdong University of Finance & Economics（广东金融学院统计与数学学院）；School of Digital Economics, Guangdong University of Finance & Economics（广东金融学院数字经济学学院）
针对异质图神经网络长程依赖建模需堆叠多层、计算复杂且易过平滑的问题，提出VN-HGCN，利用连接特定类型全部节点的虚拟节点在4层内实现高效长程聚合，并可作为通用框架迁移到其他HGNN。
2025-09-28 cs.LG
On Local Aggregation in Heterophilic Graphs
Intel Labs（英特尔实验室）
最近的许多工作研究了图神经网络（GNNs）在图同构（一种依赖于标签的连通性度量）的背景下的性能。传统的GNN通过聚合图中节点邻居的信息来生成节点嵌入。节点分类任务的最新结果表明，这种局部聚合方法在低同伦图（异亲图）中表现不佳。已经提出了几种机制来通过增加GNN层的聚合范围（通过多跳聚合或通过来自远程节点的远程聚合）来提高GNN在这种图上的准确性。在本文中，我们证明了适当调整的经典GNNs和多层感知器匹配或超过最近的heterophilic图上的远程聚合方法的准确性。因此，我们的研究结果强调了需要替代数据集来衡量长期GNN聚合机制。我们还表明，同质性是一个穷人的信息在一个节点的局部邻域的措施，并提出了邻域信息内容（NIC）度量，这是一种新的信息理论图度量。我们认为，NIC是更相关的GNN使用的本地聚合方法。我们表明，从经验上讲，它与节点分类任务中的GNN准确性的相关性比同质性更好。
2021-06-06 cs.AI cs.LG
Just Jump: Dynamic Neighborhood Aggregation in Graph Neural Networks
TU Dortmund University（多特蒙德工业大学）
我们提出了一个动态的邻域聚合（DNA）过程引导（多头）注意图上的表示学习。与遵循简单邻域聚合方案的当前图神经网络相比，我们的DNA过程允许潜在不同局部性的相邻嵌入的选择性和节点自适应聚合。为了避免过拟合，我们建议通过使用分组线性投影来控制输入和输出之间的通道连接。在一些转导节点分类实验中，我们证明了我们的方法的有效性。
2019-04-15 cs.LG stat.ML
Efficient Relation-aware Neighborhood Aggregation in Graph Neural Networks via Tensor Decomposition
University of Tehran（德黑兰大学）
提出一种基于张量分解的关系图卷积网络知识图谱编码器，通过低秩张量投影矩阵和CP分解增强关系感知表示并压缩模型，结合对比学习训练策略，在FB15k-237和WN18RR基准上取得最优性能。
2024-09-21 cs.LG
Robust Graph Neural Networks via Unbiased Aggregation
North Carolina State University（北卡罗来纳州立大学）；Vanderbilt University（范德堡大学）
本文提出基于无偏聚合的鲁棒GNN，通过统一鲁棒估计视角分析现有防御的偏差，设计无偏图信号估计器及拟牛顿迭代重加权最小二乘算法，实验证明其强鲁棒性。
2024-11-09 cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
随着图数据大小的增加，推理过程中的巨大延迟和内存消耗对图神经网络（GNN）的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法，但大多数以前关于GNN量化的工作都未能利用GNN的独特特性，从而导致精度严重下降。通过深入分析GNN的拓扑结构，我们观察到图的拓扑结构导致节点之间存在显著差异，图中的大多数节点似乎具有较小的聚合值。受此启发，在本文中，我们提出了GNN的聚合感知混合精度量化（$\rm A^2Q$），其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题，我们提出了一种局部梯度方法，以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比，我们的方法可以实现高达18.6倍（即，1.70bit）压缩比，精度下降可忽略不计。同时，与现有的量化方法相比，该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%，在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
SIGMA: An Efficient Heterophilous Graph Neural Network with Fast Global Aggregation
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文提出SIGMA，一种高效的异质图神经网络聚合方法，结合结构相似性度量SimRank，实现快速全局聚合，具有线性时间复杂度，优于现有方法。
2026-04-12 cs.LG cs.SI
Stability of Aggregation Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
该研究针对聚合图神经网络（Agg-GNNs）的图扰动稳定性展开，推导了其映射算子的稳定性界与稳定条件，揭示了其稳定性仅与CNN第一层滤波器相关的特性，并通过数值实验验证了结论。
2023-08-23 cs.LG
Lost in Aggregation: On a Fundamental Expressivity Limit of Message-Passing Graph Neural Networks
RWTH Aachen University（亚琛工业大学）
本文定义了聚合函数的信息-复杂度属性，证明了具有此类聚合的MP-GNN模型在所有图上仅诱导多项式数量的等价类，而非同构图的数量是超指数级的。
2026-08-12 cs.CC cs.LG
MAPN: Enhancing Heterogeneous Sparse Graph Representation by Mamba-based Asynchronous Aggregation
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Software, Fudan University（复旦大学软件学院）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
针对异构稀疏图中GNN的过压缩、过平滑及训练困难问题，提出基于Mamba的异步传播网络MAPN，通过元路径随机游走生成节点序列并异步聚合语义信息，增强图表示，实验验证其有效性。
2025-02-23 cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh（孟加拉国独立大学）
图神经网络（GNN）通过聚集来自图中的邻域的信息来学习节点的低维表示。然而，传统的GNN由于其本地（$l$ -跳邻域）聚合方案而遭受两个基本缺点。第一，并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点，因此不相关的信息被聚合，这降低了表示的质量。其次，传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制，我们利用互信息（MI）来定义两种类型的邻居，1）\textit{Local Neighborhood}，其中节点在社区内密集连接，每个节点将与其邻居共享更高的MI，以及2）\textit{Non-Local Neighborhood}，其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示，我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外，我们利用自我监督学习来估计MI与少量的标记数据。最后，我们表明，我们的模型显着优于国家的最先进的方法，在广泛的双折射和双折射图。
2021-04-27 cs.LG
Convergence of Message Passing Graph Neural Networks with Generic Aggregation On Large Random Graphs
GIPSA-lab（吉萨实验室）；Université Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分部）；LJAD（艾克斯-马赛大学计算机科学实验室）
本文研究随机图上消息传递图神经网络随节点数增大向连续模型的收敛性，将现有仅归一化均值聚合的收敛结果扩展到含注意力、最大卷积等的通用聚合类，给出高概率非渐近界，并单独处理坐标最大聚合的不同收敛速率。
2025-02-12 cs.LG stat.ML
Non-Local Feature Aggregation on Graphs via Latent Fixed Data Structures
Baidu Research（百度研究院）
与图像/文本数据相比，其顺序可以用于使用池化层以直接的方式执行非局部特征聚合，图缺乏张量表示，并且大多数情况下使用逐元素的最大值/均值函数来聚合局部提取的特征向量。在本文中，我们提出了一种新的方法，在图神经网络（GNNs），利用潜在的固定数据结构（LFDS）的全局特征聚合提取的特征向量。局部提取的特征向量被排序/分布在LFDS上，并且利用潜在神经网络（CNN/GNN）来在LFDS上执行特征聚合。该方法被用来设计几种新的全局特征聚合方法的基础上选择的LFDS。我们介绍了多个LFDS，包括循环，三维张量（图像），序列，数据驱动图和一个算法，排序/分配的LFDS上提取的局部特征向量。虽然所提出的方法的计算复杂度是线性的输入图的顺序，他们取得竞争力或更好的结果。
2021-08-16 cs.LG stat.ML
Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs
Microsoft Research India（微软印度研究院）
图神经网络（GNN）在节点标签方面表现出很强的同质性，即连接的节点具有相同的标签。然而，他们表现不佳的heterophilic图。最近的方法通常修改聚合方案，设计自适应图过滤器等，以解决这个限制。尽管如此，在异嗜图上的性能仍然很差。我们提出了一个简单的替代方法，利用截断奇异值分解（TSVD）的拓扑结构和节点功能。我们的方法实现了高达30%的改进性能比最先进的方法对heterophilic图。这项工作是一个早期的调查方法，不同的聚合为基础的方法。我们的实验结果表明，它可能是重要的，以探索其他替代聚集方法的嗜异性设置。
2021-06-24 cs.LG
Ralts: Robust Aggregation for Enhancing Graph Neural Network Resilience on Bit-flip Errors
George Washington University（乔治·华盛顿大学）
针对硬件瞬态故障引发的位翻转问题，本文提出轻量通用的 Ralts 鲁棒聚合方法，利用图相似性修复拓扑并兼容消息传递 GNN，显著提升准确率且保持高效执行。
2025-07-24 cs.LG
Global Self-Attention as a Replacement for Graph Convolution
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个扩展的Transformer神经网络架构的通用图形学习添加一个专用的成对结构信息，称为边缘通道。由此产生的框架-我们称之为边增强图Transformer（EGT）-可以直接接受，处理和输出任意形式的结构信息，这对于有效地学习图结构数据是非常重要的。我们的模型专门使用全局自注意力作为聚合机制，而不是静态局部卷积聚合。这允许节点之间不受约束的远程动态交互。此外，边缘通道允许结构信息从一层到另一层地演进，并且可以直接从这些通道的输出嵌入执行边缘/链路上的预测任务。我们在基准数据集上进行了广泛的图学习实验，验证了EGT的性能，其中它优于卷积/消息传递图神经网络。EGT为包含380万个分子图的OGB-LSC PCQM 4 Mv 2数据集的量子化学回归任务设定了新的最先进技术。我们的研究结果表明，基于全局自注意力的聚合可以作为通用图学习的图卷积的灵活，自适应和有效的替代。因此，卷积局部邻域聚合不是一个必要的归纳偏差。
2022-06-03 cs.LG
Reliable Graph Neural Networks via Robust Aggregation
Department of Informatics（信息学系）；Technical University of Munich（慕尼黑工业大学）
针对图结构的扰动已被证明在降低图神经网络（GNN）的性能方面非常有效，而对抗性训练等传统防御似乎无法提高鲁棒性。这项工作的动机是观察到的adversarially注入的边缘有效地可以被看作是额外的样本节点的邻域聚合函数，这导致扭曲的聚合层积累。传统的GNN聚合函数，如总和或平均值，可以被单个离群值任意扭曲。我们提出了一个强大的聚集功能的鲁棒统计领域的动机。我们的方法表现出最大可能的击穿点0.5，这意味着聚合的偏差是有界的，只要一个节点的对抗边缘的分数小于50%。我们的新聚合函数Soft Medoid是Medoid的完全可微推广，因此非常适合端到端深度学习。为GNN配备我们的聚合将Cora ML上的结构扰动的鲁棒性提高了3倍（Citeseer上为5.5倍），对于低度节点提高了8倍。
2020-10-29 cs.LG stat.ML
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat（拉巴特国际大学）
本文从统计信号处理角度重新审视GNN中的邻域聚合，指出基准模型在边缘独立标签假设下的概念缺陷，并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
GraphAIR: Graph Representation Learning with Neighborhood Aggregation and Interaction
Center for Research on Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所智能感知与计算研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；The Chinese University of Hong Kong（香港中文大学）
图表示学习对于从节点分类到社区发现的各种图分析任务是至关重要的。最近，图卷积网络（GCN）已成功地应用于图表示学习。这些GCN通过聚集来自邻域的特征来生成节点表示，这遵循“邻域聚集”方案。现有的基于GCN的模型虽然在各种任务上取得了良好的性能，但难以很好地捕捉图形数据的复杂非线性。在本文中，我们首先从理论上证明了在当前模型中，邻域相互作用项的系数相对较小，这解释了为什么GCN几乎没有优于线性模型。然后，为了更好地捕捉图数据的复杂的非线性，我们提出了一种新的GraphAIR框架，除了邻域聚合模型的邻域交互。在节点分类和链接预测等基准任务上进行的实验表明了该方法的有效性。
2020-11-05 cs.LG stat.ML
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
The Hong Kong Polytechnic University（香港理工大学）
LoRAP通过低秩聚合提示提升量化图神经网络训练性能，减少计算开销并提高低比特量化效果。
2026-01-21 cs.LG cs.SI
Policy-GNN: Aggregation Optimization for Graph Neural Networks
Texas A&M University（德州农工大学）
图数据在许多现实世界的应用中是普遍存在的。近年来，图神经网络（graph neural networks，GNNs）越来越受到人们的关注。GNNs的目标是通过利用可堆叠的网络模块聚集来自邻居的信息来建模局部图结构并捕获层次模式。由于观察到不同的节点通常需要不同的聚合迭代才能完全捕获结构信息，因此在本文中，我们建议对不同节点的聚合迭代进行显式采样，以提高GNN的性能。这是一个具有挑战性的任务，制定一个有效的聚合策略，为每个节点，给定的复杂的图形和稀疏的功能。此外，由于我们需要将采样节点馈送到不同数量的网络层中，因此推导出有效的算法并不简单。为了解决上述挑战，我们提出了Policy-GNN，这是一个元策略框架，它将GNN的采样过程和消息传递建模为组合学习过程。具体来说，Policy-GNN使用元策略来自适应地确定每个节点的聚合数量。通过利用来自模型的反馈，使用深度强化学习（RL）来训练元策略。我们进一步引入参数共享和缓冲机制来提高训练效率。在三个真实世界基准数据集上的实验结果表明，Policy-GNN显著优于最先进的替代方案，显示了GNN聚合优化的前景。
2020-06-26 cs.LG stat.ML
Graph Neural Networks with Parallel Neighborhood Aggregations for Graph Classification
Indian Institute of Science（印度科学学院）
我们专注于图形分类使用图神经网络（GNN）模型，预先计算的节点功能，使用一个银行的邻域聚合图运营商并行排列。由于预先计算，这些GNN模型具有减少训练和推理时间的天然优势，但也与在训练期间通过顺序邻域聚合过程更新节点特征的流行GNN变体有根本不同。我们提供的理论条件下，一个通用的GNN模型与并行邻域聚合（PA-GNN，在短时间内）可证明为强大的著名的Weisfeiler-Lehman（WL）图同构测试在区分非同构图。虽然PA-GNN模型与WL测试没有明显的关系，但我们证明了从这两种方法获得的图嵌入是注入相关的。然后，我们提出了一个专门的PA-GNN模型，称为SPIN，它服从开发的条件。我们通过数值实验证明，所开发的模型在许多不同的现实世界数据集上实现了最先进的性能，同时保持了WL测试的区分能力和在训练过程之前预处理图形的计算优势。
2021-11-22 cs.LG eess.SP stat.ML
GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；Inria（法国国家信息与自动化研究所）
本文研究了具有差分隐私（DP）的图神经网络（GNNs）的学习问题。我们提出了一种基于聚合扰动（GAP）的新的差分私有GNN，它向GNN的聚合函数添加随机噪声，以在统计上混淆单个边缘（边缘级隐私）或单个节点及其所有相邻边缘（节点级隐私）的存在。GAP的新架构针对私有学习的具体情况进行了调整，由三个独立的模块组成：（i）编码器模块，我们在不依赖于边信息的情况下学习私有节点嵌入;（ii）聚合模块，我们基于图结构计算有噪声的聚合节点嵌入;以及（iii）分类模块，其中我们在私有聚集上训练神经网络以用于节点分类，而不进一步查询图边。GAP与以前的方法相比的主要优点是，它可以受益于多跳邻域聚合，并保证边缘级和节点级DP不仅用于训练，而且在推理时没有超出训练隐私预算的额外成本。我们使用Rényi DP分析了GAP的正式隐私保证，并在三个真实世界的图数据集上进行了实证实验。我们证明了GAP比最先进的DP-GNN方法和基于朴素MLP的基线提供了更好的准确性-隐私权衡。我们的代码可在https://github.com/sisaman/GAP上公开获取。
2022-11-18 cs.CR cs.LG
LGAN: An Efficient High-Order Graph Neural Network via the Line Graph Aggregation
LGAN通过线图聚合实现高效高阶图神经网络，提升表达能力与可解释性。
2025-12-11 cs.AI cs.LG
Stochastic Aggregation in Graph Neural Networks
Sloan Kettering Institute（斯隆凯特琳研究所）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；City College of New York（纽约城市学院）；City University of New York（纽约城市大学）；Facebook, Inc.（脸书公司）
图神经网络（GNNs）表现出的病理，包括过度平滑和有限的鉴别能力，作为次优表达的聚合机制的结果。我们在这里提出了一个统一的框架随机聚合（STAG）在GNN，噪声（自适应）注入到聚合过程中从附近形成节点嵌入。我们提供的理论论据，STAG模型，很少的开销，补救上述两个问题。除了固定噪声模型，我们还提出了概率版本的STAG模型和一个变分推断框架来学习噪声后验。我们进行说明性的实验，明确针对过平滑和多集聚合的限制。此外，STAG增强了GNN的一般性能，这一性能在常见的引文和分子图基准数据集中表现出竞争力。
2021-02-26 cs.AI cs.LG stat.ML
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute（全球健康药物研发中心）
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体，大多数遵循邻域聚合方案，其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增，但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题，并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为，随着更丰富的信息从浅层传播到深层，GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试，提出了一个新的通用GNN层配方，并在此基础上提出了一个新的GNN变体，称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性，并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，其过滤邻域节点信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Graph Neural Aggregation-diffusion with Metastability
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）
本文提出GRADE模型，利用图聚合-扩散方程中的非线性扩散与聚合平衡产生亚稳态节点表示，以缓解GNN过度平滑问题，并在多个基准上取得竞争性能。
2024-03-29 cs.AI cs.LG
Sequential Signal Mixing Aggregation for Message Passing Graph Neural Networks
Technion（以色列理工学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对消息传递图神经网络中基于求和的聚合器无法混合不同邻居特征的问题，提出序列信号混合聚合SSMA，将邻居特征视为二维离散信号进行顺序卷积，在多个基准上取得显著性能提升。
2024-09-28 cs.LG eess.SP
Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs
Imperial College London（伦敦帝国学院）；Stockholm University（斯德哥尔摩大学）；Sorbonne Université（索邦大学）；Flatiron Institute（弗拉蒂伦研究所）
本文提出 Fishnets 聚合策略，用于集合和图的信息最优嵌入，兼具可扩展性与分布鲁棒性，并能作为 GNN 的即插即用聚合方案，在 ogbn-protein 上以更少参数和更快训练达到最先进性能。
2024-06-28 cs.LG stat.ML
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，过滤节点的邻域信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN模型在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-12-21 cs.AI cs.LG
Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing
Zhejiang University（浙江大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；JD.COM Silicon Valley Research Center（京东硅谷研发中心）；Squirrel AI Learning（松鼠AI智适应教育）
众包因其方便地从非专家工人而不是专家那里收集标签而备受关注。然而，由于来自非专家的高水平噪声，需要通过结合源可信度来学习真实标签的聚合模型。在本文中，我们提出了一种新的框架，基于图神经网络聚集人群标签。我们在工作者和任务之间构建了一个异构图，并推导出一个新的图神经网络来学习节点的表示和真实标签。此外，我们通过在图神经网络中增加一个同质注意层，利用了同类节点（工作者或任务）之间未知的潜在交互。在13个真实世界数据集上的实验结果表明，该模型的性能优于最先进的模型。
2021-05-13 cs.HC cs.LG
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Principal Neighbourhood Aggregation for Graph Nets
University of Cambridge（剑桥大学）；InVivo AI；DeepMind
图神经网络（GNN）已被证明是用于图结构数据的不同预测任务的有效模型。最近的工作，他们的表达能力集中在同构任务和可数特征空间。我们扩展了这个理论框架，以包括连续的功能-这经常发生在现实世界的输入域和GNN的隐藏层-我们证明了在这种情况下，多个聚合函数的要求。因此，我们提出了主邻域聚合（PNA），一种新的架构相结合的多个聚合度缩放器（概括的总和聚合器）。最后，我们通过一个新的基准测试来比较不同模型捕获和利用图结构的能力，该基准测试包含来自经典图论的多个任务，以及来自现实世界领域的现有基准测试，所有这些都证明了我们模型的实力。通过这项工作，我们希望将GNN的一些研究转向新的聚合方法，我们认为这对于寻找强大而强大的模型至关重要。
2020-12-31 cs.CV cs.LG stat.ML
Non-Local Graph Neural Networks
Texas A&M University（德克萨斯A&M大学）；Amazon.com Services LLC（亚马逊服务有限责任公司）
现代图神经网络（GNNs）通过多层局部聚集来学习节点嵌入，在拓扑图的应用中取得了巨大的成功。然而，在离散图上的任务通常需要非局部聚合。此外，我们发现局部聚集甚至对某些判别图是有害的。在这项工作中，我们提出了一个简单而有效的非局部聚合框架，具有有效的注意力引导的GNN排序。在此基础上，我们开发了各种非局部GNN。我们进行了全面的实验来分析discretative图数据集并评估我们的非本地GNN。实验结果表明，我们的非局部GNN在模型性能和效率方面都明显优于先前在七个基准数据集上的最先进方法。
2021-12-11 cs.LG stat.ML
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab（英特尔人工智能实验室）
我们提出了顺序聚合和再物质化（SAR）计划的分布式全批训练的图神经网络（GNNs）在大型图。最近，GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面，SAR是一种分布式技术，可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案，该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为，其中每个工作线程的内存消耗随工作线程的数量线性下降，即使是密集连接的图形。使用SAR，我们报告了迄今为止全批GNN训练的最大应用，并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术，以优化基于注意力的模型的运行时间和内存效率。我们表明，与SAR相结合，我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库：\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
针对多模态属性图学习中强制聚合导致性能反转的聚合困境，提出解耦双路径架构SUPRA，通过保持先验特征的独立性和轻量级共享GNN捕获结构协同，并辅以深度监督缓解梯度饥饿，实现SOTA性能且显著降低计算开销。
2026-05-23 cs.AI cs.LG
Graph Neural Networks with Composite Kernels
University at Buffalo（布法罗大学）
近年来，对图结构数据的学习引起了越来越多的兴趣。像图卷积网络（GCN）这样的框架已经证明了它们捕获结构信息的能力，并在各种任务中获得良好的性能。在这些框架中，节点聚合方案通常用于捕获结构信息：节点的特征向量通过聚合其相邻节点的特征来递归计算。然而，大多数聚合方案平等地对待图中的所有连接，忽略了节点特征的相似性。在本文中，我们重新解释的角度来看，核加权的节点聚合，并提出了一个框架，考虑特征相似性的聚合方案。具体地说，我们证明了归一化邻接矩阵等价于Krein空间中的基于邻域的核矩阵。然后，我们提出了特征聚合的组成，原来的邻居为基础的内核和一个可学习的内核编码特征相似性的特征空间。我们进一步展示了如何将所提出的方法扩展到图注意力网络（GAT）。实验结果表明，我们提出的框架在几个现实世界中的应用程序具有更好的性能。
2020-05-16 cs.LG stat.ML
GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks
ELLIS Unit Linz（ELLIS林茨单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University（约翰内斯·开普勒大学）；NXAI GmbH（NXAI有限公司）
该研究针对图神经网络表达能力依赖聚合与读出函数的问题，基于信号传播理论提出方差保持聚合策略VPA，在保持表达力的同时优化传播动力学，提升了主流GNN架构的预测性能，为无归一化/自归一化GNN发展提供了方向。
2024-03-07 cs.AI cs.LG stat.ML
On the Geometric Coherence of Global Aggregation in Federated Graph Neural Networks
Department of Computer Science and Engineering, PES University（计算机科学与工程系，PES大学）
本文研究了联邦学习中图结构数据的聚合机制与GNN操作性质的不匹配问题，提出GGRS框架以保持消息传递操作的几何一致性。
2026-03-23 cs.DC cs.LG cs.NI
Sound Logical Explanations for Mean Aggregation Graph Neural Networks
Department of Computer Science University of Oxford（计算机科学系牛津大学）
针对均值聚合GNN可解释性研究缺失的问题，本文研究非负权重均值聚合GNN（MAGNN），证明其适配的可靠单调规则类别，提出可解释其预测的一阶逻辑片段，实验验证该方法性能达标且可生成有效解释、暴露模型问题。
2025-10-27 cs.AI cs.LG cs.LO
A Unified View on Graph Neural Networks as Graph Signal Denoising
New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）
图神经网络（GNN）在学习图结构化数据的表示方面已经变得突出。单个GNN层通常由特征转换和特征聚合操作组成。前者通常使用前馈网络来转换特征，而后者则在图上聚合转换后的特征。许多最近的工作提出了GNN模型与不同的设计，在聚合操作。在这项工作中，我们在数学上建立了一组代表性GNN模型（包括GCN，GAT，PPNP和APPNP）中的聚合过程可以被视为（近似）解决具有平滑性假设的图去噪问题。这种跨GNN的统一视图不仅为理解各种聚合操作提供了新的视角，而且使我们能够开发统一的图神经网络框架UGNN。为了证明其有前途的潜力，我们实例化了一种新的GNN模型，ADA-UGNN，来自UGNN，处理图与自适应平滑跨节点。综合实验表明了ADA-UGNN的有效性。
2021-10-18 cs.LG stat.ML
Extending Graph Transformers with Quantum Computed Aggregation
PASQAL SAS（PASQAL公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
最近，随着消息传递神经网络的局限性变得越来越明显，社区中已经在努力设计新的图神经网络（GNN）。这导致了使用全局图特征（如拉普拉斯特征映射）的图Transformers的出现。在我们的论文中，我们介绍了一种GNN架构，其中聚合权重是使用量子系统的长程相关性计算的。这些相关性是通过将图形拓扑转换为量子计算机中一组量子比特的相互作用而产生的。这项工作的灵感来自于量子处理单元的最新发展，该单元能够计算一个新的全局图特征家族，否则经典硬件将无法实现。我们给出了一些关于这种方法的潜在好处的理论见解，并在标准数据集上对我们的算法进行了基准测试。虽然不适用于所有数据集，但我们的模型与标准GNN架构相似，并为量子增强GNN铺平了充满希望的未来。
2022-10-19 cs.LG quant-ph stat.ML
Efficient Identity and Position Graph Embedding via Spectral-Based Random Feature Aggregation
Department of Strategic & Advanced Interdisciplinary Research, Pengcheng Laboratory（战略与先进跨学科研究部，鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对GNN在身份与位置嵌入中效率低且属性捕获不明确的问题，提出无参数谱GNN骨干结合随机噪声输入的随机特征聚合（RFA）方法，仅通过一次前向传播无需训练即可生成高质量嵌入，实现了质量与效率的更优权衡。
2025-05-27 cs.LG cs.SI
RMNA: A Neighbor Aggregation-Based Knowledge Graph Representation Learning Model Using Rule Mining
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
传统的表示学习（TRL）模型虽然在知识图谱的完备性方面表现出了较好的性能，但实体之间的嵌入没有参数共享，实体之间的连接也较弱。因此，提出了基于邻居聚合的表示学习（NARL）模型，该模型将实体邻居中的信息编码到其嵌入中。然而，现有的NARL模型要么只利用单跳邻居，忽略了多跳邻居中的信息，要么通过层次邻居聚合利用多跳邻居，破坏了多跳邻居的完整性。本文提出了一种NARL模型RMNA，通过规则挖掘算法获取和过滤喇叭规则，并利用筛选出的喇叭规则将有价值的多跳邻居转化为一跳邻居，从而通过聚合这些一跳邻居，充分利用有价值的多跳邻居中的信息。在实验中，我们比较RMNA与国家的最先进的TRL模型和NARL模型。结果表明，RMNA具有竞争力的性能。
2021-11-04 cs.AI cs.LG
Hierarchical Aggregations for High-Dimensional Multiplex Graph Embedding
University of Quebec at Montreal（蒙特利尔魁北克大学）
针对高维多路图嵌入中维度多、潜在结构复杂的问题，提出基于层次聚合的HMGE方法，通过非线性组合和互信息最大化实现无监督学习，在链接预测和节点分类任务上表现良好。
2023-12-28 cs.AI cs.LG cs.SI
Heterogeneous Temporal Graph Neural Network
Case Western Reserve University（凯斯西储大学）；University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）；Emory University（埃默里大学）
图神经网络（GNN）的表示学习已经在动态图上得到了广泛的研究，其中大多数集中在空间域中具有同构结构的图上。然而，许多现实世界的图表-即，异构时态图（HTG）-在异构图结构的上下文中动态地演变。与异质性相关的动态性对HTG表示学习提出了新的挑战。为了解决这个问题，在本文中，我们提出了异构的时间图神经网络（HTGNN）集成的空间和时间的依赖性，同时保持异构性，学习节点表示在HTG。具体来说，在HTGNN的每一层，我们提出了一个分层的聚合机制，包括内部关系，相互关系，和跨时间的聚合，联合建模异构的空间依赖性和时间维度。为了保持异构性，首先在HTG的每个切片上执行关系内聚合，以专注地聚合具有相同类型关系的邻居的信息，然后利用关系内聚合来收集不同类型关系上的信息;为了处理时间依赖性，进行跨时间聚合，以在HTG上的不同图切片之间交换信息。提出的HTGNN是一个整体框架定制的异质性与HTG表示学习的时间和空间的演变。在基于不同真实数据集构建的HTG上进行了大量实验，与最先进的基线相比，令人鼓舞的结果证明了HTGNN的出色性能。我们构建的HTG和代码已在https://github.com/YesLab-Code/HTGNN上公开访问。
2021-10-26 cs.LG cs.SI
Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation
Hangzhou City University（浙大城市学院）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）
本文提出TAP-GNN，通过AP模块降低利用完整时序邻域的计算复杂度，并支持图流在线推理，在预测性能和推理延迟上均显著优于现有方法。
2023-04-15 cs.IR cs.LG
Graph-based Incident Aggregation for Large-Scale Online Service Systems
The Chinese University of Hong Kong（香港中文大学）；The University of Newcastle（纽卡斯尔大学）；Huawei（华为）
随着在线服务系统在复杂性和数量方面的不断增长，如何管理服务事件将对公司收入和用户信任产生重大影响。由于级联效应，云故障通常伴随着来自依赖服务和设备的大量事件。为了实现有效的事件管理，应快速汇总相关事件以缩小问题范围。为此，在本文中，我们提出了GRLIA，一个事件聚合框架的基础上图表示学习的级联图的云故障。以无监督和统一的方式为每个独特类型的事件学习表示向量，该表示向量能够同时编码事件之间的拓扑和时间相关性。因此，它可以很容易地用于在线事件聚合。特别是，为了更准确地学习相关性，我们试图通过利用细粒度的系统监控数据来恢复故障级联影响的完整范围，即，关键绩效指标（KPI）。通过华为云的大规模在线服务系统收集的真实事件数据对该框架进行了评估。实验结果表明，GRLIA是有效的，优于现有的方法。此外，我们的框架已成功部署在工业实践中。
2021-08-27 cs.LG cs.SE
Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification
Huazhong University of Science and Technology（华中科技大学）
解耦的图卷积网络（GCN）是GCN的最新发展，它在每个卷积层中实现了邻域聚合和特征变换，在图表示学习方面表现出了良好的性能。现有的解耦GCN首先利用简单的神经网络（例如，MLP）学习节点的隐藏特征，然后将学习到的特征以固定的步长在图上传播，以聚集多跳邻域的信息。尽管有效，但需要整个邻接矩阵作为输入的聚合操作涉及模型训练，导致高训练成本，阻碍了其在更大图上的潜力。另一方面，由于作为输入的节点属性的独立性，用于解耦GCN的神经网络非常简单，并且高级技术不能应用于建模。为此，我们进一步解放的聚合操作从解耦的GCN，并提出了一个新的范式的GCN，称为邻域卷积网络（NCN），利用邻域聚合结果作为输入，然后由一个特殊的卷积神经网络量身定制的聚合输入提取表达节点表示。这样，该模型既继承了解耦GCN在聚集邻域信息方面的优点，又开发了更强大的特征学习模块。一种称为掩码训练的训练策略被纳入，以进一步提高模型的性能。大量的结果表明，我们的模型的节点分类任务的有效性不同的同伦图和异伦图。
2022-11-15 cs.LG cs.SI
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University（安徽大学）
近年来，图神经网络（GNNs）在图数据学习任务中得到越来越多的关注。然而，在许多应用中，图可能以不完整的形式出现，其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的，不能直接处理属性不完全的图数据。为了解决这个问题，我们开发了一种新的基于部分聚集的GNNs，命名为部分图神经网络（PaGNNs），用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上，我们在不完全图上定义了两个新的部分聚集（重建）函数，并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation
Nanjing University（南京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）由于其识别同构子图的能力，已经成为基于嵌入的实体对齐的强大范例。然而，在真实的知识图谱中，对应实体通常具有非同构的邻域结构，这容易导致GNN对它们产生不同的表示。为了解决这个问题，我们提出了一个新的KG对齐网络，即AliNet，旨在以端到端的方式减轻邻域结构的非同构。由于模式异构性，对应实体的直接邻居通常是不相似的，AliNet引入远邻居来扩展它们的邻居结构之间的重叠。它采用了一种注意力机制来突出有用的远距离邻居并减少噪音。然后，它使用门控机制控制直接和远距离邻域信息的聚合。我们进一步提出了一个关系损失，以细化实体表示。我们对五个实体对齐数据集进行了详细的消融研究和分析，证明了AliNet的有效性。
2019-11-20 cs.AI cs.CL cs.LG
