Graphs Generalization under Distribution Shifts
Tianjin University（天津大学）；Baylor University（贝勒大学）
针对图结构数据分布偏移同时发生在节点属性和拓扑上的挑战，提出GLIDER框架，通过建模潜在变化多样化跨域变体并在表示空间最小化差异，有效提升了节点级OOD泛化性能。
2024-03-25 cs.AI cs.LG
Sparsity in Continuous-Depth Neural Networks
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；J.P. Morgan Chase & Co.（摩根大通公司）；Helmholtz AI（亥姆霍兹人工智能）
神经常微分方程（NODE）在学习动力系统方面已经被证明是成功的，可以准确地恢复观察到的轨迹。虽然已经提出了不同类型的稀疏性来提高鲁棒性，但对于观测数据之外的动力系统的NODE的泛化特性还没有充分研究。我们系统地研究了权重和特征稀疏性对预测以及识别潜在动力学规律的影响。除了评估现有的方法，我们还提出了一种正则化技术来稀疏“输入输出连接”并在训练过程中提取相关特征。此外，我们策划了由人体运动捕捉和人类造血单细胞RNA-seq数据组成的真实世界数据集，以分别在预测和动态识别中真实地分析不同水平的分布外（OOD）泛化。我们对这些具有挑战性的基准进行了广泛的实证评估，结果表明，在存在噪声或不规则采样的情况下，权重稀疏可以提高泛化能力。然而，它并不能防止学习假特征依赖性推断的动态，使他们不切实际的干预下的预测，或推断真正的基础动态。相反，与未正则化的NODE相比，特征稀疏性确实有助于恢复稀疏的地面实况动态。
2022-10-26 cs.LG
Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization
University of Waterloo（滑铁卢大学）
最近，人们对存在图形信息的半监督分类越来越感兴趣。已经出现了一类新的学习模型，在其最基本的层面上，它依赖于首先应用图卷积后对数据进行分类。为了理解这种方法的优点，我们研究了高斯混合模型的分类，其中数据对应于随机块模型的节点属性。我们表明，图卷积扩展的制度，其中的数据是线性可分离的一个因素，大致$1/\sqrt{D}$，其中$D$是一个节点的预期程度，相比于混合模型数据本身。此外，我们发现，通过最小化图卷积后的交叉熵损失得到的线性分类器推广到分布外的数据，其中看不见的数据可以有不同的类内和类间边缘概率从训练数据。
2022-02-04 cs.LG stat.ML
Dissecting the Failure of Invariant Learning on Graphs
Peking University（北京大学）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文通过结构因果模型剖析IRM和VREx在图节点级OOD泛化中因缺乏类别条件不变性约束而失败的原因，并提出CIA及无需环境标签的CIA-LRA方法，通过类内跨环境对齐消除虚假特征，显著提升节点级OOD泛化性能。
2025-01-03 cs.AI cs.LG
Causality and Independence Enhancement for Biased Node Classification
Data Intelligence System Research Center, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所数据智能系统研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；National Engineering Research Center for Public Safety Risk Perception and Control by Big Data (RPP), China Academic of Electronics and Information Technology（中国电子科技集团公司大数据公共安全风险感知与控制国家工程研究中心）
针对图节点分类中现有去偏方法仅适配单一偏差、难应对普遍存在的混合偏差的问题，提出可适配多种GNN的CIE框架，从统一视角通过因果特征估计、后门调整与独立性约束去偏，在5个数据集上性能优于现有最优方法。
2023-11-05 cs.LG
Simple yet Effective Node Property Prediction on Edge Streams under Distribution Shifts
Kim Jaechul Graduate School of AI, KAIST（金哉澈人工智能研究生院，韩国科学技术院）
针对时序图神经网络在缺乏节点特征和分布偏移下效果不佳的问题，提出轻量级SPLASH方法，通过特征增强与自动选择及基于MLP的架构提升鲁棒性与效率，并在七个数据集上验证其优异性能。
2025-04-01 cs.LG
Tackling covariate shift with node-based Bayesian neural networks
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
贝叶斯神经网络（BNN）通过提供认知不确定性的原则性概率表示，承诺在协变量移位下改进泛化。然而，基于权重的BNN通常会与大规模架构和数据集的高计算复杂度作斗争。基于节点的BNN最近被引入作为可扩展的替代方案，其通过将每个隐藏节点与潜在的随机变量相乘来诱导认知不确定性，同时学习权重的点估计。在本文中，我们将这些潜在的噪声变量解释为训练过程中简单和领域不可知的数据扰动的隐式表示，从而产生在由于输入损坏导致的协变量偏移下表现良好的BNN。我们观察到隐式腐败的多样性取决于潜变量的熵，并提出了一种直接的方法来增加这些变量在训练过程中的熵。我们评估的方法在分布图像分类基准，并显示改进的不确定性估计的基于节点的BNN下的协变量转移由于输入扰动。作为副作用，该方法还提供了对噪声训练标签的鲁棒性。
2022-06-09 cs.LG stat.ML
Dynamic Stacked Generalization for Node Classification on Networks
MaxPoint Interactive（MaxPoint互动公司）；North Carolina State University（北卡罗来纳州立大学）
我们提出了一种新的堆叠泛化（堆叠）方法作为一种动态集成技术，使用一个池的异构分类器的节点标签分类网络。该方法为元件模型分配了一组函数系数，这些系数可以随节点的拓扑特征平滑变化。与传统的堆叠模型相比，所提出的方法可以在我们在图中移动时动态调整各个模型的权重，并为网络上的标签预测提供更通用和更准确的堆叠模型。我们使用模拟研究和真实数据分析证明了所提出的模型的好处。
2016-10-16 cs.LG cs.SI stat.AP
PAC-Bayesian Generalization Bounds for Graph Convolutional Networks on Inductive Node Classification
本文针对动态图上的归纳式节点分类，提出PAC-Bayesian分析，为一层和两层GCN推导依赖数据下的泛化界及收敛条件，奠定动态图泛化理论基础。
2025-09-08 cs.LG
Understanding Generalization in Node and Link Prediction
Computer Science Department, RWTH Aachen University（亚琛工业大学计算机科学系）
本文提出统一框架分析MPNNs在归纳式和直推式节点与链路预测中的泛化性质，整合架构参数与损失函数并量化图结构影响，该框架也适用于任何分类任务，实证研究支持了理论见解。
2025-10-30 cs.LG
Graph Augmentation for Cross Graph Domain Generalization
Tsinghua University（清华大学）
本文提出图结构增强方法，通过低权重边丢弃和聚类边添加，提升跨图节点分类中GNN的域泛化能力，并在分布外数据集上取得最优性能。
2025-02-25 cs.LG
Transductive Generalization via Optimal Transport and Its Application to Graph Node Classification
本文通过最优传输建立新的传递泛化界限，用于图节点分类，改进了传统复杂性度量，并揭示了GNN聚合对表示分布的影响。
2026-03-10 cs.LG stat.ML
Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了从高阶图卷积和直接从邻接矩阵学习节点分类的有效学习。我们重新审视了缩放图残差网络，并从残差层中移除ReLU激活，并在每个残差层上应用单个权重矩阵。我们表明，由此产生的模型导致新的图形卷积模型作为多项式的归一化邻接矩阵，残差权重矩阵和残差缩放参数。此外，我们提出了直接图多项式卷积模型之间的自适应学习和直接从邻接矩阵学习。此外，我们提出了完全自适应的模型来学习每个残差层的缩放参数。我们证明了所提出的方法的推广界是有界的特征值谱，尺度参数和上界的残差权重的多项式。通过理论分析，我们认为，所提出的模型可以通过限制卷积的高阶和直接从邻接矩阵学习来获得改进的推广界。使用一组广泛的真实数据，我们证明了所提出的方法获得了改进的精度为节点分类的非同构图。
2022-09-12 cs.LG cs.SI
Generalization of an Upper Bound on the Number of Nodes Needed to Achieve Linear Separability
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（东德斯脑、认知与行为研究所）
神经网络研究中的一个重要问题是如何选择节点数和层数，以解决分类问题。我们基于An等人（2015）的早期结果提供了新的直觉，通过推导具有两个隐藏层的网络中节点数量的上界，使得可以实现线性可分性。具体地说，我们表明，如果数据可以描述的N个有限集和所使用的激活函数f是非常数，增加，并有一个左渐近线，我们可以推导出需要多少个节点来线性分离这些集。这将是一个取决于数据结构的上限。可以使用算法来分析该结构。对于漏校正的线性激活函数，我们分别证明了在一定的条件下的斜率，相同的层数和节点数为上述激活函数是足够的。我们通过经验验证了我们的主张。
2018-02-10 cs.LG stat.ML
Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning
Princeton University（普林斯顿大学）；New Jersey Institute of Technology（新泽西理工学院）
本文为分布式与联邦学习提出改进的信息论泛化界，在 Bregman 散度或 Lipschitz 连续损失下给出逐节点互信息上界，展现对节点数 K 的 1/K 改进依赖。
2024-01-15 cs.IT cs.LG math.IT
Generalization Error for Linear Regression under Distributed Learning
Uppsala University（乌普萨拉大学）
分布式学习通过将计算负担分布在多个节点上来促进数据处理的规模化。尽管对分布式学习有着广泛的兴趣，但这种方法的泛化性能还没有得到很好的理解。我们通过关注线性回归设置来解决这个差距。我们考虑未知数分布在节点网络上的设置。我们提出了一个分析表征的依赖性的泛化误差的分割的未知数节点。特别是，对于过参数化的情况下，我们的研究结果表明，虽然训练数据的误差保持在相同的范围内的集中式解决方案，分布式解决方案的泛化误差显着增加相比，集中式解决方案时，在任何节点估计的未知数的数量是接近的观察数。我们进一步提供数值例子来验证我们的解析表达式。
2020-05-04 cs.LG eess.SP stat.ML
What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stony Brook University（石溪大学）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of Science and Technology of China（中国科学技术大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J.沃森研究中心）
本文首次从理论上研究了用于半监督节点分类的浅层Graph Transformer，定量刻画了其样本复杂度与收敛条件，并证明自注意力与位置编码通过使注意力图稀疏化来增强泛化能力。
2024-06-04 cs.LG
Subgroup Generalization and Fairness of Graph Neural Networks
University of Michigan（密歇根大学）
尽管图神经网络（GNN）的应用取得了巨大的成功，但对其泛化能力的理论理解，特别是对于数据不独立且相同分布（IID）的节点级任务，一直很稀疏。泛化性能的理论研究有利于理解GNN模型的基本问题（如公平性）和设计更好的学习方法。在本文中，我们提出了一种新的PAC贝叶斯分析GNNs下的非IID半监督学习设置。此外，我们分析了未标记节点的不同子群上的泛化性能，这使我们能够从理论角度进一步研究GNN的准确性-（不）公平性。在合理的假设下，我们证明了测试子组和训练集之间的距离可能是影响GNN在该子组上性能的关键因素，这需要特别注意公平学习的训练节点选择。在多个GNN模型和数据集上的实验支持了我们的理论结果。
2021-11-30 cs.AI cs.LG
Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization
University of Notre Dame（圣母大学）；Snap Inc.（色拉布公司）；Brandeis University（布兰迪斯大学）
图神经网络（GNNs）的自监督学习（Self-supervised learning，SSL）由于能够在不需要代价高昂的标签信息的情况下学习高性能的节点嵌入，近年来引起了图机器学习界越来越多的关注。GNN的传统SSL框架的一个弱点是它们通过单一的哲学进行学习，例如互信息最大化或生成重建。当应用于各种下游任务时，这些框架很少对每个任务都表现得同样好，因为一种哲学可能无法涵盖所有任务所需的广泛知识。为了增强跨任务的任务泛化，作为探索基本图模型的重要第一步，我们引入了PARETOGNN，这是一个用于图上节点表示学习的多任务SSL框架。具体来说，PARETOGNN是由观察多种哲学的多种借口任务自我监督的。为了调和不同的哲学，我们探索了一种多梯度下降算法，使PARETOGNN积极地从每个借口任务中学习，同时最大限度地减少潜在的冲突。我们对四个下游任务进行了全面的实验（即，节点分类、节点聚类、链接预测和分区预测），并且我们的建议在11个广泛采用的基准数据集上实现了跨任务的最佳总体性能。此外，我们观察到，从多个哲学学习不仅提高了任务的泛化能力，而且提高了单个任务的性能，这表明PARETOGNN通过从不同哲学学习到的不相交但互补的知识实现了更好的任务泛化。我们的代码可在https://github.com/jumxglhf/ParetoGNN上公开获取。
2023-02-27 cs.LG
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon（亚马逊）
图神经网络（GNN）在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而，他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况，即节点可能没有邻居，称为严格冷启动（SCS）。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew，这是一种师生蒸馏方法，用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率（FCR），这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明，FCR解开不同的图形数据组件的贡献，并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能，其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
Task-Adaptive Few-shot Node Classification
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）；Brandeis University（布兰迪斯大学）
在各种图挖掘任务中，节点分类是非常重要的。在实践中，真实世界的图通常遵循长尾分布，其中大量的类仅由有限的标记节点组成。虽然图神经网络（GNN）在节点分类方面取得了显着的改进，但在这种Few-Shot场景中，它们的性能会大幅下降。主要原因可以归因于元训练和元测试之间的巨大泛化差距，这是由于元任务中的不同节点/类分布引起的任务差异（即，节点级和类级方差）。因此，为了有效地减轻任务方差的影响，我们提出了一个任务自适应节点分类框架下的少样本学习设置。具体来说，我们首先积累跨类的元知识与丰富的标记节点。然后，我们通过我们提出的任务自适应模块将这些知识转移到具有有限标记节点的类。特别是，以适应不同的节点/类元任务之间的分布，我们提出了三个重要的模块来执行\emph{node-level}，\emph{class-level}，和\emph{task-level}适应在每个元任务，分别。通过这种方式，我们的框架可以进行适应不同的元任务，从而提高元测试任务的模型泛化性能。在四个流行的节点分类数据集上进行的广泛实验表明，我们的框架优于最先进的基线。我们的代码在https://github.com/SongW-SW/TENT上提供。
2022-06-23 cs.LG
KNH: Multi-View Modeling with K-Nearest Hyperplanes Graph for Misinformation Detection
University of California, Riverside（加州大学河滨分校）；Snap Inc.（Snap公司）
图是表示数据点及其关系的最有效的结构之一，并且它们已被广泛用于不同的应用。以前，节点之间的高阶关系已经通过称为超图的图的推广来建模。在超图中，边由一组节点定义，即，超边以展示数据之间的高阶关系。然而，节点本身没有显式的高阶泛化。在这项工作中，我们介绍了一种新的推广图，即，K-最近超平面图（KNH），其中节点由高阶欧几里得子空间定义，用于节点的多视图建模。事实上，在KNH中，节点是超平面，或者更精确地说是m平面，而不是数据点。我们在两个多方面数据集上对KNH图进行了实验评估，用于错误信息检测。实验结果表明，使用KNH图的文章的多视图建模在分类性能方面优于经典的KNN图。
2021-02-15 cs.AI cs.CY cs.LG
Line Graph Contrastive Learning for Link Prediction
Taiyuan University of Technology（太原理工大学）；Intel Labs（英特尔实验室）
链接预测任务集中于预测未来可能的连接。现有的大多数研究都是通过节点对上不同的相似度来衡量链接的可能性，并预测节点之间的链接。然而，基于相似性的方法在节点信息损失和相似性指标的泛化能力方面存在一些挑战。为了解决上述问题，我们提出了一个线图对比学习（LGCL）方法，以获得丰富的信息与多个角度。LGCL通过对目标节点对进行h跳子图采样来获得子图视图。将采样子图转换为线图后，将链接预测任务转换为节点分类任务，图卷积过程可以更有效地从图中学习边嵌入。在此基础上，设计了一种新的基于线图和子图的跨尺度对比学习框架，以最大化线图和子图之间的互信息为目标，实现结构信息和特征信息的融合。实验结果表明，所提出的LGCL优于国家的最先进的方法，并具有更好的性能的泛化能力和鲁棒性。
2023-03-08 cs.IR cs.LG cs.SI
A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；Vector Institute（向量学院）；Canadian Institute for Advanced Research（加拿大高等研究院）
在本文中，我们推导出的两个主要类别的图神经网络（GNNs），即图卷积网络（GCN）和消息传递GNNs（MPGNNs），通过PAC-Bayesian方法的推广界。我们的结果表明，最大节点度和谱范数的权重支配的推广界的两个模型。我们还表明，我们对GCN的界是arXiv：1707.09564v2 [cs.LG]中针对全连接和卷积神经网络开发的结果的自然推广。对于消息传递GNN，我们的PAC-Bayes界优于arXiv：2002.06157v1 [cs.LG]中基于Rademacher复杂度的界，显示出对最大节点度和最大隐藏维度的更紧密依赖。我们证明的关键成分是GNNs的扰动分析和PAC-Bayes分析对非齐次GNNs的推广。我们在几个真实世界的图数据集上进行了实证研究，并验证了我们的PAC-Bayes界比其他人更紧。
2020-12-14 cs.LG
Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）
研究LLM图推理器对图表示对称性的缺乏不变性，通过分解序列化因素并评估微调影响，发现大模型更鲁棒，微调降低节点重标敏感但增加结构和格式敏感，且不保证泛化。
2026-06-09 cs.AI cs.LG
Approximation Capabilities of Neural Networks using Morphological Perceptrons and Generalizations
University of Southern California（南加州大学）
标准人工神经网络（ANN）使用具有无记忆非线性激活的和-积或乘-累加节点操作。已知这些神经网络具有通用函数逼近能力。以前提出的形态感知器使用最大和，而不是和产品，节点处理和电路实现有前途的属性。在本文中，我们表明，这些最大和人工神经网络不具有普遍的逼近能力。此外，我们考虑提出的符号最大和最大星和概括的形态人工神经网络，并表明这些变种也没有普遍的近似能力。我们对比这些变化的对数系统（LNS）的实现，也避免乘法，但表现出普遍的近似能力。
2022-07-16 cs.LG cs.NE
Node4All: Learning Node Representation Beyond Datasets
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
研究针对多数节点表示学习方法依赖特定数据集训练的问题，提出Node4All，基于通道图变换器和自监督学习构建，能跨任意图数据集泛化，在节点分类任务中表现出色，实现可复用性且实践效果好。
2026-07-21 cs.LG cs.SI
RsGCN: Subgraph-Based Rescaling Enhances Generalization of GCNs for Solving Traveling Salesman Problems
School of Computer Science, South China Normal University（华南师范大学计算机科学学院）；College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
针对GCN求解TSP的跨尺度泛化差和训练成本高问题，提出基于子图重缩放的RsGCN与重构搜索RBS，仅训练3轮即可泛化至万节点实例，性能优异且参数最少。
2025-09-26 cs.LG cs.NE
Normalize Then Propagate: Efficient Homophilous Regularization for Few-shot Semi-Supervised Node Classification
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出NormProp算法，通过解耦节点表示的方向与欧几里得范数并引入同质性正则化，在少样本半监督节点分类的低标签率场景下以低计算复杂度实现了最先进的性能。
2025-01-15 cs.LG
Learning Invariant Representations of Graph Neural Networks via Cluster Generalization
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）
针对图神经网络在结构偏移下性能下降的问题，提出即插即用的簇信息迁移机制，通过结合簇信息并保留簇无关信息、生成跨簇节点来学习不变表示，经理论分析和三类场景实验验证可有效提升泛化性能。
2024-03-06 cs.LG
Robust Offline Active Learning on Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）
提出一种结合图结构与节点协变量的离线主动学习方法，通过两阶段有偏采样平衡信息性与代表性，理论证明误差权衡，实验验证在含噪场景下优于现有方法。
2024-11-07 cs.LG stat.ML
Disentangling Node Attributes from Graph Topology for Improved Generalizability in Link Prediction
Network Science Institute（网络科学研究所）；Northeastern University（东北大学）；Khoury College of Computer Sciences（库利计算机科学学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）
该研究提出节点属性无监督预训练方法UPNA，通过学习节点属性对预测边概率的方式解决归纳式链接预测问题，克服拓扑捷径与观测偏差，性能大幅超越现有最优水平，还可集成到现有模型中提升泛化能力。
2023-07-17 cs.LG cs.SI
GraphProp: Training the Graph Foundation Models using Graph Properties
GraphProp通过强调结构泛化，提升图基础模型在跨领域任务中的表现，尤其在无节点属性图的处理上效果显著。
2026-03-07 cs.AI cs.LG
Generalization of Graph Neural Networks is Robust to Model Mismatch
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文分析几何图GNN在训练与测试流形模型失配下的泛化界，证明其对节点特征和边扰动具有鲁棒性，并揭示节点数、流形维度、失配程度及高频分辨能力的影响。
2024-09-10 cs.LG eess.SP
Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors
KAIST（韩国科学技术院）
本文提出NodePFN，通过学习后验预测分布实现对任意图的通用节点分类，无需图特定训练，利用合成图先验生成多样化的图结构和特征-标签关系。
2026-04-21 cs.LG
Towards Graph-Based Deep Learning for Map Generalization: Insights from Building Footprints Simplification and Aggregation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhejiang University（浙江大学）；Mainz University of Applied Sciences（美因茨应用科学大学）
本研究首次探索将图深度学习应用于建筑足迹简化（节点移动预测）和聚合（链接预测），评估了GCN、GAT和GraphSAGE等架构，发现GraphSAGE在链接预测上表现较好，但节点移动预测仍具挑战，且聚合比简化更复杂。
2026-06-19 cs.LG
Systematic Generalization with Edge Transformers
University of California, San Diego（加利福尼亚大学圣迭戈分校）；McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所）；Element AI, a ServiceNow company（Element AI，ServiceNow旗下公司）
最近的研究表明，自然语言理解中的系统泛化仍然是最先进的神经模型（如Transformers和图神经网络）面临的挑战。为了应对这一挑战，我们提出了Edge Transformer，这是一种结合了Transformers和基于规则的符号AI的新模型。Edge Transformers中的第一个关键思想是将向量状态与每条边相关联，即与每对输入节点相关联-而不是像Transformer模型中那样只与每个节点相关联。第二个主要创新是三角形注意力机制，它以一种受逻辑编程统一启发的方式更新边缘表示。我们在关系推理、语义解析和依存句法分析中对Edge Transformer进行了组合泛化基准测试。在所有三种设置中，Edge Transformer的性能均优于可感知的、通用的和经典的Transformer基线。
2021-12-01 cs.CL cs.LG
MUSE: Multi-View Contrastive Learning for Heterophilic Graphs
East China Normal University（华东师范大学）
针对异配图自监督学习效果受限问题，提出多视图对比学习模型MUSE，通过构建自我节点与邻域视图并利用信息融合控制器和交替训练方案，有效提升了节点分类与聚类性能。
2023-07-29 cs.LG cs.SI
Sheaf Neural Networks
The Ohio State University（俄亥俄州立大学）；University of Minnesota（明尼苏达大学）
我们提出了一个推广的图卷积网络通过推广这类图神经网络的扩散操作。这些层神经网络是基于层拉普拉斯算子的，层拉普拉斯算子是对由底层图参数化的附加关系结构进行编码的图拉普拉斯算子的推广。层拉普拉斯算子和相关矩阵提供了图卷积网络中扩散操作的扩展版本，为节点之间的关系是非恒定的、不对称的和维度变化的域提供了适当的推广。我们表明，由此产生的层神经网络可以优于图卷积网络在域中的节点之间的关系是不对称的和签署。
2020-12-08 cs.LG math.AT
Bringing Graphs to the Table: Zero-shot Node Classification via Tabular Foundation Models
本文提出TAG方法，将节点分类重构为表格问题，利用表格基础模型通过上下文学习实现零样本分类，在28个数据集上优于现有GNN和GFM，展现可扩展性与泛化潜力。
2025-10-08 cs.LG
NOCL: Node-Oriented Conceptualization LLM for Graph Tasks without Message Passing
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对大语言模型应用于图任务的局限，提出NOCL框架，通过节点描述、节点概念技术及图表示描述符，拓展适用场景、压缩token长度、统一多层级任务，实现有竞争力的监督性能与更优零样本泛化。
2025-05-28 cs.LG
Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification
针对图数据噪声损害GNNs性能的问题，提出两阶段直推式学习方法GCL-LRR及其改进版GCL-LR-Attention，通过低秩正则化与低秩注意力提升节点分类的鲁棒性和泛化能力。
2025-06-28 cs.LG cs.SI stat.ML
PAC-Bayesian Adversarially Robust Generalization Bounds for Graph Neural Network
Center for Data Science, Zhejiang University（浙江大学数据科学中心）
本文利用PAC-贝叶斯框架为GCN和消息传递图神经网络建立对抗鲁棒泛化界，揭示扩散矩阵谱范数、权重谱范数和扰动因子的关键作用，并避免了对最大节点度的指数依赖，改进了现有结果。
2024-07-06 cs.LG stat.ML
Improving Node Representation by Boosting Target-Aware Contrastive Loss
Purdue University（普渡大学）；Microsoft Research（微软研究院）
针对现有图节点表示学习方法泛化受限或信号任务相关性不足的问题，提出目标感知对比学习框架，通过XGSampler采样正例优化XTCL损失，提升节点分类与链路预测性能并增强可解释性。
2024-11-01 cs.AI cs.LG
Model Generalization on Text Attribute Graphs: Principles with Large Language Models
针对文本属性图推理中的上下文长度与嵌入空间错位问题，提出 LLM-BP 框架，通过任务自适应嵌入和 LLM 参数化置信传播实现跨图泛化，并在 11 个基准上显著提升性能。
2025-06-09 cs.LG
A Manifold Perspective on the Statistical Generalization of Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文从流形与谱域视角建立 GNN 统计泛化理论，证明泛化界在对数尺度上随图规模线性下降，并通过合成及真实数据集验证。
2025-06-06 cs.LG stat.ML
N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
图卷积网络（GCN）在图结构数据的半监督学习中表现出显着的改进。同时，图嵌入的无监督学习也受益于随机游走中包含的信息。在本文中，我们提出了一个模型：GCN网络（N-GCN），它结合了这两条工作线。在其核心，N-GCN在随机游走中在不同距离发现的节点对上训练GCN的多个实例，并学习优化分类目标的实例输出组合。我们的实验表明，我们提出的N-GCN模型改善了我们考虑的所有具有挑战性的节点分类任务的最新基线：Cora，Citeseer，Pubmed和PPI。此外，我们提出的方法具有其他理想的属性，包括推广到最近提出的半监督学习方法，如GraphSAGE，使我们能够提出N-SAGE，以及对对抗性输入扰动的弹性。
2018-02-24 cs.LG cs.SI stat.ML
Graph Random Neural Network for Semi-Supervised Learning on Graphs
Microsoft Research（微软研究院）；Tsinghua University（清华大学）；WeBank Co., Ltd（微众银行股份有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们研究了图上的半监督学习问题，其中图神经网络（GNNs）已被广泛探索。然而，大多数现有的GNN固有地遭受过度平滑，非鲁棒性和弱泛化的限制，当标记的节点是稀缺的。在本文中，我们提出了一个简单而有效的框架-图随机神经网络（GRAND）-来解决这些问题。在GRAND中，我们首先设计一个随机传播策略来执行图数据增强。然后，我们利用一致性正则化来优化不同数据增强中未标记节点的预测一致性。在图基准数据集上进行的大量实验表明，GRAND在半监督节点分类上的性能明显优于最先进的GNN基线。最后，我们证明了GRAND减轻了过度平滑和非鲁棒性的问题，表现出比现有GNN更好的泛化行为。GRAND的源代码可在https://github.com/Grand20/grand上公开获得。
2021-09-21 cs.LG cs.SI stat.ML
Wide & Deep Learning for Node Classification
本文提出融合 Wide & Deep 架构与 Intersect memory、Initial residual、Identity mapping 三种技术的 GCNIII 框架，以平衡节点分类中的过拟合与过度泛化，并探索利用大语言模型进行节点特征工程以提升跨域性能。
2025-05-04 cs.AI cs.LG stat.ML
Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks
Hanyang University（汉阳大学）
本文通过随机图生成器研究图结构对GNN泛化的影响，发现平均节点度是关键因素，并提出多模块GNN框架以提升分布外泛化性能。
2023-10-26 cs.AI cs.LG
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University（贵州大学）
图卷积网络（GCN）通过从图数据中提取结构信息，在半监督节点分类领域已被证明是成功的。然而，随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中，我们提出了一种有效的方法，确定性选择标记的节点：确定性节点选择（DNS）算法。DNS算法识别图中的两类代表性节点：典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验，我们已经证明，与原始方法相比，DNS算法的引入可以显着提高模型的平均准确度，并显着降低标准差。
2023-01-11 cs.AI cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University（普渡大学）；Ludwig-Maximilians-Universitat München（慕尼黑大学）
这项工作提供了关于图消息传递神经网络（gMPNN）-如图神经网络（GNN）-执行归纳分布外（OOD）链接预测任务的能力的第一个理论研究，其中部署（测试）图的大小大于训练图。我们首先证明了非渐近界，表明基于置换等变（结构）节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后，我们提出了一个理论上合理的gMPNN输出结构成对（2节点）嵌入，并证明非渐近界显示，随着测试图的增长，这些嵌入收敛到一个连续函数的嵌入，保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
Robust Generalization of Graph Neural Networks for Carrier Scheduling
RISE Computer Science（RISE计算机科学研究院）；KTH Royal Institute of Technology（皇家理工学院）；Digital Futures（数字未来研究院）；Karolinska Institutet（卡罗林斯卡学院）；MedTechLabs（医疗技术实验室）；Uppsala University（乌普萨拉大学）
针对现有基于学习的载波调度器在大规模反向散射网络中泛化性差、资源优势减弱的问题，提出基于GNN的RobustGANTT调度器，无需重训即可泛化至千节点网络，资源消耗最多减半且响应快速，为大规模网络调度提供新方案。
2024-07-11 cs.AI cs.LG cs.NI
UniGTE: Unified Graph-Text Encoding for Zero-Shot Generalization across Graph Tasks and Domains
MIIT Key Laboratory of Data Intelligence and Management, Beihang University（信息科技部数据智能与管理重点实验室，北京航空航天大学）
本文提出 UniGTE 编码器-解码器框架，融合结构感知图-文本注意力与冻结 LLM 重建目标，在五类数据集指令微调后实现跨任务、跨领域零样本图推理 SOTA。
2025-10-19 cs.LG
