LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks
本文发现将LLM特征通过纯输入拼接（而非联合训练）引入图神经网络时，会在同配基准上系统性地降低准确率，并提出了一个基于LLM单独判别性指标Delta_sig来预测拼接效果。
2026-06-17 cs.AI cs.CL cs.LG
Learning Laplacian Positional Encodings for Heterophilous Graphs
University of Michigan（密歇根大学）；Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
针对现有图位置编码在异配图上可能损害性能的局限，提出可学习拉普拉斯位置编码（LLPE），利用图拉普拉斯全谱在同配和异配图上捕捉结构，在12个基准上将多种GNN准确率提升高达35%。
2025-04-29 cs.LG
GraphTorque: Torque-Driven Rewiring Graph Neural Network
Nanjing University of Science and Technology（南京理工大学）；Sun Yat-Sen University（中山大学）；Beijing Normal University（北京师范大学）；Putian University（莆田大学）
本文提出扭矩驱动的分层图重连策略GraphTorque，通过剪除高扭矩边并添加低扭矩连接动态重构感受野，在异配和同配图上均优于现有重连方法。
2025-09-22 cs.LG
Homophily-Related: Adaptive Hybrid Graph Filter for Multi-View Graph Clustering
University of Electronic Science and Technology of China（电子科技大学）；Virginia Tech（弗吉尼亚理工大学）；Shantou University（汕头大学）；Lehigh University（理海大学）
针对传统图神经网络在异配图上因忽略高频信息导致性能不佳的问题，提出自适应混合图滤波器AHGFC，通过设计图联合聚合矩阵并利用与同质性相关的滤波器学习节点嵌入，融合多视图特征，在六类数据集上取得良好效果。
2024-01-05 cs.LG cs.SI
Large Scale Learning on Non-Homophilous Graphs: New Benchmarks and Strong Simple Methods
Cornell University（康奈尔大学）；Facebook AI
许多广泛用于图机器学习任务的数据集通常是同构的，其中具有相似标签的节点彼此连接。最近，新的图神经网络（GNN）已经开发出来，超越了同质性制度;然而，他们的评估往往是在有限的应用领域的小图上进行的。我们从各种应用领域收集并引入了不同的非同质数据集，这些数据集的节点数和边数比以前的数据集多384倍。我们进一步表明，现有的可扩展的图学习和图miniphilos技术导致这些非同质数据集的性能下降，从而突出了进一步研究可扩展的非同质方法的必要性。为了解决这些问题，我们引入了LINKX -一种强大的简单方法，它允许直接的小批量训练和推理。在我们提出的数据集上使用代表性的简单方法和GNN进行的大量实验结果表明，LINKX在非同构图上的学习方面达到了最先进的性能。我们的代码和数据可在https://github.com/CUAI/Non-Homophily-Large-Scale上获得。
2021-10-27 cs.LG cs.SI stat.ML
Clarify Confused Nodes via Separated Learning
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；National Key Laboratory of Electromagnetic Space Security（电磁空间安全全国重点实验室）
本文提出邻域混淆度（NC）指标以可靠分离同配与异配节点，并设计NCGCN框架按NC值分组进行组内权重共享和消息传递，在多种图基准上显著提升性能。
2025-02-03 cs.LG cs.SI
Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了从高阶图卷积和直接从邻接矩阵学习节点分类的有效学习。我们重新审视了缩放图残差网络，并从残差层中移除ReLU激活，并在每个残差层上应用单个权重矩阵。我们表明，由此产生的模型导致新的图形卷积模型作为多项式的归一化邻接矩阵，残差权重矩阵和残差缩放参数。此外，我们提出了直接图多项式卷积模型之间的自适应学习和直接从邻接矩阵学习。此外，我们提出了完全自适应的模型来学习每个残差层的缩放参数。我们证明了所提出的方法的推广界是有界的特征值谱，尺度参数和上界的残差权重的多项式。通过理论分析，我们认为，所提出的模型可以通过限制卷积的高阶和直接从邻接矩阵学习来获得改进的推广界。使用一组广泛的真实数据，我们证明了所提出的方法获得了改进的精度为节点分类的非同构图。
2022-09-12 cs.LG cs.SI
Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies co. ltd（华为技术有限公司）；Shenzhen University（深圳大学）
最近的研究表明，图神经网络（GNNs）是脆弱的，很容易被小扰动欺骗，这引起了人们对在各种安全关键应用中调整GNNs的相当大的关注。在这项工作中，我们专注于新兴的，但关键的攻击，即，图注入攻击（GIA），其中对手通过注入假节点，而不是修改现有的结构或节点属性中毒的图形。受对抗攻击与扰动图上的异质性增加有关的研究结果（对手倾向于连接不同的节点）的启发，我们提出了一个通用的防御框架CHAGNN，通过图数据和模型的合作同伦增强来对抗GIA。具体来说，该模型在每一轮训练中为未标记的节点生成伪标签，以减少具有不同标签的节点的异质边缘。更干净的图被反馈到模型，产生更多信息的伪标签。在这种迭代的方式，模型的鲁棒性，然后有望增强。本文从理论上分析了同质性增强的效果，并为该方案的有效性提供了保证。实验结果经验证明了CHAGNN的有效性，与最近的最先进的防御方法在不同的现实世界的数据集。
2022-11-15 cs.LG cs.SI
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University（比勒费尔德大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
图神经网络在过去的几年里受到了越来越多的关注，因为它们有希望处理图结构数据的能力，这可以在许多现实世界的问题中找到，例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题，而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题，提出了一种图网络模型。与传统的图网络不同，我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外，一个新的损失函数考虑到节点的自我信息，建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks
Vrije Universiteit Amsterdam（瓦赫宁海姆大学阿姆斯特丹分校）；Amsterdam UMC（阿姆斯特丹医疗中心）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
提出自适应采样方法GRAPES，通过训练辅助GNN预测节点采样概率以优化下游任务，在保持高准确率的同时实现大规模图的可扩展性。
2025-07-15 cs.AI cs.LG
HP-GMN: Graph Memory Networks for Heterophilous Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）
图神经网络（GNNs）在各种图问题中取得了巨大的成功。然而，大多数GNN是基于同构假设的消息传递神经网络（MPNN），其中具有相同标签的节点在图中连接。现实世界的问题给我们带来了异质性问题，其中具有不同标签的节点在图中连接。MPNN无法解决异质性问题，因为它们混合了来自不同分布的信息，并且不善于捕获全局模式。因此，本文提出了一种新的异构图记忆网络模型（HP-GMN）来解决异构问题。在HP-GMN中，局部信息和全局模式通过局部统计和记忆来学习，以促进预测。我们还提出了正则化项来帮助记忆学习全局信息。我们进行了大量的实验，以表明我们的方法实现了最先进的性能，homophilous和heterophilous图。
2022-10-15 cs.LG
Learn from Heterophily: Heterophilous Information-enhanced Graph Neural Network
Nanyang Technological University（南洋理工大学）
针对图神经网络在异质性环境下性能不佳的问题，提出HiGNN方法，通过利用节点分布构建新图结构整合异质性信息，增强相似语义节点连通性，有效提升了图表示学习性能。
2024-11-12 cs.LG cs.SI
Permutation Equivariant Graph Framelets for Heterophilous Graph Learning
City University of Hong Kong（香港城市大学）；Zhejiang Normal University（浙江师范大学）
针对异嗜图学习，本文提出基于置换等变Haar型图框架小波的PEGFAN模型，实现多尺度特征提取，在多个异嗜数据集上达到最优或竞争力性能。
2023-10-17 cs.AI cs.LG cs.SI
Can TabPFN Compete with GNNs for Node Classification via Graph Tabularization?
KAIST（韩国科学技术院）
TabPFN-GN通过将图数据转换为表格特征，实现了在节点分类任务中与GNNs竞争甚至超越的性能，展示了系统性特征工程在连接表格与图领域方面的潜力。
2025-12-09 cs.AI cs.LG
Decoupled Self-supervised Learning for Non-Homophilous Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）；Tongji University（同济大学）
针对现有图自监督学习依赖同配性假设的局限，提出解耦自监督学习框架DSSL，通过潜变量建模解耦邻域语义，推导证据下界并设计可扩展训练算法，在多类图基准上取得更优性能。
2023-10-02 cs.LG stat.ML
Graph Pooling via Ricci Flow
Harvard University（哈佛大学）
本文提出ORC-Pool图池化算子，将奥利维尔离散里奇曲率与几何流扩展到带属性图，使几何粗化可作为池化层集成到图神经网络中，解决了传统里奇流聚类无法利用节点属性相似性的问题。
2024-07-05 cs.LG
Node Embedding for Homophilous Graphs with ARGEW: Augmentation of Random walks by Graph Edge Weights
NCSOFT（NCSoft公司）
本文提出ARGEW方法，通过对随机游走语料进行边权重增强，使加权同质图中强连接节点获得更接近的嵌入，在节点分类上优于纯node2vec且对超参数不敏感，并达到与有监督GCN相当的性能。
2023-08-11 cs.LG cs.SI stat.ML
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University（斯坦福大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
本文提出注意力图工具，基于GNN消息传递与Transformer自注意力的数学等价性，分析图Transformer的信息流动，发现其学习结构不相关于输入图，且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan（密歇根大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）；RWTH Aachen University（亚琛工业大学）
我们研究了图神经网络（GNNs）的节点分类任务，并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系，即，链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的，即具有相似属性的节点连接的趋势。在社交网络中，系统性因素迫使个体进入具有共同敏感属性的社区，因此，同质性是很常见的。通过合成图，我们研究了本地发生的同质性和公平预测之间的相互作用，发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇，特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后，我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明，通过采用能够处理dispertative组标签的heterophilous GNN设计，在真实和合成数据集中，局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
F\textsuperscript{2}LP-AP: Fast \& Flexible Label Propagation with Adaptive Propagation Kernel
Beijing University of Technology（北京理工大学）
本文提出F²LP-AP，一种无需训练的高效标签传播框架，通过几何中位数构建类别原型并动态调整传播参数，适应局部图拓扑，有效建模同质和异质图结构，实验表明其在准确性和计算效率上优于现有方法。
2026-04-22 cs.LG
2-hop Neighbor Class Similarity (2NCS): A graph structural metric indicative of graph neural network performance
Huawei Munich Research Center（华为慕尼黑研究中心）
图神经网络（GNN）在众多领域的图结构数据上实现了最先进的性能。它们将节点表示为其邻近区域的摘要的潜在能力已被证明对同构图特别有效，其中相同类型的节点倾向于连接。在不同类型的节点可能连接的异质图上，GNN的表现不太一致，因为邻域信息可能不太具有代表性，甚至具有误导性。另一方面，GNN的性能在所有异质图上都不差，并且缺乏对其他图形属性影响GNN性能的理解。在这项工作中，我们强调了广泛使用的同质比和最近的跨类邻域相似性（CCNS）度量在估计GNN性能方面的局限性。为了克服这些限制，我们引入了2跳邻居类相似性（2NCS），这是一种新的定量图形结构属性，与GNN性能的相关性比其他指标更强，更一致。2NCS认为两跳的邻居作为一个理论推导的两步标签传播过程的结果支配GCN的训练推理过程。一个合成和八个真实世界的图数据集上的实验证实了在估计基于GCN和GAT的架构对节点分类任务的准确性方面，与现有指标相比的一致改进。
2022-12-26 cs.LG
On the Relationship Between Robustness and Expressivity of Graph Neural Networks
Faculty of Computer Science（计算机科学系）；University of Vienna（维也纳大学）；Doctoral School Computer Science（计算机科学博士学院）；Research Network Data Science（数据科学研究网络）
该研究通过分析框架探究图神经网络（GNNs）对翻转比特攻击（BFAs）的脆弱性，建立其表达能力因BFAs受损的标准，推导理论界限并经实证验证，为减轻相关风险提供依据。
2025-04-18 cs.LG
Graph Neural Network leveraging Higher-order Class Label Connectivity for Heterophilous Graphs
The University of Osaka（大阪大学）
针对异配图中节点分类性能受限问题，提出标签上下文分类器（LCC），通过四种游走生成标签上下文嵌入捕获高阶类标签连通性，并可与任意GNN自适应集成，实验表明优于现有方法。
2026-06-05 cs.AI cs.LG
How does Heterophily Impact the Robustness of Graph Neural Networks? Theoretical Connections and Practical Implications
University of Michigan（密歇根大学）；Northwestern University（西北大学）；RWTH Aachen University（亚琛工业大学）
我们在图神经网络（GNNs）上架起了两个研究方向的桥梁，通过形式化节点标签的异质性（即，连接的节点往往具有不同的标签）和GNN对对抗攻击的鲁棒性。我们的理论和实证分析表明，对于同质图数据，有影响力的结构攻击总是导致降低同质性，而对于异质图数据的同质性水平的变化取决于节点度。这些见解对于防御对现实世界图的攻击具有实际意义：我们推断，自我嵌入和邻居嵌入的单独聚合器，这是一种已被确定为显着提高对异质图数据的预测的设计原则，也可以为GNN提供更高的鲁棒性。我们的综合实验表明，与性能最好的未接种模型相比，仅采用这种设计的GNN实现了改进的经验和可验证的鲁棒性。此外，将这种设计与针对对抗攻击的显式防御机制相结合，与性能最佳的接种模型相比，在攻击下的性能提高了18.33%。
2022-07-23 cs.LG stat.ML
Shape-aware Graph Spectral Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Florida International University（佛罗里达国际大学）
针对谱GNNs忽视图频率与同质性关系的问题，提出基于牛顿插值的形状感知正则化，实现任意多项式谱滤波并融入同质性先验，实验证明在两类数据集上性能优越。
2024-05-22 cs.AI cs.LG
Differentiable Cluster Graph Neural Network
PayPal（贝宝）；National University of Singapore（新加坡国立大学）
本文提出可微聚类图神经网络，通过最优传输的隐式聚类目标函数和熵正则化迭代优化，在二部图上实现消息传递，有效解决长距离传播和异质性邻域问题，实验验证其捕获局部与全局信息的能力。
2024-05-25 cs.AI cs.LG
Gauge-Equivariant Graph Networks via Self-Interference Cancellation
Department of Artificial Intelligence, Sookmyung Women's University, Seoul, South Korea（首尔大学女子大学人工智能系）；Korea Advanced Institute of Science and Technology, Seoul, South Korea（韩国科学技术院）
本文提出了一种通过自干扰消除的 gauge-等变图网络（GESC），该网络通过投影机制替代传统的加法聚合，有效处理异质图中的自干扰问题，从而提升模型在异质图上的表现。
2026-05-19 cs.LG
Unsupervised Graph Representation Learning with Complementary View Alignment
研究无监督图表示学习，提出AlignGAE方法，通过互补视图对齐、双编码器架构等技术，解决现有方法同质性偏差问题，在异质图节点分类上性能显著提升，建立频率感知图表示学习新范式。
2026-07-28 cs.LG
Rethinking Graph Transformer Architecture Design for Node Classification
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；Science and Technology on Communication Information Security Control Laboratory（通信信息安全控制实验室）
针对图Transformer在节点分类中易受全局噪声影响且难以扩展到大型图的问题，本文提出基于传播与转换解耦的GNNFormer架构，有效提升了同质与异质场景下的分类性能与计算效率。
2024-10-15 cs.LG
Flow Matters: Directional and Expressive GNNs for Heterophilic Graphs
Mastercard India（Mastercard印度）
针对异配图节点分类问题，提出多项式表达GAT基线Poly及方向感知变体Dir-Poly，验证了边方向与特征表达建模的互补作用，在有向异配图上达SOTA。
2025-08-31 cs.LG
Dual-Optimized Adaptive Graph Reconstruction for Multi-View Graph Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
针对传统图神经网络不适用于异质性图的多视图图聚类难题，提出基于双优化自适应图重构的DOAGC方法，在保留传统GNN优势的同时有效缓解异质性图问题。
2024-10-30 cs.LG
AdvSynGNN: Structure-Adaptive Graph Neural Nets via Adversarial Synthesis and Self-Corrective Propagation
University of Macau（澳门大学）；Peking University（北京大学）；Fudan University（复旦大学）；Tsinghua University（清华大学）；University of Southampton（南安普顿大学）
本文提出AdvSynGNN，通过对抗合成与自我纠正传播实现结构自适应的图神经网络，提升在结构噪声和非同质拓扑下的鲁棒性。
2026-07-29 cs.AI cs.LG
Decoupled Structure-Feature Alignment via Alternating Optimization for Graph Learning
College of Artificial Intelligence, Shaoxing Institute of Technology（绍兴文理学院人工智能学院）；School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）
该研究针对传统GNN问题，引入约束双视图框架，利用锚定网络捕获特征，提出CSAG-GNN及循环交替优化策略，在节点预测中实现结构特征对齐，实证结果显示相比基线有性能提升和结构稳健性。
2026-09-01 cs.AI cs.LG
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University（华东师范大学）；Microsoft Research Asia（微软亚洲研究院）；Nanyang Technological University（南洋理工大学）
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域，以包括更多具有同质性的节点。然而，为不同节点设置个性化的邻域大小是一个重大挑战。此外，对于排除在邻域中的其他同性节点，它们被忽略用于信息聚合。为了解决这些问题，我们提出了两个模型GloGNN和GloGNN++，它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中，两个模型都学习一个系数矩阵来捕获节点之间的相关性，并基于此执行邻域聚合。系数矩阵允许有符号的值，并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集，并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性，证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验，将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域，规模和图形异质性的比较。实验结果表明，我们的方法实现了优越的性能，也是非常有效的。
2022-05-15 cs.AI cs.LG
Homophily-aware Heterogeneous Graph Contrastive Learning
Southeast University（东南大学）；East China Normal University（华东师范大学）；Zhejiang University of Finance and Economics（浙江财经大学）
针对现有异质图预训练忽视真实图异质性问题，提出基于连接强度与多视图自表达的HGMS框架，通过异质边丢弃增强、自表达矩阵求解优化对比学习，在多下游任务上性能更优。
2025-01-15 cs.LG cs.SI
DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling
Nanyang Technological University（南洋理工大学）
针对图Transformer的图规模计算瓶颈，提出DHIL-GT：通过解耦图计算至独立预计算阶段，利用图标记层次提取信息，实现线性复杂度，在大规模基准上计算效率更优，且在同/异质性图上效果顶级。
2024-12-06 cs.LG
GRAIN: Multi-Granular and Implicit Information Aggregation Graph Neural Network for Heterophilous Graphs
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
针对异配图中 GNN 表现不佳的问题，本文提出 GRAIN 模型，通过多粒度信息聚合与远距离隐式关系建模，并引入自适应聚合器，在 13 个数据集上超越 12 个最先进模型。
2025-04-09 cs.AI cs.LG
Unveiling the Impact of Local Homophily on GNN Fairness: In-Depth Analysis and New Benchmarks
University of Michigan（密歇根大学）
本研究将局部同质性下的公平预测挑战形式化为分布外问题，通过理论与实证分析揭示了两类加剧GNN不公平性的因素，同时推出三个新基准与半合成图生成器，填补了局部同质性与GNN公平性关联研究的空白。
2024-10-05 cs.CY cs.LG cs.SI
Neighborhood Homophily-based Graph Convolutional Network
Zhejiang University of Technology（浙江工业大学）；Binjiang Cyberspace Security Institute of ZJUT（浙江工业大学滨江网络空间安全研究院）
针对经典GNN同质性假设难以适配异质图的问题，本文提出邻域同质性指标NH，并构建NHGCN模型，通过指标估计与模型推理交替优化实现节点分类，在两类基准上均取得SOTA性能，最高提升7.4%。
2023-10-06 cs.LG
A critical look at the evaluation of GNNs under heterophily: Are we really making progress?
HSE University（高等经济大学）；Yandex Research（Yandex研究院）；Skoltech（斯科尔科沃科学技术研究院）
本文指出常用异配图基准存在重复节点与数据泄漏等问题，构建新的多样化异配图基准，证明标准 GNN 通常优于专门模型。
2024-03-02 cs.LG
Large-Scale Spectral Graph Neural Networks via Laplacian Sparsification: Technical Report
Renmin University of China（中国人民大学）；Huawei（华为）
针对谱GNN在大规模图上因多次传播导致的可扩展性问题，提出SGNN-LS，用拉普拉斯稀疏器近似固定与可学习多项式滤波器，支持端到端训练并在超大数据集上验证效率与效果。
2025-01-08 cs.LG
Tackling Provably Hard Representative Selection via Graph Neural Networks
Google Research（谷歌研究院）
该研究证明面向学习的代表性选择问题多项式时间内难以近似求解，提出基于图神经网络的RS-GNN模型，利用图结构有效求解该问题，在8个基准上显著优于现有基线。
2023-07-19 cs.CC cs.LG
When Connected Does Not Mean Similar: Charting the Homophily Boundary of SNAP-KG for Streaming Entity Integration
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文探讨SNAP-KG在无同质性关系时聚类性能骤降，指出同质性假设是方法家族共性，并提出未来通过蒸馏异质性感知教师模型以扩展其适用性。
2026-09-14 cs.LG
PSP: Pre-Training and Structure Prompt Tuning for Graph Neural Networks
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）；Baidu Inc.（百度公司）
提出PSP框架，通过双视图对比学习对齐节点属性与图结构，并在预训练和提示微调阶段一致利用结构信息，有效提升GNNs在同配和异配图少样本场景下的分类性能。
2024-06-01 cs.LG
Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples
Central South University（中南大学）；National University of Defence Technology（国防科技大学）；Changsha University of Science and Technology（长沙理工大学）
近年来，使用自监督学习框架来学习图的一般特征被认为是图表示学习的一个有前途的范例。图神经网络自监督学习策略的核心在于构造合适的正样本选择策略。然而，现有的GNN通常聚合来自相邻节点的信息以更新节点表示，导致过度依赖于相邻的正样本，即，嗜同性样品;而忽略长距离阳性样品，即，正样本在图上相距很远，但在结构上是等效的样本，我们称之为“邻居偏见”。“这种邻居偏差会降低GNN的泛化性能。在本文中，我们认为GNNs的泛化性能应该通过组合同质样本和结构等价样本来确定，我们称之为“GC组合假设”。因此，我们提出了一种拓扑信号驱动的自监督方法。它使用拓扑信息引导的结构等价抽样策略。首先，我们提取多尺度的拓扑特征，使用持久同源。然后根据节点对的拓扑特征计算其结构等价性。特别地，我们设计了一个拓扑损失函数来拉入表示空间中具有高结构等价性的非相邻节点对，以减轻邻居偏差。最后，我们使用联合训练机制来调整结构等价对模型的影响，以适应具有不同特征的数据集。我们在七个图数据集上对节点分类任务进行了实验。结果表明，拓扑信号增强策略可以有效地提高模型的性能。
2022-12-08 cs.AI cs.LG cs.NI
GraphWorld: Fake Graphs Bring Real Insights for GNNs
Google Research（谷歌研究院）
尽管在图神经网络（GNN）领域取得了进展，但目前只有少量（~5）数据集用于评估新模型。这种对少数数据集的持续依赖使得对模型之间的性能差异的了解微乎其微，对于那些可能拥有与学术基准数据集非常不同的数据集的行业从业者来说尤其具有挑战性。在Google的GNN基础设施和开源软件的工作过程中，我们一直在寻求开发改进的基准测试，这些基准测试是健壮的、可调的、可扩展的和可推广的。在这项工作中，我们介绍了GraphWorld，这是一种新的方法和系统，用于在任何可能的GNN任务的任意大的合成图上对GNN模型进行基准测试。GraphWorld允许用户有效地生成一个包含数百万统计上不同的数据集的世界。它是可访问的，可扩展的，易于使用。GraphWorld可以在没有专用硬件的单台机器上运行，也可以轻松扩展到任意集群或云框架上运行。使用GraphWorld，用户可以对图形生成器参数进行细粒度控制，并可以使用内置的超参数调优对任意GNN模型进行基准测试。我们从GraphWorld实验中获得了关于数以万计的GNN模型在数百万个基准数据集上的性能特征的见解。我们进一步表明，GraphWorld有效地探索了标准基准测试所发现的基准数据集空间区域，揭示了历史上无法获得的模型之间的比较。使用GraphWorld，我们还能够详细研究图属性和任务性能指标之间的关系，这在经典的真实世界基准测试中几乎是不可能的。
2022-07-07 cs.LG cs.SI
Benchmarks for Graph Embedding Evaluation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
图嵌入是在低维空间中表示图的节点的任务，其在图任务中的应用在学术界和工业界都获得了显着的牵引力。最近提出的许多图嵌入方法之间的主要区别是它们保持图的固有属性的方式。然而，在实践中，比较这些方法是非常具有挑战性的。大多数方法报告的性能提升少数选定的真正的图形。因此，很难将这些性能改进推广到其他类型的图。给定一个图表，目前不可能量化一种方法相对于另一种方法的优势。在这项工作中，我们引入了一个原则性的框架来比较图嵌入方法。我们的目标有三个方面：（i）提供一个统一的框架，用于比较各种图形嵌入方法的性能，（ii）建立一个具有不同结构属性的真实图形的基准，以及（iii）为用户提供一个工具，以确定最佳的图形嵌入方法。本文评估了4个最有影响力的图嵌入方法和4个传统的链接预测方法对语料库的100个真实世界的网络具有不同的属性。我们根据它们的属性组织了100个网络，以更好地了解这些流行方法的嵌入性能。我们使用100个基准图的比较来定义GFS-score，它可以应用于任何嵌入方法来量化其性能。我们使用GFS评分对最先进的嵌入方法进行排名，并表明它可用于理解和评估新型嵌入方法。我们设想，拟议的框架（https：//www.github.com/palash1992/GEM-Benchmark）将作为一个基准平台，测试和比较未来的图嵌入技术的性能。
2019-08-26 cs.LG cs.SI
NoisyGL: A Comprehensive Benchmark for Graph Neural Networks under Label Noise
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出首个标签噪声下图神经网络综合基准NoisyGL，通过统一实验设置和接口实现GLN方法的公平比较与深入分析，并揭示了多项被以往研究忽略的重要发现。
2024-06-07 cs.LG cs.SI
AdaFGL: A New Paradigm for Federated Node Classification with Topology Heterogeneity
Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
针对联邦图学习中多客户端子图拓扑同配或异配不一致的问题，提出两步解耦的个性化AdaFGL范式，并在12个基准上显著优于现有方法。
2024-01-22 cs.AI cs.DB cs.LG
RoSA: A Robust Self-Aligned Framework for Node-Node Graph Contrastive Learning
Zhejiang University（浙江大学）
图对比学习近年来取得了重大进展。然而，现有的工作很少探讨非对齐节点节点对比。在本文中，我们提出了一种新的图对比学习方法命名为RoSA，重点是利用非对齐的增强视图的节点级表示学习。首先，我们利用推土机的距离来模拟将一个视图的分布转换为另一个视图的最小努力，作为我们的对比目标，这不需要视图之间的对齐。然后，我们引入对抗训练作为辅助方法，以增加采样多样性并增强模型的鲁棒性。实验结果表明，在同构图、非同构图和动态图上，RoSA的性能优于一系列图对比学习框架，验证了本文工作的有效性.据我们所知，RoSA是第一个专注于非对齐节点-节点图对比学习问题的工作。我们的代码可从以下网址获得：\href{https://github.com/ZhuYun97/RoSA}{\texttt{https://github.com/ZhuYun97/RoSA}}
2022-04-29 cs.AI cs.LG
Wiki-CS: A Wikipedia-Based Benchmark for Graph Neural Networks
University of Cambridge（剑桥大学）
我们介绍了Wiki-CS，一个来自维基百科的新数据集，用于对图神经网络进行基准测试。该数据集由对应于计算机科学文章的节点组成，边缘基于超链接，10个类代表该领域的不同分支。我们使用数据集来评估半监督节点分类和单关系链接预测模型。我们的实验表明，这些方法在一个新的域上表现良好，具有不同于早期基准的结构特性。该数据集以及数据管道和基准实验的实现都可以在https://github.com/pmernyei/wiki-cs-dataset上公开获得。
2022-01-09 cs.LG cs.SI stat.ML
Benchmarking Graph Neural Networks on Link Prediction
Auburn University（奥本大学）
在本文中，我们基准测试几个现有的图神经网络（GNN）模型在不同的数据集上的链接预测。特别地，图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）以及变分图自动编码器（VGAE）被实现为专用于链接预测任务，执行深入分析，并且复制来自几篇不同论文的结果，还提供了更公平和系统的比较。我们的实验表明，这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
Taxonomy of Benchmarks in Graph Representation Learning
Michigan State University（密歇根州立大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Utah（犹他大学）；ETH Zürich（苏黎世联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；TU Munich（慕尼黑工业大学）
图神经网络（GNN）通过考虑其内在几何结构将神经网络的成功扩展到图结构数据。虽然已经根据一系列图表示学习基准对开发具有优异性能的GNN模型进行了广泛的研究，但目前还不清楚它们探索了给定模型的哪些方面。例如，他们在多大程度上测试模型利用图结构与节点特征的能力？在这里，我们开发了一种原则性的方法，根据$\textit{sensitivity profile}$对基准测试数据集进行分类，该方法基于GNN性能由于图形扰动的集合而发生的变化。我们的数据驱动分析提供了对GNN利用哪些基准数据特征的更深入理解。因此，我们的分类法可以帮助选择和开发足够的图形基准，以及更好地评估未来的GNN方法。最后，我们的方法和实现在$\texttt{GTaxoGym}$包可扩展到多个图预测任务类型和未来的数据集。
2022-11-30 cs.LG
Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs
Guangzhou University（广州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Huazhong University of Science and Technology（华中科技大学）
针对图分类基准能否有效区分GNN与其他方法进步的问题，提出实证方案和量化数据集有效性的新指标，探究低有效性成因并开发可控合成数据集生成技术，推动基准发展。
2024-07-06 cs.LG
