Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Node Duplication Improves Cold-start Link Prediction
University of Washington(华盛顿大学);Snap Inc.(Snap公司);University of Notre Dame(诺特丹大学);University of California, Riverside(加州大学河滨分校)
针对图神经网络在链路预测中低度节点(冷启动场景)性能不佳的问题,提出即插即用的NodeDup节点复制增强技术,通过多视图视角提升性能,且不损害高度节点表现,实验验证了显著效果。
2025-08-01 cs.LG cs.SI
Editable Graph Neural Network for Node Classifications
Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学);Samsung Electronics America(三星电子美国公司)
针对GNN模型编辑中节点聚合导致编辑效应扩散、准确率大幅下降的问题,本文提出可编辑图神经网络EGNN,通过冻结GNN权重并拼接MLP来禁用编辑期间的传播,在多个图数据集上实现了更有效、更泛化且更高效的模型纠错。
2023-05-24 cs.LG cs.SI
Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs
Osaka University(大阪大学);TDAI Lab Co., Ltd.(TDAI实验室有限公司)
图神经网络(GNNs)在节点分类任务上取得了巨大的成功。尽管人们对开发和评估GNN有广泛的兴趣,但它们是用有限的基准数据集进行评估的。因此,GNN的现有评估缺乏对图的各种特征的细粒度分析。出于这一动机,我们进行了广泛的实验与合成图生成器,可以生成具有控制特性的细粒度分析的图形。我们的实证研究从具有节点类标签的真实世界图的四个主要特征中阐明了GNN的优点和缺点,即,1)类大小分布(平衡对不平衡),2)类之间的边连接比例(同性对异性),3)属性值(有偏对随机),以及4)图大小(小对大)。此外,为了促进未来对GNN的研究,我们公开发布了我们的代码库,允许用户使用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。
2022-12-28 cs.LG
Can GNNs Learn Link Heuristics? A Concise Review and Evaluation of Link Prediction Methods
Faculty of Engineering and Information Technology, University of Technology Sydney(工程与信息技术学院,悉尼大学);Faculty of Engineering and Information Sciences, University of Wollongong(工程与信息科学学院,沃林戈大学);College of Electrical Engineering, Zhejiang University(电气工程学院,浙江大学)
本文研究了图神经网络在链接预测中的能力,发现可训练节点嵌入能提升性能,且图密度越高提升越显著,为未来算法发展提供指导。
2025-12-07 cs.LG cs.SI
Graph Information Vanishing Phenomenon inImplicit Graph Neural Networks
Central South University(中南大学)
GNNs的关键问题之一是如何描述邻居节点在学习节点表示的聚合过程中的重要性。一类GNN通过学习隐式权重来表示邻居节点的重要性来解决这个问题,我们称之为隐式GNN,如图注意力网络。隐式GNN的基本思想是引入具有特殊属性的图信息,然后是可学习的转换结构(LTS),它通过数据驱动的方式对邻居节点的重要性进行编码。在本文中,我们认为,LTS使特殊属性的图信息在学习过程中消失,导致图信息无助于学习节点表示。我们称这种现象为图信息消失(GIV)。此外,我们发现,LTS映射不同的图形信息到高度相似的结果。为了验证上述两点,我们设计了两组70个随机实验,分别针对五种隐式GNNs方法和七个基准数据集,使用随机置换算子随机打乱图信息的顺序,并将图信息替换为随机值。我们发现随机化在93%的情况下不影响模型性能,约7%的情况下会导致平均0.5%的准确性损失。LTS映射不同图形信息生成的输出结果的余弦相似度在99%以上,占81%.实验结果证明了GIV在隐式GNN中的存在,并暗示了现有的隐式GNN方法没有很好地利用图信息。应重新考虑图信息和LTS之间的关系,以确保图信息用于节点表示。
2021-03-02 cs.LG cs.SI
Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?
McGill University(麦吉尔大学);Mila;DeepMind
图神经网络(GNNs)是对基本神经网络(NN)的扩展,它利用基于关系归纳偏差(homophily假设)的图结构。虽然GNN被认为在现实世界的任务中优于NN,但GNN相对于图不可知NN的性能优势似乎并不令人满意。异质性被认为是一个主要的原因,已经提出了许多工作来解决它。在本文中,我们首先表明,并不是所有的异质性的情况下是有害的GNNs与聚集操作。然后,我们提出了基于相似性矩阵的新度量,该矩阵考虑了图结构和输入特征对GNN的影响。通过对合成图的测试,证明了该度量方法优于常用的同质性度量方法。从度量和观察,我们发现一些有害的异质性的情况下,可以通过多元化操作来解决。有了这个事实和滤波器组的知识,我们提出了自适应通道混合(ACM)框架,以自适应地利用每个GNN层中的聚合,多样化和身份通道来解决有害的异质性。我们用10个真实世界的节点分类任务来验证ACM增强的基线。它们始终实现显着的性能增益,并在大多数任务上超过最先进的GNN,而不会产生显着的计算负担。
2021-09-12 cs.LG cs.SI
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
Node Classification and Search on the Rubik's Cube Graph with GNNs
本研究提出将3x3x3魔方距离近似转化为节点分类问题,利用GNNs在随机子图上训练以构建$A^*$搜索的启发式函数,并与DeepCubeA模型进行了实验对比。
2025-01-31 cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学)
图神经网络(GNNs)在图结构数据建模方面显示出了强大的能力。然而,现实世界的图通常包含结构噪声,并具有有限的标记节点。在这种图上训练时,GNN的性能会显著下降,这阻碍了GNN在许多应用中的采用。因此,重要的是开发具有有限标记节点的抗噪声GNN。然而,这方面的工作相当有限。因此,我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明,噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题,我们提出了一种新的框架,该框架采用噪声边缘作为监督来学习去噪和密集图,该框架可以降低权重或消除噪声边缘,并促进GNN的消息传递,以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测,以更好地训练GNN。在真实数据集上的实验结果表明,该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Node-wise Localization of Graph Neural Networks
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
图神经网络(GNN)是图上一个强大的表示学习模型家族。为了得到节点表示,他们利用一个全局模型,递归地聚合来自相邻节点的信息。然而,不同的节点在不同的局部上下文中位于图的不同部分,使得它们的分布在整个图中有所不同。理想情况下,节点接收其邻域信息的方式应该是其本地上下文的函数,以偏离所有节点共享的全局GNN模型。为了在不过度拟合的情况下利用节点局部性,我们通过考虑图的全局和局部方面,提出了GNN的节点局部化。在全局上,图上的所有节点都依赖于一个底层全局GNN来编码整个图中的一般模式;在局部上,每个节点都被本地化到一个唯一的模型中,作为全局模型及其局部上下文的函数。最后,我们在四个基准图上进行了广泛的实验,并始终获得了超越最先进GNN的有前途的性能。
2021-10-27 cs.LG cs.SI
Edge Entropy as an Indicator of the Effectiveness of GNNs over CNNs for Node Classification
Carnegie Mellon University(卡内基梅隆大学)
图神经网络(GNN)将卷积神经网络(CNN)扩展到基于图的数据。出现的一个问题是GNN中的底层图结构相对于CNN(忽略此图结构)提供了多少性能改进。为了解决这个问题,我们引入了边缘熵,并评估了它对GNN相对于CNN的性能改进的可能性。我们对合成数据集和真实数据集的节点分类结果表明,较低的边缘熵值预测GNN相对于CNN的预期性能增益较大,相反,较高的边缘熵导致预期较小的改进增益。
2020-12-16 cs.LG eess.SP
Meta-Weight Graph Neural Network: Push the Limits Beyond Global Homophily
Peking University(北京大学);Alibaba Inc(阿里巴巴集团)
图神经网络(GNNs)通过聚集邻居的信息并在下游任务中使用集成表示,在图数据采掘中显示出强大的表达能力。图中每个节点的相同聚合方法和参数用于使GNN能够利用同构关系数据。然而,并不是所有的图都是同构的,即使在同一个图中,分布也可能有很大的不同。在所有节点上使用相同的卷积可能会导致忽略各种图形模式。此外,许多现有的GNN集成节点特征和结构相同,这忽略了节点的分布,进一步限制了GNN的表达能力。为了解决这些问题,我们提出了Meta Weight图神经网络(MWGNN)来自适应地为不同的节点构造图卷积层。首先,我们从节点特征、拓扑结构和位置标识三个方面对节点局部分布(NLD)进行元权重建模。然后,基于元权重,我们生成自适应图卷积来执行特定于节点的加权聚合并提升节点表示。最后,我们设计了广泛的实验,在现实世界和合成基准,以评估MWGNN的有效性。这些实验表明,MWGNN在处理各种分布的图形数据时具有良好的表达能力。
2022-03-19 cs.LG cs.SI
Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Beihang University(北京航空航天大学);The Hong Kong Polytechnic University(香港理工大学)
本文通过充分调参与消融实验重新评估 GCN、GAT、GraphSAGE,发现经典 GNN 在 18 个数据集中的 17 个上可匹敌甚至超越 GT。
2024-10-28 cs.LG
Understanding GNNs and Homophily in Dynamic Node Classification
University of Michigan(密歇根大学)
本文探索动态环境下的同质性,提出动态同质性度量,揭示其与GNN判别性能的相关性,并证明流行GNNs对低动态同质性不够鲁棒。
2025-04-29 cs.LG
Towards Self-Explainable Graph Neural Network
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNNs)将深度神经网络推广到图结构数据,在图建模方面取得了巨大成功。然而,作为图的深度学习的扩展,GNN缺乏可解释性,这在很大程度上限制了它们在需要模型透明性的场景中的应用。虽然人们已经做出了很多努力来提高深度学习的可解释性,但它们主要集中在i.i.d数据上,这些数据不能直接用于解释GNN的预测,因为GNN利用节点特征和图拓扑来进行预测。关于GNN的可解释性的工作很少,他们专注于事后解释。由于事后解释不是直接从GNN中获得的,因此它们可能会有偏见并歪曲真实的解释。因此,在本文中,我们研究了一个新的问题,自我解释的GNNs,可以同时给出预测和解释。我们提出了一个新的框架,可以找到$K$ -最近的标记节点的每个未标记的节点,给出可解释的节点分类,其中最近的标记节点是由可解释的相似性模块的节点相似性和局部结构相似性。在真实世界和合成数据集上的大量实验证明了所提出的可解释节点分类框架的有效性。
2021-08-26 cs.LG
Unveiling the Role of Message Passing in Dual-Privacy Preservation on GNNs
University of Southern California(南加利福尼亚大学);University of Wyoming(怀俄明大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究揭示GNN中结构偏差下的消息传递是隐私泄露核心,提出含三大模块的双重隐私保护框架,在四个基准数据集上验证其可兼顾隐私保护与下游任务效用。
2023-08-25 cs.CR cs.LG cs.SI
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley(加州大学伯克利分校);LinkedIn(领英)
图神经网络(GNNs)作为深度学习的一个特殊领域,专注于提取网络的内在特征,在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的,鲁棒的,可扩展的和归纳的解决方案,使社交网络推荐系统具有丰富的网络功能,这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式,将子图中的高维异构信息编码到一个低维嵌入空间中。然而,一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中,我们提出了基于提升的GNN Meta学习器,它自动学习多个投影和相应的嵌入空间,捕获图形信号的不同方面。因此,子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外,AdaGNN与任何归纳GNN兼容,用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学)
图神经网络是关系数据表示学习的有效模型。然而,标准GNN的表达能力有限,因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍,GNN已经通过随机节点初始化(RNI)进行了增强,其中的想法是用随机初始节点特征训练和运行模型。在这项工作中,我们用RNI分析了GNNs的表达能力,并证明了这些模型是通用的,这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立,并且在预期中保持了GNN的不变性。然后,我们根据精心构建的数据集,实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Structack: Structure-based Adversarial Attacks on Graph Neural Networks
Graz University of Technology(格拉茨工业大学);Know Center GmbH(知识中心有限公司);RWTH Aachen(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所)
最近的研究表明,图神经网络(GNN)容易受到图数据上的对抗攻击。常见的攻击方法通常是通知的,即它们可以访问关于节点属性的信息,例如标签和特征向量。在这项工作中,我们研究了不知情的对抗攻击,其中攻击者只能访问图结构,但没有关于节点属性的信息。在这里,攻击者的目标是利用GNN模型对图数据所做的结构知识和假设。特别是,文献表明,结构节点中心性和相似性对GNN的学习有很大的影响。因此,我们研究了中心性和相似性对GNN上的对抗攻击的影响。我们证明,攻击者可以利用这些信息来降低GNN的性能,方法是专注于在低相似性的节点之间注入链接,令人惊讶的是,低中心性。我们表明,基于结构的不知情的攻击可以接近知情攻击的性能,同时计算效率更高。在我们的论文中,我们提出了一种新的GNN攻击策略,我们称之为Structack。Structack可以在严格的计算约束下成功地利用非常有限的信息操纵GNN的性能。我们的工作有助于在图上构建更强大的机器学习方法。
2021-07-28 cs.LG cs.SI
Using Subgraph GNNs for Node Classification:an Overlooked Potential Approach
East China Normal University(东华师范大学)
SubGND通过引入子图分类方法和自适应特征缩放机制,在异质设置中实现了与全局GNNs相当或更优的节点分类性能。
2026-01-13 cs.AI cs.LG
Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
本文将消息传递逆过程应用于三种 GNN 变体,在异配图上生成可区分节点表示,显著提升预测性能并可在数百层下缓解过平滑。
2024-06-11 cs.LG cs.SI
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
Korea University(高丽大学)
图神经网络(GNN)由于其对图结构数据的强大表示能力,已被广泛应用于各个领域。尽管GNN取得了成功,但大多数现有的GNN都被设计为学习固定和同构图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时,这些限制尤其成问题。为了解决这一限制,我们提出了能够生成新的图结构的图Transformer网络(GTN),其排除了噪声连接并包括有用的连接(例如,元路径),同时以端到端的方式学习新图形上的有效节点表示。我们进一步提出了GTN的增强版本,快速图Transformer网络(FastGTN),提高了图变换的可扩展性。与GTN相比,FastGTN的速度快230倍,使用的内存少100倍,同时允许与GTN相同的图形转换。此外,我们扩展图变换的语义接近的节点,允许非本地操作超越元路径。在同构图和异构图上的大量实验表明,具有非局部操作的GTN和FastGTN实现了节点分类任务的最新性能。代码可在以下网址获得:https://github.com/seongjunyun/Graph_Transformer_Networks
2021-06-11 cs.AI cs.LG cs.SI
Twin Weisfeiler-Lehman: High Expressive GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
通过Weisfeiler-Lehman(WL)测试,消息传递GNN的表达能力有上限。为了实现WL测试之外的高表达GNN,我们提出了一种新的图同构测试方法,即Twin-WL,它同时传递节点标签和节点身份,而不是只传递节点标签作为WL。身份传递机制编码了有根子图的完整结构信息,因此Twin-WL可以在区分图结构方面提供比WL更大的能力。在Twin-WL的基础上,通过定义有根子图上的读出函数,实现了两个Twin-GNN用于图分类:一个简单地读出有根子图的大小,另一个按照GNN的风格读出子图的丰富结构信息。我们证明了这两个Twin-GNN都比传统的消息传递GNN具有更高的表达能力。实验还表明,Twin-GNN在图分类任务中的表现明显优于最先进的方法。
2022-03-22 cs.LG
On Generalized Degree Fairness in Graph Neural Networks
Singapore Management University(新加坡管理大学)
传统的图神经网络(GNN)经常面临公平性问题,这些问题可能源于其输入,包括节点属性和节点周围的邻居。虽然最近已经提出了几种方法来消除源于敏感属性的偏差,但它们忽略了GNN的其他关键输入,即节点的邻居,这可能会引入偏差,因为GNN依赖于邻域结构来生成节点表示。特别是,节点之间不同的邻域结构,表现在截然不同的节点度上,导致节点的不同行为和有偏见的结果。在本文中,我们首先定义和推广的度偏差使用一个广义的定义节点度的表现和量化不同的多跳结构周围不同的节点。为了解决节点分类中的偏差,我们提出了一种新的GNN框架,称为广义度公平中心图神经网络(Deg-FairGNN)。具体而言,在每个GNN层中,我们采用可学习的去偏置函数来生成去偏置上下文,该上下文调制逐层邻域聚合以消除源自节点之间不同程度的程度偏差。在三个基准数据集上的大量实验证明了我们的模型在准确性和公平性指标上的有效性。
2023-02-20 cs.LG cs.SI
How Expressive Are Graph Neural Networks in the Presence of Node Identifiers?
Institute for Logic Language and Computation(逻辑语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Department of Computer Science(计算机科学系);University of Oxford(牛津大学);Lehrstuhl Informatik 7(信息学7系);RWTH Aachen University(亚琛工业大学)
本文研究了在存在唯一节点标识符时,图神经网络的表达能力,探讨了其在不同聚合方式下的表现。
2026-01-29 cs.LG cs.LO
On Performance Discrepancies Across Local Homophily Levels in Graph Neural Networks
University of Michigan(密歇根大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);RWTH Aachen University(亚琛工业大学)
本文研究图神经网络中节点局部同配水平偏离全局同配水平时的性能差异,通过理论与实证分析揭示局部同配偏移导致性能下降的机制,发现GNN难以泛化至偏离全局同配的节点,且专为异配图设计的GNN能缓解此差异。
2023-11-20 cs.LG cs.SI
Theoretical and Empirical Insights into the Origins of Degree Bias in Graph Neural Networks
University of California, Los Angeles(加州大学洛杉矶分校);University of Rochester(罗切斯特大学)
该研究针对图神经网络存在的度偏差问题,通过理论分析与8个真实网络实验,揭示了偏差的多方面起源,统一了部分过往假设并质疑了部分假设,提出了缓解偏差的路线图。
2024-10-31 cs.LG cs.SI
When Do Graph Neural Networks Help with Node Classification? Investigating the Impact of Homophily Principle on Node Distinguishability
McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Stanford University(斯坦福大学);HKUST(香港科技大学);Google DeepMind(谷歌DeepMind)
本文指出现有同质性研究忽略了类间节点可区分性,提出CSBM-H模型及PBE等指标量化ND,发现中度同质性陷阱,并提出基于假设检验的非线性性能指标,更有效揭示GNNs的优缺点。
2024-01-01 cs.LG cs.SI
Towards Precise Prediction Uncertainty in GNNs: Refining GNNs with Topology-grouping Strategy
KAIST(韩国科学技术院);AITRICS;Polymerize
针对GNN校准中邻域相似性假设的局限性,提出Simi-Mailbox方法,结合邻域相似性与节点置信度进行分组温度缩放,实现细粒度校准,最高降低13.79%预测误差。
2025-02-23 cs.LG
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning
The University of Queensland(昆士兰大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
随着各种应用中无处不在的图结构数据,能够学习节点的紧凑但富有表现力的向量表示的模型变得非常可取。近年来,基于消息传递范式的图神经网络极大地提高了图上节点表示学习的性能。然而,大多数GNN仅针对同构图设计,导致对具有各种类型节点和边的信息量更大的异构图的适应性较差。此外,尽管有必要为全新的节点(例如,在流场景中),很少有异构GNN可以绕过其中所有节点必须在训练期间已知的转导学习方案。此外,大多数异构GNN的训练效率受到其用于提取与每个元路径或关系相关联的语义的复杂设计的阻碍。在本文中,我们提出了广泛和深度的消息传递网络(WIDEN),以应付上述问题的异构性,诱导性和效率,很少一起研究图表示学习。在WIDEN中,我们提出了一种新的归纳,元路径的消息传递方案,包装了异构节点的功能,其相关的边缘从低和高阶邻居节点。为了进一步提高训练效率,我们创新性地提出了一种主动下采样策略,丢弃不重要的邻居节点,以促进更快的信息传播。在三个真实世界的异构图上的实验进一步验证了WIDEN在传导和归纳节点表示学习上的有效性,以及对最先进基线的优越训练效率。
2021-04-11 cs.LG cs.SI
Unsupervised Optimisation of GNNs for Node Clustering
School of Engineering Mathematics and Technology, University of Bristol(布里斯托尔大学工程数学与技术学院)
本文提出仅通过优化模块度而无须真实标签即可训练GNN进行节点聚类,并验证其可用于超参数调优、模型选择及预测真实性能,同时揭示GNN在特征与连接信息冲突时存在局限。
2024-02-20 cs.AI cs.LG
Tackling the Imbalance for GNNs
National Center for Applied Mathematics, Tianjin University(天津大学应用数学中心)
与用于非图数据分类的深度神经网络不同,图神经网络(GNN)在表示节点时利用节点(或样本)之间的信息交换。在几乎所有现有的基准GNN数据集上,类别分布都显示出不平衡甚至高度倾斜的趋势。这种不均衡的分布会导致少数类中节点的误分类,甚至导致整个数据集的分类性能下降。首先,定义了一个节点级指标--标签差异指标($LDI$),定量分析了不平衡性与误分类之间的关系。类中的样本越少,其平均值$LDI$越高;样本的$LDI$越高,样本被错误分类的可能性越大。我们定义了一个新的损失,并提出了四个新的方法的基础上$LDI$。实验结果表明,我们提出的四种新方法中的三种方法的分类精度更好,在转导和归纳设置。$LDI$可以应用于其他GNN。
2021-10-17 cs.LG
GraphViz2Vec: A Structure-aware Feature Generation Model to Improve Classification in GNNs
针对GNN初始嵌入随机、结构表征弱且易过平滑的问题,提出GraphViz2Vec方法,通过邻域能量图训练图像分类模型生成结构感知的初始嵌入,提升分类性能并缓解过平滑。
2024-01-30 cs.AI cs.LG cs.SI
Position: Spectral GNNs Are Neither Spectral Nor Superior for Node Classification
Department of Computer Science, University of Heriot-Watt, Edinburgh, UK(赫瑞-瓦特大学计算机科学系,爱丁堡,英国)
本文指出谱图神经网络在节点分类中未能有效捕捉图谱,其成功更多归因于消息传递动态而非谱方法,且部分模型因实现问题表现不佳。
2026-03-26 cs.LG
GNN-MultiFix: Addressing the pitfalls for GNNs for multi-label node classification
Delft University of Technology(代尔夫特理工大学)
本文针对GNN在多标签节点分类中即使数据充足也学习失败的问题,提出整合节点特征、标签和位置信息的GNN-MultiFix方法,并在多个多标签数据集上取得显著提升。
2024-11-21 cs.LG
On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs
Emory University(埃默里大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
图神经网络(GNN)已被广泛用于各种与图相关的问题,例如节点分类和图分类,其中主要在自然节点特征可用时建立优越的性能。然而,没有自然节点特征的GNN如何工作还没有很好的理解,特别是关于构建人工节点的各种方法。在本文中,我们指出了两种类型的人工节点特征,即,位置和结构节点特征,并提供关于为什么它们中的每一个更适合于某些任务的见解,即,位置节点分类、结构节点分类和图形分类。在10个基准数据集上进行的大量实验结果验证了我们的见解,从而为非属性图上GNN的不同人工节点特征之间的选择提供了实用指南。该代码可在https://github.com/zjzijielu/gnn-positional-structural-node-features上获得。
2022-09-09 cs.AI cs.LG cs.SI
Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision
CSIRO’s DATA61(澳大利亚联邦科学与工业研究组织DATA61部门)
使用图神经网络(GNNs)学习有用的节点和图表示是一项具有挑战性的任务。众所周知,深度GNN会受到过度平滑的影响,随着层数的增加,节点表示变得几乎无法区分,下游任务的模型性能显着下降。为了解决这个问题,我们提出了深度监督GNN(DSGNN),即,通过深度监督增强的GNN,其中在所有层学习的表示都用于训练。我们的经验表明,DSGNNs是弹性的过度平滑,可以超越节点和图形属性预测问题的竞争基准。
2022-02-25 cs.LG
GNNs Meet Sequence Models Along the Shortest-Path: an Expressive Method for Link Prediction
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
提出SP4LP框架,结合GNN节点编码与最短路径序列建模,以高效捕捉多跳结构模式,在链接预测基准上达到最先进性能并证明其表达力优于现有方法。
2026-11-05 cs.LG
What Do GNNs Actually Learn? Towards Understanding their Representations
University of Peloponnese(伯罗奔尼撒大学)
本文通过分析四个标准GNN模型学习到的节点表示,揭示了其与特定长度游走及初始节点特征的关系,建立了Lipschitz界,并用于解释过度压缩现象。
2024-11-22 cs.LG
Position-Sensing Graph Neural Networks: Proactively Learning Nodes Relative Positions
Australian National University (ANU)(澳大利亚国立大学);DATA61, CSIRO(联邦科学与工业研究组织DATA61);KFUPM(法赫德国王石油和矿产大学);SDAIA-KFUPM JRCAI(沙特数据和人工智能治理局-法赫德国王石油和矿产大学联合人工智能研究中心);OPPO US Research Center(OPPO美国研发中心);POSTECH(浦项科技大学);Curtin University(科廷大学);Obuda University Hungary(匈牙利奥布达大学)
针对现有图神经网络难学习节点相对位置、P-GNNs随机选锚点效果受限的问题,提出以可反向传播方式学习锚点选择的PSGNNs,规避NP完全性,在多任务数据集上性能显著优于前沿方法。
2024-11-03 cs.LG
A Collective Learning Framework to Boost GNN Expressiveness
Purdue University(普渡大学)
图神经网络(GNN)最近已被用于节点和图分类任务,并取得了巨大的成功,但GNN模型之间的依赖关系附近的相邻节点的属性,而不是观察到的节点标签之间的依赖关系。在这项工作中,我们考虑在监督和半监督环境中使用GNN进行归纳节点分类的任务,目标是纳入标签依赖性。因为当前的GNN不是通用的(即,最具表现力)的图形表示,我们提出了一种通用的集体学习方法来提高任何现有GNN的表示能力。我们的框架结合了集体分类与自监督学习的思想,并使用蒙特卡罗方法对图中的归纳学习进行采样嵌入。我们评估了五个真实网络数据集的性能,并证明了各种最先进的GNN在节点分类准确性方面的一致,显著的改进。
2020-09-28 cs.LG stat.ML
GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing
Indian Institute Of Technology, Bombay(印度理工学院孟买分校)
本文提出GGNNs,通过在消息传递机制中引入消息加权和残差连接来泛化GNNs,显著提升了图神经网络的学习能力与收敛速度。
2023-11-26 cs.AI cs.LG
On the approximation capability of GNNs in node classification/regression tasks
University of Siena(锡耶纳大学)
本文提出一种新方法证明GNNs在节点分类/回归任务中为概率通用逼近器,可逼近满足1-WL等价的可测函数,并给出所需层数上界$2r-1$。
2023-11-09 cs.CV cs.LG
Rethinking Multi-Label Node Classification: Do Tuned Classic GNNs Suffice?
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文从强基线角度重新审视多标签节点分类,探讨精心调优的经典全图GNN是否能成为有效解决方案,实验表明调优后的基线在多个数据集上优于专用方法。
2026-05-02 cs.LG
Dual GNNs: Graph Neural Network Learning with Limited Supervision
Carleton University(卡尔顿大学)
图神经网络(GNN)需要相对大量的标记节点和可靠/未损坏的图连接结构,以便在半监督节点分类任务上获得良好的性能。GNN的性能会随着标记节点数量的减少或图连接结构被对抗攻击破坏或由于数据测量/收集中的噪声而显著降低。因此,重要的是要开发GNN模型,当监督知识有限时,能够实现良好的性能-一些标记的节点和嘈杂的图结构。在本文中,我们提出了一种新的双GNN学习框架来解决这一挑战性任务。该框架有两个基于GNN的节点预测模块。主模块使用输入图结构来诱导具有常规GNN基线的常规节点嵌入和预测,而辅助模块通过细粒度谱聚类构建新的图结构并学习新的节点嵌入和预测。通过将这两个模块集成到双GNN学习框架中,我们以端到端的方式进行联合学习。这一总体框架可以应用于许多GNN基线模型。实验结果表明,当标记节点较少且图连通结构有噪声时,所提出的对偶GNN框架可以大大优于GNN基线方法。
2021-06-29 cs.AI cs.LG
GRAPHTEXTACK: A Realistic Black-Box Node Injection Attack on LLM-Enhanced GNNs
针对现有单模态攻击对LLM增强GNN效果有限、攻击假设不现实的问题,提出黑盒多模态节点注入攻击GRAPHTEXTACK,通过进化优化框架构造注入节点,实验证明其攻击效果显著优于现有基线。
2025-11-16 cs.CR cs.LG
Personalized Layer Selection for Graph Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Visa Research(Visa研究)
针对GNN固定层数无法适应不同节点粒度的问题,提出MetSelect1算法,为每个节点选择最优层进行分类,在10个数据集上显著提升准确率并增强鲁棒性。
2025-06-18 cs.LG
Can TabPFN Compete with GNNs for Node Classification via Graph Tabularization?
KAIST(韩国科学技术院)
TabPFN-GN通过将图数据转换为表格特征,实现了在节点分类任务中与GNNs竞争甚至超越的性能,展示了系统性特征工程在连接表格与图领域方面的潜力。
2025-12-09 cs.AI cs.LG
Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning
Purdue University(普渡大学);Stanford University(斯坦福大学)
学习图中节点集的表示对于从节点角色发现到链接预测和分子分类的应用是至关重要的。图神经网络在图表示学习方面取得了巨大的成功。然而,GNN的表达能力受到1-Weisfeiler-Lehman(WL)测试的限制,因此GNN为实际上可能非常不同的图子结构生成相同的表示。最近通过模仿高阶WL测试提出的更强大的GNN只专注于表示整个图,并且它们在计算上效率低下,因为它们不能利用底层图的稀疏性。在这里,我们提出并数学分析了一般类的结构相关的功能,称为距离编码(DE)。DE帮助GNN表示任何节点集,同时提供比1-WL测试更严格的表达能力。DE捕获要学习其表示的节点集与图中每个节点之间的距离。为了捕获距离,DE可以应用各种图距离度量,例如最短路径距离或广义PageRank分数。我们提出了两种方式让GNN使用DE(1)作为额外的节点特征,以及(2)作为GNN中消息聚合的控制器。这两种方法都可以利用底层图的稀疏结构,从而提高计算效率和可扩展性。我们还证明了DE可以区分嵌入在几乎所有常规图中的节点集,而传统的GNN总是失败。我们评估DE在六个真实网络上的三个任务:结构角色预测,链接预测和三角预测。结果表明,我们的模型在准确性和AUROC方面优于没有DE的GNN高达15%。此外,我们的模型也明显优于其他专门为上述任务设计的最先进的方法。
2020-10-29 cs.LG stat.ML
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon(亚马逊)
图神经网络(GNN)在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而,他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况,即节点可能没有邻居,称为严格冷启动(SCS)。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew,这是一种师生蒸馏方法,用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率(FCR),这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明,FCR解开不同的图形数据组件的贡献,并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能,其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries
Imperial College London(帝国理工学院);Twitter(推特);Purdue University(普渡大学);University of Oxford(牛津大学);NVIDIA Research(英伟达研究院)
子图GNN是最近一类表达性图神经网络(GNN),其将图建模为子图的集合。到目前为止,可能的子图GNN架构的设计空间以及它们的基本理论属性在很大程度上仍然是未开发的。在本文中,我们研究了最突出的形式的子图方法,它采用基于节点的子图选择策略,如自我网络或节点标记和删除。我们解决两个中心问题:(1)这些方法的表达能力的上限是什么?(2)这些子图集合上的等变消息传递层族是什么?我们在回答这些问题的第一步是一个新的对称性分析表明,建模的对称性的基于节点的子图集合需要一个显着较小的对称群比在以前的作品中采用的。然后,该分析用于建立子图GNN和不变图网络(IGN)之间的链接。我们首先通过3-WL限制子图方法的表达能力来回答上述问题,然后为子图方法提出一个通用的消息传递层家族,该家族概括了所有以前的基于节点的子图GNN。最后,我们设计了一个新的子图GNN称为SUN,它在理论上统一了以前的架构,同时在多个基准测试中提供了更好的经验性能。
2022-10-13 cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh(孟加拉国独立大学)
图神经网络(GNN)通过聚集来自图中的邻域的信息来学习节点的低维表示。然而,传统的GNN由于其本地($l$ -跳邻域)聚合方案而遭受两个基本缺点。第一,并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点,因此不相关的信息被聚合,这降低了表示的质量。其次,传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制,我们利用互信息(MI)来定义两种类型的邻居,1)\textit{Local Neighborhood},其中节点在社区内密集连接,每个节点将与其邻居共享更高的MI,以及2)\textit{Non-Local Neighborhood},其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示,我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外,我们利用自我监督学习来估计MI与少量的标记数据。最后,我们表明,我们的模型显着优于国家的最先进的方法,在广泛的双折射和双折射图。
2021-04-27 cs.LG
Collaborative Graph Neural Networks for Attributed Network Embedding
Texas A&M University(德克萨斯农工大学);The Hong Kong Polytechnic University(香港理工大学);University of Virginia(弗吉尼亚大学);Rice University(莱斯大学)
针对现有图神经网络对节点属性利用不足的问题,本文提出协作图神经网络CONN,通过选择性扩散节点与属性消息、联合重建两类交互提升性能,在真实网络实验中显著优于现有最优嵌入算法。
2023-07-22 cs.IR cs.LG cs.SI