Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Rethinking Graph Transformer Architecture Design for Node Classification
Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制实验室)
针对图Transformer在节点分类中易受全局噪声影响且难以扩展到大型图的问题,本文提出基于传播与转换解耦的GNNFormer架构,有效提升了同质与异质场景下的分类性能与计算效率。
2024-10-15 cs.LG
Node Classification and Search on the Rubik's Cube Graph with GNNs
本研究提出将3x3x3魔方距离近似转化为节点分类问题,利用GNNs在随机子图上训练以构建$A^*$搜索的启发式函数,并与DeepCubeA模型进行了实验对比。
2025-01-31 cs.LG
Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
使用图神经网络(GNN)的节点分类已经广泛应用于各种现实场景中。然而,近年来,令人信服的证据表明,基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化,例如随机连接或对抗攻击。已经提出了各种解决方案,例如拓扑去噪方法和机制设计方法,以开发鲁棒的基于GNN的节点分类器,但是这些工作都不能完全解决与拓扑扰动相关的问题。最近,贝叶斯标签转换模型被提出来解决这个问题,但其收敛速度慢,可能会导致性能较差。在这项工作中,我们提出了一个新的标签推理模型,即LInDT,它集成了贝叶斯标签转换和基于拓扑的标签传播,以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法,因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测,从而更好地收敛标签推理。此外,LIndT采用非对称狄利克雷分布作为先验,这也有助于它改进标签推理。在五个图数据集上的大量实验表明,在三种拓扑扰动情况下,LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
On Calibration of Graph Neural Networks for Node Classification
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
图可以通过用节点和边来表示实体及其交互来模拟真实世界的复杂系统。为了更好地利用图结构,已经开发了图神经网络,其学习用于诸如节点分类和链接预测的任务的实体和边缘嵌入。这些模型在准确性方面实现了良好的性能,但与预测相关联的置信度得分可能没有被校准。这意味着分数可能无法反映预测事件的真实概率,这对于安全关键型应用程序尤为重要。尽管图神经网络被用于广泛的任务,但是其校准尚未被充分探索。研究了节点分类的图神经网络的标定问题,研究了现有后处理标定方法的效果,分析了模型容量、图密度和一种新的损失函数对标定的影响。此外,我们提出了一种拓扑感知的校准方法,考虑到相邻节点,并产生改进的校准相比,基线方法。
2022-06-03 cs.LG
GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks
College of Information Science and Technology, Penn State University(宾夕法尼亚州立大学信息科学与技术学院)
节点分类是图学习中的一个重要研究课题。图神经网络(GNN)已经实现了节点分类的最新性能。然而,现有的GNN解决了不同类的节点样本平衡的问题;而对于许多现实场景,某些类的实例可能比其他类少得多。在这种情况下,直接训练GNN分类器将不充分表示来自那些少数类别的样本,并导致次优性能。因此,开发用于不平衡节点分类的GNN非常重要。然而,这方面的工作相当有限。因此,我们寻求将先前的用于i.i.d数据的不平衡学习技术扩展到不平衡节点分类任务,以促进GNN分类器。特别是,我们选择采用合成少数过采样算法,因为它们被发现是最有效和最稳定的。这个任务是不平凡的,因为以前的合成少数过采样算法未能提供新合成的样本,这是至关重要的学习图的关系信息。此外,节点属性是高维的。在原始输入域中直接过采样可能会产生域外样本,这可能会损害分类器的准确性。我们提出了一个新的框架,GraphSMOTE,其中嵌入空间被构造成编码节点之间的相似性。在这个空间中合成新的样品以确保准确性。此外,还同时训练边缘生成器来对关系信息进行建模,并将其提供给那些新的样本。该框架是通用的,并且可以容易地扩展为不同的变体。使用三个不同的数据集对所提出的框架进行了评估,它的性能优于所有基线,并且具有很大的优势。
2021-03-16 cs.LG
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks
Texas A&M University(德州农工大学)
随着图数据在许多实际应用中的出现,研究图特征学习变得非常重要。几种图神经网络方法被提出用于节点特征学习,并且它们通常遵循邻近信息聚合方案来学习节点特征。虽然已经取得了很大的性能,不同的邻居节点的权重学习仍然很少探索。在这项工作中,我们提出了一种新的图网络层,称为Node2Seq,用于学习具有不同相邻节点的显式可训练权重的节点嵌入。对于目标节点,我们的方法通过注意力机制对其相邻节点进行排序,然后采用1D卷积神经网络(CNN)来实现信息聚合的显式权重。此外,我们建议将非本地信息的特征学习的自适应方式的基础上的注意力分数。实验结果表明,我们提出的Node2Seq层的有效性,并表明,所提出的自适应非局部信息学习可以提高特征学习的性能。
2021-01-06 cs.LG
$\mathcal{G}^2Pxy$: Generative Open-Set Node Classification on Graphs with Proxy Unknowns
Shenzhen University(深圳大学);Griffith University(格里菲斯大学)
本文提出生成式开放集节点分类方法G²Pxy,在归纳设置下通过mixup生成类间与外部代理未知节点,将封闭集分类器扩展为开放集分类器,并结合交叉熵与补熵损失,有效提升未知类检测和已知类分类性能。
2023-08-10 cs.LG
Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition
Fudan University(复旦大学)
本文提出一种结合偏差-方差分解的新方法,通过图增强估计方差并设计正则化项,有效缓解图神经网络中的类别不平衡问题,在多个基准上超越现有方法。
2025-02-25 cs.LG
Virtual Node Tuning for Few-shot Node Classification
Arizona State University(亚利桑那州立大学);ByteDance Research(字节跳动研究院)
针对少样本节点分类中基类标签不足的现有方法失效问题,提出带GPPE模块的虚拟节点调优方法,以预训练图Transformer为编码器、虚拟节点为软提示,在四个数据集上性能超越现有SOTA及全监督基线。
2023-06-09 cs.LG
Topology-Imbalance Learning for Semi-Supervised Node Classification
Tencent Inc.(腾讯公司);Peking University(北京大学)
类不平衡问题作为学习节点表示中的一个重要问题,越来越受到社会各界的关注。虽然现有研究所考虑的不平衡根源于不同类别中标记示例的不相等数量(数量不平衡),但我们认为,图数据暴露了标记节点的不对称拓扑特性的唯一不平衡来源,即,标记的节点就其在图中的结构角色而言是不相等的(拓扑不平衡)。在这项工作中,我们首先探讨了以前未知的拓扑不平衡问题,包括其特征,原因和威胁半监督节点分类学习。然后,我们提供了一个统一的观点,联合分析数量和拓扑不平衡的问题,考虑节点的影响力转移现象与标签传播算法。根据我们的分析,我们设计了一个基于影响冲突检测的度量龙猫来衡量图的拓扑不平衡的程度,并提出了一个模型无关的方法ReNode来解决拓扑不平衡的问题,通过重新加权标记节点的影响自适应基于它们的相对位置类边界。系统实验表明,该方法在缓解拓扑不平衡问题和促进半监督节点分类方面的有效性和通用性。进一步的分析揭示了不同的图神经网络对拓扑不平衡的不同敏感性,这可能成为评估GNN结构的一个新视角。
2021-10-08 cs.LG
Label-Enhanced Graph Neural Network for Semi-supervised Node Classification
Beihang University(北京航空航天大学)
图神经网络在半监督节点分类中得到了广泛的应用,其关键在于如何充分利用有限但有价值的标签信息。大多数经典的GNN只使用已知的标签来计算输出的分类损失。近年来,已经设计了几种方法来额外地利用输入处的标签。一部分方法通过连接或添加标签的独热编码来增强节点特征,而其他方法通过假设相邻节点倾向于具有相同的标签来优化图结构。为了充分发挥标签的丰富信息,本文提出了一种用于GNN的标签增强学习框架,该框架首先将每个标签建模为类内节点的虚拟中心,然后联合学习节点和标签的表示。我们的方法不仅可以平滑属于同一类的节点的表示,而且还可以显式地将标签语义编码到GNN的学习过程中。此外,训练节点的选择技术,以消除潜在的标签泄漏问题,并保证模型的泛化能力。最后,提出了一种自适应的自训练策略,在模型训练过程中,通过迭代的方式增加训练集,增加更可靠的伪标签,并区分每个伪标签节点的重要性。在真实世界和合成数据集上的实验结果表明,我们的方法不仅可以始终优于最先进的技术,而且还可以有效地平滑类内节点的表示。
2022-12-23 cs.LG
Normalize Then Propagate: Efficient Homophilous Regularization for Few-shot Semi-Supervised Node Classification
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出NormProp算法,通过解耦节点表示的方向与欧几里得范数并引入同质性正则化,在少样本半监督节点分类的低标签率场景下以低计算复杂度实现了最先进的性能。
2025-01-15 cs.LG
Diffusion Probabilistic Models for Structured Node Classification
POSTECH(浦项科技大学);KAIST(韩国科学技术院)
针对部分标记图上的结构化节点分类,提出基于扩散概率模型的DPM-SNC框架,通过逆向扩散学习标签联合分布并结合流形约束采样,设计新训练算法与AGG-WL理论分析,在直推和归纳场景均验证优越性。
2023-06-19 cs.LG
A pipeline for fair comparison of graph neural networks in node classification tasks
Zhejiang University of Technology(浙江工业大学);Zhejiang Institute of Mechanical & Electrical Engineering(浙江机电职业技术学院);University of Portsmouth(朴茨茅斯大学)
已经研究了图神经网络(GNN)在采用图数据的多个领域中的潜在适用性。然而,没有标准的训练设置来确保新方法之间的公平比较,包括不同的模型架构和数据增强技术。我们引入了一个标准的,可重复的基准,相同的训练设置可以应用于节点分类。对于这个基准测试,我们构建了9个数据集,包括来自不同领域的中小规模数据集和7个不同的模型。我们为小数据集设计了一个k倍模型评估策略,为所有数据集设计了一套标准的模型训练程序,为GNN提供了一个标准的实验管道,以帮助确保公平的模型架构比较。我们使用node2vec和拉普拉斯特征向量来执行数据增强,以研究输入特征如何影响模型的性能。我们发现拓扑信息是重要的节点分类任务。增加模型层的数量不会提高性能,但在PATTERN和CLUSTER数据集上除外,在这两个数据集中,图形是不连接的。数据增强非常有用,特别是在基线中使用node2vec,可以显著提高基线性能。
2020-12-19 cs.LG
Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors
KAIST(韩国科学技术院)
本文提出NodePFN,通过学习后验预测分布实现对任意图的通用节点分类,无需图特定训练,利用合成图先验生成多样化的图结构和特征-标签关系。
2026-04-21 cs.LG
NODE-SELECT: A Graph Neural Network Based On A Selective Propagation Technique
University of South Carolina(南卡罗来纳大学);Drexel University(德雷塞尔大学)
虽然存在用于节点分类的各种各样的图神经网络(GNN),但是其中只有少数采用在消息传递过程中有效地针对噪声传播的机制。此外,显著影响图神经网络的一个非常重要的挑战是可扩展性问题,这限制了它们在更大图中的应用。在本文中,我们提出了我们的方法命名为NODE-SELECT:一个有效的图神经网络,使用子集层,只允许最好的共享拟合节点来传播他们的信息。通过在每个层中并行堆叠选择机制,我们提出的方法NODE-SELECT能够减少传播的噪声量,并适应现实世界中观察到的限制性共享概念。我们的NODE-SELECT在噪声实验中显著优于现有的GNN框架,并在不同基准数据集上的无噪声实验中匹配最先进的结果。
2021-02-17 cs.LG
Graph Neural Networks with Precomputed Node Features
ETH Zurich(苏黎世联邦理工学院)
大多数图神经网络(GNN)无法区分某些图或图中的某些节点对。这使得无法解决某些分类任务。但是,向这些模型添加其他节点功能可以解决此问题。我们介绍了几个这样的增强,包括(i)位置节点嵌入,(ii)规范节点ID,和(iii)随机特征。这些扩展的动机是理论结果和合成子图检测任务的广泛测试证实。我们发现,位置嵌入显着优于其他扩展在这些任务。此外,位置嵌入具有更好的样本效率,在不同的图分布上表现良好,甚至优于使用地面真实节点位置的学习。最后,我们证明了不同的增强在已建立的GNN基准上具有竞争力,并建议何时使用它们。
2022-09-17 cs.LG
SAS: A Simple, Accurate and Scalable Node Classification Algorithm
ShanghaiTech University(上海科技大学)
图神经网络已经实现了用于图节点分类的最先进的准确性。然而,GNN很难扩展到大型图,例如,即使在中等大小的图上也经常遇到内存不足的错误。最近的工作试图使用两阶段的方法来解决这个问题,该方法首先沿着图边缘聚集数据,然后在不使用额外的图信息的情况下训练分类器。这些方法可以在更大的图上运行,并且比GNN快几个数量级,但分类精度较低。我们提出了一个新的两阶段算法的基础上,一个简单但有效的观察:我们应该首先训练分类器,然后聚集,而不是相反。我们证明了我们的算法比现有的两阶段算法更快,可以处理更大的图,同时实现与流行的GNN相当或更高的准确性。我们还提出了一个理论基础来解释我们的算法的准确性提高,通过给出一个合成的非线性数据集,其中在分类之前进行聚合实际上会降低准确性,而我们的分类然后聚合方法与单独分类相比大大提高了准确性。
2022-10-25 cs.LG
GNN-MultiFix: Addressing the pitfalls for GNNs for multi-label node classification
Delft University of Technology(代尔夫特理工大学)
本文针对GNN在多标签节点分类中即使数据充足也学习失败的问题,提出整合节点特征、标签和位置信息的GNN-MultiFix方法,并在多个多标签数据集上取得显著提升。
2024-11-21 cs.LG
Research on the application of graph data structure and graph neural network in node classification/clustering tasks
本文研究图数据结构、经典图算法与GNN,在节点分类和聚类任务上比较评估,证明GNN准确率提升43%至70%,并提出二者融合策略。
2025-07-20 cs.LG
Label-informed Graph Structure Learning for Node Classification
Center for Research on Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所智能感知与计算研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
图神经网络在各个领域都取得了巨大的成功。然而,大多数GNN方法对图结构的质量很敏感。为了解决这个问题,一些研究利用不同的图结构学习策略来改进原始图结构。然而,这些方法只考虑特征信息,而忽略了可用的标签信息。在本文中,我们提出了一种新的标签知情的图结构学习框架,通过类转移矩阵显式地结合标签信息。我们在七个节点分类基准数据集上进行了广泛的实验,结果表明我们的方法优于或匹配最先进的基线。
2021-08-10 cs.LG
NCGNN: Node-Level Capsule Graph Neural Network for Semisupervised Classification
Shanghai Jiao Tong University(上海交通大学)
消息传递已经发展成为设计图神经网络(GNN)的有效工具。然而,大多数现有的消息传递方法只是简单地求和或平均所有相邻的功能,以更新节点表示。它们受到两个问题的限制,即,(i)缺乏可解释性来识别对GNN的预测有重要意义的节点特征,以及(ii)特征过度混合,导致在捕获长范围依赖关系时的过度平滑问题,并且无法处理异质性或低同质性下的图。在本文中,我们提出了一个节点级胶囊图神经网络(NCGNN),以解决这些问题,改进的消息传递方案。具体来说,NCGNN将节点表示为节点级胶囊组,其中每个胶囊提取其对应节点的独特特征。对于每个节点级胶囊,一种新的动态路由过程的开发,以自适应地选择合适的胶囊聚合从所设计的图过滤器确定的子图。NCGNN只聚集有利的胶囊,并抑制不相关的消息,以避免过度混合功能的交互节点。因此,它可以缓解过度平滑的问题,并学习有效的节点表示的同胚或异质图。此外,我们提出的消息传递方案是固有的可解释性和免除复杂的事后解释,作为图过滤器和动态路由过程中确定的一个子集的节点功能,是最重要的模型预测从提取的子图。在合成图和真实图上的大量实验表明,NCGNN可以很好地解决过度平滑问题,并为半监督节点分类产生更好的节点表示。它在同质性和异质性下的表现都优于现有技术。
2022-06-16 cs.LG
Understanding GNNs and Homophily in Dynamic Node Classification
University of Michigan(密歇根大学)
本文探索动态环境下的同质性,提出动态同质性度量,揭示其与GNN判别性能的相关性,并证明流行GNNs对低动态同质性不够鲁棒。
2025-04-29 cs.LG
CPT: Competence-progressive Training Strategy for Few-shot Node Classification
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对少样本节点分类中传统元学习因随机分配任务导致次优解的问题,提出两阶段课程学习方法CPT,通过动态匹配任务难度与模型渐进能力,显著提升了分类性能。
2025-06-30 cs.LG
Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs
Microsoft Research India(微软印度研究院)
图神经网络(GNN)在节点标签方面表现出很强的同质性,即连接的节点具有相同的标签。然而,他们表现不佳的heterophilic图。最近的方法通常修改聚合方案,设计自适应图过滤器等,以解决这个限制。尽管如此,在异嗜图上的性能仍然很差。我们提出了一个简单的替代方法,利用截断奇异值分解(TSVD)的拓扑结构和节点功能。我们的方法实现了高达30%的改进性能比最先进的方法对heterophilic图。这项工作是一个早期的调查方法,不同的聚合为基础的方法。我们的实验结果表明,它可能是重要的,以探索其他替代聚集方法的嗜异性设置。
2021-06-24 cs.LG
GaLoRA: Parameter-Efficient Graph-Aware LLMs for Node Classification
GaLoRA通过整合结构信息提升LLMs在文本属性图节点分类中的性能,仅用0.24%的参数量即可达到与最新模型相当的效果。
2026-03-11 cs.LG
Shift-Robust Node Classification via Graph Adversarial Clustering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);KAIST(韩国科学技术院);Emory University(埃默里大学)
图神经网络(GNN)是图结构数据中的节点分类模型。然而,在测试时间期间,这些算法假设没有数据移位,即,$\Pr_\text{train}(X,Y) = \Pr_\text{test}(X,Y)$。域自适应方法可以用于数据转移,但它们中的大多数被设计为仅鼓励源数据和目标数据之间的相似特征分布。类上的条件转移仍然会影响这种适应。幸运的是,图在不同的数据分布中产生图同构。作为回应,我们提出了移位鲁棒节点分类(SRNC),以解决这些限制。我们在目标图上引入一个无监督的聚类GNN,根据图的同质性对相似的节点进行分组。在聚类目标上使用了带有源图标签信息的对抗损失。然后在聚类GNN生成的训练图和目标图上的对抗样本上分别优化了一个具有平移鲁棒性的分类器。我们分别对开集移位和表示移位进行了实验,实验结果证明了SRNC在推广到具有数据移位的测试图上的优越精度。SRNC始终优于先前的图上的SoTA域自适应算法,该算法逐步使用目标图上的模型预测进行训练。
2022-03-07 cs.LG
Generalized Equivariance and Preferential Labeling for GNN Node Classification
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
现有的图神经网络(GNN)在很大程度上依赖于节点嵌入,节点嵌入通过其身份、类型或内容将节点表示为向量。然而,具有无属性节点的图广泛存在于现实世界的应用中(例如,匿名社交网络)。以前的GNN要么为节点分配随机标签(这会给GNN引入伪影),要么为所有节点分配一个嵌入(这无法显式区分一个节点与另一个节点)。此外,当这些GNN应用于无属性节点分类问题时,它们具有不期望的等方差属性,这从根本上无法解决具有多个可能输出的数据。在本文中,我们分析了现有的节点分类问题的方法的局限性。我们的分析的启发,我们提出了一个广义的等方差属性和优先标签技术,满足所需的属性渐近。实验结果表明,我们取得了较高的性能在几个无属性的节点分类任务。
2022-02-26 cs.AI cs.LG
HOPE: Heterophily-Aware Open-Set Node Classification with Pseudo-Extrapolation
Griffith University(格里菲斯大学)
针对异质性图中开放集节点分类的挑战,提出HOPE方法,通过结构增强初始化、可信邻域聚合和异质性引导的伪外推策略,有效提升未知类拒绝能力,并在多个数据集上优于现有模型。
2026-09-09 cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University(贵州大学)
图卷积网络(GCN)通过从图数据中提取结构信息,在半监督节点分类领域已被证明是成功的。然而,随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中,我们提出了一种有效的方法,确定性选择标记的节点:确定性节点选择(DNS)算法。DNS算法识别图中的两类代表性节点:典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验,我们已经证明,与原始方法相比,DNS算法的引入可以显着提高模型的平均准确度,并显着降低标准差。
2023-01-11 cs.AI cs.LG
Dynamic Graph Node Classification via Time Augmentation
Visa Research(维萨研究院)
图结构数据的节点分类旨在对标签未知的节点进行分类。虽然静态图的研究是普遍的,很少有研究集中在动态图节点分类。动态图上的节点分类具有挑战性,原因有两个。首先,该模型需要捕获结构和时间信息,特别是在具有悠久历史的动态图上,需要大的感受野。其次,随着动态图的大小增加,模型的可伸缩性成为一个重要的问题。为了解决这些问题,我们提出了时间增强动态图神经网络(TADGNN)框架。TADGNN由两个模块组成:1)时间增强模块,它从结构上捕获节点在时间上的时间演化,创建时间增强的时空图,以及2)信息传播模块,它使用构建的时间增强图来学习每个节点在时间上的动态表示。我们在四个动态图基准上进行节点分类实验。实验结果表明,TADGNN框架优于几个静态和动态国家的最先进的(SOTA)GNN模型,同时表现出优越的可扩展性。我们还进行了理论和实证分析,以验证所提出的方法的效率。我们的代码可在https://sites.google.com/view/tadgnn上获得。
2022-12-07 cs.LG cs.SI
TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
由于相邻节点之间的相互作用,在类不平衡图数据下学习无偏节点表示是具有挑战性的。现有研究的共同点是,他们补偿的小类节点“作为一个组”,根据他们的整体数量(忽略节点连接图),这不可避免地增加了假阳性的情况下,主要节点。我们假设这些假阳性病例的增加受到每个节点周围标签分布的高度影响,并通过实验证实了这一点。此外,为了处理这个问题,我们提出了拓扑感知余量(TAM),以反映局部拓扑的学习目标。我们的方法比较了每个节点的连接模式与类平均对应部分,并自适应地调整相应的基础上,保证金。我们的方法在具有代表性GNN架构的各种节点分类基准数据集上始终表现出优于基线的优势。
2022-06-26 cs.AI cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore(新加坡国立大学)
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响,从而缓解类别不平衡节点分类中的偏差问题,并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
Graph Decipher: A transparent dual-attention graph neural network to understand the message-passing mechanism for the node classification
University of Colorado Denver(科罗拉多大学丹佛分校)
图神经网络可以有效地应用于为广泛不同领域的许多现实问题找到解决方案。图神经网络的成功与图上的消息传递机制有关,然而,大多数算法中的消息聚集行为仍然不完全清楚。为了改善功能,我们提出了一个新的透明网络,称为图形解密调查的消息传递机制,优先级在两个主要组成部分:图形结构和节点属性,在图形,功能和全局水平下的节点分类任务的图形。然而,计算负担现在成为最重要的问题,因为图的结构和节点属性的相关性计算上的图。为了解决这个问题,图特征过滤器只提取相关的代表性节点属性,允许以面向类别的方式执行计算。在7个数据集上的实验表明,Graph Decipher在节点分类任务下实现了最先进的性能,同时大大降低了计算负担。此外,由于我们的算法有能力探索的代表节点属性的类别,它是用来减轻不平衡的节点分类问题的多类图数据集。
2022-01-04 cs.AI cs.LG
Using Subgraph GNNs for Node Classification:an Overlooked Potential Approach
East China Normal University(东华师范大学)
SubGND通过引入子图分类方法和自适应特征缩放机制,在异质设置中实现了与全局GNNs相当或更优的节点分类性能。
2026-01-13 cs.AI cs.LG
Meta-Inductive Node Classification across Graphs
Singapore Management University(新加坡管理大学)
图上的半监督节点分类是一个重要的研究问题,在信息检索中有许多实际应用,例如社交网络上的内容分类和电子商务查询图上的查询意图分类。虽然传统的方法在很大程度上是传导性的,但最近的图神经网络(GNN)将节点特征与网络结构相结合,从而实现了可以应用于相同特征空间中的新节点甚至新图的归纳节点分类模型。然而,图间差异仍然存在于同一域内的图之间。因此,仅训练一个全局模型(例如,现有技术的GNN)来处理所有新的图,同时忽略图间差异,可能导致次优性能。本文研究了图上的归纳节点分类问题。与现有的一个模型适合所有的方法不同,我们提出了一种新的元归纳框架,称为MI-GNN,在元学习范式下为每个图定制归纳模型。也就是说,MI-GNN不直接学习归纳模型;它学习如何在新图上训练半监督节点分类模型的一般知识。为了处理图之间的差异,MI-GNN在图和任务级别都采用了双重自适应机制。更具体地说,我们在适应图级差异之前学习图,并且在适应以图为条件的任务级差异之前学习任务。对五个真实世界图集合的广泛实验证明了我们提出的模型的有效性。
2022-03-27 cs.LG cs.SI
Edge2Node: Reducing Edge Prediction to Node Classification
Amirkabir University of Technology(阿米尔卡比尔理工大学)
针对图神经网络边预测任务依赖评分函数的局限,提出名为 Edge2Node 的方法,通过构建新图将边预测归约为节点分类任务,直接获取边嵌入,为该领域提供了新思路。
2023-11-22 cs.LG cs.SI
Graph Neural Network with Curriculum Learning for Imbalanced Node Classification
Aerospace Information Research Institute, Chinese Academy Of Sciences(中国科学院空天信息研究院);School of Software, Tsinghua University(清华大学软件学院);National University of Singapore(新加坡国立大学)
图神经网络(GNN)是一种新兴的基于图的学习任务,如节点分类技术。在这项工作中,我们揭示了GNN的脆弱性节点标签的不平衡。传统的不平衡分类解决方案(例如,rescue)在节点分类中没有考虑图结构是无效的。更糟糕的是,由于缺乏足够的先验知识,它们甚至可能带来过拟合或欠拟合的结果。为了解决这些问题,我们提出了一种新的图神经网络框架与课程学习(GNN-CL)由两个模块。一方面,我们希望通过新的基于图的过采样,获得一定的可靠的插值节点和边缘的基础上光滑和同质性。另一方面,我们结合了图分类损失和度量学习损失,调整了特征空间中与少数类相关的不同节点之间的距离。受课程学习的启发,在训练过程中动态调整不同模块的权重,以获得更好的泛化和区分能力。通过几个广泛使用的图数据集评估了所提出的框架,表明我们提出的模型始终优于现有的最先进的方法。
2022-02-05 cs.AI cs.LG
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Rethinking Tokenized Graph Transformers for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心);Cornell University(康奈尔大学)
针对现有节点标记化图Transformer仅利用一阶邻居生成标记序列的局限,提出SwapGT方法,通过标记交换操作生成更优序列,结合Transformer骨干与中心对齐损失,在多数据集上提升节点分类性能。
2025-02-12 cs.AI cs.LG
Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
近年来,图神经网络(GNN)已经实现了节点分类的最新性能。然而,大多数现有的GNN都会受到图不平衡问题的困扰。在许多现实场景中,节点类是不平衡的,一些多数类构成了图的大部分。GNN中的消息传播机制将进一步放大这些多数类的优势,导致分类性能次优。在这项工作中,我们试图通过生成少数类的伪实例来平衡训练数据,扩展以前的基于过采样的技术来解决这个问题。这个任务是不平凡的,因为这些技术是在假设实例是独立的情况下设计的。忽视关系信息会使这种过采样过程变得复杂。此外,节点分类任务通常采用仅具有少数标记节点的半监督设置,从而为少数实例的生成提供不足的监督。生成的低质量的新节点会损害训练好的分类器。在这项工作中,我们解决这些困难,通过合成新的节点在一个构建的嵌入空间,编码节点属性和拓扑信息。此外,边生成器同时被训练来对图结构进行建模并为新样本提供关系。为了进一步提高数据效率,我们还探索合成混合的“中间”节点,以利用在这个过采样过程中的大多数类的节点。在真实数据集上的实验验证了该框架的有效性。
2022-06-10 cs.LG cs.SI
A Probabilistic Model for Node Classification in Directed Graphs
本文提出一种面向有向图的概率生成式分类模型,利用最大似然或最大后验估计预测节点标签,兼具高可解释性,并在两个数据集上取得优于或媲美最先进方法的性能。
2025-01-03 cs.LG cs.SI
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology(谢里夫理工大学)
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法,如图卷积网络(GCN),试图考虑节点属性(如果可用),除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面,多层图分析最近受到关注。然而,现有的多层图嵌入方法不能包含所有可用的信息(如节点属性)。此外,他们中的大多数考虑节点或边的类型,他们不处理层内和层间的边缘不同。在本文中,我们提出了一种称为MGCN的方法,利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明,该方法的优越性,其他多层和单层的竞争对手,也显示了积极的效果,使用跨层的边缘。
2019-08-24 cs.LG stat.ML
Node Classification in Random Trees
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种方法,用于对结构为随机树的对象进行分类,通过马尔可夫网络和图神经网络建模节点标签分布,优于现有方法。
2024-04-14 cs.LG cs.SI
Imbalanced Node Processing Method in Graph Neural Network Classification Task
近年来,图神经网络(GNNs)中的节点分类任务发展迅速,带动了各个领域研究的发展。然而,图数据中存在大量的类别不平衡,不同类别的数量之间存在很大的差距,导致分类结果不理想。提出解决不平衡问题的方案已成为我们成功推进下游任务的必要条件。因此,我们从损失函数入手,试图寻找一种能够有效解决图节点参与节点分类任务不平衡的损失函数。因此,我们在图神经网络中引入了GHMC损失来处理非边缘的困难样本。衰减边际样本和简单样本的损失贡献。在多个基准测试上的实验表明,该方法能有效地处理类不平衡问题,与传统的损失函数相比,准确率提高了3%.
2022-10-12 cs.CV cs.LG
On Node Features for Graph Neural Networks
EPFL(洛桑联邦理工学院);HUST(华中科技大学);Google(谷歌公司);Griffith University(格里菲斯大学)
图神经网络(GNN)是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而,这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明,如果节点特征和节点标签之间存在很强的相关性,GNN就能很好地工作。基于这些结果,我们提出了新的特征初始化方法,允许将图神经网络应用于非属性图。我们的实验结果表明,人工特征具有很强的竞争力,真正的功能。
2019-11-20 cs.LG stat.ML
Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification
Technical University of Munich(慕尼黑工业大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
图的节点特征和结构信息是半监督节点分类问题的关键。已经提出了各种基于图神经网络(GNN)的方法来解决这些问题,这些方法通常通过特征聚合来确定输出标签。这可能是有问题的,因为它意味着给定隐藏表示的输出节点的条件独立性,尽管它们在图中直接连接。为了了解图中输出节点之间的直接影响,我们提出了显式成对分解图神经网络(EPFGNN),它将整个图建模为部分可观察的马尔可夫随机场。它包含显式的成对因子来建模输出-输出关系,并使用GNN主干来建模输入-输出关系。为了平衡模型的复杂性和表现力,成对因子具有共享的分量和每个边缘的单独缩放系数。我们应用EM算法来训练我们的模型,并利用一个星型分段似然的易处理的代理目标。我们在各种数据集上进行了实验,结果表明,我们的模型可以有效地提高图上半监督节点分类的性能。
2021-07-27 cs.LG stat.ML
NodeImport: Imbalanced Node Classification with Node Importance Assessment
Johns Hopkins University(约翰斯·霍普金斯大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Grabtaxi Holdings Pte Ltd(Grab出租车控股私人有限公司)
针对图节点分类的类别不平衡问题,提出利用平衡元集评估节点重要性的方法,推导公式并开发新框架,能过滤有价值节点,构建高质量元集,实验证明该框架在缓解不平衡上具优越性。
2026-07-16 cs.AI cs.LG
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg(卢森堡大学);Criteo(科韬)
图神经网络(GNN)在图学习任务中占主导地位;然而,最近的研究表明,一种著名的图算法,标签传播(LP),结合浅层神经网络,可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中,我们表明,这种方法不符合低同伦图,其中节点往往连接到节点的相反类。为了克服这一点,我们精心设计了一个基础预测与LP算法,享有一个封闭的形式的解决方案,以及收敛保证的组合。我们的算法首先学习类兼容性矩阵,然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准,我们表明,我们的方法实现了领先的性能与各种层次的同质性图。同时,它具有数量级更少的参数,需要更少的执行时间。经验评估表明,简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI