Generalized Equivariance and Preferential Labeling for GNN Node Classification
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
现有的图神经网络(GNN)在很大程度上依赖于节点嵌入,节点嵌入通过其身份、类型或内容将节点表示为向量。然而,具有无属性节点的图广泛存在于现实世界的应用中(例如,匿名社交网络)。以前的GNN要么为节点分配随机标签(这会给GNN引入伪影),要么为所有节点分配一个嵌入(这无法显式区分一个节点与另一个节点)。此外,当这些GNN应用于无属性节点分类问题时,它们具有不期望的等方差属性,这从根本上无法解决具有多个可能输出的数据。在本文中,我们分析了现有的节点分类问题的方法的局限性。我们的分析的启发,我们提出了一个广义的等方差属性和优先标签技术,满足所需的属性渐近。实验结果表明,我们取得了较高的性能在几个无属性的节点分类任务。
2022-02-26 cs.AI cs.LG
Each Graph is a New Language: Graph Learning with LLMs
First Author Affiliation(第一作者机构)
提出GDL4LLM框架,将图转化为图语言语料库并预训练大语言模型,使其能简洁充分地建模图结构,在节点分类任务上优于现有基线。
2025-05-26 cs.AI cs.CL cs.LG
Knowledge Graph Completion Models are Few-shot Learners: An Empirical Study of Relation Labeling in E-commerce with LLMs
Walmart Global Tech(沃尔玛全球技术)
本文实证研究了大型语言模型在电商知识图谱关系标注任务中的少样本学习能力,发现仅需1至5个样本即可媲美人工标注,并显著优于现有知识图谱补全模型。
2023-05-17 cs.AI cs.CL cs.IR
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology(史蒂文斯理工学院);Hajee Mohammad Danesh Science & Technology University(哈吉·穆罕默德·达内什科学技术大学);Noakhali Science & Technology University(诺阿卡利科学技术大学);Amazon(亚马逊)
针对大语言模型传统微调方法训练慢、标签token通用的问题,提出L-Tuning方法,通过微调经预训练LLM处理的标签token利用其语义知识,显著提升了NLI分类任务的训练效率与准确率。
2024-04-13 cs.AI cs.CL cs.LG
NodeMixup: Tackling Under-Reaching for Graph Neural Networks
Xidian University(西安电子科技大学)
针对图神经网络中标记节点欠达导致性能下降的问题,提出架构无关的NodeMixup方法,通过标记-未标记混合、类内邻居融合和基于度与标签相似性的采样权重,提升GNN半监督节点分类性能。
2023-12-21 cs.AI cs.LG
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术,自动分类新闻中的经济政策不确定性,克服了关键词误报和人工标注成本高的局限,并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
Structure-Aware Label Smoothing for Graph Neural Networks
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);USC(南加州大学);The Hong Kong University of Science and Technology(香港科技大学)
将标签分布表示为独热向量是训练节点分类模型的常见做法。然而,独热表示可能无法充分反映不同类中节点的语义特征,因为某些节点可能在语义上接近其他类中的邻居。这会导致过度自信,因为鼓励模型在对每个节点进行分类时分配全部概率。虽然使用标签平滑的训练模型可以在一定程度上缓解这个问题,但它仍然无法捕获图结构所隐含的节点语义特征。在这项工作中,我们提出了一种新的SALS(\textit{Structure-Aware Label Smoothing})方法作为流行的节点分类模型的增强组件。SALS利用图结构来捕获连接节点之间的语义相关性,并生成结构感知的标签分布来替换原始的独热标签向量,从而在没有推理成本的情况下提高节点分类性能。在七个节点分类基准数据集上的大量实验表明,我们的SALS在提高传导和归纳节点分类方面是有效的。实验结果表明,SALS优于标签平滑方法,并增强了节点分类模型,优于基线方法。
2021-12-01 cs.AI cs.LG cs.SI
Diagnosing and Remedying Knowledge Deficiencies in LLMs via Label-free Curricular Meaningful Learning
Harbin Institute of Technology(哈尔滨工业大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Singapore Management University(新加坡管理大学);Fudan University(复旦大学)
提出无标签课程有意义学习框架LaMer,利用相对熵自动诊断LLMs知识缺陷,并通过自适应合成增强数据和课程策略逐步弥补缺陷,在多个基准上仅用40%数据即达基线水平。
2024-08-21 cs.AI cs.CL
Graph Neural Network leveraging Higher-order Class Label Connectivity for Heterophilous Graphs
The University of Osaka(大阪大学)
针对异配图中节点分类性能受限问题,提出标签上下文分类器(LCC),通过四种游走生成标签上下文嵌入捕获高阶类标签连通性,并可与任意GNN自适应集成,实验表明优于现有方法。
2026-06-05 cs.AI cs.LG
Label-Enhanced Graph Neural Network for Semi-supervised Node Classification
Beihang University(北京航空航天大学)
图神经网络在半监督节点分类中得到了广泛的应用,其关键在于如何充分利用有限但有价值的标签信息。大多数经典的GNN只使用已知的标签来计算输出的分类损失。近年来,已经设计了几种方法来额外地利用输入处的标签。一部分方法通过连接或添加标签的独热编码来增强节点特征,而其他方法通过假设相邻节点倾向于具有相同的标签来优化图结构。为了充分发挥标签的丰富信息,本文提出了一种用于GNN的标签增强学习框架,该框架首先将每个标签建模为类内节点的虚拟中心,然后联合学习节点和标签的表示。我们的方法不仅可以平滑属于同一类的节点的表示,而且还可以显式地将标签语义编码到GNN的学习过程中。此外,训练节点的选择技术,以消除潜在的标签泄漏问题,并保证模型的泛化能力。最后,提出了一种自适应的自训练策略,在模型训练过程中,通过迭代的方式增加训练集,增加更可靠的伪标签,并区分每个伪标签节点的重要性。在真实世界和合成数据集上的实验结果表明,我们的方法不仅可以始终优于最先进的技术,而且还可以有效地平滑类内节点的表示。
2022-12-23 cs.LG
Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Department of Computer Science, Purdue University(普渡大学计算机科学系);Facebook AI(Facebook 人工智能)
在本文中,我们提供了一种使用图神经网络(GNN)进行多节点表示学习的理论(我们感兴趣的是学习一组多个节点的表示,例如链接)。我们知道,GNN被设计为学习单节点表示。当我们想要学习涉及多个节点的节点集表示时,以前工作中的常见做法是直接将GNN获得的单节点表示聚合成联合节点集表示。在本文中,我们展示了这种方法的一个基本约束,即无法捕获节点集的节点之间的依赖关系,并认为直接聚合单个节点表示不会导致多个节点的有效联合表示。然后,我们注意到之前一些成功的多节点表示学习,包括SEAL,距离编码和ID-GNN,都使用了节点标记。这些方法首先根据图中的节点与目标节点集的关系标记节点,然后应用GNN。然后,在标记图中获得的节点表示被聚合成节点集合表示。通过研究它们的内在机制,我们将这些节点标记技术统一为一种最普遍的形式--标记技巧。我们证明了一个有足够表现力的GNN通过标签技巧学习最具表现力的节点集表示,从而在原则上解决了节点集上的任何联合学习任务。在一个重要的两节点表示学习任务链接预测上的实验验证了我们的理论。我们的工作解释了以前的基于节点标记的方法的优越性能,并建立了使用GNN多节点表示学习的理论基础。
2022-01-15 cs.LG
Multi-Label Node Classification with Label Influence Propagation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Capital One;GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
提出标签影响传播(LIP)模型,通过分解GNN的消息传递为传播和变换操作,量化标签间影响,构建标签影响图传播高阶影响,动态调整学习过程,在多标签节点分类任务上超越现有方法。
2026-07-02 cs.AI cs.LG
Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs
ShanghaiTech University(上海科技大学);Hong Kong Baptist University(香港 Baptist 大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对图神经网络依赖大量标注数据、现有大语言模型辅助节点分类方法查询成本高或标签噪声大的问题,提出主动自训练框架Locle,通过关键样本选择与标签修正,以极低查询成本实现了文本属性图无标签节点分类的性能提升。
2025-05-16 cs.AI cs.LG
Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
使用图神经网络(GNN)的节点分类已经广泛应用于各种现实场景中。然而,近年来,令人信服的证据表明,基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化,例如随机连接或对抗攻击。已经提出了各种解决方案,例如拓扑去噪方法和机制设计方法,以开发鲁棒的基于GNN的节点分类器,但是这些工作都不能完全解决与拓扑扰动相关的问题。最近,贝叶斯标签转换模型被提出来解决这个问题,但其收敛速度慢,可能会导致性能较差。在这项工作中,我们提出了一个新的标签推理模型,即LInDT,它集成了贝叶斯标签转换和基于拓扑的标签传播,以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法,因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测,从而更好地收敛标签推理。此外,LIndT采用非对称狄利克雷分布作为先验,这也有助于它改进标签推理。在五个图数据集上的大量实验表明,在三种拓扑扰动情况下,LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University(北京大学人工智能研究院);School of Electrical and Computer Engineering Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本文提出标注技巧,通过在GNN前标注节点与目标节点集合的关系,解决多节点表示学习中无法捕捉节点间依赖的问题,并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
CSGNN: Conquering Noisy Node labels via Dynamic Class-wise Selection
针对图神经网络面临的过拟合、标签噪声及类别不平衡问题,提出基于邻居聚合隐空间的动态类别选择方法CSGNN,通过聚类识别干净节点并优先学习,在有效性和鲁棒性上超越现有最优方法。
2023-12-14 cs.AI cs.LG
Semi-Supervised Graph Embedding for Multi-Label Graph Node Classification
图卷积网络(GCN)是实现基于图的半监督学习的一种常用工具,它通常综合节点特征和图的拓扑信息来建立学习模型。然而,对于多标签学习任务,GCN的监督部分只是最小化最后一层输出和地面真实标签分布之间的交叉熵损失,这往往会丢失一些有用的信息,如标签相关性,从而阻止获得高性能。本文提出了一种新的基于GCN的多标签半监督学习方法,即ML-GCN。ML-GCN首先使用GCN嵌入节点特征和图拓扑信息。然后,它随机生成一个标签矩阵,其中每行(即,标签向量)表示一种标签。标签向量的维度与GCN的最后一次卷积运算之前的节点向量的维度相同。也就是说,所有标签和节点都嵌入在统一的向量空间中。最后,在ML-GCN模型训练过程中,标签向量和节点向量被连接起来作为松弛跳跃语法模型的输入,以检测节点-标签相关性以及标签-标签相关性。在多个图分类数据集上的实验结果表明,所提出的ML-GCN优于四种最先进的方法。
2019-07-12 cs.LG stat.ML
Chasing Label Shifters: A Change-Aware Framework for Dynamic Graph Node Classification
KAIST(韩国科学技术院)
针对动态图节点分类中转移者性能落后的问题,提出模型无关的CHASE框架,提升转移者分类性能并发布相关基准,取得显著效果。
2026-10-14 cs.AI cs.LG
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Dissimilar Nodes Improve Graph Active Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在许多实际场景中,图嵌入算法的训练标签可能是昂贵的。主动学习(AL)算法非常有助于获得最有用的标签进行训练,同时将标签查询的总数保持在一定的预算之下。现有的主动图嵌入框架提出使用中心度分数、密度分数和熵分数来评估未标记节点的价值,并且已经被证明能够对图卷积网络的节点分类任务带来一些改进。然而,在评估未标记节点的重要性时,它没有考虑现有标记节点对未标记节点价值的影响。换句话说,给定相同的未标记节点,计算出的信息分数总是相同的,并且对标记节点集是不可知的。为了解决这个问题,在这项工作中,我们引入了3个基于差异的信息分数的主动学习:特征差异分数(FDS),结构差异分数(SDS),和嵌入差异分数(EDS)。我们发现,这三个分数能够考虑标记集对未标记候选值的影响,从而提高我们的AL性能。实验结果表明,新算法的分类准确率平均提高了2.1%,并且能够推广到不同的图神经网络结构。
2022-12-05 cs.AI cs.LG
Informative Pseudo-Labeling for Graph Neural Networks with Few Labels
University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学)
图神经网络(GNN)已经在图上的半监督节点分类方面取得了最先进的成果。然而,如何有效地学习具有很少标签的GNN的挑战仍然没有得到充分的探索。伪标记作为一种流行的半监督方法,已经被提出来显式地解决标签稀缺问题。它的目的是用具有高置信度的伪标记未标记节点来增强训练集,以便在自训练周期中重新训练监督模型。然而,现有的伪标记方法通常遭受两个主要缺点。首先,他们倾向于保守地扩展标签集,只选择高置信度的未标记节点,而不评估它们的信息量。不幸的是,这些高置信度节点通常会传递与给定标签重叠的信息,从而导致模型重新训练的微小改进。其次,这些方法将伪标签与真正的标签合并到相同的损失函数,忽略了它们对分类任务的不同贡献。在本文中,我们提出了一个新的信息伪标签框架,称为InfoGNN,以促进学习GNN与极少数标签。我们的核心思想是通过互信息最大化来伪标记最能代表局部邻域的信息量最大的节点。为了减轻潜在的标签噪声和伪标签引起的类不平衡问题,我们还仔细设计了一个广义交叉熵损失与类平衡正则化,以将生成的伪标签纳入模型重新训练。在六个真实世界的图数据集上进行的广泛实验表明,我们提出的方法显着优于最先进的基线和强大的自监督方法。
2022-01-20 cs.AI cs.LG
GraphiT: Efficient Node Classification on Text-Attributed Graphs with Prompt Optimized LLMs
Arteria AI
针对文本属性图节点分类中LLMs难以高效利用图结构及提示依赖手动调整的问题,提出GraphiT框架,通过编码节点邻域为文本并利用DSPy优化提示,在三个数据集上优于基线,且成本更低、可复现性强。
2025-02-14 cs.AI cs.LG
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题,提出GNN-CFGD,通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性,并基于置信度细粒度划分提供精细监督,实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类,提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架,性能优于现有方法。
2025-07-25 cs.AI cs.LG
Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models
University of Western Ontario(西安大略大学);University of Vienna(维也纳大学)
通过复现实验发现,LLM作为标注者会利用政党线索判断政治声明并反映训练数据偏见,且比人类更易在温和政党声明上表现出显著偏见。
2024-08-28 cs.CL cs.LG
GLAM: Graph Learning by Modeling Affinity to Labeled Nodes for Graph Neural Networks
Microsoft Research India(微软研究院印度分部)
图神经网络在半监督分类任务中表现出了优异的性能。然而,它们假设可以访问实际上可能不经常可用的图。在没有任何图的情况下,从给定数据构建k-最近邻(kNN)图已经证明,与其他半监督方法相比,与GNN一起使用时会有所改进。本文提出了一种半监督图学习方法的情况下,没有图。该方法将图学习为无监督kNN图和有监督标签亲和图的凸组合。标签亲和度图直接捕获所有节点与标记节点的标签亲和度,即,一个节点有多可能与标记的节点具有相同的标签。该亲和度度量与kNN图形成对比,其中度量特征空间中的接近度。我们的实验表明,这种方法提供了接近或更好的性能(高达1.5%),同时更简单,更快(高达70倍)的训练,比最先进的图学习方法。我们还进行了几个实验,以突出单个组件的重要性,并将其与最先进的方法进行对比。
2021-02-20 cs.LG
Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学大学);Technical University of Munich(慕尼黑技术大学)
本文比较了人类专家与大语言模型在定性数据分析中的表现,发现人类在处理复杂句子时表现优异,而LLMs在简单句子上表现更佳。
2025-11-17 cs.AI cs.CL
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University(贵州大学)
图卷积网络(GCN)通过从图数据中提取结构信息,在半监督节点分类领域已被证明是成功的。然而,随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中,我们提出了一种有效的方法,确定性选择标记的节点:确定性节点选择(DNS)算法。DNS算法识别图中的两类代表性节点:典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验,我们已经证明,与原始方法相比,DNS算法的引入可以显着提高模型的平均准确度,并显着降低标准差。
2023-01-11 cs.AI cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学)
图神经网络(GNNs)在图结构数据建模方面显示出了强大的能力。然而,现实世界的图通常包含结构噪声,并具有有限的标记节点。在这种图上训练时,GNN的性能会显著下降,这阻碍了GNN在许多应用中的采用。因此,重要的是开发具有有限标记节点的抗噪声GNN。然而,这方面的工作相当有限。因此,我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明,噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题,我们提出了一种新的框架,该框架采用噪声边缘作为监督来学习去噪和密集图,该框架可以降低权重或消除噪声边缘,并促进GNN的消息传递,以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测,以更好地训练GNN。在真实数据集上的实验结果表明,该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
GaLoRA: Parameter-Efficient Graph-Aware LLMs for Node Classification
GaLoRA通过整合结构信息提升LLMs在文本属性图节点分类中的性能,仅用0.24%的参数量即可达到与最新模型相当的效果。
2026-03-11 cs.LG
Beyond Performance: Quantifying and Mitigating Label Bias in LLMs
School of Computer Science and Engineering, The Hebrew University of Jerusalem(耶路撒冷希伯来大学计算机科学与工程学院)
本文在279个分类任务和十个LLMs上系统量化了标签偏差,发现去偏前后均显著存在,并提出一种优于现有方法的少样本标签偏差校准方法,以同时提升性能与可靠性。
2024-05-04 cs.CL
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
Global-Local Graph Neural Networks for Node-Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Cambridge(剑桥大学)
本文提出 Global-Local-GNN(GLGNN),通过联合学习标签与节点特征并结合全局、局部信息增强节点分类,在三种 GNN 主干上验证其可稳定提升基线性能。
2024-06-16 cs.LG
Adaptive Label Smoothing To Regularize Large-Scale Graph Training
Rice University(莱斯大学);University of Georgia(佐治亚大学);Samsung Research America(三星美国研究院);Samsung Electronics(三星电子)
图神经网络(GNNs)通过递归地聚集来自其邻居的信息来学习节点表示,已经成为许多领域中的主要计算工具。为了处理大规模图,大多数现有方法将输入图划分为多个子图(例如,通过节点聚类)并应用批量训练以节省存储器成本。然而,这种批量训练会导致每个批次内的标签偏差,从而导致模型预测的过度自信。由于具有正相关标签的连接节点往往被分配在一起,传统的交叉熵最小化过程将参与批量中有偏类的预测,并可能加剧过拟合问题。为了克服标签偏差问题,我们提出了自适应标签平滑(ALS)方法,以取代一个热硬标签与平滑的,学习分配标签的信心从有偏见的类到其他。具体地说,ALS传播节点标签聚合的邻域标签分布在一个预处理步骤,然后更新的最佳平滑标签在线,以适应特定的图结构。在真实数据集上的实验表明,ALS可以普遍应用于主要的可扩展学习框架,以校准有偏的标签,提高泛化性能。
2021-08-30 cs.AI cs.LG
Few-Shot Graph Out-of-Distribution Detection with LLMs
University of Southern California(南加州大学);Florida State University(佛罗里达州立大学);University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(奥多比研究院)
针对文本属性图分布外检测中标注成本高的问题,提出LLM-GOOD框架,结合大语言模型零样本过滤与轻量级GNN训练,减少人工标注并提升检测性能。
2025-03-28 cs.CL cs.LG
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs
Michigan State University(密歇根州立大学);Baidu Inc.(百度公司);Emory University(埃默里大学);The Hong Kong Polytechnic University(香港理工大学)
本文系统探索了大型语言模型在图学习中的潜力,提出LLMs-as-Enhancers和LLMs-as-Predictors两种流程,并通过节点分类实验揭示了利用LLMs增强图学习的新方向。
2024-01-16 cs.AI cs.LG
Self-Explainable Multi-Label Graph Neural Network for Correlated Evidence Attribution
Florida Atlantic University(佛罗里达大西洋大学);University of Louisiana at Lafayette(拉斐特路易斯安那大学)
本文提出SEMGNN,一种端到端自解释多标签图神经网络,联合学习预测器与边掩码解释器,利用标签相关性提升多标签分类性能及解释忠实度,在多类网络上表现优于或相当事后方法。
2026-08-31 cs.AI cs.LG
Virtual Node Tuning for Few-shot Node Classification
Arizona State University(亚利桑那州立大学);ByteDance Research(字节跳动研究院)
针对少样本节点分类中基类标签不足的现有方法失效问题,提出带GPPE模块的虚拟节点调优方法,以预训练图Transformer为编码器、虚拟节点为软提示,在四个数据集上性能超越现有SOTA及全监督基线。
2023-06-09 cs.LG
Leveraging Label Non-Uniformity for Node Classification in Graph Neural Networks
Nanyang Technological University(南洋理工大学);Jiangnan University(江南大学)
该研究针对图神经网络节点分类任务,提出标签非均匀性概念,通过理论分析其分布规律给出提升性能的策略,可轻松集成到基础模型中并提升多种基准模型的分类效果。
2023-04-29 cs.LG eess.SP
A clean-label graph backdoor attack method in node classification task
School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院);Army Engineering University of PLA Communication NCO Academy(中国人民解放军陆军工程大学通信士官学校)
本文提出一种名为CGBA的干净标签图后门攻击方法,通过不修改节点标签和图结构、精心挑选原始特征作为触发器来提高隐蔽性,在低中毒率下实现高攻击成功率。
2023-12-30 cs.CR cs.LG
Label-Wise Graph Convolutional Network for Heterophilic Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNN)在为各种应用建模图方面取得了卓越的性能。然而,大多数现有的GNN假设图在节点标签中表现出强同质性,即,在图中连接具有相似标签的节点。他们未能推广到heterophilic图,其中链接的节点可能有不同的标签和属性。因此,在本文中,我们研究了一个新的框架,表现良好的图与同质或异质。更具体地说,我们提出了一个标签明智的消息传递机制,以避免聚合不同的节点表示所造成的负面影响,并保留异嗜上下文的表示学习。我们进一步提出了一个双层优化方法来自动选择具有同质/异质性的图的模型。理论分析和大量的实验表明,我们提出的框架的有效性,对同性和异性图的节点分类。
2023-02-16 cs.LG
Label-informed Graph Structure Learning for Node Classification
Center for Research on Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所智能感知与计算研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
图神经网络在各个领域都取得了巨大的成功。然而,大多数GNN方法对图结构的质量很敏感。为了解决这个问题,一些研究利用不同的图结构学习策略来改进原始图结构。然而,这些方法只考虑特征信息,而忽略了可用的标签信息。在本文中,我们提出了一种新的标签知情的图结构学习框架,通过类转移矩阵显式地结合标签信息。我们在七个节点分类基准数据集上进行了广泛的实验,结果表明我们的方法优于或匹配最先进的基线。
2021-08-10 cs.LG
NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs
The Pennsylvania State University(宾夕法尼亚州立大学);IBM(国际商业机器公司)
图神经网络(GNN)在图上的半监督学习任务(如节点分类)方面取得了可喜的成果。尽管GNN取得了巨大的成功,但许多真实世界的图通常是稀疏和嘈杂的标记,这可能会显着降低GNN的性能,因为嘈杂的信息可以通过图结构传播到未标记的节点。因此,重要的是开发一个标签抗噪声GNN的半监督节点分类。虽然已经进行了广泛的研究来学习带有噪声标签的神经网络,但它们大多集中在独立和同分布的数据上,并假设有大量的噪声标签可用,这并不直接适用于GNN。因此,我们研究了一个新的问题,学习一个强大的GNN与噪声和有限的标签。为了减轻标签噪声的负面影响,我们建议将未标记的节点与具有高特征相似性的标记节点连接起来,以带来更多干净的标签信息。此外,通过该策略可以获得准确的伪标签,以提供更多的监督,并进一步减少标签噪声的影响。我们的理论和实证分析验证了这两种策略在温和条件下的有效性。在真实数据集上的大量实验证明了该方法在学习具有噪声和有限标签的鲁棒GNN方面的有效性。
2021-06-08 cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Multi-label Node Classification On Graph-Structured Data
Delft University of Technology(代尔夫特理工大学);L3S Research Center(L3S研究中心)
针对图上多标签节点分类缺乏数据集与适配评估的问题,本文发布3个生物数据集、可调图生成器及9数据集基准,定义多标签同质性与跨类邻域相似性,并用8种方法完成大规模比较。
2024-02-29 cs.LG
GNN-MultiFix: Addressing the pitfalls for GNNs for multi-label node classification
Delft University of Technology(代尔夫特理工大学)
本文针对GNN在多标签节点分类中即使数据充足也学习失败的问题,提出整合节点特征、标签和位置信息的GNN-MultiFix方法,并在多个多标签数据集上取得显著提升。
2024-11-21 cs.LG
Label-Only Membership Inference Attack against Node-Level Graph Neural Networks
University of Padua(帕多瓦大学);Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
图神经网络(Graph Neural Network,GNNs)受卷积神经网络(Convolutional Neural Networks,CNN)的启发,将节点邻居的信息和结构信息聚合起来,获得节点的表达性表示,用于节点分类、图分类和链接预测。以前的研究表明,GNN容易受到成员推断攻击(MIA)的攻击,MIA会推断节点是否在GNN的训练数据中,并泄露节点的私人信息,如患者的病史。以前的MIA的实现利用了模型的概率输出,如果GNN只为输入提供预测标签(仅标签),这是不可行的。在本文中,我们提出了一种针对GNN的仅标签MIA,以借助GNN灵活的预测机制进行节点分类,例如,即使当邻居的信息不可用时,也获得一个节点的预测标签。对于大多数数据集和GNN模型,我们的攻击方法实现了大约60%的准确度,精度和曲线下面积(AUC),其中一些具有竞争力,甚至优于在我们的环境和设置下实现的最先进的基于概率的MIA。此外,我们分析了采样方法,模型选择方法和过拟合水平对我们的标签唯一MIA的攻击性能的影响。这两个因素都对攻击性能产生影响。然后,我们考虑的情况下,假设对手的额外数据集(阴影数据集)和额外的信息,目标模型放松。即使在这些情况下,我们的标签只有MIA在大多数情况下实现了更好的攻击性能。最后,我们探讨了可能的防御措施的有效性,包括Dropout,Regularization,Normalizati…
2022-07-27 cs.CR cs.LG
Rethinking Multi-Label Node Classification: Do Tuned Classic GNNs Suffice?
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文从强基线角度重新审视多标签节点分类,探讨精心调优的经典全图GNN是否能成为有效解决方案,实验表明调优后的基线在多个数据集上优于专用方法。
2026-05-02 cs.LG
Where LLM Annotators Fail: Label-Free Learning on Graphs with LLMs
University of Connecticut(康涅狄格大学)
针对图节点分类中LLM标注噪声不仅依赖于类别还依赖于区域的问题,提出聚类感知噪声估计(CANE)框架,通过估计聚类条件可靠性来筛选和校正伪标签,在多个图基准上超越现有无标签方法。
2026-11-13 cs.LG
Diffusion Probabilistic Models for Structured Node Classification
POSTECH(浦项科技大学);KAIST(韩国科学技术院)
针对部分标记图上的结构化节点分类,提出基于扩散概率模型的DPM-SNC框架,通过逆向扩散学习标签联合分布并结合流形约束采样,设计新训练算法与AGG-WL理论分析,在直推和归纳场景均验证优越性。
2023-06-19 cs.LG
Labeling Free-text Data using Language Model Ensembles
University of Virginia, School of Data Science(弗吉尼亚大学数据科学学院);Northern Arizona University, College of Health and Human Services(北亚利桑那大学健康与人类服务学院);University of Louisville, Department of Psychology and Brain Sciences(路易斯维尔大学心理学与脑科学系);University of Virginia, Department of Psychology(弗吉尼亚大学心理学系)
本研究提出一种组装本地开源LLMs的集成框架,在隐私约束下标注自由文本数据,通过相关性评分平衡模型异质性,在饮食失调数据上实现优于单个模型的最优精确度-敏感性权衡。
2025-09-26 cs.CL
Node Classification in Random Trees
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种方法,用于对结构为随机树的对象进行分类,通过马尔可夫网络和图神经网络建模节点标签分布,优于现有方法。
2024-04-14 cs.LG cs.SI
Glance for Context: Learning When to Leverage LLMs for Node-Aware GNN-LLM Fusion
Department of Computer Science and Engineering University of Michigan(计算机科学与工程系 密歇根大学)
针对图学习中 GNN 与 LLM 融合策略应用均匀化导致收益微小的问题,提出 GLANCE 框架,通过轻量级路由器基于节点信号自适应决定是否调用 LLM 优化 GNN 预测,在异配节点上实现高达 13% 的性能提升并保持整体最优。
2025-10-12 cs.LG
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg(卢森堡大学);Criteo(科韬)
图神经网络(GNN)在图学习任务中占主导地位;然而,最近的研究表明,一种著名的图算法,标签传播(LP),结合浅层神经网络,可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中,我们表明,这种方法不符合低同伦图,其中节点往往连接到节点的相反类。为了克服这一点,我们精心设计了一个基础预测与LP算法,享有一个封闭的形式的解决方案,以及收敛保证的组合。我们的算法首先学习类兼容性矩阵,然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准,我们表明,我们的方法实现了领先的性能与各种层次的同质性图。同时,它具有数量级更少的参数,需要更少的执行时间。经验评估表明,简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI