CRoC: Context Refactoring Contrast for Graph Anomaly Detection with Limited Supervision
The Chinese University of Hong Kong(香港中文大学)
针对图异常检测中标注数据稀缺且异常易伪装的问题,提出CRoC框架,通过重构节点上下文、编码异构关系并结合对比学习,在有限标签下显著提升了GNN的检测性能。
2025-09-14 cs.AI cs.LG
Efficient Subgraph GNNs by Learning Effective Selection Policies
Purdue University(普渡大学);University of Cambridge(剑桥大学);NVIDIA Research(英伟达研究院);Technion(以色列理工学院)
本文提出Policy-Learn方法,通过迭代学习数据驱动的子图选择策略,解决子图GNN计算复杂度高的问题,并在多项数据集上超越现有基线。
2024-03-20 cs.LG
Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision
Risk AI Research Lab(风险人工智能研究实验室);Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究所);Applied AI Institute(应用人工智能研究所);Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院)
本文提出通过自适应伪监督方法减少时序图神经网络中的稀疏性问题,提升模型收敛速度和预测性能。
2026-06-26 cs.LG
Robust Training of Graph Neural Networks via Noise Governance
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Baidu Research(百度研究院);University of Notre Dame(圣母大学)
图神经网络(GNNs)已经成为半监督学习的广泛使用的模型。然而,在存在标签噪声的情况下,GNN的鲁棒性仍然是一个很大程度上未被探索的问题。在本文中,我们考虑了一个重要的,但具有挑战性的情况下,标签的图的节点不仅是嘈杂的,而且稀缺。在这种情况下,由于标签噪声传播和学习不足,GNN的性能容易下降。为了解决这些问题,我们提出了一种新的RTGNN(通过噪声治理的图神经网络的鲁棒训练)框架,通过学习显式地治理标签噪声来实现更好的鲁棒性。更具体地说,我们引入自增强和一致性正则化作为补充监督。自我强化监督的灵感来自于深度神经网络的记忆效应,旨在纠正嘈杂的标签。此外,一致性正则化防止GNN通过视图间和视图内视角中的模仿损失而过拟合到噪声标签。为了利用这种监督,我们将标签分为干净和嘈杂的类型,纠正不准确的标签,并进一步在未标记的节点上生成伪标签。然后自适应地选择具有不同类型标签的节点的监督。这使得能够从干净的标签中进行充分的学习,同时限制嘈杂标签的影响。我们进行了大量的实验来评估我们的RTGNN框架的有效性,结果验证了它在两种类型的标签噪声和各种噪声率下的性能优于最先进的方法。
2023-02-26 cs.AI cs.LG
Learning Resource Allocation Policy: Vertex-GNN or Edge-GNN?
本文分析Vertex-GNN与Edge-GNN在学习无线资源分配策略(链路调度、功率控制、预编码)中的表达能力,发现Edge-GNN在区分信道矩阵上更优,且能以更低训练和推理时间达到相同性能。
2023-12-24 cs.LG eess.SP
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh(孟加拉国独立大学)
图神经网络(GNN)通过聚集来自图中的邻域的信息来学习节点的低维表示。然而,传统的GNN由于其本地($l$ -跳邻域)聚合方案而遭受两个基本缺点。第一,并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点,因此不相关的信息被聚合,这降低了表示的质量。其次,传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制,我们利用互信息(MI)来定义两种类型的邻居,1)\textit{Local Neighborhood},其中节点在社区内密集连接,每个节点将与其邻居共享更高的MI,以及2)\textit{Non-Local Neighborhood},其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示,我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外,我们利用自我监督学习来估计MI与少量的标记数据。最后,我们表明,我们的模型显着优于国家的最先进的方法,在广泛的双折射和双折射图。
2021-04-27 cs.LG
Training MLPs on Graphs without Supervision
University of Notre Dame(圣母大学);University of Connecticut(康涅狄格大学)
针对GNN推理延迟高及现有MLP蒸馏方法对未见节点结构信息利用不足的问题,提出自监督框架SimMLP,通过对齐GNN与MLP表示整合结构信息,在20个基准数据集上表现优于基线,最优时可与GNN等价。
2024-12-05 cs.AI cs.LG cs.SI
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
尽管图神经网络(GNN)在各种应用上取得了成功,但当监督信号的量(即,标记节点的数量是有限的,这是预期的,因为GNN仅基于从标记节点获得的监督来训练。另一方面,最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN,并且已经证明它甚至优于用很少标记节点训练的GNN。然而,自监督方法的一个主要缺点是,由于在训练期间没有利用标记信息,因此它们无法学习类判别节点表示。为此,我们提出了一种新的图的半监督方法GraFN,它利用很少的标记节点来确保属于同一类的节点被分组在一起,从而实现半监督和自监督方法的最佳效果。具体来说,GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后,它最小化两个预测类分布之间的差异,这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明,GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
SimMLP: Training MLPs on Graphs without Supervision
本文提出自监督框架 SimMLP,通过对齐 GNN 与无邻域依赖 MLP 的表示,将图结构信息注入 MLP,并从理论与 20 个数据集上验证其等价性及优势。
2024-12-06 cs.AI cs.LG cs.SI
Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention
Southern University of Science and Technology(南方科技大学);Microsoft Research Asia(微软亚洲研究院)
针对基于注意力的图神经网络因缺乏直接监督在含噪图上鲁棒性差的问题,提出利用因果效应监督注意力学习的即插即用框架,可加速收敛、提升性能。
2023-07-18 cs.AI cs.CY cs.LG
SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks
University of British Columbia(不列颠哥伦比亚大学);Borealis AI;Google Research(Google研究院)
当提供图结构时,图神经网络(GNN)工作良好。然而,这种结构在实际应用中可能并不总是可用的。这个问题的一个解决方案是推断特定于任务的潜在结构,然后将GNN应用于推断的图。不幸的是,可能的图结构的空间随着节点的数量超指数增长,因此特定于任务的监督可能不足以学习结构和GNN参数。在这项工作中,我们提出了具有自我监督的邻接和GNN参数的同时学习,或SLAPS,这是一种通过自我监督为推断图结构提供更多监督的方法。一项全面的实验研究表明,SLAPS可扩展到具有数十万个节点的大型图形,并且在已建立的基准上学习特定于任务的图形结构的几种模型中表现出色。
2021-10-31 cs.AI cs.LG
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI
提出多模态提示学习范式,通过同时学习图提示和文本提示将图嵌入大型语言模型空间,在极弱文本监督下实现GNN的少样本、跨域适应及零样本分类。
2025-06-01 cs.AI cs.LG cs.SI
Learning General Policies with Policy Gradient Methods
Linköping University(利厄普大学);Universitat Pompeu Fabra(庞培法拉大学);RWTH Aachen University(亚琛工业大学)
本文通过策略梯度方法结合图神经网络,实现了与组合方法相当的泛化能力,同时避免了可扩展性瓶颈和特征池的使用。
2025-12-22 cs.AI cs.LG
Designing Heterogeneous GNNs with Desired Permutation Properties for Wireless Resource Allocation
School of Electronics and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院)
本文提出一种系统性设计异构图神经网络的方法,通过构建合适的异构图并证明三个充分条件,使HetGNN满足复杂无线策略的排列性质,并在功率分配和混合预编码中验证了有效性。
2025-04-01 cs.LG cs.SY eess.SY
Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
Xidian University(西安电子科技大学);Northwest University(西北大学);Xi’an University of Posts and Telecommunications(西安邮电大学);The University of Sydney(悉尼大学)
针对半监督图神经网络中伪标签质量不佳的问题,提出伪对比学习框架,将生成伪标签转化为识别可靠负样本对,结合拓扑加权对比损失,在五个真实图数据集上提升了多种GNN的性能。
2023-12-19 cs.AI cs.LG
GDM: Dual Mixup for Graph Classification with Limited Supervision
Carleton University(卡尔顿大学);Amii(阿尔伯塔机器智能研究所)
本文提出图双重混合方法GDM,通过同时混合图的结构嵌入和节点特征生成新的带标签图样本,并设计均衡图采样策略,在标签稀缺时显著提升图分类性能。
2023-09-18 cs.AI cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学)
图神经网络(GNNs)在图结构数据建模方面显示出了强大的能力。然而,现实世界的图通常包含结构噪声,并具有有限的标记节点。在这种图上训练时,GNN的性能会显著下降,这阻碍了GNN在许多应用中的采用。因此,重要的是开发具有有限标记节点的抗噪声GNN。然而,这方面的工作相当有限。因此,我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明,噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题,我们提出了一种新的框架,该框架采用噪声边缘作为监督来学习去噪和密集图,该框架可以降低权重或消除噪声边缘,并促进GNN的消息传递,以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测,以更好地训练GNN。在真实数据集上的实验结果表明,该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Snowflake: Scaling GNNs to High-Dimensional Continuous Control via Parameter Freezing
University of Oxford(牛津大学)
最近的研究表明,图神经网络(GNN)可以学习与典型的多层感知器(MLP)一样有效的运动控制策略,具有卓越的传输和多任务性能(Wang et al.,2018; Huang等人,2020年)。到目前为止,结果仅限于对小型代理的训练,随着传感器和执行器数量的增加,GNN的性能迅速恶化。在监督学习环境中使用GNN的一个关键动机是它们对大型图的适用性,但这种好处尚未实现运动控制。我们确定了导致这种不良伸缩性的常见GNN架构的弱点:网络中编码,解码和传播消息的MLP中的过拟合。为了解决这个问题,我们引入了Snowflake,这是一种用于高维连续控制的GNN训练方法,可以冻结网络中遭受过拟合的部分参数。Snowflake显著提高了GNN在大型代理上的运动控制性能,现在与MLP的性能相匹配,并且具有优异的传输特性。
2022-01-03 cs.LG
ROD: Reception-aware Online Distillation for Sparse Graphs
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
图神经网络(GNN)已被广泛用于许多基于图的任务,例如节点分类、链接预测和节点聚类。然而,GNN主要通过执行特征传播和平滑图的边缘来获得其性能优势,因此需要足够的连接性和标签信息来进行有效传播。不幸的是,许多现实世界的网络在边缘和标签方面都是稀疏的,导致GNN的性能次优。最近对这个稀疏问题的兴趣集中在自训练方法上,该方法用伪标签扩展监督信号。然而,由于伪标签的质量和数量不令人满意,自训练方法本质上无法实现在稀疏图上改进学习性能的全部潜力。在本文中,我们提出了ROD,一种新的接收感知的在线知识蒸馏稀疏图学习方法。我们为ROD设计了三个监督信号:多尺度接收感知图知识、基于任务的监督和丰富的提炼知识,允许以同伴教学的方式进行在线知识转移。为了提取隐藏在多尺度接收场中的知识,ROD明确要求单个学生模型保留不同级别的局部信息。对于一个给定的任务,每个学生将预测基于其接收规模的知识,而同时建立一个强大的教师在飞行中结合多尺度的知识。我们的方法已经在9个数据集和各种基于图的任务上进行了广泛的评估,包括节点分类,链接预测和节点聚类。结果表明,ROD实现了最先进的性能,更强大的图稀疏。
2021-07-25 cs.AI cs.LG
Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies
针对大规模无线通信网络中基于分组的信息路由挑战,提出基于状态增强的分布式优化方法,利用GNN提取路由策略,在GNN参数化模型训练中性能优于基线算法,且在真实网络拓扑和测试平台中验证了有效性与鲁棒性。
2025-04-13 cs.LG eess.SP
Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries
Imperial College London(帝国理工学院);Twitter(推特);Purdue University(普渡大学);University of Oxford(牛津大学);NVIDIA Research(英伟达研究院)
子图GNN是最近一类表达性图神经网络(GNN),其将图建模为子图的集合。到目前为止,可能的子图GNN架构的设计空间以及它们的基本理论属性在很大程度上仍然是未开发的。在本文中,我们研究了最突出的形式的子图方法,它采用基于节点的子图选择策略,如自我网络或节点标记和删除。我们解决两个中心问题:(1)这些方法的表达能力的上限是什么?(2)这些子图集合上的等变消息传递层族是什么?我们在回答这些问题的第一步是一个新的对称性分析表明,建模的对称性的基于节点的子图集合需要一个显着较小的对称群比在以前的作品中采用的。然后,该分析用于建立子图GNN和不变图网络(IGN)之间的链接。我们首先通过3-WL限制子图方法的表达能力来回答上述问题,然后为子图方法提出一个通用的消息传递层家族,该家族概括了所有以前的基于节点的子图GNN。最后,我们设计了一个新的子图GNN称为SUN,它在理论上统一了以前的架构,同时在多个基准测试中提供了更好的经验性能。
2022-10-13 cs.LG
Complex-Valued GNNs for Distributed Basis-Invariant Control of Planar Systems
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出复值图神经网络,实现对局部基的选择不变性,提升在无GPS和无指南针环境下的控制效率与泛化能力。
2026-04-03 cs.LG
Shape-aware Graph Spectral Learning
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学)
针对谱GNNs忽视图频率与同质性关系的问题,提出基于牛顿插值的形状感知正则化,实现任意多项式谱滤波并融入同质性先验,实验证明在两类数据集上性能优越。
2024-05-22 cs.AI cs.LG
Normalize Then Propagate: Efficient Homophilous Regularization for Few-shot Semi-Supervised Node Classification
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出NormProp算法,通过解耦节点表示的方向与欧几里得范数并引入同质性正则化,在少样本半监督节点分类的低标签率场景下以低计算复杂度实现了最先进的性能。
2025-01-15 cs.LG
ERAlign: Energy-based Representation Alignment of GNNs and LLMs on Text-attributed Graphs
University of Science and Technology of China(中国科学技术大学)
提出ERAlign框架,利用能量模型对齐GNN和LLM的表示,通过能量差异优化实现分布一致性,在8个数据集上取得最优性能。
2026-06-09 cs.AI cs.CL cs.LG
Efficient Lookahead Encoding and Abstracted Width for Learning General Policies in Classical Planning
RWTH Aachen University(亚琛RWTH大学);Linköping University(林雪平大学)
本文提出了一种高效的方法,通过整体编码和抽象宽度来提升经典规划中学习通用策略的效率和可扩展性,解决了传统方法在计算成本和表达能力上的限制。
2026-05-18 cs.AI
Task-Agnostic Graph Neural Network Evaluation via Adversarial Collaboration
Imperial College London(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院);Valence Discovery(Valence Discovery公司);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);University of Cambridge(剑桥大学)
越来越需要开发可靠的方法来评估用于分子表示学习的图神经网络(GNN)研究进展。现有的用于分子表示学习的GNN基准测试方法专注于比较GNN在某些数据集上的某些节点/图分类/回归任务上的性能。然而,缺乏一种原则性的、与任务无关的方法来直接比较两个GNN。此外,大多数现有的自监督学习作品将手工增强的数据,这有几个严重的困难,以应用于图,由于其独特的特点。为了解决上述问题,我们提出了GraphAC(Graph Adversarial Collaboration)--一个概念新颖、原则性强、任务不可知且稳定的框架,用于通过对比自我监督来评估GNN。我们引入了一个新颖的目标函数:竞争巴洛双胞胎,它允许两个GNN在相互直接竞争的情况下联合更新自己。GraphAC成功地区分了各个方面的不同表现力的GNN,并已被证明是一种原则性和可靠的GNN评估方法,无需任何增强。
2023-03-27 cs.LG
Oversmoothing: A Nightmare for Graph Contrastive Learning?
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团)
本文发现图对比学习(GCL)在深层和浅层均存在过度平滑问题,提出简单分块训练框架BlockGCL,在多个图基准上提升现有GCL方法的鲁棒性与稳定性。
2024-02-23 cs.AI cs.LG
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题,提出GNN-CFGD,通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性,并基于置信度细粒度划分提供精细监督,实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
Algorithmic Concept-based Explainable Reasoning
University of Cambridge(剑桥大学);DeepMind(深度思维)
最近的研究图神经网络(GNN)模型成功地应用GNNs的经典图算法和组合优化问题。这样做有很多好处,比如在不满足先决条件时允许应用算法,或者在没有足够的训练数据或无法生成时重用学习模型。不幸的是,这些方法的一个关键障碍是它们缺乏可解释性,因为GNN是无法直接解释的黑箱模型。在这项工作中,我们通过将现有的基于概念的解释应用于GNN模型来解决这一限制。我们引入了概念瓶颈GNN,它依赖于GNN读出机制的修改。使用三个案例研究,我们证明了:(i)我们提出的模型能够准确地学习概念,并根据每个目标类的学习概念提取命题公式;(ii)我们基于概念的GNN模型与最先进的模型实现了比较性能;(iii)我们可以导出全局图概念,而无需显式地提供对图级概念的任何监督。
2021-07-15 cs.LG
Learning-based Motion Planning in Dynamic Environments Using GNNs and Temporal Encoding
UCSD(加州大学圣地亚哥分校);MIT(麻省理工学院)
针对动态环境下运动规划需处理大状态空间时空交互的难题,提出结合时间编码、模仿学习与数据聚合的GNN方法,可大幅提升规划速度并保持高成功率。
2022-10-16 cs.AI cs.RO
Identifying and Correcting Label Noise for Robust GNNs via Influence Contradiction
University of Science and Technology of China(中国科学技术大学)
提出ICGNN方法,利用图扩散矩阵计算影响矛盾分数(ICS)检测噪声标签,并通过邻居预测软策略纠正噪声标签,结合伪标签提升鲁棒性。
2026-06-03 cs.LG
Distributed Control of Network Systems in the Space of Stabilizing Graph Neural Network Policies
Department of Engineering Science, University of Oxford(牛津大学工程科学系)
通过将图神经网络嵌入Youla-like幅度-方向参数化,提出一种保证闭环稳定性的分布式随机控制器,并证明其对图拓扑和模型参数扰动的鲁棒性。
2026-05-26 cs.LG cs.SY eess.SY
NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs
The Pennsylvania State University(宾夕法尼亚州立大学);IBM(国际商业机器公司)
图神经网络(GNN)在图上的半监督学习任务(如节点分类)方面取得了可喜的成果。尽管GNN取得了巨大的成功,但许多真实世界的图通常是稀疏和嘈杂的标记,这可能会显着降低GNN的性能,因为嘈杂的信息可以通过图结构传播到未标记的节点。因此,重要的是开发一个标签抗噪声GNN的半监督节点分类。虽然已经进行了广泛的研究来学习带有噪声标签的神经网络,但它们大多集中在独立和同分布的数据上,并假设有大量的噪声标签可用,这并不直接适用于GNN。因此,我们研究了一个新的问题,学习一个强大的GNN与噪声和有限的标签。为了减轻标签噪声的负面影响,我们建议将未标记的节点与具有高特征相似性的标记节点连接起来,以带来更多干净的标签信息。此外,通过该策略可以获得准确的伪标签,以提供更多的监督,并进一步减少标签噪声的影响。我们的理论和实证分析验证了这两种策略在温和条件下的有效性。在真实数据集上的大量实验证明了该方法在学习具有噪声和有限标签的鲁棒GNN方面的有效性。
2021-06-08 cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shanghai Jiao Tong University(上海交通大学)
随着图数据大小的增加,推理过程中的巨大延迟和内存消耗对图神经网络(GNN)的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法,但大多数以前关于GNN量化的工作都未能利用GNN的独特特性,从而导致精度严重下降。通过深入分析GNN的拓扑结构,我们观察到图的拓扑结构导致节点之间存在显著差异,图中的大多数节点似乎具有较小的聚合值。受此启发,在本文中,我们提出了GNN的聚合感知混合精度量化($\rm A^2Q$),其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题,我们提出了一种局部梯度方法,以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比,我们的方法可以实现高达18.6倍(即,1.70bit)压缩比,精度下降可忽略不计。同时,与现有的量化方法相比,该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%,在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
Bridging Domain Adaptation and Graph Neural Networks: A Tensor-Based Framework for Effective Label Propagation
Dartmouth College(达特茅斯学院);New York University(纽约大学);University of California, Riverside(加州大学河滨分校)
针对GNN在单域监督训练下标签需求高、表示迁移性差的问题,提出LP-TGNN框架,以张量架构提取图拓扑信息并通过标签传播减少域差异,兼容通用GNN和域适应技术,在真实基准上显著优于基线。
2025-02-15 cs.LG
Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning
Xiamen University(厦门大学);Fudan University(复旦大学);Central South University(中南大学)
该研究针对文本属性图学习提出了检索增强的RTA框架,以标签感知的检索与传播替代传统结构消息传递,经多基准测试,其性能匹配或优于强基线且效率、鲁棒性更优。
2026-08-28 cs.AI cs.LG
Global Counterfactual Explainer for Graph Neural Networks
University of California(加利福尼亚大学);University of Illinois(伊利诺伊大学);Indian Institute of Technology(印度理工学院)
图神经网络(GNN)在诸如计算生物学、自然语言处理和计算机安全的各种领域中找到应用。由于它们的流行,越来越需要解释GNN预测,因为GNN是黑箱机器学习模型。解决这个问题的一种方法是反事实推理,其目标是通过输入图中的最小变化来改变GNN预测。现有的GNN反事实解释方法仅限于实例特定的局部推理。这种方法有两个主要的局限性,不能提供全球追索权政策和超载人类认知能力与太多的信息。在这项工作中,我们通过全局反事实推理来研究GNNs的全局可解释性。具体来说,我们想找到一小部分有代表性的反事实图来解释所有输入图。为了实现这一目标,我们提出了GCFExplainer,这是一种新的算法,由顶点增强的随机游走在具有贪婪摘要的图的编辑地图上提供动力。在真实图数据集上进行的大量实验表明,GCFExplainer的全局解释提供了对模型行为的重要高层见解,与最先进的本地反事实解释器相比,资源覆盖率提高了46.9%,资源成本降低了9.5%。
2022-11-11 cs.LG
Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Emory University(埃默里大学)
针对现有图浓缩方法监督信号有偏受限、难以实现无损浓缩的问题,本文提出结合课程学习训练专家轨迹、用扩展窗口匹配迁移信息并设计专用损失函数的方法,经理论与实验验证其在多数据集上性能更优。
2024-06-18 cs.LG
A Variational Edge Partition Model for Supervised Graph Representation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nanyang Technological University(南洋理工大学);Xidian University(西安电子科技大学)
图神经网络(GNNs)通过边传播节点特征并学习如何在标签监督下转换聚合特征,在节点级和图级分类任务的监督特征提取方面取得了巨大成功。然而,GNN通常将图结构视为给定的,而忽略边是如何形成的。本文介绍了一种图形生成过程来模拟如何通过聚合一组重叠节点社区上的节点交互来生成观察到的边缘,每个社区都通过逻辑OR机制对边缘做出贡献。基于这种生成模型,我们将每个边划分为多个社区特定的加权边的总和,并使用它们来定义社区特定的GNN。提出了一种变分推断框架,用于联合学习基于GNN的推理网络,该推理网络将边缘划分为不同的社区,这些社区特定的GNN,以及基于GNN的预测器,该预测器将社区特定的GNN组合用于最终分类任务。对真实世界图数据集的广泛评估已经验证了所提出的方法在学习节点级和图级分类任务的区分表示方面的有效性。
2022-10-31 cs.LG stat.CO stat.ME
Graph neural induction of value iteration
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);University of Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院)
许多强化学习任务可以受益于基于环境内部模型的明确规划。以前,这样的规划组件已经通过神经网络被合并,该神经网络部分地与价值迭代的计算图对齐。这样的网络到目前为止都集中在限制性的环境(如网格世界),并模拟规划程序只是间接的。我们放松这些限制,提出了一个图神经网络(GNN),执行值迭代(VI)算法,在任意的环境模型,直接监督VI的中间步骤。结果表明,GNN能够准确地对价值迭代进行建模,在各种分布外测试中恢复有利的指标和策略。这表明具有强监督的GNN执行器是深度强化学习系统中的可行组件。
2020-09-26 cs.AI cs.LG stat.ML
Unified Robust Training for Graph NeuralNetworks against Label Noise
Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院);Discipline of Business Analytics, The University of Sydney(悉尼大学商业分析学科)
图神经网络(GNN)已经实现了图上节点分类的最新性能。绝大多数现有的作品假设,真正的节点标签总是提供训练。然而,关于如何在存在标签噪声的情况下提高GNN的鲁棒性的研究很少。标签噪声学习主要是在图像分类的背景下研究的,但这些技术不能直接应用于图结构的数据,由于两个主要的挑战-标签稀疏性和标签依赖性-在图上学习所面临的。在本文中,我们提出了一个新的框架,UnionNET,用于在半监督设置下使用图上的噪声标签进行学习。我们的方法提供了一个统一的解决方案,用于鲁棒训练GNN并同时执行标签校正。其核心思想是执行标签聚合来估计节点级别的类概率分布,用于指导样本重新加权和标签校正。与现有的作品相比,UnionNET有两个吸引人的优点。首先,它不需要额外的干净的监督,或显式估计的噪声转移矩阵。其次,提出了一个统一的学习框架,以端到端的方式鲁棒地训练GNN。实验结果表明,我们提出的方法:(1)是有效的,提高模型的鲁棒性对不同类型和水平的标签噪声;(2)产生显着的改善,比最先进的基线。
2021-03-05 cs.LG
Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs
ShanghaiTech University(上海科技大学);Hong Kong Baptist University(香港 Baptist 大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对图神经网络依赖大量标注数据、现有大语言模型辅助节点分类方法查询成本高或标签噪声大的问题,提出主动自训练框架Locle,通过关键样本选择与标签修正,以极低查询成本实现了文本属性图无标签节点分类的性能提升。
2025-05-16 cs.AI cs.LG
GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning
Sun Yat-sen University(中山大学);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
本文提出GraphLoRA,通过SMMD分布对齐、低秩可训练GNN和结构感知正则化,实现参数高效的跨图GNN迁移,并在八个数据集上优于十四个基线。
2025-01-07 cs.AI cs.LG
Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
Australian National University(澳大利亚国立大学);Data61, CSIRO(Data61,澳大利亚联邦科学与工业研究组织);University of New South Wales(新南威尔士大学)
针对GNN到MLP蒸馏中忽略图几何导致谱欠拟合与过拟合的问题,提出基于Ollivier-Ricci曲率引导的G^2MLP框架,在训练时对齐预测与表示,提升无图推理性能。
2026-11-10 cs.LG
Graph Distillation with Eigenbasis Matching
Beijing University of Posts and Telecommunication(北京邮电大学)
针对现有图蒸馏方法存在谱偏差、跨架构泛化性差的问题,提出基于特征基匹配的图蒸馏方法GDEM,通过对齐特征基与节点特征、复制真实图谱并加入判别约束,实现了更优的蒸馏性能与跨架构泛化能力。
2024-05-14 cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
Learning General Optimal Policies with Graph Neural Networks: Expressive Power, Transparency, and Limits
Universitat Pompeu Fabra(庞培法布拉大学)
它最近已被证明,许多经典的规划领域的一般政策,可以表示和学习的一个池的功能定义的域谓词使用描述逻辑语法。同时,大多数描述逻辑对应于$k$的一个片段-$k=2$的变量计数逻辑($C_k$),它已被证明为图神经网络的表达能力提供了严格的表征。在这项工作中,我们利用这些结果来了解使用图神经网络(GNNs)的权力和限制,学习最佳的一般政策,在一些易于处理的规划领域,这些政策是已知的存在。为此,我们以监督的方式训练一个简单的GNN,以逼近多个样本状态$s$的最优值函数$V^{*}(s)$。正如理论所预测的那样,可以观察到,一般最优策略是在一般最优值函数可以用$C_2$特征来定义的域中获得的,而不是在那些需要更有表现力的$C_3$特征的域中。此外,据观察,学习的功能是在密切对应的功能,需要表达$V^{*}$在封闭的形式。理论和领域分析让我们了解实际学习到的特征以及无法以这种方式学习的特征,并让我们以原则性的方式从学习一般策略的组合优化方法转向基于深度学习的潜在、更强大和可扩展的方法。
2022-05-06 cs.AI
Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting
Westlake University(西湖大学);Research Center for Industries of the Future(未来产业研究中心);AI Lab(人工智能实验室)
提出 GSSC 框架,以纯 MLP 隐式利用图结构先验,通过结构稀疏化与自对比的双层优化学习节点表示,提升泛化性与鲁棒性。
2024-09-09 cs.AI cs.LG
Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors
该研究针对GNN同图跨任务迁移的评估缺陷,提出无泄漏协议,发现迁移方向性规律,引入CTS指标,表明数据集同质性可指导机制选择以避免负迁移。
2026-07-31 cs.LG cs.SI
Imbalanced Graph Classification via Graph-of-Graph Neural Networks
Vanderbilt University(范德堡大学);Snap Research(Snap研究院)
图神经网络(GNN)在识别图的分类标签方面取得了前所未有的成功。然而,大多数现有的GNN图分类问题都遵循平衡数据分割的协议,这与许多现实场景不一致,其中一些类的标签比其他类少得多。在这种不平衡的情况下直接训练GNN可能会导致少数类别中的图的无信息表示,并损害整体分类性能,这表明开发有效的GNN对处理不平衡图分类的重要性。现有的方法要么是针对非图结构化数据量身定制的,要么是专门为不平衡节点分类而设计的,而很少关注不平衡图分类。为此,我们引入了一个新的框架,图的图神经网络(G $^2$ GNN),它通过从相邻图中全局导出额外的监督和从图的随机扩充中局部导出额外的监督来解决图的不平衡问题。在全球范围内,我们构建了一个图形的图形(GoG)的基础上内核相似性和执行GoG传播聚合相邻的图形表示。在局部,我们采用拓扑增强通过掩蔽节点功能或下降的边缘与自洽正则化生成每个图的随机增强,提高模型的泛化能力。在七个基准数据集上进行的广泛的图分类实验表明,我们提出的G $^2$ GNN在F1宏观和F1微观分数上都优于许多基线约5%。G $^2$ GNN的实现可在https://github.com/YuWVandy/G2GNN}{https://github.com/YuWVandy/G2GNN
2022-09-28 cs.LG cs.SI
DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);Kunming University of Science and Technology(昆明理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出自监督黎曼模型DeepRicci,通过异构曲率空间、陀螺向量特征映射、几何对比学习与反向Ricci流协同精炼特征和结构,以缓解GNN过度挤压。
2024-01-23 cs.LG
A Framework for Real-World Multi-Robot Systems Running Decentralized GNN-Based Policies
University of Cambridge(剑桥大学)
GNN是一种范式转换的神经架构,用于促进复杂多智能体行为的学习。最近的工作已经表现出显着的性能,如群集,多智能体路径规划和合作覆盖的任务。然而,通过基于GNN的学习方案获得的策略尚未部署到物理多机器人系统的现实世界中。在这项工作中,我们提出了一个系统的设计,允许完全分散执行基于GNN的政策。我们创建了一个基于ROS2的框架,并在本文中详细阐述了它的细节。我们展示了我们的框架上的案例研究,需要机器人之间的紧密协调,并提出了第一种的结果,显示成功的现实世界部署的GNN为基础的政策上的分散的多机器人系统依赖于自组织通信。这个案例研究的视频演示以及附带的源代码存储库可以在网上找到。https://www.youtube.com/watch? https://github.com/proroklab/ros2_multi_agent_passage https://github.com/proroklab/rl_multi_agent_passage
2022-02-28 cs.LG cs.MA cs.RO
Refined Edge Usage of Graph Neural Networks for Edge Prediction
针对边预测中边兼具拓扑与监督作用且预测对象为节点对的特点,本文提出 EMPIRE 框架,通过边划分、目标感知消息传递、加权消息及难负例采样提升预测性能。
2024-01-23 cs.AI cs.IR cs.LG