Local Graph Embeddings Based on Neighbors Degree Frequency of Nodes
我们提出了一种局部到全局的策略，用于图机器学习和网络分析，通过定义节点的某些局部特征和向量表示，然后使用它们通过深度神经网络学习全局定义的度量和节点的属性。通过呼吸优先搜索扩展了节点的度的概念，定义了一个能够揭示节点重要性的{ \bf参数中心性函数}的一般族。我们引入{ \bf邻居度频率（NDF）}，作为一个本地定义的嵌入节点的无向图到欧氏空间。这就产生了一个矢量化的节点标记，它编码的结构，局部邻域的节点，并可用于图同构测试。我们为我们的构造增加了灵活性，以便它也可以处理动态图。然后，使用广度优先搜索将NDF向量表示扩展为两个不同的节点矩阵表示，其中包含关于节点邻域的高阶信息。我们的矩阵表示的节点为我们提供了一种新的方式可视化的形状的一个节点的邻域。此外，我们使用这些矩阵表示来获得特征向量，这些特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含了关于节点的一些信息，在一系列示例中，我们展示了可以通过对这些局部特征应用深度学习来学习PageRank和接近中心性。我们的构造足够灵活，可以处理不断变化的图形。最后，我们解释了如何适应我们的结构有向图。
2022-07-30 cs.LG cs.SI
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Siemens Corporate Technology（西门子企业技术）
神经网络的最新进展已经解决了常见的图形问题，如链接预测，节点分类，节点聚类，节点推荐，通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后，编码的嵌入可以用于预测图中丢失的链接。然而，获得最佳的嵌入图可以是一个具有挑战性的计算任务，特别是在嵌入式系统。我们在这项工作中关注的两个技术是1）基于随机游走的方法的节点嵌入和2）知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的，但是是次优的，而知识图谱嵌入表现更好，但是在计算上是昂贵的。在这项工作中，我们研究了一个转换模型，该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入，而不会增加计算成本。大量的实验表明，所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
GraphSB: Boosting Imbalanced Node Classification on Graphs through Structural Balance
针对图学习中不平衡节点分类问题，提出GraphSB框架，通过结构增强和关系扩散两阶段优化不平衡图结构，在节点合成前平衡结构分布，显著提升分类性能，且可作为即插即用模块平均提升现有方法准确率3.67%。
2025-11-13 cs.LG cs.SI
Joint Learning of Hierarchical Community Structure and Node Representations: An Unsupervised Approach
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Intel Labs（英特尔实验室）
图表示学习已经证明了在诸如跨一系列域的链接预测和节点分类等任务中的改进性能。研究表明，许多自然图可以组织在分层社区中，从而导致使用这些社区来提高节点表示质量的方法。然而，这些方法没有利用学习的表示来提高发现的社区的质量，并建立表示学习和社区发现的迭代和联合优化。在这项工作中，我们提出了Mazi，一个算法，共同学习的层次社区结构和节点表示的图形在一个无监督的方式。为了说明节点表示中的结构，Mazi在层次结构的每个级别上生成节点表示，并利用它们来影响原始图的节点表示。此外，在每一级的社区发现，同时最大化的模块性度量和最小化之间的距离表示的节点和它的社区。使用多标签节点分类和链接预测任务，我们评估我们的方法在各种合成和现实世界的图形，并证明，Mazi优于其他层次和非层次的方法。
2022-01-22 cs.LG cs.SI
Bayesian Graph Neural Network for Fast identification of critical nodes in Uncertain Complex Networks
在寻求提高效率的过程中，相互依赖性和复杂性正在成为代表工程和自然系统的现代复杂网络的定义特征。图论是一种广泛使用的框架，用于建模这样的复杂网络，并评估其鲁棒性中断。特别地，图中的关键节点/链路的识别可以促进图（系统）鲁棒性的增强并且表征系统性能的关键因素。大多数现有的关键节点识别方法是基于一个迭代的方法，探索每个节点/链接的图。这些方法具有高的计算复杂性，并且所得到的分析是网络特定的。此外，与底层图形模型相关联的不确定性进一步限制了这些传统方法的潜在价值。为了克服这些挑战，我们提出了一个贝叶斯图神经网络为基础的节点分类框架，计算效率高，系统地结合了不确定性。不是利用观察到的图来训练模型，而是基于观察到的拓扑和节点目标标签来计算图的MAP估计。此外，蒙特卡罗（MC）辍学算法被纳入考虑到认知的不确定性。仿真结果表明，贝叶斯框架提供的保真度和计算复杂性的增益。
2021-05-17 cs.LG cs.SI
Disentangling Node Attributes from Graph Topology for Improved Generalizability in Link Prediction
Network Science Institute（网络科学研究所）；Northeastern University（东北大学）；Khoury College of Computer Sciences（库利计算机科学学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）
该研究提出节点属性无监督预训练方法UPNA，通过学习节点属性对预测边概率的方式解决归纳式链接预测问题，克服拓扑捷径与观测偏差，性能大幅超越现有最优水平，还可集成到现有模型中提升泛化能力。
2023-07-17 cs.LG cs.SI
Graph Representation Learning Beyond Node and Homophily
Central South University（中南大学）
无监督图表示学习旨在将各种图信息提取到下游任务无关的密集向量嵌入中。然而，现有的图表示学习方法主要是在节点同质性假设下设计的：连接的节点往往具有相似的标签，并优化以节点为中心的下游任务的性能。它们的设计显然违背了任务不可知的原则，并且通常在任务中表现不佳，例如，边缘分类，这要求特征信号超出节点视图和同质性假设。为了将不同的特征信号压缩到嵌入中，提出了一种新的无监督图嵌入方法PairE，该方法使用两个成对的节点作为嵌入的基本单元，保留节点之间的高频信号，以支持节点相关和边缘相关的任务。因此，设计了一种多自监督自编码器，以实现两个任务：一个是更好地保留高频信号，另一个是增强共性的表现。我们在各种基准数据集上进行的广泛实验清楚地表明，PairE优于无监督的最先进基线，在依赖于对中的高频和低频信号的边缘分类任务上具有高达101.1%的相对改进，在节点分类任务上具有高达82.5%的相对性能增益。
2022-03-03 cs.LG cs.SI
On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs
Emory University（埃默里大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
图神经网络（GNN）已被广泛用于各种与图相关的问题，例如节点分类和图分类，其中主要在自然节点特征可用时建立优越的性能。然而，没有自然节点特征的GNN如何工作还没有很好的理解，特别是关于构建人工节点的各种方法。在本文中，我们指出了两种类型的人工节点特征，即，位置和结构节点特征，并提供关于为什么它们中的每一个更适合于某些任务的见解，即，位置节点分类、结构节点分类和图形分类。在10个基准数据集上进行的大量实验结果验证了我们的见解，从而为非属性图上GNN的不同人工节点特征之间的选择提供了实用指南。该代码可在https://github.com/zjzijielu/gnn-positional-structural-node-features上获得。
2022-09-09 cs.AI cs.LG cs.SI
Introducing New Node Prediction in Graph Mining: Predicting All Links from Isolated Nodes with Graph Neural Networks
Universidad Politécnica de Madrid（马德里理工大学）
本文提出图挖掘中的新节点预测问题，即零样本图外全链接预测，并验证基于深度图神经网络的架构可在文献引用网络中预测孤立节点的全部链接。
2024-01-10 cs.AI cs.LG cs.SI
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图神经网络（GNNs）在基于图的半监督节点分类中取得了显著的成功，它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而，这样的假设并不总是有效，限制了GNN在节点分类方面的性能。在本文中，我们提出了基于标签一致性的图神经网络（LC-GNN），利用节点对不连接，但具有相同的标签，以扩大GNN中的节点的感受野。在基准数据集上的实验表明，LC-GNN在基于图的半监督节点分类中优于传统GNN，并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution
Didi Chuxing（滴滴出行）
图神经网络已成为结构化数据建模的重要工具。在许多现实世界的系统中，可能存在复杂的隐藏信息，例如，节点/边的异质性、静态节点/边属性和时空节点/边特征。然而，大多数现有的方法只考虑了部分信息。在本文中，我们提出了协同进化的Meta图神经网络（CoMGNN），它适用于元图注意异构图的节点和边缘状态的协同进化。我们进一步提出了一个时空适应的CoMGNN（ST-CoMGNN）的节点和边缘的时空模式建模。我们在两个大规模的真实世界数据集上进行了实验。实验结果表明，我们的模型显着优于国家的最先进的方法，从不同方面的编码不同的信息的有效性。
2020-10-09 cs.LG cs.SI stat.ML
Explain Graph Neural Networks to Understand Weighted Graph Features in Node Classification
Yale University（耶鲁大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
从不同的应用程序，具有额外的拓扑结构和连接信息收集的真实数据是服从表示为加权图。图神经网络（GNNs）是研究节点标注问题的一种强有力的工具，它可以模拟专家对节点标注的决策。GNN通过使用神经网络来嵌入节点信息并通过图中的边将其传递，从而将节点特征、连接模式和图结构相结合。我们希望识别GNN模型使用的输入数据中的模式，以做出决策，并检查模型是否按我们的期望工作。然而，由于复杂的数据表示和非线性变换，解释GNN做出的决策是具有挑战性的。在这项工作中，我们提出了新的图形特征的解释方法，以确定信息组件和重要的节点特征。此外，我们提出了一个管道，以确定用于节点分类的关键因素。我们使用四个数据集（两个合成和两个真实）来验证我们的方法。我们的研究结果表明，我们的解释方法可以模仿用于节点分类的数据模式，通过人类的解释和解开图中的不同功能。此外，我们的解释方法可用于理解数据，调试GNN模型，并检查模型决策。
2020-02-02 cs.AI cs.LG cs.SI
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Institute of Artificial Intelligence, Huazhong University of Science and Technology（华中科技大学人工智能研究院）；Hopcroft Center on Computing Science, Huazhong University of Science and Technology（华中科技大学霍普克罗夫特计算科学中心）
提出NTFormer图Transformer，通过Node2Par生成多类型token序列全面表达图特征，无需图特定修改即可在节点分类任务上超越现有方法。
2024-06-27 cs.LG
Position-aware Graph Neural Networks
Stanford University（斯坦福大学）
学习节点嵌入，捕获节点在更广泛的图结构中的位置，对于图上的许多预测任务至关重要。然而，现有的图神经网络（GNN）架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里，我们提出了位置感知图神经网络（P-GNNs），这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样，计算给定目标节点到每个锚集的距离，然后在锚集上学习非线性距离加权聚合方案。通过这种方式，P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点：它们是归纳的，可扩展的，并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务，包括链接预测和社区发现。我们表明，P-GNN始终优于最先进的GNN，在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）；Facebook AI（Facebook 人工智能）
在本文中，我们提供了一种使用图神经网络（GNN）进行多节点表示学习的理论（我们感兴趣的是学习一组多个节点的表示，例如链接）。我们知道，GNN被设计为学习单节点表示。当我们想要学习涉及多个节点的节点集表示时，以前工作中的常见做法是直接将GNN获得的单节点表示聚合成联合节点集表示。在本文中，我们展示了这种方法的一个基本约束，即无法捕获节点集的节点之间的依赖关系，并认为直接聚合单个节点表示不会导致多个节点的有效联合表示。然后，我们注意到之前一些成功的多节点表示学习，包括SEAL，距离编码和ID-GNN，都使用了节点标记。这些方法首先根据图中的节点与目标节点集的关系标记节点，然后应用GNN。然后，在标记图中获得的节点表示被聚合成节点集合表示。通过研究它们的内在机制，我们将这些节点标记技术统一为一种最普遍的形式--标记技巧。我们证明了一个有足够表现力的GNN通过标签技巧学习最具表现力的节点集表示，从而在原则上解决了节点集上的任何联合学习任务。在一个重要的两节点表示学习任务链接预测上的实验验证了我们的理论。我们的工作解释了以前的基于节点标记的方法的优越性能，并建立了使用GNN多节点表示学习的理论基础。
2022-01-15 cs.LG
Seeing All From a Few: Nodes Selection Using Graph Pooling for Graph Clustering
Beijing Jiaotong University（北京交通大学）
最近，有相当大的研究兴趣，图聚类旨在使用图信息的数据划分。然而，大多数基于图的方法的一个局限性是它们假设要操作的图结构是固定和可靠的。而且图中不可避免地存在一些不利于图聚类的边，我们称之为伪边。本文是第一次尝试采用图池技术的节点聚类，我们提出了一种新的双图嵌入网络（DGEN），它被设计为一个两步图编码器连接的图池层学习图嵌入。在我们的模型中，假设如果一个节点和它最近的邻居节点接近同一个聚类中心，这个节点是一个信息节点，这个边缘可以被认为是一个集群友好的边缘。在此基础上，提出了邻居聚类池（NCPool）算法，根据节点及其近邻到聚类中心的距离，选择信息量最大的节点子集和相应的边。这可以有效地减轻虚假边缘对聚类的影响。最后，为了获得所有节点的聚类分配，使用所选节点的聚类结果训练分类器。在五个标准图数据集上的实验表明，该方法优于现有算法。
2021-06-08 cs.AI cs.CV cs.LG
Graph Embedding via Diffusion-Wavelets-Based Node Feature Distribution Characterization
Dartmouth College（达特茅斯学院）；Millennium Management, LLC（千禧管理有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）
近年来，图形数据的代表性学习方法的发展有所增加。然而，这些方法中的大多数集中在各种尺度下的节点级表示学习（例如，微观、介观和宏观节点嵌入）。相比之下，在整个图上进行表示学习的方法目前相对稀疏。在本文中，我们提出了一种新的无监督整图嵌入方法。我们的方法使用谱图小波来捕获节点之间的每个k-hop子图上的拓扑相似性，并使用它们来学习整个图的嵌入。我们在4个真实世界数据集上对12个已知基线进行了评估，结果表明我们的方法在所有实验中都达到了最佳性能，远远优于当前最先进的方法。
2021-09-14 cs.AI cs.LG cs.SI
Heterogeneous Deep Graph Infomax
Florida State University（佛罗里达州立大学）；JD Finance America Corporation（京东金融美国公司）
图表示学习是学习既保留节点属性又保留结构信息的通用节点表示。导出的节点表示可以用于服务于各种下游任务，例如节点分类和节点聚类。当一个图是异构的，问题变得更具挑战性比同构图节点学习问题。受新兴的基于信息理论的学习算法的启发，本文提出了一种用于异构图表示学习的无监督图神经网络Heterogeneous Deep Graph Infomax（HDGI）。我们使用元路径结构来分析异构图中涉及语义的连接，并利用图卷积模块和语义级注意力机制来捕获局部表示。通过最大化局部-全局互信息，HDGI有效地学习可以在下游图相关任务中使用的高级节点表示。实验结果表明，HDGI在分类和聚类任务上都明显优于最先进的无监督图表示学习方法。通过将学习到的表示馈送到参数模型（如逻辑回归）中，我们甚至在节点分类任务中实现了与最先进的监督端到端GNN模型相比相当的性能。
2020-11-13 cs.LG cs.SI stat.ML
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks
Texas A&M University（德州农工大学）
随着图数据在许多实际应用中的出现，研究图特征学习变得非常重要。几种图神经网络方法被提出用于节点特征学习，并且它们通常遵循邻近信息聚合方案来学习节点特征。虽然已经取得了很大的性能，不同的邻居节点的权重学习仍然很少探索。在这项工作中，我们提出了一种新的图网络层，称为Node2Seq，用于学习具有不同相邻节点的显式可训练权重的节点嵌入。对于目标节点，我们的方法通过注意力机制对其相邻节点进行排序，然后采用1D卷积神经网络（CNN）来实现信息聚合的显式权重。此外，我们建议将非本地信息的特征学习的自适应方式的基础上的注意力分数。实验结果表明，我们提出的Node2Seq层的有效性，并表明，所提出的自适应非局部信息学习可以提高特征学习的性能。
2021-01-06 cs.LG
Graph Neural Networks with Precomputed Node Features
ETH Zurich（苏黎世联邦理工学院）
大多数图神经网络（GNN）无法区分某些图或图中的某些节点对。这使得无法解决某些分类任务。但是，向这些模型添加其他节点功能可以解决此问题。我们介绍了几个这样的增强，包括（i）位置节点嵌入，（ii）规范节点ID，和（iii）随机特征。这些扩展的动机是理论结果和合成子图检测任务的广泛测试证实。我们发现，位置嵌入显着优于其他扩展在这些任务。此外，位置嵌入具有更好的样本效率，在不同的图分布上表现良好，甚至优于使用地面真实节点位置的学习。最后，我们证明了不同的增强在已建立的GNN基准上具有竞争力，并建议何时使用它们。
2022-09-17 cs.LG
Boosting Graph Structure Learning with Dummy Nodes
Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着图核和图表示学习的发展，针对图结构学习中的可扩展性和过平滑问题，提出了许多优越的方法。然而，这些战略大多是根据实际经验而不是理论分析设计的。在本文中，我们使用一个特定的虚拟节点连接到所有现有的顶点，而不影响原来的顶点和边的属性。我们进一步证明，这样的虚拟节点可以帮助建立一个有效的单态边到顶点变换和满态逆恢复原始图回来。它还表明，添加虚拟节点可以保持局部和全局结构，以更好地进行图表示学习。我们扩展了图核和图神经网络与虚拟节点，并进行实验图分类和子图同构匹配任务。实验结果表明，将具有虚拟节点的图作为输入可以显着提高图结构学习，并且使用它们的边到顶点图也可以实现类似的结果。我们还讨论了在神经网络中从哑元获得的表达能力。
2022-06-17 cs.LG
Node Identifiers: Compact, Discrete Representations for Efficient Graph Learning
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出节点标识符框架，通过向量量化将多层GNN连续嵌入压缩为6-15维int4离散编码，在34个数据集上实现高效推理并保持竞争力。
2024-10-18 cs.LG
LiftPool: Lifting-based Graph Pooling for Hierarchical Graph Representation Learning
Shanghai Jiao Tong University（上海交通大学）
图池化越来越多地被考虑用于图神经网络（GNN）以促进分层图表示学习。现有的图池化方法通常包括两个阶段，即，选择排名靠前的节点并移除其余节点以构建粗化图表示。然而，由于节点（位置）及其特征（信号）的固有耦合，这些方法中不可避免地会丢失被删除节点的局部结构信息。在本文中，我们提出了一个增强的三阶段方法，通过提升，名为LiftPool，以提高层次图表示最大限度地保留局部结构信息图池。LiftPool在图粗化之前引入了一个额外的图提升阶段，以保留删除节点的局部信息，并将节点删除和特征约简的过程解耦。具体地，对于每个要被移除的节点，通过减去从其相邻的保留节点聚合的全局信息来获得其局部信息。随后，该局部信息被对齐并传播到保留的节点，以减轻图粗化中的信息丢失。此外，我们证明了所提出的LiftPool是本地化的和置换不变的。所提出的图提升结构通常与现有的基于下采样的图池化方法相结合。对基准图数据集的评估表明，LiftPool在图分类任务中的性能大大优于最先进的图池方法。
2022-04-27 cs.LG
Inferential SIR-GN: Scalable Graph Representation Learning
Boise State University（博伊西州立大学）
图表示学习方法为网络中的节点生成数值向量表示，从而使它们能够在标准机器学习模型中使用。这些方法旨在保留关系信息，使得图中相似的节点在表示空间中彼此接近。相似性主要基于两个概念之一：连接性或结构作用。在节点结构作用重要的任务中，基于连接性的方法表现出较差的性能。最近的工作已经开始关注学习方法对数百万到数十亿节点和边的大规模图的可扩展性。许多无监督的节点表示学习算法不能扩展到大型图，并且不能为不可见的节点生成节点表示。在这项工作中，我们提出了推理SIR-GN，这是一种在随机图上预先训练的模型，然后快速计算节点表示，包括非常大的网络。我们证明了该模型能够捕获节点的结构角色信息，并在节点和图分类任务中表现出优异的性能，在看不见的网络。此外，我们观察到推理SIR-GN的可扩展性与目前最快的大规模图形方法相当。
2021-11-08 cs.LG
GLAM: Graph Learning by Modeling Affinity to Labeled Nodes for Graph Neural Networks
Microsoft Research India（微软研究院印度分部）
图神经网络在半监督分类任务中表现出了优异的性能。然而，它们假设可以访问实际上可能不经常可用的图。在没有任何图的情况下，从给定数据构建k-最近邻（kNN）图已经证明，与其他半监督方法相比，与GNN一起使用时会有所改进。本文提出了一种半监督图学习方法的情况下，没有图。该方法将图学习为无监督kNN图和有监督标签亲和图的凸组合。标签亲和度图直接捕获所有节点与标记节点的标签亲和度，即，一个节点有多可能与标记的节点具有相同的标签。该亲和度度量与kNN图形成对比，其中度量特征空间中的接近度。我们的实验表明，这种方法提供了接近或更好的性能（高达1.5%），同时更简单，更快（高达70倍）的训练，比最先进的图学习方法。我们还进行了几个实验，以突出单个组件的重要性，并将其与最先进的方法进行对比。
2021-02-20 cs.LG
Graph sampling for node embedding
节点嵌入是图表示学习中的一个中心话题。计算效率和可扩展性对于任何需要全图操作的方法都是具有挑战性的。我们提出了采样方法节点嵌入，或没有明确的建模的特征向量，其目的是提取有用的信息，从相关的图形Laplacien和给定的值与图形的特征向量。
2022-10-19 cs.LG stat.ML
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
Anhui University（安徽大学）；Northwestern Polytechnical University（西北工业大学）
针对图Transformer计算成本高且对噪声敏感的问题，提出锚点图Transformer（AGFormer），通过锚点将节点间消息传递转为锚点间及锚点-节点传递，提升效率与鲁棒性，并在多个基准数据集上验证了有效性。
2023-05-12 cs.LG
NCGNN: Node-Level Capsule Graph Neural Network for Semisupervised Classification
Shanghai Jiao Tong University（上海交通大学）
消息传递已经发展成为设计图神经网络（GNN）的有效工具。然而，大多数现有的消息传递方法只是简单地求和或平均所有相邻的功能，以更新节点表示。它们受到两个问题的限制，即，(i)缺乏可解释性来识别对GNN的预测有重要意义的节点特征，以及（ii）特征过度混合，导致在捕获长范围依赖关系时的过度平滑问题，并且无法处理异质性或低同质性下的图。在本文中，我们提出了一个节点级胶囊图神经网络（NCGNN），以解决这些问题，改进的消息传递方案。具体来说，NCGNN将节点表示为节点级胶囊组，其中每个胶囊提取其对应节点的独特特征。对于每个节点级胶囊，一种新的动态路由过程的开发，以自适应地选择合适的胶囊聚合从所设计的图过滤器确定的子图。NCGNN只聚集有利的胶囊，并抑制不相关的消息，以避免过度混合功能的交互节点。因此，它可以缓解过度平滑的问题，并学习有效的节点表示的同胚或异质图。此外，我们提出的消息传递方案是固有的可解释性和免除复杂的事后解释，作为图过滤器和动态路由过程中确定的一个子集的节点功能，是最重要的模型预测从提取的子图。在合成图和真实图上的大量实验表明，NCGNN可以很好地解决过度平滑问题，并为半监督节点分类产生更好的节点表示。它在同质性和异质性下的表现都优于现有技术。
2022-06-16 cs.LG
Spectrally unstable nodes drive reliability failures in graph learning
MTU（MTU大学）
研究探讨了图学习中谱不稳定性节点对可靠性故障的影响，提出了一种可靠性感知干预方法以隔离这些节点，从而提升算法在对抗性和内在噪声下的鲁棒性。
2026-05-20 cs.LG
PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer
Renmin University of China（中国人民大学）
针对现有谱图神经网络滤波器灵活性不足及可扩展性受限的问题，提出基于注意力机制的可扩展节点级滤波器PolyAttn及模型PolyFormer，在保持高效的同时增强表达性，实验证明其性能优越且可处理亿级节点图。
2024-07-19 cs.LG
Deformable Graph Convolutional Networks
Korea University（高丽大学）
图神经网络（GNN）显著提高了图结构数据的表示能力。尽管GNN最近取得了成功，但大多数GNN中的图卷积有两个局限性。由于图卷积是在输入图上的一个小的局部邻域中执行的，因此它本质上无法捕获距离节点之间的长程依赖关系。此外，当节点具有属于不同类的邻居时，即，异质性，从他们聚集的消息往往负面影响表示学习。为了解决图卷积的两个常见问题，在本文中，我们提出了可变形图卷积网络（可变形GCN），自适应地在多个潜在空间中执行卷积，并捕获节点之间的短/长距离依赖关系。与节点表示（特征）分离，我们的框架同时学习节点位置嵌入（坐标），以端到端的方式确定节点之间的关系。根据节点位置，卷积核通过变形向量变形，并对其相邻节点应用不同的变换。我们广泛的实验表明，可变形GCN灵活地处理异构性，并在六个异构图数据集上实现了节点分类任务的最佳性能。
2021-12-29 cs.LG
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University（贵州大学）
图卷积网络（GCN）通过从图数据中提取结构信息，在半监督节点分类领域已被证明是成功的。然而，随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中，我们提出了一种有效的方法，确定性选择标记的节点：确定性节点选择（DNS）算法。DNS算法识别图中的两类代表性节点：典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验，我们已经证明，与原始方法相比，DNS算法的引入可以显着提高模型的平均准确度，并显着降低标准差。
2023-01-11 cs.AI cs.LG
NODE-SELECT: A Graph Neural Network Based On A Selective Propagation Technique
University of South Carolina（南卡罗来纳大学）；Drexel University（德雷塞尔大学）
虽然存在用于节点分类的各种各样的图神经网络（GNN），但是其中只有少数采用在消息传递过程中有效地针对噪声传播的机制。此外，显著影响图神经网络的一个非常重要的挑战是可扩展性问题，这限制了它们在更大图中的应用。在本文中，我们提出了我们的方法命名为NODE-SELECT：一个有效的图神经网络，使用子集层，只允许最好的共享拟合节点来传播他们的信息。通过在每个层中并行堆叠选择机制，我们提出的方法NODE-SELECT能够减少传播的噪声量，并适应现实世界中观察到的限制性共享概念。我们的NODE-SELECT在噪声实验中显著优于现有的GNN框架，并在不同基准数据集上的无噪声实验中匹配最先进的结果。
2021-02-17 cs.LG
Virtual Nodes based Heterogeneous Graph Convolutional Neural Network for Efficient Long-Range Information Aggregation
School of Statistics and Mathematics, Guangdong University of Finance & Economics（广东金融学院统计与数学学院）；School of Digital Economics, Guangdong University of Finance & Economics（广东金融学院数字经济学学院）
针对异质图神经网络长程依赖建模需堆叠多层、计算复杂且易过平滑的问题，提出VN-HGCN，利用连接特定类型全部节点的虚拟节点在4层内实现高效长程聚合，并可作为通用框架迁移到其他HGNN。
2025-09-28 cs.LG
Graph Decipher: A transparent dual-attention graph neural network to understand the message-passing mechanism for the node classification
University of Colorado Denver（科罗拉多大学丹佛分校）
图神经网络可以有效地应用于为广泛不同领域的许多现实问题找到解决方案。图神经网络的成功与图上的消息传递机制有关，然而，大多数算法中的消息聚集行为仍然不完全清楚。为了改善功能，我们提出了一个新的透明网络，称为图形解密调查的消息传递机制，优先级在两个主要组成部分：图形结构和节点属性，在图形，功能和全局水平下的节点分类任务的图形。然而，计算负担现在成为最重要的问题，因为图的结构和节点属性的相关性计算上的图。为了解决这个问题，图特征过滤器只提取相关的代表性节点属性，允许以面向类别的方式执行计算。在7个数据集上的实验表明，Graph Decipher在节点分类任务下实现了最先进的性能，同时大大降低了计算负担。此外，由于我们的算法有能力探索的代表节点属性的类别，它是用来减轻不平衡的节点分类问题的多类图数据集。
2022-01-04 cs.AI cs.LG
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University（北京大学人工智能研究院）；School of Electrical and Computer Engineering Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本文提出标注技巧，通过在GNN前标注节点与目标节点集合的关系，解决多节点表示学习中无法捕捉节点间依赖的问题，并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning
University of Minnesota（明尼苏达大学）
无监督（或自监督）图表示学习是必不可少的，以促进各种图数据采掘任务时，外部监督不可用。挑战在于将关于图结构的信息以及与节点和边相关联的属性编码到低维空间中。大多数现有的无监督方法在拓扑上接近的节点之间促进相似的表示。最近，它表明，利用额外的图形级信息，例如，在所有节点之间共享的信息鼓励表示注意图的全局属性，这大大提高了它们的质量。然而，在大多数图中，可以捕获更多的结构，例如，节点倾向于属于表示结构上相似的节点的（多个）集群。出于这种观察，我们提出了一个图形表示学习方法称为图形InfoClust（GIC），旨在额外捕获集群级的信息内容。这些集群计算的可微K-均值方法，并通过最大化的互信息相同的集群节点之间的联合优化。这种优化使得节点表示能够捕获更丰富的信息和节点交互，从而提高了它们的质量。实验表明，GIC在各种下游任务（节点分类，链接预测和节点聚类）中优于最先进的方法，平均比最佳竞争方法增益0.9%至6.1%。
2020-09-15 cs.LG stat.ML
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University（杜克大学）
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法，如成对马尔可夫随机场（pMRF）和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而，现有的基于pMRF的方法不如图神经网络准确，这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中，我们的目标是解决现有的基于pMRF的方法的关键限制。特别是，我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明，我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调，以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Saliency-Aware Regularized Graph Neural Network
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Southern University of Science and Technology（南方科技大学）；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
提出SAR-GNN模型，通过图神经记忆模块提炼紧凑图表示并估计全局节点显著性，以此正则化邻域聚合以优化消息传递，从而学习更有效的图表示并提升图分类性能。
2024-01-01 cs.LG
Propagation on Multi-relational Graphs for Node Regression
\' E cole Polytechnique F\' e d\' e rale de Lausanne (EPFL), Lausanne, Switzerland
近年来，真实世界中的数据越来越多，这些数据具有丰富的结构信息，可以方便地用多关系图来描述。虽然在一个简单的图上的连续节点特征的推理是相当不足的研究，目前的关系学习研究，我们更进一步，并专注于多关系图上的节点回归问题。我们从著名的标签传播算法的灵感，旨在完成分类功能在一个简单的图，并提出了一种新的传播框架，以完成缺失的连续功能在节点的多关系和有向图。我们的多关系传播算法是由一个关系的本地生成模型的迭代邻域聚合。我们的研究结果表明，利用多关系结构的数据在几个节点回归方案在不同的设置的好处。
2021-10-15 cs.LG
Node-Specific Space Selection via Localized Geometric Hyperbolicity in Graph Neural Networks
Nanyang Technological University（南洋理工大学）
已经开发了许多图神经网络来学习欧几里得或双曲空间中的图表示，其中所有节点的表示嵌入在单个空间中。然而，一个图可以在图的不同区域具有双曲和欧几里得几何。因此，将整个图无差别地嵌入单个空间是次优的。在本文中，我们探索和分析两个概念的局部双曲，描述了潜在的局部几何：几何（格罗莫夫）和基于模型，以确定每个节点的嵌入的首选空间。使用Wasserstein度量来对齐两个双曲性的分布，使得计算的几何双曲性指导学习的模型双曲性的选择。因此，我们的模型联合空间图神经网络（JSGNN）可以通过允许节点特定的几何空间选择，在学习过程中利用欧几里得和双曲空间。我们评估我们的模型上的节点分类和链接预测任务，并观察到有前途的性能相比，基线模型。
2023-03-03 cs.LG
A Graph Is More Than Its Nodes: Towards Structured Uncertainty-Aware Learning on Graphs
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
当前处理图上节点分类的图神经网络（GNN）往往只关注节点得分，并且仅通过节点度量进行评估。这限制了图上的不确定性估计，因为节点边缘不能完全表征给定图结构的联合分布。在这项工作中，我们提出了新的边向度量，即边向预期校准误差（ECE）和同意/不同意的ECES，提供标准的不确定性估计超出节点设置的图形。我们的实验表明，所提出的边缘度量可以补充节点的结果，并产生额外的见解。此外，我们还表明，考虑图上结构化预测问题的GNN模型往往具有更好的不确定性估计，这说明了超越节点设置的好处。
2022-10-27 cs.AI cs.LG stat.ML
On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology（谢里夫理工大学）
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法，如图卷积网络（GCN），试图考虑节点属性（如果可用），除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面，多层图分析最近受到关注。然而，现有的多层图嵌入方法不能包含所有可用的信息（如节点属性）。此外，他们中的大多数考虑节点或边的类型，他们不处理层内和层间的边缘不同。在本文中，我们提出了一种称为MGCN的方法，利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明，该方法的优越性，其他多层和单层的竞争对手，也显示了积极的效果，使用跨层的边缘。
2019-08-24 cs.LG stat.ML
Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
针对 token 化图 Transformer 仅利用高相似节点导致信息利用不足的问题，本文提出 GCFormer，通过混合 token 生成器、Transformer 骨干和正负序列对比学习提升节点表示，并在多类图数据集上验证其分类优势。
2025-02-16 cs.LG
Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors
KAIST（韩国科学技术院）
本文提出NodePFN，通过学习后验预测分布实现对任意图的通用节点分类，无需图特定训练，利用合成图先验生成多样化的图结构和特征-标签关系。
2026-04-21 cs.LG
Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs
Microsoft Research India（微软印度研究院）
图神经网络（GNN）在节点标签方面表现出很强的同质性，即连接的节点具有相同的标签。然而，他们表现不佳的heterophilic图。最近的方法通常修改聚合方案，设计自适应图过滤器等，以解决这个限制。尽管如此，在异嗜图上的性能仍然很差。我们提出了一个简单的替代方法，利用截断奇异值分解（TSVD）的拓扑结构和节点功能。我们的方法实现了高达30%的改进性能比最先进的方法对heterophilic图。这项工作是一个早期的调查方法，不同的聚合为基础的方法。我们的实验结果表明，它可能是重要的，以探索其他替代聚集方法的嗜异性设置。
2021-06-24 cs.LG
GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks
College of Information Science and Technology, Penn State University（宾夕法尼亚州立大学信息科学与技术学院）
节点分类是图学习中的一个重要研究课题。图神经网络（GNN）已经实现了节点分类的最新性能。然而，现有的GNN解决了不同类的节点样本平衡的问题;而对于许多现实场景，某些类的实例可能比其他类少得多。在这种情况下，直接训练GNN分类器将不充分表示来自那些少数类别的样本，并导致次优性能。因此，开发用于不平衡节点分类的GNN非常重要。然而，这方面的工作相当有限。因此，我们寻求将先前的用于i.i.d数据的不平衡学习技术扩展到不平衡节点分类任务，以促进GNN分类器。特别是，我们选择采用合成少数过采样算法，因为它们被发现是最有效和最稳定的。这个任务是不平凡的，因为以前的合成少数过采样算法未能提供新合成的样本，这是至关重要的学习图的关系信息。此外，节点属性是高维的。在原始输入域中直接过采样可能会产生域外样本，这可能会损害分类器的准确性。我们提出了一个新的框架，GraphSMOTE，其中嵌入空间被构造成编码节点之间的相似性。在这个空间中合成新的样品以确保准确性。此外，还同时训练边缘生成器来对关系信息进行建模，并将其提供给那些新的样本。该框架是通用的，并且可以容易地扩展为不同的变体。使用三个不同的数据集对所提出的框架进行了评估，它的性能优于所有基线，并且具有很大的优势。
2021-03-16 cs.LG
Edge Conditional Node Update Graph Neural Network for Multi-variate Time Series Anomaly Detection
Korea University（高丽大学）
针对多变量时间序列异常检测中图方法源节点表示缺乏边条件适应性的问题，提出 ECNU-GNN，通过边条件节点更新动态变换源节点表示，并在 SWaT、WADI、PSM 上显著提升 F1。
2024-01-25 cs.LG
Node-level Contrastive Unlearning on Graph Neural Networks
Emory University（埃默里大学）
针对图神经网络中图实体相互依赖导致反学习困难的问题，提出节点级对比反学习（Node-CUL），通过直接优化嵌入空间并引入邻域重建方法，在维持模型效用的同时实现了最佳的反学习效果。
2025-03-04 cs.CR cs.LG
DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification
Arizona State University（亚利桑那州立大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
图形数据广泛存在于许多高影响力的应用中。受网格结构数据深度学习成功的启发，人们提出了图神经网络模型来学习强大的节点级或图级表示。然而，现有的大多数图神经网络都存在以下局限性：（1）对图卷积的种子定向、度感知和无序等特性的分析有限;（2）图卷积中没有显式地表达节点的度特定图结构，以区分结构感知的节点邻域;（3）关于图级池方案的理论解释不清楚。为了解决这些问题，我们提出了一个通用的度特定的图神经网络命名为DEMO-Net动机Weisfeiler-Lehman图同构测试，递归地识别1跳邻域结构。为了明确地捕获与节点属性集成的图拓扑结构，我们认为图卷积应该具有三个属性：面向种子，度感知，顺序自由。为此，我们提出了多任务图卷积，其中每个任务表示具有特定度值的节点的节点表示学习，从而保持特定度的图结构。特别是，我们设计了两种多任务学习方法：度特定的权重和哈希函数图卷积。此外，我们提出了一种新的图级池化/读出方案，用于学习可证明位于特定度Hilbert核空间中的图表示。在几个节点和图分类基准数据集上的实验结果表明，我们提出的DEMO-Net在最先进的图神经网络模型上的有效性和效率。
2019-06-05 cs.LG stat.ML
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University（上海交通大学）；Amazon Web Service（亚马逊云科技）；Shanghai AI Lab（上海人工智能实验室）
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题，提出基于核化Gumbel-Softmax算子的NodeFormer，实现线性复杂度的可扩展图结构学习，在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
Node Similarity Preserving Graph Convolutional Networks
Michigan State University（密歇根州立大学）；Vanderbilt University（范德堡大学）；TAL Education Group（好未来教育集团）
图神经网络（GNNs）由于其强大的图表示学习能力，在各种实际应用中取得了巨大的成功。GNN通过聚集和转换节点邻域内的信息来探索图结构和节点特征。然而，通过理论和实证分析，我们发现GNN的聚合过程往往会破坏原始特征空间中的节点相似性。在许多情况下，节点相似性起着至关重要的作用。因此，它激发了所提出的框架SimP-GCN，可以有效地和高效地保持节点的相似性，同时利用图结构。具体而言，平衡信息从图结构和节点特征，我们提出了一个特征相似性保持聚合，自适应集成图结构和节点特征。此外，我们采用自监督学习来明确地捕捉节点之间复杂的特征相似性和相异性关系。我们在七个基准数据集上验证了SimP-GCN的有效性，包括三个验证图和四个否定图。结果表明，SimP-GCN优于代表性基线。进一步的探索显示了所提出的框架的各种优点。SimP-GCN的实现可在\url{https://github.com/ChandlerBang/SimP-GCN}上获得。
2021-03-08 cs.AI cs.LG
PanRep: Graph neural networks for extracting universal node embeddings in heterogeneous graphs
AWS Artificial Intelligence（亚马逊人工智能部门）
学习无监督的节点嵌入有助于几个下游任务，如节点分类和链接预测。如果节点嵌入被设计为由各种下游任务使用并使其受益，则它是通用的。这项工作介绍了PanRep，图神经网络（GNN）模型，无监督学习的通用节点表示异构图。PanRep由一个GNN编码器和四个解码器组成，GNN编码器用于获取节点嵌入，每个解码器都捕获不同的拓扑和节点特征属性。遵循这些属性，新型无监督框架学习适用于不同下游任务的通用嵌入。PanRep可以进一步微调以考虑可能的有限标签。在这种操作设置中，PanRep被认为是用于提取异构图数据的节点嵌入的预训练模型。PanRep在节点分类和链接预测方面优于所有无监督和某些监督方法，特别是当监督方法的标记数据很小时。PanRep-FT（微调）优于所有其他监督方法，这证实了预训练模型的优点。最后，我们将PanRep-FT应用于发现新型冠状病毒药物。我们展示了通用嵌入在药物再利用中的优势，并确定了临床试验中使用的几种药物作为可能的候选药物。
2021-03-04 cs.LG stat.ML
