PINE: Universal Deep Embedding for Graph Nodes via Partial Permutation Invariant Set Functions
University of Rochester（罗切斯特大学）；KAUST（阿卜杜拉国王科技大学）；Iowa State University（爱荷华州立大学）；University of Michigan（密歇根大学）；PlusAI（普拉斯人工智能公司）；Kwai Inc.（快手公司）
图节点嵌入旨在学习给定图的所有节点的向量表示。它是许多机器学习任务中的中心问题（例如，节点分类、推荐、社区发现）。图节点嵌入的关键问题在于如何定义对邻域的依赖关系。现有的方法指定（显式或隐式）某些依赖于邻居，这可能会导致丢失的微妙，但重要的结构信息的图形和其他邻居之间的依赖关系。这让我们不禁要问这样一个问题：我们能否设计一个模型，使每个节点的邻域的依赖性具有最大的灵活性。在本文中，我们提出了一种新的图节点嵌入（命名为PINE）通过一个新的概念，部分置换不变集函数，捕捉任何可能的依赖。我们的方法1）可以从邻域中学习任意形式的表示函数，而不会丢失任何潜在的依赖结构; 2）适用于同构和异构图嵌入，后者受到节点类型多样性的挑战。此外，我们提供了理论保证，我们的方法的表示能力一般的同质和异构图。基准数据集上的实证评估结果表明，我们提出的PINE方法优于最先进的方法产生的节点向量的各种学习任务的同质和异构图。
2019-09-25 cs.LG stat.ML
Just Jump: Dynamic Neighborhood Aggregation in Graph Neural Networks
TU Dortmund University（多特蒙德工业大学）
我们提出了一个动态的邻域聚合（DNA）过程引导（多头）注意图上的表示学习。与遵循简单邻域聚合方案的当前图神经网络相比，我们的DNA过程允许潜在不同局部性的相邻嵌入的选择性和节点自适应聚合。为了避免过拟合，我们建议通过使用分组线性投影来控制输入和输出之间的通道连接。在一些转导节点分类实验中，我们证明了我们的方法的有效性。
2019-04-15 cs.LG stat.ML
Bilinear Graph Neural Network with Neighbor Interactions
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Beijing Kuaishou Technology Co., Ltd.（北京快手科技有限公司）；University of Electronic Science and Technology of China（电子科技大学）
图神经网络（GNN）是一种强大的模型，可以学习表示并对图数据进行预测。GNN上的现有工作在很大程度上将图卷积定义为连接节点的特征的加权和，以形成目标节点的表示。然而，加权和的操作假设邻居节点是彼此独立的，并且忽略了它们之间可能的相互作用。当存在这种相互作用时，例如两个邻居节点的共同出现是目标节点特征的强烈信号，现有的GNN模型可能无法捕获信号。在这项工作中，我们认为在GNN的邻居节点之间的相互作用建模的重要性。我们提出了一个新的图卷积算子，它增加了加权和与相邻节点的表示的成对相互作用。我们将这个框架称为双线性图神经网络（BGNN），它通过相邻节点之间的双线性交互来提高GNN的表示能力。特别是，我们指定两个BGNN模型命名为BGCN和BGAT，分别基于著名的GCN和GAT。在三个公开的半监督节点分类基准上的实验结果验证了BGNN的有效性-- BGCN（BGAT）在分类精度上优于GCN（GAT）1.6%（1.5%）。代码可在https://github.com/zhuhm1996/bgnn上获得。
2020-05-30 cs.GR cs.LG stat.ML
Graphs, Entities, and Step Mixture
Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）；Naver Shopping, NAVER Corp.（NAVER公司NAVER购物）
现有的图神经网络的方法通常遭受过平滑问题，无论如何聚集邻域。大多数方法还专注于固定图的转换场景，导致未见过图的泛化能力较差。为了解决这些问题，我们提出了一个新的图神经网络，同时考虑基于边缘的邻域关系和基于节点的实体特征，即通过随机游走的步骤混合图实体（GESM）。GESM采用各种步骤的混合，通过随机游走，以减轻过度平滑的问题，注意动态反映依赖于节点信息的相互关系，和基于结构的正则化，以增强嵌入表示。通过大量的实验，我们表明，所提出的GESM实现了最先进的或相当的性能在8个基准图数据集，包括转导和归纳学习任务。此外，我们实证证明了考虑全球信息的重要性。
2020-06-24 cs.LG stat.ML
GraphAIR: Graph Representation Learning with Neighborhood Aggregation and Interaction
Center for Research on Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所智能感知与计算研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；The Chinese University of Hong Kong（香港中文大学）
图表示学习对于从节点分类到社区发现的各种图分析任务是至关重要的。最近，图卷积网络（GCN）已成功地应用于图表示学习。这些GCN通过聚集来自邻域的特征来生成节点表示，这遵循“邻域聚集”方案。现有的基于GCN的模型虽然在各种任务上取得了良好的性能，但难以很好地捕捉图形数据的复杂非线性。在本文中，我们首先从理论上证明了在当前模型中，邻域相互作用项的系数相对较小，这解释了为什么GCN几乎没有优于线性模型。然后，为了更好地捕捉图数据的复杂的非线性，我们提出了一种新的GraphAIR框架，除了邻域聚合模型的邻域交互。在节点分类和链接预测等基准任务上进行的实验表明了该方法的有效性。
2020-11-05 cs.LG stat.ML
Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification
Zhejiang University of Technology（浙江工业大学）
针对图神经网络处理异质性数据和长程依赖的不足，以及图Transformer的可扩展性和噪声问题，提出GNNMoE模型，结合细粒度消息传递与专家混合机制，通过门控层分配专家网络，提升节点分类的通用性与适应性。
2025-02-12 cs.LG
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks
Texas A&M University（德州农工大学）
随着图数据在许多实际应用中的出现，研究图特征学习变得非常重要。几种图神经网络方法被提出用于节点特征学习，并且它们通常遵循邻近信息聚合方案来学习节点特征。虽然已经取得了很大的性能，不同的邻居节点的权重学习仍然很少探索。在这项工作中，我们提出了一种新的图网络层，称为Node2Seq，用于学习具有不同相邻节点的显式可训练权重的节点嵌入。对于目标节点，我们的方法通过注意力机制对其相邻节点进行排序，然后采用1D卷积神经网络（CNN）来实现信息聚合的显式权重。此外，我们建议将非本地信息的特征学习的自适应方式的基础上的注意力分数。实验结果表明，我们提出的Node2Seq层的有效性，并表明，所提出的自适应非局部信息学习可以提高特征学习的性能。
2021-01-06 cs.LG
Local Graph Embeddings Based on Neighbors Degree Frequency of Nodes
我们提出了一种局部到全局的策略，用于图机器学习和网络分析，通过定义节点的某些局部特征和向量表示，然后使用它们通过深度神经网络学习全局定义的度量和节点的属性。通过呼吸优先搜索扩展了节点的度的概念，定义了一个能够揭示节点重要性的{ \bf参数中心性函数}的一般族。我们引入{ \bf邻居度频率（NDF）}，作为一个本地定义的嵌入节点的无向图到欧氏空间。这就产生了一个矢量化的节点标记，它编码的结构，局部邻域的节点，并可用于图同构测试。我们为我们的构造增加了灵活性，以便它也可以处理动态图。然后，使用广度优先搜索将NDF向量表示扩展为两个不同的节点矩阵表示，其中包含关于节点邻域的高阶信息。我们的矩阵表示的节点为我们提供了一种新的方式可视化的形状的一个节点的邻域。此外，我们使用这些矩阵表示来获得特征向量，这些特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含了关于节点的一些信息，在一系列示例中，我们展示了可以通过对这些局部特征应用深度学习来学习PageRank和接近中心性。我们的构造足够灵活，可以处理不断变化的图形。最后，我们解释了如何适应我们的结构有向图。
2022-07-30 cs.LG cs.SI
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon（亚马逊）
图神经网络（GNN）在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而，他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况，即节点可能没有邻居，称为严格冷启动（SCS）。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew，这是一种师生蒸馏方法，用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率（FCR），这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明，FCR解开不同的图形数据组件的贡献，并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能，其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
Not All Neighbors Are Worth Attending to: Graph Selective Attention Networks for Semi-supervised Learning
Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
图形注意力网络（GAT）是分析各种真实场景中图形数据的强大工具。为了学习下游任务的表示，GAT通常在聚合特征时关注中心节点的所有邻居。在本文中，我们表明，很大一部分的邻居是无关的中心节点在许多现实世界的图，可以排除邻居聚合。以此为线索，我们提出了选择性注意（SA）和一系列新的注意力机制的图神经网络（GNNs）。SA利用各种形式的可学习的节点-节点相异性来获取每个节点的关注范围，从中排除不相关的邻居。我们进一步提出了图选择性注意网络（SAT）来学习表示从高度相关的节点特征识别和不同的SA机制进行调查。最后，对所提出的SAT的表达能力进行了理论分析，并对SAT在挑战现实世界的数据集上与最先进的GNN进行了全面的实证研究，以证明SAT的有效性。
2022-10-28 cs.LG
DAM-GT: Dual Positional Encoding-Based Attention Masking Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Hopcroft Center on Computing Science, Huazhong University of Science and Technology（华中科技大学计算科学霍普克罗夫特中心）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
针对邻域标记化图Transformer在节点分类中属性相关性捕获不足和注意力分散问题，提出DAM-GT，通过双位置编码和注意力掩码策略，在多种图上优于现有方法。
2025-05-23 cs.LG
Nearest Neighbor Dirichlet Mixtures
针对贝叶斯混合密度估计依赖 MCMC、计算慢且不稳定的问题，提出最近邻 Dirichlet 混合及并行 Monte Carlo 伪后验算法，并证明渐近性质与实证效果。
2023-02-23 stat.CO stat.ME stat.ML
Mixture of Message Passing Experts with Routing Entropy Regularization for Node Classification
Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络安全学院）；Binjiang Cyberspace Security Institute of ZJUT（浙江工业大学滨江区网络安全研究所）；Faculty of Artificial Intelligence in Education, Central China Normal University（中央财经大学教育人工智能学院）
针对GNN在异质性结构中性能下降的问题，提出GNNMoE框架，通过熵驱动的消息传递专家混合与路由熵正则化实现节点级自适应表示学习，在12个数据集上优于SOTA方法，兼具可扩展性和可解释性。
2025-11-12 cs.LG cs.SI
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Neighbor Overlay-Induced Graph Attention Network
针对现有图注意力网络依赖节点特征、缺乏结构上下文的问题，提出从邻接矩阵学习覆盖邻居信息并注入特征传播以联合计算注意力的NO-GAT，性能超越当前最优模型。
2024-08-16 cs.LG
Nearest-Neighbor Mixture Models for Non-Gaussian Spatial Processes
我们开发了一类最近邻混合模型，为非高斯地理空间数据提供直接的，计算效率高的概率建模。该类定义在一个有向无环图，这意味着条件的独立性，通过分解成一个产品的单变量条件表示多元分布，并扩展到一个完整的空间过程。我们将每个条件建模为具有局部自适应权重的空间变化过渡内核的混合物，用于给定数量的最近邻居中的每一个。建模框架强调在数据水平上的非高斯依赖的描述，与引入空间过程的转换数据，或数据概率分布的泛函的方法相比。因此，它有助于有效的，完全基于模拟的推理。我们研究模型的构造和属性分析，通过规范的二元分布，定义的本地过渡内核，提供了一个通用的非高斯数据建模的一般类型的策略。在计算方面，该框架提出了一种处理空间数据集的新方法，利用混合模型结构来避免大型矩阵运算产生的计算问题。我们用合成数据的例子和分析地中海表面温度观测说明的方法。
2022-06-27 stat.ME
Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs
Institute of Artificial Intelligence, Huazhong University of Science and Technology（华中科技大学人工智能研究院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Hopcroft Center on Computing Science, Huazhong University of Science and Technology（华中科技大学霍普克罗夫特计算科学中心）
针对Graph Transformers处理大图时面临的二次复杂度问题，提出NAGphormer模型，通过Hop2Token模块将节点多跳邻域特征转化为token序列以实现小批量训练，并引入NrAug数据增强方法，实验证明其在节点分类任务上优于现有方法。
2023-05-22 cs.LG
Learning Representations using Spectral-Biased Random Walks on Graphs
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
几种最先进的神经图嵌入方法基于短随机游走（随机过程），因为它们易于计算、捕获复杂局部图属性的简单性、可扩展性和可解释性。在这项工作中，我们感兴趣的是研究在这个随机过程中的概率偏差会影响过程中挑选的节点的质量。特别是，我们的有偏行走，有一定的概率，有利于移动到节点的邻居承担结构相似的当前节点的邻居。我们简洁地捕捉这个邻域作为一个概率测度的基础上，表示为一个归一化的拉普拉斯矩阵的节点的邻域子图的频谱。我们建议使用一个新的Wasserstein正则化项的段落向量模型。我们经验评估我们的方法对几个国家的最先进的节点嵌入技术在各种各样的现实世界的数据集，并证明我们提出的方法显着改善现有的方法上的链接预测和节点分类任务。
2020-07-29 cs.LG cs.SI stat.ML
Multi-Node EM Algorithm for Finite Mixture Models
有限混合模型是建模和分析异构数据的有力工具。参数估计通常通过期望最大化（EM）算法使用极大似然估计来执行。最近，采用灵活的分布作为组件密度已变得越来越流行。通常，用于这些模型的期望最大化算法涉及复杂的表达式，这些表达式在数值上进行评估是耗时的。在本文中，我们描述了EM算法的并行实现，适用于单线程和多线程处理器，并为单机和多节点系统。数值实验表明，在不同的设置下，潜在的性能增益。还比较了两个常用的平台- R和MATLAB。为了说明，在比较中使用了相当一般的混合物模型。
2020-05-14 stat.CO
Graph Pointer Neural Networks
Microsoft Research Asia（微软亚洲研究院）
图神经网络（GNN）在各种基于图的应用中显示出优势。大多数现有的GNN假设图结构的强同构性，并应用邻居的置换不变局部聚合来学习每个节点的表示。然而，他们未能推广到heterophilic图，其中大多数相邻节点具有不同的标签或特征，并且相关节点是遥远的。最近很少有研究试图通过组合中心节点的隐藏表示的多跳（即，基于多跳的方法）或基于注意力分数对相邻节点进行排序（即，基于排名的方法）。因此，这些方法有一些明显的局限性。一方面，基于多跳的方法没有明确区分相关节点从大量的多跳社区，导致严重的过度平滑问题。另一方面，基于排名的模型不联合优化节点排名与最终任务，并导致次优的解决方案。在这项工作中，我们提出了图指针神经网络（GPNN）来解决上述挑战。利用指针网络从大量的多跳邻域中选择最相关的节点，根据与中心节点的关系构造有序序列。然后应用1D卷积从节点序列中提取高级特征。GPNN中基于指针网络的排序器与其他部分以端到端的方式进行联合优化。在六个具有异嗜图的公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了国家的最先进的方法的分类性能。此外，分析还揭示了建议的GPNN过滤掉不相关的邻居和减少过度平滑的特权。
2022-01-03 cs.LG
Neighbor2vec: an efficient and effective method for Graph Embedding
Tongdun（同盾）
图嵌入技术近年来取得了重大进展。然而，目前的技术是不够有效的捕捉网络的模式。本文提出了neighbor 2 vec，一个基于邻居的采样策略，用于学习算法的邻域表示的节点，一个框架，收集结构信息的特征传播之间的节点和它的邻居。我们认为，neighbor 2 vec是一种简单有效的方法来提高图嵌入的可扩展性和平等性，它打破了现有的最先进的无监督技术的限制。我们对ogbn-arxiv、ogbn-products、ogbn-proteins、ogbl-ppa、ogbl-collab和ogbl-citation 2等网络的几个节点分类和链接预测任务进行了实验。结果表明，Neighbor 2 vec的表示在节点分类任务中提供的平均准确率比竞争方法高出6.8%，在链接预测任务中高出3.0%。在所有六个实验中，neighbor 2 vec的表示能够优于所有基线方法和两个经典的GNN模型。
2022-01-07 cs.LG cs.SI
Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification
Huazhong University of Science and Technology（华中科技大学）
解耦的图卷积网络（GCN）是GCN的最新发展，它在每个卷积层中实现了邻域聚合和特征变换，在图表示学习方面表现出了良好的性能。现有的解耦GCN首先利用简单的神经网络（例如，MLP）学习节点的隐藏特征，然后将学习到的特征以固定的步长在图上传播，以聚集多跳邻域的信息。尽管有效，但需要整个邻接矩阵作为输入的聚合操作涉及模型训练，导致高训练成本，阻碍了其在更大图上的潜力。另一方面，由于作为输入的节点属性的独立性，用于解耦GCN的神经网络非常简单，并且高级技术不能应用于建模。为此，我们进一步解放的聚合操作从解耦的GCN，并提出了一个新的范式的GCN，称为邻域卷积网络（NCN），利用邻域聚合结果作为输入，然后由一个特殊的卷积神经网络量身定制的聚合输入提取表达节点表示。这样，该模型既继承了解耦GCN在聚集邻域信息方面的优点，又开发了更强大的特征学习模块。一种称为掩码训练的训练策略被纳入，以进一步提高模型的性能。大量的结果表明，我们的模型的节点分类任务的有效性不同的同伦图和异伦图。
2022-11-15 cs.LG cs.SI
On Generalized Degree Fairness in Graph Neural Networks
Singapore Management University（新加坡管理大学）
传统的图神经网络（GNN）经常面临公平性问题，这些问题可能源于其输入，包括节点属性和节点周围的邻居。虽然最近已经提出了几种方法来消除源于敏感属性的偏差，但它们忽略了GNN的其他关键输入，即节点的邻居，这可能会引入偏差，因为GNN依赖于邻域结构来生成节点表示。特别是，节点之间不同的邻域结构，表现在截然不同的节点度上，导致节点的不同行为和有偏见的结果。在本文中，我们首先定义和推广的度偏差使用一个广义的定义节点度的表现和量化不同的多跳结构周围不同的节点。为了解决节点分类中的偏差，我们提出了一种新的GNN框架，称为广义度公平中心图神经网络（Deg-FairGNN）。具体而言，在每个GNN层中，我们采用可学习的去偏置函数来生成去偏置上下文，该上下文调制逐层邻域聚合以消除源自节点之间不同程度的程度偏差。在三个基准数据集上的大量实验证明了我们的模型在准确性和公平性指标上的有效性。
2023-02-20 cs.LG cs.SI
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University（华东师范大学）；Microsoft Research Asia（微软亚洲研究院）；Nanyang Technological University（南洋理工大学）
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域，以包括更多具有同质性的节点。然而，为不同节点设置个性化的邻域大小是一个重大挑战。此外，对于排除在邻域中的其他同性节点，它们被忽略用于信息聚合。为了解决这些问题，我们提出了两个模型GloGNN和GloGNN++，它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中，两个模型都学习一个系数矩阵来捕获节点之间的相关性，并基于此执行邻域聚合。系数矩阵允许有符号的值，并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集，并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性，证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验，将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域，规模和图形异质性的比较。实验结果表明，我们的方法实现了优越的性能，也是非常有效的。
2022-05-15 cs.AI cs.LG
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology（华中科技大学）
通过将图的结构信息融入到Transformers中，图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略，例如节点对的拉普拉斯特征向量和最短路径，来保留节点的结构特征，并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图，这种预定义的规则很难提取信息丰富的图结构特征，限制了模型的学习能力。为此，我们提出了一个自适应图Transformer，称为多邻域注意基于图Transformer（MNA-GT），它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核，基于邻域的不同跳数构造多个注意力核，使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式，MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性，以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验，实证结果表明，MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
On the Two Sides of Redundancy in Graph Neural Networks
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机科学博士学院）；Simula Research Laboratory（Simula研究实验室）；Research Network Data Science, University of Vienna（维也纳大学数据科学研究网络）
本文针对图神经网络中的过度挤压问题，提出基于邻域树剪枝和同构子树合并的聚合方案，通过控制信息冗余提升节点和图嵌入质量，并在基准数据集上取得更高准确率。
2024-03-28 cs.LG
Optimizing Long-tailed Link Prediction in Graph Neural Networks through Structure Representation Enhancement
Ant Group（蚂蚁集团）
本文提出LTLP框架，通过为尾部节点对补充高质量边并强制同类别内头部和尾部节点对表示对齐，消除共同邻居长尾分布的负面影响，提升图神经网络链路预测性能。
2024-07-30 cs.LG
Towards Expressive Graph Representation
Feinberg School of Medicine（Feinberg医学院）；Northwestern University（西北大学）
图神经网络（GNN）将每个节点的邻域聚合成节点嵌入，显示出强大的图表示学习能力。然而，大多数现有的GNN变体以固定的非内射方式聚合邻域信息，这可能将不同的图或节点映射到相同的嵌入，从而降低了模型的表达能力。我们提出了一个理论框架，设计一个连续的内射集函数的邻域聚合GNN。使用该框架，我们提出了表达性GNN，它用连续内射集函数聚合每个节点的邻域，以便GNN层将具有相似邻域的相似节点映射到相似的嵌入，将不同的节点映射到不同的嵌入，将等效节点或同构图映射到相同的嵌入。此外，所提出的表达GNN可以自然地学习具有连续节点属性的图的表达表示。我们在多个基准数据集（包括简单图和属性图）上验证了所提出的表达GNN（ExpGNN）的图分类。实验结果表明，我们的模型在大多数基准测试中达到了最先进的性能。
2020-10-12 cs.AI cs.IT cs.LG
Role action embeddings: scalable representation of network positions
Facebook（脸书）
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题，通常称为“角色嵌入”。“我们提出了RAE，一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络（GNN）架构，将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例，称为邻居洗牌，它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合，以大规模创建无监督的角色嵌入。然后，我们探索角色动作嵌入，它总结了节点邻域中的非结构特征，从而提高了节点分类任务的性能。我们发现，本文提出的模型架构在图和节点分类任务上都提供了强大的性能，在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks
Beihang University（北京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Leeds（利兹大学）
图神经网络（GNN）已被广泛用于各种结构化图数据的表示学习。虽然很有前途，但大多数现有的GNN过度简化了图中边的复杂性和多样性，因此无法有效地处理普遍存在的异构图，这些异构图通常是多关系图表示的形式。在本文中，我们提出了RioGNN，一种新的加强，递归和灵活的邻域选择引导的多关系图神经网络架构，导航复杂的神经网络结构，同时保持关系依赖的表示。首先根据实际任务构造一个多关系图，反映节点、边、属性和标签的异构性。为了避免不同类型节点之间的嵌入过度同化，我们采用了一种标签感知的神经相似性度量来确定基于节点属性的最相似邻居。一个增强的关系感知的邻居选择机制，选择最相似的邻居的目标节点在一个关系，然后聚合所有的邻居信息从不同的关系，以获得最终的节点嵌入。特别地，为了提高邻居选择的效率，我们提出了一种新的递归和可扩展的强化学习框架，具有可估计的深度和宽度的不同规模的多关系图。RioGNN可以通过过滤阈值机制识别每个关系的个体重要性，从而学习更多有区别的节点嵌入，增强了可解释性。在真实图数据和实际任务上的综合实验表明，与其他比较GNN模型相比，该模型在有效性、效率和模型可解释性方面都有很大的进步。
2021-10-05 cs.LG cs.SI
Metapaths guided Neighbors aggregated Network for?Heterogeneous Graph Reasoning
Alibaba Group（阿里巴巴集团）
大多数真实世界的数据集本质上是异构的图，涉及到节点和关系类型的多样性。异构图嵌入是从图中学习结构和语义信息，然后嵌入到低维节点表示中。现有的方法通常通过定义元路径来捕捉异构图的复合关系，元路径表示图的语义。然而，这些方法要么忽略节点属性，要么丢弃图的局部和全局信息，要么只考虑一个元路径。为了解决这些限制，我们提出了一个元路径引导的邻居聚集异构图神经网络（MHN），以提高性能。特别地，MHN采用节点基嵌入来封装节点属性，元路径内的BFS和DFS邻居聚合来捕获局部和全局信息，以及元路径聚合来组合异构图的不同语义。我们在三个真实世界的异构图数据集上进行了大量的实验，包括节点分类，链接预测和阿里巴巴移动应用程序的在线A/B测试。结果表明，MHN表现优于其他国家的最先进的基线。
2021-03-11 cs.AI cs.LG cs.SI
Salient Bayesian Clustering for Proportional Data via a Multivariate Beta Mixture Model
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
针对社区SDoH比例数据聚类中无关变量干扰的问题，提出嵌入特征显著性的贝叶斯多元Beta混合模型SAMBA-Mix，提升聚类准确性并识别关键决定因素。
2026-09-16 stat.ME
2-hop Neighbor Class Similarity (2NCS): A graph structural metric indicative of graph neural network performance
Huawei Munich Research Center（华为慕尼黑研究中心）
图神经网络（GNN）在众多领域的图结构数据上实现了最先进的性能。它们将节点表示为其邻近区域的摘要的潜在能力已被证明对同构图特别有效，其中相同类型的节点倾向于连接。在不同类型的节点可能连接的异质图上，GNN的表现不太一致，因为邻域信息可能不太具有代表性，甚至具有误导性。另一方面，GNN的性能在所有异质图上都不差，并且缺乏对其他图形属性影响GNN性能的理解。在这项工作中，我们强调了广泛使用的同质比和最近的跨类邻域相似性（CCNS）度量在估计GNN性能方面的局限性。为了克服这些限制，我们引入了2跳邻居类相似性（2NCS），这是一种新的定量图形结构属性，与GNN性能的相关性比其他指标更强，更一致。2NCS认为两跳的邻居作为一个理论推导的两步标签传播过程的结果支配GCN的训练推理过程。一个合成和八个真实世界的图数据集上的实验证实了在估计基于GCN和GAT的架构对节点分类任务的准确性方面，与现有指标相比的一致改进。
2022-12-26 cs.LG
Finding Heterophilic Neighbors via Confidence-based Subgraph Matching for Semi-supervised Node Classification
Seoul National University（首尔国立大学）；Korea Institute of Energy Technology（韩国能源技术研究院）
本文提出一种两阶段算法，通过基于置信度比率的子图匹配识别并利用异配邻居的边系数，改进GNN标签传播机制，以缓解过度平滑并提升半监督节点分类性能。
2023-04-12 cs.LG cs.SI
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia（弗吉尼亚大学）；Emory University（埃默里大学）；Purdue University（普渡大学）
图神经网络（GNNs）近年来引起了广泛的研究关注，主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时，自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而，现有的图自动编码器被设计为重建直接链接，因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化，并且在拓扑结构重要时会出现不足。在这项工作中，我们重新审视了GNNs的图形编码过程，该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中，并提出了一种新的图形解码器，通过邻域Wasserstein重建（NWR）来重建关于邻近度和结构的整个邻域信息。具体来说，从每个节点的GNN嵌入，NWR联合预测其节点度和邻居特征分布，其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明，使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势，同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module
Westlake University（西湖大学）；Jilin University（吉林大学）；Tianjin University（天津大学）；Emory University（埃默里大学）
针对深度图神经网络的过平滑问题，从重叠邻域子图视角重审过平滑机制，提出基于后验采样的节点自适应残差模块PSNR，理论证明其可弥补现有残差方法缺陷，实验验证其在全观测节点分类和特征缺失场景下性能更优。
2024-10-31 cs.AI cs.LG
Graph Unlearning: Efficient Node Removal in Graph Neural Networks
Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
针对现有图神经网络节点遗忘方法存在结构限制、未有效利用图拓扑等问题，提出三种新型节点遗忘方法，经实验验证在效用和效率上优于现有最优方法，可提升GNN隐私安全性。
2025-09-05 cs.AI cs.LG
Curvature Graph Neural Network
Central South University（中南大学）；Peking University（北京大学）；Southwest Jiaotong University（西南交通大学）
图神经网络（GNNs）在许多基于图的任务中取得了巨大的成功。许多工作致力于赋予GNN自适应局部性能力，这使得能够通过特定于节点的机制来测量相邻节点对目标节点的重要性。然而，目前的节点特定的机制是不够的区分节点的重要性的拓扑结构。我们认为，相邻节点的结构的重要性是密切相关的聚合的重要性。本文引入离散图曲率（Ricci曲率）来量化成对节点的结构连接强度。提出了曲率图神经网络（Curvature Graph Neural Network，CGNN），利用图曲率的结构特性，有效地提高了GNN的自适应局部性。为了提高曲率对不同数据集的适应性，我们通过必要的负曲率处理模块和曲率归一化模块将曲率显式地转化为相邻节点的权值。然后，我们在各种合成数据集和真实世界数据集上进行了大量实验。在人工数据集上的实验结果表明，CGNN有效地利用了拓扑结构信息，性能得到了显著提高。CGNN在5个密集节点分类基准数据集上的性能优于基线。该研究加深了对如何利用高级拓扑信息和从图曲率的角度分配相邻节点重要性的理解，并鼓励我们弥合图论和神经网络之间的差距。
2021-06-30 cs.AI cs.LG
Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples
Central South University（中南大学）；National University of Defence Technology（国防科技大学）；Changsha University of Science and Technology（长沙理工大学）
近年来，使用自监督学习框架来学习图的一般特征被认为是图表示学习的一个有前途的范例。图神经网络自监督学习策略的核心在于构造合适的正样本选择策略。然而，现有的GNN通常聚合来自相邻节点的信息以更新节点表示，导致过度依赖于相邻的正样本，即，嗜同性样品;而忽略长距离阳性样品，即，正样本在图上相距很远，但在结构上是等效的样本，我们称之为“邻居偏见”。“这种邻居偏差会降低GNN的泛化性能。在本文中，我们认为GNNs的泛化性能应该通过组合同质样本和结构等价样本来确定，我们称之为“GC组合假设”。因此，我们提出了一种拓扑信号驱动的自监督方法。它使用拓扑信息引导的结构等价抽样策略。首先，我们提取多尺度的拓扑特征，使用持久同源。然后根据节点对的拓扑特征计算其结构等价性。特别地，我们设计了一个拓扑损失函数来拉入表示空间中具有高结构等价性的非相邻节点对，以减轻邻居偏差。最后，我们使用联合训练机制来调整结构等价对模型的影响，以适应具有不同特征的数据集。我们在七个图数据集上对节点分类任务进行了实验。结果表明，拓扑信号增强策略可以有效地提高模型的性能。
2022-12-08 cs.AI cs.LG cs.NI
Online Inference for Mixture Model of Streaming Graph Signals with Non-White Excitation
本文考虑了一个多图推理和聚类的联合问题，同时推理节点的中心性和图信号与它们的图的关联。我们研究了一种混合模型的滤波低通图信号与可能的非白色和低秩的激励。虽然混合模型的动机来自实际场景，但它对现有的图学习方法提出了重大挑战。作为一种补救措施，我们考虑一个推理问题集中在节点中心图。我们设计了一个期望最大化（EM）算法与一个独特的低秩加稀疏先验低通信号的性质。我们提出了一种新的在线期望最大化算法的推理流数据。作为一个例子，我们扩展了在线算法，以检测信号是否从异常图中生成。我们表明，所提出的算法收敛到一个平稳点的最大后验（MAP）问题。数值实验支持我们的分析。
2022-07-28 eess.SP stat.ML
A mixture model approach for clustering bipartite networks
本章通过基于模型的聚类方法研究了二分网络的潜在结构，该方法能够捕获发送节点的潜在组和发送节点与每个组内的接收节点创建链接的倾向的潜在变化。这种建模方法是非常灵活的，可以通过使用快速推理的方法，如变分推断估计。我们应用这个模型来分析恐怖分子网络，以确定主要的潜在群体的恐怖分子和他们的潜在特质分数的基础上，他们出席一些事件。
2019-07-18 stat.AP stat.ME
Structural Imbalance Aware Graph Augmentation Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
图机器学习（GML）在节点分类、链接预测、图分类等方面取得了很大进展，但现实中的图往往是结构不平衡的，即只有少数枢纽节点具有更密集的局部结构和更高的影响力。这种不平衡可能会损害现有GML模型的鲁棒性，特别是在学习尾节点方面。本文提出了一种选择性图增强方法（SAug）来解决这个问题。首先，设计了一种基于Pagerank的采样策略来识别图中的中心节点和尾节点。其次，提出了一种选择性增强策略，该策略在一侧丢弃中心节点的噪声邻居，在另一侧发现尾节点的潜在邻居并生成伪邻居。它还可以缓解两类节点之间的结构不平衡。最后，GNN模型将在增强图上重新训练。大量的实验表明，SAug可以显着提高骨干GNN，并实现优越的性能，其竞争对手的图增强方法和枢纽/尾部感知方法。
2023-03-24 cs.AI cs.LG
HHGT: Hierarchical Heterogeneous Graph Transformer for Heterogeneous Graph Representation Learning
Nanyang Technological University（南洋理工大学）；University of New South Wales（新南威尔士大学）
针对异质图神经网络表达能力受限和过平滑问题，提出基于(k,t)-环邻域的层次异质图变换器HHGT，通过类型级和环级变换器分层聚合，在ACM数据集上节点聚类NMI和ARI分别提升24.75%和29.25%。
2024-07-18 cs.DB cs.LG
A Bayesian Mixture Model Approach to Examining Neighborhood Social Determinants of Health Disparities in Endometrial Cancer Care in Massachusetts
本研究采用贝叶斯多元伯努利混合模型构建马萨诸塞州邻里SDoH特征，分析其对子宫内膜癌患者护理的影响，发现不同特征患者接受最佳护理的几率存在差异，为公共卫生干预提供了依据。
2025-05-30 stat.AP
Mixture Models and Networks -- Overview of Stochastic Blockmodelling
混合模型是一种概率模型，旨在发现和表示群体中的潜在子群。在网络数据分析领域，节点的潜在子组通常通过其连接行为来识别，其中行为相似的节点属于同一社区。在这种情况下，混合建模是通过随机块建模。我们考虑随机块模型和他们的一些变种和扩展从混合建模的角度来看。我们还调查了一些主要类别的估计方法，并提出了一种替代方法。除了讨论推理特性和估计过程外，我们还重点讨论了模型在几个真实网络数据集上的应用，展示了不同方法的优点和缺陷。
2020-05-26 stat.AP stat.ME
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan（密歇根大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）；RWTH Aachen University（亚琛工业大学）
我们研究了图神经网络（GNNs）的节点分类任务，并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系，即，链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的，即具有相似属性的节点连接的趋势。在社交网络中，系统性因素迫使个体进入具有共同敏感属性的社区，因此，同质性是很常见的。通过合成图，我们研究了本地发生的同质性和公平预测之间的相互作用，发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇，特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后，我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明，通过采用能够处理dispertative组标签的heterophilous GNN设计，在真实和合成数据集中，局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Parameter identifiability in a class of random graph mixture models
证明了一类随机图混合模型参数的可辨识性。这些模型的特征在于将图节点集划分为潜在（不可观察）组。当以被连接的节点的组为条件时，节点之间的连接性是独立的随机变量。在二进制随机图的情况下，其中边存在或不存在，这些模型被称为随机块模型，并已广泛用于社会科学，最近，在生物学中。他们的推广加权随机图，无论是在参数或非参数的形式，也在许多领域的兴趣。尽管广泛的应用，参数识别问题，这样的模型涉及，以前只在文献中被触及。我们在这里对这个问题进行彻底的调查。我们的工作也有后果的参数估计。特别是，由弗兰克和Harary提出的估计程序的二进制联系模型在这篇文章中被重新审视。
2010-06-04 math.ST stat.TH
Graph Node-Feature Convolution for Representation Learning
University of Sheffield（谢菲尔德大学）；University of Nottingham（诺丁汉大学）
图卷积网络是一种新兴的神经网络方法。它通过聚合所有邻居的特征向量来学习节点的新表示，而不考虑邻居或特征是否有用。最近的方法通过对固定大小的邻居集合进行采样或在聚合过程中为不同的邻居分配不同的权重来改进解决方案，但是在聚合过程中特征向量内的特征仍然被平等对待。在本文中，我们介绍了一种新的卷积运算的规则大小的特征映射构造从一个固定的节点带宽通过采样得到的第一级节点表示，然后传递到一个标准的GCN学习第二级节点表示。实验表明，我们的方法优于竞争的方法在半监督节点分类任务。此外，我们的方法为探索新的GCN架构，特别是更深层次的GCN模型打开了新的大门。
2022-03-31 cs.LG stat.ML
Neighbor Enhanced Graph Convolutional Networks for Node Classification and Recommendation
Beihang University（北京航空航天大学）；Yangtze University（长江大学）；Alibaba Group（阿里巴巴集团）；Cainiao Network（菜鸟网络）；Jinan University（暨南大学）；Tencent Inc.（腾讯公司）
最近提出的图卷积网络（GCN）在各种与图相关的任务（如节点分类和推荐）上取得了显着优越的性能。然而，目前对GCN模型的研究通常是递归地聚合所有邻居或随机采样的邻居子集的信息，而没有明确地识别聚合的邻居在图卷积过程中是否提供有用的信息。本文从理论上分析了邻居质量对GCN模型性能的影响，提出了邻居增强图卷积网络（Neighbor Enhanced Graph Convolutional Network，NEGCN）框架来提高现有GCN模型的性能。我们的贡献是三方面的。首先，我们在第一次提出的概念，邻居质量的节点分类和推荐任务的一般理论框架。具体而言，对于节点分类，我们提出了三个命题，从理论上分析邻居质量如何影响GCN模型的节点分类性能。其次，基于提出的三个命题，我们引入了图细化过程，包括专门设计的邻居评估方法，以提高邻居质量，从而提高节点分类和推荐任务。第三，我们在几个基准数据集上进行了广泛的节点分类和推荐实验。实验结果表明，我们提出的NEGCN框架可以显着提高性能的各种典型的GCN模型上的节点分类和推荐任务。
2022-03-30 cs.LG
Node-wise Filtering in Graph Neural Networks: A Mixture of Experts Approach
Michigan State University（密歇根州立大学）；RIKEN AIP（理化学研究所人工智能项目）；Amazon（亚马逊公司）
本文提出Node-MoE框架，通过专家混合机制为不同节点自适应选择滤波器，解决单一全局滤波器在同配与异配混合图中性能不佳的问题，并在两类图上验证了有效性。
2024-06-05 cs.LG
Indirect Adversarial Attacks via Poisoning Neighbors for Graph Convolutional Networks
LINE Corporation（LINE公司）
图卷积神经网络通过学习相邻节点的聚合，在节点分类任务中取得了很好的性能。然而，最近的研究报告说，这种图卷积节点分类器可以被图上的对抗性扰动所欺骗。滥用图卷积，节点的分类结果可能会受到毒害其邻居的影响。给定一个属性图和一个节点分类器，我们如何评估对这种间接对抗攻击的鲁棒性？我们能否产生强大的对抗性扰动，不仅对一跳邻居有效，而且对距离目标更远的邻居有效？在本文中，我们证明了节点分类器可以欺骗高置信度中毒只是一个节点，甚至两跳或更远的目标。为了实现攻击，我们提出了一种新的方法，搜索更小的扰动，只是一个单一的节点远离目标。在我们的实验中，我们提出的方法显示了99%的攻击成功率在两个数据集从目标的两跳。我们还证明了m层图卷积神经网络有机会被我们在m-hop邻居内的间接攻击欺骗。提出的攻击可以用作未来防御尝试的基准，以开发具有对手鲁棒性的图卷积神经网络。
2020-02-19 cs.CR cs.LG stat.ML
Hierarchical Gaussian Mixture Model with Objects Attached to Terminal and Non-terminal Dendrogram Nodes
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
提出了一种基于高斯混合模型的层次聚类算法。与常规层次混合模型的关键区别在于能够在终端和非终端节点中存储对象。层次结构的上层包含稀疏分布的对象，而下层包含密集表示的对象。正如实验所示，这种能力有助于噪声检测（建模）。与常规层次混合模型相比，该方法生成的树状图更加紧凑，采用F-测度度量的树状图质量更高。
2016-03-28 cs.CV cs.LG
Controlled Causal Hallucinations Can Estimate Phantom Nodes in Multiexpert Mixtures of Fuzzy Cognitive Maps
Signal and Image Processing Institute（信号与图像处理研究所）；University of Southern California（南加州大学）
本文提出通过多专家混合模糊认知图并利用受控因果幻觉估计缺失的幻影节点，以可扩展方式逼近大规模因果反馈系统的平衡行为与未来轨迹。
2024-12-31 cs.LG
LoNe Sampler: Graph node embeddings by coordinated local neighborhood sampling
局部图邻域采样是一个基本的计算问题，是节点表示学习算法的核心。一些作品已经提出了学习离散节点嵌入的算法，其中图节点由离散特征表示，例如邻域节点的属性。与连续的word2vec节点嵌入相比，离散嵌入提供了几个优点：易于计算，可扩展性和可解释性。我们提出LoNe采样器，一套算法生成离散节点嵌入的局部邻域采样，并解决以前的工作的两个缺点。首先，我们的算法具有严格理解的理论性质。其次，我们展示了如何生成近似的显式向量映射，避免了用于训练核模型的Gram矩阵的昂贵计算。基准数据集上的实验证实了理论研究结果，并证明了所提出的方法的优点。
2022-11-28 cs.DS cs.LG
