Understanding and Resolving Performance Degradation in Graph Convolutional Networks
National University of Singapore（新加坡国立大学）；PayPal Innovation Lab（PayPal创新实验室）；Alibaba Group（阿里巴巴集团）
图卷积网络（GCN）堆叠若干层，并且在每一层中执行PROPagation操作（PROP）和TRANSFORMATION操作（TRAN），用于学习图结构数据上的节点表示。虽然GCN功能强大，但当模型深入时，GCN往往会遭受性能下降。以前的作品集中在道具研究和减轻这个问题，但TRANS的作用几乎没有调查。在这项工作中，我们研究GCN的性能下降，通过实验研究如何堆叠只有TRANS或PROPs的作品。我们发现TRANS对性能下降的贡献很大，甚至超过PROPs，而且它们往往会放大GCN中的节点特征方差，导致方差炎症，我们认为这是导致性能下降的关键因素。出于这样的观察，我们提出了一种称为节点归一化（NodeNorm）的方差控制技术，它使用自己的标准差来缩放每个节点的特征。实验结果验证了NodeNorm解决GCN性能下降的有效性。具体来说，它使深度GCN在需要深度模型的情况下表现优于浅层GCN，并在6个基准数据集上实现与浅层GCN相当的结果。NodeNorm是一个通用插件，可以很好地推广到其他GNN架构。代码可在https://github.com/miafei/NodeNorm上公开获取。
2021-09-13 cs.LG stat.ML
HetCAN: A Heterogeneous Graph Cascade Attention Network with Dual-Level Awareness
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）；Baidu Inc.（百度公司）
针对异构图方法忽略特征级交互且易丢失节点类型信息的问题，本文提出由类型感知与维度感知编码器级联构成的 HetCAN，全面编码特征、异质性与结构信息，实验验证其优越、高效且鲁棒。
2024-05-29 cs.LG cs.SI
Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文将消息传递逆过程应用于三种 GNN 变体，在异配图上生成可区分节点表示，显著提升预测性能并可在数百层下缓解过平滑。
2024-06-11 cs.LG cs.SI
Hierarchical graph neural nets can capture long-range interactions
Mila（米拉研究所）
已知基于相邻节点之间的消息传递的图神经网络（GNN）不足以捕获图中的远程交互。在这个项目中，我们研究层次消息传递模型，利用一个给定的图的多分辨率表示。这有助于学习跨越大感受野的特征，而不会丢失局部信息，这一点在以前的分层GNN工作中没有研究过。我们引入层次图网络（HGNet），其中任何两个连接的节点保证存在的消息传递路径的最多对数长度w.r.t.输入图形的大小。然而，在温和的假设下，其内部层次结构保持渐近大小等于输入图。我们观察到，我们的HGNet优于传统的GCN层堆叠，特别是在分子性质预测基准。最后，我们提出了两个基准测试任务，旨在阐明GNN利用图中的远程交互的能力。
2021-08-15 cs.LG stat.ML
Layer-stacked Attention for Heterogeneous Network Embedding
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
异构网络是一种健壮的数据抽象，可以对以各种方式交互的不同类型的实体进行建模。这种异构性带来了丰富的语义信息，但在聚合对象之间的异构关系方面提出了不小的挑战-特别是高阶间接关系。最近用于异构网络上的表示学习的图神经网络方法通常采用注意力机制，该机制通常仅针对基于直接链接的预测进行优化。此外，尽管大多数深度学习方法可以通过构建更深层次的模型来聚合更高阶的信息，但这种方案可能会降低可解释性的程度。为了克服这些挑战，我们探索一个架构-层堆叠的attention嵌入（LATTE）-自动分解高阶元关系在每一层提取相关的异构邻域结构为每个节点。此外，通过连续堆叠层表示，学习的节点嵌入为不同邻域范围内的不同类型的节点提供了更可解释的聚合方案。我们在几个基准异构网络数据集上进行了实验。在传导和归纳节点分类任务中，LATTE可以实现与现有方法相比最先进的性能，同时提供轻量级模型。通过广泛的实验分析和可视化，该框架可以展示在异构网络上提取信息洞察的能力。
2020-09-17 cs.LG stat.ML
SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network
Zhejiang University（浙江大学）
本文提出SF-GNN方法，通过自过滤器模块评估节点表示质量并控制消息传播，以解决深度GNN中低质量节点表示干扰导致的性能退化问题，在多种图任务上优于现有基线方法。
2024-07-03 cs.AI cs.LG
Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings
University of Amsterdam（阿姆斯特丹大学）
图神经网络（GNN）在处理图结构数据方面取得了很大的成功。然而，据观察，GNN的性能不会随着层数的增加而改善（甚至恶化）。这种效应被称为过度平滑，这意味着当堆叠多个层时，不同类的图节点的表示将变得无法区分。在这项工作中，我们提出了一种新的简单而有效的方法，通过显式地使用节点嵌入之间的关系来减轻GNNs中过度平滑问题的影响。在真实世界数据集上的实验表明，利用节点嵌入关系使GNN模型（如图注意力网络）对过度平滑更具鲁棒性，并在更深的GNN中实现更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。GNN应用程序是无止境的，取决于用户的目标和他们拥有的数据类型。解决过度平滑问题可以潜在地提高模型在所有这些任务上的性能。
2023-01-07 cs.AI cs.LG
Dynamic Stacked Generalization for Node Classification on Networks
MaxPoint Interactive（MaxPoint互动公司）；North Carolina State University（北卡罗来纳州立大学）
我们提出了一种新的堆叠泛化（堆叠）方法作为一种动态集成技术，使用一个池的异构分类器的节点标签分类网络。该方法为元件模型分配了一组函数系数，这些系数可以随节点的拓扑特征平滑变化。与传统的堆叠模型相比，所提出的方法可以在我们在图中移动时动态调整各个模型的权重，并为网络上的标签预测提供更通用和更准确的堆叠模型。我们使用模拟研究和真实数据分析证明了所提出的模型的好处。
2016-10-16 cs.LG cs.SI stat.AP
SStaGCN: Simplified stacking based graph convolutional networks
Department of Statistics and Data Science, Nanjing Audit University（南京审计大学统计与数据科学学院）
针对图卷积网络的过平滑问题及异构图数据处理需求，提出基于简化堆叠的SStaGCN框架，通过堆叠基模型提取特征并经聚合增强后输入GCN，经理论分析与多数据集实验验证其可有效缓解过平滑且性能优于现有最优模型。
2024-12-11 cs.LG stat.ML
Towards Effective Federated Multimodal Graph Learning via Navigating Multifaceted Heterogeneity
针对联邦多模态图学习的多层面异质性问题，本文提出FedTCR算法，通过两阶段范式与拓扑感知跨模态路由机制，在7个领域的图中心与模态中心任务上优于现有最优基线。
2026-08-04 cs.LG
Orthogonal Graph Neural Networks
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Department of Computer Science, Rice University（莱斯大学计算机科学系）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
图神经网络（GNNs）由于其在学习节点表示方面的优越性而受到了极大的关注。这些模型依赖于消息传递和特征转换函数来编码来自邻居的结构和特征信息。然而，堆叠更多的卷积层会显着降低GNN的性能。最近的研究将此限制归因于过度平滑问题，其中节点嵌入收敛到不可区分的向量。通过大量的实验观察，我们认为降低性能的主要因素是由于特征变换设计不当而导致的不稳定的前向归一化和后向梯度，特别是对于没有发生过平滑的浅GNN。因此，我们提出了一种新的正交特征变换，名为Ortho-GConv，它通常可以增强现有的GNN主干，以稳定模型训练并提高模型的泛化性能。具体地说，我们从三个角度，即混合权重初始化，正交变换，正交正则化，全面保持特征变换的正交性。通过为现有的GNN（例如GCN，JKNet，GCNII）配备Ortho-GConv，我们证明了正交特征变换的通用性，以实现稳定的训练，并显示其对节点和图分类任务的有效性。
2021-12-01 cs.AI cs.LG
Learning Graph Normalization for Graph Neural Networks
Ping An Property & Casualty Insurance（平安财产保险股份有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
图神经网络（GNNs）已经引起了相当大的关注，并已成为一个新的有前途的范式来处理图结构的数据。GNN通常堆叠到多个层，并且通过传播和聚合关于图的相邻节点特征来计算每层中的节点表示。通过堆叠到多个层，GNN能够捕获图上数据之间的长期依赖关系，从而带来性能改进。为了有效地训练具有多个层的GNN，需要一些归一化技术（例如，逐节点归一化、逐批归一化）是必要的。然而，GNN的归一化技术与任务高度相关，不同的应用任务更喜欢不同的归一化技术，这是很难提前知道的。为了解决这个问题，在本文中，我们提出通过优化四个不同级别的归一化技术的加权组合来学习图归一化，包括节点归一化，邻接归一化，图形归一化和批量归一化，在其中，邻接方式归一化和图形-本文提出了分别考虑图的局部结构和全局结构的智能归一化方法。通过学习最佳权重，我们能够为特定任务自动选择单个最佳或多个归一化的最佳组合。我们对不同任务的基准数据集进行了广泛的实验，包括节点分类，链接预测，图分类和图回归，并确认学习的图规范化导致有竞争力的结果，学习的权重建议适当的规范化技术的特定任务。源代码发布在https://github.com/cyh1112/GraphNormalization。
2020-09-24 cs.CV cs.LG
Efficient Learning of Mesh-Based Physical Simulation with BSMS-GNN
Department of Computer Science, UCLA, Los Angeles, USA（加州大学洛杉矶分校计算机科学系）；AR Perception, Google, Los Angeles, USA（谷歌AR感知部门）；Department of Mathematics, UCLA, Los Angeles, USA（加州大学洛杉矶分校数学系）
针对大规模网格物理模拟中图神经网络扩展复杂度和过平滑问题，提出基于二分图确定的双步幅池化策略BSMS-GNN，无需人工粗网格且避免几何边界错误边，显著提升精度和计算效率。
2026-05-25 cs.LG
Graph Attention Networks
University of Cambridge（剑桥大学）；Centre de Visió per Computador, UAB（巴塞罗那自治大学计算机视觉中心）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
我们提出了图注意力网络（GAT），这是一种新型的神经网络架构，它对图结构数据进行操作，利用掩蔽的自我注意层来解决基于图卷积或其近似的现有方法的缺点。通过堆叠节点能够关注其邻居特征的层，我们能够（隐式地）为邻居中的不同节点指定不同的权重，而不需要任何类型的昂贵的矩阵运算（例如求逆）或取决于预先知道的图结构。通过这种方式，我们同时解决了基于谱的图神经网络的几个关键挑战，并使我们的模型易于适用于归纳和转导问题。我们的GAT模型在四个已建立的转导和归纳图基准中实现或匹配了最先进的结果：Cora，Citeseer和Pubmed引文网络数据集，以及蛋白质-蛋白质相互作用数据集（其中测试图在训练期间保持不可见）。
2018-02-04 cs.AI cs.LG cs.SI
InteractiveGNNExplainer: A Visual Analytics Framework for Multi-Faceted Understanding and Probing of Graph Neural Network Predictions
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology（印度理工学院）
针对图神经网络黑箱不透明问题，本文提出可视分析框架InteractiveGNNExplainer，融合多类交互视图与解释方法，支持假设分析与模型探查，可提升GNN预测的可解释性与可信度。
2025-11-17 cs.AI cs.LG
ConstellationNet: Reinventing Spatial Clustering through GNNs
MIT PRIMES（麻省理工学院PRIMES项目）；MIT（麻省理工学院）
本文提出 ConstellationNet，一种结合 CNN 与 GNN 的框架，通过图增强预测提升空间聚类与分类性能，在多个数据集上以更小模型和更快训练速度超越现有方法。
2025-03-06 cs.AI cs.LG
MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning
Harbin Institute of Technology（哈尔滨工业大学）
注意力机制使图神经网络（GNN）能够学习目标节点与其单跳邻居之间的注意力权重，从而进一步提高性能。然而，大多数现有的GNN都面向同构图，并且其中每一层只能聚合一跳邻居的信息。堆叠多层网络引入了相当大的噪声，并且容易导致过度平滑。提出了一种多跳异构邻域信息融合图表示学习方法。具体来说，我们提出了一个混合元路径自主提取模型，有效地提取多跳混合邻居。然后，我们制定了一个跳级的异构信息聚合模型，有选择地聚合不同的跳邻域信息在同一个混合元路径。最后，构建了一个层次化的语义注意力融合模型（HSAF），该模型可以有效地融合不同跳和不同路径的邻域信息。以这种方式，本文解决了聚合多跳邻域信息和学习混合元路径的目标任务的问题。这减轻了手动指定元路径的限制。此外，HSAF还可以提取元路径内部节点信息，更好地整合不同层次的语义信息。在真实数据集上的实验结果表明，MHNF在只有1/10 ~ 1/100的参数和计算预算的情况下，达到了最好的或有竞争力的性能。我们的代码可在https://github.com/PHD-lanyu/MHNF上公开获取。
2022-06-23 cs.AI cs.LG
Geometry-Induced Diffusion on Graphs: A Learnable Weighted Laplacian for Spectral GNNs
École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL））；École Normale Supérieure – PSL（巴黎高等师范学院–PSL）
本文提出了一种简单的谱GNN架构mu-ChebNet，通过学习节点级权重函数mu来修改图拉普拉斯算子，从而改变传播几何而不改变图拓扑，从而促进信息传播的优选路径，帮助长距离信号避免高收缩瓶颈，无需重复层堆叠。
2026-05-21 cs.LG
PowerGraph: A power grid benchmark dataset for graph neural networks
ETHZ（苏黎世联邦理工学院）；D-MAVT（机械与工程学院）；D-INFK（计算机科学系）
针对电力电网领域缺乏公开GNN训练与基准测试图数据集的问题，研究提出包含潮流、最优潮流、连锁故障分析三类任务的PowerGraph基准数据集，提供真实解释并完成GNN多任务基准测试，为电力系统GNN研究提供资源。
2024-10-31 cs.LG cs.SY eess.SY
Simplifying Graph Kernels for Efficient
The Hong Kong Polytechnic University（香港理工大学）
针对图神经网络与核方法结合时的效率与可扩展性挑战，提出两种简化图核方法，通过 $K$ 步消息聚合和无限宽高斯过程理论避免深层迭代，在保持准确率的同时显著降低运行时间。
2025-07-16 cs.LG
Deep Neural Sheaf Diffusion
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden（电气工程与计算机科学学院，皇家理工学院，斯德哥尔摩，瑞典）
针对图神经网络深层堆叠导致表示崩溃的问题，提出用层邻接算子替代层拉普拉斯算子，结合归一化、奇非线性函数和门控机制，在合成和真实数据集上显著提升深层网络性能。
2026-11-02 cs.LG
Connecting Graph Convolutional Networks and Graph-Regularized PCA
Carnegie Mellon University（卡内基梅隆大学）
GCN模型的图卷积算子最初是从谱图卷积的局部一阶近似出发的。这项工作站在一个不同的观点;建立一个\textit{mathematical connection between graph convolution and graph-regularized PCA}（GPCA）。基于这种联系，通过堆叠图卷积层形成的GCN架构与堆叠GPCA有着密切的关系。我们的经验表明，通过GPCA与1层或2层MLP配对的\textit{unsupervised}嵌入在包括Open Graph Benchmark \footnote{\url{https://ogb.stanford.edu/}}在内的五个数据集上的半监督节点分类任务上实现了与GCN相似甚至更好的性能。这表明GCN的威力是由基于图的正则化驱动的。此外，我们扩展GPCA的（半）监督设置，并表明它是等价于GPCA上的一个图扩展与“鬼”的边缘之间的节点相同的标签。最后，我们利用发现的关系，设计一个有效的初始化策略的基础上堆叠GPCA，使GCN收敛速度更快，并实现强大的性能在大量的层。值得注意的是，所提出的初始化是通用的，适用于其他GNN。
2021-03-02 cs.LG stat.ML
Popularity Prediction on Social Platforms with Coupled Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
预测社交平台上在线内容的受欢迎程度是研究人员和从业人员的重要任务。以前的方法主要利用人口统计学，时间和结构模式的早期采用者的流行预测。然而，大多数现有的方法是不太有效的，以准确地捕捉级联效应的信息扩散，其中早期采用者试图激活潜在的用户沿底层网络。在本文中，我们考虑的问题，网络感知的流行预测，利用早期采用者和社交网络的流行预测。我们建议捕捉级联效应明确，建模的激活状态的目标用户给定的激活状态和他/她的邻居的影响。为了实现这一目标，我们提出了一种新的方法，即耦合GNN，它使用两个耦合的图神经网络来捕获节点激活状态和影响力传播之间的相互作用。通过堆叠图神经网络层，我们提出的方法自然地捕捉级联效应沿网络在连续的方式。在合成和真实新浪微博数据集上进行的实验表明，我们的方法明显优于最先进的流行度预测方法。
2019-11-27 cs.LG cs.SI
RAN-GNNs: breaking the capacity limits of graph neural networks
Politecnico di Torino（都灵理工大学）
图神经网络已经成为解决图上定义的数据的学习和分析问题的主要工具。然而，一些结果表明，在提取更好的性能，通过增加层数的固有困难。最近的工作将此归因于基于图的任务中节点特征的提取所特有的现象，即，需要同时考虑多个邻域大小并自适应地调整它们。在本文中，我们研究了最近提出的随机布线架构的上下文中的图神经网络。我们证明，采用随机连接的架构可以更有效地增加网络的容量并获得更丰富的表示，而不是通过堆叠许多层来构建更深的网络。我们表明，这样的架构表现得像一个合奏的路径，这是能够合并的贡献，从不同大小的感受野。此外，这些感受野也可以通过路径上的可训练权重被调制为更宽或更窄。我们还提供了大量的实验证据，证明随机布线架构在多个任务和四个图卷积定义上的卓越性能，使用最近的基准测试框架，解决了以前测试方法的可靠性。
2021-03-29 cs.CV cs.LG
Spatial Autoregressive Coding for Graph Neural Recommendation
Peking University（北京大学）；ByteDance Inc（字节跳动公司）
图嵌入方法包括传统的浅层模型和深层图神经网络（GNNs），在推荐中有着广阔的应用前景。然而，浅层模型，特别是基于随机游走的算法，由于其优化范式，未能充分利用采样子图或序列中的邻居邻近性。基于GNN的算法存在对高阶信息利用不足的问题，并且在堆叠过多层时容易导致过度平滑问题，这可能会恶化低度（长尾）项目的推荐，从而限制了表达性和可扩展性。在本文中，我们提出了一个新的框架SAC，即空间自回归编码，以解决上述问题的统一方式。为了充分利用邻居邻近性和高阶信息，我们设计了一种新型的空间自回归范式。具体来说，我们首先随机屏蔽多跳邻居，并通过整合所有其他周围的邻居与一个明确的多跳注意嵌入目标节点。然后，我们加强了模型学习的邻居预测编码的目标节点，通过比较的编码和掩蔽邻居的嵌入，配备了一个新的硬负采样策略。为了学习目标到邻居预测任务的最小充分表示并去除邻居的冗余，我们设计了邻居信息瓶颈，通过最大化目标预测编码和掩蔽邻居嵌入之间的互信息，同时约束编码和周围邻居嵌入之间的相互信息。在公共推荐数据集和真实网络规模的Douyin-Friend-Recommendation数据集上的实验结果表明，SAC方法优于现有方法。
2022-08-03 cs.AI cs.IR cs.LG
Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia（不列颠哥伦比亚大学）
谱图神经网络（GNN）通过谱域图卷积来学习图表示。然而，大多数现有的谱图滤波器是标量到标量函数，即，将单个特征值映射到单个滤波值，从而忽略频谱的全局模式。此外，这些滤波器往往是基于一些固定阶多项式，这具有有限的表达性和灵活性。为了解决这些问题，我们引入了Specformer，它有效地对所有特征值的集合进行编码，并在谱域中执行自注意，从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器，以实现非局部图卷积。重要的是，Specformer与置换是等变的。通过堆叠多个Specformer层，可以构建强大的光谱GNN。在合成数据集上，我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明，我们的Specformer优于最先进的GNN，并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
Rethinking Reconstruction-based Graph-Level Anomaly Detection: Limitations and a Simple Remedy
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）
针对基于图自编码器的图级异常检测依赖平均重构误差的局限，本文揭示“重构翻转”现象，并提出利用多方面重构误差汇总的简单方法 MUSE，在 10 个数据集、14 种方法中取得最优总体性能。
2024-10-27 cs.LG cs.SI
GraphFire-X: Physics-Informed Graph Attention Networks and Structural Gradient Boosting for Building-Scale Wildfire Preparedness at the Wildland-Urban Interface
Urban Reslience.AI Lab, Zachry Department of Civil and Environmental Engineering, Texas A&M University（Urban Reslience.AI实验室，Zachry土木与环境工程系，德克萨斯A&M大学）；Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学）
本研究提出GraphFire-X框架，结合物理信息图注意力网络和结构梯度提升，通过分离脆弱性为环境传染和结构脆弱两个向量，解决荒野-城市界面野火风险建模问题，揭示环境压力主导传播路径，而屋檐成为主要微尺度入侵向量，从而实现精准的灾害预防和缓解策略。
2025-12-23 cs.LG
On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；BLUAI；La Rochelle Université（拉罗谢尔大学）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
本文揭示了深度图神经网络中过度平滑与过度压缩受图谱隙制约而无法同时缓解的权衡关系，并提出随机Jost和Liu曲率重连算法SJLR，通过在训练中动态增删边来取得折中，实验表明其具有竞争力。
2023-08-11 cs.AI cs.LG
MaGNet: A Mamba Dual-Hypergraph Network for Stock Prediction via Temporal-Causal and Global Relational Learning
University of California, San Diego（加州大学圣迭戈分校）；Wuhan University of Technology（武汉理工大学）
本文提出 MaGNet，一种结合 Mamba 与双超图框架的股票预测网络，通过时间因果超图和全局概率超图分别捕捉局部时间影响与瞬时全局结构，在六大股票指数上实现了优于现有方法的预测与投资回报。
2025-10-29 cs.AI cs.LG
Is a Single Vector Enough? Exploring Node Polysemy for Network Embedding
Texas A&M University（得克萨斯农工大学）；Alibaba Group（阿里巴巴集团）
网络已经被广泛地用作用于抽象现实世界系统以及组织实体之间的关系的数据结构。网络嵌入模型是将网络中的节点映射到连续向量空间表示中的强大工具，以便于后续任务，例如分类和链接预测。现有的网络嵌入模型综合了每个节点的所有信息，如链接和属性，向一个单一的嵌入向量来表示节点在网络中的一般角色。然而，现实世界的实体可能是多方面的，由于不同的动机或不一定相关的自我特征，它连接到不同的社区。例如，在电影推荐系统中，用户可能同时喜欢喜剧或恐怖电影，但是这两种类型的电影在嵌入空间中不太可能相互接近，用户嵌入向量也不可能同时充分接近它们。在本文中，我们提出了一个多义嵌入方法建模节点的多个方面，作为语言建模中的单词多义现象的动机。节点的每个面被映射为一个嵌入向量，同时我们还保持每对节点和面之间的关联度。所提出的方法是适应各种现有的嵌入模型，而不会显着复杂的优化过程。我们还讨论了如何将不同方面的嵌入向量用于推理任务，包括分类和链接预测。在真实数据集上的实验有助于全面评估所提出的方法的性能。
2019-05-25 cs.IR cs.LG cs.SI
GCN for HIN via Implicit Utilization of Attention and Meta-paths
Tianjin University（天津大学）；Emory University（埃默里大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
异构信息网络（HIN）嵌入，旨在映射的结构和语义信息在HIN的分布式表示，引起了相当大的研究关注。用于HIN嵌入的图神经网络通常采用分层注意（包括节点级和元路径级注意）来捕获来自基于元路径的邻居的信息。然而，这种复杂的注意力结构往往由于严重的过拟合而无法实现元路径选择的功能。此外，当传播信息时，这些方法不区分直接（单跳）元路径和间接（多跳）元路径。但从网络科学的角度来看，直接关系往往被认为是更重要的，它只能用来模拟直接的信息传播。针对这些局限性，本文提出了一种隐式利用注意力和元路径的神经网络方法，该方法可以有效缓解HIN中过度参数化的注意力机制带来的严重过拟合问题。首先采用多层图卷积网络（GCN）框架，在每一层进行判别式聚合，并将直接连接的元路径的信息传播逐层叠加，实现了间接选择元路径的注意力功能。然后，我们通过引入一个新的传播操作，可以从聚集分离，给出了一个有效的放松和改进。也就是说，我们首先用定义良好的概率扩散动力学对整个传播过程进行建模，然后引入一个基于随机图的约束，使其能够随着层的增加而减少噪声。大量的实验证明了新方法的优越性比国家的最先进的方法。
2020-07-06 cs.LG cs.SI
Inductive Representation Learning on Temporal Graphs
Walmart Labs（沃尔玛实验室）
时态图上的归纳表示学习是在真实世界动态网络上进行可扩展机器学习的重要一步。时态动态图的演化性质要求处理新节点以及捕获时态模式。节点嵌入，现在是时间的函数，应该代表静态节点功能和不断变化的拓扑结构。此外，节点和拓扑特征也可以是时态的，节点嵌入也应该捕获其模式。我们提出了时间图注意（TGAT）层，以有效地聚合时间拓扑邻域功能，以及学习的时间特征的相互作用。对于TGAT，我们使用自注意机制作为构建块，并开发了一种新的功能性时间编码技术的基础上，经典的Bochner定理从谐波分析。通过堆叠TGAT层，网络将节点嵌入识别为时间的函数，并且能够随着图的演变归纳地推断新节点和观察到的节点的嵌入。所提出的方法处理节点分类和链接预测任务，并且可以自然地扩展到包括时间边缘特征。我们用两个基准和一个工业数据集在时间设置下的转换和归纳任务来评估我们的方法。我们的TGAT模型与最先进的基线以及以前的时间图嵌入方法相比毫不逊色。
2020-02-19 cs.LG stat.ML
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology（北京理工大学）；Renmin University of China（中国人民大学）
图卷积网络（GCN）在各种基于图的任务上取得了令人满意的性能。然而，当堆叠更多层时，它们遭受过度平滑。在本文中，我们提出了一个定量的研究，这一观察和发展新的见解更深的GCN。首先，我们从优化的角度来解释当前的图卷积运算，并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后，我们引入了两个指标来衡量节点级任务的过度平滑。具体来说，我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析，我们从优化的角度建立了一个通用的GCN理论框架，并推导出一种新的卷积核GCN+，它具有较低的参数量，同时从本质上减轻了过平滑。在真实数据集上的大量实验表明，GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Multipath Graph Convolutional Neural Networks
Jadavpur University（贾达普大学）；IIT Kharagpur（印度理工学院克勒格布尔分校）
最近，图卷积网络在非欧几里德特征空间上的表示学习方面获得了很多关注。最近的研究集中在像卷积神经网络一样堆叠多层，以提高图卷积网络的表达能力。然而，简单地堆叠多个图卷积层会导致梯度消失、过度拟合和过度平滑等问题。当使用较浅的网络时，这样的问题要少得多，即使浅网络的表达能力较低。在这项工作中，我们提出了一种新的多路径图卷积神经网络，聚合多个不同的浅网络的输出。我们训练和测试我们的模型在各种基准数据集的节点属性预测的任务。结果表明，该方法不仅提高了测试精度，而且需要更少的训练时间来收敛。完整的实现可在https://github.com/rangan2510/MultiPathGCN上获得
2021-05-04 cs.CV cs.LG
TSC: A Simple Two-Sided Constraint against Over-Smoothing
School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）；College of Physics and Electronic Engineering, Shanxi University（山西大学物理与电子工程学院）
本文提出双边约束TSC，通过随机掩码和对比约束同时缓解GCN过度平滑中邻居质量与数量问题，提升深层图网络性能。
2024-08-06 cs.LG
Graph Neural AI with Temporal Dynamics for Comprehensive Anomaly Detection in Microservices
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Hofstra University（霍夫斯特拉大学）；University of Southern California（南加州大学）
本文提出一种结合图神经网络与门控循环单元的微服务异常检测与根因追踪统一框架，通过结构与时序联合建模以及节点和路径级异常评分，在多项指标上优于基线方法。
2025-11-05 cs.LG
Advanced Financial Fraud Detection Using GNN-CL Model
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；College of William & Mary（威廉与玛丽学院）；Stevens Institute of Technological（史蒂文斯理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）
本研究提出融合GNN、CNN与LSTM的GNN-CL金融欺诈检测模型，通过MLPS过滤邻域噪声、强化学习调整中心节点权重应对特征弱化，在Yelp数据集上表现优于现有方法。
2024-07-09 cs.LG q-fin.ST
AgentKit: Structured LLM Reasoning with Dynamic Graphs
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）；Microsoft（微软公司）；Boston University（波士顿大学）
AgentKit是一种直观的LLM提示框架，通过将节点链像LEGO积木一样组合，显式构建结构化的思维过程，实现多功能智能体的高级能力，并在WebShop和Craster基准上达到SOTA性能。
2024-07-24 cs.AI cs.LG
Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity
Texas A&M University（德州农工大学）
尽管深度神经网络（DNN）最近取得了普遍的成功，但人们对它们的使用提出了一些担忧，包括缺乏可解释性，DNN与其他成熟的机器学习模型之间的差距，以及越来越昂贵的计算成本。许多最近的作品[1]，[2]，[3]探索了以纯粹的前馈方式顺序堆叠决策树/随机森林构建块的替代方案，而不需要反向传播。由于决策树具有内在的推理透明性，这种深森林模型也可以促进对内部决策过程的理解。本文在几个重要方面进一步扩展了深林思想。首先，我们采用一个概率树，其节点做出概率路由决策，即，软路由，而不是硬二进制决策。除了增强灵活性，它还可以为每棵树进行非贪婪优化。其次，我们提出了一个创新的拓扑学习策略：树中的每个节点现在都保持一个新的可学习的超参数，表示它将成为叶节点的概率。这样，树将在训练期间联合优化其参数和树拓扑。在MNIST数据集上的实验表明，我们授权的深森林可以实现比[1]，[3]更好或相当的性能，同时大大降低了模型复杂性。例如，我们的模型只有1层15棵树，可以与[3]中的模型进行并行计算，每个模型有2层2000棵树。
2020-12-29 cs.LG stat.ML
Convolutional Graph-Tensor Net for Graph Data Completion
Columbia University（哥伦比亚大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
图形数据完成是一个根本性的重要问题，因为数据通常具有图形结构，例如，社交网络、推荐系统和物联网。我们考虑一个图，其中每个节点都有一个数据矩阵，表示为一个\textit{graph-tensor}通过堆叠的数据矩阵在第三个维度。在本文中，我们提出了一个\textit{Convolutional Graph-Tensor Net}（\textit{Conv GT-Net}）的图数据完成问题，它使用深度神经网络学习的一般变换的图张量。在ego-Facebook数据集上的实验结果表明，与现有算法相比，本文提出的\textit{Conv GT-Net}在完成准确率（高出50%）和完成速度（快3.6倍$\sim$ 8.1倍）方面都取得了显着提高。
2023-03-02 cs.AI cs.LG
Predicting the Performance of Graph Convolutional Networks with Spectral Properties of the Graph Laplacian
本文发现图的Fiedler值（代数连通性）能有效预测GCN性能，并在合成及真实数据集上验证，为GCN层数选择和迁移学习提供指导。
2025-09-10 cs.LG
Meta-learning optimizes predictions of missing links in real-world networks
Department of Applied Mathematics, University of Colorado Boulder Colorado USA；BioFrontiers Institute, University of Colorado Boulder Colorado USA；Department of Computer Science \& BioFrontiers Institute, University of Colorado Boulder Colorado USA；Department of Applied Mathematics, University of Colorado；BioFrontiers Institute, University of Colorado；Department of Computer Science \& BioFrontiers Institute, University of Colorado
针对无节点属性网络缺失连边预测的算法选择难题，基于550个真实网络基准引入元学习算法，根据网络特征自适应选择最佳预测算法，性能优于现有最先进方法且支持大规模网络。
2025-08-12 cs.LG cs.SI physics.data-an
SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；New York University（纽约大学）；Tencent AI Lab（腾讯AI实验室）
针对大规模图表示学习中Transformer全局注意力计算开销大、可扩展性差的问题，提出仅含单层注意力的SGFormer模型，无需位置编码等额外设计，可高效扩展至十亿级节点图，推理速度最高提升141倍。
2024-08-16 cs.AI cs.LG cs.SI
Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection
在这封信中，我们提出了增强因子三路限制玻尔兹曼机（EFTW-RBM）的语音检测。所提出的模型通过乘以第三单元的动态状态来结合条件特征学习，这允许对可见-隐藏节点对进行调制。代替以递归方式将语音的先前帧堆叠为第三单元，相关加权系数被分配给上下文相邻帧。具体而言，阈值函数被设计为捕获长期特征并混合全局存储的语音结构。引入因子化的低秩近似来降低三维相互作用张量的参数，并对该参数施加非负约束以解决稀疏特性。通过ROC曲线下面积（AUC）和信号失真率（SDR）的验证表明，我们的方法优于几种现有的1D和2D（即，时域和时频域）语音检测算法。
2017-04-20 cs.LG cs.SD stat.ML
AASIST: Audio Anti-Spoofing using Integrated Spectro-Temporal Graph Attention Networks
Naver Corporation（Naver公司）；EURECOM（欧洲通信研究院）；University of Seoul（首尔市立大学）
区分欺骗性话语与真实话语的伪像可以存在于频谱域或时间域中。它们的可靠检测通常取决于计算要求高的合奏系统，其中每个子系统都被调谐到一些特定的文物。我们寻求开发一个有效的，单一的系统，可以检测到广泛的不同的欺骗攻击，而无需得分级别的合奏。我们提出了一种新的异构堆叠图的注意力层模型的文物跨越异构的时间和频谱域的异构注意力机制和堆栈节点。通过一个新的最大图操作，涉及到一个竞争机制和一个扩展的读出方案，我们的方法，命名为AASIST，优于目前的最先进的20%相对。即使是一个轻量级的变体，AASIST-L，只有85 K的参数，优于所有竞争系统。
2021-10-04 cs.AI cs.LG eess.AS
Tracing the Propagation Path: A Flow Perspective of Representation Learning on Graphs
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
图卷积网络（GCN）在图的表示学习方面取得了重大进展。然而，目前的GCN遭受两个共同的挑战：1）GCN仅对浅结构有效;堆叠多个GCN层将导致过度平滑。2)由于递归邻域扩展，GCN不能很好地扩展大型稠密图。我们将当前GCN的传播策略概括为\emph{"Sink$\to$Source"}模式，这似乎是这两个挑战的根本原因。为了从本质上解决这些问题，本文研究了\emph{"Source$\to$Sink"}模式下的信息传播机制。我们引入了一个新的概念“信息流路径”，明确地定义了信息的来源和它如何扩散。然后，提出了一种新的框架，即流图网络（FlowGN），学习节点表示。FlowGN在传播策略上具有计算效率和灵活性。此外，FlowGN将层结构从信息传播过程中分离出来，消除了传统GCN中应用深层结构的内部约束。在公共数据集上的进一步实验证明了FlowGN相对于最先进的GCN的优越性。
2019-12-12 cs.LG stat.ML
DeeperGCN: All You Need to Train Deeper GCNs
KAUST（阿卜杜拉国王科技大学）
图卷积网络（GCN）由于其在图上的表示学习能力而受到广泛关注。与卷积神经网络（CNN）不同，CNN能够利用堆叠非常深的层，GCN在更深时会遇到梯度消失、过度平滑和过度拟合的问题。这些挑战限制了GCN在大规模图上的表示能力。本文提出了DeeperGCN，能够成功可靠地训练非常深的GCN。我们定义了可微的广义聚合函数来统一不同的消息聚合操作（例如，平均值，最大值）。我们还提出了一种新的归一化层，即MsgNorm和GCN的剩余连接的预激活版本。在Open Graph Benchmark（OGB）上进行的大量实验表明，DeeperGCN在节点属性预测和图属性预测的大规模图学习任务上显著提高了性能。请访问https://www.deepgcns.org了解更多信息。
2020-06-13 cs.CV cs.LG stat.ML
Multi-Level Deep Cascade Trees for Conversion Rate Prediction in Recommendation System
Alibaba Group（阿里巴巴集团）；Hangzhou Dianzi University（杭州电子科技大学）；University of Technology Sydney（悉尼科技大学）
开发有效和高效的推荐方法对于现代电子商务平台来说非常具有挑战性。一般来说，点击率预测（\textit{CTR}）和转化率预测（\textit{CVR}）是两个基本的模块，其中\textit{CVR}模块是直接影响最终购买量的关键因素。然而，由于其稀疏性，它确实非常具有挑战性。在本文中，我们解决了这个问题，提出了多级深级联树（\textit{ldcTree}），这是一种新的决策树集成方法。它通过堆叠梯度提升决策树（\textit{GBDT}）来利用深度级联结构，以有效地学习特征表示。此外，我们提出利用前一级\textit{GBDT}的每棵树中的交叉熵作为下一级\textit{GBDT}的输入特征表示，这具有清楚的解释，即，在下一级\textit{GBDT}中从根到叶节点的遍历对应于在前\textit{GBDT}中的某些遍历的组合。深度级联结构和组合规则使所提出的\textit{ldcTree}具有更强的分布式特征表示能力。此外，受集成学习的启发，我们提出了一个增强的\textit{ldcTree}（\textit{E-ldcTree}），以鼓励模型的多样性，并进一步提高表示能力。最后，我们提出了一种改进的基于\textit{EldcTree}的特征学习方法（\textit{F-EldcTree}），以充分利用预训练\textit{GBDT}模型识别的弱相关性和强相关性特征。离线数据集…
2018-11-19 cs.LG stat.ML
FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective
Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）；University of Oxford（牛津大学）；University of Macau（澳门大学）；HeFei University of Technology（合肥工业大学）；Macquarie University（麦考瑞大学）
针对现有GNN方法时空建模分离的问题，提出纯图视角的FourierGNN，通过超变量图统一时空依赖，并在傅里叶空间实现高效预测，在七个数据集上以更少参数取得更优性能。
2023-11-10 cs.AI cs.LG
Exact Network Surgery: Functional Invariance and Gradient Plasticity in Reactive Computational Graphs
ISITCOM, University of Sousse（苏塞大学ISITCOM）
研究如何在不破坏网络功能前提下插入残差块扩展容量。提出精确网络手术，证明相关定理，识别退化配置。通过NeuroDSL验证，如嫁接精确、门动态符合预测、成本与锥大小相关等，为网络扩展提供有效方法。
2026-08-11 cs.AI cs.LG cs.PL
