Subgraph Filtering for Fair Graph Neural Networks
Molly Wardaguga Institute for First Nations Birth Rights, Charles Darwin University（查尔斯·达尔文大学莫莉·瓦达古加原住民生育权研究所）；The University of Sydney（悉尼大学）
针对GNN因敏感同质性导致的结构偏见问题，提出轻量级架构无关的SF-GNN框架，通过识别并过滤易产生偏见的边，在多基准数据集上实现更优的公平性-准确率权衡。
2026-08-28 cs.LG
Pointspectrum: Equivariance Meets Laplacian Filtering for Graph Representation Learning
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
图表示学习（GRL）已成为现代图数据采掘和学习任务的基本要求。GRL的目标是捕获图的结构信息，并将其与节点和边属性相结合，以计算低维表示。虽然图神经网络（GNN）已被用于最先进的GRL架构中，但当需要堆叠许多GNN层时，它们已被证明存在过度平滑的问题。在不同的GRL方法中，基于图滤波的谱方法已经出现了解决平滑问题的方法;然而，到目前为止，它们采用传统的神经网络，无法有效地利用图数据的结构。出于这一动机，我们提出了PointSpectrum，一种谱方法，它采用了一组等变网络来解释图的结构。PointSpectrum增强了谱方法的效率和表现力，同时优于最先进的GRL方法或与之竞争。总的来说，PointSpectrum通过使用图滤波器来解决平滑问题，并通过集合等方差来捕获图的结构，位于GNN和谱方法的交叉点上。我们的研究结果是有希望的频谱方法和GRL的这种架构转变的好处和适用性。
2021-09-07 cs.AI cs.LG
Hierarchical Graph Representation Learning with Differentiable Pooling
Stanford University（斯坦福大学）；TU Dortmund University（多特蒙德工业大学）；University of Southern California（南加州大学）
最近，图神经网络（GNN）通过有效学习节点嵌入，彻底改变了图表示学习领域，并在节点分类和链接预测等任务中取得了最先进的成果。然而，目前的GNN方法本质上是平坦的，并且不学习图的分层表示-这一限制对于图分类任务来说尤其成问题，其中目标是预测与整个图相关联的标签。在这里，我们提出了DiffPool，一个可微分图池模块，可以生成图形的分层表示，并可以与各种图神经网络架构相结合的端到端的方式。DiffPool为深度GNN的每一层的节点学习可区分的软集群分配，将节点映射到一组集群，然后形成下一个GNN层的粗化输入。我们的实验结果表明，将现有的GNN方法与DiffPool相结合，与所有现有的池化方法相比，在图分类基准上平均提高了5-10%的准确率，在五个基准数据集中有四个达到了新的最先进水平。
2019-02-20 cs.LG cs.NE cs.SI
MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering
National University of Singapore（新加坡国立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文证明了基于GNN的CF模型与传统单层NRL模型的等价性，提出MGDCF将GNN视为不可训练的马尔可夫过程构建上下文特征，并设计InfoBPR排序损失使NRL模型无需GNN特征也能表现优异。
2024-01-06 cs.LG cs.SI
Debiasing Message Passing to Mitigate Popularity Bias in GNN-based Collaborative Filtering
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出DPAA框架，通过自适应嵌入感知交互加权和层间加权，缓解GNN协同过滤中的流行偏差问题，实验表明其优于现有方法。
2026-10-06 cs.IR cs.LG
Towards Better Graph Representation Learning with Parameterized Decomposition & Filtering
Dalian University of Technology（大连理工大学）；National University of Singapore（新加坡国立大学）
本文提出一个参数化分解与滤波的通用框架，统一现有GNN模型，增强灵活性并缓解平滑性和放大问题，实现简单且高效，在多种图学习任务上取得显著改进。
2023-05-10 cs.AI cs.LG
Temporal Collaborative Filtering with Graph Convolutional Neural Networks
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）
时态协同过滤（TCF）方法旨在对推荐系统背后的非静态方面进行建模，例如用户偏好的动态变化和项目周围的社会趋势。最先进的TCF方法采用递归神经网络（RNN）来对这些方面进行建模。这些方法部署基于矩阵分解（MF）的方法来学习用户和项目表示。最近，基于图形神经网络（GNN）的方法已经显示出在非时间CF设置中提供准确建议的性能优于传统的基于MF的方法。受此启发，我们提出了一种新的TCF方法，该方法利用GNN来学习用户和项目表示，并利用RNN来建模它们的时间动态。这种方法的一个挑战在于增加的数据稀疏性，这对使用GNN获得有意义的质量表示产生了负面影响。为了克服这一挑战，我们在每个时间步使用一组按时间累积的观察到的相互作用来训练GNN模型。对真实数据的综合实验表明，我们的方法在几个最先进的时态和非时态CF模型上获得了更好的性能。
2020-10-13 cs.AI
Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
图神经网络（GNN）已成为将结构归纳偏差集成到NLP模型中的流行方法。然而，很少有人解释它们，特别是理解图的哪些部分（例如语法树或共指结构）有助于预测。在这项工作中，我们引入了一种事后方法来解释GNN的预测，该方法可以识别不必要的边缘。给定一个经过训练的GNN模型，我们学习一个简单的分类器，对于每一层中的每个边缘，预测该边缘是否可以被丢弃。我们证明，这样的分类器可以训练在一个完全可区分的方式，采用随机门，并鼓励稀疏通过预期的$L_0$规范。我们使用我们的技术作为一种归因方法来分析GNN模型的两个任务-问答和语义角色标注-提供洞察这些模型中的信息流。我们表明，我们可以在不降低模型性能的情况下丢弃大部分边缘，同时我们可以分析剩余的边缘以解释模型预测。
2022-10-03 cs.CL cs.LG stat.ML
Towards Deeper Graph Neural Networks with Differentiable Group Normalization
Texas A&M University（德克萨斯农工大学）；The Hong Kong Polytechnic University（香港理工大学）；Samsung Research America（三星美国研究院）
图神经网络（GNNs）通过聚合其邻居来学习节点的表示，已成为下游应用中的有效计算工具。随着层数的增加，过度平滑是限制GNN性能的关键问题之一。这是因为堆叠的聚合器会使节点表示收敛到不可区分的向量。已经进行了几次尝试，通过使链接的节点对接近和未链接的对不同来解决这个问题。然而，他们往往忽视了内在的社区结构，并会导致次优性能。同一社区/类内的节点的表示需要相似以便于分类，而不同的类期望在嵌入空间中分离。为了弥补这一差距，我们引入了两个过平滑度量和一种新的技术，即，可微群归一化（DGN）。它独立地规范化同一组内的节点以增加其平滑度，并分离不同组之间的节点分布以显著减轻过度平滑问题。在真实世界数据集上的实验表明，DGN使GNN模型对过度平滑更具鲁棒性，并在更深的GNN上实现更好的性能。
2020-06-12 cs.LG stat.ML
Graph Trend Filtering Networks for Recommendations
The Hong Kong Polytechnic University（香港理工大学）；Michigan State University（密歇根州立大学）；City University of Hong Kong（香港城市大学）
推荐系统旨在为用户提供个性化服务，在我们的日常生活中发挥着越来越重要的作用。推荐系统的关键是根据用户的历史在线行为来预测用户与项目交互的可能性，例如，点击、添加到购物车、购买等。为了利用这些用户与物品的交互，人们越来越多地将用户与物品的交互视为用户与物品的二分图，然后通过图神经网络（GNN）在图中执行信息传播。鉴于GNNs在图表示学习中的强大功能，这些基于GNNs的推荐方法显着提高了推荐性能。尽管它们取得了成功，但大多数现有的基于GNNs的推荐系统忽略了由不可靠行为（例如，随机/诱饵点击）并统一处理所有交互，这可能导致次优和不稳定的性能。在本文中，我们研究了缺点（例如，非自适应传播和非鲁棒性）。为了解决这些缺点，我们引入了一个原则性的图趋势协同过滤方法，并提出了图趋势过滤网络的建议（GTN），可以捕获自适应的相互作用的可靠性。全面的实验和烧蚀研究，以验证和理解所提出的框架的有效性。我们基于PyTorch的实现可以在https://github.com/wenqifan03/GTN-SIGIR2022上找到。
2022-04-23 cs.AI cs.IR cs.LG
Knowledge Based Wind Turbine Gearbox Fault Detection Using Sparse Filtering and Graph Neural Networks
Case Western Reserve University（凯斯西储大学）
本研究提出结合稀疏滤波与图神经网络的两阶段框架，用于风力涡轮机齿轮箱故障检测，在基准测试中取得优于人工特征方法的分类准确率，验证了结构化传感器图中学习振动表示的有效性。
2026-11-03 cs.LG cs.SY eess.SY
An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering
Michigan State University（密歇根州立大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
图神经网络在推荐任务中得到了广泛的应用，并取得了令人瞩目的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏的问题。同时，预训练技术在诸如自然语言处理（NLP）和计算机视觉（CV）的各个领域中在减轻数据稀疏性方面取得了巨大成功。因此，图预训练具有很大的潜力来减轻基于GNN的推荐中的数据稀疏性。然而，用于推荐的预训练GNN面临着独特的挑战。例如，不同推荐任务中的用户-项目交互图具有不同的用户和项目集，并且它们通常呈现不同的属性。因此，NLP和CV中常用的将知识从预训练任务转移到下游任务（例如共享学习的嵌入或特征提取器）的成功机制并不直接适用于现有的基于GNN的推荐模型。为了应对这些挑战，我们精心设计了一个自适应图预训练框架，用于本地化协同过滤（ADAPT）。它不需要传输用户/项目嵌入，并且能够捕获不同图之间的公共知识和每个图的唯一性。大量的实验结果证明了ADAPT的有效性和优越性。
2021-12-14 cs.AI cs.IR
Fair Augmentation for Graph Collaborative Filtering
University of Cagliari（卡利亚里大学）；Spotify（Spotify公司）
本文针对图协同过滤中的消费者不公平问题，复现了一种通过学习公平图增强来调整系统公平性的缓解方法，并在多模型和多真实数据集上验证了其有效性及可迁移性。
2024-08-22 cs.IR cs.LG
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich（苏黎世联邦理工学院）
提出了完全可解释的决策树图神经网络（DT+GNN）结构。与现有的黑箱GNN和事后解释方法相比，DT+GNN的推理可以在每一步进行检查。为了实现这一点，我们首先构建了一个可微的GNN层，它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪，以确保它们很小，易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明，这种架构与传统GNN一样有效。此外，我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解，并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm
Texas A&M University（得克萨斯A&M大学）
本文提出边感知的 NC-1-WL 及其神经版本 NC-GNN，在保持消息传递可扩展性的同时，使表达能力严格介于 1-WL 与 3-WL 之间，并在基准实验中验证其效果与效率。
2024-01-23 cs.AI cs.LG
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，其过滤邻域节点信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Sharpness-Aware Graph Collaborative Filtering
Visa Research（维萨研究院）
针对图神经网络在协同过滤中因分布偏移、极小值选择不当导致泛化性差的问题，提出基于双层优化的gSAM训练方案，通过正则化损失景观平坦度提升模型泛化能力，实验验证了其优越性。
2023-07-18 cs.IR cs.LG
Rethinking Graph Neural Architecture Search from Message-passing
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）最近作为从图上的数据学习的标准工具包出现。目前的GNN设计工作依赖于大量的人类专业知识来探索不同的消息传递机制，并需要手动枚举来确定适当的消息传递深度。受CNN中神经结构搜索（NAS）强大搜索能力的启发，提出了一种新的搜索空间的图神经结构搜索（GNAS）。GNAS可以自动学习更好的架构，并在图上获得最佳的消息传递深度。具体来说，我们设计了图神经架构范式（GAP），它采用树型拓扑计算过程和两种细粒度原子操作（特征过滤和邻居聚合），从消息传递机制出发，构建了强大的图网络搜索空间。特征过滤执行自适应特征选择，而邻居聚合捕获结构信息并计算邻居的统计信息。实验表明，我们的GNAS可以搜索更好的GNN与多种消息传递机制和最佳的消息传递深度。搜索网络在三个经典图任务的五个大规模数据集上比最先进的手动设计和基于搜索的GNN取得了显着的改进。代码可以在https://github.com/phython96/GNAS-MP上找到。
2021-06-24 cs.AI cs.LG
Localized Graph Collaborative Filtering
Michigan State University（密歇根州立大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软公司）
推荐中的用户-项目交互可以自然地被称为用户-项目二分图。鉴于图神经网络（GNN）在图表示学习中的成功，已经提出了基于GNN的C方法来改进推荐系统。这些方法通常会根据学习到的用户和项目嵌入进行推荐。然而，我们发现，他们没有表现得很好，稀疏的用户项目图，这是在现实世界中很常见的建议。因此，在这项工作中，我们引入了一个新的视角来构建基于GNN的CF方法，用于推荐，这导致了所提出的框架本地化图协同过滤（LGCF）。LGCF的一个关键优势是它不需要为每个用户和项目学习嵌入，这在稀疏场景中具有挑战性。或者，LGCF旨在将有用的CF信息编码到本地化图中，并基于该图进行推荐。在各种数据集上的大量实验验证了LGCF的有效性，特别是在稀疏场景中。此外，实验结果表明，LGCF提供了补充信息的嵌入式CF模型，可以用来提高推荐性能。
2022-01-05 cs.AI cs.IR
Probabilistic Dual Network Architecture Search on Graphs
University of Cambridge（剑桥大学）；Shenzhen Institue of Advanced Technology（深圳先进技术研究院）
提出了图神经网络的第一种可微网络结构搜索算法。GNN在广泛的任务上表现出良好的性能，但需要大量的架构工程。首先，图本质上是一种非欧几里得的复杂数据结构，导致GNN架构在不同数据集上的适应性较差。其次，一个典型的图块包含许多不同的组件，如聚合和注意力，产生一个大的组合搜索空间。为了解决这些问题，我们提出了一个概率双网络架构搜索（PDNAS）框架的GNN。PDNAS不仅优化了单个图形块（微架构）内的操作，而且还考虑了这些块应该如何相互连接（宏架构）。双架构（微架构和宏架构）优化允许PDNAS在不同的数据集上找到更深入的GNN，与其他图NAS方法相比具有更好的性能。此外，我们使用完全基于梯度的搜索方法来更新架构参数，使其成为第一个可微图NAS方法。PDNAS优于现有的手工设计的GNN和NAS结果，例如，在PPI数据集上，PDNAS在F1得分上击败了最好的竞争对手1.67和0.17。
2020-03-21 cs.LG stat.ML
DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks
Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式有限公司）；Tsinghua University（清华大学）
在本文中，我们提出了一个新的框架，自动利用任务相关的语义信息，这是编码在异构信息网络（HIN）。具体来说，我们搜索一个Meta图，它可以捕捉更复杂的语义关系比Meta路径，以确定图神经网络（GNN）如何传播消息沿不同类型的边缘。我们形式化的神经架构搜索（NAS）的框架内的问题，然后执行的搜索在一个可区分的方式。我们设计了一个表达搜索空间的形式，有向无环图（DAG）代表候选Meta图的HIN，我们提出了任务相关的类型约束过滤掉那些边缘类型沿消息传递没有影响的表示的节点是相关的下游任务。我们定义的搜索空间的大小是巨大的，所以我们进一步提出了一种新颖而有效的搜索算法，使总的搜索成本与训练一次单个GNN相当。与现有的流行NAS算法相比，我们提出的搜索算法提高了搜索效率。我们对不同的HIN和下游任务进行了广泛的实验来评估我们的方法，实验结果表明，我们的方法可以优于最先进的异构GNN，并且与那些可以隐式学习Meta路径的方法相比，也提高了效率。
2021-09-27 cs.LG cs.SI
Graph Unlearning: Efficient Node Removal in Graph Neural Networks
Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
针对现有图神经网络节点遗忘方法存在结构限制、未有效利用图拓扑等问题，提出三种新型节点遗忘方法，经实验验证在效用和效率上优于现有最优方法，可提升GNN隐私安全性。
2025-09-05 cs.AI cs.LG
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers（法国国立工艺学院）；Sorbonne Université（索邦大学）
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题，提出排序损失平滑优化方法与个性化PageRank负采样策略，还拓展了归纳式用户中心评估协议，在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
Department of Computer Science, University of Oxford（牛津大学计算机科学系）
本文提出DARTS-GT，通过可微架构搜索在图Transformer注意力中实现深度异构的GNN算子选择，并开发了首个基于因果消融的GT定量可解释性框架，证明异构架构能兼顾性能与可解释性。
2025-10-30 cs.LG
Beyond Graph Neural Networks with Lifted Relational Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
我们展示了一个声明式可微编程框架的语言的提升关系神经网络，其中小的参数化逻辑程序被用来编码关系学习的情况下。当呈现诸如各种形式的图形的关系数据时，程序解释器动态地展开可微计算图形以通过标准手段用于程序参数优化。从使用的声明式数据库抽象，这导致到紧凑和优雅的学习程序，与现有的程序方法直接操作的计算图的水平。我们说明了这个想法如何用于现有各种先进神经架构的有效编码，特别关注图神经网络（GNN）。此外，我们还展示了当代GNN模型如何轻松扩展到更高的关系表达能力。在实验中，我们通过与专门的GNN深度学习框架进行比较来证明正确性和计算效率，同时对现有GNN模型的学习性能进行了一些说明。
2020-07-13 cs.AI cs.LG cs.LO
Graph Neural Network-based Spectral Filtering Mechanism for Imbalance Classification in Network Digital Twin
JNU（京畿大学）
针对5G核心网数字孪生中故障类别偏斜导致的图分类不平衡问题，提出CF-GNN，通过面向类别的特征值与特征向量频谱滤波提升少数类判别能力。
2025-05-15 cs.LG cs.NI
An End-to-End Differentiable, Graph Neural Network-Embedded Pore Network Model for Permeability Prediction
提出一种端到端可微的混合框架，将图神经网络嵌入孔隙网络模型，通过单一渗透率目标反向传播训练，避免理想化几何假设，实现高精度、跨尺度的渗透率预测。
2025-09-17 cs.LG physics.geo-ph
Graph Neural Networks with Diverse Spectral Filtering
University of Liverpool（利物浦大学）；Duke Kunshan University（昆山杜克大学）
针对现有频谱GNN忽略网络区域异质性的问题，提出多样频谱滤波（DSF）框架，学习节点特定滤波器权重以平衡局部与全局信息，在10个基准数据集上节点分类性能提升高达4.92%。
2024-05-23 cs.LG cs.SI
Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond
University of Sydney（悉尼大学）；RIKEN（理化学研究所）；AIP（人工智能物理实验室）
受物理时间反演原理启发，本文提出基于多尺度热核的图神经网络MHKG及其推广模型G-MHKG，通过反转图热方程设计高通滤波函数，揭示了过平滑与过挤压的权衡关系并在温和条件下同时缓解二者，性能超越多种基线模型。
2023-09-13 cs.LG
Differentiable Cluster Graph Neural Network
PayPal（贝宝）；National University of Singapore（新加坡国立大学）
本文提出可微聚类图神经网络，通过最优传输的隐式聚类目标函数和熵正则化迭代优化，在二部图上实现消息传递，有效解决长距离传播和异质性邻域问题，实验验证其捕获局部与全局信息的能力。
2024-05-25 cs.AI cs.LG
Position: Spectral GNNs Are Neither Spectral Nor Superior for Node Classification
Department of Computer Science, University of Heriot-Watt, Edinburgh, UK（赫瑞-瓦特大学计算机科学系，爱丁堡，英国）
本文指出谱图神经网络在节点分类中未能有效捕捉图谱，其成功更多归因于消息传递动态而非谱方法，且部分模型因实现问题表现不佳。
2026-03-26 cs.LG
Differentiable Meta Multigraph Search with Partial Message Propagation on Heterogeneous Information Networks
Huazhong University of Science and Technology（华中科技大学）
异构信息网络（HIN）被广泛用于描述具有复杂实体和关系的真实世界数据。为了自动利用它们的语义信息，最近在HIN的各种任务上开发了图神经架构搜索。现有的作品，另一方面，表现出不稳定性和可扩展性的弱点。为了解决这些问题，我们提出了一种新的方法，称为部分消息Meta多重图搜索（PMMM），以自动优化神经网络的神经结构设计。具体来说，为了学习图神经网络（GNN）如何沿着各种类型的边传播消息，PMMM采用了一种有效的可微框架来搜索有意义的Meta多重图，它可以捕获比Meta图更灵活和复杂的语义关系。可微搜索通常存在性能不稳定的问题，因此我们进一步提出了一种称为部分消息搜索的稳定算法，以确保搜索到的Meta多重图始终优于手动设计的元结构，即，元路径在六个基准数据集上进行的节点分类和推荐两个典型任务的实验表明了该方法的有效性。我们的方法优于最先进的异构GNN，找出有意义的Meta多重图，并且更加稳定。
2022-11-27 cs.LG cs.NE stat.ML
Dual-Frequency Filtering Self-aware Graph Neural Networks for Homophilic and Heterophilic Graphs
Beijing University of Technology（北京工业大学）；Beijing Institute of Artificial Intelligence（北京人工智能研究院）；Beijing University of Chemical Technology（北京化工大学）；The University of Sydney（悉尼大学）
针对图神经网络中拓扑与属性干扰及高频信息丢失问题，提出双频滤波自感知图神经网络DFGNN，通过集成低通高通滤波器、动态调整滤波比例并利用频段间动态对应关系对齐拓扑与属性表示，有效提升了同质图和异质图的分类性能。
2024-11-18 cs.LG
AutoAC: Towards Automated Attribute Completion for Heterogeneous Graph Neural Network
Nanjing University（南京大学）
许多真实世界的数据可以建模为包含多种类型的节点和边的异构图。与此同时，异构图神经网络（GNNs）由于其优异的性能受到了越来越多的关注。然而，现有的工作主要集中在设计新颖的GNN模型，而忽略了另一个重要的问题，也有很大的影响模型的性能，即一些节点类型的属性缺失。手工属性补全需要大量的专家经验和领域知识。此外，考虑到节点之间语义特征的差异，属性补全应该是细粒度的，即，属性完成操作应该是节点特定的。此外，为了提高下游图学习任务的性能，属性完成和异构GNN的训练应该联合优化，而不是被视为两个单独的过程。为了解决上述挑战，我们提出了一个称为AutoAC的可区分属性补全框架，用于在异构GNN中进行自动补全操作搜索。我们首先提出了一个表达的完成操作搜索空间，包括拓扑相关和拓扑无关的完成操作。然后，我们提出了一个连续松弛模式，并进一步提出了一个可微的完成算法，其中的完成操作搜索制定为一个双层联合优化问题。为了提高搜索效率，我们利用两种优化技术：离散约束和辅助无监督图节点聚类。在真实世界数据集上的大量实验结果表明，AutoAC优于SOTA手工制作的异构GNN和现有的属性完成方法
2023-02-20 cs.LG
Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks
Seoul National University（首尔国立大学）；University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云科技）
异构图神经网络（GNN）在半监督学习环境中实现了节点分类任务的强大性能。然而，与更简单的同构GNN情况一样，基于消息传递的异构GNN可能难以在抵抗深度模型中可能发生的过度平滑和捕获图结构数据的长期依赖性之间取得平衡。此外，这种权衡的复杂性在异构图的情况下，由于不同类型的节点之间的不同的异质性关系。为了解决这些问题，我们提出了一种新的异构GNN架构，其中层来自优化步骤，下降一个新的关系感知能量函数。相应的最小化是完全可微的能量函数参数，这样可以应用双层优化来有效地学习函数形式，其最小值为后续的分类任务提供最佳的节点表示。特别是，这种方法使我们能够模拟不同节点类型之间的各种异质关系，同时避免过度平滑的影响。在8个异构图基准测试上的实验结果表明，该方法能够获得有竞争力的节点分类精度
2022-10-21 cs.AI cs.LG
Hyperbolic Graph Neural Networks
Facebook AI Research（脸书人工智能研究院）
从图结构数据中学习是机器学习和人工智能的一项重要任务，图神经网络（GNN）在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发，我们提出了一种新的GNN架构，用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性，比较欧几里德和双曲几何。在我们的实验中，我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
Enhancing Knowledge Graph Completion with GNN Distillation and Probabilistic Interaction Modeling
Shandong Key Laboratory of Industrial Network Security（山东工业网络安全重点实验室）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
针对知识图谱补全中GNN过平滑、嵌入模型难捕捉抽象关系特征的问题，提出融合GNN蒸馏与抽象概率交互建模的统一框架，在WN18RR和FB15K-237数据集上实现显著性能提升。
2025-05-18 cs.AI cs.LG
Global Explainability of GNNs via Logic Combination of Learned Concepts
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Cambridge（剑桥大学）
本文提出GLGExplainer，首次将局部解释聚类为图形概念并组合成任意布尔逻辑公式，为GNN提供准确、可解释且忠实于模型预测的全局解释，并可用于诊断模型学到的错误规则。
2023-04-11 cs.AI cs.LG cs.LO
Graph Reasoning Networks
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
针对图神经网络高层推理能力有限的问题，提出结合固定与已学习图表征、搭配可微可满足性求解器推理模块的GRNs，真实数据集性能与GNN相当，合成数据集展现潜力。
2024-07-08 cs.AI cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）已经成功地应用于许多关系任务中的图上的学习表示。近年来，研究者们开始研究神经网络结构搜索（NAS），以减少对人类经验的依赖，探索更好的GNN结构，但这些研究过于强调实体特征，而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题，我们将边缘特征纳入图搜索空间，并提出边缘特征图神经网络结构搜索，以找到最佳的GNN结构。具体来说，我们设计了丰富的实体和边缘更新操作来学习高阶表示，从而传达更通用的消息传递机制。此外，在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖，这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明，EGNAS可以搜索更好的GNN，其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Hidden State Approximation in Recurrent Neural Networks Using Continuous Particle Filtering
Singapore Management University（新加坡管理大学）
利用历史数据预测未来事件在现实世界中有很多应用，如股票价格预测、机器人定位等。在过去的几十年里，卷积长短期记忆（LSTM）网络在相关领域的序列数据方面取得了非凡的成功。然而，传统的循环神经网络（RNN）以确定性的方式保持隐藏状态。在本文中，我们使用粒子来近似潜态的分布，并展示它如何扩展成更复杂的形式，即，编码器-解码器机制与建议的连续可微计划，我们的模型是能够自适应地提取有价值的信息和更新的潜在状态根据贝叶斯规则。我们的实证研究表明，我们的方法在预测任务的有效性。
2022-12-18 cs.AI cs.LG
Search to aggregate neighborhood for graph neural network
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）
近年来，图神经网络（GNN）在各种场景中得到了普及和成功。为了获得数据特定的GNN架构，研究人员转向神经架构搜索（NAS），它在发现卷积神经网络中的有效架构方面取得了令人印象深刻的成功。然而，由于搜索空间设计中的挑战和现有NAS方法的昂贵搜索成本，将NAS方法应用于GNN是不平凡的。在这项工作中，为了获得特定于数据的GNN架构并解决NAS方法所面临的计算挑战，我们提出了一个框架，该框架试图搜索聚合邻域（SANE），以自动设计特定于数据的GNN架构。通过设计一个新颖的和有表现力的搜索空间，我们提出了一个可微的搜索算法，这是更有效的比以前的强化学习的方法。在四个任务和七个真实数据集上的实验结果表明，SANE与现有的GNN模型和NAS方法相比，在有效性和效率方面具有优越性。(Code可在以下网址获得：https：//github.com/AutoML-4Paradigm/SANE）。
2021-04-20 cs.LG
Faithful Differentiable Reasoning with Reshuffled Region-based Embeddings
TU Wien（维也纳技术大学）；University of Oxford（牛津大学）；Cardiff University（卡迪夫大学）
针对现有基于区域的KG嵌入可捕获规则库受限的问题，提出基于排序约束的RESHUFFLE模型，可忠实表示更大类别规则库，并由GNN学习实体嵌入以实现可微推理。
2025-07-26 cs.AI cs.LG
Everything Perturbed All at Once: Enabling Differentiable Graph Attacks
Texas A&M University（德州农工大学）
提出可微图攻击（DGA），通过连续松弛和参数化实现高效图对抗攻击，训练时间减少6倍、内存占用减少11倍，性能与最先进方法相当。
2023-08-29 cs.CR cs.LG cs.SI
Differentiable Scaffolding Tree for Molecular Optimization
Amplitude（Amplitude公司）；Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
功能分子的结构设计，也称为分子优化，是一项重要的化学科学和工程任务，具有重要的应用，如药物发现。深度生成模型和组合优化方法取得了初步成功，但仍然难以直接建模离散化学结构，并且通常严重依赖蛮力枚举。挑战来自分子结构的离散和不可微性质。为了解决这个问题，我们提出了可微支架树（DST），利用学习的知识网络将离散的化学结构转换为局部可微的。DST通过将来自目标性质的导数反向传播通过图神经网络（GNN）来实现对化学图结构的基于梯度的优化。我们的实验研究表明，基于梯度的分子优化是有效的和样本效率。此外，学习的图参数还可以提供解释，帮助领域专家理解模型输出。
2022-01-24 cs.LG
Node-oriented Spectral Filtering for Graph Neural Networks
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）
针对GNN低通滤波难以适应非亲同图中局部模式变化的问题，本文提出面向节点的谱滤波网络NFGNN，通过逐节点估计滤波器和重参数化实现局部自适应与全局一致性的平衡，并在实验中验证了其优越性能。
2023-10-26 cs.LG cs.SI
All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN
University of Science and Technology of China（中国科学技术大学）；Tongji University（同济大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Oxford（牛津大学）；Griffith University（格里菲斯大学）
针对GNN加深易出现过平滑、梯度消失及异配图适配性差的问题，提出节点特定层聚合过滤架构NoSAF，通过动态码本逐层过滤节点信息，还推出带层间信息补偿的NoSAF-D，兼顾深度与性能。
2024-05-13 cs.LG
Graph Neural Networks are Heuristics
Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Ithaca, NY, USA（纽约州伊萨卡市）
研究表明图神经网络在组合优化中辅助角色非固有，可自身作启发式算法。以欧几里得旅行商问题为例，训练无标签等的非自回归图神经网络，仅用可微哈密顿循环目标监督，模型能快速生成完整路线且多样，优于贪心基线。
2026-07-07 cs.AI cs.LG
GegenbauerNet: Finding the Optimal Compromise in the GNN Flexibility-Stability Trade-off
Akdeniz Üniversitesi（阿德亚兹大学）
针对谱图神经网络在[-1,1]域的灵活性-稳定性权衡问题，提出基于盖根堡多项式的GegenbauerNet，通过单参数对称设计实现折中，在异质性图K=2场景中性能更优，为图神经网络滤波器设计提供关键原则。
2025-11-04 cs.LG eess.SP
HDST-GNN: Heterogeneous Dynamic Spatiotemporal Graph Neural Networks for Multi-Object Tracking in UAV Aerial Imagery
Phillip Jiang（菲利普·姜）
针对无人机航拍中目标小、密集、遮挡导致身份切换的问题，提出异质动态时空图神经网络HDST-GNN，通过高度自适应边构建、异质节点表示和遮挡门控时序聚合提升跟踪性能。
2026-06-04 cs.AI cs.CV cs.LG
Revisiting Neighborhood-based Link Prediction for Collaborative Filtering
Carnegie Mellon University（卡内基梅隆大学）；Snap Inc.（Snap公司）
协同过滤是推荐系统中最成功和最基本的技术之一。近年来，基于图神经网络（GNN）的CF模型，如NGCF [31]，LightGCN [10]和GTN [9]取得了巨大的成功，并显着推进了最先进的技术水平。虽然有丰富的文献，这些作品使用先进的模型分别学习用户和项目表示，项目推荐本质上是用户和项目之间的链接预测问题。此外，虽然已经有早期的作品采用链接预测的协同过滤[5，6]，这种趋势在很大程度上已经让位于集中于从用户和项目节点聚合信息的作品，而不是直接建模链接。在本文中，我们提出了一个新的链接（连通性）评分的二分图，推广多个标准的链接预测方法。我们结合这个新的分数与用户-项目交互二分图中的迭代度更新过程来利用局部图结构，而无需任何节点建模。结果是一个简单的非深度学习模型，只有六个可学习的参数。尽管它很简单，但我们证明了我们的方法在四个广泛使用的基准测试中显着优于现有的最先进的基于GNN的CF方法。特别是，在亚马逊图书上，我们展示了召回和NDCG的60%以上的改进。我们希望我们的工作将邀请社区重新审视协同过滤的链接预测方面，通过将链接预测与项目推荐对齐，可以实现显着的性能增益。
2022-03-29 cs.IR cs.LG
Enhancing Trustworthiness of Graph Neural Networks with Rank-Based Conformal Training
City University of Hong Kong（香港城市大学）；Alpha Benito Research（阿尔法贝尼托研究所）
针对GNNs缺乏严格不确定性估计的问题，提出RCP-GNN训练框架，利用排序信息和可微保形损失构建统计保证的预测集合，在保持任意目标覆盖率的同时显著降低预测无效性。
2025-01-06 cs.AI cs.LG
Designing the Topology of Graph Neural Networks: A Novel Feature Fusion Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Paradigm. Inc.（第四范式有限公司）；Lenovo（联想）
近年来，图神经网络（GNN）在各种实际应用中表现出了卓越的性能。为了提高模型的容量，除了设计聚集操作外，GNN的拓扑结构设计也很重要。一般来说，有两种主流的GNN拓扑设计方式。第一种是堆叠聚合操作以获得更高级别的功能，但随着网络的深入，很容易导致性能下降。第二，在每一层中使用多个聚合操作，这提供了足够的和独立的特征提取阶段的本地邻居，但昂贵的获得更高级别的信息。为了享受这两种方式的好处，同时减轻相应的不足，我们学习设计的GNN的拓扑结构在一个新的特征融合的角度，这被称为F $^2$ GNN。具体而言，我们提供了一个特征融合的角度来设计GNN拓扑结构，并提出了一个新的框架，统一现有的拓扑结构设计与特征选择和融合策略。在此基础上提出了一种神经结构搜索方法，该方法包含一组搜索空间中的选择和融合操作以及一种改进的可微搜索算法。在八个真实数据集上的性能提升证明了F $^2$ GNN的有效性。实验结果表明，F $^2$ GNN通过自适应地利用不同层次的特征，在改善现有GNN拓扑设计方法不足的同时，能够有效地提高模型容量，特别是缓解过度平滑问题.
2022-02-01 cs.LG
Partition-wise Graph Filtering: A Unified Perspective Through the Lens of Graph Coarsening
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Baptist University（香港 Baptist 大学）
本文提出粗化引导的分区式滤波（CPF），通过图粗化与特征聚类实现分区滤波，统一图级与节点级滤波范式，并在节点分类和异常检测中验证其有效性。
2025-05-22 cs.LG cs.NA eess.SP
