From Images to Connections: Can DQN with GNNs learn the Strategic Game of Hex?
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
研究GNN能否在自博弈强化学习中替代CNN处理Hex等策略游戏，发现GNN擅长处理长距离依赖且不易过拟合，但在识别局部模式上较弱，暗示利用游戏特定结构重塑RL的范式转变。
2023-11-22 cs.AI cs.GT cs.LG
GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks
Hong Kong University of Science and Technology（香港科技大学）；Singapore Management University（新加坡管理大学）；Harvard University（哈佛大学）；Bloomberg LP（彭博有限合伙企业）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
图神经网络（GNN）旨在将深度学习技术扩展到图数据，并在图分析任务（例如，分类）近年来。然而，与其他深度神经网络（如卷积神经网络（CNN）和递归神经网络（RNN））类似，GNN的行为就像一个黑盒子，其细节对模型开发人员和用户隐藏。因此，很难诊断GNN可能的错误。尽管有许多关于CNN和RNN的可视化分析研究，但很少有研究解决GNN的挑战。本文填补了研究空白的交互式可视化分析工具，GNNLens，以帮助模型开发人员和用户理解和分析GNNs。具体而言，并行集合视图和投影视图使用户能够快速识别和验证错误预测集合中的错误模式;图形视图和特征矩阵视图提供对单个节点的详细分析，以帮助用户形成关于错误模式的假设。由于GNN共同建模图形结构和节点特征，我们通过比较三种模型的预测来揭示两种类型信息的相对影响：GNN，多层感知器（MLP）和GNN不使用特征（GNNWUF）。两个案例研究和对领域专家的采访证明了GNNLens在促进对GNN模型及其错误的理解方面的有效性。
2022-04-07 cs.HC cs.LG cs.SI
Modeling Spatial Nonstationarity via Deformable Convolutions for Deep Traffic Flow Prediction
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Xiamen University（厦门大学）；National University of Singapore（新加坡国立大学）
深度神经网络正越来越多地用于短期交通流量预测，通常可分类为卷积神经网络（CNN）或图神经网络（GNN）。通过利用局部空间相关性，CNN对于区域交通预测是优选的，而GNN对于图结构的交通数据实现了更好的性能。当应用于区域交通预测时，CNN通常将底层区域划分为网格状空间单元，并采用标准卷积来学习单元之间的空间依赖性。然而，具有固定几何结构的标准卷积不能完全模拟本地交通流的非平稳特性。为了克服这一不足，我们引入了可变形卷积，通过额外的偏移量来增加空间采样位置，以增强空间非平稳性的建模能力。在此基础上，我们设计了一个深度可变形卷积残差网络，即DeFlow-Net，它可以有效地建模流量的全局空间依赖性，局部空间非平稳性和时间周期性。此外，为了更好地适应卷积，我们建议首先根据预先设想的区域或自组织区域的基础上的交通流量聚集的交通流量，然后处理成顺序组织的光栅图像的网络输入。对真实世界流量的广泛实验表明，DeFlow-Net使用标准卷积优于GNN和现有CNN，并且通过预先设想的区域或自组织区域进行空间分区进一步提高了性能。我们还展示了DeFlow-Net在保持空间自相关性方面的优势，并揭示了分区形状和尺度对深层交通流预测的影响。
2021-10-08 cs.CV cs.DB cs.LG
Approximately Equivariant Graph Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Technion – Israel Institute of Technology（以色列理工学院）
本研究提出近似等变图网络，通过图粗化定义近似对称性，并给出偏差-方差公式以权衡表达性与正则性，实验证明选择介于自同构与置换群之间的对称群可获得最佳泛化。
2023-11-17 cs.LG stat.ML
Lookup subnet based Spatial Graph Convolutional neural Network
Northwest University（西北大学）
卷积神经网络（Convolutional Neural Networks，CNN）在欧氏结构数据上取得了显著的性能突破。近年来，基于聚集-变换的图神经网络（GNNs）在非欧数据上逐渐显示出强大的性能。在本文中，我们提出了一种基于互相关的图卷积方法，可以自然地将CNN推广到非欧几里德域，并继承CNN的优良特性，如局部滤波器，参数共享，灵活的感受野等，同时，它利用动态生成的卷积核和互相关算子来解决基于聚合变换或其近似的现有方法的缺点。我们的方法已经在三个已建立的图形基准中实现或匹配了流行的最先进的结果：Cora，Citeseer和Pubmed引文网络数据集。
2021-02-04 cs.LG
Improving Graph Neural Networks with Learnable Propagation Operators
Ben-Gurion University（本-古里安大学）；Emory University（埃默里大学）
针对图神经网络传播算子表达受限、易过平滑的问题，提出带可训练逐通道加权因子的ωGNN方法，混合多种传播算子，两种变体经理论与实验验证无过平滑，在15个真实数据集上性能达SOTA水平。
2023-05-05 cs.LG
You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Twente（特温特大学）；University of Liverpool（利物浦大学）
本文首次发现未训练的稀疏GNN子网络可匹配完全训练密集网络的性能，并缓解过度平滑问题，支持更深层架构，且在分布外检测和鲁棒性上表现优异。
2024-02-04 cs.LG
Benchmarking Graph Neural Networks for FMRI analysis
Amsterdam University Medical Center（阿姆斯特丹大学医学中心）
图神经网络（GNN）已经成为从图结构数据中学习的强大工具。这种数据的一个重要例子是大脑，它作为一个网络运行，从神经元的微观尺度到区域的宏观尺度。该组织认为GNN是模拟大脑活动的天然工具，因此引起了神经成像界的广泛关注。然而，采用这些模型相对于传统方法的优势尚未被系统地评估，以衡量GNN是否能够利用数据的底层结构来改善学习。在这项工作中，我们研究和评估了五种流行的GNN架构在两个多站点临床数据集中诊断重度抑郁症和自闭症谱系障碍的性能，以及在UKBioBank上的性别分类，来自一般统一框架下的功能性脑扫描。我们的研究结果表明，GNN未能优于基于内核和结构不可知的深度学习模型，其中1D CNN在所有情况下都优于其他方法。我们强调，为功能性大脑数据创建最佳图结构是阻碍GNN性能的主要瓶颈，现有的作品使用任意的措施来定义导致噪声图的边缘。因此，我们建议将图扩散集成到现有的架构，并表明它可以缓解这个问题，提高其性能。我们的研究结果呼吁在评估图形方法时增加适度和严格的验证，并倡导在开发用于功能神经成像应用的GNN时采用更多以数据为中心的方法。
2022-11-16 cs.LG
Hierarchical Model Selection for Graph Neural Netoworks
The University of Electro-Communications（电气通信大学）
图数据上的节点分类是一个主要问题，并且已经提出了各种图神经网络（GNN）。GNN的变体，如H2GCN和CPF，通过改进传统GNN的弱点，性能优于图卷积网络（GCN）。然而，在一些图数据中，这些GNN变体在节点分类任务中的表现不如其他GNN。这是因为H2GCN在具有高平均度的图数据上具有特征细化，并且CPF引起关于标签传播适合性的问题。因此，我们提出了一个分层模型选择框架（HMSF），通过分析每个图数据的指标来选择合适的GNN模型。在实验中，我们表明，我们的HMSF选择的模型实现了高性能的节点分类的各种类型的图数据。
2022-12-01 cs.LG
Unveiling Mode Connectivity in Graph Neural Networks
Michigan State University（密歇根州立大学）
针对GNN优化动态与损失景观几何特性研究的空白，首次探索其模式连通性，发现图结构主导独特非线性连通模式，建立其与泛化的联系，为GNN可解释性、鲁棒性及训练范式改进提供理论基础。
2025-02-18 cs.AI cs.LG
When Does A Spectral Graph Neural Network Fail in Node Classification?
Hong Kong University of Science and Technology（香港科技大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
谱图神经网络（GNN）与各种图过滤器已收到广泛的肯定，由于其在图学习问题的有前途的性能。然而，众所周知，GNN并不总是表现良好。虽然图滤波器为模型解释提供了理论基础，但尚不清楚频谱GNN何时会失败。本文针对节点分类问题，通过研究谱GNNs的预测误差，对谱GNNs的性能进行了理论分析。借助我们提出的图指标，包括同质度和响应效率，我们建立了一个全面的理解图结构，节点标签，图过滤器之间的复杂关系。我们指出，图过滤器的标签差异的响应效率低，容易失败。为了提高GNNs的性能，我们从理论分析中提供了一个可证明的更好的滤波器设计策略-使用数据驱动的滤波器组，并提出了简单的模型进行经验验证。实验结果表明，我们的理论结果的一致性，并支持我们的策略。
2022-02-17 cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Prediction of Effective Elastic Moduli of Rocks using Graph Neural Networks
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
本研究提出基于图神经网络的方法，利用Mapper算法将3D数字岩石CT图像转为图数据预测有效弹性模量，相比CNN具有更高预测精度且显著降低GPU内存需求。
2024-01-02 cs.LG physics.comp-ph physics.geo-ph
DOTIN: Dropping Task-Irrelevant Nodes for GNNs
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）
可扩展性是深度图神经网络的重要考虑因素。受CNN中传统池化层的启发，许多最近的图学习方法都引入了池化策略来减少用于学习的图的大小，从而可以提高可扩展性和效率。然而，这些基于池化的方法主要是针对单个图级任务定制的，并且更关注局部信息，限制了它们在通常需要特定于任务的全局信息的多任务设置中的性能。在本文中，离开这些池为基础的努力，我们设计了一种新的方法，称为DOTIN（\underline{D} r \underline{o} ping \underline{T} ask- \underline{I} rrelevant \underline{N}），以减少图形的大小。具体来说，通过引入$K$可学习虚拟节点来表示针对$K$不同图级任务的图嵌入，可以在不显著降低性能的情况下自适应地丢弃多达90%的低注意力原始节点，并采用本文中的注意力模型--Transformer.在D &D数据集上，我们的方法在图级任务（包括图分类和图编辑距离（GED））上实现了几乎相同的精度，将GAT速度提高了约50%，而内存减少了约60%。代码将在https://github.com/Sherrylone/DOTIN上公开发布。
2022-04-28 cs.LG
Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation
TCS Research（TCS研究院）
通过流式多传感器时间序列数据进行的自动化设备健康监测可用于实现基于状态的维护，避免突然的灾难性故障，并确保高运营可用性。我们注意到，大多数复杂的机器都有一个记录良好且易于访问的底层结构，用于捕获子系统或模块之间的相互依赖关系。基于递归神经网络（RNN）或卷积神经网络（CNN）的深度学习模型未能明确地将这种潜在的丰富领域知识源利用到学习过程中。在这项工作中，我们建议捕捉复杂设备的结构图的形式，并使用图神经网络（GNNs）建模多传感器的时间序列数据。使用剩余使用寿命估计作为一个应用任务，我们评估的优势，通过GNNs的公开可用的涡轮风扇发动机基准数据集上的图形结构。我们观察到，所提出的基于GNN的RUL估计模型与文献中的几个强基线（例如基于RNN和CNN的基线）相比毫不逊色。此外，我们观察到，学习网络能够通过简单的注意力机制关注即将发生故障的模块（节点），这可能为可操作的诊断铺平道路。
2020-06-30 cs.LG stat.ML
Rethinking pooling in graph neural networks
Aalto University（阿尔托大学）；Federal Institute of Ceará（塞阿拉联邦研究所）；University of Manchester（曼彻斯特大学）
图池是无数图神经网络（GNN）架构的核心组件。作为传统CNN的继承，大多数方法将图池化作为聚类分配问题，将规则网格中的局部补丁的思想扩展到图。尽管这种设计选择得到了广泛的遵守，但没有任何工作严格评估其对GNN成功的影响。在本文中，我们建立在代表性GNN的基础上，并引入了挑战局部保持表示需求的变体，无论是在补图上使用随机化还是聚类。引人注目的是，我们的实验表明，使用这些变体不会导致性能的任何下降。为了理解这种现象，我们研究了卷积层和后续池化层之间的相互作用。我们表明，卷积发挥主导作用的学习表示。与普遍的看法相反，本地池并不负责GNN在相关和广泛使用的基准上的成功。
2020-10-22 cs.AI cs.CV cs.LG
Online Cross-Layer Knowledge Distillation on Graph Neural Networks with Deep Supervision
College of Software, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
图神经网络（GNNs）因其在处理不规则图数据方面的强大能力而成为学术界和工业界最热门的研究课题之一。然而，大规模数据集对在资源有限的边缘设备中部署GNN提出了巨大的挑战，模型压缩技术引起了相当大的研究关注。现有的模型压缩技术，如知识蒸馏（KD），主要集中在卷积神经网络（CNN）。最近只有有限的尝试以离线方式从GNN中提取知识。由于教师模型的性能不一定会随着GNN中层数的增加而提高，因此选择合适的教师模型将需要大量的努力。为了应对这些挑战，我们提出了一种新的在线知识蒸馏框架称为Alignahead++在本文中。Alignahead++在交替训练过程中将学生层中的结构和特征信息传输到另一个同时训练的学生模型的前一层。同时，为了避免GNNs中的过度平滑问题，Alignahead++通过在每个中间层添加辅助分类器来防止节点特征嵌入的崩溃，从而在Alignahead++中采用深度监督。在PPI、Cora、PubMed和CiteSeer四个数据集上的实验结果表明，在没有预先训练好的教师模型的监督下，我们的协同训练框架可以持续提高学生的成绩，并且其有效性通常可以通过增加学生的数量来提高。
2022-10-25 cs.AI cs.LG
Label-Only Membership Inference Attack against Node-Level Graph Neural Networks
University of Padua（帕多瓦大学）；Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
图神经网络（Graph Neural Network，GNNs）受卷积神经网络（Convolutional Neural Networks，CNN）的启发，将节点邻居的信息和结构信息聚合起来，获得节点的表达性表示，用于节点分类、图分类和链接预测。以前的研究表明，GNN容易受到成员推断攻击（MIA）的攻击，MIA会推断节点是否在GNN的训练数据中，并泄露节点的私人信息，如患者的病史。以前的MIA的实现利用了模型的概率输出，如果GNN只为输入提供预测标签（仅标签），这是不可行的。在本文中，我们提出了一种针对GNN的仅标签MIA，以借助GNN灵活的预测机制进行节点分类，例如，即使当邻居的信息不可用时，也获得一个节点的预测标签。对于大多数数据集和GNN模型，我们的攻击方法实现了大约60%的准确度，精度和曲线下面积（AUC），其中一些具有竞争力，甚至优于在我们的环境和设置下实现的最先进的基于概率的MIA。此外，我们分析了采样方法，模型选择方法和过拟合水平对我们的标签唯一MIA的攻击性能的影响。这两个因素都对攻击性能产生影响。然后，我们考虑的情况下，假设对手的额外数据集（阴影数据集）和额外的信息，目标模型放松。即使在这些情况下，我们的标签只有MIA在大多数情况下实现了更好的攻击性能。最后，我们探讨了可能的防御措施的有效性，包括Dropout，Regularization，Normalizati…
2022-07-27 cs.CR cs.LG
Median activation functions for graph neural networks
University of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
图神经网络（GNN）已被证明在涉及图的许多问题中复制了卷积神经网络（CNN）的优越性能。通过用线性移位不变图滤波器（LSI-GF）代替常规卷积，GNN考虑了图的（不规则）结构，并提供了有意义的网络数据表示。然而，LSI-GF不能编码局部非线性图形信号行为，并且规则激活函数也是如此，其是非线性的但逐点的。为了解决这个问题，我们提出了中值激活函数与支持图邻域，而不是个别节点。GNN架构与可训练的多分辨率版本的激活函数，然后在合成和真实的数据集上进行测试，在那里我们表明，中位数激活函数可以提高GNN的能力，边际增加复杂性。
2019-02-11 cs.LG stat.ML
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）
近年来，已经提出了各种深度学习架构来解决交通领域的复杂挑战（例如空间依赖性，时间依赖性），并取得了令人满意的性能。这些架构由多种深度学习技术组成，以应对交通任务中的各种挑战。传统上，卷积神经网络（CNN）被用来通过将交通网络分解为网格来建模空间依赖性。然而，许多交通网络本质上是图结构的。为了充分利用这些空间信息，将交通网络用数学图形表示更为合适。最近，已经开发了各种新颖的深度学习技术来处理图形数据，称为图形神经网络（GNN）。越来越多的工作将GNN与其他深度学习技术相结合，构建了一个处理复杂交通任务中各种挑战的架构，其中GNN负责提取交通网络中的空间相关性。这些基于图的架构已经实现了最先进的性能。为了全面清晰地了解这一新兴趋势，本调查仔细研究了许多交通应用中各种基于图的深度学习架构。我们首先给出了基于图的交通问题的指导方针，并从各种交通数据集构造图。然后，我们分解这些基于图的架构，讨论它们共享的深度学习技术，阐明每种技术在流量任务中的应用。更重要的是，我们总结了一些常见的流量挑战以及针对每个挑战的相应的基于图的深度学习解决方案。最后，我们提供了基准数据集，开源代码和未来的研究方向在这个快速增长的领域。
2020-10-11 cs.LG eess.SP
Identifying and Correcting Label Noise for Robust GNNs via Influence Contradiction
University of Science and Technology of China（中国科学技术大学）
提出ICGNN方法，利用图扩散矩阵计算影响矛盾分数（ICS）检测噪声标签，并通过邻居预测软策略纠正噪声标签，结合伪标签提升鲁棒性。
2026-06-03 cs.LG
Stability of Aggregation Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
该研究针对聚合图神经网络（Agg-GNNs）的图扰动稳定性展开，推导了其映射算子的稳定性界与稳定条件，揭示了其稳定性仅与CNN第一层滤波器相关的特性，并通过数值实验验证了结论。
2023-08-23 cs.LG
Overcoming Catastrophic Forgetting in Graph Neural Networks
Stevens Institute of Technology（史蒂文斯理工学院）
灾难性遗忘是指神经网络在学习新任务时“忘记”先前学习的知识的趋势。现有方法一直专注于克服卷积神经网络（CNN）上的这个问题，其中像图像这样的输入样本位于网格域中，但在很大程度上忽略了处理非网格数据的图神经网络（GNN）。在本文中，我们提出了一种新的计划，致力于克服灾难性遗忘问题，从而加强持续学习的GNNs。我们方法的核心是一个通用模块，称为拓扑感知权重保持~（TWP），以即插即用的方式适用于任意形式的GNN。与基于CNN的持续学习方法的主流不同，TWP仅依赖于减慢对下游任务重要的参数的更新，TWP明确地探索输入图的局部结构，并试图稳定在拓扑聚合中起关键作用的参数。我们在几个数据集上评估了不同GNN主干上的TWP，并证明了它产生的性能优于最先进的技术水平。代码在\url{https://github.com/hhliu79/TWP}上公开。
2020-12-10 cs.AI cs.LG
Automatic Relation-aware Graph Network Proliferation
University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
由于图神经网络在许多关系型任务中表现出强大的推理能力，图神经结构搜索引起了人们的广泛关注。然而，目前使用的图搜索空间过于强调学习节点特征，而忽略了层次关系信息的挖掘。此外，由于消息传递中的不同机制，图搜索空间比CNN大得多。这阻碍了经典的搜索策略在复杂图搜索空间中的直接应用。我们提出了自动感知图网络增殖（ARGNP），用于通过关系引导的消息传递机制有效地搜索GNN。具体来说，我们首先设计了一个新的双重关系感知图搜索空间，包括节点和关系学习操作。这些操作可以提取层次节点/关系信息，并为图上的消息传递提供各向异性指导。其次，类似于细胞增殖，我们设计了一个网络增殖搜索范式，通过迭代执行网络划分和分化来逐步确定GNN架构。针对四个图学习任务的六个数据集的实验表明，由我们的方法产生的GNN优于当前最先进的手工制作和基于搜索的GNN。代码可在https://github.com/phython96/ARGNP上获得。
2022-05-31 cs.AI cs.CV cs.LG
Graph-Free Knowledge Distillation for Graph Neural Networks
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
知识蒸馏（KD）通过强制学生在训练数据上模仿预先训练的教师的输出来将知识从教师网络转移到学生。然而，由于数据量大、隐私或机密性，在许多情况下，数据样本并不总是可访问的。已经针对卷积神经网络（CNN）做出了许多努力来解决这个问题，卷积神经网络（CNN）的输入位于诸如图像和视频的连续空间内的网格域中，但是在很大程度上忽略了处理离散空间内具有不同拓扑结构的非网格数据的图神经网络（GNN）。它们的输入之间的固有差异使得这些基于CNN的方法不适用于GNN。在本文中，我们提出了第一种专门的方法来从没有图形数据的GNN中提取知识。所提出的无图KD（GFKD）通过用多元伯努利分布对其建模来学习用于知识转移的图拓扑结构。然后，我们引入一个梯度估计来优化这个框架。基本上，梯度w.r.t.图结构是通过只使用GNN前向传播而不使用后向传播来获得的，这意味着GFKD与现代GNN库（如DGL和Geometric）兼容。此外，我们提供了处理图数据或GNN中不同类型的先验知识的策略。大量的实验表明，GFKD实现了最先进的性能，从GNN提取知识没有训练数据。
2021-11-29 cs.AI cs.LG
Binary Graph Neural Networks
Imperial College London（伦敦帝国理工学院）；Université Côte d’Azur - Inria（蔚蓝海岸大学 - 法国国家信息与自动化研究所）；IRT Saint-Exupéry（圣埃克苏佩里技术研究院）
图神经网络（GNNs）已经成为一个强大而灵活的框架，用于对不规则数据进行表示学习。由于它们将经典CNN在网格上的操作推广到任意拓扑结构，因此GNN也带来了许多欧几里德同行的实现挑战。模型大小、内存占用和能耗是许多实际应用中常见的问题。网络二进制化将单个位分配给参数和激活，从而大幅降低内存需求（与单精度浮点数相比，最高可达32倍），并最大限度地发挥现代硬件上快速SIMD指令的优势，实现可测量的加速提升。然而，尽管在经典CNN的二值化方面有大量的工作，但在几何深度学习中，这一领域在很大程度上仍未被探索。在本文中，我们提出和评估不同的策略二值化的图神经网络。我们表明，通过精心设计的模型，并控制训练过程中，二进制图神经网络可以训练在具有挑战性的基准只有适度的成本在准确性。特别是，我们提出了第一个动态图神经网络在汉明空间，能够利用有效的k-NN搜索二进制向量，以加快建设的动态图。我们进一步验证，二进制模型提供了显着的节省嵌入式设备。我们的代码在Github上公开。
2021-03-29 cs.AI cs.CV cs.LG
KerGNNs: Interpretable Graph Neural Networks with Graph Kernels
Yale University（耶鲁大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
图核历来是图分类任务中最广泛使用的技术。然而，这些方法遭受有限的性能，因为手工制作的图的组合功能。近年来，图神经网络（GNNs）由于其优越的性能，已成为下游图相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过的权力的Weisfeiler-Lehman（WL）算法在图同构测试。为了解决现有的图形内核和GNN方法的局限性，在本文中，我们提出了一种新的GNN框架，称为\textit{Kernel Graph Neural Networks}（KerGNNs），它集成了图形内核到GNNs的消息传递过程。受卷积神经网络（CNN）中卷积滤波器的启发，KerGNNs采用可训练的隐藏图作为图滤波器，其与子图相结合以使用图核更新节点嵌入。此外，我们还证明了MPNN可以被视为Kerns的特殊情况。我们将KerGNN应用于多个与图相关的任务，并使用交叉验证与基准进行公平比较。我们表明，与现有的最先进的方法相比，我们的方法具有竞争力的性能，证明了提高GNN表示能力的潜力。我们还表明，KerGNNs中训练的图过滤器可以揭示数据集的局部图结构，与传统的GNN模型相比，这显着提高了模型的可解释性。
2022-02-25 cs.AI cs.LG
Federated GNNs for EEG-Based Stroke Assessment
CERN（欧洲核子研究中心）；University of L'Aquila（拉奎拉大学）；University of Trieste（的里雅斯特大学）；University of Genoa（热那亚大学）；Sapienza University（罗马大学）；Policlinico Universitario Agostino Gemelli（阿戈斯蒂诺·杰梅利大学综合医院）
本研究针对医疗数据隐私问题，提出结合联邦学习与图神经网络的EEG卒中严重程度预测方法，在四家机构数据上取得接近人类专家的预测精度，且具备可解释性。
2024-12-07 cs.AI cs.LG eess.SP
GNN-based Unified Deep Learning
BASIRA Lab, Imperial-X (I-X)（BASIRA实验室，Imperial-X（I-X））；Department of Computing, Imperial College London, London, United Kingdom（计算系，帝国理工学院伦敦分校，伦敦，英国）
针对医学影像领域断裂下的异构模型泛化难题，提出统一学习范式，通过GNN将各模型编码为图表示并控制优化，实现跨架构知识迁移，显著提升对分布偏移的鲁棒性。
2025-08-14 cs.LG
Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability
University of Geneva（日内瓦大学）；Research Institute for Statistics and Information Science（统计与信息科学研究院）
本研究揭示了边特征图神经网络注意力层中大规模激活（MAs）的出现，开发了MAs检测方法，并证明其编码领域信号、可作为归因指标，为连接GNN内部机制与领域知识提供关键见解。
2025-03-07 cs.AI cs.LG
GraphTTA: Test Time Adaptation on Graph Neural Networks
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
近年来，测试时自适应（TTA）由于其处理现实世界中的分布偏移问题的能力而受到越来越多的关注。与针对图像数据的卷积神经网络（CNN）开发的不同，TTA较少用于图神经网络（GNN）。目前仍然缺乏针对具有不规则结构的图的有效算法。针对图神经网络TTA，提出了一种新的测试时自适应策略--图对抗伪组对比（GAPGC），以更好地适应分布外（OOD）测试数据.具体而言，GAPGC在TTA期间采用对比学习变体作为自监督任务，配备对抗性可学习增强器和组伪阳性样本，以增强自监督任务与主任务之间的相关性，从而提高主任务的性能。从信息论的角度证明了GAPGC可以为主任务提取最小的充分信息。在分子支架OOD数据集上的大量实验表明，所提出的方法在GNN上实现了最先进的性能。
2022-08-19 cs.LG
Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets
Tokyo Institute of Technology（东京工业大学）
本文针对深层 GNN 的强彩票假设问题，提出自适应 M-Sup、多阶段折叠与非共享掩码，发现未经训练的循环网络可媲美训练后的前馈网络，并在 OGB 等数据集上实现高稀疏性、竞争力性能与最高 98.7% 的内存节省。
2023-12-06 cs.AI cs.LG stat.ML
Directional Graph Networks
Valence Discovery；University of Cambridge（剑桥大学）；McGill University（麦吉尔大学）；MILA
图神经网络（GNN）中各向异性内核的缺乏严重限制了它们的表达能力，导致了众所周知的问题，如过度平滑。为了克服这一限制，我们提出了第一个全局一致的GNN各向异性内核，允许根据拓扑导出的方向流定义的图卷积。首先，通过在图中定义一个向量场，我们开发了一种方法，通过将特定于节点的消息投影到该字段中来应用方向导数和平滑。然后，我们建议使用拉普拉斯特征向量作为这样的向量场。我们证明了该方法在$n$维网格上推广了CNN，并且在Weisfeiler-Lehman 1-WL测试方面比标准GNNs更具鉴别力。我们在不同的标准基准上评估了我们的方法，在CIFAR 10图形数据集上看到了8%的相对误差减少，在分子ZINC数据集上看到了11%到32%的相对误差减少，在MolPCBA数据集上看到了1.6%的相对精度增加。这项工作的一个重要成果是，它使图网络能够以无监督的方式嵌入方向，从而更好地表示不同物理或生物问题中的各向异性特征。
2021-04-07 cs.CG cs.LG cs.SI
xAI-Drop: Don't Use What You Cannot Explain
University of Trento（特伦托大学）；University of Cambridge（剑桥大学）
本文提出xAI-Drop，一种利用可解释性识别并排除噪声节点的拓扑级丢弃正则化器，提升GNN泛化能力与解释质量，在真实数据集上超越现有方法。
2024-11-08 cs.AI cs.LG
Stability of Algebraic Neural Networks to Small Perturbations
University of Pennsylvania（宾夕法尼亚大学）
代数神经网络（AlgNN）由一系列层组成，每一层都与代数信号模型相关联，信息通过非线性函数在层与层之间进行映射。AlgNN提供了神经网络架构的一般化，其中使用了形式卷积算子，例如传统的神经网络（CNN）和图神经网络（GNN）。本文在代数信号处理的框架下研究了AlgNN的稳定性。我们展示了任何使用卷积的正式概念的架构如何在移位算子的特定选择之外是稳定的，这种稳定性取决于模型中所涉及的代数子集的结构。我们把我们的注意力集中在单生成元代数的情况下。
2020-10-22 cs.LG
RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；National Innovation Institute of Defense Technology, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
针对PINNs收敛慢、边界条件难施加及CNN难以处理不规则网格的问题，提出基于图神经网络和径向基函数有限差分的RBF-MGN框架，在Poisson和波动方程上验证了其泛化性、准确性和效率。
2022-12-06 cs.LG
On Preserving Geometrical Invariance for Superpixel Image Classification using Graph Transformer
Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分校）
研究超像素图像分类，针对卷积神经网络和视觉变换器计算复杂问题，提出基于图变换器的SuperGT框架，能捕捉长距离依赖并保持平移/旋转不变性，在CIFAR-10数据集上表现优于基线。
2026-07-07 cs.LG
Robustness Inspired Graph Backdoor Defense
The Pennsylvania State University（宾夕法尼亚州立大学）
本文针对图神经网络后门攻击提出基于随机边丢弃的检测方法和鲁棒训练策略，可有效识别投毒节点、降低攻击成功率并保持干净准确率。
2025-03-12 cs.CR cs.LG
Do we need equivariant models for molecule generation?
本文探讨在分子生成中非等变CNN结合旋转增强能否替代复杂的等变GNN，通过推导分离预测与等变误差的损失分解，首次分析了生成任务中学习到的等变性。
2025-07-13 cs.LG q-bio.QM
Accurate and Scalable Estimation of Epistemic Uncertainty for Graph Neural Networks
University of Michigan（密歇根大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文针对图神经网络在分布偏移下置信度指标校准不足的问题，提出单模型认知不确定性量化方法G-$\Delta$UQ，扩展随机中心化框架以支持结构化数据，在多种偏移场景下优于现有UQ方法并提升OOD检测性能。
2023-09-20 cs.LG
Multi-Grid Graph Neural Networks with Self-Attention for Computational Mechanics
MINES Paristech - PSL Research University（巴黎 Mines 巴黎理工大学）；CEMEF（中心力学实验室）
针对计算流体动力学（CFD）中有限元方法的精度与效率问题，提出融合自注意力与GNN消息传递的模型、动态网格剪枝技术及基于BERT的自监督训练方法，在圆柱绕流基准等数据集上显著降低RMSE，还引入更大规模数据集。
2024-09-18 cs.CE cs.LG
The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field
University of Science and Technology of China (USTC)（中国科学技术大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Tongji University（同济大学）；National University of Singapore（新加坡国立大学）；Shenzhen Technology University（深圳技术大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对深度图神经网络的过拟合、过平滑问题，提出“一个节点一个感受野”的雪花假说，用梯度和节点级余弦距离调节节点聚合深度，经多基准实验验证可提升深度GNN效果并指导最优深度选择。
2023-08-19 cs.AI cs.LG
Explainable AI for Fraud Detection: An Attention-Based Ensemble of CNNs, GNNs, and A Confidence-Driven Gating Mechanism
University of Tehran（德黑兰大学）；University of Waterloo（滑铁卢大学）；Sejong University（世宗大学）
针对信用卡欺诈检测，提出一种结合CNN、RNN、GNN、LSTM的注意力集成与置信度门控机制，并用SHAP提升可解释性，在三个数据集上取得高准确率与稳健泛化。
2025-02-22 cs.LG q-fin.RM
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute（全球健康药物研发中心）
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体，大多数遵循邻域聚合方案，其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增，但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题，并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为，随着更丰富的信息从浅层传播到深层，GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试，提出了一个新的通用GNN层配方，并在此基础上提出了一个新的GNN变体，称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性，并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Graph Neural Networks as an Enabler of Terahertz-based Flow-guided Nanoscale Localization over Highly Erroneous Raw Data
i2Cat Foundation（i2Cat基金会）；NEC Laboratories Europe（欧洲NEC实验室）；ICREA（加泰罗尼亚研究与高级研究所）；Polytechnic University of Catalonia（加泰罗尼亚理工大学）；University of Antwerp（安特卫普大学）
本文针对纳米器件原始数据高度错误问题，提出解析模型刻画能量与通信影响，并引入图神经网络实现血流内流引导纳米级定位，以提升精度和覆盖范围。
2024-07-05 cs.ET cs.LG cs.NI
HIEGNet: A Heterogenous Graph Neural Network Including the Immune Environment in Glomeruli Classification
LIX, École Polytechnique, IP Paris, France（巴黎理工学院LIX研究所）；ICube, Université de Strasbourg, France（斯特拉斯堡大学ICube研究所）；Institute of Pathology, Hannover Medical School, Germany（汉诺威医学院病理研究所）；Fachhochschule Wedel, Germany（韦德尔应用科学大学）
本文提出HIEGNet，一种整合肾小球及周围免疫细胞的异构图神经网络，通过计算机视觉流程构建异构图，在肾移植全切片图像上实现优于基线模型的肾小球分类与患者间泛化能力。
2025-06-03 cs.AI cs.CV cs.LG
GNN-XAR: A Graph Neural Network for Explainable Activity Recognition in Smart Homes
University of Milan（米兰大学）
本文提出了一种专为智能家庭活动识别设计的可解释图神经网络GNN-XAR，通过提高解释性和识别率展现其有效性。
2026-01-05 cs.AI cs.LG
Is an Image Also Worth 16x16=256 Superpixels? A Framework for Attentional Image Classification
UFRGS（联邦大学里约格兰德杜斯鲁斯）；Institute of Informatics（信息学院）；Federal University of Rio Grande do Sul（里约格兰德杜斯鲁斯联邦大学）；Division of Informatics（信息系）；School of Health Sciences（健康科学学院）；Imaging and Data Science（成像与数据科学）；Faculty of Biology, Medicine and Health（生物医学与健康学院）；University of Manchester（曼彻斯特大学）；Vaughan House, Portsmouth St（波特兰街瓦尔赫恩大楼）
提出超像素变换器（SPT）框架，统一超像素图像分类与视觉变换器，通过多维正弦余弦位置编码和增强的补丁数据结构，在多个数据集上优于超像素图神经网络方法，与视觉变换器竞争。
2026-05-26 cs.CV cs.LG
HWL-HIN: A Hypergraph-Level Hypergraph Isomorphism Network as Powerful as the Hypergraph Weisfeiler-Lehman Test with Application to Higher-Order Network Robustness
本文提出了一种超图级别的超图同构网络，其表达能力与超图Weisfeiler-Lehman测试相当，用于预测更高阶网络的鲁棒性。
2025-12-26 cs.LG
Lorentzian Residual Neural Networks
Yale University（耶鲁大学）
针对现有双曲残差网络复杂度高、数值不稳定等问题，提出基于加权洛伦兹质心的LResNet，可高效整合残差连接并保留层级表征能力，在图和视觉任务上性能优于现有欧氏及双曲方法。
2025-01-12 cs.LG
Multi-Graph Transformer for Free-Hand Sketch Recognition
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
学习有意义的表示手绘草图仍然是一个具有挑战性的任务，给定的信号稀疏和高层次的抽象草图。现有技术集中于利用卷积神经网络（CNN）的草图的静态性质或利用递归神经网络（RNN）的时间顺序属性。在这项工作中，我们提出了一种新的表示草图多个稀疏连接的图形。我们设计了一种新的图神经网络（GNN），多图Transformer（MGT），学习表示的草图从多个图，同时捕捉全球和当地的几何笔画结构，以及时间信息。我们报告广泛的数值实验上的草图识别任务，以证明所提出的方法的性能。特别是，MGT应用于Google QuickDraw的414k草图：（i）与基于CNN的性能上限（72.80% vs. 74.22%）实现了较小的识别差距，（ii）显著优于所有基于RNN的模型。据我们所知，这是第一个提出将草图表示为图形并应用GNN进行草图识别的工作。代码和训练模型可在https://github.com/PengBoXiangShang/multigraph_transformer上获得。
2021-03-25 cs.CV cs.LG
Disentangled Graph Representation Based on Substructure-Aware Graph Optimal Matching Kernel Convolutional Networks
针对现有图表示方法结构刻画粗糙的问题，提出GOMKCN，以子图为结构因子，用GOMK卷积算子度量子图与可学习滤波器的相似性，实现解耦表示，提升图模式挖掘的准确性与可解释性。
2025-04-23 cs.LG
Satellite-Net: Automatic Extraction of Land Cover Indicators from Satellite Imagery by Deep Learning
针对卫星影像土地覆盖分类需求，提出定制化卷积神经网络模型Satellite-Net，在测试集上准确率达98%，为土地覆盖指标自动提取提供了可行的深度学习方案。
2019-07-22 cs.CV cs.LG eess.IV
Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings
University of Amsterdam（阿姆斯特丹大学）
提出ArtSAGENet，整合GNN与CNN，联合学习视觉与语义艺术表示，在多项美术分析任务中超越CNN基线，且计算效率高，捕获艺术家与作品关联，展现语义与视觉整合的潜力。
2025-05-24 cs.CV cs.LG
