GFairHint: Improving Individual Fairness for Graph Neural Networks via Fairness Hint
University of Maryland(马里兰大学);College of Information Studies, University of Maryland(马里兰大学信息研究学院)
针对现有图神经网络个体公平性方法无法同时兼顾性能平衡、多相似性适配、模型通用性和计算效率的问题,提出GFairHint方法,通过辅助链接预测任务生成公平性提示,在多数据集多模型上实现公平性最优且效用相当、成本更低。
2025-01-13 cs.CY cs.LG cs.SI
Graph Learning Should Move Beyond Restrictive Views of Spectral and Message-Passing GNNs
RWTH Aachen University(亚琛工业大学);Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Univ. de Montréal(蒙特利尔大学);Mila(Mila人工智能研究所);Technion – Israel Institute of Technology(技术学院–以色列理工学院)
本文澄清了谱图神经网络与消息传递图神经网络的异同,提出基于特征基对称性的谱GNN精确定义,并倡导统一理论框架以推动图学习发展。
2026-06-16 cs.LG
Inference-friendly Graph Compression for Graph Neural Networks
针对GNN大规模推理成本高的问题,本文提出IFGC框架,通过推理等价关系构造可直接使用的压缩图,并给出SPGC、$(\alpha,r)$-压缩和锚定压缩三类方案及保证,实验验证其高效有效。
2025-05-09 cs.LG
Multi-objective Explanations of GNN Predictions
BUPT(北京邮电大学);Lehigh University(利哈伊大学)
图神经网络(GNN)在各种高风险预测任务中取得了最先进的性能,但具有不规则结构的图上的多层聚合使GNN成为一个不太可解释的模型。先前的方法使用更简单的子图来模拟完整的模型,或者使用反事实来识别预测的原因。这两个家庭的方法针对两个不同的目标,“可模拟性”和“反事实相关性”,但目前还不清楚如何共同影响人类的理解的解释。我们设计了一个用户研究来调查这种联合效应,并使用研究结果来设计一个多目标优化(MOO)算法,以找到在可模拟性和反事实方面平衡良好的帕累托最优解释。由于目标模型可以是任何GNN变体,并且由于隐私问题可能无法访问,因此我们使用零阶信息设计了一种搜索算法,而无需访问目标模型的架构和参数。从四个应用程序的九个图形的定量实验表明,帕累托有效的解释占主导地位的单目标基线,使用一阶连续优化或离散组合搜索。进一步评估解释的稳健性和敏感性,以显示其揭示令人信服的原因的能力,同时对可能的混杂因素保持谨慎。不同的占主导地位的反事实可以证明算法追索权的可行性,这可以潜在地促进人类参与使用GNN的决策的算法公平性。
2021-11-29 cs.LG
Towards a Unified Framework for Fair and Stable Graph Representation Learning
Harvard University(哈佛大学)
随着图神经网络(GNN)输出的表示越来越多地用于现实世界的应用,确保这些表示是公平和稳定的变得非常重要。在这项工作中,我们建立了反事实公平性和稳定性之间的关键联系,并利用它提出了一个新的框架,NIFTY(uNIfying Fairness and stabilITY),它可以与任何GNN一起使用,以学习公平和稳定的表示。我们引入了一个新的目标函数,同时考虑了公平性和稳定性,并使用Lipschitz常数开发了一个逐层权重归一化,以增强GNN中的神经消息传递。在这样做的过程中,我们在目标函数和GNN架构中都加强了公平性和稳定性。此外,我们从理论上表明,我们的逐层权重归一化促进了所得到的表示中的反事实公平性和稳定性。我们介绍了三个新的图形数据集,包括刑事司法和金融贷款领域的高风险决策。对上述数据集的广泛实验证明了我们框架的有效性。
2021-06-16 cs.LG
Geometry-Induced Diffusion on Graphs: A Learnable Weighted Laplacian for Spectral GNNs
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL));École Normale Supérieure – PSL(巴黎高等师范学院–PSL)
本文提出了一种简单的谱GNN架构mu-ChebNet,通过学习节点级权重函数mu来修改图拉普拉斯算子,从而改变传播几何而不改变图拓扑,从而促进信息传播的优选路径,帮助长距离信号避免高收缩瓶颈,无需重复层堆叠。
2026-05-21 cs.LG
Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs
Tsinghua University(清华大学);Simon Fraser University(西蒙弗雷泽大学)
图神经网络(GNN)是一种新兴的基于图的机器学习模型。虽然理论上已经证明足够深的GNN能够完全保留图结构,但实际上大多数现有的GNN模型都是浅的,基本上是以特征为中心的。我们的经验和分析表明,现有的浅GNN不能很好地保持图形结构。为了克服这一根本挑战,我们提出了Eigen-GNN,这是一个简单而有效的通用插件模块,可以提高GNN保留图结构的能力。具体来说,我们通过将GNNs视为一种降维并扩展初始降维基,将图结构的特征空间与GNNs集成在一起。在不需要增加深度的情况下,Eigen-GNN在处理特征驱动和结构驱动的任务时具有更大的灵活性,因为初始基包含节点特征和图结构。我们提出了广泛的实验结果,以证明本征GNN的任务,包括节点分类,链接预测,图同构测试的有效性。
2020-06-08 cs.LG stat.ML
Hybrid variable spiking graph neural networks for energy-efficient scientific machine learning
Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence (YScAI)(亚迪人工智能学院);Department of Applied Mechanics(应用力学系);Department of Mechanical Engineering(机械工程系)
针对图神经网络规模扩大后能耗过高限制边缘应用的问题,提出融合变量脉冲神经元的混合变量脉冲图神经网络,在材料力学性能回归任务中实现性能与能效的兼顾。
2024-12-12 cs.LG
Communication-Free Distributed GNN Training with Vertex Cut
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出CoFree-GNN框架,采用顶点割划分实现无通信分布式GNN训练,并通过重加权机制和改进DropEdge技术保持精度并进一步加速,实验表明训练速度最高可达现有方法的10倍。
2023-08-06 cs.LG
Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via Nonlinear Neighborhood Aggregators
Anhui University(安徽大学)
图神经网络(GNNs)在许多图学习任务中取得了巨大的成功。为现有GNN提供动力的主要方面是多层网络架构,以学习特定学习任务的非线性图表示。GNN中的核心操作是消息传播,其中每个节点通过聚合其邻居的表示来更新其表示。现有的GNN在消息传播中主要采用线性邻域聚合(均值,和)或最大聚合器。(1)对于线性聚合器,由于更深的GNN通常遭受过平滑问题,GNN的整体非线性和网络容量通常是有限的。(2)对于最大聚集器,它通常不能知道的细节信息的节点表示的邻域内。为了克服这些问题,我们重新思考GNN中的消息传播机制,并旨在开发用于GNN中邻域信息聚合的通用非线性聚合器。我们提出的非线性聚合器的一个主要方面是,它们提供了最大和平均/总和聚合之间的最佳平衡聚合器。因此,我们的聚合器可以继承(i)增加网络容量的高非线性和(ii)在GNN的消息传播中保留表示的详细信息的细节敏感性。在多个数据集上的实验表明了所提出的非线性聚集器的有效性。
2022-02-18 cs.CV cs.LG
Graphon Pooling in Graph Neural Networks
Univ. of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNNs)已被有效地用于不同的应用中,包括处理由图建模的不规则结构上的信号。依靠使用平移不变图滤波器,GNN将卷积操作扩展到图形。然而,池化和采样的操作仍然没有明确定义,并且文献中提出的方法要么以不保留其谱特性的方式修改图结构,要么需要定义用于选择保留哪些节点的策略。在这项工作中,我们提出了一种新的策略,用于使用图子对GNN进行池化和采样,该策略保留了图的谱特性。为此,我们将GNN中的图形层视为收敛到图子的图形序列的元素。通过这种方式,当将信号从一个层映射到另一个层时,我们在节点标记中没有模糊性,并且频谱表示在整个层中是一致的。我们在合成和真实世界的数值实验中评估了这一策略,在实验中我们表明,图子池化GNN不太容易过拟合,并改进了其他池化技术,特别是当层之间的降维率很大时。
2020-03-03 cs.LG stat.ML
A Signed Graph Approach to Understanding and Mitigating Oversmoothing in GNNs
The Chinese University of Hong Kong(香港中文大学);MIT IDSS & LIDS(麻省理工学院IDSS与LIDS);MIT CSAIL(麻省理工学院CSAIL)
本文基于有符号图框架提出统一理论视角,揭示现有缓解GNN过平滑技术的机制,并提出即插即用的结构平衡传播(SBP)方法,通过分配有符号边增强结构平衡,在多达300层深度下仍能持续提升分类精度并缓解过平滑。
2025-05-29 cs.LG
From Features to Structure: Task-Aware Graph Construction for Relational and Tabular Learning with GNNs
University of Antwerp(安特卫普大学)
本文提出auGraph框架,通过任务感知地将表格或关系数据中的属性提升为节点来增强图结构,从而在保留原始模式的同时注入任务相关信号,并在关系和表格预测任务上优于基于模式与启发式的图构建方法。
2025-06-02 cs.LG
FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning
Alibaba Group(阿里巴巴集团)
联邦学习(FL)的惊人发展使计算机视觉和自然语言处理领域的各种任务受益匪浅,而TFF和FATE等现有框架使其在现实世界的应用中易于部署。然而,尽管图数据普遍存在,但联邦图学习(FGL)由于其独特的特征和要求而尚未得到很好的支持。FGL相关框架的缺乏增加了实现可重复研究和在现实世界应用中部署的努力。基于这种强烈的需求,本文首先讨论了创建一个易于使用的FGL包所面临的挑战,并相应地给出了我们实现的FGL包FederatedScope-GNN(FS-G),它提供了(1)模块化和表达FGL算法的统一视图;(2)全面的DataZoo和ModelZoo,以实现开箱即用的FGL功能;(3)高效的模型自动调整组件;以及(4)现成的隐私攻击和防御能力。我们通过大量的实验验证了FS-G的有效性,同时为社区获得了许多关于FGL的有价值的见解。此外,我们采用FS-G服务于FGL应用程序在现实世界的电子商务场景,其中所取得的改进表明巨大的潜在商业利益。我们在https://github.com/alibaba/FederatedScope上公开发布FS-G,作为FederatedScope的子模块,以促进FGL的研究,并实现广泛的应用,否则由于缺乏专用软件包而无法实现。
2022-08-01 cs.LG
Single-Edge Node Injection Threats to GNN-Based Security Monitoring in Industrial Graph Systems
本文提出单边图注入攻击(SEGIA),通过单边连接注入假冒节点,提升攻击成功率25%以上,揭示工业GNN部署中的系统级安全风险。
2026-02-01 cs.LG
FoSR: First-order spectral rewiring for addressing oversquashing in GNNs
UCLA(加州大学洛杉矶分校);MPI MiS(马克斯·普朗克数学研究所)
图神经网络(GNN)能够通过沿着图的边缘传递消息来利用图数据的结构。虽然这允许GNN根据图结构学习特征,但对于某些图拓扑,它会导致低效的信息传播和称为过度挤压的问题。最近,这与图的曲率和谱隙有关。另一方面,在消息传递图中添加边会导致节点表示越来越相似,并导致过度平滑的问题。我们提出了一个计算效率高的算法,防止oversquashing系统添加边的基础上频谱扩展的图形。我们将其与关系架构相结合,这使得GNN保留了原始的图结构,并可证明地防止了过度平滑。我们发现实验中,我们的算法优于现有的图重新布线方法在几个图分类任务。
2023-02-16 cs.LG stat.ML
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Deep Graph Neural Networks with Shallow Subgraph Samplers
虽然图神经网络(GNN)是学习图表示的强大模型,但大多数最先进的模型在两到三层之外没有显着的准确性增益。深度GNN从根本上需要解决:1)。过度平滑导致的表现力挑战,以及2)。由于邻域爆炸的计算挑战。我们提出了一个简单的“深GNN,浅采样器”的设计原则,以提高GNN的准确性和效率-生成目标节点的表示,我们使用深GNN仅在浅,局部化的子图中传递消息。适当采样的子图可以排除不相关甚至噪声节点,并且仍然保留关键的邻居特征和图结构。然后,深度GNN平滑信息丰富的局部信号以增强特征学习,而不是将全局图信号过度平滑为“白噪声”。我们从理论上证明了为什么深度GNN与浅采样器的组合会产生最佳的学习性能。然后,我们提出了各种采样算法和神经架构扩展,以实现良好的实证结果。在最大的公共图数据集ogbn-papers 100 M上,我们实现了最先进的精度,硬件成本降低了一个数量级。
2022-03-23 cs.LG
Locality-Aware Graph-Rewiring in GNNs
University of Oxford(牛津大学);Google Research(谷歌研究院);Stanford University(斯坦福大学)
本文针对GNN中的过度挤压问题,提出一种局部性感知的图重连框架,在减少过度挤压的同时兼顾图局部性与稀疏性,并在多个基准上验证其优于现有方法。
2024-05-04 cs.LG
Demystifying Distributed Training of Graph Neural Networks for Link Prediction
Department of Computer Science, Texas State University(计算机科学系,德克萨斯州立大学)
本文揭示了图神经网络分布式链接预测训练中的性能下降问题,提出SpLPG方法利用图稀疏化在基本保持预测准确率的同时将通信开销降低约80%。
2025-06-25 cs.LG
Breaking Symmetry Bottlenecks in GNN Readouts
Department of Computing, Imperial College London, UK(伦敦帝国学院计算机系);Department of Mathematics, Imperial College London, UK(伦敦帝国学院数学系);London School of Geometry(几何与数论研究所)
本文提出基于投影器的不变读出方法,解决 GNN 读出阶段的对称性瓶颈问题,通过保留非平凡对称性信息提升模型表达能力。
2026-02-05 cs.LG
Spectral Graph Sparsification Preserves Representation Geometry in Graph Neural Networks
Department of Computer Science, University of California Santa Barbara(加州大学圣芭芭拉分校计算机科学系)
本文研究了图神经网络中谱图稀疏化是否保持嵌入表示的几何结构,证明了稀疏化对多项式滤波器GNN的扰动,并通过实验验证了稀疏化在保持表示几何方面的有效性。
2026-11-10 cs.LG cs.SI math.SP
QT-Routenet: Improved GNN generalization to larger 5G networks by fine-tuning predictions from queueing theory
Federal University of São Paulo(圣保罗联邦大学)
为了推动机器学习在5G中的应用,国际电信联盟(ITU)于2021年提出了第二版ITU AI/ML in 5G挑战赛,来自82个国家的1600多名参与者参加了该挑战赛。这项工作详细介绍了第二名的整体解决方案,这也是2021年图神经网络挑战赛的获奖解决方案。我们在将模型应用于5G网络时解决了泛化问题,该网络可能具有比训练中观察到的更长的路径和更大的链路容量。为了实现这一目标,我们建议首先提取与排队论(QT)相关的鲁棒特征,然后使用修改后的Routenet图神经网络(GNN)模型对分析基线预测进行微调。所提出的解决方案比简单地使用Routenet更好地推广,并设法将分析基线的10.42平均绝对百分比误差降低到1.45(集成为1.27)。这表明,对已知鲁棒的近似模型进行小的更改可以是在不影响泛化的情况下提高准确性的有效方法。
2022-07-13 cs.LG cs.NI
GRAPHGINI: Fostering Individual and Group Fairness in Graph Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里)
GraphGini通过引入基尼系数提升图神经网络的个体和群体公平性,实验表明其在保持效用的同时显著改进了公平性。
2026-01-08 cs.LG cs.SI
Graph Coarsening via Convolution Matching for Scalable Graph Neural Network Training
University of California, Santa Cruz(加州大学圣克鲁兹分校);Amazon(亚马逊);University of Michigan(密歇根大学)
提出CONVMATCH及可扩展变体A-CONVMATCH,通过卷积匹配进行图粗化,在显著缩小图规模的同时保持GNN预测性能,在节点分类和链接预测任务上均优于基线。
2023-12-24 cs.LG
Graph Neural Backdoor: Fundamentals, Methodologies, Applications, and Future Directions
本文提出首个 GNN 后门专题综述,系统梳理攻击与防御方法、应用场景及未来研究方向,以揭示图后门原理并促进安全防御。
2025-01-07 cs.AI cs.CR cs.LG
DyExplainer: Explainable Dynamic Graph Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学);NEC Labs America(NEC美国实验室)
提出DyExplainer方法,通过稀疏注意力和对比学习实时解释动态图神经网络,在保持解释属性的同时提升链路预测精度。
2023-10-25 cs.LG
A Spectral Theory of Normalized Corrected GNN Propagation
Center for Discrete Mathematics, Fuzhou University(福州大学离散数学中心);School of Computer and Information Science, Fujian Agriculture and Forestry University(福建农林大学计算机与信息学院);Department of Strategic & Advanced Interdisciplinary Research, Pengcheng Laboratory (PCL), Shenzhen, Guangdong, China(鹏城实验室战略与交叉前沿研究部)
提出归一化校正GNN传播的谱理论,证明在密集多对数条件下经过O(log n)层传播后能精确恢复节点类别,并给出多类部分恢复定理。
2026-06-23 cs.LG
Learning Stable Graph Neural Networks via Spectral Regularization
University of Cambridge(剑桥大学);Delft University of Technology(代尔夫特理工大学)
图神经网络(GNNs)的稳定性表征了GNNs如何对图扰动做出反应,并为噪声场景中的架构性能提供保证。本文提出了一种自正则化图神经网络(SR-GNN)解决方案,通过正则化图谱域中的滤波器频率响应来提高结构稳定性。SR-GNN不仅将图形信号视为输入,还将底层图形的特征向量视为输入,其中处理信号以生成任务相关特征和特征向量来表征每层的频率响应。我们通过最小化代价函数和正则化最大频率响应接近1来训练SR-GNN。前者提高了体系结构的性能,而后者加强了扰动稳定性,并通过多层传播减少了信息丢失。我们进一步证明了SR-GNN保持了置换等方差,这允许探索图信号的内部对称性,并在类似的图结构上表现出迁移。源定位和电影推荐的数值结果证实了我们的研究结果,并显示SR-GNN在未扰动图上产生与香草GNN相当的性能,但大大提高了稳定性。
2022-11-13 cs.LG eess.SP
GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Adobe(奥多比);Harvard University(哈佛大学)
图去学习涉及从训练的图神经网络(GNN)模型中删除节点、节点标签和关系等图形元素,对于数据元素可能变得不相关、不准确或隐私敏感的现实应用至关重要。然而,现有的方法图unlearning要么恶化模型的权重共享所有节点或未能有效地删除边缘,由于他们的强烈依赖于局部图邻域。为了解决这些限制,我们引入了GNNDelete,这是一种新的模型不可知的逐层操作符,它优化了两个关键属性,即边缘一致性和邻域影响,用于图形学习。边缘一致性确保从模型权重和相邻表示中删除删除元素的影响,而邻域影响确保删除后保留剩余的模型知识。GNNDelete更新表示以从模型中删除节点和边,同时保留其余的学习知识。我们在七个真实世界的图上进行了实验,结果表明GNNDelete在边缘、节点和节点特征删除任务上的性能比现有方法高出38.8%(AUC),在区分删除的边缘和未删除的边缘上的性能比现有方法高出32.2%。此外,GNNDelete是高效的,比在WordNet18上从头开始重新训练GNN节省了12.3倍的时间和9.3倍的空间。
2023-02-26 cs.AI cs.LG
Graph Condensation for Open-World Graph Learning
The University of Queensland(昆士兰大学);Peking University(北京大学);Data 61, CSIRO(联邦科学与工业研究组织数据61分部);The Chinese University of Hong Kong(香港中文大学)
针对现有图凝聚难以适应动态图分布的问题,本文提出 OpenGC 框架,利用结构感知分布偏移和时序不变性凝聚提升泛化能力,并在真实与合成演化图上验证其优于 SOTA 方法。
2024-06-12 cs.LG
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Beijing University of Posts and Telecommunications(北京邮电大学)
尽管图神经网络(GNN)已经取得了显著的准确性,但其结果是否值得信赖仍然是未知的。以前的研究表明,许多现代神经网络对预测过于自信,然而,令人惊讶的是,我们发现GNN主要是在相反的方向,即,GNN信心不足。因此,非常需要GNN的置信度校准。在本文中,我们提出了一种新的可信GNN模型,通过设计一个拓扑感知的事后校准功能。具体来说,我们首先验证了图中的置信分布具有同质性,这一发现启发我们设计了一个校准GNN模型(CaGCN)来学习校准函数。CaGCN能够获得从GNN的logits到每个节点的校准置信度的唯一转换,同时,这种转换能够保持类之间的顺序,满足精度保持属性。此外,我们将校准GNN应用于自训练框架,表明可以使用校准的置信度获得更值得信赖的伪标签,并进一步提高性能。大量的实验证明了我们提出的模型在校准和精度方面的有效性。
2022-01-04 cs.AI cs.LG
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学)
图神经网络是关系数据表示学习的有效模型。然而,标准GNN的表达能力有限,因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍,GNN已经通过随机节点初始化(RNI)进行了增强,其中的想法是用随机初始节点特征训练和运行模型。在这项工作中,我们用RNI分析了GNNs的表达能力,并证明了这些模型是通用的,这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立,并且在预期中保持了GNN的不变性。然后,我们根据精心构建的数据集,实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Domain-adaptive Message Passing Graph Neural Network
Hainan University(海南大学);Griffith University(格里菲斯大学);The Hong Kong Polytechnic University(香港理工大学)
针对跨网络节点分类问题,提出领域自适应消息传递图神经网络DM-GNN,通过双特征提取器、标签传播分类器和条件对抗领域自适应学习可跨网络转移的节点表示,实验证明其优于十一种最先进方法。
2023-10-17 cs.LG
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学 信息科学与技术学院)
针对现有GNNs耦合学习属性与结构信息导致嵌入折中问题,提出DGNN框架,通过解耦属性与图空间嵌入、结合拓扑与语义图并促进结构一致性,在节点分类任务中取得更优性能。
2024-01-28 cs.LG
Adversarial Attack on Hierarchical Graph Pooling Neural Networks
University of Pittsburgh(匹兹堡大学);Intel Labs(英特尔实验室)
近年来,图神经网络(graph neural networks,GNNs)的出现和发展,在节点分类、图分类等领域显示出强大的图表示学习能力。这些模型的鲁棒性研究也开始引起机器学习领域的关注。然而,该领域的大部分现有工作都集中在节点级任务的GNN上,而很少有工作研究GNN对图分类任务的鲁棒性。在本文中,我们的目的是探讨层次图池(HGP)神经网络的脆弱性,这是先进的GNN,在预测精度方面的图分类表现非常好。我们提出了一个对抗攻击的框架,这项任务。具体来说,我们设计了一个代理模型,它由卷积和池化运算符组成,用于生成对抗样本,以欺骗基于GNN的分层图分类模型。我们将池化算子保留的节点设置为我们的攻击目标,然后稍微扰动攻击目标,以欺骗分层GNN中的池化算子,使其选择错误的节点进行保留。我们证明了由我们的代理模型从多个数据集生成的对抗样本具有足够的可转移性来攻击当前最先进的图分类模型。此外,我们对目标模型进行了鲁棒训练,并证明了重新训练的图分类模型能够更好地抵御来自敌对样本的攻击。据我们所知,这是针对基于GNN的分层图分类模型的对抗攻击的第一项工作。
2020-05-23 cs.CR cs.LG stat.ML
Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm
Texas A&M University(得克萨斯A&M大学)
本文提出边感知的 NC-1-WL 及其神经版本 NC-GNN,在保持消息传递可扩展性的同时,使表达能力严格介于 1-WL 与 3-WL 之间,并在基准实验中验证其效果与效率。
2024-01-23 cs.AI cs.LG
The expressive power of pooling in Graph Neural Networks
UiT the Arctic University of Norway(挪威北极大学);NORCE, Norwegian Research Centre AS(挪威研究中心NORCE AS);University of Siena(锡耶纳大学)
本研究为图神经网络中的池化算子提出保留消息传递层表达能力的充分条件,作为选择或设计池化算子的理论标准,并实证验证其对图同构测试的影响。
2023-10-12 cs.LG
GNN-Suite: a Graph Neural Network Benchmarking Framework for Biomedical Informatics
School of Informatics University of Edinburgh(信息学院爱丁堡大学);School of Biological Sciences University of Edinburgh(生物科学学院爱丁堡大学)
该研究提出面向计算生物学的GNN基准测试框架GNN-Suite,通过标准化流程对比多种GNN模型在癌症驱动基因识别任务上的性能,验证了网络学习方法的优势,可推动领域可重复研究与基准标准完善。
2025-05-15 cs.AI cs.LG
A Polynomial Architecture-Attribution Co-Design Framework for Exact Aumann-Shapley Attribution in GNNs
Institute of Artificial Intelligence Innovation and Industry, Fudan University(复旦大学人工智能创新与产业研究院);Shanghai Academy of AI for Science(上海人工智能科学研究院);Human Phenome Institute, Fudan University(复旦大学人类表型组研究院);School of Information and Communication Engineering, Communication University of China(中国传媒大学信息与通信工程学院)
研究图神经网络的特征级和节点级解释,提出APEX框架,通过PolyGIN使归因积分可精确计算,实验表明该框架能保持预测性能,提高归因保真度并减少评估次数。
2026-07-24 cs.LG
Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
Australian National University(澳大利亚国立大学);Data61, CSIRO(Data61,澳大利亚联邦科学与工业研究组织);University of New South Wales(新南威尔士大学)
针对GNN到MLP蒸馏中忽略图几何导致谱欠拟合与过拟合的问题,提出基于Ollivier-Ricci曲率引导的G^2MLP框架,在训练时对齐预测与表示,提升无图推理性能。
2026-11-10 cs.LG
Measuring and Sampling: A Metric-guided Subgraph Learning Framework for Graph Neural Network
University of California, Davis(加州大学戴维斯分校);Florida State University(佛罗里达州立大学)
图神经网络(GNN)在学习既保留节点属性又保留图结构信息的强大节点表示方面表现出令人信服的性能。然而,许多GNN在设计有更深的网络结构或处理大型图时会遇到有效性和效率方面的问题。已经提出了几种采样算法来改进和加速GNN的训练,但它们忽略了理解GNN性能增益的来源。对图数据内部信息的度量可以帮助采样算法在去除冗余信息甚至噪声的同时保留高价值信息。在本文中,我们提出了一个度量引导(MeGuide)子图学习框架的GNN。MeGuide采用两个新的指标:特征平滑度和连接失败距离来指导子图采样和基于小批量的训练。特征平滑度用于分析节点的特征以保留最有价值的信息,而连接失效距离用于度量结构信息以控制子图的大小。我们证明了MeGuide在多个数据集上训练各种GNN的有效性和效率。
2021-12-30 cs.AI cs.LG
VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization
University of Maryland(马里兰大学)
大多数最先进的图神经网络(GNN)可以被定义为一种图卷积的形式,它可以通过直接邻居之间或更远的消息传递来实现。为了将这样的GNN扩展到大型图,提出了各种邻居、层或子图采样技术,以通过仅考虑在小批量中传递到节点的消息的小子集来缓解“邻居爆炸”问题。然而,基于采样的方法很难应用于GNN,这些GNN每层都利用多跳或全局上下文,对于不同的任务和数据集表现出不稳定的性能,并且不能加速模型推理。我们提出了一种原则性和根本不同的方法,VQ-GNN,这是一种通用框架,可以使用矢量量化(VQ)来扩展任何基于卷积的GNN,而不会影响性能。与基于采样的技术相比,我们的方法可以通过学习和更新全局节点表示的少量量化参考向量,在每个GNN层内使用VQ,有效地保留传递给小批量节点的所有消息。我们的框架避免了使用量化表示与低秩版本的图卷积矩阵相结合的GNN的“邻居爆炸”问题。我们表明,这样一个紧凑的低秩版本的巨大的卷积矩阵是足够的理论和实验。在公司VQ,我们设计了一个新的近似的消息传递算法和一个非平凡的反向传播规则,我们的框架。在不同类型的GNN骨干上的实验证明了我们的框架在大型图节点分类和链接预测基准测试上的可扩展性和竞争性能。
2021-10-27 cs.LG stat.ML
Data Augmentation for Graph Neural Networks
Snap Inc.(Snap公司)
数据增强已被广泛用于提高机器学习模型的泛化能力。然而,相对较少的工作研究数据增强的图形。这在很大程度上是由于图的复杂的非欧几里德结构,这限制了可能的操作。在视觉和语言中常用的增广运算在图形中没有类似的东西。我们的工作研究了在改进半监督节点分类的背景下图神经网络(GNNs)的图数据增强。我们讨论了实际和理论的动机,考虑和战略图数据增强。我们的工作表明,神经边缘预测器可以有效地编码类同构结构,以促进给定图结构中的类内边缘和降级类间边缘,我们的主要贡献是引入了GAug图数据增强框架,该框架利用这些见解通过边缘预测来提高基于GNN的节点分类的性能。在多个基准测试上进行的大量实验表明,通过GAug进行增强可以提高GNN架构和数据集的性能。
2020-12-02 cs.LG stat.ML
Unveiling the Impact of Local Homophily on GNN Fairness: In-Depth Analysis and New Benchmarks
University of Michigan(密歇根大学)
本研究将局部同质性下的公平预测挑战形式化为分布外问题,通过理论与实证分析揭示了两类加剧GNN不公平性的因素,同时推出三个新基准与半合成图生成器,填补了局部同质性与GNN公平性关联研究的空白。
2024-10-05 cs.CY cs.LG cs.SI
Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
University of Vienna(维也纳大学)
本文从理论上研究图神经网络中彩票 ticket 假设,提出并证明强表达力彩票 ticket 假设,表明稀疏初始化 GNN 保持表达力可加速收敛并提升泛化,为 LTH 与 GNN 研究提供新理论基础。
2025-06-04 cs.LG
Explainable Graph Neural Networks Under Fire
Leiden University(莱顿大学);Technical University of Munich(慕尼黑工业大学)
本文揭示事后GNN解释方法易受对抗扰动影响,并提出首个基于优化的白盒攻击方法GXAttack,呼吁对GNN解释器进行对抗性鲁棒性评估。
2024-10-18 cs.AI cs.LG
Shapley-Value-Based Graph Sparsification for GNN Inference
Department of Intelligent Systems Engineering Indiana University Bloomington Bloomington Indiana USA;Department of Computer Science \& Engineering Texas A\&M University College Station Texas USA;Indiana University Bloomington;Texas A\&M University
针对 GNN 推理中的图稀疏化问题,提出利用 Shapley 值识别边的正负贡献并剪枝误导性连接,从而在保持预测性能的同时降低复杂度并提升可解释性。
2025-07-28 cs.AI cs.LG
On Preserving Geometrical Invariance for Superpixel Image Classification using Graph Transformer
Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔分校)
研究超像素图像分类,针对卷积神经网络和视觉变换器计算复杂问题,提出基于图变换器的SuperGT框架,能捕捉长距离依赖并保持平移/旋转不变性,在CIFAR-10数据集上表现优于基线。
2026-07-07 cs.LG
Graph Unlearning with Efficient Partial Retraining
The Hong Kong Polytechnic University(香港理工大学)
针对图神经网络遗忘不理想数据时信息损失的问题,提出 GraphRevoker 框架,通过属性感知分片和对比子模型聚合保持模型效用,实验验证其优越性。
2024-03-13 cs.CR cs.LG
ReDIL-GNN: Resynthesis Domain Incremental Learning for Circuit Graph Neural Networks
New York University(纽约大学)
ReDIL-GNN提出重综合域增量学习框架,通过RAI指数筛选适配需求,在电路GNN上实现有选择地更新模型,兼顾新域适配与旧域保持。
2026-09-17 cs.LG cs.NE
Unleashing the potential of GNNs via Bi-directional Knowledge Transfer
Beijing Jiaotong University(北京交通大学);Beijing Key Laboratory of Advanced Information Science and Network Technology(北京先进信息科学与网络技术重点实验室);Qiyuan Lab(启元实验室);Beihang University(北京航空航天大学)
本文提出即插即用的双向知识迁移方法 BiKT,在不修改原始架构的前提下,利用与 GNN 共享参数的派生模型进行拓扑无关知识反馈与相互增强,在多个数据集和典型 GNN 上实现最高 0.5%–4% 的性能提升,并改善泛化界。
2023-10-26 cs.AI cs.LG cs.NE
A review of graph neural network applications in mechanics-related domains
Imperial College London(帝国理工学院);Google DeepMind(谷歌DeepMind)
本文系统综述图神经网络在固体力学、流体力学及跨学科力学领域的应用,总结图表示方法、GNN架构、开放数据与代码,并指出关键挑战与未来方向。
2024-07-10 cs.LG math-ph math.MP
Beyond Homophily: Towards Generalized Graph Reconstruction Attack and Defense
Hong Kong Baptist University(香港浸会大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
针对图神经网络可能泄露训练图邻接信息的问题,提出基于马尔可夫链近似的攻击方法MC-GRA(+)和防御方法MC-GPB(+),在异质图上实现高保真重构攻击并有效防御。
2026-06-06 cs.LG