Graph Neural Networks Go Forward-Forward
University of Geneva(日内瓦大学);UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
我们提出了图向前-向前(GFF)算法,向前-向前过程的扩展图,能够处理分布在图的节点的功能。这允许仅用正向传递来训练图神经网络,而不需要反向传播。我们的方法是不可知的消息传递方案,并提供了一个更生物学合理的学习计划比反向传播,同时还携带计算优势。使用GFF,图神经网络使用正样本和负样本逐层进行灰色训练。我们在11个标准图属性预测任务上进行了实验,展示了GFF如何为训练图神经网络提供了一种有效的反向传播替代方案。这特别表明,尽管将每层训练与GNN中处理的局部性相结合,但该过程非常有效。
2023-02-10 cs.AI cs.LG
GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);Johannes Kepler University(约翰内斯·开普勒大学);NXAI GmbH(NXAI有限公司)
该研究针对图神经网络表达能力依赖聚合与读出函数的问题,基于信号传播理论提出方差保持聚合策略VPA,在保持表达力的同时优化传播动力学,提升了主流GNN架构的预测性能,为无归一化/自归一化GNN发展提供了方向。
2024-03-07 cs.AI cs.LG stat.ML
MuseGNN: Forming Scalable, Convergent GNN Layers that Minimize a Sampling-Based Energy
New York University(纽约大学);Southern University of Science and Technology(南方科技大学);Fudan University(复旦大学);UC Berkeley(加州大学伯克利分校);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心);Amazon Web Services(亚马逊网络服务)
针对可扩展且收敛的图神经网络层设计难题,提出基于采样的能量函数及相应GNN层,并构建完整模型,在超1TB基准上取得竞争性准确性和可扩展性。
2025-02-28 cs.LG
Neural Network Branch-and-Bound for Neural Network Verification
University of Oxford(牛津大学)
许多可用的形式化验证方法已被证明是一个统一的分支定界(BaB)公式的实例。我们提出了一个新的机器学习框架,可用于设计一个有效的分支策略,以及计算更好的下限。具体来说,我们学习了两个图神经网络(GNN),它们都直接将我们想要验证的网络作为图输入,并通过GNN层执行前向-后向传递。我们使用一个GNN来模拟强分支启发式行为,另一个计算凸松弛的可行对偶解,从而提供一个有效的下界。我们提供了一个新的验证数据集,比文献中使用的更具挑战性,从而提供了一个有效的替代方法来测试算法的改进验证。虽然只使用其中一种GNN可以减少验证时间,但当结合两种GNN方法时,我们可以获得最佳性能。与几种最先进的验证方法相比,我们的组合框架在各种卷积网络上的分支数量和验证所需的时间上都减少了50%。此外,我们还证明了我们的GNN模型可以很好地推广到更大的不可见网络上的更硬属性。
2021-07-27 cs.AI cs.LG
Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It
University of Electronic Science and Technology of China(电子科技大学)
本文分析了图神经网络解释中自不一致性的成因(重新解释引起的上下文扰动),提出潜在信号分配假设解释边缘敏感性,并设计无需训练的后处理策略 Self-Denoising 来校准解释。
2026-05-30 cs.AI cs.LG
Graph-Free Knowledge Distillation for Graph Neural Networks
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
知识蒸馏(KD)通过强制学生在训练数据上模仿预先训练的教师的输出来将知识从教师网络转移到学生。然而,由于数据量大、隐私或机密性,在许多情况下,数据样本并不总是可访问的。已经针对卷积神经网络(CNN)做出了许多努力来解决这个问题,卷积神经网络(CNN)的输入位于诸如图像和视频的连续空间内的网格域中,但是在很大程度上忽略了处理离散空间内具有不同拓扑结构的非网格数据的图神经网络(GNN)。它们的输入之间的固有差异使得这些基于CNN的方法不适用于GNN。在本文中,我们提出了第一种专门的方法来从没有图形数据的GNN中提取知识。所提出的无图KD(GFKD)通过用多元伯努利分布对其建模来学习用于知识转移的图拓扑结构。然后,我们引入一个梯度估计来优化这个框架。基本上,梯度w.r.t.图结构是通过只使用GNN前向传播而不使用后向传播来获得的,这意味着GFKD与现代GNN库(如DGL和Geometric)兼容。此外,我们提供了处理图数据或GNN中不同类型的先验知识的策略。大量的实验表明,GFKD实现了最先进的性能,从GNN提取知识没有训练数据。
2021-11-29 cs.AI cs.LG
Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出公平感知子图扩散方法FASD,通过随机微分方程驱动的生成式扩散过程对采样子图进行去偏,再在去偏子图上进行GNN学习,从而在多个基准数据集上实现优于现有公平GNN基线的无偏节点预测。
2024-12-31 cs.AI cs.LG
Orthogonal Graph Neural Networks
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Department of Computer Science, Rice University(莱斯大学计算机科学系);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
图神经网络(GNNs)由于其在学习节点表示方面的优越性而受到了极大的关注。这些模型依赖于消息传递和特征转换函数来编码来自邻居的结构和特征信息。然而,堆叠更多的卷积层会显着降低GNN的性能。最近的研究将此限制归因于过度平滑问题,其中节点嵌入收敛到不可区分的向量。通过大量的实验观察,我们认为降低性能的主要因素是由于特征变换设计不当而导致的不稳定的前向归一化和后向梯度,特别是对于没有发生过平滑的浅GNN。因此,我们提出了一种新的正交特征变换,名为Ortho-GConv,它通常可以增强现有的GNN主干,以稳定模型训练并提高模型的泛化性能。具体地说,我们从三个角度,即混合权重初始化,正交变换,正交正则化,全面保持特征变换的正交性。通过为现有的GNN(例如GCN,JKNet,GCNII)配备Ortho-GConv,我们证明了正交特征变换的通用性,以实现稳定的训练,并显示其对节点和图分类任务的有效性。
2021-12-01 cs.AI cs.LG
D3-GNN: Dynamic Distributed Dataflow for Streaming Graph Neural Networks
University of Warwick(华威大学);Fujitsu Research of Europe(富士通欧洲研究院);Amazon Web Services(亚马逊网络服务)
针对流式图神经网络的算法与系统挑战,提出分布式混合并行系统D3-GNN,通过流式聚合器、分布式计算图及层间层内加窗方案处理更新,相较DGL吞吐量提升约76倍。
2024-09-10 cs.AI cs.DC cs.LG
Graph Neural Ordinary Differential Equations
KAIST(韩国科学技术院);The University of Tokyo(东京大学)
我们介绍了连续深度图神经网络(GNNs)的框架。图神经常微分方程(GDE)被形式化为GNN的对应物,其中输入输出关系由GNN层的连续体确定,混合离散拓扑结构和微分方程。所提出的框架是兼容各种静态和自回归GNN模型。结果证明了一般的有效性GDE:在静态设置中,他们提供的计算优势,将数值方法在他们的前向传递;在动态设置中,另一方面,他们被证明可以提高性能,通过利用几何的底层动态。
2021-06-22 cs.AI cs.LG stat.ML
Boosting Distributed Full-graph GNN Training with Asynchronous One-bit Communication
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
在大型图上训练图神经网络(GNN)具有挑战性,因为高内存需求和有限的GPU内存之间存在冲突。最近,分布式全图GNN训练已被广泛采用来解决这个问题。然而,大量的GPU间通信开销会导致严重的吞吐量下降。现有的通信压缩技术主要集中在传统的DNN训练,其瓶颈在于同步梯度和参数。我们发现它们在分布式GNN训练中效果不佳,因为障碍是前向传递过程中特征的逐层通信和后向传递过程中的特征梯度。为此,我们提出了一个高效的分布式GNN训练框架Sylvie,它在GNN中采用了一位量化技术,并进一步将缩减的通信与计算进行了流水线处理,以极大地减少开销,同时保持模型质量。详细地说,Sylvie提供了一个轻量级的Low-bit模块,用于在每一层中对发送的数据进行重定位,并将接收的数据重定位回全精度值。此外,我们提出了一个有界老化适配器来控制引入的老化,以实现进一步的性能增强。我们对各种模型和数据集进行了理论收敛分析和广泛的实验,以证明Sylvie可以将训练吞吐量大幅提高28.1倍。
2023-03-02 cs.AI cs.DC cs.LG
Efficient GNN Explanation via Learning Removal-based Attribution
Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学);University of Georgia(佐治亚大学)
针对现有GNN解释方法难以兼顾高保真度与高效率的问题,提出基于移除归因学习的LARA框架,结合子图采样提升可扩展性,在六个数据集上验证了其效率与保真度优势,在大型ogbn-arxiv数据集上速度提升3.5倍且保真度更高。
2023-06-09 cs.AI cs.LG
DeepGate3: Towards Scalable Circuit Representation Learning
The Chinese University of Hong Kong(香港中文大学)
DeepGate3通过结合GNN与Transformer及池化机制,并引入多种监督任务,解决了电路表示学习中GNN模型的可扩展性瓶颈,显著提升了门级与子电路表示能力。
2024-07-15 cs.AI cs.LG
Grain: Improving Data Efficiency of Graph Neural Networks via Diversified Influence Maximization
Peking University(北京大学);Tencent Inc.(腾讯公司)
数据选择方法,如主动学习和核心集选择,是提高大规模数据集上深度学习模型数据效率的有用工具。然而,最近的深度学习模型已经从独立和相同分布的数据向前发展到图形结构的数据,例如社交网络,电子商务用户项图和知识图谱。这种演变导致了图神经网络(GNN)的出现,它超越了现有数据选择方法所设计的模型。因此,我们提出了Grain,这是一个有效的框架,通过将GNN中的数据选择与社会影响力最大化联系起来,开辟了一个新的视角。通过利用GNN的常见模式,Grain引入了一种新的特征传播概念,一个具有新的影响力和多样性函数的多样化影响力最大化目标,以及一个具有近似保证的贪心算法。对公共数据集的实证研究表明,Grain显著提高了GNN数据选择(包括主动学习和核心集选择)的性能和效率。据我们所知,这是第一次尝试在GNN的设置中连接两个基本平行的研究线程,数据选择和社会影响力最大化,为提高数据效率铺平了新的道路。
2021-07-31 cs.AI cs.LG
Backward Oversmoothing: why is it hard to train deep Graph Neural Networks?
本文分析了深度图神经网络中反向过度平滑现象,揭示了反向误差传播导致的非平稳点问题,指出非线性激活函数与正向反向平滑的相互作用是关键因素。
2026-03-13 cs.LG
Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing Normal University(南京师范大学)
图神经网络(GNNs)已被广泛应用于众多领域。最近的一项工作结合分层结构和剩余连接,提出了一种改进的深度架构,将CAmouflage-Resistant GNN(CARE-GNN)扩展到称为Residual Layered CARE-GNN(RLC-GNN)的深度模型,形成自校正和增量学习机制,并在欺诈检测任务上实现了显着的性能改进。然而,我们发现RLC-GNN的三个问题,这是相邻信息的使用达到限制,训练困难,这是深层模型的固有问题,缺乏对节点特征和外部模式的综合考虑。在这项工作中,我们提出了三种方法来解决这三个问题分别。首先,我们建议通过余弦距离进行相似性度量,同时考虑局部特征和外部模式。然后,将相似性度量模块和邻域规范化思想与节点规范化和批量规范化相结合,提出了部分邻域规范化方法,克服了训练困难,同时减轻了图的高密度带来的噪声影响。最后,提出了中间信息补充的方法来解决信息不足的问题。实验在Yelp和Amazon数据集上进行。实验结果表明,本文提出的方法有效地解决了这三个问题。在Yelp数据集上,应用这三种方法后,我们在召回率、AUC和Macro-F1指标上分别获得了4.81%、6.62%和6.81%的改善。在Amazon数据集上,我们分别获得了1.65%和0.29%的召回率和AUC改善。
2022-02-14 cs.AI cs.LG
A Graph Neural Network Framework for Grid-Based Simulation
油藏数值模拟在井控和布井优化中计算量大。通常,需要大量的模拟运行(实现)以实现最佳的井位置。在本文中,我们提出了一个图神经网络(GNN)的框架,建立一个代理前馈模型,取代模拟运行,以加快优化过程。我们的GNN框架包括一个编码器,一个进程和一个解码器,它从模拟原始数据设计和生成的处理后的图形数据中获取输入。我们用6000个样本(相当于40个井配置)训练GNN模型,每个样本包含前一步状态变量和下一步状态变量。我们用另外6000个样本对GNN模型进行了测试,经过模型调整后,一步预测和推出预测都与仿真结果非常匹配。我们的GNN框架在与井相关的地下优化(包括石油和天然气以及碳捕获封存(CCS))的应用中显示出巨大的潜力。
2022-03-22 cs.AI cs.LG physics.geo-ph
Understanding GNNs and Homophily in Dynamic Node Classification
University of Michigan(密歇根大学)
本文探索动态环境下的同质性,提出动态同质性度量,揭示其与GNN判别性能的相关性,并证明流行GNNs对低动态同质性不够鲁棒。
2025-04-29 cs.LG
Fast Inference of Removal-Based Node Influence
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出基于节点移除的快速GNN推断方法NORA,利用梯度信息仅需一次前向和反向传播即可高效近似所有节点的影响力分数,并在多数据集和模型上验证了有效性。
2024-05-31 cs.AI cs.LG
Large-Scale Spectral Graph Neural Networks via Laplacian Sparsification: Technical Report
Renmin University of China(中国人民大学);Huawei(华为)
针对谱GNN在大规模图上因多次传播导致的可扩展性问题,提出SGNN-LS,用拉普拉斯稀疏器近似固定与可学习多项式滤波器,支持端到端训练并在超大数据集上验证效率与效果。
2025-01-08 cs.LG
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University(哈佛大学)
图的深度学习方法在各种领域都取得了卓越的性能。然而,最近的研究结果表明,即使是最强大和最流行的图神经网络(GNN),图结构的小而不明显的扰动也会灾难性地降低其性能。在这里,我们开发了GNNGuard,这是一种通用算法,可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系(如果存在),然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重,同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件,邻居重要性估计和逐层图存储器,我们的经验表明,这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集(包括一个具有挑战性的人类疾病图)上,实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是,GNNGuard可以在面对各种对抗攻击(包括针对性和非针对性攻击)时,有效地恢复GNN的最先进性能,并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence
Beihang University(北洋大学);The Hong Kong Polytechnic University(香港理工大学)
本研究提出GNN+框架,通过集成六种常用技术增强经典GNN,在14个图级数据集上系统评估表明,经典GNN性能匹配或超越GTs且效率更高,挑战了复杂机制对图级性能必不可少的观念。
2025-11-01 cs.LG
Graph Neural Networks are Heuristics
Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Ithaca, NY, USA(纽约州伊萨卡市)
研究表明图神经网络在组合优化中辅助角色非固有,可自身作启发式算法。以欧几里得旅行商问题为例,训练无标签等的非自回归图神经网络,仅用可微哈密顿循环目标监督,模型能快速生成完整路线且多样,优于贪心基线。
2026-07-07 cs.AI cs.LG
Topology-aware Neural Flux Prediction Guided by Physics
William & Mary(威廉与玛丽学院)
本文针对GNN在有向图中丢失高频分量的问题,提出结合显式差分矩阵与隐式物理约束的拓扑感知框架,并在水流和交通流网络上验证了其有效性。
2025-06-06 cs.LG
MaxK-GNN: Extremely Fast GPU Kernel Design for Accelerating Graph Neural Networks Training
University of Connecticut(康涅狄格大学);Northeastern University(东北大学)
MaxK-GNN通过算法与系统垂直优化,引入MaxK非线性和CBSR格式,设计高效前向与后向内核,在Reddit上实现3.22/4.24倍加速,接近理论极限。
2024-03-19 cs.AI cs.DC cs.LG
Learning to Solve PDE-constrained Inverse Problems with Graph Networks
Stanford University(斯坦福大学)
学习图神经网络(GNN)最近已被建立为在模拟物理系统的动力学的原理求解器的快速和准确的替代品。然而,在科学和工程的许多应用领域中,我们不仅对正向模拟感兴趣,而且还对求解由偏微分方程(PDE)定义的约束的反问题感兴趣。在这里,我们探索GNN来解决此类偏微分方程约束的逆问题。给定一组稀疏的测量值,我们感兴趣的是恢复PDE的初始条件或参数。我们证明了GNN与自动解码器风格的先验知识相结合非常适合这些任务,当应用于波动方程或Navier-Stokes方程时,可以比其他学习方法更准确地估计初始条件或物理参数。我们还展示了使用GNN与原则求解器相比高达90倍的计算加速。项目页面:https://cyanzhao42.github.io/LearnInverseProblem
2022-06-01 cs.LG
Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
本文将消息传递逆过程应用于三种 GNN 变体,在异配图上生成可区分节点表示,显著提升预测性能并可在数百层下缓解过平滑。
2024-06-11 cs.LG cs.SI
Adaptive Least Mean Squares Graph Neural Networks and Online Graph Signal Estimation
Tsinghua-Berkeley Shenzhen Institute, Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院清华-伯克利深圳学院)
针对含噪部分观测下的时变图信号在线估计问题,提出结合自适应图滤波器与GNN的LMS-GNN架构,经真实温度数据验证,其预测精度优于现有基于图的方法。
2024-01-27 cs.LG eess.SP
Graph Neural Networks in Histopathology: Emerging Trends and Future Directions
Leiden University Medical Center(莱顿大学医学中心);Amsterdam University Medical Center(阿姆斯特丹大学医学中心)
本文是组织病理学领域GNNs的综述,梳理其应用现状,通过定量文献分析总结出四大新兴趋势,并提出未来发展方向,为相关研究与实践提供指引。
2024-06-21 cs.AI cs.CV cs.LG
Learning from Historical Activations in Graph Neural Networks
Technion – Israel Institute of Technology(技术ion–以色列理工学院);NVIDIA;Ben-Gurion University of the Negev(贝内-约尔根大学);University of Cambridge(剑桥大学)
本文提出HISTOGRAPH,一种基于注意力的两阶段最终聚合层,通过层间和节点间的注意力机制,利用节点的激活历史和图结构来优化最终预测特征,从而在多个图分类基准上实现了优于传统方法的性能。
2026-05-17 cs.AI cs.LG
Towards Understanding Graph Neural Networks: An Algorithm Unrolling Perspective
ShanghaiTech University(上海科技大学)
图神经网络(GNN)已在各种应用中显示出其优越的性能。然而,其背后的工作机制仍然是个谜。GNN模型旨在学习图结构数据的有效表示,这与图信号去噪(GSD)原理本质上一致。算法展开是一种“学习优化”技术,由于其在构建高效、可解释的神经网络体系结构方面的前景而受到越来越多的关注。在本文中,我们介绍了一类基于截断优化算法(例如,梯度下降和近端梯度下降)。它们被证明与许多流行的GNN模型紧密相连,因为这些GNN中的前向传播实际上是服务于特定GSD的展开网络。此外,GNN模型的训练过程可以看作是用较低层的GSD问题来解决双层优化问题。这种联系带来了对GNN的新看法,因为我们可以尝试从GSD对应物中了解它们的实际能力,并且它还可以激励设计新的GNN模型。基于透视图展开算法,提出了一种表达模型UGDGNN,展开的梯度下降GNN,进一步提出了继承吸引人的理论性质。在七个基准数据集上进行的大量数值模拟表明,UGDGNN可以实现优于最先进模型的性能。
2022-06-09 cs.LG eess.SP
Chasing Fairness in Graphs: A GNN Architecture Perspective
Texas A&M University(德克萨斯农工大学);Clemson University(克莱姆森大学);Rice University(莱斯大学);University of Houston(休斯顿大学)
针对GNN架构放大偏差导致公平性差的问题,提出公平消息传递(FMP)新架构,在前向传播中显式利用敏感属性并缓解偏差,在三个真实数据集上实现更好的公平性与准确性权衡。
2023-12-19 cs.AI cs.CY cs.LG
A Unified View on Graph Neural Networks as Graph Signal Denoising
New Jersey Institute of Technology(新泽西理工学院);Michigan State University(密歇根州立大学);University of Notre Dame(圣母大学);Snap Inc.(Snap公司)
图神经网络(GNN)在学习图结构化数据的表示方面已经变得突出。单个GNN层通常由特征转换和特征聚合操作组成。前者通常使用前馈网络来转换特征,而后者则在图上聚合转换后的特征。许多最近的工作提出了GNN模型与不同的设计,在聚合操作。在这项工作中,我们在数学上建立了一组代表性GNN模型(包括GCN,GAT,PPNP和APPNP)中的聚合过程可以被视为(近似)解决具有平滑性假设的图去噪问题。这种跨GNN的统一视图不仅为理解各种聚合操作提供了新的视角,而且使我们能够开发统一的图神经网络框架UGNN。为了证明其有前途的潜力,我们实例化了一种新的GNN模型,ADA-UGNN,来自UGNN,处理图与自适应平滑跨节点。综合实验表明了ADA-UGNN的有效性。
2021-10-18 cs.LG stat.ML
Efficient Link Prediction via GNN Layers Induced by Negative Sampling
School of Computer Science, Fudan University(复旦大学计算机科学学院);Amazon(亚马逊公司)
本文提出一种新的GNN链路预测架构,通过让前向传播同时依赖正负边并引入能量函数极小化来获得节点嵌入,从而在保持节点级模型推理速度的同时达到边级模型的准确率。
2024-12-30 cs.LG stat.ML
Provably Convergent Subgraph-wise Sampling for Fast GNN Training
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Texas A&M University(德克萨斯农工大学)
提出局部消息补偿(LMC),首个可证明收敛的子图采样方法,通过补偿被丢弃消息实现准确梯度,加速GNN训练,实验显示其显著优于现有方法。
2024-08-21 cs.LG
Pitfalls of Graph Neural Network Evaluation
Technical University of Munich(慕尼黑工业大学)
图中的半监督节点分类是图挖掘中的一个基本问题,最近提出的图神经网络(GNNs)在这一任务上取得了无与伦比的结果。由于它们的巨大成功,GNN吸引了很多关注,并且已经提出了许多新颖的架构。在本文中,我们表明,GNN模型的现有评估策略有严重的缺点。我们表明,使用相同的训练/验证/测试分裂的相同的数据集,以及作出重大改变的训练过程(例如,提前停止标准)排除了公平比较不同的架构。我们对四个著名的GNN模型进行了全面的实证评估,并表明考虑不同的数据分割会导致模型的排名显着不同。更重要的是,我们的研究结果表明,如果超参数和训练过程对所有模型都进行了公平的调整,那么更简单的GNN架构能够胜过更复杂的架构。
2019-06-18 cs.LG cs.SI stat.ML
Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks
School of Electrical Engineering and Computer Science, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院);National Center for Scientific Research “Demokritos”(德谟克利特国家科学研究中心)
本研究将Kaiming初始化思想推广至图神经网络,提出考虑图拓扑的G-Init初始化方法,理论与实验均验证其可减少深度GNN过平滑问题,在冷启动场景下优势显著。
2024-10-31 cs.LG
Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?
McGill University(麦吉尔大学);Mila;DeepMind
图神经网络(GNNs)是对基本神经网络(NN)的扩展,它利用基于关系归纳偏差(homophily假设)的图结构。虽然GNN被认为在现实世界的任务中优于NN,但GNN相对于图不可知NN的性能优势似乎并不令人满意。异质性被认为是一个主要的原因,已经提出了许多工作来解决它。在本文中,我们首先表明,并不是所有的异质性的情况下是有害的GNNs与聚集操作。然后,我们提出了基于相似性矩阵的新度量,该矩阵考虑了图结构和输入特征对GNN的影响。通过对合成图的测试,证明了该度量方法优于常用的同质性度量方法。从度量和观察,我们发现一些有害的异质性的情况下,可以通过多元化操作来解决。有了这个事实和滤波器组的知识,我们提出了自适应通道混合(ACM)框架,以自适应地利用每个GNN层中的聚合,多样化和身份通道来解决有害的异质性。我们用10个真实世界的节点分类任务来验证ACM增强的基线。它们始终实现显着的性能增益,并在大多数任务上超过最先进的GNN,而不会产生显着的计算负担。
2021-09-12 cs.LG cs.SI
NN-Former: Rethinking Graph Structure in Neural Architecture Representation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);Northwestern Polytechnical University(西北工业大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出NN-Former预测器,通过结合GNN与Transformer并引入考虑兄弟节点的token mixer和双向图同构前馈网络,提升神经架构准确率与延迟预测性能。
2025-07-01 cs.AI cs.LG
Equivariant Spatio-Temporal Attentive Graph Networks to Simulate Physical Dynamics
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);North Carolina State University(北卡罗来纳州立大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Tencent AI Lab(腾讯AI实验室)
针对物理动力学模拟中逐帧建模忽视非马尔可夫效应的问题,本文提出 ESTAG,利用 EDFT、ESM 与 ETM 建模历史时空相互作用,并在三类真实数据集上验证其优于现有 GNN。
2024-05-21 cs.AI cs.LG
Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective
The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心)
本文从信号传播视角提出控制前向传播、后向传播和图嵌入变化三个指标,并设计SPoGInit初始化方法优化权重方差,有效解决了深度图神经网络性能下降问题。
2025-07-15 cs.LG
LMC: Fast Training of GNNs via Subgraph Sampling with Provable Convergence
University of Science and Technology of China(中国科学技术大学)
针对大规模 GNN 训练中的邻居爆炸与子图采样梯度偏差问题,本文提出可证明收敛的 LMC,通过前后向消息补偿获得准确小批量梯度并提升效率。
2025-03-16 cs.LG
What Does the Gradient Tell When Attacking the Graph Structure
Zhejiang University(浙江大学);Westlake University(西湖大学)
最近的研究表明,图神经网络(GNN)容易受到针对图结构的对抗攻击。给定训练标签,恶意攻击者可以操纵有限数量的边,以损害受害者模型的性能。以前的实证研究表明,基于梯度的攻击者倾向于添加边缘,而不是删除它们。在本文中,我们提出了一个理论演示,揭示了攻击者倾向于增加类间边缘,由于GNN的消息传递机制,这解释了以前的一些经验观察。通过连接不同的节点,攻击者可以更有效地破坏节点特征,使此类攻击更具优势。然而,我们证明了GNN的消息传递的固有平滑性往往会模糊特征空间中的节点相异性,导致在转发过程中丢失关键信息。为了解决这个问题,我们提出了一种新的代理模型与多级传播,保持节点的相异性信息。该模型并行传播未聚合的原始特征和多跳聚合特征,同时引入批量归一化来增强节点表示的不相似性并抵消拓扑聚合导致的平滑性。我们的实验表明,我们的方法显着改善。此外,理论和实验证据表明,添加类间边缘构成了一个容易观察的攻击模式。我们提出了一个创新的攻击损失,平衡攻击的有效性和不可感知性,牺牲一些攻击的有效性,以达到更大的不可感知性。我们还提供了实验来验证通过这种攻击损失实现的妥协性能。
2023-03-29 cs.AI cs.LG
Towards Training and Inference of Graph Neural Networks in Graph Databases
Lund University, Faculty of Engineering(隆德大学工程学院);Neo4j
本文研究图数据库在GNN训练与推理中的适用性,提出用Cypher实现实时采样与检索并优化训练速度约2.5倍,实现数据库内推理速度提升10倍以上且无额外内存开销,为相关应用奠定基础。
2026-10-13 cs.DB cs.LG
Toward the Analysis of Graph Neural Networks
University of Melbourne(墨尔本大学);Hanoi University of Science and Technology(河内科技大学);George Mason University(乔治梅森大学)
图神经网络(GNN)最近已经成为图结构数据的鲁棒框架。它们已被应用于知识图谱分析、社交网络推荐,甚至Covid 19检测和疫苗开发等诸多问题。然而,与其他深度神经网络(如前馈神经网络(FFNN))不同,很少有分析(如验证和属性推断)存在,这可能是由于GNN的动态行为,GNN可以将任意图形作为输入,而FFNN仅将固定大小的数值向量作为输入。本文提出了一种将GNN转换为FFNN并重用现有FFNN分析的方法。我们讨论了各种设计,以确保转换的可扩展性和准确性。我们说明我们的方法上的一个研究案例的节点分类。我们相信,我们的方法为理解和分析GNN开辟了新的研究方向。
2022-01-01 cs.LG cs.SE
Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets
Tokyo Institute of Technology(东京工业大学)
本文针对深层 GNN 的强彩票假设问题,提出自适应 M-Sup、多阶段折叠与非共享掩码,发现未经训练的循环网络可媲美训练后的前馈网络,并在 OGB 等数据集上实现高稀疏性、竞争力性能与最高 98.7% 的内存节省。
2023-12-06 cs.AI cs.LG stat.ML
Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
University of Vienna(维也纳大学)
本文从理论上研究图神经网络中彩票 ticket 假设,提出并证明强表达力彩票 ticket 假设,表明稀疏初始化 GNN 保持表达力可加速收敛并提升泛化,为 LTH 与 GNN 研究提供新理论基础。
2025-06-04 cs.LG
Asymmetric Graph Representation Learning
Southwestern University of Finance and Economics(西南财经大学);University of Hong Kong(香港大学)
尽管图神经网络(GNN)取得了巨大的成功,但大多数现有的GNN只能适用于无向图,其中连接的节点之间的关系是双向对称的(即,信息可以来回传递)。然而,有大量的应用程序中的信息流是不对称的,导致有向图中的信息只能在一个方向上传递。例如,有向边指示信息只能从开始节点向前传送到结束节点,而不能向后传送。为了在GNN的框架内容纳这种有向图的非对称结构,我们提出了一个简单但非常有效的有向图分析框架,以结合这种单向信息传递。我们为每个节点定义了一个传入嵌入和一个传出嵌入,分别对其发送和接收特征进行建模。我们进一步在我们的有向GNN模型中开发了两个步骤,第一个是聚合/更新节点的传入特征,第二个是聚合/更新传出特征。通过对每个节点施加两个角色,可以基于开始节点的传出嵌入和结束节点的传入嵌入来计算有向边的可能性。所有边缘的对数似然对所提出的模型起着自然的正则化作用,这可以缓解深度GNNs的过度平滑问题。在多个真实世界有向图上的大量实验表明,该模型在节点级和图级任务中都具有出色的性能。
2021-10-14 cs.LG
Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations
Princeton University(普林斯顿大学)
本文为ReLU激活的图神经网络提出初始化与架构选择三原则,包括He初始化推广、残差聚合算子缓解过平滑及残差连接避免关联崩溃,从而加速深层GNN训练。
2023-06-20 cs.AI cs.LG hep-ex
Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of California, Merced(加州大学默塞德分校);University of California, Los Angeles(加州大学洛杉矶分校);Createlink Technology(创联科技);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间安全学院)
本文提出FGSAM及FGSAM+算法,将GNN参数扰动与MLP快速最小化结合,以更低计算成本实现平坦最小值优化,从而增强并加速少样本节点分类。
2024-10-22 cs.AI cs.LG
Variational models for signal processing with Graph Neural Networks
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学,卡昂大学,卡昂国立高等工程师学校,国家科学研究中心,格雷克实验室)
本文研究了利用神经网络对点云数据进行信号处理的方法。如今,图像处理和计算机视觉的最新技术主要基于在大型数据集上训练深度卷积神经网络。虽然使用图神经网络(GNN)处理点云也是如此,但重点主要是在标记数据集(如ShapeNet)上使用监督学习进行分类和分割等高级任务。然而,这样的数据集是稀缺的,并且根据目标应用程序构建起来耗时。在这项工作中,我们研究了使用变分模型的GNN处理信号的无监督学习图。我们的贡献是双重的。我们首先表明,一些现有的基于变分的算法的信号图可以制定为消息传递网络(MPN),GNN的一个特殊的实例,使它们在实践中的计算效率相比,标准的基于梯度的机器学习算法。其次,我们研究了前馈GNN的无监督学习,无论是通过直接优化逆问题,还是通过基于变分的MPN模型蒸馏。关键词:图形处理神经网络。总变差。变分方法消息传递网络。无监督学习
2021-04-03 cs.LG
InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs
Ant Group(蚂蚁集团)
针对巨型图GNN推理面临的可扩展性、采样不一致和冗余计算挑战,提出可扩展系统InferTurbo,采用类GAS模式及影子节点等策略实现无采样全图推理,2小时内完成千亿边规模图推理,性能显著优于传统流水线。
2023-07-01 cs.LG
Neural Consciousness Flow
Hulu LLC(葫芦公司);Peking University(北京大学)
超越数据拟合的推理能力对于深度学习系统来说是至关重要的,以便向人工通用智能迈进。人们已经做了大量的努力来将基于神经的推理建模为基于递归网络和强化学习的迭代决策过程。相反,受Yoelvis Bengio提出的意识先验的启发,我们从认知的角度探索了注意意识的概念,并将其以注意信息传递的形式表达出来,称为神经意识流(NeuCFlow)。为了弥合深度学习系统和推理之间的差距,我们提出了一个具有三层架构的注意计算框架,该框架由无意识流层、意识流层和注意流层组成。我们用图神经网络和条件转移矩阵实现了NeuCFlow模型。我们的精心计算大大降低了基于GNN的方法的复杂性,能够在大规模图上运行。我们通过解决一系列的知识库完成(KBC)任务,验证我们的模型知识图谱推理。实验结果表明,NeuCFlow的性能明显优于以前的国家的最先进的KBC方法,包括嵌入式和基于路径的。可复制的代码可以通过下面的链接找到。
2019-05-30 cs.AI cs.LG
Graph-Fraudster: Adversarial Attacks on Graph Neural Network Based Vertical Federated Learning
图神经网络在图表示学习方面取得了巨大的成功。GNN受到用户端收集的大规模私有数据的困扰,没有丰富的特征和完整的邻接关系,可能无法体现其优异的性能。针对这一问题,提出了垂直联邦学习(VFL),通过协同训练全局模型实现局部数据保护。因此,对于图结构数据,构建一个基于GNN的VFL框架(表示为GVFL)是一个自然的想法。然而,GNN已被证明容易受到对抗攻击。是否将漏洞纳入GVFL尚未研究。这是第一次对GVFL进行对抗攻击的研究。提出了一种新的对抗攻击方法--Graph-Fraudster。该算法通过隐私泄漏和节点对梯度,在加噪声的全局节点嵌入的基础上产生对抗性扰动。具体来说,首先,Graph-Fraudster窃取全局节点嵌入,并为攻击生成器建立服务器的影子模型。其次,噪声被添加到节点嵌入中以混淆阴影模型。最后,利用节点对的梯度,在加噪节点嵌入的指导下生成攻击。在五个基准数据集上进行的大量实验表明,与基于不同GNN的GVFL的基线相比,Graph-Fraudster实现了最先进的攻击性能。此外,即使应用两种可能的防御机制,图形欺诈者仍然可以对GVFL构成威胁。最后,对今后提高GVFL鲁棒性的工作提出了建议.代码和数据集可以在https://github.com/hgh0545/Graph-Fraudster下载。
2022-03-18 cs.LG