Leveraging Classical Algorithms for Graph Neural Networks
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本研究通过在经典算法上预训练图神经网络,为分子性质预测任务注入算法先验,实验表明该方法在ogbg-molhiv和ogbg-molclintox上分别提升6%和3%的绝对性能,验证了其有效性。
2025-10-24 cs.LG
One Model for One Graph: A New Perspective for Pretraining with Cross-domain Graphs
Michigan State University(密歇根州立大学);Hong Kong Polytechnic University(香港理工大学);Snap Inc.(Snap公司)
针对GNN跨领域泛化难的问题,提出“一图一模型”预训练框架,通过预训练专家库并结合门控函数为新图动态选择专家子集,有效整合先验知识并避免负迁移,在链路预测和节点分类任务上表现优越。
2025-05-29 cs.AI cs.LG stat.ML
Molecule-Morphology Contrastive Pretraining for Transferable Molecular Representation
GSK(葛兰素史克)
本研究提出 Molecule-Morphology Contrastive Pretraining (MoCoP) 框架,通过整合分子图与细胞形态的多模态表示,显著提升了 QSAR 模型在分子属性预测任务中的性能。
2023-06-27 cs.LG q-bio.BM
GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks
Fudan University(复旦大学);ByteDance(字节跳动)
提出GLIP框架,通过图增强、多令牌选择策略和扩散投影器,联合预训练图神经网络和大型语言模型,在图级分类与推理任务上超越现有方法。
2026-06-29 cs.LG
Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design
University of California, Berkeley(加州大学伯克利分校);Intel AI Labs(英特尔人工智能实验室)
能够预测电路的性能而无需运行昂贵的仿真是一种可以促进自动化设计的期望能力。在本文中,我们提出了一种有监督的预训练方法来学习电路表示,这些电路表示可以适应新的电路拓扑结构或看不见的预测任务。我们假设,如果我们训练一个神经网络(NN),可以预测的输出直流电压的广泛的电路实例,它将被迫学习每个电路元件的作用,以及它们如何相互作用的一般知识。这个监督学习目标的数据集可以很容易地大规模收集,因为获得地面真实标签所需的DC模拟相对便宜。然后,这种表示将有助于对看不见的电路度量进行Few-Shot推广,这些电路度量需要更耗时的仿真来获得地面实况标签。为了处理不同电路的可变拓扑结构,我们将每个电路描述为一个图,并使用图神经网络(GNNs)来学习节点嵌入。我们表明,对输出节点电压预测的预训练GNN可以鼓励学习表示,这些表示可以适应新的看不见的拓扑结构或新的电路级属性的预测,与随机初始化模型相比,样本效率高达10倍。我们进一步表明,通过微调预训练的GNN作为学习模型的特征提取器,我们可以将先前基于SoTA模型的优化方法的样本效率提高2倍(几乎与使用Oracle模型一样好)。
2022-04-01 cs.AI cs.LG
Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks
Meta AI
提出用于异构超图神经网络的自监督预训练框架SPHH,通过两个预训练任务学习局部和全局表示,在多种下游任务中显著提升性能并展现鲁棒性。
2023-11-19 cs.LG cs.SI stat.ML
Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization
Zhoukou Normal University(周口师范学院);South China University of Technology(华南理工大学);Georgia Southwestern State University(佐治亚西南州立大学);University of New South Wales(新南威尔士大学)
该研究针对图神经网络性能依赖损失函数选择但缺乏大规模协同评估的问题,通过7种GNN架构、30种损失组合在3个数据集上的实验,分析了不同设置下的最优组合,揭示了混合损失、GIN等的性能特点。
2025-06-17 cs.LG
Relational Graph Modeling for Credit Default Prediction: Heterogeneous GNNs and Hybrid Ensemble Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出异构图神经网络与混合集成学习方法,通过构建大规模异构图整合借款人与交易数据,提升信用违约预测的准确性和公平性。
2026-01-21 cs.LG
How Can Graph Neural Networks Help Document Retrieval: A Case Study on CORD19 with Concept Map Generation
Emory University(埃默里大学)
图神经网络作为一组对不规则数据进行表示学习的强大工具,在各种下游任务中表现出了优越性。通过将非结构化文本表示为概念图,GNN可以用于文档检索等任务。出于对GNN如何帮助文档检索的兴趣,我们对大规模多学科数据集CORD-19进行了实证研究。结果表明,我们提出的面向语义的图函数,而不是复杂的面向结构的GNN,如GIN和GAT,实现了更好,更稳定的性能的基础上BM 25检索的候选人。我们在这个案例研究中的见解可以作为未来工作的指导方针,为文档检索和分类等文本推理任务开发具有适当的面向语义的归纳偏见的有效GNN。这个案例研究的所有代码都可以在https://github.com/HennyJie/GNN-DocRetrieval上找到。
2022-01-12 cs.CL cs.IR cs.LG
Can Hybrid Geometric Scattering Networks Help Solve the Maximum Clique Problem?
Cornell University(康奈尔大学);Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);University of California(加利福尼亚大学)
提出了一种基于几何散射的图神经网络(GNN)来逼近NP难最大团(MC)问题的解。我们构造了一个损失函数,其中包含两个项,一个项鼓励网络找到高度连接的节点,另一个项作为节点形成团的约束的替代。然后,我们使用这种损失来训练一个高效的GNN架构,该架构输出一个表示每个节点成为MC一部分的概率的向量,并应用基于规则的解码器来进行最终预测。散射变换的引入缓解了GNN中经常遇到的所谓过度平滑问题,并且会降低我们提出的设置的性能。我们的实证结果表明,我们的方法在解决方案的准确性和推理速度方面优于具有代表性的GNN基线,以及时间预算有限的传统求解器,如Guesthouse。此外,我们的散射模型是非常有效的参数与以前的GNN基线模型相比,只有$\sim$ 0.1\%的参数。
2022-11-28 cs.LG
GNNSampler: Bridging the Gap between Sampling Algorithms of GNN and Hardware
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
采样是图神经网络(GNN)训练中的一个关键操作,有助于降低成本。先前的文献已经探索了通过数学和统计方法来改进采样算法。然而,在采样算法和硬件之间存在差距。在不考虑硬件的情况下,算法设计者仅仅在算法级优化采样,错过了利用硬件特性提升现有采样算法效率的巨大潜力。在本文中,我们开创性地提出了一个统一的编程模型,主流的采样算法,称为GNNSampler,涵盖了各种类别的采样算法的关键过程。其次,利用硬件的特点,我们选择的数据局部性作为一个案例研究,并探讨数据局部性之间的节点和他们的邻居在一个图,以减轻不规则的内存访问采样。第三,我们在GNNSampler中对各种采样算法实现了局部感知优化,以优化一般采样过程。最后,我们着重在大型图数据集上进行实验,以分析训练时间,准确性和硬件级指标之间的相关性。大量的实验表明,我们的方法是通用的主流采样算法,并有助于显着减少训练时间,特别是在大规模的图形。
2022-06-24 cs.LG
ProGNNosis: A Data-driven Model to Predict GNN Computation Time Using Graph Metrics
Barcelona Neural Networking Center (BNN)(巴塞罗那神经网络中心(BNN));Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学(UPC))
图神经网络(GNN)在处理图结构数据的问题中显示出巨大的潜力。GNN的独特之处之一是它们适应多个问题的灵活性,这不仅带来了广泛的适用性,而且在为特定问题找到最佳模型或加速技术时也带来了重要的挑战。这种挑战的一个例子在于,GNN模型或加速技术的准确性或有效性通常取决于底层图的结构。在本文中,为了解决依赖于图的加速问题,我们提出了ProGNNosis,这是一种数据驱动的模型,可以通过检查输入图度量来预测给定GNN模型在任意特征图上运行的GNN训练时间。这种预测是基于先前使用不同的合成图数据集离线训练的回归进行的。在实践中,我们的方法允许做出明智的决定,设计使用的特定问题。在本文中,定义了构建ProGNNosis的方法,并将其应用于特定用例,以帮助确定哪种图形表示更好。我们的研究结果表明,ProGNNosis有助于在多种广泛使用的GNN模型(如GCN,GIN,GAT或GraphSAGE)中随机选择图形表示,平均加速1.22倍。
2022-06-16 cs.LG
On the Scalability of GNNs for Molecular Graphs
Valence Labs(瓦伦斯实验室);Université de Montréal(蒙特利尔大学);Mila Quebec(米拉魁北克研究所);McGill University(麦吉尔大学);NVIDIA Corporation(英伟达公司);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
该研究针对图神经网络(GNNs)规模化收益不明确的问题,在大规模2D分子图数据集上分析三类GNN架构的缩放规律,验证了多维度缩放的增益,提出基础模型MolGPS,在多数下游任务上取得SOTA,为GNNs赋能药物发现铺路。
2024-09-11 cs.LG
Temporal Heterogeneous Graph Pretraining for Relational Deep Learning
RWTH Aachen University(亚琛工业大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
针对关系深度学习中的时序异构图,提出结合多尺度与旋转时间编码及三目标自监督的两阶段预训练框架,在RelBench数据集上显著提升下游任务性能。
2026-09-29 cs.LG
GraphFM: A generalist graph transformer that learns transferable representations across diverse domains
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
GraphFM是一种通用图变换器,通过多图预训练学习可迁移的表示,提升跨不同图结构和任务的性能。
2026-02-14 cs.LG cs.SI
Are LLMs Better GNN Helpers? Rethinking Robust Graph Learning under Deficiencies with Iterative Refinement
School of Computing KAIST Daejeon Republic of Korea(韩国国立庆尚大学计算机科学学院);School of Computer Science(计算机科学学院);School of Computing KAIST(韩国国立庆尚大学计算机科学学院)
该研究针对真实图缺陷削弱GNN性能的问题,首次系统对比传统GNN与LLM增强图方法在复合缺陷下的表现,提出迭代式RoGRAD框架,通过RAG和迭代图对比学习实现动态增强,性能超越两类基线,最高平均提升82.43%。
2025-10-02 cs.AI cs.LG
VITA: Variational Pretraining of Transformers for Climate-Robust Crop Yield Forecasting
针对现有作物产量预测模型在产量偏离历史趋势时性能下降的问题,提出变分预训练框架VITA,通过卫星气象数据预训练实现有限数据下的微调,在美国玉米带的预测任务中达到SOTA,更适用于数据稀缺场景。
2025-11-14 cs.LG
Structure based SAT dataset for analysing GNN generalisation
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
针对GNN SAT求解器中结构与泛化关系被忽视的问题,提出含多样化SAT问题及生成代码的StructureSAT数据集与基于结构的分割方法,助力解释泛化缺陷并为开发更优求解器提供方向。
2025-02-17 cs.LG
Geometric Self-Supervised Pretraining on 3D Protein Structures using Subgraphs
Harvard University(哈佛大学);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
本文提出一种基于子图的3D蛋白质结构几何自监督预训练方法,通过预测子图局部几何质心与蛋白质全局几何质心之间的距离来预训练3D图神经网络,在多种蛋白质分类任务中使3D GNN性能最高提升6%,无需多视图、数据增强或掩码策略。
2024-10-19 cs.LG q-bio.BM q-bio.QM
Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining
University of Tübingen(图宾根大学)
提出C-FREE框架,通过预测子图嵌入与互补邻域的关系,融合2D拓扑和3D构象信息,实现无对比、无负样本的多模态自监督分子图预训练,在MoleculeNet上取得最优结果。
2026-06-02 cs.AI cs.LG
GNNBENCH: Fair and Productive Benchmarking for Single-GPU GNN System
William & Mary(威廉玛丽学院)
针对单 GPU GNN 系统缺乏标准化评测的问题,本文提出即插即用的 GNNBench 平台,支持张量数据交换、自定义 API 类及多框架自动集成,并通过集成多个系统发现了关键测量问题。
2024-04-05 cs.DC cs.LG
Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction
NVIDIA(英伟达)
提出分子图-Transformer预训练框架,结合化学自监督与对比互信息,通过统一概率潜变量目标优化重构、对比和化学任务,在多任务微调中采用任务特定MLP头,在三个数据集上平均提升7.6%-9.5%。
2026-06-11 cs.LG q-bio.QM
Graph Neural Networks for Temperature-Dependent Activity Coefficient Prediction of Solutes in Ionic Liquids
RWTH Aachen University(亚琛工业大学);Delft University of Technology(代尔夫特理工大学);Forschungszentrum Jülich GmbH(于利希研究中心);JARA-ENERGY
本文提出一种图神经网络,在超过4万个活度系数值的数据集上训练,用于预测离子液体中溶质的温度依赖性无限稀释活度系数,其性能与最先进矩阵补全方法相当,并能泛化到训练中未出现的离子液体和溶质。
2022-06-23 cs.LG physics.chem-ph
Comprehensive Evaluation of GNN Training Systems: A Data Management Perspective
Northeastern University(东北大学);National University of Singapore(新加坡国立大学)
本文从数据管理视角全面评估了GNN训练系统,分析了数据划分、批次准备和CPU与GPU间数据传输等独特挑战,并通过基准数据集实验提供了有助于未来系统设计的实用技巧。
2024-03-20 cs.DC cs.LG
Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
本文构建GNN并行性分类体系,结合工作深度、通信与同步分析,系统评估模型、任务、框架和加速器,并推广消息传递流水线以指导高效并行GNN设计。
2023-08-17 cs.AR cs.DC cs.LG
MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering
National University of Singapore(新加坡国立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文证明了基于GNN的CF模型与传统单层NRL模型的等价性,提出MGDCF将GNN视为不可训练的马尔可夫过程构建上下文特征,并设计InfoBPR排序损失使NRL模型无需GNN特征也能表现优异。
2024-01-06 cs.LG cs.SI
Inferring Properties of Graph Neural Networks
University of Melbourne(墨尔本大学);Singapore Management University(新加坡管理大学);George Mason University(乔治梅森大学);Carnegie Mellon University(卡内基梅隆大学)
提出首个 GNN 自动性质推断框架 GNNInfer,通过影响性结构、FNN 转换和偏差建模获得可泛化性质,并在真实 GNN 与 UGBA 后门防御中显著优于基线。
2024-03-02 cs.CR cs.LG cs.PL
Evaluating Logical Generalization in Graph Neural Networks
Facebook AI Research(Facebook AI研究);McGill University(麦吉尔大学);Montreal Institute of Learning Algorithms (Mila)(蒙特利尔学习算法研究所(Mila));School of Computer Science(计算机科学学院)
最近的研究强调了关系归纳偏差在构建学习代理中的作用,这些学习代理可以以组合方式进行概括和推理。然而,尽管诸如图神经网络(GNN)等关系学习算法显示出了希望,但我们不了解这些方法如何有效地适应新任务。在这项工作中,我们通过设计一个基于一阶逻辑的基准套件来研究使用GNNs进行逻辑泛化的任务。我们的基准测试套件GraphLog要求学习算法在不同的合成逻辑中执行规则归纳,表示为知识图谱。GraphLog由57个不同逻辑域上的关系预测任务组成。我们使用GraphLog在三种不同的设置中评估GNN:单任务监督学习,多任务预训练和持续学习。与以前的基准测试不同,我们的方法允许我们精确地控制不同任务之间的逻辑关系。我们发现,模型的泛化和适应能力在很大程度上取决于它们在训练过程中遇到的逻辑规则的多样性,我们的研究结果突出了GNN模型设计的新挑战。我们在https://www.cs.mcgill.ca/~ksinha4/graphlog公开发布数据集和用于生成数据集并与数据集交互的代码。
2020-03-14 cs.LG stat.ML
Adversarially Robust Neural Architecture Search for Graph Neural Networks
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Yale University(耶鲁大学)
提出G-RNA框架,通过设计包含图结构掩码操作的鲁棒搜索空间和鲁棒性指标,自动化搜索对抗鲁棒的GNN架构,在基准数据集上显著优于现有基线。
2023-04-09 cs.CR cs.LG cs.SI
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
A Quasi-Wasserstein Loss for Learning Graph Neural Networks
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对图神经网络节点预测中损失函数忽视节点非独立同分布的问题,提出基于图最优传输的拟Wasserstein损失,联合学习标签传输与GNN,提升节点分类和回归性能。
2024-03-13 cs.LG
Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
IIT Madras(印度马德拉斯理工学院)
本文指出 GNN 等价性研究忽略了优化问题,通过理论与实验证明了图分类中消息传递层在不同全局池化下寻找判别性子图或节点的隐式归纳偏置,并展示了其在注意力架构中融入领域知识的应用。
2024-08-23 cs.LG
Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass
Texas State University(德克萨斯州立大学);SK hynix America(SK海力士美国公司);NVIDIA(英伟达)
图神经网络(GNNs)由于在各种图相关学习任务中的成功而受到极大关注。然后,已经开发了几个GNN框架,用于快速轻松地实现GNN模型。尽管它们很受欢迎,但它们并没有很好的文档记录,并且它们的实现和系统性能也没有得到很好的理解。特别是,与传统的基于整个图以全批方式训练的GNN不同,最近的GNN已经开发了不同的图采样技术,用于大型图上GNN的小批训练。虽然它们提高了可扩展性,但它们的训练时间仍然取决于框架中的实现,因为采样及其相关操作可能会引入不可忽略的开销和计算成本。此外,从绿色计算的角度来看,这些框架在多大程度上是“生态友好的”还不清楚。在本文中,我们深入研究了两个主流的GNN框架以及三个最先进的GNN,以分析它们在运行时间和功耗/能耗方面的性能。我们在几个不同的层次上进行了广泛的基准测试实验,并给出了详细的分析结果和观察,这可能有助于进一步的改进和优化。
2022-11-06 cs.LG
Improving Your Graph Neural Networks: A High-Frequency Booster
Tsinghua University(清华大学);Tencent(腾讯)
针对图神经网络在半监督节点分类中存在的过度平滑与异质性问题,提出补拉普拉斯正则化方法引入高频信息,提升了模型效果与拓扑鲁棒性。
2023-05-03 cs.LG
Search to Capture Long-range Dependency with Stacking GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Lenovo(联想);Paradigm. Inc(第四范式公司);Tsinghua University(清华大学)
近年来,图神经网络(GNNs)在图分类任务中得到了广泛的应用。目前,浅GNN更常见,这是由于较深GNN面临的众所周知的过度平滑问题。然而,它们在不利用来自远程节点的信息的情况下是次优的,即,长期依赖性。图分类任务中的主流方法可以通过设计池化操作或合并高阶近邻来提取长距离依赖关系,但它们存在明显的缺点,即需要修改原始图结构,从而可能导致图结构学习中的信息丢失。在本文中,通过证明图分类任务中过平滑问题的影响较小,我们唤起了基于堆栈的GNN的重要性,然后使用它们来捕获长程依赖关系,而无需修改原始图结构。为了实现这一点,对于基于堆栈的GNN给出了两个设计需求,即,足够的模型深度和自适应跳跃连接方案。通过将这两种设计需求转化为设计特定于数据的层间连接,我们提出了一种新的方法,并借助神经架构搜索(NAS),这被称为LRGNN(长程图神经网络)。在5个数据集上的实验表明,LRGNN具有最佳的性能,并获得了不同深度和跳连接方案的数据特定GNN,能够更好地捕捉长程依赖关系。
2023-02-17 cs.LG
Everybody Needs a Little HELP: Explaining Graphs via Hierarchical Concepts
University of Cambridge(剑桥大学);Università della Svizzera Italiana(瑞士意大利语区大学)
本文提出HELP,一种本质可解释的层次化图池化方法,通过揭示不同GNN层概念如何组合来解释预测,其表达力超过1-WL,并在准确性与专家对齐度上表现优异。
2023-12-02 cs.AI cs.LG
SGS-GNN: A Supervised Graph Sparsification method for Graph Neural Networks
Purdue University(普渡大学);Islamic University of Technology(伊斯兰科技大学);Pacific Northwest National Lab(太平洋西北国家实验室)
本文提出监督式图稀疏化方法 SGS-GNN,通过学习边采样分布并利用正则化增强子图同配性,在33个图上以20%边保留率提升精度并显著降低训练与推理成本。
2025-02-14 cs.LG
Using pretrained graph neural networks with token mixers as geometric featurizers for conformational dynamics
University of Chicago(芝加哥大学);James Franck Institute(詹姆斯·弗兰克研究所);New York University(纽约大学);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
本文提出 geom2vec,利用在大规模分子构象数据上自监督预训练的等变图神经网络作为通用几何特征提取器,并结合 token 混合器捕获结构单元间可解释关系,从而在有限计算资源下免去手动特征选择并提升分子构象动力学分析的鲁棒性。
2024-12-31 cs.LG physics.chem-ph physics.comp-ph
Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors
该研究针对GNN同图跨任务迁移的评估缺陷,提出无泄漏协议,发现迁移方向性规律,引入CTS指标,表明数据集同质性可指导机制选择以避免负迁移。
2026-07-31 cs.LG cs.SI
Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
本文将消息传递逆过程应用于三种 GNN 变体,在异配图上生成可区分节点表示,显著提升预测性能并可在数百层下缓解过平滑。
2024-06-11 cs.LG cs.SI
XGNN: Towards Model-Level Explanations of Graph Neural Networks
Texas A&M University(德克萨斯农工大学);Michigan State University(密歇根州立大学)
图神经网络(GNNs)通过聚集和组合邻居信息来学习节点特征,在许多图任务上取得了很好的性能。然而,GNN大多被视为黑箱,缺乏人类可理解的解释。因此,如果GNN模型无法解释,它们就不能完全信任并用于某些应用领域。在这项工作中,我们提出了一种新的方法,称为XGNN,在模型级解释GNN。我们的方法可以提供高层次的见解和对GNN如何工作的一般理解。特别是,我们建议通过训练图生成器来解释GNNs,以便生成的图模式最大化模型的某个预测。我们将图生成制定为强化学习任务,其中对于每一步,图生成器预测如何将边添加到当前图中。基于来自经训练的GNN的信息,经由策略梯度方法来训练图形生成器。此外,我们将几个图形规则,以鼓励生成的图形是有效的。在合成和真实世界数据集上的实验结果表明,我们提出的方法有助于理解和验证训练的GNN。此外,我们的实验结果表明,生成的图可以为如何改进训练的GNN提供指导。
2020-06-03 cs.LG stat.ML
Conditional Local Feature Encoding for Graph Neural Networks
University of Technology Sydney(悉尼科技大学);School of Electrical and Data Engineering(电气与数据工程学院)
针对深层 GNN 中邻域信息导致节点特征趋同的问题,本文提出 CLFE,通过拼接隐藏状态与前一阶段特征并线性变换来保留节点特有信息,在四类图任务的七个基准上稳定提升多种基线模型性能。
2024-05-08 cs.LG cs.SI
INGREX: An Interactive Explanation Framework for Graph Neural Networks
Seoul National University(首尔国立大学)
图神经网络(GNN)广泛应用于许多现代应用中,需要对其决策进行解释。然而,GNN的复杂性使得很难解释预测。尽管最近提出了几种方法,但它们只能提供简单和静态的解释,在许多场景下用户很难理解。因此,我们引入了INGREX,这是一个用于GNN的交互式解释框架,旨在帮助用户理解模型预测。我们的框架是基于多种解释算法和高级库实现的。我们展示了我们的框架在三个场景中,涵盖了GNN解释的共同需求,以展示其有效性和有用性。
2022-11-03 cs.AI cs.LG
BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices
Peking University(北京大学);Advanced Institute of Information Technology, Peking University(北京大学高等信息研究院)
近年来,图神经网络(GNNs)似乎是分析非欧图数据的最先进算法。通过应用深度学习从图结构中提取高级表示,GNN在各种任务中实现了非凡的准确性和强大的泛化能力。然而,随着图形尺寸的不断增加,越来越复杂的GNN层和更高的特征维数,GNN的计算复杂性呈指数增长。如何实时的推理GNN已经成为一个具有挑战性的问题,特别是对于一些资源有限的边缘计算平台。为了应对这一挑战,我们提出了BlockGNN,这是一种实现高效GNN加速的软硬件协同设计方法。在算法层面,我们建议利用块循环权重矩阵来大大降低各种GNN模型的复杂性。在硬件设计层面,我们提出了一种流水线CirCore架构,支持高效的块循环矩阵计算。基于CirCore,我们提出了一种新的BlockGNN加速器来计算各种低延迟的GNN。此外,为了确定不同的部署任务的最佳配置,我们还引入了一个性能和资源模型,帮助自动选择最佳的硬件参数。ZC 706 FPGA平台上的全面实验表明,在各种GNN任务上,与基线HyGCN架构相比,BlockGNN实现了高达$8.3\times$的加速,并且与Intel Xeon CPU平台相比,实现了$111.9\times$的节能。
2021-06-25 cs.AI cs.AR cs.LG
Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach
Department of Computer Science, Georgia State University(计算机科学系,佐治亚州立大学)
针对GNN重复聚合导致的过平滑问题,提出基于桁架的图稀疏化模型,从密集区域修剪冗余边以减少过度邻域信息聚合,将其应用于多种基线模型后,在真实数据集的图分类任务中显著提升性能。
2024-07-16 cs.AI cs.LG
Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective
Michigan State University(密歇根州立大学);New Jersey Institute of Technology(新泽西理工学院);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,图神经网络(GNNs)在许多现实世界的应用中取得了显着的成功,如推荐和药物发现。尽管取得了成功,但过度平滑已被确定为限制深度GNN性能的关键问题之一。这表明,由于堆叠的聚合器,学习的节点表示是高度不可区分的。在本文中,我们提出了一个新的视角来看待深度GNN的性能下降,即,特征过相关通过对这一问题的实证和理论研究,我们证明了更深层次GNN中特征过相关性的存在,并揭示了导致这一问题的潜在原因。为了减少特征相关性,我们提出了一个通用框架DeCorr,它可以鼓励GNN编码更少的冗余信息。大量的实验表明,DeCorr可以帮助实现更深的GNN,并且是对解决过度平滑问题的现有技术的补充。
2022-06-15 cs.AI cs.LG
CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction
LG AI Research(LG人工智能研究)
提出基于交叉注意力的多模态模型CAST,融合图节点级与文本token级特征并引入掩码节点预测预训练,在四项材料性能预测任务上实现10.2%至35.7%的MAE提升。
2025-08-08 cond-mat.mtrl-sci cs.AI cs.LG
GNN: Graph Neural Network and Large Language Model for Data Discovery
Denison University(丹尼森大学)
本文提出GNN算法,结合图神经网络与大型语言模型扩展PLOD,克服预定义效用函数和人工属性排名的缺陷,实现对文本类型值和用户偏好的理解,提升数据发现预测的可靠性。
2024-08-27 cs.CL cs.DB cs.LG
Graph Neural Networks Uncover Geometric Neural Representations in Reinforcement-Based Motor Learning
Imperial College London(帝国理工学院);University of Bayreuth(拜罗伊特大学)
本研究利用图神经网络(GNN)结合EEG通道的图结构,探究强化运动学习对运动规划神经活动的影响,通过任务对称预训练策略提升性能并验证几何表征鲁棒性,揭示了稳定的组特异性神经几何特征及其泛化特性。
2024-10-31 cs.LG eess.SP
Graph Rewriting for Graph Neural Networks
University of Leicester(莱斯特大学)
本文提出图重写神经网络(GReNN),将图重写作为图神经网络的形式化语义基础与工程方法,并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
A Hybrid GNN approach for predicting node data for 3D meshes
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupelec(巴黎中央理工-高等电力学院);LISN(计算机科学与神经科学实验室);MICS(数学与计算机科学实验室)
本文提出一种基于图卷积的混合代理图神经网络方法,将3D网格数据转换为图或点云结构进行深度学习,以替代耗时的有限元方法预测金属锻造最佳参数,新模型在仿真生成上优于现有PointNet和简单GNN且误差较低。
2023-10-23 cs.LG cs.NA math.NA
Are LLM-Enhanced Graph Neural Networks Robust against Poisoning Attacks?
State Key Laboratory of Integrated Services Networks, School of Cyber Engineering, Xidian University(西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室);Hangzhou Institute of Technology, Xidian University(西安电子科技大学杭州研究院)
本文研究了大语言模型增强的图神经网络在面对污染攻击时的鲁棒性,通过系统评估框架评估了24种模型,分析了影响鲁棒性的关键因素,并提出了新的攻击方法和防御策略。
2026-03-27 cs.LG
Logical Expressivity and Explanations for Monotonic GNNs with Scoring Functions
Department of Compute Science, University of Oxford(牛津大学计算机科学系);Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系)
针对GNNs在知识图谱链接预测中缺乏可解释性的问题,本文提出带评分函数的单调GNNs方法,可提取可靠Datalog规则解释预测,刻画表达能力,在基准测试中表现良好且生成大量可靠规则。
2025-08-14 cs.AI cs.LG cs.LO
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University(普林斯顿大学);Zhongguancun Haihua Institute for Frontier Information Technology(中关村海华前沿信息技术研究院);Peking University(北京大学);Pazhou Lab(琶洲实验室);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
已知归一化有助于深度神经网络的优化。奇怪的是,不同的架构需要专门的规范化方法。在本文中,我们研究了什么样的归一化对图神经网络(GNNs)是有效的。首先,我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比,InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释,但是由于图数据集中的批量噪声,BatchNorm的预处理效果较弱。其次,我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上,与使用其他归一化的GNN相比,使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力,在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML