Can GNNs Learn Link Heuristics? A Concise Review and Evaluation of Link Prediction Methods
Faculty of Engineering and Information Technology, University of Technology Sydney(工程与信息技术学院,悉尼大学);Faculty of Engineering and Information Sciences, University of Wollongong(工程与信息科学学院,沃林戈大学);College of Electrical Engineering, Zhejiang University(电气工程学院,浙江大学)
本文研究了图神经网络在链接预测中的能力,发现可训练节点嵌入能提升性能,且图密度越高提升越显著,为未来算法发展提供指导。
2025-12-07 cs.LG cs.SI
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University(普渡大学);Ludwig-Maximilians-Universitat München(慕尼黑大学)
这项工作提供了关于图消息传递神经网络(gMPNN)-如图神经网络(GNN)-执行归纳分布外(OOD)链接预测任务的能力的第一个理论研究,其中部署(测试)图的大小大于训练图。我们首先证明了非渐近界,表明基于置换等变(结构)节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后,我们提出了一个理论上合理的gMPNN输出结构成对(2节点)嵌入,并证明非渐近界显示,随着测试图的增长,这些嵌入收敛到一个连续函数的嵌入,保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
Learning Scalable Structural Representations for Link Prediction with Bloom Signatures
Rice University(Rice大学);Purdue University(Purdue大学)
针对现有图神经网络链接预测表达不足、边级模型扩展性差的问题,提出融入Bloom签名的GNN结构链接表示方法,兼具强表达力与高扩展性,在基准上性能优异且推理速度提升显著。
2023-12-28 cs.LG cs.SI
In-n-Out: Calibrating Graph Neural Networks for Link Prediction
Federal Institute of Ceará(塞阿拉联邦学院);Getulio Vargas Foundation(热图利奥·瓦加斯基金会);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
针对链路预测中图神经网络正负预测校准表现不一的问题,提出基于边标签与预测一致性对应嵌入波动幅度的IN-N-OUT方法,显著提升了链路预测的GNN校准效果,优于现有非专用基线。
2024-03-08 cs.LG
Edge-Level Automorphism in GNNs: A Quantitative Framework and Effective Designs For Link Prediction
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Michigan(密歇根大学)
针对GNN中节点自同构导致链接预测性能下降的问题,提出边自同构比定量框架及EO-GNN架构,通过自同构感知丢弃和子图轨道偏置聚合,在合成与真实图上分别提升高达42.36%和28.44%。
2026-09-29 cs.GT cs.LG
Logical Expressivity and Explanations for Monotonic GNNs with Scoring Functions
Department of Compute Science, University of Oxford(牛津大学计算机科学系);Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系)
针对GNNs在知识图谱链接预测中缺乏可解释性的问题,本文提出带评分函数的单调GNNs方法,可提取可靠Datalog规则解释预测,刻画表达能力,在基准测试中表现良好且生成大量可靠规则。
2025-08-14 cs.AI cs.LG cs.LO
Self-Explainable Graph Neural Networks for Link Prediction
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学);Amazon(亚马逊);Michigan State University(密歇根州立大学)
针对GNNs在链接预测中可解释性差及事后解释器次优的问题,提出一种自解释GNN框架,通过寻找节点的K个重要邻居学习特定于对的表示,同时实现准确预测与解释。
2023-05-21 cs.LG
Demystifying Distributed Training of Graph Neural Networks for Link Prediction
Department of Computer Science, Texas State University(计算机科学系,德克萨斯州立大学)
本文揭示了图神经网络分布式链接预测训练中的性能下降问题,提出SpLPG方法利用图稀疏化在基本保持预测准确率的同时将通信开销降低约80%。
2025-06-25 cs.LG
Unveiling the Role of Message Passing in Dual-Privacy Preservation on GNNs
University of Southern California(南加利福尼亚大学);University of Wyoming(怀俄明大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究揭示GNN中结构偏差下的消息传递是隐私泄露核心,提出含三大模块的双重隐私保护框架,在四个基准数据集上验证其可兼顾隐私保护与下游任务效用。
2023-08-25 cs.CR cs.LG cs.SI
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley(加州大学伯克利分校);LinkedIn(领英)
图神经网络(GNNs)作为深度学习的一个特殊领域,专注于提取网络的内在特征,在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的,鲁棒的,可扩展的和归纳的解决方案,使社交网络推荐系统具有丰富的网络功能,这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式,将子图中的高维异构信息编码到一个低维嵌入空间中。然而,一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中,我们提出了基于提升的GNN Meta学习器,它自动学习多个投影和相应的嵌入空间,捕获图形信号的不同方面。因此,子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外,AdaGNN与任何归纳GNN兼容,用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia(弗吉尼亚大学);Emory University(埃默里大学);Purdue University(普渡大学)
图神经网络(GNNs)近年来引起了广泛的研究关注,主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时,自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而,现有的图自动编码器被设计为重建直接链接,因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化,并且在拓扑结构重要时会出现不足。在这项工作中,我们重新审视了GNNs的图形编码过程,该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中,并提出了一种新的图形解码器,通过邻域Wasserstein重建(NWR)来重建关于邻近度和结构的整个邻域信息。具体来说,从每个节点的GNN嵌入,NWR联合预测其节点度和邻居特征分布,其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明,使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势,同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
Reification as a Transferable Vocabulary: Zero-Shot Link Prediction with Vanilla GNNs
Matr
通过将知识图谱具体化为固定六元关系词汇的表示,普通GNN即可实现零样本链接预测,其中现成GAT性能媲美专用基础模型ULTRA,并扩展至关系数据库外键预测。
2026-09-11 cs.AI cs.LG
Towards Precise Prediction Uncertainty in GNNs: Refining GNNs with Topology-grouping Strategy
KAIST(韩国科学技术院);AITRICS;Polymerize
针对GNN校准中邻域相似性假设的局限性,提出Simi-Mailbox方法,结合邻域相似性与节点置信度进行分组温度缩放,实现细粒度校准,最高降低13.79%预测误差。
2025-02-23 cs.LG
Revisiting graph neural networks and distance encoding from a practical view
Purdue University(普渡大学);Stanford University(斯坦福大学)
从实用角度重新审视图神经网络与距离编码,解释 DE 如何提升链接预测与节点分类性能,通过实验验证其有效性并给出使用建议。
2020-11-29 cs.LG cs.SI
Node Duplication Improves Cold-start Link Prediction
University of Washington(华盛顿大学);Snap Inc.(Snap公司);University of Notre Dame(诺特丹大学);University of California, Riverside(加州大学河滨分校)
针对图神经网络在链路预测中低度节点(冷启动场景)性能不佳的问题,提出即插即用的NodeDup节点复制增强技术,通过多视图视角提升性能,且不损害高度节点表现,实验验证了显著效果。
2025-08-01 cs.LG cs.SI
Improving Subgraph-GNNs via Edge-Level Ego-Network Encodings
Universitat Pompeu Fabra(庞培法布拉大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);ISI Foundation Turin(都灵ISI基金会)
本文提出边级自我网络编码以增强子图GNN,理论上证明其表达能力优于基于节点的子图MP-GNN,并在多个基准上匹配或改进基线且显著降低内存使用。
2024-05-02 cs.AI cs.LG
Link Prediction without Graph Neural Networks
Rice University(莱斯大学)
针对图神经网络在链路预测中因图稀疏性导致的类别不平衡问题,提出拓扑中心框架Gelato,结合图学习增强与N-pair损失训练,准确率提升145%且大幅降低参数量和计算开销。
2023-05-23 cs.LG cs.SI
Link Stealing Attacks Against Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Hong Kong University of Science and Technology(香港科技大学);University of Birmingham(伯明翰大学);University of Lausanne(洛桑大学);Duke University(杜克大学)
本文从链接窃取攻击视角系统分析归纳式GNN隐私,提出仅后验与组合攻击,并在六个数据集上验证其有效性、鲁棒性及现有防御不足。
2024-05-09 cs.CR cs.LG
Optimizing Long-tailed Link Prediction in Graph Neural Networks through Structure Representation Enhancement
Ant Group(蚂蚁集团)
本文提出LTLP框架,通过为尾部节点对补充高质量边并强制同类别内头部和尾部节点对表示对齐,消除共同邻居长尾分布的负面影响,提升图神经网络链路预测性能。
2024-07-30 cs.LG
Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory
The School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);The Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本文针对基于扩散的图神经网络过平滑问题,从算子半群理论出发证明其与扩散算子遍历性内在相关,提出通用破遍历性缓解方法,实验验证可有效减轻轻过平滑并提升节点分类性能。
2025-03-24 cs.LG
Blink: Link Local Differential Privacy in Graph Neural Networks via Bayesian Estimation
National University of Singapore(新加坡国立大学)
本文提出Blink方法,通过在去中心化节点上应用链路本地差分隐私,并利用贝叶斯估计对图拓扑去噪,有效缓解了隐私保护对GNNs准确性的影响,在多种隐私预算下均优于现有方法。
2023-09-07 cs.CR cs.LG
Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs
Tsinghua University(清华大学);Simon Fraser University(西蒙弗雷泽大学)
图神经网络(GNN)是一种新兴的基于图的机器学习模型。虽然理论上已经证明足够深的GNN能够完全保留图结构,但实际上大多数现有的GNN模型都是浅的,基本上是以特征为中心的。我们的经验和分析表明,现有的浅GNN不能很好地保持图形结构。为了克服这一根本挑战,我们提出了Eigen-GNN,这是一个简单而有效的通用插件模块,可以提高GNN保留图结构的能力。具体来说,我们通过将GNNs视为一种降维并扩展初始降维基,将图结构的特征空间与GNNs集成在一起。在不需要增加深度的情况下,Eigen-GNN在处理特征驱动和结构驱动的任务时具有更大的灵活性,因为初始基包含节点特征和图结构。我们提出了广泛的实验结果,以证明本征GNN的任务,包括节点分类,链接预测,图同构测试的有效性。
2020-06-08 cs.LG stat.ML
Towards Label Position Bias in Graph Neural Networks
Michigan State University(密歇根州立大学);North Carolina State University(北卡罗来纳州立大学);TigerGraph(TigerGraph公司);Amazon(亚马逊公司);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文首次揭示图神经网络中的标签位置偏差现象,提出标签邻近度得分进行量化,并设计了一种可学习无偏图结构的优化框架,有效缓解该偏差并提升节点分类性能。
2023-05-25 cs.LG
Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns
Purdue University(普渡大学);Amazon(亚马逊)
图神经网络通过融合网络结构和节点特征,在多个基于图的学习任务上取得了巨大的成功。现代GNN模型建立在通过消息传递迭代聚合邻居/邻近特征的基础上。它的预测性能已被证明是由图中的混合约束的,这是一个关键属性,其中具有相似属性的节点相互混合/连接。我们观察到,现实世界中的网络表现出异构或多样化的混合模式和传统的全球测量的非线性,如全球非线性系数,可能不是一个代表性的统计在量化这种混合。我们采用了一个广义的概念,节点级的可学习性,一个基于节点级的概念,以更好地表示不同的模式,并准确地量化GNN的可学习性。我们发现,广泛的GNN模型的预测性能与节点级别的重复性高度相关。为了打破这一限制,在这项工作中,我们专注于将输入图转换成一个计算图,其中包含接近和结构信息作为不同类型的边缘。由此产生的多关系图具有增强的可扩展性,更重要的是,保留了丰富的信息,从原始图。然后,我们建议在这个计算图上运行GNN,并表明在结构和接近度之间进行自适应选择可以提高不同混合下的性能。从经验上讲,我们展示了在各种现实世界的图学习基准测试中采用我们的转换框架进行半监督节点分类任务的好处。
2021-06-11 cs.LG cs.SI
Explaining Dynamic Graph Neural Networks via Relevance Back-propagation
University of California Irvine(加州大学欧文分校)
图神经网络(GNN)在捕获图结构数据中的丰富信息方面表现出显着的有效性。然而,GNN的黑盒性质阻碍了用户对模型的理解和信任,从而导致其应用的困难。虽然近年来对GNN的解释研究很繁荣,但大多数研究都集中在静态图上,而动态GNN的解释几乎没有探索。由于动态GNN具有时变图结构的独特特性,因此解释动态GNN具有挑战性。直接使用现有的模型设计的静态图上的动态图是不可行的,因为他们忽略了快照之间的时间依赖性。在这项工作中,我们提出DGExplainer来为动态GNN提供可靠的解释。DGExplainer将动态GNN的输出激活分数重新分配到其前一层神经元的相关性,迭代直到获得输入神经元的相关性分数。我们在真实世界的数据集上进行定量和定性实验,以证明所提出的框架在识别动态GNN的链接预测和节点回归的重要节点方面的有效性。
2022-07-22 cs.LG
wsGAT: Weighted and Signed Graph Attention Networks for Link Prediction
unict(恩纳波利卡大学(UNICT))
图神经网络(GNN)已被广泛用于学习图上的表示并解决来自广泛领域的许多现实问题。在本文中,我们提出了wsGAT,这是图注意力网络(GAT)层的扩展,旨在解决缺乏可以处理具有签名和加权链接的图的GNN的问题,这些链接在信任和相关网络中无处不在。我们首先评估我们的建议的性能进行比较,对GCNII在加权链接预测任务,对SGCN在链接符号预测任务。之后,我们将这两个任务结合起来,并展示了它们在预测链接的符号权重及其存在性方面的表现。我们在真实网络上的结果表明,具有wsGAT层的模型优于具有GCNII和SGCN层的模型,并且在预测有符号权重时,性能没有损失。
2021-09-21 cs.LG cs.SI physics.soc-ph
Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning
Purdue University(普渡大学);Stanford University(斯坦福大学)
学习图中节点集的表示对于从节点角色发现到链接预测和分子分类的应用是至关重要的。图神经网络在图表示学习方面取得了巨大的成功。然而,GNN的表达能力受到1-Weisfeiler-Lehman(WL)测试的限制,因此GNN为实际上可能非常不同的图子结构生成相同的表示。最近通过模仿高阶WL测试提出的更强大的GNN只专注于表示整个图,并且它们在计算上效率低下,因为它们不能利用底层图的稀疏性。在这里,我们提出并数学分析了一般类的结构相关的功能,称为距离编码(DE)。DE帮助GNN表示任何节点集,同时提供比1-WL测试更严格的表达能力。DE捕获要学习其表示的节点集与图中每个节点之间的距离。为了捕获距离,DE可以应用各种图距离度量,例如最短路径距离或广义PageRank分数。我们提出了两种方式让GNN使用DE(1)作为额外的节点特征,以及(2)作为GNN中消息聚合的控制器。这两种方法都可以利用底层图的稀疏结构,从而提高计算效率和可扩展性。我们还证明了DE可以区分嵌入在几乎所有常规图中的节点集,而传统的GNN总是失败。我们评估DE在六个真实网络上的三个任务:结构角色预测,链接预测和三角预测。结果表明,我们的模型在准确性和AUROC方面优于没有DE的GNN高达15%。此外,我们的模型也明显优于其他专门为上述任务设计的最先进的方法。
2020-10-29 cs.LG stat.ML
Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages
University of Electronic Science and Technology of China(电子科技大学)
如今,遵循消息传递范式的图神经网络(GNNs)成为图形数据学习的主要方式。这种范例中的模型必须花费额外的空间来使用邻接矩阵查找相邻节点,并花费额外的时间来聚合来自相邻节点的多个消息。为了解决这个问题,我们开发了一种名为LinkDist的方法,该方法将连接节点对的自我知识提取到多层感知器(MLP)中,而无需聚合消息。对8个真实世界数据集的实验表明,来自LinkDist的MLP可以在不知道其邻接关系的情况下预测节点的标签,但在半监督和全监督节点分类的情况下,与GNN相比具有相当的准确性。此外,LinkDist受益于其非消息传递范式,我们还可以以对比的方式从任意采样的节点对中获取自我知识,以进一步提高LinkDist的性能。
2021-06-16 cs.AI cs.LG
A Deep Graph Neural Networks Architecture Design: From Global Pyramid-like Shrinkage Skeleton to Local Topology Link Rewiring
Shanghai Jiao Tong University(上海交通大学)
表达性在评估深度神经网络中起着基础性的作用,它与理解性能改进的极限密切相关。在本文中,我们提出了一个三管道的训练框架的基础上的关键表现力,包括全球模型收缩,权重进化,链接的权重重新布线。具体来说,我们提出了一个类似于骨架的骨架,以克服影响信息传输的鞍点。然后,我们分析了网络拓扑结构中的模块化(聚类)现象的原因,并使用它来重新布线潜在的错误加权链接。我们对节点分类进行了数值实验,结果证实了所提出的训练框架在快速收敛和对潜在错误加权链接的鲁棒性方面显着提高了性能。GNN的结构设计从动力学和拓扑空间两个方面验证了GNN的表达能力,为设计更高效的神经网络提供了指导。
2020-12-16 cs.AI cs.LG
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University(北京大学人工智能研究院);School of Electrical and Computer Engineering Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本文提出标注技巧,通过在GNN前标注节点与目标节点集合的关系,解决多节点表示学习中无法捕捉节点间依赖的问题,并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
Benchmarking Positional Encodings for GNNs and Graph Transformers
ETH Zurich(苏黎世联邦理工学院)
本文提出了一种统一的基准测试框架,用于评估图神经网络和图变换器中定位编码的效果,发现高表达性PEs在现实任务中可能表现不佳,同时识别出若干表现优异的简单模型-PE组合。
2026-01-13 cs.AI cs.LG
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
Korea University(高丽大学)
图神经网络(GNN)由于其对图结构数据的强大表示能力,已被广泛应用于各个领域。尽管GNN取得了成功,但大多数现有的GNN都被设计为学习固定和同构图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时,这些限制尤其成问题。为了解决这一限制,我们提出了能够生成新的图结构的图Transformer网络(GTN),其排除了噪声连接并包括有用的连接(例如,元路径),同时以端到端的方式学习新图形上的有效节点表示。我们进一步提出了GTN的增强版本,快速图Transformer网络(FastGTN),提高了图变换的可扩展性。与GTN相比,FastGTN的速度快230倍,使用的内存少100倍,同时允许与GTN相同的图形转换。此外,我们扩展图变换的语义接近的节点,允许非本地操作超越元路径。在同构图和异构图上的大量实验表明,具有非局部操作的GTN和FastGTN实现了节点分类任务的最新性能。代码可在以下网址获得:https://github.com/seongjunyun/Graph_Transformer_Networks
2021-06-11 cs.AI cs.LG cs.SI
FakeEdge: Alleviate Dataset Shift in Link Prediction
University of Notre Dame(圣母大学)
链接预测是图结构数据中的一个关键问题。由于图神经网络(GNN)最近的成功,提出了各种基于GNN的模型来解决链接预测任务。具体来说,GNN利用消息传递范式来获得节点表示,这依赖于链路连接。然而,在链接预测任务中,训练集中的链接总是存在的,而测试集中的链接尚未形成,导致连接模式的差异和学习表示的偏差。这导致了数据集移动的问题,降低了模型的性能。本文首先识别了链接预测任务中的数据集移位问题,并从理论上分析了现有的链接预测方法如何容易受到数据集移位的影响,然后提出了一种与模型无关的FakeEdge技术,通过减少训练集和测试集之间的图拓扑差距来解决这个问题。大量的实验证明了FakeEdge在各个领域的多个数据集上的适用性和优越性。
2022-12-03 cs.LG cs.SI stat.ML
Pitfalls in Link Prediction with Graph Neural Networks: Understanding the Impact of Target-link Inclusion & Better Practices
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Maryland, College Park(马里兰大学帕克分校);AWS AI Research and Education(AWS人工智能研究与教育)
本文揭示GNN链接预测中纳入目标边导致的过拟合、分布偏移与测试泄漏问题,并提出SpotTarget框架,通过训练和测试时排除相应目标边显著提升稀疏与稠密图中低度节点的预测性能。
2023-12-18 cs.IR cs.LG cs.SI
Node Injection Link Stealing Attack
Eurecom(欧洲通信学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
本文提出一种隐蔽的节点注入链接窃取攻击,在归纳设置下通过API推断私有边信息,并探讨差分隐私在隐私与效用间的权衡,凸显GNN隐私漏洞及防护必要性。
2023-07-25 cs.CR cs.LG
Link Prediction with Physics-Inspired Graph Neural Networks
Italian Ministry of Education and Research(意大利教育科研部)
针对异配数据集下的链接预测问题,提出GRAFF-LP模型和受物理启发的读出函数,通过隐式分离边梯度有效区分边,提升基线性能并指出需为链接预测定制异配性度量。
2025-06-26 cs.IR cs.LG cs.SI
Understanding the Design Principles of Link Prediction in Directed Settings
Block, Inc.(布洛克公司)
针对现有图表示学习多基于无向假设、难以捕捉有向交互的问题,本文将无向场景的核心启发式方法适配到有向链路预测任务,通过实验验证其竞争力,并据此提出性能超越基线和现有最优GNNs的新型有向链路预测框架。
2025-02-20 cs.LG
FoSR: First-order spectral rewiring for addressing oversquashing in GNNs
UCLA(加州大学洛杉矶分校);MPI MiS(马克斯·普朗克数学研究所)
图神经网络(GNN)能够通过沿着图的边缘传递消息来利用图数据的结构。虽然这允许GNN根据图结构学习特征,但对于某些图拓扑,它会导致低效的信息传播和称为过度挤压的问题。最近,这与图的曲率和谱隙有关。另一方面,在消息传递图中添加边会导致节点表示越来越相似,并导致过度平滑的问题。我们提出了一个计算效率高的算法,防止oversquashing系统添加边的基础上频谱扩展的图形。我们将其与关系架构相结合,这使得GNN保留了原始的图结构,并可证明地防止了过度平滑。我们发现实验中,我们的算法优于现有的图重新布线方法在几个图分类任务。
2023-02-16 cs.LG stat.ML
Mitigating the Structural Bias in Graph Adversarial Defenses
Department of Electrical Engineering, City University of Hong Kong(香港城市大学电子工程系);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院)
针对图对抗防御方法在低度数节点上表现出的结构偏差问题,提出包含异质-同质增强图构建、$k$NN增强图构建和多视图节点级注意力模块的防御策略,有效缓解了GNNs对抗攻击的结构偏差并提升了防御鲁棒性。
2025-04-29 cs.AI cs.CR cs.LG
On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation
Hong Kong Baptist University(香港浸会大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本研究首次全面探究图重构攻击的隐私风险,将GNN视为马尔可夫链并通过链近似分析其原理,提出信息论指导的自适应攻击与低精度损失防御方法,在多数据集和GNN上取得SOTA效果。
2023-06-15 cs.CR cs.LG
'Hello, World!': Making GNNs Talk with LLMs
Kim Jaechul Graduate School of AI, KAIST(金 Jaechul人工智能研究生院,韩国科学技术院)
针对GNN黑盒问题,提出基于LLM的GLN框架,以人类可读文本作为隐藏表示并融合图注意力等高级技术,在实现零样本节点分类与链路预测优异性能的同时,直观揭示GNN内部机制。
2025-09-15 cs.LG
VertexSerum: Poisoning Graph Neural Networks for Link Inference
Northeastern University(东北大学)
针对GNNs中图链接的隐私泄露问题,提出图投毒攻击VertexSerum,通过放大连通性泄露并嵌入注意力机制提升链接推断准确度,在多数据集和GNN结构上AUC平均提升9.8%,且适用于黑盒与在线学习场景。
2023-08-02 cs.AI cs.CR cs.LG
Learning Resource Allocation Policy: Vertex-GNN or Edge-GNN?
本文分析Vertex-GNN与Edge-GNN在学习无线资源分配策略(链路调度、功率控制、预编码)中的表达能力,发现Edge-GNN在区分信道矩阵上更优,且能以更低训练和推理时间达到相同性能。
2023-12-24 cs.LG eess.SP
AutoGEL: An Automated Graph Neural Network with Explicit Link Information
The Hong Kong University of Science and Technology(香港科技大学)
最近,图神经网络(GNN)在各种现实世界的场景中越来越受欢迎。尽管取得了巨大的成功,但GNN的架构设计严重依赖于手工劳动。因此,自动图神经网络(AutoGNN)引起了研究界的兴趣和关注,近年来取得了显着的性能改善。然而,现有的AutoGNN工作主要采用隐式的方式来建模和利用图中的链接信息,这对于图上的链接预测任务没有很好的正则化,并且限制了AutoGNN对其他图任务的性能。在本文中,我们提出了一种新的AutoGNN工作,明确建模的链接信息,简称AutoGEL。通过这种方式,AutoGEL可以处理链接预测任务,并提高AutoGNN在节点分类和图分类任务上的性能。具体而言,AutoGEL提出了一种新的搜索空间,包含层内和层间设计的各种设计维度,并采用了更强大的可微搜索算法,以进一步提高效率和有效性。在基准数据集上的实验结果证明了AutoGEL在多个任务上的优越性。
2021-12-02 cs.AI cs.LG
Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries
Imperial College London(帝国理工学院);Twitter(推特);Purdue University(普渡大学);University of Oxford(牛津大学);NVIDIA Research(英伟达研究院)
子图GNN是最近一类表达性图神经网络(GNN),其将图建模为子图的集合。到目前为止,可能的子图GNN架构的设计空间以及它们的基本理论属性在很大程度上仍然是未开发的。在本文中,我们研究了最突出的形式的子图方法,它采用基于节点的子图选择策略,如自我网络或节点标记和删除。我们解决两个中心问题:(1)这些方法的表达能力的上限是什么?(2)这些子图集合上的等变消息传递层族是什么?我们在回答这些问题的第一步是一个新的对称性分析表明,建模的对称性的基于节点的子图集合需要一个显着较小的对称群比在以前的作品中采用的。然后,该分析用于建立子图GNN和不变图网络(IGN)之间的链接。我们首先通过3-WL限制子图方法的表达能力来回答上述问题,然后为子图方法提出一个通用的消息传递层家族,该家族概括了所有以前的基于节点的子图GNN。最后,我们设计了一个新的子图GNN称为SUN,它在理论上统一了以前的架构,同时在多个基准测试中提供了更好的经验性能。
2022-10-13 cs.LG
Mini-Batch Class Composition Bias in Link Prediction
University of Southampton School of Electronics and Computer Science(南安普顿大学电子与计算机科学学院)
研究发现,尽管图神经网络在跨图学习表示时表现良好,但链接预测模型在小批量依赖下可能学习出简单启发式方法,导致网络表示与节点分类相关特征不一致,表明链接预测训练可能高估了模型对图表示的一致性学习能力。
2026-04-28 cs.AI cs.LG
A Community-Enhanced Graph Representation Model for Link Prediction
School of Computer Science and Engineering(计算机科学与工程学院);School of Computer Science(计算机科学学院)
本文提出CELP框架,通过结合社区结构,改进图表示模型以提升链接预测的准确性。
2025-12-24 cs.LG cs.SI
How Expressive Are Graph Neural Networks in the Presence of Node Identifiers?
Institute for Logic Language and Computation(逻辑语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Department of Computer Science(计算机科学系);University of Oxford(牛津大学);Lehrstuhl Informatik 7(信息学7系);RWTH Aachen University(亚琛工业大学)
本文研究了在存在唯一节点标识符时,图神经网络的表达能力,探讨了其在不同聚合方式下的表现。
2026-01-29 cs.LG cs.LO
Neural Link Prediction with Walk Pooling
Nanjing Normal University(南京师范大学);Universität Basel(巴塞尔大学)
图神经网络通过联合利用图拓扑结构和节点属性来实现链接预测的高精度。然而,拓扑是间接表示的;基于子图分类的最先进的方法用到目标链路的距离标记节点,因此,尽管存在拓扑信息,但它被池化所缓和。这使得利用与网络形成机制相关的环和基序等特征具有挑战性。我们提出了一个链接预测算法的基础上,一个新的池方案称为WalkPool。WalkPool结合了拓扑拓扑学的表达能力和神经网络的特征学习能力。它通过相邻路径的随机游走概率来概括一个假定的链路。它不是从原始图中提取转移概率,而是通过关注学习到的特征来计算"预测"潜在图的转移矩阵;这可以被解释为特征敏感的拓扑指纹。WalkPool可以利用无监督节点功能,或者与GNN和端到端训练相结合。它在所有常见的链接预测基准上都优于最先进的方法,包括homophilic和heterophilic,有和没有节点属性。将WalkPool应用于一组无监督GNN显著提高了预测准确性,这表明它可以用作通用图池方案。
2022-03-16 cs.LG cs.SI
Integrating Transductive And Inductive Embeddings Improves Link Prediction Accuracy
IIT Bombay(印度理工学院孟买分校)
近年来,归纳图嵌入模型、\emph{viz.}、图神经网络(GNN)在在线社交网络中的链接预测(LP)方面变得越来越准确。这种网络的性能在很大程度上取决于输入节点的特征,这些特征在网络和应用中各不相同。选择适当的节点功能仍然依赖于应用程序,通常是一个悬而未决的问题。此外,由于隐私和道德问题,个性化节点特征的使用往往受到限制。事实上,来自在线社交网络的许多公开可用的数据不包含任何节点特征(例如,人口统计学)。在这项工作中,我们提供了一个全面的实验分析,表明利用转导技术(例如,Node2Vec)来获得初始节点表示,在此之后,归纳节点嵌入技术接管,导致链接预测准确性的实质性改进。我们证明,对于各种各样的GNN变体,从Node2Vec获得的节点表示向量作为GNN的高质量输入特征,从而提高LP性能。
2021-08-23 cs.AI cs.IR cs.LG
FairEGM: Fair Link Prediction and Recommendation via Emulated Graph Modification
Ohio State University(俄亥俄州立大学)
随着机器学习在各个领域的应用越来越广泛,研究人员和机器学习工程师必须考虑数据中可能由模型永久化的固有偏见。最近,许多研究表明,如果输入图有偏差,则这种偏差也会被吸收到图神经网络(GNN)模型中,这可能会对服务不足和代表性不足的社区不利。在这项工作中,我们的目标是通过联合优化两个不同的损失函数来减轻GNN学习到的偏差:一个用于链接预测的任务,另一个用于人口统计平价的任务。我们进一步实现了三种不同的技术启发图修改方法:全局公平优化(GFO),约束公平优化(CFO)和公平边缘加权(FEW)模型。这些技术模拟了GNN中改变底层图形结构的效果,并提供了比更集成的神经网络方法更高程度的可解释性。我们提出的模型模拟了对输入图的微观或宏观编辑,同时训练GNN并学习在链接推荐的背景下准确和公平的节点嵌入。我们证明了我们的方法在四个真实世界的数据集的有效性,并表明,我们可以提高推荐公平性的几个因素在可以忽略不计的成本链接预测准确性。
2022-10-20 cs.LG
Position-aware Graph Neural Networks
Stanford University(斯坦福大学)
学习节点嵌入,捕获节点在更广泛的图结构中的位置,对于图上的许多预测任务至关重要。然而,现有的图神经网络(GNN)架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里,我们提出了位置感知图神经网络(P-GNNs),这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后在锚集上学习非线性距离加权聚合方案。通过这种方式,P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点:它们是归纳的,可扩展的,并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务,包括链接预测和社区发现。我们表明,P-GNN始终优于最先进的GNN,在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
Large Scalable Cross-Domain Graph Neural Networks for Personalized Notification at LinkedIn
University of California, Davis(加州大学戴维斯分校)
针对专业平台通知推荐需整合多源信号等需求,本文提出部署于LinkedIn的跨域GNN系统,结合时间建模与多任务学习,在CTR等任务上优于单域基线,上线后提升了周活用户数与CTR,验证了其实际应用价值。
2025-06-15 cs.LG
Graph Neural Networks for User Identity Linkage
Arizona State University(亚利桑那州立大学)
社交媒体网站的日益普及和多样性鼓励了越来越多的人参与多个在线社交网络以享受其服务。每个用户可以创建一个用户身份来表示他或她在每个社交网络中的唯一公众人物。跨在线社交网络的用户身份链接是一个新兴的任务,并已引起越来越多的关注,这可能会影响各种领域,如推荐和链接预测。现有的大部分工作集中在挖掘网络邻近度或用户简档数据以发现用户身份链接。随着图神经网络(GNNs)的发展,由于用户在社交图中是相互联系的,学习用户和项目的潜在因素是提高用户身份关联的关键。然而,基于GNN预测用户身份链接面临挑战。例如,用户社交图谱对诸如用户的邻域信号的\textit{local}结构和具有社区属性的\textit{global}结构进行编码。为了同时解决这些挑战,在本文中,我们提出了一种新的图神经网络框架({ \m })的用户身份链接。特别是,我们提供了一个原则性的方法来共同捕捉本地和全球的信息,在用户-用户社交图,并提出了框架{ \m },共同学习用户表示用户身份链接。在真实数据集上的大量实验证明了该框架的有效性。
2019-03-06 cs.LG cs.SI