Ranking Structured Objects with Graph Neural Networks
Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所);Paderborn University(帕德博恩大学);Institute of Informatics(信息学研究所);University of Munich(慕尼黑大学)
图神经网络(GNN)已成功应用于许多结构化数据领域,其应用范围从分子性质预测到社交网络分析。受GNNs广泛适用性的启发,我们提出了所谓的RankGNNs家族,这是神经学习排序(LtR)方法和GNNs的组合。RankGNN是用一组图之间的成对偏好来训练的,这表明其中一个比另一个更受欢迎。这个问题的一个实际应用是药物筛选,专家希望在大量候选药物中找到最有希望的分子。我们根据经验证明,我们提出的成对RankGNN方法显著优于或至少匹配朴素逐点基线方法的排名性能,其中LtR问题通过基于GNN的图回归来解决。
2021-10-11 cs.LG
Learning Graph Normalization for Graph Neural Networks
Ping An Property & Casualty Insurance(平安财产保险股份有限公司);Beijing University of Posts and Telecommunications(北京邮电大学)
图神经网络(GNNs)已经引起了相当大的关注,并已成为一个新的有前途的范式来处理图结构的数据。GNN通常堆叠到多个层,并且通过传播和聚合关于图的相邻节点特征来计算每层中的节点表示。通过堆叠到多个层,GNN能够捕获图上数据之间的长期依赖关系,从而带来性能改进。为了有效地训练具有多个层的GNN,需要一些归一化技术(例如,逐节点归一化、逐批归一化)是必要的。然而,GNN的归一化技术与任务高度相关,不同的应用任务更喜欢不同的归一化技术,这是很难提前知道的。为了解决这个问题,在本文中,我们提出通过优化四个不同级别的归一化技术的加权组合来学习图归一化,包括节点归一化,邻接归一化,图形归一化和批量归一化,在其中,邻接方式归一化和图形-本文提出了分别考虑图的局部结构和全局结构的智能归一化方法。通过学习最佳权重,我们能够为特定任务自动选择单个最佳或多个归一化的最佳组合。我们对不同任务的基准数据集进行了广泛的实验,包括节点分类,链接预测,图分类和图回归,并确认学习的图规范化导致有竞争力的结果,学习的权重建议适当的规范化技术的特定任务。源代码发布在https://github.com/cyh1112/GraphNormalization。
2020-09-24 cs.CV cs.LG
MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Microsoft Research Asia(微软亚洲研究院)
图神经网络(GNN)通过聚合来自邻居的信息,在图表示学习上表现出了表达性能。最近,一些研究讨论了在图上建模邻域分布的重要性。然而,大多数现有的GNN通过单个统计来聚合邻居的特征(例如,mean,max,sum),这丢失了与邻居的特征分布相关的信息,因此降低了模型性能。本文受统计学中矩方法的启发,提出用多阶矩来描述邻域的特征分布。设计了一种新的GNN模型--混合矩图神经网络(MM-GNN),它包括多阶矩嵌入(MME)模块和基于元素注意力的矩适配器模块。MM-GNN首先计算每个节点的邻居的多阶矩作为签名,然后使用基于元素注意力的矩适配器为每个节点的重要矩分配更大的权重并更新节点表示。我们在15个真实世界的图(包括社交网络、引文网络和网页网络等)上进行了广泛的实验。评估我们的模型,结果表明MM-GNN优于现有的国家的最先进的模型。
2023-01-28 cs.LG
GraphSW: a training protocol based on stage-wise training for GNN-based Recommender Model
Academia Sinica(中央研究院)
近年来,研究者们利用知识图谱作为推荐系统的辅助信息来解决冷启动和稀疏性问题,提高推荐性能。现有的知识库感知推荐模型利用邻近实体的特征和结构信息来更新当前位置实体的嵌入。虽然丰富的信息是有益的后续任务,探索整个图的成本是巨大的和不切实际的。为了减少计算开销并保持特征提取的模式,KG感知推荐模型通常使用固定大小的随机邻居集,而不是KG中的完整信息。然而,这些方法中存在两个关键问题:首先,固定大小和随机选择的邻居限制了图的视图。此外,随着图特征阶数的增加,模型参数维数的增长可能导致训练过程难以收敛。为了解决上述局限性,我们提出了GraphSW,这是一种基于阶段式训练框架的策略,它在每个阶段只访问KG中实体的一个子集。在接下来的阶段中,从前一阶段学习的嵌入被提供给下一阶段的网络,并且模型可以从KG逐渐学习信息。我们在两个SOTA推荐模型RippleNet和知识图谱卷积网络(KGCN)上应用阶段式训练。此外,我们评估了六个真实世界数据集的性能,Last.FM 2011,Book-Crossing,movie,LFM-1b 2015,Amazon-book和Yelp 2018。实验结果表明,该策略可以帮助两个模型从KG中收集更多的信息,提高性能。此外,据观察,GraphSW可以帮助KGCN有效地收敛于高阶图特征。
2019-08-19 cs.IR cs.LG stat.ML
Federated Layer-Wise Exchange for Cross-Client Money Laundering Pattern Detection
Delft University of Technology, Department of Software Technology(代尔夫特理工大学软件技术系)
本文提出一种分层嵌入交换框架,通过客户端在前向传递中同步中间节点表示,弥补分布式图中子图模式识别的表示等价缺口,实验表明嵌入交换与联邦参数聚合互补而非可互换。
2026-10-14 cs.LG
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University(哈佛大学)
图的深度学习方法在各种领域都取得了卓越的性能。然而,最近的研究结果表明,即使是最强大和最流行的图神经网络(GNN),图结构的小而不明显的扰动也会灾难性地降低其性能。在这里,我们开发了GNNGuard,这是一种通用算法,可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系(如果存在),然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重,同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件,邻居重要性估计和逐层图存储器,我们的经验表明,这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集(包括一个具有挑战性的人类疾病图)上,实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是,GNNGuard可以在面对各种对抗攻击(包括针对性和非针对性攻击)时,有效地恢复GNN的最先进性能,并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
Label-Wise Graph Convolutional Network for Heterophilic Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNN)在为各种应用建模图方面取得了卓越的性能。然而,大多数现有的GNN假设图在节点标签中表现出强同质性,即,在图中连接具有相似标签的节点。他们未能推广到heterophilic图,其中链接的节点可能有不同的标签和属性。因此,在本文中,我们研究了一个新的框架,表现良好的图与同质或异质。更具体地说,我们提出了一个标签明智的消息传递机制,以避免聚合不同的节点表示所造成的负面影响,并保留异嗜上下文的表示学习。我们进一步提出了一个双层优化方法来自动选择具有同质/异质性的图的模型。理论分析和大量的实验表明,我们提出的框架的有效性,对同性和异性图的节点分类。
2023-02-16 cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
Multi-Scale Harmonic Encoding for Feature-Wise Graph Message Passing
School of Mathematics and the Data Science Institute, Shandong University(数学学院和数据科学研究院,山东大学);School of Mathematics, Shandong University(数学学院,山东大学);Data Science Institute, Shandong University(数据科学研究院,山东大学)
多尺度谐波编码用于特征维度图消息传递,通过频率感知机制实现信息选择性传播,提升图结构和频率分析能力。
2025-12-23 cs.LG
InteractionNet: Modeling and Explaining of Noncovalent Protein-Ligand Interactions with Noncovalent Graph Neural Network and Layer-Wise Relevance Propagation
KAIST(韩国科学技术院)
将基于图的深度学习模型的范围扩展到非共价蛋白质与配体相互作用,在基于结构的药物设计中赢得了越来越多的关注。用图神经网络(GNN)对蛋白质与配体相互作用进行建模在将蛋白质-配体复合物结构转换为图表示方面遇到了困难,并且留下了关于训练的模型是否正确地学习适当的非共价相互作用的问题。在这里,我们提出了一个GNN架构,表示为InteractionNet,它通过不同的卷积层学习两个独立的分子图,共价和非共价。我们还使用可解释性技术分析了InteractionNet模型,即,逐层相关性传播,用于检查模型预测的化学相关性。共价和非共价卷积步骤的分离使得可以独立地评估每个步骤的贡献并分析非共价相互作用的图形构建策略。我们将InteractionNet应用于蛋白质-配体结合亲和力的预测,并表明我们的模型成功地预测了非共价相互作用的性能和化学解释的相关性。
2020-05-12 cs.LG q-bio.BM stat.ML
Learn Layer-wise Connections in Graph Neural Networks
Paradigm Inc.(第四范式公司);Lenovo(联想集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,图神经网络(GNN)在现实世界数据集的各种应用中表现出卓越的性能。为了提高模型容量和缓解过度平滑问题,提出了几种通过逐层连接来合并中间层的方法。然而,由于高度多样化的图形类型,现有方法的性能在不同的图形上变化,导致需要数据特定的逐层连接方法。为了解决这个问题,我们提出了一个新的框架LLC(学习逐层连接)的基础上神经架构搜索(NAS)学习自适应连接GNN中间层之间。LLC包含一个新的搜索空间,它由3种类型的块和可学习的连接,和一个可微的搜索算法,使有效的搜索过程。在五个真实数据集上进行了大量的实验,结果表明,搜索的逐层连接不仅可以提高性能,而且可以缓解过度平滑问题。
2021-12-27 cs.AI cs.LG
Prioritized Propagation in Graph Neural Networks
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
针对现有GNN节点级传播方法忽略节点优先级的问题,提出可集成多数GNN的PPro框架,通过互增强机制和交替优化学习带优先级的节点传播,在8个基准上优于11种SOTA方法。
2023-11-06 cs.LG
Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks
Sci-Tech Academy of ZheJiang University(浙江大学科学技术研究院);Research Center of Hundsun LTD.(恒生电子股份有限公司研发中心);School of Finance, NanKai University(南开大学金融学院)
大量的工作已经证明,现有的邻域平均图神经网络不能有效地捕捉结构特征,许多工作表明,注入结构,距离,位置或空间特征可以显着提高GNN的性能,然而,注入整体结构和距离到GNN是一个直观的,但仍然没有触及的想法。在这项工作中,我们阐明了方向。该算法首先提取跳数结构信息和计算距离分布信息,将它们与节点的内在特征进行融合,嵌入到同一个向量空间中,然后相加。将得到的嵌入向量输入GAT(如GAT、AGDN),然后进行修正和平滑,实验表明DHSEGAT算法取得了较好的效果。该代码可在https://github.com/hzg0601/DHSEGATs上获得。
2021-12-06 cs.AI cs.LG
Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing Normal University(南京师范大学)
图神经网络(GNNs)已被广泛应用于众多领域。最近的一项工作结合分层结构和剩余连接,提出了一种改进的深度架构,将CAmouflage-Resistant GNN(CARE-GNN)扩展到称为Residual Layered CARE-GNN(RLC-GNN)的深度模型,形成自校正和增量学习机制,并在欺诈检测任务上实现了显着的性能改进。然而,我们发现RLC-GNN的三个问题,这是相邻信息的使用达到限制,训练困难,这是深层模型的固有问题,缺乏对节点特征和外部模式的综合考虑。在这项工作中,我们提出了三种方法来解决这三个问题分别。首先,我们建议通过余弦距离进行相似性度量,同时考虑局部特征和外部模式。然后,将相似性度量模块和邻域规范化思想与节点规范化和批量规范化相结合,提出了部分邻域规范化方法,克服了训练困难,同时减轻了图的高密度带来的噪声影响。最后,提出了中间信息补充的方法来解决信息不足的问题。实验在Yelp和Amazon数据集上进行。实验结果表明,本文提出的方法有效地解决了这三个问题。在Yelp数据集上,应用这三种方法后,我们在召回率、AUC和Macro-F1指标上分别获得了4.81%、6.62%和6.81%的改善。在Amazon数据集上,我们分别获得了1.65%和0.29%的召回率和AUC改善。
2022-02-14 cs.AI cs.LG
Towards a Unified Framework for Fair and Stable Graph Representation Learning
Harvard University(哈佛大学)
随着图神经网络(GNN)输出的表示越来越多地用于现实世界的应用,确保这些表示是公平和稳定的变得非常重要。在这项工作中,我们建立了反事实公平性和稳定性之间的关键联系,并利用它提出了一个新的框架,NIFTY(uNIfying Fairness and stabilITY),它可以与任何GNN一起使用,以学习公平和稳定的表示。我们引入了一个新的目标函数,同时考虑了公平性和稳定性,并使用Lipschitz常数开发了一个逐层权重归一化,以增强GNN中的神经消息传递。在这样做的过程中,我们在目标函数和GNN架构中都加强了公平性和稳定性。此外,我们从理论上表明,我们的逐层权重归一化促进了所得到的表示中的反事实公平性和稳定性。我们介绍了三个新的图形数据集,包括刑事司法和金融贷款领域的高风险决策。对上述数据集的广泛实验证明了我们框架的有效性。
2021-06-16 cs.LG
Rethinking Node-wise Propagation for Large-scale Graph Learning
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
针对大规模图学习中现有传播策略忽视节点拓扑差异的问题,提出自适应拓扑感知传播(ATP),一种即插即用的节点级优化策略,可离线执行并提升可扩展GNN的性能与效率。
2024-02-09 cs.AI cs.LG cs.SI
Debiasing Message Passing to Mitigate Popularity Bias in GNN-based Collaborative Filtering
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出DPAA框架,通过自适应嵌入感知交互加权和层间加权,缓解GNN协同过滤中的流行偏差问题,实验表明其优于现有方法。
2026-10-06 cs.IR cs.LG
Enhancing Intra-class Information Extraction for Heterophilous Graphs: One Neural Architecture Search Approach
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Paradigm. Inc.(第四范式公司);Lenovo(联想集团);Tsinghua University(清华大学)
近年来,图神经网络(GNN)在图表示学习中很受欢迎,它假设了同构属性,即,所连接的节点具有相同的标签或具有相似的特征。然而,它们可能无法推广到低/中同亲水平的异亲图。现有方法倾向于通过增强类内信息抽取来解决这个问题,即,要么通过设计更好的GNN来提高模型有效性,要么重新设计图结构以纳入更多来自远距离跳的潜在类内节点。尽管取得了成功,但我们观察到两个方面可以进一步改进:(a)增强节点本身的自我特征信息抽取,这在提取类内信息时更可靠;(b)设计节点级GNN可以更好地适应具有不同同质性比率的节点。在本文中,我们提出了一种新的方法IIE-GNN(类内信息增强图神经网络),以实现两个改进。在此基础上提出了一个统一的框架,该框架通过精心设计的7个分块来提取节点自身和邻居的类内信息。在神经结构搜索(NAS)的帮助下,我们提出了一种新的基于框架的搜索空间,并提供了一个结构预测器来为每个节点设计GNN。我们进一步进行实验,以表明IIE-GNN可以通过设计逐节点GNN来增强类内信息抽取来提高模型性能。
2022-11-20 cs.LG
Model-Level GNN Explanations via Rule-to-Graph Readout for Logit Reconstruction
University of Victoria(维多利亚大学);University of Alberta(阿尔伯塔大学);LSU ATHENA Lab(路易斯安那州立大学ATHENA实验室);University of Toronto(多伦多大学)
本文提出基于规则的图神经网络解释框架,通过规则级读取重建logit,实现全局解释与子图接地,提升预测一致性并加快速度。
2026-05-11 cs.AI cs.LG
A Critical Audit of Spatiotemporal Forecasting Benchmark Datasets and Models
Imperial College London(帝国理工学院);Ruhr University Bochum(鲁尔大学波鸿分校);Queen Mary University of London(伦敦玛丽女王大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文审查了时空预测领域的基准数据集与基线,发现空间无关线性模型表现优于预期,揭示了一阶差分数据集的结构偏差,建议减少对这类数据集的依赖并提出了应用分析结果开发GNN模型的新途径。
2026-10-07 cs.LG stat.ML
Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所)
提高GNN的可扩展性对于大型图至关重要。现有的方法利用三种抽样范式,包括逐点抽样,逐层抽样和子图抽样,然后设计无偏估计的可扩展性。然而,高方差仍然严重阻碍了GNN的性能。针对以往研究缺乏方差分析或只关注某一特定抽样范式的问题,提出了一个统一的节点抽样方差分析框架,分析了最小方差抽样的核心挑战“循环依赖”,即最小方差抽样的循环依赖性。例如,采样概率取决于节点嵌入,而节点嵌入直到采样完成才能计算。现有的研究要么忽略节点嵌入,要么引入外部参数,导致缺乏一种既高效又有效的方差缩减方法。因此,我们提出了基于\textbf{S}的\textbf{H}算法\textbf{E}估计的广义广义图神经网络(HE-SGNN),第一层估计节点嵌入的采样概率,以打破循环依赖,第二层利用采样GNN算子估计节点在整个图上的表示.考虑到技术上的差异,我们提出了不同的第一层估计,即,分层采样的时间序列模拟和子图采样的基于特征的模拟。在7个有代表性的数据集上的实验结果证明了该方法的有效性和效率。
2022-11-16 cs.AI cs.LG
Less is More: Hop-Wise Graph Attention for Scalable and Generalizable Learning on Circuits
Cornell University(康奈尔大学);University of Maryland(马里兰大学);Qualcomm Technologies, Inc.(高通技术公司)
针对图神经网络在电路EDA任务中可扩展性与泛化性不足的问题,提出跳数级图注意力模型HOGA,在两项EDA任务上精度更优且训练可分布式线性加速。
2024-04-10 cs.AR cs.LG
A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks
New York University(纽约大学);Bar-Ilan University(巴伊兰大学)
本文从神经坍缩视角研究图神经网络节点分类中的特征演化,揭示图拓扑结构条件对精确坍缩的限制,并解释了GNN中观察到的部分坍缩现象。
2023-10-26 cs.AI cs.IT cs.LG
Search For Deep Graph Neural Networks
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
目前面向GNN的NAS方法主要集中在寻找不同层次的聚合组件,这些组件具有浅而简单的架构,这受到“过平滑”问题的限制。为了进一步探索GNN架构的结构多样性和深度带来的好处,我们提出了一种具有新的两阶段搜索空间的GNN生成管道,其目的是以块方式自动生成高性能同时可转移的深度GNN模型。同时,为了缓解“过平滑”问题,我们在搜索空间中加入了多个灵活的剩余连接,并在基本GNN层中应用了恒等映射。对于搜索算法,我们使用深度q学习和epsilon贪婪探索策略和奖励重塑。在真实世界数据集上的大量实验表明,我们生成的GNN模型优于现有的手动设计和基于NAS的模型。
2021-09-21 cs.AI cs.LG
Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
图神经网络(GNN)已被广泛用于学习图结构数据的向量表示,并取得了比传统方法更好的任务性能。GNN的基础是消息传递过程,它将节点中的信息传播到其邻居。由于该过程每层进行一个步骤,所以节点之间的信息传播的范围在较低层中较小,并且其向较高层扩展。因此,GNN模型必须足够深入,以捕获图中的全局结构信息。另一方面,众所周知,深度GNN模型会遭受性能下降,因为它们通过许多消息传递步骤丢失了节点的本地信息,这对于良好的模型性能至关重要。在本研究中,我们提出了用于图级分类任务的多层注意力池(MLAP),它可以适应图中的局部和全局结构信息。它为每个消息传递步骤提供了一个注意力池层,并通过统一逐层图形表示来计算最终的图形表示。MPEG4架构允许模型利用具有多个位置级别的图的结构信息,因为它在由于过度平滑而丢失它们之前保留了分层信息。我们的实验结果表明,与基线架构相比,该架构提高了图分类性能。此外,对逐层图形表示的分析表明,从多个级别的地方聚集信息确实有可能提高学习图形表示的可辨别性。
2021-11-01 cs.LG
GSR-GNN: Training Acceleration and Memory-Saving Framework of Deep GNNs on Circuit Graph
University of Minnesota, Twin Cities(明尼苏达大学双城分校);New York University(纽约大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出GSR-GNN框架,通过可逆残差模块和分组稀疏非线性操作,实现深度GNN在大规模电路图上的高效训练,达到87.2%的内存节省和30倍以上的加速,同时保持相关质量指标的稳定。
2026-03-28 cs.AI cs.LG
Hop-Hop Relation-aware Graph Neural Networks
University of Sheffield(谢菲尔德大学)
图神经网络广泛应用于图表示学习。然而,大多数GNN方法都是针对同构或异构图设计的。在本文中,我们提出了一个新的模型,Hop-Hop感知图神经网络(HHR-GNN),统一这两种类型的图的表示学习。HHR-GNN通过利用知识图谱嵌入来学习中心节点在不同跳处的表示之间的关系分数,从而为每个节点学习个性化的感受域。在邻域聚合中,我们的模型同时允许跳感知投影和聚合。该机制使中心节点能够学习可应用于同质和异构图的逐跳邻域混合。五个基准测试的实验结果显示,与最先进的GNN相比,我们的模型具有竞争力的性能,例如,在大型异构图上,每个训练时期的时间成本提高了13 K。
2020-12-21 cs.LG
Towards Precise Prediction Uncertainty in GNNs: Refining GNNs with Topology-grouping Strategy
KAIST(韩国科学技术院);AITRICS;Polymerize
针对GNN校准中邻域相似性假设的局限性,提出Simi-Mailbox方法,结合邻域相似性与节点置信度进行分组温度缩放,实现细粒度校准,最高降低13.79%预测误差。
2025-02-23 cs.LG
A Dual-Graph Spatiotemporal GNN Surrogate for Nonlinear Response Prediction of Reinforced Concrete Beams under Four-Point Bending
Curtin University(科廷大学)
本文提出了一种双图时空图神经网络模型,用于预测四点弯曲条件下钢筋混凝土梁的非线性响应,通过结合节点和元素级的动力学,提高预测精度和效率。
2026-03-07 cs.LG
DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy
Emory University(埃默里大学);Zhejiang University(浙江大学)
本文提出DPAR,通过解耦特征投影和消息传递,利用差分隐私PageRank选择重要邻居,实现节点级差分隐私的图神经网络训练,提升隐私-效用权衡。
2024-03-15 cs.CR cs.LG
Towards Training GNNs using Explanation Directed Message Passing
Imperial College London(帝国理工学院);Ludwig-Maximilians Universität München(慕尼黑大学);Adobe(奥多比公司)
随着图神经网络(GNNs)在关键现实世界应用中的使用越来越多,已经提出了几种事后解释方法来理解它们的预测。然而,在模型训练期间,还没有在动态生成解释并利用它们来提高底层GNN模型的表达能力。在这项工作中,我们为GNN引入了一种新的解释导向的神经消息传递框架EXPASS(可解释的消息传递),它只聚合来自GNN解释方法确定为重要的节点和边缘的嵌入。EXPASS可以与任何现有的GNN架构和子图优化解释器一起使用,以学习准确的图嵌入。我们从理论上证明了EXPASS通过减缓Dirichlet能量的逐层损失来消除GNNs中的过平滑问题,并且香草消息传递和EXPASS框架之间的嵌入差异可以通过各自模型权重的差异来上界。我们的实证结果表明,使用EXPASS学习的图嵌入提高了预测性能,缓解了GNN的过度平滑问题,为图机器学习开发基于简化的训练框架开辟了新的前沿。
2022-12-01 cs.AI cs.LG
Efficient and effective training of language and graph neural network models
Amazon Web Services AI(亚马逊云科技人工智能部门);Amazon Search AI(亚马逊搜索人工智能部门)
我们能否将异构图结构与文本结合起来,学习高质量的语义和行为表示?图神经网络(GNN)对数值节点属性和图结构进行编码,以在各种监督学习任务中实现令人印象深刻的性能。当前的GNN方法受到文本特征的挑战,这些文本特征通常需要在提供给GNN之前被编码为数字向量,这可能会导致一些信息丢失。本文提出了一种高效的语言模型GNN(LM-GNN)框架,用于联合训练大规模语言模型和图神经网络。在我们的框架中的有效性是通过应用逐阶段微调的BERT模型首先与异构图信息,然后与GNN模型。提出了几种系统和设计优化,以实现可扩展和有效的训练。LM-GNN适应节点和边缘分类以及链接预测任务。我们评估了LM-GNN框架在不同数据集上的性能,并展示了所提出方法的有效性。LM-GNN在Amazon查询购买产品应用程序中提供有竞争力的结果。
2022-06-22 cs.CL cs.LG
AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange
Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对图神经网络通道冗余限制性能的问题,提出AKE-GNN框架,通过在多图视图的GNN间逐层自适应交换冗余与信息通道来增强表征能力,在15个数据集、8种模型、3类图任务上均优于现有模型及其集成。
2023-10-04 cs.AI cs.LG
mHC-GNN: Manifold-Constrained Hyper-Connections for Graph Neural Networks
National Institute of Science Education and Research(国家科学教育与研究 institute)
研究针对图神经网络的过度平滑及表达能力受限问题,提出mHC-GNN方法,通过流形约束超连接扩展节点表示,经双机制分析减轻过度平滑,能区分超越1-WL的图,实验验证其在深度网络中效果显著,消融实验凸显流形约束的重要性。
2026-07-21 cs.AI cs.LG
GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Adobe(奥多比);Harvard University(哈佛大学)
图去学习涉及从训练的图神经网络(GNN)模型中删除节点、节点标签和关系等图形元素,对于数据元素可能变得不相关、不准确或隐私敏感的现实应用至关重要。然而,现有的方法图unlearning要么恶化模型的权重共享所有节点或未能有效地删除边缘,由于他们的强烈依赖于局部图邻域。为了解决这些限制,我们引入了GNNDelete,这是一种新的模型不可知的逐层操作符,它优化了两个关键属性,即边缘一致性和邻域影响,用于图形学习。边缘一致性确保从模型权重和相邻表示中删除删除元素的影响,而邻域影响确保删除后保留剩余的模型知识。GNNDelete更新表示以从模型中删除节点和边,同时保留其余的学习知识。我们在七个真实世界的图上进行了实验,结果表明GNNDelete在边缘、节点和节点特征删除任务上的性能比现有方法高出38.8%(AUC),在区分删除的边缘和未删除的边缘上的性能比现有方法高出32.2%。此外,GNNDelete是高效的,比在WordNet18上从头开始重新训练GNN节省了12.3倍的时间和9.3倍的空间。
2023-02-26 cs.AI cs.LG
On Graph Neural Networks versus Graph-Augmented MLPs
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
从表达能力的角度来看,这项工作将多层图神经网络(GNNs)与我们称为图增强多层感知器(GA-MLP)的简化替代方案进行了比较,GA-MLP首先使用图上的某些多跳运算符来增强节点特征,然后以节点方式应用MLP。从图同构测试的角度,我们从理论上和数值计算表明,GA-MLP与适当的运营商可以区分几乎所有的非同构图,就像Weifeiler-Lehman(WL)测试。然而,通过将它们视为节点级函数并检查它们在根图上诱导的等价类,我们证明了GA-MLP和GNN之间的表达能力分离,这种分离在深度上呈指数级增长。特别是,与GNN不同,GA-MLP无法计算属性遍历的数量。我们还通过社区发现实验证明,与学习灵活性更高的GNN相比,GA-MLP可以受到其算子家族选择的限制。
2020-12-02 cs.LG math.CO stat.ML
Transformer with Implicit Edges for Particle-based Physics Simulation
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
基于粒子的系统为模拟具有复杂动力学的物理系统提供了一种灵活而统一的方法。大多数现有的基于粒子系统的数据驱动模拟器采用图神经网络(GNN)作为其网络骨干,因为粒子及其交互可以自然地由图节点和图边表示。然而,虽然基于粒子的系统通常包含数百甚至数千个粒子,但由于粒子相互作用的数量增加,将粒子相互作用显式建模为图边缘不可避免地导致显著的计算开销。因此,在本文中,我们提出了一种新的基于transformer的方法,被称为Transformer与隐式边缘(TIE),捕捉粒子相互作用的丰富语义的边缘自由的方式。TIE的核心思想是将涉及成对粒子相互作用的计算分散到每个粒子的更新中。这是通过调整自注意模块来实现的,以类似于GNN中的图边更新公式。为了提高TIE的泛化能力,我们进一步修改TIE与可学习的材料特定的抽象粒子,从局部粒子的语义解开全局材料明智的语义。我们评估我们的模型在不同领域的不同复杂性和材料。与现有的基于GNN的方法相比,TIE在所有这些领域都实现了卓越的性能和泛化能力。代码和模型可在https://github.com/ftbabi/TIE_ECCV2022.git上获得。
2022-07-22 cs.GR cs.LG
Higher-Order Explanations of Graph Neural Networks via Relevant Walks
Berlin Institute of Technology (TU Berlin)(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);RIKEN(理化学研究所);Google Research(谷歌研究院);Korea University(高丽大学);Max Planck Institut für Informatik(马克斯·普朗克信息学研究所)
图神经网络(GNN)是用于预测图结构化数据的流行方法。由于GNN将输入图紧密地缠绕到神经网络结构中,因此常见的可解释AI方法不适用。到目前为止,在很大程度上,GNN对用户来说仍然是黑匣子。在本文中,我们证明了GNN实际上可以使用高阶展开自然地解释,即通过识别共同有助于预测的边缘组。实际上,我们发现,这样的解释可以使用嵌套的归属方案,其中现有的技术,如逐层相关传播(LRP)可以应用在每一步提取。输出是与预测相关的进入输入图的遍历的集合。我们的新解释方法,我们表示为GNN-LRP,适用于广泛的图神经网络,并让我们提取文本数据的情感分析,量子化学中的结构-属性关系和图像分类的实际相关见解。
2020-11-27 cs.AI cs.LG stat.ML
A Piece-wise Polynomial Filtering Approach for Graph Neural Networks
Microsoft Research India(微软印度研究院)
图神经网络(GNN)利用来自节点特征和输入图拓扑的信号来提高节点分类任务性能。然而,这些模型往往在异嗜图上表现不佳,其中连接的节点具有不同的标签。最近提出的GNN可以在具有不同同质性水平的图上工作。其中,依赖于多项式图过滤器的模型已经显示出了希望。我们观察到,这些多项式图过滤器模型的解决方案也是一个超定方程组的解决方案。这表明,在某些情况下,模型需要学习一个合理的高阶多项式。在调查中,我们发现所提出的模型在学习这样的多项式,由于他们的设计无效。为了缓解这个问题,我们执行的图的特征分解,并建议学习多个自适应多项式滤波器作用于不同的子集的频谱。我们从理论上和经验上证明,我们提出的模型可以学习更好的过滤器,从而提高分类精度。我们研究了我们提出的模型的各个方面,包括依赖于使用的特征分量的数量,学习的潜在多项式过滤器,以及节点分类任务上的各个多项式的性能。我们进一步表明,我们的模型是可扩展的,通过评估大型图。我们的模型比最先进的模型实现了高达5%的性能增益,并且总体上优于现有的基于多项式滤波器的方法。
2021-12-07 cs.LG
Taurus: Accelerating Out-of-Core Graph Neural Network Inference on Billion-Scale Graphs
Department of Computational and Data Sciences (CDS), Indian Institute of Science (IISc), Bangalore 560012 India(计算与数据科学系,印度科学院(IISc),班加罗尔)
针对十亿规模图的GNN推理难题,提出单机系统金牛座,通过重新制定推理方式,借助多种技术手段,在核外图推理中避免读取浪费,减少相关压力和开销,相比基线性能提升显著。
2026-07-21 cs.DC cs.LG
Adaptive Graph Diffusion Networks
China Telecom Research Institute(中国电信研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
图神经网络(GNN)在图深度学习领域受到了广泛关注。然而,最近的研究经验和理论表明,深度GNN存在过度拟合和过度平滑问题。通常的解决方案要么无法解决深度GNN的大量运行时间,要么限制同一特征空间中的图卷积。我们提出了自适应图扩散网络(AGDN),它在不同的特征空间中执行多层广义图扩散,具有适度的复杂性和运行时间。标准的图扩散方法将转移矩阵的大而密集的幂与预定义的加权系数相结合。相反,AGDN将较小的多跳节点表示与可学习和广义加权系数相结合。我们提出了两种可扩展的加权系数捕获多跳信息的机制:逐跳注意(HA)和逐跳卷积(HC)。我们评估AGDN的多样性,具有挑战性的开放图基准(OGB)数据集与半监督节点分类和链接预测任务。在提交日期(2022年8月26日)之前,AGDN在ogbn-arxiv,ogbn-proteins和ogbl-ddi数据集上实现了前1名的性能,并在ogbl-citation 2数据集上实现了前3名的性能。在类似的Tesla V100 GPU卡上,AGDN在ogbn蛋白质数据集上的性能优于可逆GNN(RevGNN),复杂度为RevGNN的13%,训练运行时间为RevGNN的1%。AGDN还实现了与SEAL相当的性能,在ogbl-citation 2数据集上,SEAL的训练时间为36%,推理时间为0.2%。
2022-09-02 cs.AI cs.LG
Channel-Attentive Graph Neural Networks
Boğaziçi University(博阿济济大学)
本文提出自适应通道级消息传递模型Channel-Attentive GNN,通过学习关注邻居节点及特征通道来缓解图神经网络的过度平滑问题,在强异质性图上取得领先表现。
2025-03-05 cs.LG
MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
University of Toronto(多伦多大学);Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);RWTH Aachen University(亚琛工业大学);Jacobs Technion-Cornell Institute(雅各布斯特里昂-康奈尔研究所);Cornell Tech(康奈尔理工学院);Technion – IIT(以色列理工学院)
混合整数规划(MIP)技术提供了一种通用的方式制定和解决组合优化问题。虽然通常是可靠的,但最先进的MIP求解器将许多关键决策建立在手工制作的算法上,在很大程度上忽略了感兴趣问题的给定实例分布中的常见模式。在这里,我们提出了MIP-GNN,这是一个通用框架,用于通过数据驱动的见解来增强此类求解器。通过将给定混合整数线性规划(MILP)的变量约束交互编码为二分图,我们利用最先进的图神经网络架构来预测变量偏差,即,(近)最优解的分量平均值,指示变量在二进制MILP的(近)最优解中被设置为0或1的可能性。反过来,来自单个、一次训练的模型的预测偏差用于指导求解器,取代启发式组件。我们将MIP-GNN集成到最先进的MIP求解器中,将其应用于节点选择和热启动等任务,与两类具有挑战性的二进制MILP上的求解器默认设置相比,显示出显着的改进。
2022-05-27 cs.LG cs.NE math.OC
From GNNs to Symbolic Surrogates via Kolmogorov-Arnold Networks for Delay Prediction
本文提出FlowKANet,通过Kolmogorov-Arnold网络替代传统MLP层,实现高效且准确的延迟预测,并通过符号代理模型提升部署透明性。
2026-02-16 cs.LG cs.NI
Boosting Distributed Full-graph GNN Training with Asynchronous One-bit Communication
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
在大型图上训练图神经网络(GNN)具有挑战性,因为高内存需求和有限的GPU内存之间存在冲突。最近,分布式全图GNN训练已被广泛采用来解决这个问题。然而,大量的GPU间通信开销会导致严重的吞吐量下降。现有的通信压缩技术主要集中在传统的DNN训练,其瓶颈在于同步梯度和参数。我们发现它们在分布式GNN训练中效果不佳,因为障碍是前向传递过程中特征的逐层通信和后向传递过程中的特征梯度。为此,我们提出了一个高效的分布式GNN训练框架Sylvie,它在GNN中采用了一位量化技术,并进一步将缩减的通信与计算进行了流水线处理,以极大地减少开销,同时保持模型质量。详细地说,Sylvie提供了一个轻量级的Low-bit模块,用于在每一层中对发送的数据进行重定位,并将接收的数据重定位回全精度值。此外,我们提出了一个有界老化适配器来控制引入的老化,以实现进一步的性能增强。我们对各种模型和数据集进行了理论收敛分析和广泛的实验,以证明Sylvie可以将训练吞吐量大幅提高28.1倍。
2023-03-02 cs.AI cs.DC cs.LG
Asymmetric Learning for Graph Neural Network based Link Prediction
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
链接预测是许多基于图的应用中的基本问题,例如蛋白质-蛋白质相互作用预测。图神经网络(GNN)最近被广泛用于链接预测。然而,现有的基于GNN的链接预测(GNN-LP)方法在训练大规模图时存在可扩展性问题,这一问题很少受到研究人员的关注。本文首先对现有GNN-LP方法的计算复杂度进行了分析,揭示了其可扩展性问题源于其对称学习策略采用了同一类GNN模型来学习头节点和尾节点的表示。然后,我们提出了一种新的方法,称为非对称学习(AML),GNN-LP。AML的主要思想是采用GNN模型学习头节点表示,同时使用多层感知器(MLP)模型学习尾节点表示。此外,AML提出了一种行式采样策略来生成用于训练的小批量,这是使非对称学习策略用于训练加速的必要组成部分。据我们所知,AML是第一个采用非对称学习策略进行节点表示学习的GNN-LP方法。在三个真实的大规模数据集上的实验表明,AML的训练速度比使用对称学习策略的基线快1.7倍~ 7.3倍,而精度几乎没有损失。
2023-03-01 cs.LG cs.SI
Partition-wise Graph Filtering: A Unified Perspective Through the Lens of Graph Coarsening
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong Baptist University(香港 Baptist 大学)
本文提出粗化引导的分区式滤波(CPF),通过图粗化与特征聚类实现分区滤波,统一图级与节点级滤波范式,并在节点分类和异常检测中验证其有效性。
2025-05-22 cs.LG cs.NA eess.SP
Adaptive Visibility Graph Neural Network and its Application in Modulation Classification
Zhejiang University of Technology(浙江工业大学);Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制技术实验室)
我们的数字世界充满了时间序列和图表,它们捕捉了许多复杂系统的各个方面。传统上,在处理这两种不同类型的数据时存在各自的方法,例如,递归神经网络(RNN)和图神经网络(GNN),而近年来,利用可视图(VG)等技术,可以将时间序列映射到图上,从而使研究人员可以利用图算法挖掘时间序列中的知识。这种映射方法建立了时间序列和图形之间的桥梁,并有很高的潜力,以方便各种现实世界的时间序列的分析。然而,VG方法及其变体只是基于固定的规则,因此缺乏灵活性,在很大程度上限制了它们在现实中的应用。本文提出了一种自适应可见性图(Adaptive Visibility Graph,AVG)算法,该算法能够将时间序列自适应地映射到图中,并在此基础上利用GNN模型DiffPool作为分类器,进一步建立了端到端的分类框架AVGNet。然后,我们采用AVGNet的无线电信号调制分类,这是在无线通信领域的一个重要任务。模拟验证了AVGNet优于一系列先进的深度学习方法,在此任务中实现了最先进的性能。
2021-06-16 cs.LG eess.SP
Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer
Institute of Computing Technology, University of Chinese Academy of Sciences(中国科学院大学计算技术研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对数据饥渴场景下域级迁移依赖强假设且易受噪声影响的问题,提出KBL范式与Bridged-GNN,通过构建Bridged-Graph实现逐样本知识迁移,并在多类场景中显著优于SOTA。
2023-08-18 cs.LG
Learning Conjoint Attentions for Graph Neural Nets
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
在本文中,我们提出了联合注意力(CA),一类新的学习参加图神经网络(GNNs)的战略。除了考虑在GNN内传播的逐层节点特征外,CA还可以在计算注意力分数时结合各种结构干预,例如节点簇嵌入和可以在GNN外部学习的高阶结构相关性。因此,被联合标准视为重要的节点特征更有可能在GNN中传播。鉴于新的联合注意力策略,我们提出了图联合注意力网络(CAT),它可以学习嵌入有联合注意力所认为的重要潜在特征的表示。此外,我们从理论上验证了CAT的辨别能力。利用所提出的联合注意力策略的CAT已经在成熟的基准数据集中进行了广泛的测试,并与最先进的基线进行了全面的比较。所获得的显着性能证明了所提出的联合注意力的有效性。
2021-12-13 cs.LG
Infinite Impulse Response Graph Neural Networks for Cyberattack Localization in Smart Grids
Texas A&M University(德克萨斯农工大学);Arkansas State University(阿肯色州立大学)
本研究采用无限脉冲响应(IIR)图形神经网络(GNN),有效地建模固有的图形网络结构的智能电网数据,以解决网络攻击定位问题。首先,我们数值分析有限脉冲响应(FIR)和IIR图形滤波器(GF)的经验频率响应,以近似理想的频谱响应。我们表明,对于相同的滤波器阶数,IIR GF提供了一个更好的近似所需的光谱响应,他们也提出了相同的水平的近似低阶GF由于其合理的类型的滤波器响应。其次,我们提出了一个IIR GNN模型来有效地预测总线级别的网络攻击。最后,我们评估模型在各种网络攻击下的样本明智(SW)和总线明智(BW)的水平,并与现有的架构的结果进行比较。实验证明,该模型在SW和BW定位方面分别比最先进的FIR GNN模型高出9.2%和14%。
2022-06-25 cs.CR cs.LG cs.SY
FeatGraph: A Flexible and Efficient Backend for Graph Neural Network Systems
Cornell University(康奈尔大学);Amazon Web Services(亚马逊网络服务)
图神经网络(GNN)作为图上的机器学习的有前途的方法越来越受欢迎。与每个顶点/边与标量相关联的传统图形工作负载不同,GNN将特征张量附加到每个顶点/边。这个额外的特征维度,以及因此更复杂的顶点和边计算,对局部性和并行性有巨大的影响,现有的图形处理系统无法利用。本文提出了一种新的方法,通过协同优化图遍历和特征维度计算来加速GNN工作负载。RIGGraph提供了一个灵活的编程接口,通过在每个顶点/边上组合粗粒度稀疏模板和细粒度用户定义函数(UDF)来表达不同的GNN模型。RightGraph将对图遍历的优化集成到稀疏模板中,并允许用户使用特征维度计划(FDS)指定对UDF的优化。Graph可将端到端GNN训练和推理的速度在CPU上提高32倍,在GPU上提高7倍。
2020-09-29 cs.DC cs.LG
Geometry-Induced Diffusion on Graphs: A Learnable Weighted Laplacian for Spectral GNNs
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL));École Normale Supérieure – PSL(巴黎高等师范学院–PSL)
本文提出了一种简单的谱GNN架构mu-ChebNet,通过学习节点级权重函数mu来修改图拉普拉斯算子,从而改变传播几何而不改变图拓扑,从而促进信息传播的优选路径,帮助长距离信号避免高收缩瓶颈,无需重复层堆叠。
2026-05-21 cs.LG
WeaveNet for Approximating Two-sided Matching Problems
OMRON SINIC X Corporation(欧姆龙 SINIC X 公司);Tohoku University(东北大学)
本文提出专为二分图设计的新型图神经网络WeaveNet,通过保留边信息避免过度平滑,在公平稳定匹配这一强NP难问题上达到与专用最先进算法相当的性能。
2023-10-19 cs.LG