Maximising Weather Forecasting Accuracy through the Utilisation of Graph Neural Networks and Dynamic GNNs
天气预报是应对全球气候变化的重要任务。天气预报需要分析异构气象传感器生成的多变量数据。这些传感器包括地面传感器、无线电探空仪和安装在卫星上的传感器等,为了分析这些传感器产生的数据,我们使用基于图神经网络(GNNs)的天气预报模型。GNN是基于图学习的模型,在许多机器学习方法中表现出强大的经验性能。在这项研究中,我们研究了使用GNNs和传统的基于机器学习的模型进行天气预报的性能。
2023-02-08 cs.LG
AutoAC: Towards Automated Attribute Completion for Heterogeneous Graph Neural Network
Nanjing University(南京大学)
许多真实世界的数据可以建模为包含多种类型的节点和边的异构图。与此同时,异构图神经网络(GNNs)由于其优异的性能受到了越来越多的关注。然而,现有的工作主要集中在设计新颖的GNN模型,而忽略了另一个重要的问题,也有很大的影响模型的性能,即一些节点类型的属性缺失。手工属性补全需要大量的专家经验和领域知识。此外,考虑到节点之间语义特征的差异,属性补全应该是细粒度的,即,属性完成操作应该是节点特定的。此外,为了提高下游图学习任务的性能,属性完成和异构GNN的训练应该联合优化,而不是被视为两个单独的过程。为了解决上述挑战,我们提出了一个称为AutoAC的可区分属性补全框架,用于在异构GNN中进行自动补全操作搜索。我们首先提出了一个表达的完成操作搜索空间,包括拓扑相关和拓扑无关的完成操作。然后,我们提出了一个连续松弛模式,并进一步提出了一个可微的完成算法,其中的完成操作搜索制定为一个双层联合优化问题。为了提高搜索效率,我们利用两种优化技术:离散约束和辅助无监督图节点聚类。在真实世界数据集上的大量实验结果表明,AutoAC优于SOTA手工制作的异构GNN和现有的属性完成方法
2023-02-20 cs.LG
HAGNN: Hybrid Aggregation for Heterogeneous Graph Neural Networks
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Research Center for Graph Computing, Zhejiang Lab(浙江实验室图计算研究中心)
本文提出HAGNN框架,通过同时利用元路径邻居与直接邻居进行两阶段混合聚合,充分利用异构图语义信息,在节点分类、聚类和链接预测任务上优于现有模型。
2024-12-15 cs.LG
Graph Neural Networks for Inconsistent Cluster Detection in Incremental Entity Resolution
Amazon(亚马逊)
在线商店经常利用产品关系,如捆绑和替代品,以提高其目录质量,并引导客户通过无数的选择。使用成对产品匹配模型的实体解析提供了一种推断产品之间关系的方法。在成熟的数据存储库中,关系可能基本正确,但由于原始数据或实体解析系统中的错误,需要逐步改进。设计增量实体解析(IER)方法来改善关系的健康状况至关重要。然而,大多数现有的IER研究集中在新产品或信息添加到现有的关系。相对较少的研究已经做了检测当前关系中的低质量。本文提出了一种新的方法来识别不一致的集群(IC),现有的相关产品,不属于在一起的群体。我们建议把识别不一致的集群作为一个监督学习任务,它预测是否有相似性的加权边缘的产品图应划分为多个集群。在这种情况下,问题变成了加权图上的分类任务,并代表了图神经网络(GNN)等现代工具的一个有趣的应用领域。我们证明了现有的消息传递神经网络在这项任务中表现良好,超过了传统的图形处理技术。我们还为消息传递神经网络开发了一种新的消息聚合方案,进一步提高了GNN在此任务上的性能。我们将该模型应用于合成数据集,公共基准数据集和内部应用程序。我们的研究结果表明,IER和图神经网络的能力,开发有用的表示图分区的图分类的价值。
2021-05-12 cs.LG
Is Meta-Path Attention an Explanation? Evidence of Alignment and Decoupling in Heterogeneous GNNs
Indian Institute of Technology(印度理工学院);Brown University(布朗大学)
本文通过MetaXplain协议实证研究元路径注意力在异构图神经网络中的解释有效性,发现其在不同数据集上表现出高对齐性和解耦性,且解释诱导子图可提升预测性能。
2026-02-09 cs.LG
Heterogeneous Randomized Response for Differential Privacy in Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所);University of Florida(佛罗里达大学);University of Arkansas(阿肯色大学)
图神经网络(GNN)由于能够从图数据中的节点之间的特征和边学习联合表示,因此容易受到隐私推理攻击(PIA)的影响。为了防止GNN中的隐私泄漏,我们提出了一种新的异构随机响应(HeteroRR)机制,以保护节点的特征和边缘免受差分隐私(DP)保证下的PIA攻击,而不会在训练GNN时产生不必要的数据和模型效用成本。我们的想法是平衡的重要性和敏感性的节点的特征和边缘在重新分配的隐私预算,因为一些功能和边缘比其他更敏感或重要的模型效用。因此,我们在节点的特征和边缘两个级别上获得了明显更好的随机化概率和更严格的误差界限,从而使我们能够保持高数据效用来训练GNN。使用基准数据集进行的广泛的理论和实证分析表明,HeteroRR在节点特征和边缘的严格隐私保护下,在模型效用方面显著优于各种基线。这使我们能够有效地在DP保持GNN中捍卫PIA。
2022-11-10 cs.CR cs.LG
Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学);IBM Research(IBM研究院);Graphcore
迁移学习的成功已经推广了一些方法,这些方法涉及从大量数据源中预训练模型,然后针对特定任务进行微调。虽然这种方法已经成为自然语言处理等领域的标准,但化学迁移学习方法的实施和评估仍处于早期阶段。在这项工作中,我们展示了在包含270万个水簇的分子数据库上训练的图神经网络(GNN)的下游任务的微调。使用Graphcore IPU作为训练分子GNN的AI加速器,将训练时间从0.5M集群上的2.7天减少到2.7M集群上的1.2小时。在单个GPU上,微调分子动力学下游任务的预训练模型和转移到不同的势能表面分别只需8.3小时和28分钟。
2022-11-08 cs.LG physics.atm-clus
Heterogeneous Graph Tree Networks
Institute for Financial Services Analytics University of Delaware Newark, USA
异构图神经网络(HGNNs)是近三年来研究的热点。大多数现有的HGNN分为两类。一类是基于元路径的HGNN,它要么需要领域知识来手工制作元路径,要么消耗大量的时间和内存来自动构建元路径。另一类不依赖于元路径构造。它以同构卷积图神经网络(Conv-GNNs)为骨干,通过引入节点类型和边类型相关的参数将其扩展到异构图。无论元路径依赖性如何,大多数现有的HGNN都采用诸如GCN和GAT之类的浅层Conv-GNN来聚合邻域信息,并且可能具有有限的从高阶邻域捕获信息的能力。在这项工作中,我们提出了两个异构图树网络模型:异构图树卷积网络(HetGTCN)和异构图树注意力网络(HetGTAN),它不依赖于元路径来编码节点特征和图结构的异构性。在三个真实世界的异构图数据上进行的大量实验表明,所提出的HetGTCN和HetGTAN是有效的,并且在半监督节点分类任务上始终优于所有最先进的HGNN基线,并且可以深入而不影响性能。
2022-09-01 cs.LG
Scalable Graph Neural Networks for Heterogeneous Graphs
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
图神经网络(GNN)是一类流行的参数模型,用于学习图结构数据。最近的研究表明,GNN主要使用图进行特征平滑,并且通过简单地操作图平滑的节点特征,而不是使用端到端学习的特征层次结构,在基准任务上显示出有竞争力的结果,这些特征层次结构很难扩展到大型图。在这项工作中,我们问这些结果是否可以扩展到异构图,编码不同实体之间的多种类型的关系。我们提出了关系子图的邻居平均(NARS),它训练了一个分类器的邻居平均功能的随机采样的子图的关系的“元标记”。我们描述了优化,以允许这些节点特征集在训练和推理时以内存有效的方式计算。NARS在几个基准数据集上达到了最先进的精度,优于更昂贵的基于GNN的方法
2020-11-19 cs.LG
Hierarchical Structure Sharing Empowers Multi-task Heterogeneous GNNs for Customer Expansion
Rutgers University(罗格斯大学);Florida State University(佛罗里达州立大学)
针对物流客户拓展中异构GNN多任务学习的结构模式混淆问题,提出SrucHIS框架,通过分阶段结构共享提升性能,在私有和公共数据集上分别提升51.41%平均精度和10.52%宏F1,并实际部署带来显著业务增长。
2025-08-04 cs.LG
Designing Heterogeneous GNNs with Desired Permutation Properties for Wireless Resource Allocation
School of Electronics and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院)
本文提出一种系统性设计异构图神经网络的方法,通过构建合适的异构图并证明三个充分条件,使HetGNN满足复杂无线策略的排列性质,并在功率分配和混合预编码中验证了有效性。
2025-04-01 cs.LG cs.SY eess.SY
Understanding GNNs for Boolean Satisfiability through Approximation Algorithms
University of Ostrava(俄斯特拉发大学);Czech Technical University in Prague(布拉格捷克技术大学)
本文研究图神经网络在布尔可满足性问题中的可解释性,揭示其与置信传播和半正定规划松弛两种近似算法的联系,并据此提出课程训练和初始嵌入优化方法,显著减少训练时间并提升问题求解率。
2024-08-27 cs.LG
Hop-Hop Relation-aware Graph Neural Networks
University of Sheffield(谢菲尔德大学)
图神经网络广泛应用于图表示学习。然而,大多数GNN方法都是针对同构或异构图设计的。在本文中,我们提出了一个新的模型,Hop-Hop感知图神经网络(HHR-GNN),统一这两种类型的图的表示学习。HHR-GNN通过利用知识图谱嵌入来学习中心节点在不同跳处的表示之间的关系分数,从而为每个节点学习个性化的感受域。在邻域聚合中,我们的模型同时允许跳感知投影和聚合。该机制使中心节点能够学习可应用于同质和异构图的逐跳邻域混合。五个基准测试的实验结果显示,与最先进的GNN相比,我们的模型具有竞争力的性能,例如,在大型异构图上,每个训练时期的时间成本提高了13 K。
2020-12-21 cs.LG
Graph Neural Networks with Continual Learning for Fake News Detection from Social Media
The University of Melbourne(墨尔本大学)
尽管在事实核查方面做出了重大努力,但社交媒体上假新闻的盛行仍然是一个严重的问题,对司法、公众信任和我们的社会产生了深远的影响。在这项工作中,我们专注于基于传播的假新闻检测,因为最近的研究表明,假新闻和真实新闻在网上的传播方式不同。具体来说,考虑到图神经网络(GNNs)处理非欧数据的能力,我们使用GNNs来区分社交媒体上假新闻和真新闻的传播模式。特别是,我们集中在两个问题:(1)不依赖于任何文本信息,例如,Twitter内容、回复和用户描述,GNN识别假新闻的准确性如何?众所周知,机器学习模型容易受到对抗攻击的攻击,避免依赖基于文本的特征可以使模型不太容易受到先进的假新闻制造者的操纵。(2)如何处理新的、看不见的数据?换句话说,在给定数据集上训练的GNN如何在新的和可能截然不同的数据集上执行?如果它达到了令人不满意的性能,我们如何解决这个问题,而不从头开始在整个数据上重新训练模型?我们在两个包含数千个标记新闻条目的数据集上研究了上述问题,我们的结果表明:(1)GNN可以在没有任何文本信息的情况下实现与最先进方法相当或更好的性能。(2)在给定数据集上训练的GNN可能在新的、看不见的数据上表现不佳,直接增量训练无法解决这个问题--这个问题在以前的工作中没有得到解决,这些工作将GNN应用于假新闻检测。为了解决这个问题,我们提出了一种方法,通过使用持续学习的技术来增量地训练GNNs,在现有和…
2020-08-14 cs.LG cs.SI
Graph Rewriting for Graph Neural Networks
University of Leicester(莱斯特大学)
本文提出图重写神经网络(GReNN),将图重写作为图神经网络的形式化语义基础与工程方法,并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
SafePowerGraph-HIL: Real-Time HIL Validation of Heterogeneous GNNs for Bridging Sim-to-Real Gap in Power Grids
LIST(卢森堡信息科学系统技术研究院);University of Luxembourg(卢森堡大学)
该研究开发SafePowerGraph-HIL框架,结合HIL仿真与异构GNN,在IEEE 9节点系统上验证状态估计,弥合仿真与现实的差距,提升电网实时运行能力。
2025-01-21 cs.AI cs.LG
PowerGear: Early-Stage Power Estimation in FPGA HLS via Heterogeneous Edge-Centric GNNs
Peng Cheng Laboratory(鹏城实验室);The University of Auckland(奥克兰大学);Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学)
功耗估计是许多硬件优化策略的基础。然而,它仍然是具有挑战性的,以提供准确的功率估计在早期阶段,如高级综合(HLS)。在本文中,我们提出了PowerGear,一个图形学习辅助的FPGA HLS功率估计方法,具有高精度,高效率和可移植性。PowerGear包括两个主要组件:图构造流程和定制的图神经网络(GNN)模型。具体来说,在图形构造流程中,我们引入缓冲区插入,数据路径合并,图形修剪和功能注释技术,将HLS设计转换为图形结构的数据,其中编码操作内的微架构和操作间的互连与切换活动注释。此外,我们提出了一种新的功率感知异构边为中心的GNN模型,有效地学习异构边语义和结构属性的构造图通过边为中心的邻域聚合,并符合制定的动态功率。与机载测量相比,PowerGear估计新HLS设计的总功率和动态功率的误差分别为3.60%和8.81%,优于现有技术的研究和商业产品Vivado。此外,PowerGear还展示了比Vivado功率估计器快4倍的速度。最后,我们提出了一个案例研究中,PowerGear被利用,以促进FPGA HLS的设计空间探索,导致高达11.2%的性能增益,与使用最先进的预测模型的方法相比。
2022-03-28 cs.AR cs.LG
Graph Neural Networks for Transmission Grid Topology Control: Busbar Information Asymmetry and Heterogeneous Representations
Radboud University(拉德博德大学);TenneT TSO(TenneT 运营商)
针对输电网拓扑控制中同质图表示存在的母线信息不对称问题,提出异质图表示方法,实验证明异质GNN在分布内配置下表现最优,且两类GNN泛化能力均优于FCNN基线。
2025-10-03 cs.AI cs.LG stat.ML
MentorGNN: Deriving Curriculum for Pre-Training GNNs
Virginia Tech(弗吉尼亚理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图预训练策略在图挖掘社区中引起了极大的关注,因为它们在参数化图神经网络(GNN)时具有灵活性,无需任何标签信息。其关键思想在于通过预测从输入图中提取的掩码图信号,将有价值的信息编码到骨干GNN中。为了平衡不同图形信号的重要性(例如,节点、边、子图),现有的方法大多是通过引入超参数来重新加权图信号的重要性而手工设计的。然而,次优超参数的人为干预往往会注入额外的偏差,并恶化下游应用程序的泛化性能。本文从一个新的角度来解决这些局限性,即,导出用于预训练GNN的课程。我们提出了一个名为MentorGNN的端到端模型,旨在监督GNN在具有不同结构和不同特征空间的图中的预训练过程。为了理解不同粒度的异构图信号,我们提出了一个课程学习范例,自动重新加权图信号,以确保在目标域中的良好的泛化。此外,我们对关系数据的域适应问题(即,图),通过导出预训练的GNN的泛化误差的自然且可解释的上界。在大量真实图上进行的大量实验验证了MentorGNN的性能。
2022-08-21 cs.LG
Federated Incomplete Multi-View Clustering with Heterogeneous Graph Neural Networks
Guangdong University of Foreign Studies(广东外语外贸大学);School of Engineering, Westlake University(西湖大学工程学院);East China University of Science and Technology(华东理工大学)
针对联邦场景下多视图数据的特征异构与视图不完整问题,提出FIM-GNNs框架,通过客户端异构图自编码器、服务器重叠特征聚合及全局伪标签引导提升聚类性能。
2024-06-12 cs.DC cs.LG
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning
The University of Queensland(昆士兰大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
随着各种应用中无处不在的图结构数据,能够学习节点的紧凑但富有表现力的向量表示的模型变得非常可取。近年来,基于消息传递范式的图神经网络极大地提高了图上节点表示学习的性能。然而,大多数GNN仅针对同构图设计,导致对具有各种类型节点和边的信息量更大的异构图的适应性较差。此外,尽管有必要为全新的节点(例如,在流场景中),很少有异构GNN可以绕过其中所有节点必须在训练期间已知的转导学习方案。此外,大多数异构GNN的训练效率受到其用于提取与每个元路径或关系相关联的语义的复杂设计的阻碍。在本文中,我们提出了广泛和深度的消息传递网络(WIDEN),以应付上述问题的异构性,诱导性和效率,很少一起研究图表示学习。在WIDEN中,我们提出了一种新的归纳,元路径的消息传递方案,包装了异构节点的功能,其相关的边缘从低和高阶邻居节点。为了进一步提高训练效率,我们创新性地提出了一种主动下采样策略,丢弃不重要的邻居节点,以促进更快的信息传播。在三个真实世界的异构图上的实验进一步验证了WIDEN在传导和归纳节点表示学习上的有效性,以及对最先进基线的优越训练效率。
2021-04-11 cs.LG cs.SI
Exploring Topological Bias in Heterogeneous Graph Neural Networks
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文研究了异构图神经网络中的拓扑偏差问题,提出了一种基于节点映射值差异的去偏结构,通过对比学习提升HGNN性能。
2025-12-04 cs.LG stat.ML
FHGE: A Fast Heterogeneous Graph Embedding with Ad-hoc Meta-paths
School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Software, Fudan University(复旦大学软件学院);Shanghai Key Laboratory of Data Science(上海数据科学重点实验室)
FHGE提出一种无需重新训练的快速异构图嵌入方法,通过分割与重建模块及双重注意力机制,高效生成元路径引导的嵌入,适用于即席查询和实时图分析。
2025-02-22 cs.LG
Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks
Seoul National University(首尔国立大学);University of Michigan(密歇根大学);Amazon Web Services(亚马逊云科技)
异构图神经网络(GNN)在半监督学习环境中实现了节点分类任务的强大性能。然而,与更简单的同构GNN情况一样,基于消息传递的异构GNN可能难以在抵抗深度模型中可能发生的过度平滑和捕获图结构数据的长期依赖性之间取得平衡。此外,这种权衡的复杂性在异构图的情况下,由于不同类型的节点之间的不同的异质性关系。为了解决这些问题,我们提出了一种新的异构GNN架构,其中层来自优化步骤,下降一个新的关系感知能量函数。相应的最小化是完全可微的能量函数参数,这样可以应用双层优化来有效地学习函数形式,其最小值为后续的分类任务提供最佳的节点表示。特别是,这种方法使我们能够模拟不同节点类型之间的各种异质关系,同时避免过度平滑的影响。在8个异构图基准测试上的实验结果表明,该方法能够获得有竞争力的节点分类精度
2022-10-21 cs.AI cs.LG
Structure Over Signal: A Globalized Approach to Multi-relational GNNs for Stock Prediction
Columbia University(哥伦比亚大学)
本文提出OmniGNN,一种基于注意力机制的多关系动态图神经网络,通过引入全局行业节点和异构边高效传播宏观经济冲击,结合GAT与Transformers捕捉时空动态,显著提升了股票预测的鲁棒性。
2025-10-12 cs.LG
AutoSGNN: Automatic Propagation Mechanism Discovery for Spectral Graph Neural Networks
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
针对单个图神经网络难以同时处理不同类型图的问题,提出自动化框架AutoSGNN,结合大语言模型与进化策略统一谱GNN搜索空间以自动生成适应各类图的架构,在九个数据集上性能与效率均优于现有方法。
2024-12-18 cs.LG
Heterogeneous Graph Transformer
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
近年来,图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。然而,大多数GNN都是为同构图设计的,其中所有节点和边都属于相同的类型,这使得它们无法表示异构结构。在本文中,我们提出了异构图Transformer(HGT)的架构建模Web规模的异构图。为了对异质性进行建模,我们设计了节点和边缘类型相关的参数来表征每个边缘上的异质注意力,使HGT能够为不同类型的节点和边缘保持专用的表示。为了处理动态异构图,我们将相对时间编码技术引入到HGT中,它能够捕获具有任意持续时间的动态结构依赖。为了处理Web规模的图数据,我们设计了异构小批量图采样算法--HGSampling--以实现高效和可扩展的训练。在1.79亿个节点和20亿条边的Open Academic Graph上进行的大量实验表明,所提出的HGT模型在各种下游任务上的性能始终优于所有最先进的GNN基线9%-21%。
2020-03-03 cs.LG cs.SI stat.ML
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
Korea University(高丽大学)
图神经网络(GNN)由于其对图结构数据的强大表示能力,已被广泛应用于各个领域。尽管GNN取得了成功,但大多数现有的GNN都被设计为学习固定和同构图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时,这些限制尤其成问题。为了解决这一限制,我们提出了能够生成新的图结构的图Transformer网络(GTN),其排除了噪声连接并包括有用的连接(例如,元路径),同时以端到端的方式学习新图形上的有效节点表示。我们进一步提出了GTN的增强版本,快速图Transformer网络(FastGTN),提高了图变换的可扩展性。与GTN相比,FastGTN的速度快230倍,使用的内存少100倍,同时允许与GTN相同的图形转换。此外,我们扩展图变换的语义接近的节点,允许非本地操作超越元路径。在同构图和异构图上的大量实验表明,具有非局部操作的GTN和FastGTN实现了节点分类任务的最新性能。代码可在以下网址获得:https://github.com/seongjunyun/Graph_Transformer_Networks
2021-06-11 cs.AI cs.LG cs.SI
Meta-path Free Semi-supervised Learning for Heterogeneous Networks
图神经网络(GNN)已被广泛用于图的表示学习,并在节点分类等任务中取得了优异的性能。然而,分析不同类型节点和链路的异构图仍然给将异构性注入图神经网络带来了很大的挑战。一般的补救措施是手动或自动设计元路径以将异构图转换为同构图,但这是次优的,因为来自一阶邻居的特征没有完全用于训练和推理。在本文中,我们提出了简单而有效的图神经网络异构图,不使用元路径。具体来说,我们的模型专注于通过有效地扩展一般GNN的模型容量来放松模型参数的异质性压力。在六个真实世界的图形上进行的大量实验结果不仅显示了我们提出的模型优于现有技术的性能,而且还证明了降低异质性压力和增加参数大小之间的潜在良好平衡。我们的代码可以免费复制我们的结果。
2021-01-06 cs.AI cs.LG
Tripartite Heterogeneous Graph Propagation for Large-scale Social Recommendation
Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院);Search Solution Inc.(搜索解决方案公司);LINE Plus Corp.(LINE Plus公司)
图神经网络(GNNs)已经成为一种很有前途的关系表示方法,包括推荐系统。然而,社交图的各种挑战性问题阻碍了GNN用于社交推荐的实际使用,例如它们复杂的噪声连接和高度异质性。GNN的过度平滑也是基于GNN的社交推荐的障碍。在这里,我们提出了一个新的图嵌入方法异构图传播(HGP)来解决这些问题。HGP使用组-用户-项目三方图作为输入,以减少社交图中的边的数量和路径的复杂性。为了解决过度平滑的问题,HGP在个性化的基于PageRank的传播方案下嵌入节点,分别用于组用户图和用户项图。使用注意力机制来集成来自每个图的节点嵌入。我们在一个由1,645,279个节点和4,711,208条边组成的大规模真实世界数据集上评估我们的HGP。实验结果表明,HGP在AUC和F1评分指标方面优于几个基线。
2019-07-24 cs.IR cs.LG cs.SI
BSG4Bot: Efficient Bot Detection based on Biased Heterogeneous Subgraphs
Peking University(北京大学)
针对现有图神经网络机器人检测方法训练成本高、邻域假设不成立时性能下降及对抗环境下机器人特征动态的问题,提出BSG4Bot方法,通过预训练分类器结合PPR构建有偏异质子图并训练异质GNN,实现性能更优且训练时间仅为现有方法1/5的高效机器人检测。
2024-10-07 cs.AI cs.LG
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley(加州大学伯克利分校);LinkedIn(领英)
图神经网络(GNNs)作为深度学习的一个特殊领域,专注于提取网络的内在特征,在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的,鲁棒的,可扩展的和归纳的解决方案,使社交网络推荐系统具有丰富的网络功能,这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式,将子图中的高维异构信息编码到一个低维嵌入空间中。然而,一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中,我们提出了基于提升的GNN Meta学习器,它自动学习多个投影和相应的嵌入空间,捕获图形信号的不同方面。因此,子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外,AdaGNN与任何归纳GNN兼容,用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
Graph Attention for Heterogeneous Graphs with Positional Encoding
Harvard University(哈佛大学)
该研究基准测试了异构图上的GNN架构,发现图注意力网络在节点分类和链路预测中表现优异,并通过整合基于完整Laplacian谱的位置编码来增强节点嵌入,进一步提升下游任务性能。
2025-04-03 cs.AI cs.DM cs.LG
Instant Graph Neural Networks for Dynamic Graphs
Renmin University of China(中国人民大学);Data 61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);The Chinese University of Hong Kong(香港中文大学)
图神经网络(GNN)已被广泛用于对图结构数据进行建模。随着众多GNN变体的发展,近年来在提高GNN的可扩展性以处理具有数百万节点的静态图方面取得了突破性的成果。然而,如何用GNN即时表示大规模动态图的连续变化仍然是一个悬而未决的问题。现有的动态GNN专注于对图的周期性演化进行建模,通常是基于快照。这种方法有两个缺点:首先,图中的变化在图表示中反映有相当大的延迟,导致模型准确性的损失;其次,在每个快照中重复计算整个图上的表示矩阵主要是耗时的,并且严重限制了可扩展性。在本文中,我们提出了即时图神经网络(InstantGNN),一个增量计算方法的动态图的图形表示矩阵。我们的方法使用边缘到达模型处理动态图,避免了耗时的重复计算,并允许即时更新表示和即时预测。支持具有动态结构和动态属性的图。给出了这些更新的时间复杂度的上界。此外,我们的方法提供了一种自适应训练策略,该策略可以指导模型在可以获得最大性能增益的时刻进行重新训练。我们在几个真实世界和合成数据集上进行了广泛的实验。实证结果表明,我们的模型达到了国家的最先进的准确性,同时具有数量级更高的效率比现有的方法。
2022-06-03 cs.LG
Learning Power Control for Cellular Systems with Heterogeneous Graph Neural Network
Beihang University(北京航空航天大学)
利用深度学习优化多小区蜂窝网络中的功率控制使得能够实时实现这样的非凸问题。当通道是时变的时,深度神经网络(DNN)需要频繁地重新训练,这要求低训练复杂度。为了减少训练样本的数量和实现良好性能所需的DNN的大小,一种有前途的方法是将先验知识嵌入DNN。由于蜂窝网络可以建模为图,因此很自然地使用图神经网络(GNN)进行学习,该网络具有排列不变性(PI)和等价性(PE)属性。与已用于无线问题的同构GNN不同,其输出是不变的或等价于顶点的任意排列,异构GNN(HetGNN)更适合于对蜂窝网络进行建模,仅是不变的或等价于某些排列。如果HetGNN的PI或PE属性与要学习的任务的属性不匹配,则性能会急剧下降。在本文中,我们表明,功率控制策略具有不同的PI和PE属性的组合,现有的HetGNN不满足这些属性。然后,我们为HetGNN设计了一个参数共享方案,使得学习到的关系满足所需的属性。仿真结果表明,在相同的总速率损失下,所设计的GNN学习多用户多小区网络中最优功率控制策略的样本复杂度和规模远低于现有的DNN.
2020-11-06 cs.LG cs.SY eess.SY
HGEN: Heterogeneous Graph Ensemble Networks
Dept. of Electrical Engineering and Computer Science, Florida Atlantic University, USA(佛罗里达大学电子工程与计算机科学系);Department of Data Science, William & Mary, USA(威廉与玛丽学院数据科学系)
HGEN通过元路径和转换优化管道集成多个学习者,提升异构图分类精度,其残差-注意力机制和相关性正则化项增强了基础学习器的多样性和准确性。
2025-09-11 cs.AI cs.LG
On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints
Department of Statistics, University of Oxford(牛津大学统计系);Mathematical Institute, University of Oxford(牛津大学数学院);Molecular Informatics and AI, Lhasa Limited(Lhasa有限公司分子信息学与人工智能部门)
本文通过预训练扩展连接指纹提升图神经网络在QSAR中的性能,验证了在生物生成基准测试中标准性能指标的显著提升,但对复杂终点如结合亲和力预测在分布外设置中表现欠佳。
2026-05-11 cs.LG
Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
University of Electronic Science and Technology of China(电子科技大学)
图神经网络(GNN)最近受到了极大的研究关注,因为它们在各种与图相关的学习任务上表现出色。目前的大多数工作集中在静态或动态图形设置上,解决单个特定任务,例如,节点/图分类、链接预测。在这项工作中,我们研究的问题:GNNs可以应用于连续学习一系列任务?为此,我们探索了连续图学习(CGL)范式,并提出了基于经验重放的框架ER-GNN CGL,以减轻现有GNN中的灾难性遗忘问题。ER-GNN将以前任务中的知识存储为经验,并在学习新任务时重放它们,以减轻灾难性遗忘问题。提出了特征均值、覆盖最大化和影响力最大化三种经验节点选择策略,指导经验节点的选择过程。在三个基准数据集上的大量实验证明了我们的ER-GNN的有效性,并揭示了增量图(非欧几里德)结构学习。
2021-02-08 cs.LG stat.ML
DR-CircuitGNN: Training Acceleration of Heterogeneous Circuit Graph Neural Network on GPUs
University of Minnesota, Twin Cities(明尼苏达大学 Twin Cities 分校);Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康奈尔大学)
本文提出DR-CircuitGNN,通过稀疏感知Dynamic-ReLU、SpMM内核优化及CPU-GPU并行策略加速异构图神经网络在EDA电路图上的训练,在CircuitNet上相比SOTA和cuSPARSE分别获得最高4.09倍和2.71倍加速。
2025-08-22 cs.LG
Differentiable Meta Multigraph Search with Partial Message Propagation on Heterogeneous Information Networks
Huazhong University of Science and Technology(华中科技大学)
异构信息网络(HIN)被广泛用于描述具有复杂实体和关系的真实世界数据。为了自动利用它们的语义信息,最近在HIN的各种任务上开发了图神经架构搜索。现有的作品,另一方面,表现出不稳定性和可扩展性的弱点。为了解决这些问题,我们提出了一种新的方法,称为部分消息Meta多重图搜索(PMMM),以自动优化神经网络的神经结构设计。具体来说,为了学习图神经网络(GNN)如何沿着各种类型的边传播消息,PMMM采用了一种有效的可微框架来搜索有意义的Meta多重图,它可以捕获比Meta图更灵活和复杂的语义关系。可微搜索通常存在性能不稳定的问题,因此我们进一步提出了一种称为部分消息搜索的稳定算法,以确保搜索到的Meta多重图始终优于手动设计的元结构,即,元路径在六个基准数据集上进行的节点分类和推荐两个典型任务的实验表明了该方法的有效性。我们的方法优于最先进的异构GNN,找出有意义的Meta多重图,并且更加稳定。
2022-11-27 cs.LG cs.NE stat.ML
Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学);KongFoo Technology Co., Ltd.(孔府科技有限公司)
本文提出损失感知训练调度方法 LTS,通过按节点质量由易到难组织训练,提升异构图神经网络的鲁棒性与准确率。
2024-02-29 cs.LG
DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks
Hong Kong University of Science and Technology(香港科技大学);Paradigm Inc.(第四范式有限公司);Tsinghua University(清华大学)
在本文中,我们提出了一个新的框架,自动利用任务相关的语义信息,这是编码在异构信息网络(HIN)。具体来说,我们搜索一个Meta图,它可以捕捉更复杂的语义关系比Meta路径,以确定图神经网络(GNN)如何传播消息沿不同类型的边缘。我们形式化的神经架构搜索(NAS)的框架内的问题,然后执行的搜索在一个可区分的方式。我们设计了一个表达搜索空间的形式,有向无环图(DAG)代表候选Meta图的HIN,我们提出了任务相关的类型约束过滤掉那些边缘类型沿消息传递没有影响的表示的节点是相关的下游任务。我们定义的搜索空间的大小是巨大的,所以我们进一步提出了一种新颖而有效的搜索算法,使总的搜索成本与训练一次单个GNN相当。与现有的流行NAS算法相比,我们提出的搜索算法提高了搜索效率。我们对不同的HIN和下游任务进行了广泛的实验来评估我们的方法,实验结果表明,我们的方法可以优于最先进的异构GNN,并且与那些可以隐式学习Meta路径的方法相比,也提高了效率。
2021-09-27 cs.LG cs.SI
Leveraging Multi-facet Paths for Heterogeneous Graph Representation Learning
Department of Industrial \& Systems Engineering, KAIST Daejeon South Korea;Graduate School of Data Science, KAIST Daejeon South Korea;School of Computer Engineering, Hansung University Seoul South Korea;Department of Industrial \& Systems Engineering, KAIST;Graduate School of Data Science, KAIST;School of Computer Engineering, Hansung University
本文提出MF2Vec模型,用随机游走提取多面细粒度路径替代预定义元路径,学习节点多样关系并构建同质网络,在分类、链接预测和聚类任务上优于现有异构图方法。
2025-08-27 cs.AI cs.LG
MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning
Harbin Institute of Technology(哈尔滨工业大学)
注意力机制使图神经网络(GNN)能够学习目标节点与其单跳邻居之间的注意力权重,从而进一步提高性能。然而,大多数现有的GNN都面向同构图,并且其中每一层只能聚合一跳邻居的信息。堆叠多层网络引入了相当大的噪声,并且容易导致过度平滑。提出了一种多跳异构邻域信息融合图表示学习方法。具体来说,我们提出了一个混合元路径自主提取模型,有效地提取多跳混合邻居。然后,我们制定了一个跳级的异构信息聚合模型,有选择地聚合不同的跳邻域信息在同一个混合元路径。最后,构建了一个层次化的语义注意力融合模型(HSAF),该模型可以有效地融合不同跳和不同路径的邻域信息。以这种方式,本文解决了聚合多跳邻域信息和学习混合元路径的目标任务的问题。这减轻了手动指定元路径的限制。此外,HSAF还可以提取元路径内部节点信息,更好地整合不同层次的语义信息。在真实数据集上的实验结果表明,MHNF在只有1/10 ~ 1/100的参数和计算预算的情况下,达到了最好的或有竞争力的性能。我们的代码可在https://github.com/PHD-lanyu/MHNF上公开获取。
2022-06-23 cs.AI cs.LG
Semi-decentralized Inference in Heterogeneous Graph Neural Networks for Traffic Demand Forecasting: An Edge-Computing Approach
New Jersey Institute of Technology(新泽西理工学院);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出一种基于多个cloudlets的半去中心化异构GNN-LSTM方法,用于出租车交通需求预测,有效缓解了去中心化GNN的通信开销并提升了可扩展性,使整体推理时间相比集中式和去中心化方案降低约一个数量级。
2023-04-06 cs.AI cs.LG
SplitGNN: Splitting GNN for Node Classification with Heterogeneous Attention
Ant Group(蚂蚁集团)
随着隐私泄露事件的频繁发生和各国隐私法的颁布,数据所有者不愿意直接与任何其他方共享其原始数据和标签。实际上,许多原始数据都存储在图形数据库中,特别是对于金融而言。对于协作构建图神经网络(GNN),联邦学习(FL)可能不是垂直分区设置的理想选择,其中隐私和效率是主要关注点。此外,几乎所有现有的联邦GNN主要是针对同构图设计的,这将各种类型的关系简化为同一类型,从而在很大程度上限制了其性能。我们通过提出一个基于分裂学习的GNN(SplitGNN)来弥合这一差距,其中该模型分为两个子模型:局部GNN模型包括所有与私有数据相关的计算以生成局部节点嵌入,而全局模型通过聚合所有参与者的局部嵌入来计算全局嵌入。我们的SplitGNN允许孤立的异构邻域被协作利用。为了更好地捕获表示,我们提出了一种新的异构注意力(HAT)算法,并使用基于节点和基于路径的注意力机制来学习各种类型的节点和边缘的多跳关系功能。我们证明了SplitGNN在两个标准公共数据集和真实数据集的节点分类任务上的有效性。大量的实验结果验证了我们提出的SplitGNN显着优于最先进的(SOTA)方法。
2023-01-27 cs.AI cs.LG
FedHGN: A Federated Framework for Heterogeneous Graph Neural Networks
The Chinese University of Hong Kong(香港中文大学)
针对联邦异构图学习中私有图模式隐私问题,提出FedHGN框架,通过模式-权重解耦和系数对齐实现与模式无关的知识共享,在多个数据集上优于传统方法。
2023-05-16 cs.AI cs.DC cs.LG
Identity-aware Graph Neural Networks
Stanford University(斯坦福大学)
消息传递图神经网络(GNN)为关系数据提供了一个强大的建模框架。然而,现有GNN的表达能力是由1-Weisfeiler-Lehman(1-WL)图同构测试的上限,这意味着GNN不能预测节点聚类系数和最短路径距离,并且不能区分不同的d-正则图。在这里,我们开发了一类消息传递GNN,命名为身份感知图神经网络(ID-GNN),具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳考虑节点的身份来扩展现有的GNN架构。为了嵌入给定的节点,ID-GNN首先提取以该节点为中心的自我网络,然后进行多轮异构消息传递,其中将不同的参数集应用于中心节点而不是自我网络中的其他周围节点。我们进一步提出了一个简化但更快的ID-GNN版本,它将节点身份信息作为增强节点特征注入。总而言之,ID-GNN的两个版本代表了消息传递GNN的一般扩展,其中实验表明,将现有GNN转换为ID-GNN,在具有挑战性的节点,边缘和图形属性预测任务上平均提高了40%的准确性;在节点和图形分类基准上提高了3%的准确性;在现实世界的链接预测任务上提高了15%的ROC AUC。此外,ID-GNN表现出比其他特定任务的图网络更好或相当的性能。
2021-02-05 cs.AI cs.LG cs.SI
ROLAND: Graph Learning Framework for Dynamic Graphs
Stanford University(斯坦福大学)
图神经网络(GNNs)已经成功地应用于许多现实世界的静态图。然而,由于模型设计、评估设置和训练策略的限制,静态图的成功还没有完全转化为动态图。具体地说,现有的动态GNN没有结合静态GNN的最新设计,这限制了它们的性能。动态GNN的当前评估设置不能完全反映动态图的演变性质。最后,动态GNN的常用训练方法是不可扩展的。在这里,我们提出了ROLAND,一个有效的图形表示学习框架,为现实世界的动态图形。在其核心,ROLAND框架可以帮助研究人员轻松地将任何静态GNN重新用于动态图形。我们的见解是将不同GNN层的节点嵌入视为分层节点状态,然后随着时间的推移循环更新它们。然后,我们为动态图引入了一个实时更新评估设置,该设置模拟了真实世界的用例,其中GNN正在进行预测并在滚动的基础上进行更新。最后,我们通过增量训练和元学习为动态GNN提出了一种可扩展且高效的训练方法。我们在八个不同的动态图数据集上对未来的链接预测任务进行了实验。在三个数据集的标准评估设置下,使用ROLAND框架构建的模型相对于最先进的基线平均实现了62.7%的相对平均倒数秩(MRR)改进。我们发现,对于较大的数据集,最先进的基线会出现内存不足的错误,而ROLAND可以轻松扩展到具有5600万条边的动态图形。在使用ROLAND培训策略重新实施这些基线后,ROLAND模型仍然比基线平均提高了15.5%的相对MRR。
2022-08-15 cs.AI cs.LG cs.SI
HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Salesforce Research Asia(Salesforce亚洲研究院);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
最近的研究强调了基于消息传递的图神经网络(GNN)的局限性,例如,有限的模型表现力、过度平滑、过度挤压等。为了缓解这些问题,已经提出了图Transformers(GT),其在允许消息传递到甚至跨整个图的更大覆盖范围的范例中工作。基于全局范围的注意力机制,GT在同构图上表现出了表示学习的超级能力。然而,在异构信息网络(HINs)的GT的调查仍然是开发不足。特别是,由于异质性的存在,HIN显示出不同的数据特征,因此需要不同的处理。为了弥补这一差距,在本文中,我们研究了表示学习的HIN与图Transformer,并提出了一种新的模型HINormer,它利用了一个更大范围的聚合机制的节点表示学习。特别是,在两个主要模块的协助下,HINormer采用局部结构编码器和异构关系编码器,能够同时捕获节点在HIN上的结构信息和异构信息,实现全面的节点表示。我们在四个HIN基准数据集上进行了广泛的实验,结果表明我们提出的模型可以超越最先进的。
2023-03-03 cs.LG
From GNNs to Symbolic Surrogates via Kolmogorov-Arnold Networks for Delay Prediction
本文提出FlowKANet,通过Kolmogorov-Arnold网络替代传统MLP层,实现高效且准确的延迟预测,并通过符号代理模型提升部署透明性。
2026-02-16 cs.LG cs.NI
Simple and Efficient Heterogeneous Graph Neural Network
Institute for Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Griffith University(格里菲斯大学);University of Chinese Academy of Sciences(中国科学院大学)
针对现有异构图神经网络过度复杂的问题,提出SeHGNN,通过预计算邻居聚合和单层长元路径结构简化模型,在五个真实数据集上实现更高精度和更快训练速度。
2023-09-01 cs.LG
Towards Practical Large-scale Dynamical Heterogeneous Graph Embedding: Cold-start Resilient Recommendation
本文提出了一种两阶段方法,结合HetSGFormer和ILLE,以实现大规模动态异构图嵌入的冷启动鲁棒性和高效更新。
2025-12-15 cs.IR cs.LG
Self-Supervised Graph Neural Networks for Enhanced Feature Extraction in Heterogeneous Information Networks
Washington University in St. Louis(圣路易斯华盛顿大学);Fordham University(福特汉姆大学);University of Virginia(弗吉尼亚大学);Trine University(特莱恩大学)
本文针对图数据异构性与冗余性问题,提出一种自监督图神经网络模型,通过融合属性图及节点的多种附加信息来增强深层特征提取,从而提升模型对复杂图数据的适应能力和整体性能。
2024-10-23 cs.LG