Meta-Inductive Node Classification across Graphs
Singapore Management University(新加坡管理大学)
图上的半监督节点分类是一个重要的研究问题,在信息检索中有许多实际应用,例如社交网络上的内容分类和电子商务查询图上的查询意图分类。虽然传统的方法在很大程度上是传导性的,但最近的图神经网络(GNN)将节点特征与网络结构相结合,从而实现了可以应用于相同特征空间中的新节点甚至新图的归纳节点分类模型。然而,图间差异仍然存在于同一域内的图之间。因此,仅训练一个全局模型(例如,现有技术的GNN)来处理所有新的图,同时忽略图间差异,可能导致次优性能。本文研究了图上的归纳节点分类问题。与现有的一个模型适合所有的方法不同,我们提出了一种新的元归纳框架,称为MI-GNN,在元学习范式下为每个图定制归纳模型。也就是说,MI-GNN不直接学习归纳模型;它学习如何在新图上训练半监督节点分类模型的一般知识。为了处理图之间的差异,MI-GNN在图和任务级别都采用了双重自适应机制。更具体地说,我们在适应图级差异之前学习图,并且在适应以图为条件的任务级差异之前学习任务。对五个真实世界图集合的广泛实验证明了我们提出的模型的有效性。
2022-03-27 cs.LG cs.SI
A Hybrid Inductive-Transductive Network for Traffic Flow Imputation on Unsampled Locations
University of Antwerp(安特卫普大学);imec;IDLab;Faculty of Applied Engineering(应用工程学院)
HINT通过结合归纳和转化方法,利用速度、交通模拟和地理数据提升未采样地点交通流量填补的准确性。
2025-12-19 cs.AI cs.LG
Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
Purdue University(普渡大学)
针对知识图谱完全归纳式链接预测任务,提出双重置换等变表示概念,证明其必要性并指出现有模型符合该框架,同时揭示其固有局限性,说明双重等变性并非充分条件。
2025-01-14 cs.AI cs.CL cs.LG
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning
The University of Queensland(昆士兰大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
随着各种应用中无处不在的图结构数据,能够学习节点的紧凑但富有表现力的向量表示的模型变得非常可取。近年来,基于消息传递范式的图神经网络极大地提高了图上节点表示学习的性能。然而,大多数GNN仅针对同构图设计,导致对具有各种类型节点和边的信息量更大的异构图的适应性较差。此外,尽管有必要为全新的节点(例如,在流场景中),很少有异构GNN可以绕过其中所有节点必须在训练期间已知的转导学习方案。此外,大多数异构GNN的训练效率受到其用于提取与每个元路径或关系相关联的语义的复杂设计的阻碍。在本文中,我们提出了广泛和深度的消息传递网络(WIDEN),以应付上述问题的异构性,诱导性和效率,很少一起研究图表示学习。在WIDEN中,我们提出了一种新的归纳,元路径的消息传递方案,包装了异构节点的功能,其相关的边缘从低和高阶邻居节点。为了进一步提高训练效率,我们创新性地提出了一种主动下采样策略,丢弃不重要的邻居节点,以促进更快的信息传播。在三个真实世界的异构图上的实验进一步验证了WIDEN在传导和归纳节点表示学习上的有效性,以及对最先进基线的优越训练效率。
2021-04-11 cs.LG cs.SI
Leap: Inductive Link Prediction via Learnable TopologyAugmentation
KTH Royal Institute of Technology(皇家理工学院)
针对归纳式链接预测中MLP方法难以充分捕捉图结构信号的问题,提出基于可学习拓扑增强的LEAP方法,通过联合建模结构与节点特征的归纳偏置提升表达能力,在七类图上AUC和平均精度最高提升22%和17%。
2025-03-05 cs.LG
Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);State Grid Zhejiang Electric Power Co. Ltd.(国网浙江省电力有限公司)
针对图神经网络在归纳学习中依赖标注数据的问题,提出自标签增强VGAE模型及SLAM方法,通过标签重构与伪标签增强提升半监督节点分类性能。
2024-03-26 cs.LG
Unsupervised Joint $k$-node Graph Representations with Compositional Energy-Based Models
Purdue University(普渡大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);United States Army Research Laboratory(美国陆军研究实验室)
现有的学习归纳无监督图表示的图神经网络(GNN)方法集中于通过预测图中观察到的边来学习节点和边表示。尽管这样的方法已经在下游节点分类任务中显示出进步,但是它们在联合表示较大的$k$ -节点集合$k{>}2$时是无效的。我们提出了MHM-GNN,一种归纳的无监督图表示方法,将联合$k$节点表示与基于能量的模型(超图马尔可夫网络)和GNN相结合。为了解决这种组合所产生的损失的棘手性,我们使用有限样本无偏马尔可夫链蒙特卡罗估计赋予我们的优化与损失上限。我们的实验表明,MHM-GNN的无监督MHM-GNN表示比文献中现有的方法产生更好的无监督表示。
2020-10-08 cs.AI cs.LG
GAIN: Graph Attention & Interaction Network for Inductive Semi-Supervised Learning over Large-scale Graphs
Sun Yat-sen University(中山大学);Tencent Inc.(腾讯公司)
图神经网络(GNN)已经在各种机器学习任务(例如推荐、节点分类和链接预测)上实现了最先进的性能。图神经网络模型通过将节点特征与聚集的相邻节点信息合并来生成节点嵌入。大多数现有的GNN模型利用单一类型的聚合器(例如,均值池化(mean-pooling))来聚合相邻节点的信息,然后将聚合器的输出添加或连接到中心节点的当前表示向量。然而,仅使用单一类型的聚合器难以捕获相邻信息的不同方面,并且简单的添加或级联更新方法限制了GNN的表达能力。不仅如此,现有的监督或半监督GNN模型都是基于节点标签的损失函数进行训练的,这导致忽略了图的结构信息。本文提出了一种新的图神经网络结构--图注意力交互网络(GAIN),用于图的归纳学习。与以往的GNN模型只使用单一类型的聚合方法不同,我们使用多种类型的聚合器来收集不同方面的邻近信息,并通过聚合器级的注意力机制来整合这些聚合器的输出。此外,我们设计了一个图正则化损失,以更好地捕捉图中节点的拓扑关系。此外,我们首先提出了图特征交互的概念,并提出了一个矢量式的显式特征交互机制来更新节点嵌入。我们在两个节点分类基准和一个真实世界的金融新闻数据集上进行了全面的实验。实验表明,我们的GAIN模型在所有任务上都优于当前最先进的性能。
2020-11-03 cs.AI cs.IR cs.LG
Conformal Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Cologne(科隆大学)
针对传统共形预测因消息传递导致校准分数偏移、无法用于归纳式图节点分类的问题,提出适配节点/边可交换图的方法,在保障统计效率的同时恢复标准覆盖保证,且保证与预测时间无关。
2024-07-12 cs.LG
Syntactic Inductive Biases for Deep Learning Methods
Département d’informatique et de recherche opérationnelle(计算机科学与运筹学系)
在这篇论文中,我们试图通过为深度学习模型引入句法归纳偏差来建立这两个学派之间的联系。我们提出了两个家庭的归纳偏见,一个选区结构和依赖结构。选区归纳偏差鼓励深度学习模型使用不同的单元(或神经元)来分别处理长期和短期信息。这种分离为深度学习模型提供了一种从顺序输入构建潜在分层表示的方法,高级表示由一系列低级表示组成,并且可以分解为一系列低级表示。例如,在不知道地面真值结构的情况下,我们提出的模型通过根据语法结构将变量和运算符的表示组成表达式的表示来学习处理逻辑表达式。另一方面,依赖归纳偏差鼓励模型在输入序列中发现实体之间的潜在关系。对于自然语言,潜在关系通常被建模为有向依赖图,其中一个词只有一个父结点和零个或多个子节点。在将此约束应用于Transformer类模型后,我们发现该模型能够诱导接近人类专家注释的有向图,并且在不同任务上也优于标准Transformer模型。我们相信,这些实验结果为深度学习模型的未来发展展示了一种有趣的替代方案。
2022-06-08 cs.AI cs.LG
Inductive Graph Embeddings through Locality Encodings
NTENT Hispania(NTENT西班牙公司);Universitat Pompeu Fabra(庞培法布拉大学)
从大规模网络中学习嵌入是一个开放的挑战。尽管现有的方法数量巨大,但目前还不清楚如何以一种容易推广到看不见的节点、边或图的方式利用网络结构。在这项工作中,我们看看在没有域相关的节点/边缘属性的大型网络中找到归纳网络嵌入的问题。我们建议使用一组基本的预定义的本地编码作为学习算法的基础。特别是,我们考虑在不同的距离从一个节点,这可以有效地计算相对较短的距离和大量的节点的度频率。有趣的是,当与语言模型学习相结合时,在无监督的环境中,以及在监督任务中,当用作神经网络中的附加特征时,所得到的嵌入在网络中看不见的或遥远的区域中具有很好的泛化能力。尽管它的简单性,该方法实现了国家的最先进的性能,如角色检测,链接预测和节点分类的任务,并代表了一个归纳网络嵌入方法直接适用于大型非属性网络。
2020-09-26 cs.LG stat.ML
Inductive Representation Learning in Temporal Networks via Mining Neighborhood and Community Influences
Heilongjiang University(黑龙江大学)
针对直推式方法难以适应时序网络动态变化的问题,本文提出 MNCI 归纳式表示学习方法,通过融合邻域与社区影响生成任意时刻的节点嵌入,并在多个真实数据集上验证其优于现有基线。
2023-06-01 cs.AI cs.SI
Inductive Representation Learning in Large Attributed Graphs
Intel Labs(英特尔实验室);PARC(帕洛阿尔托研究中心);Google(谷歌);WPI(伍斯特理工学院)
图(网络)无处不在,允许我们对实体(节点)和它们之间的依赖关系(边)进行建模。从图数据中学习有用的特征表示是许多机器学习任务的核心和成功,例如分类,异常检测,链接预测等。许多现有技术使用随机游动作为学习特征或估计用于下游预测任务的图模型的参数的基础。示例包括最近的节点嵌入方法,如DeepWalk,node2vec以及基于图的深度学习算法。然而,这些方法所使用的简单随机游动从根本上与节点的身份有关。这有三个主要缺点。首先,这些方法本质上是传导性的,不能推广到看不见的节点和其他图。其次,它们不是空间有效的,因为每个节点都要学习一个特征向量,这对于大型图来说是不切实际的。第三,这些方法大多缺乏对属性图的支持。为了使这些方法更普遍适用,我们提出了一个框架,归纳网络表示学习的基础上的概念,属性随机游动,不绑定到节点身份,而是基于学习一个函数$Φ: \mathrm{\rm \bf x} \rightarrow w$,映射节点属性向量$\mathrm{\rm \bf x}$的类型$w$。该框架作为推广现有方法的基础,如DeepWalk,node2vec和许多其他利用传统随机游动的方法。
2017-11-22 cs.AI cs.LG cs.SI
SHINE: SubHypergraph Inductive Neural nEtwork
Feinberg School of Medicine(范伯格医学院);Northwestern University(西北大学)
超图神经网络可以对图的节点之间的多路连接进行建模,这在现实世界的应用中是常见的,例如遗传医学。特别是,遗传途径或基因集编码由多个基因驱动的分子功能,自然表示为超边缘。因此,超图引导的嵌入可以捕获学习表示中的函数关系。现有的超图神经网络模型往往侧重于节点级或图级推理。在现实世界的应用中,学习超图的子图的强大表示是一个未满足的需求。例如,癌症患者可以被视为患者中携带突变的基因的子图,而所有基因都由对应于代表特定分子功能的途径的超边连接。为了准确的归纳子图预测,我们提出了子超图归纳神经网络(SHINE)。SHINE使用信息遗传途径,将分子功能编码为超边,将基因连接为节点。SHINE对端到端子图分类和超图节点相似性正则化的目标进行了联合优化。SHINE使用强烈的双重注意力信息传递同时学习基因和途径的表示。通过子图注意层聚合学习的表示,并用于训练多层感知器进行归纳子图推理。我们使用大规模NGS和策展数据集,针对各种最先进的(超)图神经网络、XGBoost、NMF和多基因风险评分模型评估了SHINE。SHINE显著优于所有比较模型,并产生了具有功能见解的可解释疾病模型。
2022-10-13 cs.AI cs.LG q-bio.GN
Link Stealing Attacks Against Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Hong Kong University of Science and Technology(香港科技大学);University of Birmingham(伯明翰大学);University of Lausanne(洛桑大学);Duke University(杜克大学)
本文从链接窃取攻击视角系统分析归纳式GNN隐私,提出仅后验与组合攻击,并在六个数据集上验证其有效性、鲁棒性及现有防御不足。
2024-05-09 cs.CR cs.LG
FI-GRL: Fast Inductive Graph Representation Learning via Projection-Cost Preservation
Peking University(北京大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
图表示学习旨在将图数据转换为有意义的低维向量,以便于使用针对一般数据设计的机器学习和数据采掘算法。目前大多数图表示学习方法都是直推的,这意味着它们要求在学习图表示时图中的所有节点都是已知的,这些方法不能自然地推广到看不见的节点。在本文中,我们提出了一个快速归纳图表示学习框架(FI-GRL)学习节点的低维表示。我们的方法可以得到准确的表示,看到的节点与可证明的理论保证,可以很容易地推广到看不见的节点。具体地说,为了显式地解耦图所表示的节点关系,我们将节点转换到由随机投影矩阵所张成的随机子空间中。该阶段保证保持与图的归一化割高度相关的归一化随机游走矩阵的投影成本。然后对得到的矩阵草图进行奇异值分解,实现特征提取。通过利用矩阵草图的投影成本保持特性,获得了接近最优的表示结果。为了处理不可见的节点,我们利用折叠技术来学习它们的有意义的表示。经验上,当可见节点的数量大于不可见节点的数量时,FI-GRL总是取得优异的结果。我们的算法是快速的,简单的实现和理论上的保证。在真实数据集上的大量实验表明,我们的算法在宏观层面(聚类)和微观层面(结构洞检测)的应用程序的功效和效率上的优越性。
2018-09-07 cs.LG cs.SI stat.ML
Node Masking: Making Graph Neural Networks Generalize and Scale Better
Facebook AI;Facebook
图神经网络(GNN)在最近一段时间受到了广泛的关注。从早期的光谱架构只能在无向图上操作的每一个转换学习范式到目前最先进的空间架构,可以归纳地应用于任意图,GNN已经看到了来自研究界的重大贡献。在本文中,我们利用一些理论工具来更好地可视化最先进的空间GNN执行的操作。我们分析了这些架构的内部工作原理,并引入了一个简单的概念,节点掩码,使它们能够更好地泛化和扩展。为了从经验上验证这一概念,我们在一些广泛使用的数据集上进行了几次实验,用于在转导和归纳设置中进行节点分类,从而为未来的研究奠定了强有力的基准。
2021-05-16 cs.AI cs.LG stat.ML
Node Centrality Approximation For Large Networks Based On Inductive Graph Neural Networks
School of Systems Science and Engineering, Sun Yat-sen University(中山大学系统科学与工程学院)
针对大规模网络中接近中心性与介数中心性计算复杂度高、现有近似方法效率低且鲁棒性差的问题,提出基于归纳图神经网络的编码器-解码器模型CNCA-IGE,在多类网络上实现了性能与计算效率的双重提升。
2024-03-08 cs.AI cs.SI
DiffWire: Inductive Graph Rewiring via the Lovász Bound
ELLIS Alicante(ELLIS阿利坎特研究所);University of Alicante(阿利坎特大学)
图神经网络(GNN)已被证明在处理与图相关的任务方面取得了有竞争力的结果,例如节点和图分类、链接预测以及各种领域中的节点和图聚类。大多数GNN使用消息传递框架,因此被称为MPNN。尽管MPNN的结果很有希望,但据报道,MPNN存在过度平滑、过度挤压和覆盖不足的问题。图重新布线和图池化已经在文献中被提出作为解决这些限制的解决方案。然而,大多数最先进的图重布线方法不能保持图的全局拓扑结构,既不是可微的也不是归纳的,并且需要调整超参数。在本文中,我们提出了DiffWire,一种新的框架,用于MPNN中的图重新布线,该框架是原则性的,完全可微的,并且通过利用Lovász界来实现无参数。所提出的方法通过在MPNN中提出两个新的互补层来为图重新布线提供统一的理论:CT层,一个学习通勤时间并将其用作边缘重新加权的相关函数的层;和GAP层,一个根据网络的性质和手头的任务来优化频谱间隙的层。我们分别用图分类的基准数据集来实证验证这些层中每一层的价值。我们还对使用CT层进行同性和异性节点分类任务进行了初步研究。DiffWire将通勤时间的可学习性与曲率的相关定义结合在一起,为创建更具表现力的MPNN打开了大门。
2022-11-30 cs.AI cs.LG
Inductive Graph Few-shot Class Incremental Learning
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织);University of Oxford(牛津大学);Data61, CSIRO(Data61(联邦科学与工业研究组织下属机构))
针对归纳式图少样本类增量学习中的灾难性遗忘和过拟合问题,提出基于拓扑的类增强与原型校准方法(TAP),通过多拓扑类增强、迭代原型校准和原型偏移补偿,在四个数据集上有效提升了模型泛化与增量学习性能。
2024-11-11 cs.LG
ST-FiT: Inductive Spatial-Temporal Forecasting with Limited Training Data
University of Virginia(弗吉尼亚大学);Florida State University(佛罗里达州立大学)
针对时空图中多数节点缺乏训练数据的问题,提出归纳式预测框架ST-FiT,通过时间数据增强和空间图拓扑学习,使现有STGNNs能泛化到无数据节点,实验验证其有效性。
2024-12-17 cs.AI cs.LG stat.ML
A Graph Is More Than Its Nodes: Towards Structured Uncertainty-Aware Learning on Graphs
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
当前处理图上节点分类的图神经网络(GNN)往往只关注节点得分,并且仅通过节点度量进行评估。这限制了图上的不确定性估计,因为节点边缘不能完全表征给定图结构的联合分布。在这项工作中,我们提出了新的边向度量,即边向预期校准误差(ECE)和同意/不同意的ECES,提供标准的不确定性估计超出节点设置的图形。我们的实验表明,所提出的边缘度量可以补充节点的结果,并产生额外的见解。此外,我们还表明,考虑图上结构化预测问题的GNN模型往往具有更好的不确定性估计,这说明了超越节点设置的好处。
2022-10-27 cs.AI cs.LG stat.ML
Advancing GraphSAGE with A Data-Driven Node Sampling
Samsung Research(三星研究院);Samsung Electronics, co.(三星电子);New York University(纽约大学)
作为一种高效且可扩展的图神经网络,GraphSAGE通过聚合二次采样的局部邻域并通过以小批量梯度下降方式学习来实现推断看不见的节点或图的归纳能力。GraphSAGE中使用的邻域采样方法在并行推断一批度不同的目标节点时有效地提高了计算和内存效率。尽管有这个优势,默认的均匀采样在训练和推理中受到高方差的影响,导致次优精度。我们提出了一种新的数据驱动的采样方法的原因的实值的重要性的邻域的非线性回归,并使用该值作为标准的子采样的邻域。使用基于值的强化学习来学习回归量。从GraphSAGE的负分类损失输出中归纳提取每个顶点和邻域组合的隐含重要性。因此,在使用三个数据集的归纳节点分类基准中,我们的方法使用均匀采样增强了基线,在准确性上优于图神经网络的最新变体。
2019-04-29 cs.LG stat.ML
Relational inductive biases, deep learning, and graph networks
DeepMind(深度思维);Google Brain(谷歌大脑);MIT(麻省理工学院);University of Edinburgh(爱丁堡大学)
人工智能(AI)最近经历了一次复兴,在视觉、语言、控制和决策等关键领域取得了重大进展。这在一定程度上是由于廉价的数据和廉价的计算资源,这符合深度学习的自然优势。然而,人类智力的许多决定性特征是在不同的压力下发展起来的,目前的方法仍然无法达到。特别是,超越个人经验的概括--这是人类智能从婴儿期开始的标志--仍然是现代人工智能面临的巨大挑战。以下是部分立场文件,部分审查,部分统一。我们认为,组合泛化必须是AI实现类似人类能力的首要任务,而结构化表示和计算是实现这一目标的关键。正如生物学合作使用先天和后天一样,我们拒绝在“手工工程”和“端到端”学习之间做出错误的选择,而是提倡一种从两者互补优势中受益的方法。我们探讨了如何在深度学习架构中使用关系归纳偏差来促进对实体、关系和组成它们的规则的学习。我们提出了一个新的构建块的人工智能工具包与强大的关系归纳偏见-图网络-它概括和扩展了各种方法的神经网络上运行的图形,并提供了一个简单的接口,操作结构化的知识和产生结构化的行为。我们讨论了图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定了基础。作为本文的配套,我们发布了一个用于构建图网络的开源软件库,并演示了如何在实践中使用它们。
2018-10-17 cs.AI cs.LG stat.ML
Rethinking Independent Cross-Entropy Loss For Graph-Structured Data
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Institute for Medical Engineering Science, Massachusetts Institute of Technology(麻省理工学院医学工程科学研究所);School of Computing, University of Georgia(佐治亚大学计算学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对图节点标签独立建模限制GNN泛化与抗攻击的问题,提出联合簇监督学习框架,建模节点与簇的联合分布,以局部簇参考信号增强判别,实验证明提升分类精度并增强对抗鲁棒性。
2024-05-27 cs.AI cs.LG
Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks
该研究提出SIGIL框架,通过结构交互图和关系消息传递网络实现图特征的统一表示,可用于全归纳链接预测,还能统一多种图基础模型设计范式。
2026-08-14 cs.LG
Cluster Attention for Graph Machine Learning
HSE University(高等经济学院);Yandex Research(Yandex研究院)
本文提出集群注意力机制CLATT,通过将图节点划分为集群并让每个节点关注集群内其他节点,扩大感受野同时保持图结构归纳偏置,提升图神经网络和图变压器在多种图数据集上的性能。
2026-08-10 cs.AI cs.LG
Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective
Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
本文提出归纳式图对齐提示(IGAP),从图谱视角统一图预训练框架,通过在谱空间中使用可学习提示弥合图信号与结构差距,实现预训练模型在归纳式场景下的有效微调。
2024-02-21 cs.AI cs.LG
SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP
Fudan University(复旦大学);The University of Sydney(悉尼大学)
消息传递机制帮助图神经网络(GNN)在各种节点分类任务上取得了显着的效果。然而,在将GNN部署到大规模图时,消息传递中的递归节点获取和聚合会导致推理延迟。一个有前途的推理加速方向是将GNN提取为无消息传递的学生多层感知器(MLP)。然而,由于缺乏结构输入,MLP学生不能完全学习结构知识,这导致在异质性和归纳情景中的表现较差。为了解决这个问题,我们打算以低延迟和可解释的方式将结构信息注入MLP类学生。具体来说,我们首先设计了一个结构感知MLP(SA-MLP)的学生,编码功能和结构,而无需消息传递。然后,我们引入了一种新的结构混合知识蒸馏策略,以提高学习能力的结构信息的MLP。此外,我们设计了一个潜在的结构嵌入近似技术与两阶段蒸馏归纳的情况下。在转换和归纳设置下对八个基准数据集进行的广泛实验表明,我们的SA-MLP可以始终优于教师GNN,同时保持MLP的更快推理。我们工作的源代码可以在https://github.com/JC-202/SA-MLP中找到。
2022-10-18 cs.AI cs.LG
A Collective Learning Framework to Boost GNN Expressiveness
Purdue University(普渡大学)
图神经网络(GNN)最近已被用于节点和图分类任务,并取得了巨大的成功,但GNN模型之间的依赖关系附近的相邻节点的属性,而不是观察到的节点标签之间的依赖关系。在这项工作中,我们考虑在监督和半监督环境中使用GNN进行归纳节点分类的任务,目标是纳入标签依赖性。因为当前的GNN不是通用的(即,最具表现力)的图形表示,我们提出了一种通用的集体学习方法来提高任何现有GNN的表示能力。我们的框架结合了集体分类与自监督学习的思想,并使用蒙特卡罗方法对图中的归纳学习进行采样嵌入。我们评估了五个真实网络数据集的性能,并证明了各种最先进的GNN在节点分类准确性方面的一致,显著的改进。
2020-09-28 cs.LG stat.ML
DUPLEX: Dual GAT for Complex Embedding of Directed Graphs
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Ant Group(蚂蚁集团)
提出DUPLEX框架,通过Hermitian邻接矩阵分解和双GAT编码器改进有向图嵌入,解决低度节点表示和归纳能力问题,性能优于现有模型。
2024-07-19 cs.LG
Inductive Subgraphs as Shortcuts: Causal Disentanglement for Heterophilic Graph Learning
The Hong Kong Polytechnic University(香港理工大学);Curtin University(Curtin大学);University of Macau(澳门大学);The Education University of Hong Kong(香港教育大学)
本文提出因果解缠图神经网络CD-GNN,通过阻断非因果路径提升异质图节点分类的鲁棒性和准确性。
2026-04-21 cs.AI cs.LG
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
TuneUp: A Simple Improved Training Strategy for Graph Neural Networks
Stanford University(斯坦福大学);Amazon(亚马逊公司);National University of Singapore(新加坡国立大学)
针对GNN传统均等训练策略的次优问题,提出两阶段课程学习训练策略TuneUp,通过合成尾节点数据优化难样本学习,理论证明并实验验证其在多架构多任务下显著提升尾节点乃至整体预测性能。
2023-08-26 cs.AI cs.LG stat.ML
Understanding Generalization in Node and Link Prediction
Computer Science Department, RWTH Aachen University(亚琛工业大学计算机科学系)
本文提出统一框架分析MPNNs在归纳式和直推式节点与链路预测中的泛化性质,整合架构参数与损失函数并量化图结构影响,该框架也适用于任何分类任务,实证研究支持了理论见解。
2025-10-30 cs.LG
Accurate Node Feature Estimation with Structured Variational Graph Autoencoder
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔国立大学);JBNU(全北国立大学)
提出结构化变分图自编码器SVGA,通过结构化变分推理对潜在变量分布施加强正则化,结合概率推理与图神经网络,有效估计图中缺失的节点特征。
2023-04-06 cs.LG
Diffusion Probabilistic Models for Structured Node Classification
POSTECH(浦项科技大学);KAIST(韩国科学技术院)
针对部分标记图上的结构化节点分类,提出基于扩散概率模型的DPM-SNC框架,通过逆向扩散学习标签联合分布并结合流形约束采样,设计新训练算法与AGG-WL理论分析,在直推和归纳场景均验证优越性。
2023-06-19 cs.LG
Semantic Refinement with LLMs for Graph Representations
University of Connecticut, USA(康涅狄格大学);University of Notre Dame, USA(圣母大学)
本文提出基于图示例引导的语义细化框架,通过图内结构和语义相似节点指导LLM优化节点描述,提升图表示在异构语义下的表现。
2026-04-01 cs.AI cs.CL cs.LG
Polyp-artifact relationship analysis using graph inductive learned representations
Technische Universität München(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
大肠癌的诊断过程主要集中在被称为息肉的结肠组织中异常生长的定位和表征。尽管最近在深度目标定位方面取得了进展,但由于组织之间的相似性和高水平的伪影,息肉的定位仍然具有挑战性。最近的研究表明,息肉检测任务中存在伪影的负面影响,并已开始在训练过程中考虑它们。然而,尚未考虑使用与息肉和伪影的空间相互作用相关的先验知识。在这项工作中,我们将人工制品的知识在后处理步骤。我们的方法将此任务建模为归纳图表示学习问题,并由训练和推理步骤组成。在息肉和伪影周围检测到的边界框被认为是通过定义的标准连接的节点。训练步骤生成具有真实边界框的节点分类器。在推理中,我们使用这个分类器来分析第二个图,该图是由区域建议网络给出的伪影和息肉预测生成的。我们评估了连通性和工件的选择如何影响我们的方法的性能,并表明它有可能减少区域建议网络结果中的误报。
2020-09-15 cs.CV cs.LG eess.IV
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Sequence-Structured Decision Learning for Branch-and-Bound in Mixed-Integer Linear Programming
Southern University of Science and Technology(南方科技大学);Dongguan University of Technology(东莞理工学院)
本文提出序列结构化框架Seq-BnB,通过序列化BnB过程事件建模其耦合演化,经DAgger训练后在MILP基准上表现优于基线,可适配更多求解器决策。
2026-10-14 cs.LG
Inductive Graph Representation Learning with Quantum Graph Neural Networks
Pasqal NL
本文提出了一种基于量子图神经网络的归纳图表示学习框架,通过灵活的量子卷积和池化层实现高效分子表示学习,展示了在复杂分子建模中的竞争力和扩展性。
2026-09-22 cs.LG quant-ph
Dual Graph Representation Learning
Sun Yat-Sen University(中山大学)
图表示学习将节点作为低维向量嵌入到大型图中,对许多下游应用都有很大的好处。然而,大多数嵌入框架本质上是传导性的,无法泛化到看不见的节点或学习不同图的表示。虽然归纳方法可以推广到看不见的节点,但它们忽略了节点的不同上下文,并且不能双重学习节点嵌入。在本文中,我们提出了一个上下文感知的无监督双重编码框架,\textbf{CADE},生成表示的节点相结合的实时邻域与邻居关注的表示,并保留额外的内存已知节点。通过与最先进的方法进行比较,我们证明了我们的方法是有效的。
2020-02-25 cs.LG stat.ML
Few-Sample Traffic Prediction with Graph Networks using Locale as Relational Inductive Biases
The Hong Kong Polytechnic University(香港理工大学);University of Hong Kong(香港大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);Research Institute for Sustainable Urban Development, The Hong Kong Polytechnic University(香港理工大学可持续城市发展研究院)
准确的短期交通预测在各种智能移动运营和管理系统中发挥着关键作用。目前,大多数最先进的预测模型是基于图神经网络(GNNs),所需的训练样本是成比例的交通网络的大小。在许多城市中,由于数据汇集费用,可用的交通数据量大大低于最低要求。在大规模网络中,如何利用少量的训练数据建立流量预测模型仍然是一个悬而未决的问题。我们注意到,一个节点的交通状态在不久的将来只取决于其本地化的邻居,这可以表示使用图关系归纳偏差的交通状态。有鉴于此,本文开发了一种基于图网络(GN)的深度学习模型LocaleGN,该模型使用局部数据聚合和更新函数以及逐节点递归神经网络来描述交通动态。LocaleGN是一种轻量级模型,设计用于在少量样本上训练而不会过度拟合,因此它可以解决少样本流量预测问题。用六个数据集对所提出的模型进行了检验,实验结果表明LocaleGN优于现有的最先进的基线模型。它还表明,从LocaleGN学到的知识可以跨城市转移。研究成果可以帮助开发轻量级的交通预测系统,特别是对于缺乏历史存档交通数据的城市。
2022-11-10 cs.LG stat.AP
Quantum Graph Attention Networks: Trainable Quantum Encoders for Inductive Graph Learning
Pasqal NL
本文提出量子图注意力网络(QGATs),通过参数化量子电路和量子注意力机制编码图结构,实验证明其在QM9数据集上能提升预测性能,尤其在大型分子图上表现优异。
2025-09-14 cs.LG quant-ph
Universal Graph Transformer Self-Attention Networks
Oracle Labs(甲骨文实验室);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们引入了一个基于transformer的GNN模型,名为UGformer,来学习图形表示。特别是,我们提出了两种UGformer变体,其中第一种变体(于2019年9月发布)是在每个输入节点的一组采样邻居上利用Transformer,而第二种变体(于2021年5月发布)是在所有输入节点上利用Transformer。实验结果表明,第一个UGformer变体在归纳设置和无监督转换设置中的图分类的基准数据集上实现了最先进的精度;第二个UGformer变体获得了归纳文本分类的最先进的精度。代码可在以下网址获得:\url{https://github.com/daiquocnguyen/Graph-Transformer}。
2022-03-08 cs.CV cs.LG stat.ML
How Neural Processes Improve Graph Link Prediction
The University of Sydney(悉尼大学)
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上,但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中,我们提出了一个元学习方法与图神经网络的链接预测:神经过程图神经网络(NPGNN),它可以执行两个转导和归纳学习任务,并适应模式在一个大的新的图训练后,一个小的子图。在真实世界的图上进行实验来验证我们的模型,结果表明,与其他最先进的模型相比,所提出的方法具有更强的性能,同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
Link Prediction with Contextualized Self-Supervision
Monash University(莫纳什大学);The University of Sydney(悉尼大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
链接预测旨在推断网络/图中节点对之间的链接存在。尽管传统的链接预测算法有着广泛的应用,但在现实网络中,链接稀疏性、节点属性噪声和动态变化等三大挑战阻碍了它们的成功。为了解决这些挑战,我们提出了一个上下文自监督学习(CSSL)框架,充分利用结构上下文预测链接预测。建议的CSSL框架学习一个链接编码器来推断链接存在概率从成对的节点嵌入,这是通过对节点属性的变换构造。为了生成用于链接预测的信息节点嵌入,利用结构上下文预测作为自监督学习任务来提高链接预测性能。研究了两种类型的结构背景,即,从随机游走收集的上下文节点与上下文子图。CSSL框架可以以端到端的方式训练,其中模型参数的学习由链接预测和自监督学习任务两者监督。建议CSSL是一个通用的和灵活的框架,在这个意义上,它可以处理属性和非属性的网络,并在两个转导和感应链接预测设置下运行。在七个真实世界的基准网络上进行的广泛的实验和消融研究表明,所提出的基于自我监督的链接预测算法在不同类型的网络上的性能优于最先进的基线,在传导和感应设置下。建议的CSSL也产生竞争力的性能,其鲁棒性节点属性噪声和可扩展性在大规模网络。
2022-09-07 cs.AI cs.SI
PUFFIN: A Path-Unifying Feed-Forward Interfaced Network for Vapor Pressure Prediction
Norwegian University of Science and Technology(挪威科技大学);University of Porto(波尔图大学)
本文提出 PUFFIN 框架,将迁移学习与基于 Antoine 方程的归纳偏置节点相结合,利用图嵌入提升蒸气压预测精度,并兼具部分可解释性。
2023-07-08 cs.LG physics.chem-ph
Building powerful and equivariant graph neural networks with structural message-passing
EPFL(洛桑联邦理工学院)
消息传递已被证明是设计图神经网络的一种有效方法,因为它能够利用置换等方差和对学习局部结构的归纳偏差,以实现良好的泛化。然而,目前的消息传递架构具有有限的表示能力,并且无法学习图的基本拓扑属性。我们解决这个问题,并提出了一个强大的和equivariant消息传递框架的基础上两个想法:第一,我们传播一个热编码的节点,除了功能,为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息,并且最终可以被合并以构建节点表示。其次,我们提出的方法参数化的消息和更新功能,确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上,我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性,并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
Differentiable Inductive Logic Programming for Structured Examples
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室)
逻辑的可微分实现产生了符号推理和深度神经网络的无缝组合。最近的研究,开发了一个可微的框架来学习逻辑程序的例子,甚至可以获得合理的解决方案,从嘈杂的数据集。然而,这个框架严重限制了解决方案的表达,例如,不允许使用函数符号,子句的形状是固定的。因此,该框架不能处理结构化的示例。因此,我们提出了一个新的框架,学习逻辑程序从嘈杂和结构化的例子,包括以下贡献。首先,我们提出了一种自适应子句搜索方法,通过结构化的空间,这是由条款的一般性定义,以产生一个有效的搜索空间可微求解器。其次,我们提出了地面原子的枚举算法,它确定了一个必要的和充分的地面原子执行可微推理功能。最后,我们提出了一种新的软组织逻辑程序的方法,使系统能够处理由多个子句组成的复杂程序。我们的实验表明,我们的新框架可以从有噪和结构化的示例(例如序列或树)中学习逻辑程序。我们的框架可以扩展到处理复杂的程序,包括几个条款的功能符号。
2021-03-02 cs.AI cs.LG
Structured Diffusion Bridges: Inductive Bias for Denoising Diffusion Bridges
Ben-Gurion University of the Negev(贝纳亚克大学)
本文提出了一种扩散桥框架,通过对可行解空间的刻画和对齐约束限制,实现模态翻译任务,展示了在无配对、半配对和配对场景下的稳定性能,尤其在降低配对要求的同时保持高质量。
2026-05-12 cs.AI cs.LG
HYPER: A Foundation Model for Inductive Link Prediction with Knowledge Hypergraphs
University of Oxford(牛津大学);Google Research(谷歌研究);AITHYRA;TU Wien(维也纳技术大学)
HYPER是一种基础模型,能处理包含新实体和新关系的知识超图归纳链接预测,通过编码超边中的实体及其位置实现跨不同关系类型的迁移学习。
2026-05-08 cs.AI cs.LG
iN2V: Bringing Transductive Node Embeddings to Inductive Graphs
Ulm University(乌尔姆大学)
本文提出归纳式 node2vec(iN2V),通过事后计算未见节点嵌入并修改 N2V 训练过程,将直推式嵌入扩展到归纳场景,在节点分类任务中平均提升 1 个百分点,最高提升 6 个百分点。
2025-06-05 cs.LG