Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
存在于集群中的图的节点更有可能彼此连接,而不是与图中的其他节点连接。然后揭示一些节点的一些信息,图的结构(图边)提供了了解其他节点更多信息的机会。从这个角度来看,本文重温了节点分类任务,在半监督的情况下,图卷积网络(GCN)。我们的目标是从围绕显示的节点标签循环的信息流中受益。本文的贡献是双重的。首先,本文提供了一种从图实现中提取边信息的方法。然后提出了一种新的GCN结构,将传统GCN的输出与提取的边信息相结合。本文的另一个贡献是相关的非图观察(独立的边信息),存在于旁边的图实现在许多应用程序。实际上,所提取的边信息可以被独立于图结构的边信息序列替换。对于这两种情况下,在合成和真实世界的数据集上的实验表明,与现有的最先进的节点分类任务的方法相比,所提出的模型实现了更高的预测精度。
2020-11-13 cs.LG cs.SI stat.ML
Multi-Label Graph Convolutional Network Representation Learning
Florida Atlantic University(佛罗里达大西洋大学);Hunan University of Science and Technology(湖南科技大学)
基于图的系统的知识表示是许多学科的基础。迄今为止,大多数现有的表示学习方法主要关注具有单纯标签的网络,然而现实世界的对象(节点)本质上是复杂的,并且通常包含丰富的语义或标签,例如,用户可以属于社交网络的不同兴趣组,从而导致用于许多应用的多标签网络。多标签网络节点不仅具有用于每个节点的多个标签,这样的标签通常是高度相关的,使得现有方法无效或无法处理用于节点表示学习的这样的相关性。本文提出了一种新的多标记图卷积网络(ML-GCN),用于学习多标记网络的节点表示。为了充分探索标签-标签相关性和网络拓扑结构,我们提出将多标签网络建模为两个连体GCN:节点-节点-标签图和标签-标签-节点图。这两个GCN分别处理节点和标签的表示学习的一个方面,并且它们在一个目标函数下无缝集成。学习的标签表示可以有效地保持内部标签交互和节点标签属性,然后在统一的训练框架下聚合以增强节点表示学习。多标签节点分类的实验和比较验证了我们提出的方法的有效性。
2019-12-26 cs.LG cs.SI stat.ML
Investigating and Mitigating Degree-Related Biases in Graph Convolutional Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学);IBM T.J. Watson(IBM T.J. Watson 研究院)
图卷积网络在图的半监督学习任务中表现出良好的效果,因此与其他方法相比成为一种很好的方法。尽管GCN取得了显著的成功,但在监督不足的情况下很难训练GCN。当标记数据有限时,GCN的性能对于低度节点变得不令人满意。虽然一些先前的工作在整个模型级别上分析了GCN的成功和失败,但在单个节点级别上分析GCN仍然没有充分探索。在本文中,我们分析GCN的节点度分布。从经验观察到理论证明,我们确认GCN偏向于具有更高准确度的节点,即使在大多数图中高度节点的代表性不足。我们进一步开发了一种新的自监督学习度特定GCN(SL-DSGC),从模型和数据方面减轻GCN的度相关偏差。首先,我们提出了一个度特定的GCN层,捕获不同程度的节点的差异和相似性,这减少了GCN的内部模型方面的偏见所造成的共享相同的参数与所有节点。其次,我们设计了一个自监督学习算法,该算法使用贝叶斯神经网络在未标记的节点上创建具有不确定性分数的伪标签。伪标签增加了连接到低度节点的标记邻居的机会,从而从数据角度减少了GCN的偏差。进一步利用不确定性分数在SL-DSGC的随机梯度下降中动态地加权伪标签。在三个基准数据集上的实验表明,SL-DSGC不仅优于最先进的自训练/自监督学习GCN方法,而且大大提高了低度节点的GCN准确性。
2020-08-13 cs.LG stat.ML
Building Shortcuts between Distant Nodes with Biaffine Mapping for Graph Convolutional Networks
Southwest Petroleum University(西南石油大学);East China Normal University(华东师范大学)
最近的多项研究表明,在图卷积网络(GCN)中存在一个悖论,即,浅层架构限制了从高阶邻居学习信息的能力,而深层架构则遭受过度平滑或过度挤压。为了享受浅层结构的简单性并克服其邻域扩展的限制,在这项工作中,我们引入Biaffine技术来提高具有浅层结构的图卷积网络的表达能力。该方法的核心设计是学习节点对远距离邻居的直接依赖性,仅一跳消息传递就能够捕获丰富的节点表示信息。此外,我们提出了一个多视图的对比学习方法来利用从长距离依赖学习的表示。在九个图基准数据集上进行的大量实验表明,浅偏仿射图卷积网络(BAGCN)在半监督节点分类上的性能明显优于最先进的GCN(具有深或浅架构)。我们进一步验证了双仿射设计在节点表示学习中的有效性以及在不同大小的训练数据上的性能一致性。
2023-02-20 cs.LG cs.SI
Non-Recursive Graph Convolutional Networks
Beihang University(北京航空航天大学);Tencent Inc.(腾讯公司);Cainiao Network(菜鸟网络);Alibaba Group(阿里巴巴集团)
图卷积网络(GCN)是节点表示学习任务的强大模型。然而,现有GCN模型中的节点表示通常通过使用某些采样方法在多个图卷积层上执行递归邻域聚合来生成,这可能导致冗余特征混合,不必要的信息丢失和大量计算。因此,在本文中,我们提出了一种新的架构命名为非递归图卷积网络(NRGCN),以提高GCN的训练效率和学习性能的背景下,节点分类。具体来说,NRGCN提出了表示不同跳的邻居为每个节点的基础上内层聚合和层独立的采样。以这种方式,每个节点可以通过连接从其邻居的每个跳独立地提取的信息来直接表示,从而避免跨层的递归邻居扩展。此外,层无关的采样和聚合可以预先计算之前的模型训练,从而可以大大加快训练过程。在基准数据集上的大量实验验证了我们的NRGCN在节点分类性能和可靠性方面优于最先进的GCN模型。
2021-05-09 cs.LG
A Node-collaboration-informed Graph Convolutional Network for Precise Representation to Undirected Weighted Graphs
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chinese Academy of Sciences(中国科学院);Southwest University(西南大学)
无向加权图(UWG)经常被用来描述来自实际应用的一组节点之间的交互,例如来自社交网络服务系统的用户接触频率。图卷积网络(GCN)被广泛采用来对UWG执行表示学习,以用于后续的模式分析任务,例如聚类或缺失数据估计。然而,现有的GCN大多忽视了隐藏在其连接节点对中的潜在协作信息。为了解决这个问题,本研究提出通过对称潜在因素分析模型来建模节点协作,然后将其视为一个节点协作模块,用于补充GCN中的协作损失。基于这一思想,本文提出了一种节点协作通知图卷积网络(NGCN),它包括三个方面的思想:a)通过节点协作模块从节点对的交互中学习潜在的协作信息; b)建立剩余连接和加权表示传播以获得高的表示能力;以及c)以端到端的方式实现模型优化以实现对目标UWG的精确表示。对实际应用中出现的UWG的实证研究表明,由于其有效地纳入节点协作,建议NGCN显着优于国家的最先进的GCN在解决丢失的重量估计的任务。同时,它良好的可扩展性保证了它与更先进的GCN扩展的兼容性,这将在我们未来的研究中进一步研究。
2022-11-30 cs.LG cs.SI
Multi-view Graph Convolutional Networks with Differentiable Node Selection
Fuzhou University(福州大学);Sun Yat-sen University(中山大学);University of Vienna(维也纳大学)
本文提出MGCN-DNS框架,通过自适应图融合、图学习模块和可微节点选择解决多视图异构图卷积中排序不可微与图嵌入不灵活的问题,并在多视图半监督分类任务中验证其有效性。
2023-08-13 cs.LG
Learning from the Dark: Boosting Graph Convolutional Neural Networks with Diverse Negative Samples
The Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所(AAII));Australian Catholic University(澳大利亚天主教大学)
图卷积神经网络(GCN)是一种有效的节点表示学习工具。理解GCN的一个有趣的方法是将其视为一种消息传递机制,其中每个节点通过接受来自其邻居的信息(也称为正样本)来更新其表示。然而,在这些相邻节点之外,图有一个巨大的、黑暗的、几乎被遗忘的世界,我们在其中找到非相邻节点(负样本)。在这篇论文中,我们展示了这个巨大的黑暗世界包含了大量的信息,这些信息可能对表示学习有用。更具体地说,它可以提供关于节点表示的负面信息。我们的总体思路是为每个节点选择适当的负样本,并将这些样本中包含的负信息纳入表示更新中。此外,我们表明,选择负样本的过程是不平凡的。因此,我们的主题首先描述了一个良好的负样本的标准,其次是一个决定性的点过程算法,有效地获得这样的样本。一个GCN,由不同的负样本的提升,然后联合考虑的积极和消极的信息时,传递消息。实验结果表明,这种思想不仅提高了标准表示学习的整体性能,而且还显着消除了过度平滑问题。
2022-10-03 cs.LG
GCN-SL: Graph Convolutional Networks with Structure Learning for Graphs under Heterophily
Xi'an Jiaotong University(西安交通大学);Xi'an University of Science and Technology(西安科技大学)
在图结构数据的表示学习中,在异质性(或低同质性)下,许多流行的GNN可能无法捕获长范围的依赖关系,从而导致其性能下降。针对上述问题,提出了一种具有结构学习的图卷积网络(GCN-SL),并将其应用于节点分类。GCN-SL包含两个改进:分别对应于节点特征和边。在节点特征方面,我们提出了高效谱聚类(ESC)和带锚点的ESC(ESC-ANCH)算法来高效地聚合所有相似节点的特征表示。在边缘方面,我们通过特殊的数据预处理技术和相似性学习来构建重连接邻接矩阵,并且重连接邻接矩阵可以直接随着GCN-SL参数进行优化。考虑到原邻接矩阵可能会对GCN中的聚集提供误导信息,特别是在低水平的同伦图中。GCN-SL通过重连接邻接矩阵聚合邻近节点的特征表示,并适用于具有不同水平的同质性的图。在广泛的基准数据集上的实验结果表明,所提出的GCN-SL优于最先进的GNN同行。
2021-06-28 cs.LG
Enhancing the Influence of Labels on Unlabeled Nodes in Graph Convolutional Networks
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院);Hainan University(海南大学)
针对GCN中额外标签信息可能产生负面影响的问题,提出ELU-GCN两步框架,通过图学习构建ELU图并引入图对比学习,理论保证泛化能力,实验验证优越性。
2025-05-22 cs.LG
Bayesian Graph Convolutional Neural Networks using Node Copying
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)在不同的基于图的学习任务中具有许多应用。虽然这些技术获得了令人印象深刻的结果,但它们往往无法解释与底层图结构相关的不确定性。在最近提出的贝叶斯GCNN(BGCN)框架中,通过将观察到的图视为参数随机图模型的样本并针对图和GCNN权重的联合推理来解决这个问题。在本文中,我们介绍了另一种生成模型的基础上复制节点的图形,并将其纳入BGCN框架。我们的方法的好处是,它使用的节点特征和训练标签在图拓扑推理提供的信息。实验表明,该算法在基准节点分类任务中优于最先进的算法。
2019-11-08 cs.LG stat.ML
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology(谢里夫理工大学)
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法,如图卷积网络(GCN),试图考虑节点属性(如果可用),除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面,多层图分析最近受到关注。然而,现有的多层图嵌入方法不能包含所有可用的信息(如节点属性)。此外,他们中的大多数考虑节点或边的类型,他们不处理层内和层间的边缘不同。在本文中,我们提出了一种称为MGCN的方法,利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明,该方法的优越性,其他多层和单层的竞争对手,也显示了积极的效果,使用跨层的边缘。
2019-08-24 cs.LG stat.ML
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University(斯坦福大学)
标签传播(LPA)和图卷积神经网络(GCN)都是图上的消息传递算法。两者都解决了节点分类的任务,但LPA在图的边缘传播节点标签信息,而GCN传播和转换节点特征信息。然而,虽然在概念上相似,但LPA和GCN之间的理论关系尚未被研究。在这里,我们从两个方面研究LPA和GCN之间的关系:(1)特征/标签平滑,我们分析一个节点的特征/标签如何在其邻居上传播;以及(2)特征/标签影响,即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析,我们提出了一个端到端的模型,统一GCN和LPA的节点分类。在我们的统一模型中,边缘权重是可学习的,LPA作为正则化来帮助GCN学习适当的边缘权重,从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重,这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中,我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
CatGCN: Graph Convolutional Networks with Categorical Node Features
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Google Research(谷歌研究院);Tencent WeChat(腾讯微信)
最近对图卷积网络(GCN)的研究表明,初始节点表示(即,在第一次图形卷积之前的节点表示)很大程度上影响最终的模型性能。然而,当学习一个节点的初始表示,大多数现有的工作线性组合的节点特征的嵌入,而不考虑功能(或功能嵌入)之间的相互作用。我们认为,当节点特征是分类的,例如,在许多现实世界的应用中,如用户分析和推荐系统,特征交互通常携带用于预测分析的重要信号。忽略它们将导致次优的初始节点表示,从而削弱后续图卷积的有效性。在本文中,我们提出了一个新的GCN模型命名为CatGCN,这是专为图学习时的节点特征是分类的。具体来说,我们将两种显式交互建模方法集成到初始节点表示的学习中,即,在每对节点特征上进行局部交互建模,在人工特征图上进行全局交互建模。然后,我们使用基于邻域聚合的图卷积来细化增强的初始节点表示。我们以端到端的方式训练CatGCN,并在半监督节点分类上演示它。在腾讯和阿里巴巴数据集上进行的三个用户分析任务(用户年龄、城市和购买水平预测)的大量实验验证了CatGCN的有效性,特别是在图卷积之前执行特征交互建模的积极效果。
2022-03-09 cs.LG stat.ML
Expanding Label Sets for Graph Convolutional Networks
Abdullah Gül University(阿卜杜拉·居尔大学);Case Western Reserve University(凯斯西储大学)
近年来,图卷积网络(GCN)及其变体已被广泛用于涉及图的学习任务。这些任务包括推荐系统、节点分类等。在节点分类问题中,输入是一个图,其中边表示节点对之间的关联,多维特征向量与节点相关联,并且图中的一些节点具有已知的标签。我们的目标是预测未标记的节点的标签,使用节点的功能,结合图形拓扑。虽然GCN已成功应用于此问题,但它们继承自传统深度学习模型的警告对GCN在节点分类中的广泛应用构成了重大挑战。一个这样的警告是,训练GCN需要大量的标记训练实例,这在现实环境中通常不是这种情况。为了弥补这一要求,最先进的方法利用基于网络扩散的方法在训练GCN之前在网络中传播标签。然而,这些方法忽略了网络扩散方法的倾向,即偏向于接近中心,导致标签传播到图中连接良好的节点。为了解决这个问题,我们在这里提出了一种通过以下三个步骤推断GCN中节点标签的替代方法:(i)对网络进行聚类以识别社区,(ii)使用网络扩散算法来量化每个节点与社区的接近度,从而获得每个节点的低维拓扑简档,(iii)比较这些拓扑简档以识别与标记的节点最相似的节点。
2019-12-18 cs.LG stat.ML
Understanding and Resolving Performance Degradation in Graph Convolutional Networks
National University of Singapore(新加坡国立大学);PayPal Innovation Lab(PayPal创新实验室);Alibaba Group(阿里巴巴集团)
图卷积网络(GCN)堆叠若干层,并且在每一层中执行PROPagation操作(PROP)和TRANSFORMATION操作(TRAN),用于学习图结构数据上的节点表示。虽然GCN功能强大,但当模型深入时,GCN往往会遭受性能下降。以前的作品集中在道具研究和减轻这个问题,但TRANS的作用几乎没有调查。在这项工作中,我们研究GCN的性能下降,通过实验研究如何堆叠只有TRANS或PROPs的作品。我们发现TRANS对性能下降的贡献很大,甚至超过PROPs,而且它们往往会放大GCN中的节点特征方差,导致方差炎症,我们认为这是导致性能下降的关键因素。出于这样的观察,我们提出了一种称为节点归一化(NodeNorm)的方差控制技术,它使用自己的标准差来缩放每个节点的特征。实验结果验证了NodeNorm解决GCN性能下降的有效性。具体来说,它使深度GCN在需要深度模型的情况下表现优于浅层GCN,并在6个基准数据集上实现与浅层GCN相当的结果。NodeNorm是一个通用插件,可以很好地推广到其他GNN架构。代码可在https://github.com/miafei/NodeNorm上公开获取。
2021-09-13 cs.LG stat.ML
Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)已经成功地应用于许多不同的基于图的学习任务,包括节点和图分类、矩阵完成和节点嵌入的学习。尽管他们令人印象深刻的性能,技术有一个有限的能力,将不确定性的下划线图形结构。为了解决这个问题,最近提出了贝叶斯GCNN(BGCN)框架。在这个框架中,观察到的图被认为是一个随机实现的参数随机图模型和联合贝叶斯推理的图形和GCNN的权重进行。在本文中,我们提出了一个非参数生成模型的图形,并将其纳入BGCN框架。除了观察到的图,我们的方法有效地使用节点的功能和训练标签在后验推理的图,并达到卓越的或可比的性能在基准节点分类任务。
2019-10-26 cs.LG stat.ML
Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
图卷积网络(GCN)已成功应用于网络挖掘的节点分类任务。然而,大多数基于邻域聚集的模型通常是肤浅的,缺乏“图池”机制,这使得模型无法获得足够的全局信息。为了增加感受野,我们提出了一种新的深度层次图卷积网络(H-GCN)的半监督节点分类。H-GCN首先重复地将结构相似的节点聚合为超节点,然后将粗化的图细化为原始图,以恢复每个节点的表示。而不是仅仅聚集一跳或两跳的邻居信息,建议的粗化过程扩大了每个节点的感受野,因此更多的全球信息可以被捕获。所提出的H-GCN模型在各种公共基准图数据集上表现出强大的经验性能,优于最先进的方法,并在准确性方面获得高达5.9%的性能提升。此外,当只提供少量标记样本时,我们的模型获得了实质性的改进。
2019-06-10 cs.LG cs.SI stat.ML
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
图卷积网络(GCN)在各种基于图的任务上取得了令人满意的性能。然而,当堆叠更多层时,它们遭受过度平滑。在本文中,我们提出了一个定量的研究,这一观察和发展新的见解更深的GCN。首先,我们从优化的角度来解释当前的图卷积运算,并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后,我们引入了两个指标来衡量节点级任务的过度平滑。具体来说,我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析,我们从优化的角度建立了一个通用的GCN理论框架,并推导出一种新的卷积核GCN+,它具有较低的参数量,同时从本质上减轻了过平滑。在真实数据集上的大量实验表明,GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Virtual Adversarial Training on Graph Convolutional Networks in Node Classification
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
图卷积网络(GCN)的有效性已在广泛的基于图的机器学习任务中得到证明。然而,GCN中的参数更新仅来自标记节点,缺乏对未标记数据的利用。在本文中,我们将虚拟对抗训练(VAT),一种基于标记和未标记数据的对抗正则化方法应用于GCN的监督损失,以提高其泛化性能。通过在半监督学习中对后验分布施加虚拟对抗平滑性,VAT产生对GCN的对称拉普拉斯平滑性的改进。此外,由于特征属性的不同,我们分别对稀疏特征和密集特征进行虚拟对抗扰动,从而得到GCN稀疏VAT(GCNSVAT)和GCN密集VAT(GCNDVAT)算法。大量的实验验证了我们的两种方法在不同训练规模下的有效性。我们的工作为更好地理解未来GCN的改进方向铺平了道路。
2020-02-20 cs.LG stat.ML
Generative Graph Convolutional Network for Growing Graphs
Walmart Labs(沃尔玛实验室)
对生长图的生成过程建模在社交网络和推荐系统中有着广泛的应用,其中冷启动问题导致新节点从现有图中分离出来。尽管在学习图表示和图生成的新兴文献,其中大多数不能处理孤立的新节点没有非平凡的修改。挑战的出现是由于这样一个事实,即学习生成表示的观察图中的节点在很大程度上依赖于拓扑特征,而对于新的节点,只有节点属性可用。在这里,我们提出了一个统一的生成图卷积网络,学习所有节点的节点表示自适应生成模型框架,通过采样从观察到的图形数据构建的图形生成序列。我们优化的变分下界,由一个图重建项和自适应Kullback-Leibler发散正则化项。我们证明了我们的方法在几个基准引文网络数据集上的优越性能。
2019-03-06 cs.LG cs.SI stat.ML
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University(麦吉尔大学);Mila(米拉研究所);DeepMind(深度思维)
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合,其过滤邻域节点信息。虽然对各种任务有效,但在本文中,我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素,因为它们迫使节点表示相似,使节点逐渐失去身份并变得不可区分。因此,我们增加了聚合操作与他们的对偶,即多样化运营商,使节点更加独特,并保持身份。这种增强用双通道过滤过程代替聚合,理论上,这有利于丰富节点表示。在实践中,所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略,包括频谱和空间(消息传递)方法。在实验中,我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Graph Convolutional Networks Meet with High Dimensionality Reduction
Abdullah Gül University(阿卜杜拉·居尔大学)
近年来,图卷积网络及其变体在学习图相关任务方面受到了广泛的研究兴趣。虽然GCN已成功应用于此问题,但从经典深度学习继承的一些警告仍然是节点分类问题背景下的开放研究主题。一个这样的继承警告是,GCN只考虑距离标记节点几次传播的节点来对它们进行分类。然而,仅考虑几个传播步骤远离节点的失败的目的,在GCN中使用的图形拓扑信息。为了解决这个问题,现有技术的方法利用网络扩散方法,即个性化页面排名及其变体,以完全考虑图形拓扑,{ \em之后}它们在GCN中使用神经网络。然而,这些方法忽略了这样一个事实,即网络扩散方法有利于图中的高度节点,导致标签传播到未标记的中心节点。为了解决这个偏置枢纽节点的问题,在本文中,我们提出了利用降维技术共轭与个性化的页面排名,使我们既可以利用图拓扑结构和解决枢纽节点有利于GCN的问题。在这里,我们的方法开辟了一个新的整体道路的消息传递阶段的GCN建议使用其他接近矩阵,而不是众所周知的拉普拉斯算子。在两个真实世界的网络上进行测试,这些网络通常用于对节点分类上下文的GCN性能进行基准测试,我们系统地评估了所提出的方法的性能,并表明我们的方法在非常有限的深度学习训练{ \em epochs}的情况下,在广泛的参数值范围内优于现有方法。
2019-11-07 cs.LG stat.ML
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University(巴伊兰大学)
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外,将拓扑信息与信息传播相结合,提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好,没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
Bayesian graph convolutional neural networks for semi-supervised classification
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
最近,出现了将卷积神经网络应用于图形结构数据的技术。图卷积神经网络(GCNN)已经被用于解决节点和图分类以及矩阵完成。虽然性能已经令人印象深刻,目前的实现具有有限的能力,将不确定性的图形结构。几乎所有的GCNN都处理一个图,就好像它是对节点之间关系的真实描述一样,但通常应用中使用的图本身就是从噪声数据或建模假设中导出的。可能包括虚假边;在具有非常强的关系的节点之间可能缺少其他边。在本文中,我们采用贝叶斯方法,观察到的图作为一个实现从一个参数的随机图族。然后,我们的目标是随机图参数和节点(或图)标签的联合后验的推断。我们提出了贝叶斯GCNN框架,并开发了一个迭代学习过程的情况下,随机混合成员随机块模型。我们提出的实验结果表明,贝叶斯公式可以提供更好的性能时,有很少的标签在训练过程中。
2018-11-27 cs.LG stat.ML
Topological based classification using graph convolutional networks
Bar Ilan University(巴伊兰大学)
在着色图中,节点类通常与它们的邻居类相关联,或者与没有并入与每个节点相关联的图中的信息相关联。我们在这里提出,节点类也与节点的拓扑特征。我们使用这种关联来改进图机器学习,特别是图卷积网络(GCN)。首先,我们表明,即使在没有任何外部信息的节点,一个很好的准确性可以获得的预测的节点类使用拓扑特征,或使用邻居类作为输入到GCN。该准确度略低于使用基于内容的GCN可以获得的准确度。其次,我们表明,明确地添加拓扑结构作为输入到GCN不提高精度时,结合外部信息的节点。然而,在GCN中添加一个额外的邻接矩阵,其中具有类似拓扑结构的遥远节点之间的边确实显着提高了其准确性,从而在多个数据集中获得比所有现有技术方法更好的结果。
2019-10-26 cs.LG cs.SI stat.ML
Node Feature Kernels Increase Graph Convolutional Network Robustness
Huawei(华为);École Polytechnique(巴黎综合理工学院);Institute Polytechnique de Paris(巴黎理工学院);AUEB(雅典经济与商业大学)
常用的图卷积网络(GCN)对输入扰动的鲁棒性是一个越来越重要的课题。本文介绍了随机广义连通网络,并给出了随机矩阵理论分析的可能性。该分析表明,如果图被充分扰动,或者在极端情况下是随机的,则GCN无法从节点特征中受益。进一步观察到,通过将节点特征核添加到图结构的邻接矩阵来增强GCN中的消息传递步骤解决了这个问题。一项对GCN在六个真实数据集上进行节点分类的实证研究进一步证实了理论研究结果,并表明图结构的扰动可能导致GCN的性能明显低于仅在节点特征上运行的多层感知器。在实践中,添加一个节点特征内核的扰动图的消息传递的结果在一个显着的改善GCN的性能,从而使它更强大的图形扰动。我们的代码可在https://github.com/ChangminWu/RobustGCN上公开获取。
2022-02-21 cs.LG cs.SI stat.ML
Graph Convolutional Network For Semi-supervised Node Classification With Subgraph Sketching
School of Systems Science and Engineering(系统科学与工程学院);Sun Yat-sen University(中山大学);School of Mathematics(数学学院)
提出GLDGCN模型通过引入对偶卷积层和图学习层提升半监督节点分类准确率,并引入子图聚类和随机梯度下降设计CLustering GCN算法解决大图处理问题。
2024-04-25 cs.LG
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Inheritance Between Feedforward and Convolutional Networks via Model Projection
Department of Mathematics and Statistics(数学与统计学系)
提出模型继承概念,证明广义前馈网络是广义卷积网络的子集,并通过模型投影实现反向继承,用于参数高效的迁移学习。
2026-06-04 cs.LG stat.ML
Certifiable Robustness and Robust Training for Graph Convolutional Networks
Technical University of Munich(慕尼黑工业大学)
最近的工作表明,图神经网络(GNN)对于图结构和节点属性的对抗攻击是高度不鲁棒的,使得它们的结果不可靠。我们提出了第一种方法的可证明的(非)鲁棒性的图卷积网络的节点属性的扰动。我们考虑的情况下,二进制节点属性(如袋的话)和扰动是L_0有界的。如果一个节点已经用我们的方法进行了认证,那么在给定的攻击模型下,它保证在任何可能的扰动下都是鲁棒的。同样,我们可以证明非鲁棒性。最后,我们提出了一个强大的半监督训练过程,将标记和未标记的节点联合起来。正如我们的实验评估所示,我们的方法显着提高了GNN的鲁棒性,对预测精度的影响很小。
2019-06-28 cs.CR cs.LG stat.ML
Convergence and Stability of Graph Convolutional Networks on Large Random Graphs
CNRS(法国国家科学研究中心);GIPSA-lab(格勒诺布尔交互物理与声学实验室);NYU Center for Data Science(纽约大学数据科学中心);IMB(勃艮第数学研究所);Inria Paris(法国国家信息与自动化研究所巴黎分院)
我们通过分析它们在随机图的标准模型上的行为来研究图卷积网络(GCN)的性质,其中节点由随机潜变量表示,边缘根据相似性核绘制。这使我们能够克服困难,处理离散的概念,如同构非常大的图,而不是考虑更自然的几何方面。我们首先研究了随着节点数的增加,GCN向其连续对应物的收敛。我们的结果是完全非渐近的,是有效的,相对稀疏的平均度的增长与节点数的图。然后,我们分析的稳定性GCN的随机图模型的小变形。与之前对离散设置中稳定性的研究相比,我们的连续设置使我们能够提供更直观的基于变形的度量来理解稳定性,这已被证明有助于解释欧几里得域上卷积表示的成功。
2020-10-23 cs.LG stat.ML
Composition-based Multi-Relational Graph Convolutional Networks
Indian Institute of Science(印度科学学院);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
图卷积网络(GCN)最近被证明是非常成功的建模图结构的数据。然而,主要的焦点是处理简单的无向图。多关系图是一种更普遍和流行的图,其中每个边都有一个标签和方向与之相关联。大多数现有的方法来处理这类图遭受过度参数化,并仅限于学习节点的表示。在本文中,我们提出了CompGCN,一种新的图卷积框架,它联合嵌入节点和关系图中的关系。CompGCN利用来自知识图谱嵌入技术的各种实体-关系组合操作,并随关系的数量而缩放。它还推广了现有的几个多关系GCN方法。我们评估我们提出的方法在多个任务,如节点分类,链接预测,和图形分类,并取得了明显的优越的结果。我们提供CompGCN的源代码,以促进可重复的研究。
2020-01-18 cs.LG stat.ML
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University(贵州大学)
图卷积网络(GCN)通过从图数据中提取结构信息,在半监督节点分类领域已被证明是成功的。然而,随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中,我们提出了一种有效的方法,确定性选择标记的节点:确定性节点选择(DNS)算法。DNS算法识别图中的两类代表性节点:典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验,我们已经证明,与原始方法相比,DNS算法的引入可以显着提高模型的平均准确度,并显着降低标准差。
2023-01-11 cs.AI cs.LG
Anisotropic Graph Convolutional Network for Semi-supervised Learning
Concordia Institute for Information Systems Engineering(康考迪亚大学信息系统工程研究所);Concordia University(康考迪亚大学)
图卷积网络学习有效的节点嵌入,这些节点嵌入已被证明有助于在半监督学习任务(如节点分类)中实现高精度预测结果。然而,这些网络遭受图的过度平滑和收缩效应的问题,这在很大程度上是由于它们使用线性拉普拉斯流在图的边缘上扩散特征的事实。这种限制对于节点分类的任务尤其成问题,其中目标是预测与图节点相关联的标签。为了解决这个问题,我们提出了一个各向异性的图卷积网络的半监督节点分类,通过引入一个非线性函数,捕捉信息的功能,从节点,同时防止过度平滑。该框架的主要动机是各向异性扩散在图像和几何处理中的良好性能,并学习基于局部图结构和节点特征的非线性表示。在三个引文网络和两个图像数据集上证明了我们方法的有效性,与标准基线方法相比,实现了更好或相当的分类准确性结果。
2020-10-20 cs.LG
What Do Graph Convolutional Neural Networks Learn?
University of Toronto(多伦多大学)
图神经网络(GNN)在过去几年中因其在众多机器学习任务中的卓越性能而获得了广泛关注。图卷积神经网络(GCN)是GNN的一种常见变体,已知其在半监督节点分类(SSNC)中具有高性能,并且在同质性假设下工作良好。最近的文献强调,GCN可以在某些“特殊条件”下实现对异嗜图的强大性能。这些论点促使我们理解GCN为什么以及如何学习执行SSNC。我们发现一个类内的节点和GCN的性能的潜在节点嵌入的相似性之间的正相关关系。我们对数据集的底层图结构的调查发现,GCN的SSNC性能受到类内节点邻域结构的一致性和唯一性的显着影响。
2022-07-05 cs.AI cs.LG stat.ML
Deformable Graph Convolutional Networks
Korea University(高丽大学)
图神经网络(GNN)显著提高了图结构数据的表示能力。尽管GNN最近取得了成功,但大多数GNN中的图卷积有两个局限性。由于图卷积是在输入图上的一个小的局部邻域中执行的,因此它本质上无法捕获距离节点之间的长程依赖关系。此外,当节点具有属于不同类的邻居时,即,异质性,从他们聚集的消息往往负面影响表示学习。为了解决图卷积的两个常见问题,在本文中,我们提出了可变形图卷积网络(可变形GCN),自适应地在多个潜在空间中执行卷积,并捕获节点之间的短/长距离依赖关系。与节点表示(特征)分离,我们的框架同时学习节点位置嵌入(坐标),以端到端的方式确定节点之间的关系。根据节点位置,卷积核通过变形向量变形,并对其相邻节点应用不同的变换。我们广泛的实验表明,可变形GCN灵活地处理异构性,并在六个异构图数据集上实现了节点分类任务的最佳性能。
2021-12-29 cs.LG
Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
图卷积网络(GCN)为基于图的半监督任务提供了一种强有力的手段。然而,作为谱图卷积的局部一阶近似,经典的GCN不能充分利用未标记数据,特别是当未标记节点远离标记节点时。为了利用来自未标记节点的信息来促进GCN的训练,我们提出了一个名为Self-Ensembling GCN(SEGCN)的新框架,该框架将GCN与Mean Teacher -半监督学习中的另一个强大模型-结合在一起。SEGCN包含一个学生模型和一个教师模型。作为一名学生,它不仅学会正确地对标记的节点进行分类,而且在更具有挑战性的情况下,如高辍学率和图崩溃,它还试图在未标记的节点上与老师保持一致。作为教师,它会对学生模型权重进行平均,并生成更准确的预测来引导学生。在这种相互促进的过程中,标记和未标记的样本都可以充分利用反向传播的有效梯度训练GCN。在三个文章分类任务,即Citeseer,Cora和Pubmed中,我们验证了所提出的方法在分类精度上与最新技术相匹配。
2018-09-26 cs.AI cs.LG stat.ML
Neighbor Enhanced Graph Convolutional Networks for Node Classification and Recommendation
Beihang University(北京航空航天大学);Yangtze University(长江大学);Alibaba Group(阿里巴巴集团);Cainiao Network(菜鸟网络);Jinan University(暨南大学);Tencent Inc.(腾讯公司)
最近提出的图卷积网络(GCN)在各种与图相关的任务(如节点分类和推荐)上取得了显着优越的性能。然而,目前对GCN模型的研究通常是递归地聚合所有邻居或随机采样的邻居子集的信息,而没有明确地识别聚合的邻居在图卷积过程中是否提供有用的信息。本文从理论上分析了邻居质量对GCN模型性能的影响,提出了邻居增强图卷积网络(Neighbor Enhanced Graph Convolutional Network,NEGCN)框架来提高现有GCN模型的性能。我们的贡献是三方面的。首先,我们在第一次提出的概念,邻居质量的节点分类和推荐任务的一般理论框架。具体而言,对于节点分类,我们提出了三个命题,从理论上分析邻居质量如何影响GCN模型的节点分类性能。其次,基于提出的三个命题,我们引入了图细化过程,包括专门设计的邻居评估方法,以提高邻居质量,从而提高节点分类和推荐任务。第三,我们在几个基准数据集上进行了广泛的节点分类和推荐实验。实验结果表明,我们提出的NEGCN框架可以显着提高性能的各种典型的GCN模型上的节点分类和推荐任务。
2022-03-30 cs.LG
A Deep Graph Wavelet Convolutional Neural Network for Semi-supervised Node Classification
Institute for Artificial Intelligence at Tsinghua University(清华大学人工智能研究院);State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Center for Intelligent Connected Vehicles and Transportation(智能网联汽车与运输中心);Department of Computer Science, Tsinghua University(清华大学计算机系)
图卷积神经网络为非欧数据的节点分类和其他任务提供了很好的解决方案。有几种图卷积模型试图开发深度网络,但同时不会导致严重的过度平滑。考虑到小波变换通常比傅立叶变换具有更强的提取有用信息的能力,我们提出了一种新的用于半监督节点分类任务的深度图小波卷积网络(DeepGWC)。在优化香草图小波神经网络静态滤波矩阵参数的基础上,结合傅立叶基和小波基,构造了DeepGWC,并在网络结构中重用了残差连接和单位映射。在Cora、Citeseer和Pubmed三个基准数据集上进行了广泛的实验。实验结果表明,我们的DeepGWC在额外小波基的帮助下优于现有的图深度模型,并最终实现了新的最先进的性能。
2021-02-19 cs.LG
Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting
UNSW(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
在相关的时间序列数据中建模复杂的空间和时间相关性对于理解交通动态和预测不断发展的交通系统的未来状态是必不可少的。最近的工作集中在设计复杂的图神经网络架构,以捕捉共享模式的帮助下,预定义的图。在本文中,我们认为,学习节点特定的模式是必不可少的流量预测,而预定义的图是可以避免的。为此,我们提出了两个自适应模块,以增强图卷积网络(GCN)的新功能:1)节点自适应参数学习(NAPL)模块捕捉节点特定的模式; 2)数据自适应图生成(DAGG)模块,自动推断不同的流量序列之间的相互依赖关系。我们进一步提出了一个自适应图卷积递归网络(AGCRN)自动捕获细粒度的空间和时间相关性的流量序列的基础上的两个模块和递归网络。我们在两个真实世界的流量数据集上的实验表明,AGCRN在没有预定义的空间连接图的情况下,性能明显优于最先进的算法。
2020-10-22 cs.LG stat.ML
Stochastic Training of Graph Convolutional Networks with Variance Reduction
Tsinghua University(清华大学);Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服集团(Ant Financial));TNList Lab(TNList实验室);State Key Lab for Intell. Tech. & Sys.(智能技术与系统国家重点实验室);Dept. of Comp. Sci. & Tech.(计算机科学与技术系)
图卷积网络(GCN)是用于图结构数据的强大的深度神经网络。然而,GCN从其邻居递归地计算节点的表示,使感受野大小随层数呈指数增长。先前通过对相邻节点进行二次采样来减小感受野大小的尝试没有收敛保证,并且它们的每个节点的感受野大小仍然在数百的数量级。在本文中,我们开发的控制变量为基础的算法,允许采样任意小的邻居大小。此外,我们证明了新的理论保证,我们的算法收敛到局部最优的GCN。实验结果表明,我们的算法享有类似的收敛性与精确的算法,每个节点只使用两个邻居。我们的算法在大型Reddit数据集上的运行时间只有以前邻居采样算法的七分之一。
2018-03-01 cs.LG stat.ML
Label-Aware Graph Convolutional Networks
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);Jinan University(暨南大学);CUHK(香港中文大学);Tsinghua University(清华大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Wechat, Tencent Inc.(腾讯公司微信)
图卷积网络(GCN)的最新进展导致了各种图相关任务的最新性能。然而,大多数现有的GCN模型没有明确地识别所有的聚合邻居是否有价值的学习任务,这可能会损害学习性能。在本文中,我们考虑的节点分类问题,并提出了标签感知图卷积网络(LAGCN)框架,可以直接识别有价值的邻居,以提高现有的GCN模型的性能。我们的贡献是三方面的。首先,我们提出了一个标签感知的边缘分类器,可以过滤分散的邻居,并添加有价值的邻居为每个节点,以改善原始图到标签感知的~(LA)图。现有的GCN模型可以直接从LA图中学习,以提高性能,而无需改变其模型架构。其次,我们引入了正比的概念来评估LA图中有价值邻居的密度。理论分析表明,使用边缘分类器提高阳性率可以改善现有GCN模型的学习性能。第三,我们在基准数据集上进行了广泛的节点分类实验。实验结果表明,LAGCN在节点分类方面可以显著提高现有GCN模型的性能。
2020-09-05 cs.LG stat.ML
PAC-Bayesian Generalization Bounds for Graph Convolutional Networks on Inductive Node Classification
本文针对动态图上的归纳式节点分类,提出PAC-Bayesian分析,为一层和两层GCN推导依赖数据下的泛化界及收敛条件,奠定动态图泛化理论基础。
2025-09-08 cs.LG
Fusion Graph Convolutional Networks
Indian Institute of Technology Madras(马德拉斯印度理工学院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学)
属性图中的半监督节点分类,即,具有节点特征的图,涉及学习在给定部分标记的图的情况下对未标记的节点进行分类。标签预测是通过对节点及其邻域特征进行联合建模来进行的。在这种属性图上进行节点分类的最新模型使用可微递归函数,该函数能够聚合和过滤来自多跳的邻域信息。在这项工作中,我们分析了这些模型的表示能力,以调节信息从多个跳独立。从我们的分析中,我们得出结论,这些模型,尽管是强大的,有有限的表示能力,有效地捕捉多跳邻域信息。此外,我们还提出了一个数学动机,但简单的扩展现有的图卷积网络(GCN),提高了表示能力。我们广泛地评估了所提出的模型,F-GCN八个流行的数据集从不同的领域。F-GCN在六个数据集上的表现优于最先进的半监督学习模型,同时在其他两个数据集上极具竞争力。
2018-09-21 cs.LG cs.SI stat.ML
WGCN: Graph Convolutional Networks with Weighted Structural Features
The University of Melbourne(墨尔本大学)
图结构信息,如拓扑或连通性,为图卷积网络(GCN)学习节点的表示提供了有价值的指导。现有的GCN模型捕捉节点的结构信息的权重内和外邻居相等或区分内和外邻居全局不考虑节点的本地拓扑结构。我们观察到,在和外邻居贡献不同的节点具有不同的本地拓扑结构。为了探索不同节点的方向结构信息,我们提出了一个加权结构特征的GCN模型,命名为WGCN。WGCN首先通过方向和度感知的重新启动随机游走算法捕获节点的结构指纹,其中游走由边缘方向和节点的入度和出度引导。然后,节点的结构指纹之间的相互作用被用作加权的节点结构特征。为了进一步捕捉节点的高阶依赖关系和图的几何关系,WGCN将图嵌入到一个潜在空间中,以获得节点的潜在邻居和几何关系。基于节点在潜在空间中的几何关系,WGCN用基于注意力的几何聚集区分潜在、内、外邻居。在五个基准数据集上,WGCN的准确率始终优于基线模型,最高可达17.07%。
2021-07-21 cs.AI cs.LG
Virtual Nodes based Heterogeneous Graph Convolutional Neural Network for Efficient Long-Range Information Aggregation
School of Statistics and Mathematics, Guangdong University of Finance & Economics(广东金融学院统计与数学学院);School of Digital Economics, Guangdong University of Finance & Economics(广东金融学院数字经济学学院)
针对异质图神经网络长程依赖建模需堆叠多层、计算复杂且易过平滑的问题,提出VN-HGCN,利用连接特定类型全部节点的虚拟节点在4层内实现高效长程聚合,并可作为通用框架迁移到其他HGNN。
2025-09-28 cs.LG
Interpreting and Understanding Graph Convolutional Neural Network using Gradient-based Attribution Method
Central South University(中南大学)
为了解决卷积神经网络(CNN)难以处理图等非网格型关系数据的问题,Kipf等人提出了图卷积神经网络(GCN)。GCN的核心思想是在每次迭代中对给定图中的每个节点进行双重信息融合:图结构信息的融合和节点特征维度的融合。由于GCN具有组合泛化的特点,在场景语义关系分析、自然语言处理和少样本学习等领域得到了广泛的应用。但由于其双重信息融合涉及数学不可逆计算,很难解释每个节点分类预测的决策原因。遗憾的是,大多数现有的归因分析方法集中在像CNN这样的模型上,这些模型用于处理网格状数据。这些分析方法很难直接应用于GCN。这是因为与CNN输入数据之间的独立性相比,GCN输入数据之间存在相关性。这导致现有的属性分析方法只能得到中心节点特征对GCN最终决策的部分模型贡献,而忽略了中心节点特征及其邻居节点特征对该决策的其他模型贡献。为此,我们提出了一种GCN的梯度属性分析方法--节点属性方法(NAM),该方法不仅可以得到中心节点的模型贡献,还可以得到其邻居节点对GCN输出的模型贡献。我们还提出了节点重要性可视化(NIV)方法,根据贡献值将中心节点及其邻居节点可视化..
2019-04-16 cs.LG
Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks
UCLA(加州大学洛杉矶分校)
图卷积网络(GCN)由于其在不同图任务和不同领域的成功应用,近年来受到了广泛的关注。然而,为大型图训练GCN仍然是一个挑战。原始的全批量GCN训练需要计算每个GCN层图中所有节点的表示,这带来了很高的计算和内存成本。为了缓解这个问题,已经提出了几种基于采样的方法来在节点的子集上训练GCN。其中,逐节点邻居采样方法递归地采样固定数量的邻居节点,其计算代价受到邻居规模指数增长的影响;而逐层重要性采样方法摒弃了邻居依赖约束,跨层采样的节点存在稀疏连接问题。针对这两个问题,本文提出了一种新的有效的分层重要性采样(LAYER Dependent Importance Sampling,LAYER)算法。该算法基于上层采样节点,选择其邻域节点,构造二部子图,并计算其重要性概率。然后,它通过计算出的概率采样固定数量的节点,并递归地进行每层这样的过程,以构建整个计算图。我们从理论和实验上证明,我们提出的采样算法优于以前的采样方法的时间和内存成本。此外,由于其随机性,LARSTO具有更好的泛化精度比原来的全批GCN。
2019-11-17 cs.LG cs.SI stat.ML
Visiting Distant Neighbors in Graph Convolutional Networks
The Graduate Center, City University of New York(纽约城市大学研究生中心);Levich Institute(莱维奇研究所);The City College of New York(纽约城市学院)
本文提出将图卷积网络扩展到高阶邻居,在有限标注数据下提升节点表示学习性能,并在多个引文数据集上验证其优势。
2024-05-22 cs.LG cs.SI
DropEdge: Towards Deep Graph Convolutional Networks on Node Classification
Tencent AI Lab(腾讯人工智能实验室)
\emph{Over-fitting}和\emph{over-smoothing}是发展用于节点分类的深层图卷积网络(GCN)的两个主要障碍。特别是,过度拟合削弱了小数据集的泛化能力,而过度平滑则会随着网络深度的增加将输出表示与输入特征隔离开来,从而阻碍模型训练。本文提出了DropEdge,一种新颖而灵活的技术,以减轻这两个问题。在其核心,DropEdge在每个训练时期从输入图中随机删除一定数量的边,就像数据增强器和消息传递减少器一样。此外,我们从理论上证明了DropEdge可以降低过度平滑的收敛速度,或者减轻过度平滑造成的信息丢失。更重要的是,我们的DropEdge是一种通用技能,可以与许多其他骨干模型(例如GCN,ResGCN,GraphSAGE和JKNet)一起使用,以增强性能。在几个基准测试上进行的大量实验验证了DropEdge在各种浅GCN和深GCN上的性能都得到了一致的提高。DropEdge在防止过度平滑方面的效果也是经验可视化和验证的。代码发布于~ \url{https://github.com/DropEdge/DropEdge}。
2020-03-12 cs.LG cs.NI stat.ML
Cross-Network Learning with Partially Aligned Graph Convolutional Networks
University of Notre Dame(圣母大学)
图神经网络已被广泛用于学习图数据上的许多下游任务的节点表示。现有模型是为单个图上的节点设计的,这将无法利用多个图上的信息。现实世界确实有多个图,其中节点通常是部分对齐的。例如,知识图谱共享许多命名实体,尽管它们可能具有不同的关系模式;关于出版物和获奖项目的协作网络共享一些分别是作者和调查者的研究者节点;人们使用多个Web服务,购物,发推文,评价电影,并且一些人可能在平台上注册相同的电子邮件帐户。在本文中,我提出了部分对齐的图卷积网络来学习跨模型的节点表示。我研究了多种方法(包括模型共享,正则化和对齐重建)以及理论分析,以在部分对齐的(小)节点集上积极地传递知识。在真实世界的知识图谱和协作网络上的实验表明,我们提出的方法在关系分类和链接预测方面具有优越的性能。
2021-06-03 cs.LG
Residual Network and Embedding Usage: New Tricks of Node Classification with Graph Convolutional Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Control and Computer Engineering, North China Electric Power University(华北电力大学控制与计算机工程学院)
已经提出了图卷积网络(GCN)和后续变体来解决图上的任务,特别是节点分类任务。然而,在文献中,大多数技巧或技术要么作为实现细节被简要提及,要么只在源代码中可见。在本文中,我们首先总结了现有的一些有效的技巧用于GCN的小批量训练。在此基础上,提出了两种新的技巧,即GCN_res框架和嵌入用法,利用残差网络和预训练的嵌入来提高基线在不同数据集上的测试精度。在Open Graph Benchmark(OGB)上的实验表明,结合这些技术,各种GCN的测试准确率提高了1.21%~ 2.84%。我们在https://github.com/ytchx1999/PyG-OGB-Tricks上开源了我们的实现。
2021-05-21 cs.LG
Keep It Simple: Graph Autoencoders Without Graph Convolutional Networks
Deezer Research and Development(Deezer研发部);LIX, École Polytechnique(巴黎综合理工学院LIX实验室);AUEB(雅典经济与商业大学)
图自编码器(AE)和变分自编码器(VAE)最近成为强大的节点嵌入方法,在链接预测和节点聚类等具有挑战性的任务上具有很好的性能。图AE、VAE及其大多数扩展依赖于图卷积网络(GCN)来学习节点的向量空间表示。在本文中,我们提出了一个简单的线性模型w.r.t.图的邻接矩阵。对于上述两个任务,我们的经验表明,这种方法始终达到竞争力的表现w.r.t.基于GCN的模型,用于许多真实世界的图,包括广泛使用的Cora,Citeseer和Pubmed引文网络,这些网络成为评估图AE和VAE的事实上的基准数据集。这一结果质疑了重复使用这三个数据集来比较复杂图形AE和VAE模型的相关性。它还强调了简单的节点编码方案对许多实际应用的有效性。
2019-10-02 cs.LG cs.SI stat.ML