Learning Robust Representation through Graph Adversarial Contrastive Learning
Peking University(北京大学)
现有研究表明,图神经网络(GNNs)生成的节点表示容易受到对抗攻击的攻击,例如对相邻矩阵和节点特征的不可察觉的扰动。因此,在图神经网络中学习鲁棒的表示是必要的。为了提高图表示学习的鲁棒性,将对抗性增强引入图自监督学习,提出了一种新的图对抗性对比学习框架(GraphACL).在这个框架中,我们最大化扰动图及其对抗增强的局部和全局表示之间的互信息,其中对抗图可以通过有监督或无监督的方法生成。基于信息瓶颈原理,我们从理论上证明了我们的方法可以获得一个更紧的界,从而提高了图表示学习的鲁棒性。从经验上讲,我们在一系列节点分类基准上评估了几种方法,结果表明GraphACL可以达到与以前的监督方法相当的准确性。
2022-01-31 cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习,特别是与基于范例的对比自监督学习(SSL)。具体化表示从分子图中学习,符号表示从相应的化学知识图谱(KG)中学习。我们使用化学KG增强分子图与符号(语义)知识,并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例,并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
Locality Preserving Dense Graph Convolutional Networks with Graph Context-Aware Node Representations
Xidian University(西安电子科技大学);Swinburne University of Technology(斯威本科技大学)
图卷积网络(GCN)已被广泛用于对图数据的表示学习,其可以经由专门设计的卷积和读出操作来捕获图上的结构模式。在许多图分类应用中,基于GCN的方法优于传统方法。然而,大多数现有的GCN是低效的,以保持局部信息的图-一个限制,特别是图分类的问题。在这项工作中,我们提出了一个具有图上下文感知节点表示的保持局部性的稠密GCN。具体来说,我们提出的模型采用了一个本地节点特征重建模块,以保留初始节点特征到节点表示,这是通过一个简单但有效的编码器-解码器机制实现的。为了捕获代表不同局部范围的邻近区域中的局部结构模式,引入了密集连接性来连接每个卷积层及其相应的读出与所有之前的卷积层。为了增强节点的代表性,每个卷积层的输出与前一层的读出的输出连接,以形成全局上下文感知节点表示。此外,自注意模块被引入到聚合逐层表示,以形成最终的表示。在基准数据集上的实验表明,该模型在分类精度方面优于最先进的方法。
2020-10-12 cs.LG
Graph Domain Adaptation Does Not End with Representation Learning
针对图域适应仅依赖图表示导致证据不足的问题,提出EviGDA框架,融合图感知与图无关专家,在十个数据集上超越现有方法。
2026-09-29 cs.LG
Learning Graph Augmentations to Learn Graph Representations
Autodesk AI Lab(Autodesk AI 实验室)
设计用于图对比学习的增强是具有挑战性的,因为它们具有不规则的结构,剧烈的分布偏移以及跨数据集的不等价特征空间。我们引入了LG2AR,学习图增强以学习图表示,这是一个端到端的自动图增强框架,可以帮助编码器在节点和图级别上学习可概括的表示。LG2AR由一个概率策略和一组概率增强头组成,该概率策略学习增强参数的分布。我们表明,LG2AR在线性和半监督评估协议下,与以前的无监督模型相比,在20个图级和节点级基准中有18个达到了最先进的结果。源代码将在这里发布:https://github.com/kavehhassani/lg2ar
2022-01-24 cs.LG cs.NE
Representation Learning for Spatial Graphs
Nanyang Technological University(南洋理工大学);Baidu Inc.(百度公司)
最近,图表示学习的话题受到了广泛的关注。现有的方法通常只关注结构属性,因此对于那些节点与某些空间信息相关联的空间图来说,它们是不够的。在本文中,我们提出了第一个深度学习方法,称为s2vec,用于学习空间图表示,它基于去噪自动编码器框架(decoding autoencoders framework,简称decoding)。我们在真实数据集上对学习的表示进行了评估,结果验证了s2vec用于空间聚类的有效性。
2018-12-22 cs.LG cs.SI
SE-VGAE: Unsupervised Disentangled Representation Learning for Interpretable Architectural Layout Design Graph Generation
National University of Singapore(新加坡国立大学);National Supercomputing Centre, Singapore(新加坡国家超级计算中心);Singapore Data Science Consortium(新加坡数据科学联盟)
本文提出无监督解耦表示学习框架SE-VGAE,通过集成边增强编码器、潜在空间解耦模块和风格解码器生成建筑布局图,并贡献大规模基准数据集,开创了该领域的解耦表示学习。
2024-06-25 cs.AI cs.LG
An unsupervised cluster-level based method for learning node representations of heterogeneous graphs in scientific papers
Beijing University of Posts and Telecommunications(北京邮电大学)
学习科技论文数据的知识表示是一个亟待解决的问题,而如何学习科技论文异构网络中论文节点的表示是解决这一问题的核心。提出一种无监督聚类级的科技论文异构图节点表示学习方法(UCHL),旨在获取节点(作者、机构、论文等)的表示在科学论文的异质性图表中。本文在异构图表示的基础上,对整个异构图进行链接预测,得到节点边之间的关系,即论文与论文之间的关系。实验结果表明,该方法在真实科学论文数据集上的多个评价指标上取得了良好的性能。
2022-03-31 cs.AI cs.LG
Disentangled Generative Graph Representation Learning
National Key Laboratory of Radar Signal Processing, Xidian University(雷达信号处理国家重点实验室,西安电子科技大学);Institute of Information Sensing, Xidian University(信息感知研究院,西安电子科技大学);McCombs School of Business, The University of Texas at Austin(德克萨斯大学奥斯汀分校麦克唐纳商学院)
本文提出DiGGR框架,通过解耦学习潜在因素提升图表示的鲁棒性和可解释性,在两个图学习任务中优于现有方法。
2026-05-07 cs.AI cs.LG
Towards Job-Transition-Tag Graph for a Better Job Title Representation Learning
Laboratoire Mathématiques et Informatique pour la Complexité et les Systèmes(复杂系统数学与计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
关于学习型职称表征的工作主要是基于\textit{Job-Transition Graph},从人才的工作历史中构建。然而,由于这些记录通常是混乱的,因此该图非常稀疏,这影响了学习表示的质量并阻碍了进一步的分析。为了解决这个具体问题,我们建议用额外的节点来丰富图,以提高职位名称表示的质量。具体来说,我们构造了\textit{Job-Transition-Tag Graph},一个包含两种类型节点的异构图,即,职务和标签(即,与工作职责或职能有关的词语)。沿着这条线,我们重新制定的工作标题表示学习的任务,学习节点嵌入在\textit{Job-Transition-Tag Graph}。两个数据集上的实验表明,我们的方法的兴趣。
2022-05-04 cs.AI cs.CL cs.LG
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Futurewei Seattle Cloud Lab(Futurewei西雅图云实验室)
我们提出了拓扑变换等变表示学习,自监督学习的一般范式的节点表示的图形数据,使图卷积神经网络(GCNN)的广泛适用性。我们正式提出的模型从信息理论的角度来看,通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出,最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地,我们试图从原始图中采样节点对的子集,并翻转每个对之间的边连接以转换图拓扑。然后,我们自训练一个表示编码器,通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中,我们将所提出的模型应用于下游节点分类、图分类和链接预测任务,结果表明,所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
Filtration-Based Representation Learning for Temporal Graphs
Indian Institute of Science Education and Research Tirupati(印度科学教育与研究学院 Tirupati);Chennai Mathematical Institute(钦奈数学研究所);Institut Polytechnique de Paris(巴黎高等技术学院)
本文提出基于δ-时序动机的滤波方法,用于时序图的多尺度表示学习,并在分类任务中验证了其有效性。
2025-12-03 cs.CG cs.LG math.AT
Persistent Homology and Graphs Representation Learning
Santa Clara University(圣克拉拉大学);University of South Florida(南佛罗里达大学);Facebook Inc(脸书公司)
本文的目的是研究编码在节点图表示嵌入的拓扑不变性质,利用工具,在持久同源。具体来说,给定一个节点嵌入表示算法,我们考虑这些嵌入是实值的情况。通过将这些嵌入视为感兴趣域上的标量函数,我们可以利用持久同源中可用的工具来研究这些表示中编码的拓扑信息。我们的建设有效地定义了一个独特的持久性为基础的图描述符,在图形和节点级别,每个节点表示算法。为了证明该方法的有效性,我们研究了DeepWalk,Node2Vec和Diff2Vec诱导的拓扑描述符。
2021-10-09 cs.CG cs.CV cs.LG
N-Gram Graph: Simple Unsupervised Representation for Graphs, with Applications to Molecules
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习技术最近已被采用在医学、生物学、化学和材料工程的各种应用中。预测分子的性质是一项重要的任务,在许多下游应用中,如虚拟筛选和药物设计,这是主要的子程序。尽管兴趣越来越大,但关键的挑战是为学习算法构建适当的分子表示。本文介绍了N-gram图,一种简单的分子无监督表示。该方法首先将顶点嵌入到分子图中。然后,它构造了一个紧凑的表示图组装的顶点嵌入在图中的短行程,我们证明了这是等价于一个简单的图神经网络,不需要训练。因此,可以有效地计算表示,然后与监督学习方法一起用于预测。在10个基准数据集上的60个任务上的实验表明,该方法优于流行的图神经网络和传统的表示方法。这是补充理论分析显示其强大的代表性和预测能力。
2019-11-11 cs.LG stat.ML
Using Laplacian Spectrum as Graph Feature Representation
Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Safran Tech(赛峰科技)
图具有奇异的特征,如可变的大小和节点的自然顺序的缺乏,使它们难以分析和比较。为了避免这个问题并在图上学习,需要图特征表示。一个好的图表示必须满足结构信息的保持,具有两个特殊的关键属性:变形下的一致性和同构下的不变性。虽然最先进的方法寻求这样的属性与强大的图神经网络,我们建议利用一个简单的图形功能:的图形拉普拉斯谱(GLS)。我们首先提醒和GLS满足上述关键属性,使用图扰动方法。特别是,我们推导出与\textit{divergence to isomorphism}(一种标准的计算成本高昂的图发散)相关的两个GLS之间距离的界限。最后,我们通过一致性测试和分类任务实验GLS作为图表示,并表明它是一个强大的图特征表示基线。
2019-12-02 cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
On the Interpretability and Evaluation of Graph Representation Learning
Capital One(第一资本金融公司)
随着人们对图表示学习的兴趣日益浓厚,已经提出了各种方法来有效地捕获图的属性。虽然与传统的图技术相比,这些方法提高了图机器学习任务的性能,但它们仍然被视为对这些表示中编码的信息具有有限洞察力的技术。在这项工作中,我们探索的方法来解释节点嵌入,并提出了一个强大的评估框架比较图表示学习算法和超参数的创建。我们在具有不同属性的图上测试了我们的方法,并研究了嵌入训练参数与产生的嵌入在下游任务中恢复原始图结构的能力之间的关系。
2019-10-07 cs.LG stat.ML
Dual Graph Representation Learning
Sun Yat-Sen University(中山大学)
图表示学习将节点作为低维向量嵌入到大型图中,对许多下游应用都有很大的好处。然而,大多数嵌入框架本质上是传导性的,无法泛化到看不见的节点或学习不同图的表示。虽然归纳方法可以推广到看不见的节点,但它们忽略了节点的不同上下文,并且不能双重学习节点嵌入。在本文中,我们提出了一个上下文感知的无监督双重编码框架,\textbf{CADE},生成表示的节点相结合的实时邻域与邻居关注的表示,并保留额外的内存已知节点。通过与最先进的方法进行比较,我们证明了我们的方法是有效的。
2020-02-25 cs.LG stat.ML
CopulaGNN: Towards Integrating Representational and Correlational Roles of Graphs in Graph Neural Networks
University of Michigan(密歇根大学);University of British Columbia(不列颠哥伦比亚大学)
图结构数据无处不在。然而,图编码不同类型的信息,因此在数据表示中扮演不同的角色。在本文中,我们区分的\textit{representational}和\textit{correlational}的角色所扮演的图在节点级预测任务,我们研究如何图神经网络(GNN)模型可以有效地利用这两种类型的信息。从概念上讲,代表性信息为模型提供了指导,以构建更好的节点功能;而相关性信息表明节点功能条件下的节点结果之间的相关性。通过仿真研究,我们发现许多流行的GNN模型不能有效地利用相关信息。通过利用Copula的思想,一个原则性的方法来描述多元随机变量之间的依赖关系,我们提供了一个一般的解决方案。所提出的Copula图神经网络(CopulaGNN)可以采用广泛的GNN模型作为基础模型,并利用存储在图中的代表性和相关性信息。两类回归任务的实验结果验证了该方法的有效性。
2021-03-18 cs.LG stat.ML
Relational Pooling for Graph Representations
Purdue University(普渡大学)
这项工作概括了图神经网络(GNN),超越了那些基于Weisfeiler-Lehman(WL)算法,图拉普拉斯算子和扩散。我们的方法,表示关系池(RP),从有限的部分交换的理论,提供了一个框架,最大的代表性权力的图形。RP可以与现有的图表示模型一起工作,并且有点违反直觉,可以使它们比原始的WL同构测试更强大。此外,RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning
Northeastern University, China(中国东北大学)
如何利用深度学习方法进行图分类任务在过去几年中引起了相当大的研究关注。关于图分类任务,要分类的图可以具有各种图大小(即,不同数目的节点和边)并且具有各种图形属性(例如,平均节点度、直径和聚类系数)。图的多样性给现有的图学习技术带来了巨大的挑战,因为不同的图具有不同的最佳拟合超参数。用一个统一的图神经网络从一组不同的图中学习图的特征是困难的。这促使我们以不同的方式使用多路复用结构,并利用图的先验属性来指导学习。在本文中,我们提出了MxPool,它同时使用多个图卷积/池化网络来构建图表示学习任务的分层学习结构。我们在众多图分类基准上的实验表明,我们的MxPool比其他最先进的图表示学习方法具有优越性。
2020-04-15 cs.LG stat.ML
Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning
University of Minnesota(明尼苏达大学)
无监督(或自监督)图表示学习是必不可少的,以促进各种图数据采掘任务时,外部监督不可用。挑战在于将关于图结构的信息以及与节点和边相关联的属性编码到低维空间中。大多数现有的无监督方法在拓扑上接近的节点之间促进相似的表示。最近,它表明,利用额外的图形级信息,例如,在所有节点之间共享的信息鼓励表示注意图的全局属性,这大大提高了它们的质量。然而,在大多数图中,可以捕获更多的结构,例如,节点倾向于属于表示结构上相似的节点的(多个)集群。出于这种观察,我们提出了一个图形表示学习方法称为图形InfoClust(GIC),旨在额外捕获集群级的信息内容。这些集群计算的可微K-均值方法,并通过最大化的互信息相同的集群节点之间的联合优化。这种优化使得节点表示能够捕获更丰富的信息和节点交互,从而提高了它们的质量。实验表明,GIC在各种下游任务(节点分类,链接预测和节点聚类)中优于最先进的方法,平均比最佳竞争方法增益0.9%至6.1%。
2020-09-15 cs.LG stat.ML
Function Space Pooling For Graph Convolutional Networks
Cardiff University(卡迪夫大学)
图神经网络中的卷积层是输出每个图顶点的表示或嵌入的基本类型的层。该表示通常编码关于所讨论的顶点及其邻域的信息。如果希望执行以图形为中心的任务,例如图形分类,则必须将这组顶点表示集成或汇集以形成图形表示。在本文中,我们提出了一种新颖的池化方法,该方法将一组顶点表示映射到函数空间表示。该方法与现有的池化方法不同,现有的池化方法执行到向量或序列空间的映射。实验结果表明,该方法一般优于大多数基线池方法,并在某些情况下达到最佳性能。
2020-08-25 cs.LG stat.ML
Interpreting Knowledge Graph Relation Representation from Word Embeddings
University of Edinburgh(爱丁堡大学)
许多模型通过利用知识图谱数据的低秩潜在结构、编码实体之间的已知关系并使未知事实能够被推断来学习其表示。为了预测实体之间的关系是否成立,通常在关系特定映射之后在潜在空间中比较嵌入。虽然它们的预测性能稳步提高,但这些模型如何捕捉语义信息的潜在结构仍然无法解释。最近的理论理解的词嵌入的基础上,我们将知识图谱关系分为三种类型,并为每一个明确的要求,他们的表示。我们的分析证明了关系表示的经验性质和领先的知识图谱表示方法的相对性能。
2021-01-18 cs.LG stat.ML
Learning Graph-Level Representation for Drug Discovery
预测药物对人体的宏观影响,如药效和毒性,是小分子药物发现的核心问题。分子可以用无向图表示,利用图卷积网络可以预测分子的性质。然而,图卷积网络和其他图神经网络都专注于学习节点级表示,而不是图级表示。以前的工作简单地将图中所有节点的所有特征向量求和以获得用于药物预测的图特征向量。在本文中,我们引入了一个虚拟的超级节点,连接到图中的所有节点的有向边作为图的表示,并修改图的操作,以帮助虚拟的超级节点学习图级功能。因此,我们可以像处理节点级分类和回归一样处理图级分类和回归。此外,我们应用焦点丢失来解决药物数据集中的类别不平衡。在MoleculeNet上的实验表明,该方法能有效地提高分子性质预测的性能。
2017-09-16 cs.LG stat.ML
Interferometric Graph Transform: a Deep Unsupervised Graph Representation
CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室)
我们提出了干涉图变换(IGT),这是一类新的用于构建图表示的深度无监督图卷积神经网络。我们的第一个贡献是提出了一个通用的,复值谱图架构从广义的欧几里德傅立叶变换。我们表明,我们的学习表示包括歧视性和不变的功能,由于一个新的贪婪凹目标。从我们的实验中,我们得出结论,我们的学习过程利用了谱域的拓扑结构,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的分析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10),社区发现(作者身份,Facebook图)和3D骨架视频(SBU,NTU)的动作识别,展示了光谱图无监督设置的新的最先进技术。
2020-06-10 cs.LG stat.ML
Dynamic Graph Representation Learning via Self-Attention Networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
学习图中节点的潜在表示是一项重要且普遍存在的任务,具有广泛的应用,例如链接预测,节点分类和图可视化。以往的图表示学习方法主要集中在静态图上,然而,许多现实世界的图是动态的,并随着时间的推移而演变。在本文中,我们提出了动态自注意力网络(DySAT),一种新的神经架构,操作动态图和学习节点表示,捕捉结构特性和时间演化模式。具体来说,DySAT通过沿两个维度联合采用自注意力层来计算节点表示:结构邻域和时间动态。我们进行链接预测实验两类图:通信网络和二分评级网络。我们的实验结果表明,DySAT在几个不同的最先进的图嵌入基线上具有显着的性能增益。
2019-06-15 cs.LG cs.SI stat.ML
Unsupervised Graph Representation by Periphery and Hierarchical Information Maximization
IBM Research(IBM研究院);IISc(印度科学学院);Indian Institute of Science(印度科学学院)
近年来,对非欧几里德数据类型(如图)的深度表示学习受到了极大的关注。图神经网络的出现,改善了向量空间中节点和整个图的表示方法。然而,对于整个图表示,大多数现有的图神经网络都是以有监督的方式在图分类损失上训练的。但是,获得大量的图的标签是昂贵的现实世界的应用。因此,我们的目标是提出一个无监督的图神经网络生成一个向量表示的整个图在本文中。为此,我们将分层图神经网络和互信息最大化的思想结合到一个框架中。我们还提出并使用的概念,周边表示的图形,并显示其实用性,在所提出的算法被称为Graphmax。我们在几个真实世界的图数据集上进行了彻底的实验,并将Graphmax的性能与各种监督和无监督基线算法进行了比较。实验结果表明,我们能够在几个真实世界的数据集上提高多个图级任务的最新水平,同时在其他数据集上保持竞争力。
2020-06-08 cs.LG cs.SI stat.ML
Learning Graph Representations by Dendrograms
层次图聚类是揭示复杂网络多尺度结构的常用方法。我们提出了一个新的度量评估质量的层次聚类。该度量反映了从树状图重建图的能力,树状图对层次结构进行编码。图的最佳表示定义了一类可约的联系,导致规则的树图贪婪凝聚聚类。
2018-07-13 cs.LG cs.SI stat.ML
Size-Invariant Graph Representations for Graph Classification Extrapolations
Purdue University(普渡大学)
通常,图表示学习方法假设训练和测试数据来自相同的分布。在这项工作中,我们考虑一个未充分探索的领域,否则迅速发展的领域的图表示学习:分布外(OOD)图分类的任务,其中训练和测试数据具有不同的分布,与测试数据在训练过程中不可用。我们的工作表明,使用因果模型来学习近似不变的表示是可能的,这些表示可以更好地在训练和测试数据之间进行外推。最后,我们得出结论与合成和真实世界的数据集实验展示的好处,是不变的训练/测试分布偏移的表示。
2021-07-06 cs.LG
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Unsupervised Hierarchical Graph Representation Learning by Mutual Information Maximization
Clemson University(克莱姆森大学)
基于图神经网络(GNNs)的图表示学习可以大大提高节点分类和图分类等下游任务的性能。然而,一般的GNN模型不会以分层的方式聚合节点信息,并且可能会错过许多图的关键高阶结构特征。分层聚合还使得图形表示能够是可解释的。此外,监督图表示学习需要标记数据,这是昂贵的,容易出错。为了解决这些问题,我们提出了一种无监督图表示学习方法,无监督层次图表示(UHGR),它可以生成图的层次表示。我们的方法侧重于最大化“局部”和高级“全局”表示之间的互信息,这使我们能够在没有任何标记数据的情况下学习节点嵌入和图嵌入。为了证明所提出的方法的有效性,我们使用学习的节点和图嵌入执行节点和图分类。结果表明,所提出的方法取得了可比的结果,国家的最先进的监督方法在几个基准。此外,我们的可视化层次表示表明,我们的方法可以捕获有意义的和可解释的集群。
2020-07-29 cs.IT cs.LG math.IT
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University(安徽大学)
近年来,图神经网络(GNNs)在图数据学习任务中得到越来越多的关注。然而,在许多应用中,图可能以不完整的形式出现,其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的,不能直接处理属性不完全的图数据。为了解决这个问题,我们开发了一种新的基于部分聚集的GNNs,命名为部分图神经网络(PaGNNs),用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上,我们在不完全图上定义了两个新的部分聚集(重建)函数,并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Heterogeneous Deep Graph Infomax
Florida State University(佛罗里达州立大学);JD Finance America Corporation(京东金融美国公司)
图表示学习是学习既保留节点属性又保留结构信息的通用节点表示。导出的节点表示可以用于服务于各种下游任务,例如节点分类和节点聚类。当一个图是异构的,问题变得更具挑战性比同构图节点学习问题。受新兴的基于信息理论的学习算法的启发,本文提出了一种用于异构图表示学习的无监督图神经网络Heterogeneous Deep Graph Infomax(HDGI)。我们使用元路径结构来分析异构图中涉及语义的连接,并利用图卷积模块和语义级注意力机制来捕获局部表示。通过最大化局部-全局互信息,HDGI有效地学习可以在下游图相关任务中使用的高级节点表示。实验结果表明,HDGI在分类和聚类任务上都明显优于最先进的无监督图表示学习方法。通过将学习到的表示馈送到参数模型(如逻辑回归)中,我们甚至在节点分类任务中实现了与最先进的监督端到端GNN模型相比相当的性能。
2020-11-13 cs.LG cs.SI stat.ML
Graph Representation Learning: A Survey
University of Southern California(南加州大学)
近年来,由于现实世界中的许多数据都是以图的形式出现的,因此图表示学习的研究受到了广泛的关注。高维图形数据通常是不规则的形式,这使得它们比定义在规则格上的图像/视频/音频数据更难以分析。各种图形嵌入技术已被开发,以将原始图形数据转换为低维向量表示,同时保留固有的图形属性。在这篇综述中,我们首先解释图嵌入任务及其挑战。接下来,我们将回顾各种具有洞察力的图嵌入技术。然后,我们针对小型和大型数据集评估了几种最先进的方法,并比较了它们的性能。最后,提出了潜在的应用和未来的发展方向。
2019-09-03 cs.LG cs.SI stat.ML
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology(计算机科学与技术学院)
图卷积表示(GCR)在图数据表示方面取得了令人印象深刻的性能。然而,现有的GCR一般定义在输入固定图上,这可能会限制表示能力,并且容易受到结构攻击和噪声的影响。为了解决这个问题,我们提出了一种新的潜在图卷积表示(LatGCR),用于鲁棒的图数据表示和学习。我们的LatGCR的基础上,从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$,LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示,这明显提高了表示能力,并且对图结构攻击和噪声具有鲁棒性.此外,LatGCR是以自监督的方式实现的,因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
DDGK: Learning Graph Representations for Deep Divergence Graph Kernels
Google AI(谷歌人工智能)
神经网络能在没有特征工程的情况下学习比较图吗?在本文中,我们表明,它是可能的,学习表示图的相似性,既没有领域知识也没有监督(即\特征工程或标记图)。我们提出了深度发散图核,这是一种用于学习图表示的无监督方法,它编码了图同构的放松概念。我们的方法包括三个部分。首先,我们为每个锚点图学习一个编码器来捕获它的结构。其次,对于每一对图,我们训练一个交叉图注意力网络,它使用锚图的节点表示来重建另一个图。这种方法,我们称之为同构注意,捕捉一个图的表示可以编码另一个图的表示。我们使用注意力增强编码器的预测来定义每对图的发散分数。最后,我们构造一个嵌入空间的所有图使用这些成对的分歧分数。与以前的工作不同,其中大部分依赖于1)监督,2)领域特定知识(例如依赖于Weisfeiler-Lehman内核)和3)已知的节点对齐,我们的无监督方法联合学习节点表示,图形表示和图形之间基于注意力的对齐。我们的实验结果表明,深度发散图核可以学习图之间的无监督对齐,并且当用作许多具有挑战性的图分类任务的特征时,学习的表示可以获得有竞争力的结果。此外,我们说明了如何学习的注意力允许洞察子结构跨图的对齐。
2019-04-21 cs.IR cs.LG cs.SI
Graph Edge Representation via Tensor Product Graph Convolutional Representation
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Key Laboratory of Multimodal Cognitive Computation(多模态认知计算重点实验室)
针对现有图卷积无法处理带高维边特征图的问题,本文结合张量收缩表示与张量积图扩散理论提出TPGC算子以获取边嵌入,补充传统图卷积并在多任务中验证有效。
2024-06-21 cs.LG
Deep Learning for Learning Graph Representations
Tsinghua University(清华大学)
近年来,随着网络数据量的不断增加,图数据挖掘已经成为计算机科学的一个热门研究课题,并在学术界和工业界得到了广泛的研究。然而,庞大的网络数据量给高效的分析带来了巨大的挑战。图表示将图映射到一个低维的向量空间,保持原始的图结构,并支持图推理。对图的有效表示的研究具有深刻的理论意义和重要的现实意义,因此本章介绍了图表示/网络嵌入的一些基本思想和一些代表性的模型。
2020-01-02 cs.IR cs.LG cs.SI
Edge Representation Learning with Hypergraphs
KAIST(韩国科学技术院);AITRICS
图神经网络最近在表示图结构数据方面取得了显著的成功,在节点嵌入和图池方法方面都取得了快速进展。然而,他们主要集中在从考虑其连通性的节点中捕获信息,而在表示作为图的基本组成部分的边方面没有做太多工作。然而,对于诸如图重构和生成的任务,以及边缘对于区分很重要的图分类任务,准确地表示给定图的边缘对于图表示学习的成功至关重要。为此,我们提出了一种新的边表示学习框架的基础上的对偶超图变换(DHT),它转换到超图的节点图的边。这种双重超图的建设,使我们能够应用消息传递技术的节点表示的边缘。在从超图获得边缘表示之后,我们然后聚类或丢弃边缘以获得整体图级边缘表示。我们验证了我们的边缘表示学习方法与超图在不同的图形数据集的图形表示和生成性能,我们的方法大大优于现有的图形表示学习方法。此外,我们的边表示学习和池化方法在图分类上也大大优于最先进的图池化方法,这不仅是因为其精确的边表示学习,而且还因为其节点的无损压缩和有效的消息传递的不相关边的去除。
2021-10-29 cs.LG
On the Equivalence Between Temporal and Static Graph Representations for Observational Predictions
Purdue University(普渡大学)
本文从学习等变表示的角度,形式化了预测时态图中节点属性演化的关联任务。我们表明,时间图中的节点表示可以转换为两个不同的框架:(a)最流行的方法,我们将其表示为时间和图,其中等变图(例如,GNN)和序列(例如,RNN)表示交织在一起,以表示图中节点属性的时间演变;以及(b)我们表示为时间然后图的方法,其中描述节点和边动态的序列首先表示,然后作为节点和边属性馈送到随后的静态等变图表示中。有趣的是,我们表明,当两者都使用不是最具表达性的组件GNN(例如,1-Weisfeiler-Lehman GNNs)。此外,虽然我们的目标不一定是获得最先进的结果,但我们的实验表明,在一些现实世界的任务中,时间-然后-图方法能够实现比最先进的时间和图方法更好的性能和效率,从而表明时间-然后-图框架是图ML工具箱的一个值得添加的工具。
2023-03-27 cs.LG
Geometric Evolution Graph Convolutional Networks: Enhancing Graph Representation Learning via Ricci Flow
School of Mathematics, Renmin University of China(中国人民大学数学学院)
本文提出GEGCN框架,通过建模图上的几何演化提升图表示学习,利用LSTM处理离散里奇流生成的结构序列,并将学习的动态表示注入图卷积网络,实验显示其在多种基准数据集上的分类性能优异,尤其在异质图上表现突出。
2026-03-27 cs.LG
Learning Graph Representations with Embedding Propagation
NEC Labs Europe(NEC欧洲实验室)
我们提出了嵌入传播(EP),一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成,例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少,EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
Tiered Latent Representations and Latent Spaces for Molecular Graphs
IBM
分子图通常包含子图(称为组),这些子图在组成、功能、几何等方面是可识别的和重要的。平面潜在表示(节点嵌入或图嵌入)不能表示和支持组的使用。另一方面,完全分层的潜在表征很难学习,即使学会了,也可能太复杂而无法使用或解释。我们提出分层的潜在表示和潜在空间的分子图作为一种简单的方式来明确表示和利用组,其中包括原子(节点)层,组层和分子(图)层。具体来说,我们提出了一个架构,学习分层的潜在表示和潜在空间,使用图自动编码器,图神经网络,可微组池和成员矩阵。我们讨论了它的各个组成部分,主要的挑战和相关的工作,确定性和概率模型。我们还简要讨论了分层潜在空间的使用和探索。分层的方法是适用于其他类型的结构化图类似的性质分子图。
2019-03-21 cs.LG
AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification
Seoul National University(首尔大学);Soongsil University(崇实大学)
针对图分类中图神经网络过拟合问题,提出增强感知框架AugWard,通过预测增强图与原始图的图距离并引入一致性正则化,在监督、半监督及迁移学习中达到最先进性能。
2025-03-27 cs.LG
Revisiting Heterophily in Graph Convolution Networks by Learning Representations Across Topological and Feature Spaces
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
图卷积网络(GCN)在几个基于图的机器学习任务的学习表示方面取得了巨大的成功。具体到学习丰富的节点表示,大多数方法仅仅依赖于同质性假设,并且在异质图上表现出有限的性能。虽然已经开发了几种方法来解决异质性的新架构,但我们认为,通过学习跨两个空间的图形表示,拓扑和特征空间GCN可以解决异质性。在这项工作中,我们通过学习和组合拓扑空间和特征空间的表示,实验证明了所提出的GCN框架在半监督节点分类任务上的性能。
2022-11-02 cs.LG
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi(德里印度理工学院)
时态图表示实体之间的动态关系,并且出现在许多现实生活应用中,如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中,我们全面回顾了神经时间依赖图表示学习和生成建模方法,提出了在最近的时间处理图。最后,我们确定了现有方法的弱点,并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
Inferential SIR-GN: Scalable Graph Representation Learning
Boise State University(博伊西州立大学)
图表示学习方法为网络中的节点生成数值向量表示,从而使它们能够在标准机器学习模型中使用。这些方法旨在保留关系信息,使得图中相似的节点在表示空间中彼此接近。相似性主要基于两个概念之一:连接性或结构作用。在节点结构作用重要的任务中,基于连接性的方法表现出较差的性能。最近的工作已经开始关注学习方法对数百万到数十亿节点和边的大规模图的可扩展性。许多无监督的节点表示学习算法不能扩展到大型图,并且不能为不可见的节点生成节点表示。在这项工作中,我们提出了推理SIR-GN,这是一种在随机图上预先训练的模型,然后快速计算节点表示,包括非常大的网络。我们证明了该模型能够捕获节点的结构角色信息,并在节点和图分类任务中表现出优异的性能,在看不见的网络。此外,我们观察到推理SIR-GN的可扩展性与目前最快的大规模图形方法相当。
2021-11-08 cs.LG
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学 信息科学与技术学院)
针对现有GNNs耦合学习属性与结构信息导致嵌入折中问题,提出DGNN框架,通过解耦属性与图空间嵌入、结合拓扑与语义图并促进结构一致性,在节点分类任务中取得更优性能。
2024-01-28 cs.LG
A Survey on Graph Representation Learning Methods
York University(约克大学)
图的表示学习是近年来一个非常活跃的研究领域。图表示学习的目标是生成能够准确捕捉大型图的结构和特征的图表示向量。这是特别重要的,因为图形表示向量的质量将影响这些向量在下游任务(诸如节点分类、链接预测和异常检测)中的性能。许多技术被提出用于生成有效的图表示向量。图表示学习的两个最流行的类别是不使用图神经网络(GNN)的图嵌入方法,我们将其表示为基于非GNN的图嵌入方法和基于图神经网络(GNN)的方法。非GNN图嵌入方法基于随机游走、时间点过程和神经网络学习方法等技术。另一方面,基于GNN的方法是深度学习在图形数据上的应用。在本调查中,我们提供了这两个类别的概述,并涵盖了静态和动态图的当前最先进的方法。最后,我们探讨了一些开放和正在进行的研究方向,为未来的工作。
2022-06-15 cs.LG cs.SI
Disentangled Graph Representation Based on Substructure-Aware Graph Optimal Matching Kernel Convolutional Networks
针对现有图表示方法结构刻画粗糙的问题,提出GOMKCN,以子图为结构因子,用GOMK卷积算子度量子图与可学习滤波器的相似性,实现解耦表示,提升图模式挖掘的准确性与可解释性。
2025-04-23 cs.LG
Accurate Learning of Graph Representations with Graph Multiset Pooling
KAIST(韩国科学技术院);AITRICS
图神经网络已被广泛应用于图数据建模,在节点分类和链接预测任务上取得了令人印象深刻的结果。然而,获得图的准确表示还需要将一组节点表示映射为紧凑形式的池化函数。对所有节点表示的简单求和或平均会同等地考虑所有节点特征,而不考虑它们的任务相关性以及它们之间的任何结构依赖性。另一方面,最近提出的分层图池方法,可能会产生相同的表示为两个不同的图形,区分的Weisfeiler-Lehman测试,因为他们次优地保存信息的节点功能。为了解决这些现有的图池方法的局限性,我们首先制定了图池问题作为一个多集编码问题与辅助信息的图形结构,并提出了一个图形多集Transformer(GMT),这是一个多头注意力为基础的全局池层,捕捉节点之间的相互作用,根据其结构依赖。我们发现,GMT满足注入性和置换不变性,这样它是最强大的Weisfeiler-Lehman图同构测试。此外,我们的方法可以很容易地扩展到以前的层次图池的节点聚类方法。我们的实验结果表明,GMT显着优于国家的最先进的图池方法的图分类基准具有高内存和时间效率,并获得更大的性能增益图重建和生成任务。
2021-06-28 cs.LG
Explainable Graph Representation Learning via Graph Pattern Analysis
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院,香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出PXGL-GNN框架,通过图模式分析实现图表示的可解释性,解决了传统方法在节点特征忽略和高维问题上的局限。
2025-12-04 cs.LG
Implicit Graphon Neural Representation
Halıcıoğlu Data Science Institute(哈利哲奥卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校)
本文提出隐式图子神经网络表示(IGNR),利用神经网络直接对graphons进行建模,支持任意分辨率表示和任意大小图生成,并通过Gromov-Wasserstein距离处理未对齐图数据,在graphon学习、图表示学习和图生成任务中表现优异。
2023-03-30 cs.LG