Iso-CapsNet: Isomorphic Capsule Network for Brain Graph Representation Learning
University of California, Davis(加州大学戴维斯分校)
脑图表示学习是脑疾病诊断的基础技术。近年来,脑图表示学习在学术界和工业界都得到了广泛的研究。近年来出现的同构神经网络(IsoNN)能够自动学习脑图中子图模式的存在性,也是目前脑图表示学习的最新方法。然而,IsoNN无法捕获子图模式的方向,这可能会使学习的表示在许多情况下是无用的。本文通过引入图同构胶囊,提出了一种新的Iso-CapsNet(Isomorphic Capsule Net)模型,用于有效的脑图表示学习。基于胶囊动态路由,除了子图模式存在置信度得分外,Iso-CapsNet还可以学习其他子图丰富的属性,包括位置,大小和方向,用于计算类数字胶囊。我们将Iso-CapsNet与经典和最先进的脑图表示方法进行了比较,并在四个脑图基准数据集上进行了广泛的实验。实验结果也证明了Iso-CapsNet的有效性,它可以比基线方法有显着的改进。
2022-06-27 cs.AI cs.LG q-bio.NC
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University(国立台湾大学);Mila-Quebec Institute for Learning Algorithms(米拉-魁北克学习算法研究所);Harvard University(哈佛大学);Aalto University(阿尔托大学);HEC Montreal(蒙特利尔高等商学院)
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的,但有效地获得固定长度的表示图,但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型(例如graph2vec)的方法,但它们往往只考虑某些子结构(例如子树)作为图的代表。受无监督表示学习最新进展的启发,本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息(例如,节点、边、三角形)。通过这样做,图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外,我们还提出了InfoGraph*,这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此,监督编码器从未标记的数据中学习,同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明,InfoGraph优于最先进的基线,InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
Towards Job-Transition-Tag Graph for a Better Job Title Representation Learning
Laboratoire Mathématiques et Informatique pour la Complexité et les Systèmes(复杂系统数学与计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
关于学习型职称表征的工作主要是基于\textit{Job-Transition Graph},从人才的工作历史中构建。然而,由于这些记录通常是混乱的,因此该图非常稀疏,这影响了学习表示的质量并阻碍了进一步的分析。为了解决这个具体问题,我们建议用额外的节点来丰富图,以提高职位名称表示的质量。具体来说,我们构造了\textit{Job-Transition-Tag Graph},一个包含两种类型节点的异构图,即,职务和标签(即,与工作职责或职能有关的词语)。沿着这条线,我们重新制定的工作标题表示学习的任务,学习节点嵌入在\textit{Job-Transition-Tag Graph}。两个数据集上的实验表明,我们的方法的兴趣。
2022-05-04 cs.AI cs.CL cs.LG
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中,我们提出了一个组理论的角度来看,知识图谱嵌入,连接以前的方法与不同的群体行动。此外,通过利用舒尔引理从群表示理论,我们表明,国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
SGR: Self-Supervised Spectral Graph Representation Learning
Hasso Plattner Institute(哈索·普拉特纳研究所);Aarhus University(奥胡斯大学);Technion(以色列理工学院)
将图表示为向量是一项具有挑战性的任务;理想情况下,表示应该易于计算,并有助于图之间的有效比较,适合手头的特定数据和分析任务。不幸的是,一个“一刀切”的解决方案是无法实现的,因为不同的分析任务可能需要不同的关注全局或局部图的功能。我们开发的SGR,第一,据我们所知,方法学习图形表示在一个自我监督的方式。基于频谱图分析,SGR无缝地结合了所有上述理想的属性。在广泛的实验中,我们展示了我们的方法如何在大型图形集合上工作,促进跨各种应用领域的自我监督表示学习,并在无需重新训练的情况下与最先进的方法竞争。
2018-11-15 cs.AI cs.LG cs.SI
Edge Representation Learning with Hypergraphs
KAIST(韩国科学技术院);AITRICS
图神经网络最近在表示图结构数据方面取得了显著的成功,在节点嵌入和图池方法方面都取得了快速进展。然而,他们主要集中在从考虑其连通性的节点中捕获信息,而在表示作为图的基本组成部分的边方面没有做太多工作。然而,对于诸如图重构和生成的任务,以及边缘对于区分很重要的图分类任务,准确地表示给定图的边缘对于图表示学习的成功至关重要。为此,我们提出了一种新的边表示学习框架的基础上的对偶超图变换(DHT),它转换到超图的节点图的边。这种双重超图的建设,使我们能够应用消息传递技术的节点表示的边缘。在从超图获得边缘表示之后,我们然后聚类或丢弃边缘以获得整体图级边缘表示。我们验证了我们的边缘表示学习方法与超图在不同的图形数据集的图形表示和生成性能,我们的方法大大优于现有的图形表示学习方法。此外,我们的边表示学习和池化方法在图分类上也大大优于最先进的图池化方法,这不仅是因为其精确的边表示学习,而且还因为其节点的无损压缩和有效的消息传递的不相关边的去除。
2021-10-29 cs.LG
On the Equivalence Between Temporal and Static Graph Representations for Observational Predictions
Purdue University(普渡大学)
本文从学习等变表示的角度,形式化了预测时态图中节点属性演化的关联任务。我们表明,时间图中的节点表示可以转换为两个不同的框架:(a)最流行的方法,我们将其表示为时间和图,其中等变图(例如,GNN)和序列(例如,RNN)表示交织在一起,以表示图中节点属性的时间演变;以及(b)我们表示为时间然后图的方法,其中描述节点和边动态的序列首先表示,然后作为节点和边属性馈送到随后的静态等变图表示中。有趣的是,我们表明,当两者都使用不是最具表达性的组件GNN(例如,1-Weisfeiler-Lehman GNNs)。此外,虽然我们的目标不一定是获得最先进的结果,但我们的实验表明,在一些现实世界的任务中,时间-然后-图方法能够实现比最先进的时间和图方法更好的性能和效率,从而表明时间-然后-图框架是图ML工具箱的一个值得添加的工具。
2023-03-27 cs.LG
Geometric Evolution Graph Convolutional Networks: Enhancing Graph Representation Learning via Ricci Flow
School of Mathematics, Renmin University of China(中国人民大学数学学院)
本文提出GEGCN框架,通过建模图上的几何演化提升图表示学习,利用LSTM处理离散里奇流生成的结构序列,并将学习的动态表示注入图卷积网络,实验显示其在多种基准数据集上的分类性能优异,尤其在异质图上表现突出。
2026-03-27 cs.LG
Tiered Latent Representations and Latent Spaces for Molecular Graphs
IBM
分子图通常包含子图(称为组),这些子图在组成、功能、几何等方面是可识别的和重要的。平面潜在表示(节点嵌入或图嵌入)不能表示和支持组的使用。另一方面,完全分层的潜在表征很难学习,即使学会了,也可能太复杂而无法使用或解释。我们提出分层的潜在表示和潜在空间的分子图作为一种简单的方式来明确表示和利用组,其中包括原子(节点)层,组层和分子(图)层。具体来说,我们提出了一个架构,学习分层的潜在表示和潜在空间,使用图自动编码器,图神经网络,可微组池和成员矩阵。我们讨论了它的各个组成部分,主要的挑战和相关的工作,确定性和概率模型。我们还简要讨论了分层潜在空间的使用和探索。分层的方法是适用于其他类型的结构化图类似的性质分子图。
2019-03-21 cs.LG
AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification
Seoul National University(首尔大学);Soongsil University(崇实大学)
针对图分类中图神经网络过拟合问题,提出增强感知框架AugWard,通过预测增强图与原始图的图距离并引入一致性正则化,在监督、半监督及迁移学习中达到最先进性能。
2025-03-27 cs.LG
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi(德里印度理工学院)
时态图表示实体之间的动态关系,并且出现在许多现实生活应用中,如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中,我们全面回顾了神经时间依赖图表示学习和生成建模方法,提出了在最近的时间处理图。最后,我们确定了现有方法的弱点,并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
Inferential SIR-GN: Scalable Graph Representation Learning
Boise State University(博伊西州立大学)
图表示学习方法为网络中的节点生成数值向量表示,从而使它们能够在标准机器学习模型中使用。这些方法旨在保留关系信息,使得图中相似的节点在表示空间中彼此接近。相似性主要基于两个概念之一:连接性或结构作用。在节点结构作用重要的任务中,基于连接性的方法表现出较差的性能。最近的工作已经开始关注学习方法对数百万到数十亿节点和边的大规模图的可扩展性。许多无监督的节点表示学习算法不能扩展到大型图,并且不能为不可见的节点生成节点表示。在这项工作中,我们提出了推理SIR-GN,这是一种在随机图上预先训练的模型,然后快速计算节点表示,包括非常大的网络。我们证明了该模型能够捕获节点的结构角色信息,并在节点和图分类任务中表现出优异的性能,在看不见的网络。此外,我们观察到推理SIR-GN的可扩展性与目前最快的大规模图形方法相当。
2021-11-08 cs.LG
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学 信息科学与技术学院)
针对现有GNNs耦合学习属性与结构信息导致嵌入折中问题,提出DGNN框架,通过解耦属性与图空间嵌入、结合拓扑与语义图并促进结构一致性,在节点分类任务中取得更优性能。
2024-01-28 cs.LG
A Survey on Graph Representation Learning Methods
York University(约克大学)
图的表示学习是近年来一个非常活跃的研究领域。图表示学习的目标是生成能够准确捕捉大型图的结构和特征的图表示向量。这是特别重要的,因为图形表示向量的质量将影响这些向量在下游任务(诸如节点分类、链接预测和异常检测)中的性能。许多技术被提出用于生成有效的图表示向量。图表示学习的两个最流行的类别是不使用图神经网络(GNN)的图嵌入方法,我们将其表示为基于非GNN的图嵌入方法和基于图神经网络(GNN)的方法。非GNN图嵌入方法基于随机游走、时间点过程和神经网络学习方法等技术。另一方面,基于GNN的方法是深度学习在图形数据上的应用。在本调查中,我们提供了这两个类别的概述,并涵盖了静态和动态图的当前最先进的方法。最后,我们探讨了一些开放和正在进行的研究方向,为未来的工作。
2022-06-15 cs.LG cs.SI
Disentangled Graph Representation Based on Substructure-Aware Graph Optimal Matching Kernel Convolutional Networks
针对现有图表示方法结构刻画粗糙的问题,提出GOMKCN,以子图为结构因子,用GOMK卷积算子度量子图与可学习滤波器的相似性,实现解耦表示,提升图模式挖掘的准确性与可解释性。
2025-04-23 cs.LG
Accurate Learning of Graph Representations with Graph Multiset Pooling
KAIST(韩国科学技术院);AITRICS
图神经网络已被广泛应用于图数据建模,在节点分类和链接预测任务上取得了令人印象深刻的结果。然而,获得图的准确表示还需要将一组节点表示映射为紧凑形式的池化函数。对所有节点表示的简单求和或平均会同等地考虑所有节点特征,而不考虑它们的任务相关性以及它们之间的任何结构依赖性。另一方面,最近提出的分层图池方法,可能会产生相同的表示为两个不同的图形,区分的Weisfeiler-Lehman测试,因为他们次优地保存信息的节点功能。为了解决这些现有的图池方法的局限性,我们首先制定了图池问题作为一个多集编码问题与辅助信息的图形结构,并提出了一个图形多集Transformer(GMT),这是一个多头注意力为基础的全局池层,捕捉节点之间的相互作用,根据其结构依赖。我们发现,GMT满足注入性和置换不变性,这样它是最强大的Weisfeiler-Lehman图同构测试。此外,我们的方法可以很容易地扩展到以前的层次图池的节点聚类方法。我们的实验结果表明,GMT显着优于国家的最先进的图池方法的图分类基准具有高内存和时间效率,并获得更大的性能增益图重建和生成任务。
2021-06-28 cs.LG
Explainable Graph Representation Learning via Graph Pattern Analysis
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(数据科学学院,香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出PXGL-GNN框架,通过图模式分析实现图表示的可解释性,解决了传统方法在节点特征忽略和高维问题上的局限。
2025-12-04 cs.LG
Implicit Graphon Neural Representation
Halıcıoğlu Data Science Institute(哈利哲奥卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校)
本文提出隐式图子神经网络表示(IGNR),利用神经网络直接对graphons进行建模,支持任意分辨率表示和任意大小图生成,并通过Gromov-Wasserstein距离处理未对齐图数据,在graphon学习、图表示学习和图生成任务中表现优异。
2023-03-30 cs.LG
Relational Graph Representation Learning for Open-Domain Question Answering
Autodesk AI Lab(欧特克人工智能实验室)
本文提出了一种具有双向注意力机制和分层表示学习的关系图神经网络,用于解决开放域问答问题。我们的模型可以通过联合学习和更新查询、知识图谱和文档表示来学习上下文表示。实验表明,我们的模型达到了国家的最先进的WebtagesSP基准。
2019-10-18 cs.CL cs.LG
N-Gram Graph: Simple Unsupervised Representation for Graphs, with Applications to Molecules
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习技术最近已被采用在医学、生物学、化学和材料工程的各种应用中。预测分子的性质是一项重要的任务,在许多下游应用中,如虚拟筛选和药物设计,这是主要的子程序。尽管兴趣越来越大,但关键的挑战是为学习算法构建适当的分子表示。本文介绍了N-gram图,一种简单的分子无监督表示。该方法首先将顶点嵌入到分子图中。然后,它构造了一个紧凑的表示图组装的顶点嵌入在图中的短行程,我们证明了这是等价于一个简单的图神经网络,不需要训练。因此,可以有效地计算表示,然后与监督学习方法一起用于预测。在10个基准数据集上的60个任务上的实验表明,该方法优于流行的图神经网络和传统的表示方法。这是补充理论分析显示其强大的代表性和预测能力。
2019-11-11 cs.LG stat.ML
Using Laplacian Spectrum as Graph Feature Representation
Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Safran Tech(赛峰科技)
图具有奇异的特征,如可变的大小和节点的自然顺序的缺乏,使它们难以分析和比较。为了避免这个问题并在图上学习,需要图特征表示。一个好的图表示必须满足结构信息的保持,具有两个特殊的关键属性:变形下的一致性和同构下的不变性。虽然最先进的方法寻求这样的属性与强大的图神经网络,我们建议利用一个简单的图形功能:的图形拉普拉斯谱(GLS)。我们首先提醒和GLS满足上述关键属性,使用图扰动方法。特别是,我们推导出与\textit{divergence to isomorphism}(一种标准的计算成本高昂的图发散)相关的两个GLS之间距离的界限。最后,我们通过一致性测试和分类任务实验GLS作为图表示,并表明它是一个强大的图特征表示基线。
2019-12-02 cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
Cross-View Graph Consistency Learning for Invariant Graph Representations
Northumbria University(诺森比亚大学)
针对现有图表示学习方法难以获取不变图表示的问题,提出跨视图图一致性学习(CGCL)方法,通过耦合图结构增强生成互补视图并结合跨视图训练,在理论分析与实验中证明其有效性,在链路预测任务上取得竞争力结果。
2025-02-19 cs.CV cs.LG
On the Interpretability and Evaluation of Graph Representation Learning
Capital One(第一资本金融公司)
随着人们对图表示学习的兴趣日益浓厚,已经提出了各种方法来有效地捕获图的属性。虽然与传统的图技术相比,这些方法提高了图机器学习任务的性能,但它们仍然被视为对这些表示中编码的信息具有有限洞察力的技术。在这项工作中,我们探索的方法来解释节点嵌入,并提出了一个强大的评估框架比较图表示学习算法和超参数的创建。我们在具有不同属性的图上测试了我们的方法,并研究了嵌入训练参数与产生的嵌入在下游任务中恢复原始图结构的能力之间的关系。
2019-10-07 cs.LG stat.ML
Learning Graph Representations
National Institute of Science Education and Research(国家科学教育与研究学院);Homi Bhabha National Institute(霍米·巴巴国家研究所)
社交网络和信息网络由于其各种应用而最近获得了巨大的普及。通过节点和边形式的图进行的知识表示应尽可能多地保留原始数据的特征。这些图的一些有趣和有用的应用是图分类,节点分类,链接预测等图神经网络在过去的几年中已经发展。图神经网络(GNN)是深入了解大型动态图数据集的有效方法,这些数据集捕获数十亿实体之间的关系,也称为知识图谱。本文讨论了图卷积神经网络、图自编码器和时空图神经网络。可以使用这些方法学习图在较低维度中的表示。较低维度的表示可以进一步用于下游机器学习任务。
2021-02-03 cs.LG cs.SI
Learning Representations of Graph Data -- A Survey
University College London(伦敦大学学院)
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而,设计最佳的神经网络架构,可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始,并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来,我们确定了用于学习图数据表示的主要方法,即:核方法,卷积方法,图神经网络方法,图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论,并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
Robust Causal Graph Representation Learning against Confounding Effects
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);China Communications Technology Information Group Co., Ltd.(中国交通通信信息集团有限公司);Tsinghua University(清华大学)
当前流行的图神经网络模型在图表示学习方面取得了显著的进展。然而,在本文中,我们发现了一个一直被忽视的现象:使用完整图测试的预训练图表示学习模型的性能低于使用修剪良好的图测试的模型。这一观察结果表明,图中存在混杂因素,这可能会干扰模型学习语义信息,目前的图表示学习方法没有消除它们的影响。为了解决这个问题,我们提出了鲁棒因果图表示学习(RCGRL)来学习鲁棒的图表示对混淆的影响。RCGRL引入了一种在无条件矩限制下生成工具变量的主动方法,该方法使图表示学习模型能够消除混杂因素,从而捕获与下游预测有因果关系的判别信息。我们提供定理和证明,以保证所提出的方法的理论有效性。从经验上讲,我们在一个合成数据集和多个基准数据集上进行了广泛的实验。结果表明,与现有方法相比,RCGRL具有更好的预测性能和泛化能力。
2023-02-11 cs.LG stat.ME
Heterogeneous Graph Representation Learning with Relation Awareness
Beihang University(北京航空航天大学);the University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
异构图上的表示学习旨在获得有意义的节点表示,以促进各种下游任务,如节点分类和链接预测。现有的异构图学习方法主要是通过节点表示的传播机制来开发的。很少有人努力研究关系的作用,以提高更细粒度的节点表示的学习。事实上,合作学习关系的语义表示并辨别不同关系类型的节点表示是很重要的。为此,在本文中,我们提出了一种新的异构图神经网络,即R-HGNN,学习异构图上的节点表示在细粒度的水平,考虑关系感知的特点。具体来说,首先设计一个专用的图卷积组件,以分别从每个关系特定的图中学习唯一的节点表示。在此基础上,开发了跨关系消息传递模块,以提高节点表示在不同关系间的交互性。此外,以逐层方式学习关系表示以捕获关系语义,其用于指导节点表示学习过程。此外,一个语义融合模块,提出了聚合关系感知节点表示成一个紧凑的表示与学习的关系表示。最后,我们对各种图学习任务进行了广泛的实验,实验结果表明,我们的方法在所有任务中始终优于现有方法。
2022-04-17 cs.LG cs.SI
graph2vec: Learning Distributed Representations of Graphs
Nanyang Technological University(南洋理工大学)
图结构数据的表示学习的最近工作主要集中在学习图的子结构,如节点和子图的分布式表示。然而,许多图分析任务,如图分类和聚类,需要将整个图表示为固定长度的特征向量。虽然上述方法自然无法学习这种表示,但图核仍然是获得它们的最有效方法。然而,这些图形内核使用手工制作的特征(例如,最短路径、graphlets等)并且因此受到诸如泛化性差的问题的阻碍。为了解决这一限制,在这项工作中,我们提出了一个名为graph2vec的神经嵌入框架来学习任意大小的图的数据驱动的分布式表示。graph2vec的嵌入是以无监督的方式学习的,并且与任务无关。因此,它们可以用于任何下游任务,如图分类,聚类,甚至播种监督表示学习方法。我们在几个基准和大型真实世界数据集上的实验表明,graph2vec在子结构表示学习方法的分类和聚类精度方面取得了显着的改进,并且与最先进的图内核相比具有竞争力。
2017-07-17 cs.AI cs.CL cs.CR
Unsupervised Hierarchical Graph Representation Learning by Mutual Information Maximization
Clemson University(克莱姆森大学)
基于图神经网络(GNNs)的图表示学习可以大大提高节点分类和图分类等下游任务的性能。然而,一般的GNN模型不会以分层的方式聚合节点信息,并且可能会错过许多图的关键高阶结构特征。分层聚合还使得图形表示能够是可解释的。此外,监督图表示学习需要标记数据,这是昂贵的,容易出错。为了解决这些问题,我们提出了一种无监督图表示学习方法,无监督层次图表示(UHGR),它可以生成图的层次表示。我们的方法侧重于最大化“局部”和高级“全局”表示之间的互信息,这使我们能够在没有任何标记数据的情况下学习节点嵌入和图嵌入。为了证明所提出的方法的有效性,我们使用学习的节点和图嵌入执行节点和图分类。结果表明,所提出的方法取得了可比的结果,国家的最先进的监督方法在几个基准。此外,我们的可视化层次表示表明,我们的方法可以捕获有意义的和可解释的集群。
2020-07-29 cs.IT cs.LG math.IT
Dual Graph Representation Learning
Sun Yat-Sen University(中山大学)
图表示学习将节点作为低维向量嵌入到大型图中,对许多下游应用都有很大的好处。然而,大多数嵌入框架本质上是传导性的,无法泛化到看不见的节点或学习不同图的表示。虽然归纳方法可以推广到看不见的节点,但它们忽略了节点的不同上下文,并且不能双重学习节点嵌入。在本文中,我们提出了一个上下文感知的无监督双重编码框架,\textbf{CADE},生成表示的节点相结合的实时邻域与邻居关注的表示,并保留额外的内存已知节点。通过与最先进的方法进行比较,我们证明了我们的方法是有效的。
2020-02-25 cs.LG stat.ML
CopulaGNN: Towards Integrating Representational and Correlational Roles of Graphs in Graph Neural Networks
University of Michigan(密歇根大学);University of British Columbia(不列颠哥伦比亚大学)
图结构数据无处不在。然而,图编码不同类型的信息,因此在数据表示中扮演不同的角色。在本文中,我们区分的\textit{representational}和\textit{correlational}的角色所扮演的图在节点级预测任务,我们研究如何图神经网络(GNN)模型可以有效地利用这两种类型的信息。从概念上讲,代表性信息为模型提供了指导,以构建更好的节点功能;而相关性信息表明节点功能条件下的节点结果之间的相关性。通过仿真研究,我们发现许多流行的GNN模型不能有效地利用相关信息。通过利用Copula的思想,一个原则性的方法来描述多元随机变量之间的依赖关系,我们提供了一个一般的解决方案。所提出的Copula图神经网络(CopulaGNN)可以采用广泛的GNN模型作为基础模型,并利用存储在图中的代表性和相关性信息。两类回归任务的实验结果验证了该方法的有效性。
2021-03-18 cs.LG stat.ML
Relational Pooling for Graph Representations
Purdue University(普渡大学)
这项工作概括了图神经网络(GNN),超越了那些基于Weisfeiler-Lehman(WL)算法,图拉普拉斯算子和扩散。我们的方法,表示关系池(RP),从有限的部分交换的理论,提供了一个框架,最大的代表性权力的图形。RP可以与现有的图表示模型一起工作,并且有点违反直觉,可以使它们比原始的WL同构测试更强大。此外,RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning
Northeastern University, China(中国东北大学)
如何利用深度学习方法进行图分类任务在过去几年中引起了相当大的研究关注。关于图分类任务,要分类的图可以具有各种图大小(即,不同数目的节点和边)并且具有各种图形属性(例如,平均节点度、直径和聚类系数)。图的多样性给现有的图学习技术带来了巨大的挑战,因为不同的图具有不同的最佳拟合超参数。用一个统一的图神经网络从一组不同的图中学习图的特征是困难的。这促使我们以不同的方式使用多路复用结构,并利用图的先验属性来指导学习。在本文中,我们提出了MxPool,它同时使用多个图卷积/池化网络来构建图表示学习任务的分层学习结构。我们在众多图分类基准上的实验表明,我们的MxPool比其他最先进的图表示学习方法具有优越性。
2020-04-15 cs.LG stat.ML
Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning
University of Minnesota(明尼苏达大学)
无监督(或自监督)图表示学习是必不可少的,以促进各种图数据采掘任务时,外部监督不可用。挑战在于将关于图结构的信息以及与节点和边相关联的属性编码到低维空间中。大多数现有的无监督方法在拓扑上接近的节点之间促进相似的表示。最近,它表明,利用额外的图形级信息,例如,在所有节点之间共享的信息鼓励表示注意图的全局属性,这大大提高了它们的质量。然而,在大多数图中,可以捕获更多的结构,例如,节点倾向于属于表示结构上相似的节点的(多个)集群。出于这种观察,我们提出了一个图形表示学习方法称为图形InfoClust(GIC),旨在额外捕获集群级的信息内容。这些集群计算的可微K-均值方法,并通过最大化的互信息相同的集群节点之间的联合优化。这种优化使得节点表示能够捕获更丰富的信息和节点交互,从而提高了它们的质量。实验表明,GIC在各种下游任务(节点分类,链接预测和节点聚类)中优于最先进的方法,平均比最佳竞争方法增益0.9%至6.1%。
2020-09-15 cs.LG stat.ML
Dynamic Graph Representation Learning via Self-Attention Networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
学习图中节点的潜在表示是一项重要且普遍存在的任务,具有广泛的应用,例如链接预测,节点分类和图可视化。以往的图表示学习方法主要集中在静态图上,然而,许多现实世界的图是动态的,并随着时间的推移而演变。在本文中,我们提出了动态自注意力网络(DySAT),一种新的神经架构,操作动态图和学习节点表示,捕捉结构特性和时间演化模式。具体来说,DySAT通过沿两个维度联合采用自注意力层来计算节点表示:结构邻域和时间动态。我们进行链接预测实验两类图:通信网络和二分评级网络。我们的实验结果表明,DySAT在几个不同的最先进的图嵌入基线上具有显着的性能增益。
2019-06-15 cs.LG cs.SI stat.ML
Function Space Pooling For Graph Convolutional Networks
Cardiff University(卡迪夫大学)
图神经网络中的卷积层是输出每个图顶点的表示或嵌入的基本类型的层。该表示通常编码关于所讨论的顶点及其邻域的信息。如果希望执行以图形为中心的任务,例如图形分类,则必须将这组顶点表示集成或汇集以形成图形表示。在本文中,我们提出了一种新颖的池化方法,该方法将一组顶点表示映射到函数空间表示。该方法与现有的池化方法不同,现有的池化方法执行到向量或序列空间的映射。实验结果表明,该方法一般优于大多数基线池方法,并在某些情况下达到最佳性能。
2020-08-25 cs.LG stat.ML
Unsupervised Graph Representation by Periphery and Hierarchical Information Maximization
IBM Research(IBM研究院);IISc(印度科学学院);Indian Institute of Science(印度科学学院)
近年来,对非欧几里德数据类型(如图)的深度表示学习受到了极大的关注。图神经网络的出现,改善了向量空间中节点和整个图的表示方法。然而,对于整个图表示,大多数现有的图神经网络都是以有监督的方式在图分类损失上训练的。但是,获得大量的图的标签是昂贵的现实世界的应用。因此,我们的目标是提出一个无监督的图神经网络生成一个向量表示的整个图在本文中。为此,我们将分层图神经网络和互信息最大化的思想结合到一个框架中。我们还提出并使用的概念,周边表示的图形,并显示其实用性,在所提出的算法被称为Graphmax。我们在几个真实世界的图数据集上进行了彻底的实验,并将Graphmax的性能与各种监督和无监督基线算法进行了比较。实验结果表明,我们能够在几个真实世界的数据集上提高多个图级任务的最新水平,同时在其他数据集上保持竞争力。
2020-06-08 cs.LG cs.SI stat.ML
Graph Neural Networks for Image Classification and Reinforcement Learning using Graph representations
Columbia University(哥伦比亚大学)
在本文中,我们将评估图神经网络在两个不同领域的性能:计算机视觉和强化学习。在计算机视觉部分,我们试图了解一种新的非冗余图像表示为图是否可以提高性能,在图级预测图上的平凡像素到节点映射,特别是图像分类。对于强化学习部分,我们试图了解将解决魔方的问题显式建模为图形问题是否可以在没有归纳偏差的情况下提高标准无模型技术的性能。
2022-03-08 cs.CV cs.LG
Image-Like Graph Representations for Improved Molecular Property Prediction
Brown University(布朗大学)
对用于分子性质预测的深度学习模型的研究主要集中在开发更好的图神经网络(GNN)架构。虽然新的GNN变体继续提高性能,但它们的修改都有一个共同的主题,即减轻其基本图到图本质所固有的问题。在这项工作中,我们研究了这些限制,并提出了一种新的分子表示,完全绕过了对GNN的需求,称为CubeMol。当与Transformer模型配对时,我们的固定维随机表示超过了最先进的GNN模型的性能,并提供了可扩展性的路径。
2021-11-20 cs.LG q-bio.QM
Enhancing Model Learning and Interpretation Using Multiple Molecular Graph Representations for Compound Property and Activity Prediction
Tokyo Institute of Technology(东京工业大学)
本研究针对化合物性质与活性预测中分子图表示局限及可解释性不足的问题,引入融合高层信息的多种分子图表示,验证了原子图与约简图结合的性能优势及解释的化学一致性,助力药物研发。
2023-04-13 cs.LG q-bio.BM q-bio.MN
Representation Learning with Graph Neural Networks for Speech Emotion Recognition
Dongguk University(东国大学)
学习表达性表示在深度学习中至关重要。在语音情感识别中,语音中的真空区域或噪声干扰表达性表示学习。然而,传统的基于RNN的模型容易受到这种噪声的影响。最近,图神经网络(GNN)已被证明是有效的表示学习,我们采用这种框架的SER。特别是,我们提出了一个基于余弦相似性的图作为一个理想的图结构的表示学习在SER。我们提出了一个基于余弦相似性的图卷积网络(CoGCN),是强大的扰动和噪声。实验结果表明,我们的方法优于国家的最先进的方法,或提供有竞争力的结果与一个显着的模型大小减少只有1/30的参数。
2022-08-21 cs.LG cs.SD eess.AS
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University(安徽大学)
近年来,图神经网络(GNNs)在图数据学习任务中得到越来越多的关注。然而,在许多应用中,图可能以不完整的形式出现,其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的,不能直接处理属性不完全的图数据。为了解决这个问题,我们开发了一种新的基于部分聚集的GNNs,命名为部分图神经网络(PaGNNs),用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上,我们在不完全图上定义了两个新的部分聚集(重建)函数,并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Heterogeneous Deep Graph Infomax
Florida State University(佛罗里达州立大学);JD Finance America Corporation(京东金融美国公司)
图表示学习是学习既保留节点属性又保留结构信息的通用节点表示。导出的节点表示可以用于服务于各种下游任务,例如节点分类和节点聚类。当一个图是异构的,问题变得更具挑战性比同构图节点学习问题。受新兴的基于信息理论的学习算法的启发,本文提出了一种用于异构图表示学习的无监督图神经网络Heterogeneous Deep Graph Infomax(HDGI)。我们使用元路径结构来分析异构图中涉及语义的连接,并利用图卷积模块和语义级注意力机制来捕获局部表示。通过最大化局部-全局互信息,HDGI有效地学习可以在下游图相关任务中使用的高级节点表示。实验结果表明,HDGI在分类和聚类任务上都明显优于最先进的无监督图表示学习方法。通过将学习到的表示馈送到参数模型(如逻辑回归)中,我们甚至在节点分类任务中实现了与最先进的监督端到端GNN模型相比相当的性能。
2020-11-13 cs.LG cs.SI stat.ML
Graph Representation Learning: A Survey
University of Southern California(南加州大学)
近年来,由于现实世界中的许多数据都是以图的形式出现的,因此图表示学习的研究受到了广泛的关注。高维图形数据通常是不规则的形式,这使得它们比定义在规则格上的图像/视频/音频数据更难以分析。各种图形嵌入技术已被开发,以将原始图形数据转换为低维向量表示,同时保留固有的图形属性。在这篇综述中,我们首先解释图嵌入任务及其挑战。接下来,我们将回顾各种具有洞察力的图嵌入技术。然后,我们针对小型和大型数据集评估了几种最先进的方法,并比较了它们的性能。最后,提出了潜在的应用和未来的发展方向。
2019-09-03 cs.LG cs.SI stat.ML
Size-Invariant Graph Representations for Graph Classification Extrapolations
Purdue University(普渡大学)
通常,图表示学习方法假设训练和测试数据来自相同的分布。在这项工作中,我们考虑一个未充分探索的领域,否则迅速发展的领域的图表示学习:分布外(OOD)图分类的任务,其中训练和测试数据具有不同的分布,与测试数据在训练过程中不可用。我们的工作表明,使用因果模型来学习近似不变的表示是可能的,这些表示可以更好地在训练和测试数据之间进行外推。最后,我们得出结论与合成和真实世界的数据集实验展示的好处,是不变的训练/测试分布偏移的表示。
2021-07-06 cs.LG
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology(计算机科学与技术学院)
图卷积表示(GCR)在图数据表示方面取得了令人印象深刻的性能。然而,现有的GCR一般定义在输入固定图上,这可能会限制表示能力,并且容易受到结构攻击和噪声的影响。为了解决这个问题,我们提出了一种新的潜在图卷积表示(LatGCR),用于鲁棒的图数据表示和学习。我们的LatGCR的基础上,从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$,LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示,这明显提高了表示能力,并且对图结构攻击和噪声具有鲁棒性.此外,LatGCR是以自监督的方式实现的,因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
Learning Robust Representation through Graph Adversarial Contrastive Learning
Peking University(北京大学)
现有研究表明,图神经网络(GNNs)生成的节点表示容易受到对抗攻击的攻击,例如对相邻矩阵和节点特征的不可察觉的扰动。因此,在图神经网络中学习鲁棒的表示是必要的。为了提高图表示学习的鲁棒性,将对抗性增强引入图自监督学习,提出了一种新的图对抗性对比学习框架(GraphACL).在这个框架中,我们最大化扰动图及其对抗增强的局部和全局表示之间的互信息,其中对抗图可以通过有监督或无监督的方法生成。基于信息瓶颈原理,我们从理论上证明了我们的方法可以获得一个更紧的界,从而提高了图表示学习的鲁棒性。从经验上讲,我们在一系列节点分类基准上评估了几种方法,结果表明GraphACL可以达到与以前的监督方法相当的准确性。
2022-01-31 cs.LG
Graph Edge Representation via Tensor Product Graph Convolutional Representation
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Key Laboratory of Multimodal Cognitive Computation(多模态认知计算重点实验室)
针对现有图卷积无法处理带高维边特征图的问题,本文结合张量收缩表示与张量积图扩散理论提出TPGC算子以获取边嵌入,补充传统图卷积并在多任务中验证有效。
2024-06-21 cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习,特别是与基于范例的对比自监督学习(SSL)。具体化表示从分子图中学习,符号表示从相应的化学知识图谱(KG)中学习。我们使用化学KG增强分子图与符号(语义)知识,并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例,并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
Exploring Graph Representation of Chorales
Universiti Teknologi Brunei(文莱理工大学);Media Informatics Special Interest Group(媒体信息学特别兴趣小组)
这项工作探索了音乐、图论和机器学习的重叠领域。在加权无向图$\mathcal{G}$中,节点的嵌入表示是捕获嵌入空间中节点的含义的表示。在这项工作中,383巴赫合唱团被汇编和表示为一个图表。本文研究了两种应用情况:(i)使用\emph{Continuous Bag of Words (CBOW), skip-gram}和\emph{node2vec}算法学习节点嵌入表示,以及(ii)基于集体分类方法从相邻节点学习节点标签。这项探索性研究的结果保留了许多显着的特点,基于图形的表示方法适用于音乐应用程序。
2022-01-27 cs.AI cs.LG cs.SD
Learning Graph Representations with Embedding Propagation
NEC Labs Europe(NEC欧洲实验室)
我们提出了嵌入传播(EP),一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成,例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少,EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
Locality Preserving Dense Graph Convolutional Networks with Graph Context-Aware Node Representations
Xidian University(西安电子科技大学);Swinburne University of Technology(斯威本科技大学)
图卷积网络(GCN)已被广泛用于对图数据的表示学习,其可以经由专门设计的卷积和读出操作来捕获图上的结构模式。在许多图分类应用中,基于GCN的方法优于传统方法。然而,大多数现有的GCN是低效的,以保持局部信息的图-一个限制,特别是图分类的问题。在这项工作中,我们提出了一个具有图上下文感知节点表示的保持局部性的稠密GCN。具体来说,我们提出的模型采用了一个本地节点特征重建模块,以保留初始节点特征到节点表示,这是通过一个简单但有效的编码器-解码器机制实现的。为了捕获代表不同局部范围的邻近区域中的局部结构模式,引入了密集连接性来连接每个卷积层及其相应的读出与所有之前的卷积层。为了增强节点的代表性,每个卷积层的输出与前一层的读出的输出连接,以形成全局上下文感知节点表示。此外,自注意模块被引入到聚合逐层表示,以形成最终的表示。在基准数据集上的实验表明,该模型在分类精度方面优于最先进的方法。
2020-10-12 cs.LG