Learning Graph Representations by Dendrograms
层次图聚类是揭示复杂网络多尺度结构的常用方法。我们提出了一个新的度量评估质量的层次聚类。该度量反映了从树状图重建图的能力，树状图对层次结构进行编码。图的最佳表示定义了一类可约的联系，导致规则的树图贪婪凝聚聚类。
2018-07-13 cs.LG cs.SI stat.ML
Efficient Representation Learning Using Random Walks for Dynamic Graphs
KTH Royal Institute of Technology（瑞典皇家理工学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
图上的许多机器学习工作流的重要部分是顶点表示学习，即，学习所述图中的每个顶点的低维向量表示。最近，几个强大的技术，无监督表示学习已被证明给国家的最先进的性能在下游任务，如顶点分类和边缘预测。这些技术依赖于在图上执行的随机游走，以捕获其结构特性。然后，这些结构属性被编码在向量表示空间中。然而，大多数当代的表示学习方法仅适用于静态图，而现实世界的图往往是动态的，并随着时间的推移而变化。静态表示学习方法不能在图形改变时更新矢量表示;因此，它们必须在图形的更新的静态快照上重新生成矢量表示，而不管图形中的改变程度如何。在这项工作中，我们提出了计算效率高的算法顶点表示学习，扩展随机游走为基础的方法，动态图。我们的算法的计算复杂度取决于变化的程度和速率（每次更新改变的边的数量）和图的密度。我们在现实世界数据集上经验性地评估了我们的算法，以用于多类和多标签顶点分类的下游机器学习任务。结果表明，我们的算法可以实现竞争力的结果，国家的最先进的方法，同时计算效率。
2019-01-22 cs.LG cs.SI stat.ML
DeepGG: a Deep Graph Generator
University of Passau（帕绍大学）
图的学习分布可以用于自动药物发现，分子设计，复杂网络分析等等。我们提出了一个改进的框架，用于学习生成模型的图形的基础上的思想的深度状态机。为了学习状态转换决策，我们使用一组图和节点嵌入技术作为状态机的存储器。我们的分析是基于学习随机图生成器的分布，我们提供统计测试来确定可以学习哪些属性以及图的原始分布的表现。我们表明，状态机的设计有利于特定的分布。学习最多150个顶点的图的模型。代码和参数是公开的，可以复制我们的结果。
2020-11-25 cs.LG stat.ML
Deep Q-Learning for Directed Acyclic Graph Generation
Cardiff University（卡迪夫大学）
我们提出了一种使用深度强化学习，特别是深度Q学习来生成有向无环图（DAG）的方法。生成具有特定结构的图在各种应用领域都是一项重要而具有挑战性的任务，然而目前大多数图生成方法生成的图都是无向边图。我们证明，这种方法是能够生成DAG的拓扑结构和节点类型满足指定的标准，在高度稀疏的奖励环境。
2019-06-05 cs.LG stat.ML
A Survey on Graph Representation Learning Methods
York University（约克大学）
图的表示学习是近年来一个非常活跃的研究领域。图表示学习的目标是生成能够准确捕捉大型图的结构和特征的图表示向量。这是特别重要的，因为图形表示向量的质量将影响这些向量在下游任务（诸如节点分类、链接预测和异常检测）中的性能。许多技术被提出用于生成有效的图表示向量。图表示学习的两个最流行的类别是不使用图神经网络（GNN）的图嵌入方法，我们将其表示为基于非GNN的图嵌入方法和基于图神经网络（GNN）的方法。非GNN图嵌入方法基于随机游走、时间点过程和神经网络学习方法等技术。另一方面，基于GNN的方法是深度学习在图形数据上的应用。在本调查中，我们提供了这两个类别的概述，并涵盖了静态和动态图的当前最先进的方法。最后，我们探讨了一些开放和正在进行的研究方向，为未来的工作。
2022-06-15 cs.LG cs.SI
Learning Deep Graph Representations via Convolutional Neural Networks
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
图结构数据出现在许多场景中。一个基本的问题是量化图的相似性，以完成分类等任务。R-卷积图核是将图分解为子结构并比较它们的半正定函数。有效实现这一思想的一个问题是子结构不是独立的，这导致高维特征空间。此外，图核不能捕获顶点之间的高阶复杂交互。为了缓解这两个问题，我们提出了一个名为DeepMap的框架来学习图形特征映射的深度表示。图的学习深度表示是一个密集的低维向量，它捕获顶点邻域中复杂的高阶交互。DeepMap将卷积神经网络（CNN）扩展到任意图形，生成对齐的顶点序列并为每个顶点构建感受野。我们在各种图分类基准上对DeepMap进行了经验验证，并证明它达到了最先进的性能。
2022-01-24 cs.LG stat.ML
Deep Graph Library: A Graph-Centric, Highly-Performant Package for Graph Neural Networks
AWS Shanghai AI Lab（AWS上海人工智能实验室）；New York University（纽约大学）；Amazon Web Services（亚马逊云科技）；NYU Shanghai（上海纽约大学）
推进新兴的深度图学习领域的研究需要新的工具来支持图上的张量计算。在本文中，我们介绍了深度图库（DGL）的设计原理和实现。DGL将GNN的计算模式提炼为几个适用于广泛并行化的广义稀疏张量运算。通过提倡图作为中央编程抽象，DGL可以透明地执行优化。通过谨慎地采用与框架无关的设计，DGL允许用户轻松地跨多个深度学习框架移植和利用现有组件。我们的评估表明，在各种基准测试中，DGL在速度和内存消耗方面明显优于其他流行的面向GNN的框架，并且对于小规模工作负载的开销很小。
2020-08-25 cs.LG stat.ML
A Systematic Survey on Deep Generative Models for Graph Generation
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Emory University（埃默里大学）
图是描述对象及其关系的重要数据表示，这些对象及其关系出现在各种各样的现实世界场景中。图的生成是这一领域的关键问题之一，它考虑的是学习给定图的分布，从而生成更多的新图。由于其广泛的应用，图的生成模型，这有着丰富的历史，然而，传统上是手工制作的，只能建模的一些统计特性的图。用于图形生成的深度生成模型的最新进展是朝着提高生成图形的保真度迈出的重要一步，并为新类型的应用铺平了道路。本文对用于图生成的深度生成模型领域的文献进行了广泛的概述。首先，形式化地定义了用于图生成的深度生成模型，并提供了初步的知识。其次，分别对无条件图生成和有条件图生成的深度生成模型进行了分类，并对各自的已有工作进行了比较和分析。在此之后，在这个特定的领域的评估指标的概述。最后，总结了深度图生成的应用，并强调了五个有前途的未来研究方向。
2022-10-04 cs.LG stat.ML
Deep-Graph-Sprints: Accelerated Representation Learning in Continuous-Time Dynamic Graphs
Feedzai；Universidade do Porto（波尔图大学）
针对连续时间动态图（CTDG）表示学习中的高推理延迟问题，提出Deep-Graph-Sprints（DGS）架构，在五个数据集上以4-12倍推理加速取得与SOTA相当的性能，弥合了深度表示学习与低延迟应用间的差距。
2024-11-07 cs.LG cs.SI
N-Gram Graph: Simple Unsupervised Representation for Graphs, with Applications to Molecules
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习技术最近已被采用在医学、生物学、化学和材料工程的各种应用中。预测分子的性质是一项重要的任务，在许多下游应用中，如虚拟筛选和药物设计，这是主要的子程序。尽管兴趣越来越大，但关键的挑战是为学习算法构建适当的分子表示。本文介绍了N-gram图，一种简单的分子无监督表示。该方法首先将顶点嵌入到分子图中。然后，它构造了一个紧凑的表示图组装的顶点嵌入在图中的短行程，我们证明了这是等价于一个简单的图神经网络，不需要训练。因此，可以有效地计算表示，然后与监督学习方法一起用于预测。在10个基准数据集上的60个任务上的实验表明，该方法优于流行的图神经网络和传统的表示方法。这是补充理论分析显示其强大的代表性和预测能力。
2019-11-11 cs.LG stat.ML
Large-scale graph representation learning with very deep GNNs and self-supervision
DeepMind（深度思维）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
有效和高效地大规模部署图神经网络（GNN）仍然是图表示学习最具挑战性的方面之一。许多强大的解决方案只在相对较小的数据集上进行过验证，通常会产生违反直觉的结果-这一障碍已被开放图基准大规模挑战赛（OGB-LSC）打破。我们使用两个大规模GNN进入OGB-LSC：一个由自举驱动的深度转导节点分类器，以及一个由去噪目标正则化的非常深（高达50层）的归纳图回归器。我们的模型在MAG 240 M和PCQM 4 M基准测试中均获得了获奖级别（前3名）的性能。在这样做的过程中，我们展示了可扩展的自监督图表示学习的证据，以及非常深的GNN的实用性-这两个都是非常重要的开放问题。我们的代码可在https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc上公开获取。
2021-07-20 cs.AI cs.LG cs.SI
Using Laplacian Spectrum as Graph Feature Representation
Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Safran Tech（赛峰科技）
图具有奇异的特征，如可变的大小和节点的自然顺序的缺乏，使它们难以分析和比较。为了避免这个问题并在图上学习，需要图特征表示。一个好的图表示必须满足结构信息的保持，具有两个特殊的关键属性：变形下的一致性和同构下的不变性。虽然最先进的方法寻求这样的属性与强大的图神经网络，我们建议利用一个简单的图形功能：的图形拉普拉斯谱（GLS）。我们首先提醒和GLS满足上述关键属性，使用图扰动方法。特别是，我们推导出与\textit{divergence to isomorphism}（一种标准的计算成本高昂的图发散）相关的两个GLS之间距离的界限。最后，我们通过一致性测试和分类任务实验GLS作为图表示，并表明它是一个强大的图特征表示基线。
2019-12-02 cs.LG stat.ML
GraphCL: Contrastive Self-Supervised Learning of Graph Representations
Université Internationale de Rabat（拉巴特国际大学）；Telecom ParisTech（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；United States Army Research Laboratory（美国陆军研究实验室）
我们提出了图对比学习（GraphCL），一个通用的框架，学习节点表示在一个自我监督的方式。GraphCL通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用图神经网络来产生同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在转导和归纳学习设置，我们证明了我们的方法显着优于国家的最先进的无监督学习的节点分类基准。
2020-07-15 cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT（麻省理工学院）
图神经网络（GNN）是一种用于学习图的表示的神经网络架构，它已经成为一种流行的学习模型，用于节点、图和点的配置的预测任务，在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果，重点是表示，泛化和外推。一路上，它总结了数学联系。
2022-04-16 cs.LG stat.ML
Deep Graph Similarity Learning: A Survey
Intel Labs, Intel Corporation（英特尔公司英特尔实验室）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）
在许多数据表示为图的领域中，学习图之间的相似性度量被认为是一个关键问题，这可以进一步促进各种学习任务，例如分类，聚类和相似性搜索。最近，人们对深度图相似性学习的兴趣越来越大，其中的关键思想是学习一个深度学习模型，该模型将输入图映射到目标空间，使得目标空间中的距离近似于输入空间中的结构距离。在这里，我们对深度图相似性学习的现有文献进行了全面的回顾。我们提出了一个系统的分类方法和应用。最后，我们讨论了这个问题的挑战和未来的发展方向。
2020-10-04 cs.LG stat.ML
On the Interpretability and Evaluation of Graph Representation Learning
Capital One（第一资本金融公司）
随着人们对图表示学习的兴趣日益浓厚，已经提出了各种方法来有效地捕获图的属性。虽然与传统的图技术相比，这些方法提高了图机器学习任务的性能，但它们仍然被视为对这些表示中编码的信息具有有限洞察力的技术。在这项工作中，我们探索的方法来解释节点嵌入，并提出了一个强大的评估框架比较图表示学习算法和超参数的创建。我们在具有不同属性的图上测试了我们的方法，并研究了嵌入训练参数与产生的嵌入在下游任务中恢复原始图结构的能力之间的关系。
2019-10-07 cs.LG stat.ML
Learning Graph Representations
National Institute of Science Education and Research（国家科学教育与研究学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
社交网络和信息网络由于其各种应用而最近获得了巨大的普及。通过节点和边形式的图进行的知识表示应尽可能多地保留原始数据的特征。这些图的一些有趣和有用的应用是图分类，节点分类，链接预测等图神经网络在过去的几年中已经发展。图神经网络（GNN）是深入了解大型动态图数据集的有效方法，这些数据集捕获数十亿实体之间的关系，也称为知识图谱。本文讨论了图卷积神经网络、图自编码器和时空图神经网络。可以使用这些方法学习图在较低维度中的表示。较低维度的表示可以进一步用于下游机器学习任务。
2021-02-03 cs.LG cs.SI
Learning Representations of Graph Data -- A Survey
University College London（伦敦大学学院）
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而，设计最佳的神经网络架构，可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始，并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来，我们确定了用于学习图数据表示的主要方法，即：核方法，卷积方法，图神经网络方法，图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论，并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering
University of California, Davis（加州大学戴维斯分校）；Amazon（亚马逊）
在本文中，我们考虑推荐系统的边信息的形式图。现有的协同过滤算法主要利用直接的邻域信息，并有很难利用超过1-2跳的更深的邻域。利用更深层次的图形信息的主要警告是，当合并来自这些邻域的信息时，时间和空间复杂度快速增长。在本文中，我们提出了使用图DNA，一种新的深度邻域感知图编码算法，用于开发更深层次的邻域信息。DNA编码使用布隆过滤器（一种空间高效的概率数据结构）在线性时间内计算近似的深度邻域信息，并导致图中节点数量为对数的每节点编码。它可以与基于特征和基于图正则化的协同过滤算法结合使用。与直接使用高阶图信息相比，图DNA具有内存和时间效率高的优点，并提供额外的正则化。我们在真实世界的数据集上进行了实验，表明图DNA可以很容易地与4种流行的协同过滤算法一起使用，并始终导致性能提升，而计算和内存开销很少。
2019-05-29 cs.AI cs.LG stat.ML
deepstruct -- linking deep learning and graph theory
University of Passau（帕绍大学）
deepstruct将深度学习模型和图论连接起来，使得可以将不同的图结构施加在神经网络上，或者可以从训练的神经网络模型中提取图结构。为此，deepstruct提供了具有不同限制的深度神经网络模型，这些模型可以基于初始图创建。此外，从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型，提取图的这一步骤也可能在计算上是昂贵的，并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Representation Learning for Spatial Graphs
Nanyang Technological University（南洋理工大学）；Baidu Inc.（百度公司）
最近，图表示学习的话题受到了广泛的关注。现有的方法通常只关注结构属性，因此对于那些节点与某些空间信息相关联的空间图来说，它们是不够的。在本文中，我们提出了第一个深度学习方法，称为s2vec，用于学习空间图表示，它基于去噪自动编码器框架（decoding autoencoders framework，简称decoding）。我们在真实数据集上对学习的表示进行了评估，结果验证了s2vec用于空间聚类的有效性。
2018-12-22 cs.LG cs.SI
Graph Pooling with Node Proximity for Hierarchical Representation Learning
Shanghai Jiao Tong University（上海交通大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在最近的工作中，图神经网络引起了广泛的关注，使图数据的表示学习成为可能。作为图卷积算子的补充，图池对于提取图数据的层次表示至关重要。然而，大多数最近的图池方法仍然未能有效地利用图形数据的几何形状。在本文中，我们提出了一种新的图池策略，利用节点邻近度，以提高层次表示学习的图数据与他们的多跳拓扑结构。通过协调拓扑信息和节点特征的核表示来获得节点邻近度。拓扑信息的隐式结构感知内核表示允许高效的图池，而无需显式的图拉普拉斯特征分解。利用高斯径向基函数，结合仿射变换和核技巧自适应地估计节点信号的相似性。实验结果表明，所提出的图池策略是能够实现国家的最先进的性能上的一组公共图分类基准数据集。
2020-06-19 cs.LG eess.SP stat.ML
Heterogeneous Graph Representation Learning with Relation Awareness
Beihang University（北京航空航天大学）；the University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
异构图上的表示学习旨在获得有意义的节点表示，以促进各种下游任务，如节点分类和链接预测。现有的异构图学习方法主要是通过节点表示的传播机制来开发的。很少有人努力研究关系的作用，以提高更细粒度的节点表示的学习。事实上，合作学习关系的语义表示并辨别不同关系类型的节点表示是很重要的。为此，在本文中，我们提出了一种新的异构图神经网络，即R-HGNN，学习异构图上的节点表示在细粒度的水平，考虑关系感知的特点。具体来说，首先设计一个专用的图卷积组件，以分别从每个关系特定的图中学习唯一的节点表示。在此基础上，开发了跨关系消息传递模块，以提高节点表示在不同关系间的交互性。此外，以逐层方式学习关系表示以捕获关系语义，其用于指导节点表示学习过程。此外，一个语义融合模块，提出了聚合关系感知节点表示成一个紧凑的表示与学习的关系表示。最后，我们对各种图学习任务进行了广泛的实验，实验结果表明，我们的方法在所有任务中始终优于现有方法。
2022-04-17 cs.LG cs.SI
Scalable Deep Generative Modeling for Sparse Graphs
Google Research（谷歌研究院）；DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务，并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而，当前的深度神经方法具有有限的可扩展性：对于具有$n$节点和$m$边的图，现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面，许多现实世界的图实际上是稀疏的，在这个意义上，$m\ll n^2$。在此基础上，我们开发了一种新的自回归模型，命名为BiGG，利用这种稀疏性，以避免生成完整的邻接矩阵，并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外，在训练期间，该自回归模型可以与$O(\log n)$同步阶段并行化，这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明，所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级，而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
Disentangled Dynamic Graph Deep Generation
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；George Mason University（乔治梅森大学）
图的深度生成模型在不断增加的领域中表现出有前途的性能，例如分子设计（即原子图）和蛋白质结构预测（即，氨基酸图）。现有的工作通常集中在静态而不是动态图，这实际上是非常重要的应用，如蛋白质折叠，分子反应，和人类的流动性。将现有的深度生成模型从静态扩展到动态图是一项具有挑战性的任务，这需要处理静态和动态特征的分解以及节点和边模式之间的相互作用。在这里，本文提出了一个新的框架的因式分解的深度生成模型，以实现可解释的动态图生成。提出了各种生成模型来表征节点、边、静态和动态因素之间的条件独立性。然后，变分优化策略以及动态图解码器提出了新设计的因式分解变分自编码器和递归图解卷积的基础上。在多个数据集上的实验证明了该模型的有效性。
2021-01-20 cs.LG cs.SI
DeepGD: A Deep Learning Framework for Graph Drawing Using GNN
The Ohio State University（俄亥俄州立大学）；Yahoo Research（雅虎研究院）
在过去的几十年中，已经提出了许多图形绘制技术，用于生成美观的图形布局。然而，它仍然是一个具有挑战性的任务，因为不同的布局方法往往突出不同的特性的图形。近年来，基于深度学习的图形绘制算法的研究已经出现，但是它们在没有重新训练的情况下通常不能推广到任意图形。在本文中，我们提出了一个基于卷积图神经网络的深度学习框架DeepGD，它可以在训练后绘制任意图形。它试图通过在多个预先指定的美学之间进行妥协来生成布局，考虑到一个好的图形布局通常同时符合多种美学。为了平衡这种权衡，我们提出了两种自适应训练策略，在训练过程中动态调整每个美学的权重因子。DeepGD的定量和定性评估表明，它能够有效地绘制任意图形，同时灵活地适应不同的美学标准。
2021-06-27 cs.LG
A Survey on Deep Graph Generation: Methods and Applications
UCLA（加州大学洛杉矶分校）；Cornell（康奈尔大学）；Tufts（塔夫茨大学）；EPFL（洛桑联邦理工学院）；CASIA（中国科学院自动化研究所）
在许多领域中，图在编码现实世界对象的关系信息中是普遍存在的。由于深度学习模型的最新进展，图生成的目的是从与观察到的图类似的分布生成新的图，因此图生成受到越来越多的关注。本文从各种新兴的深度图生成方法到其广泛的应用领域，对现有的深度图生成文献进行了全面的综述。具体来说，我们首先阐述了深度图生成的问题，并讨论了它与几个相关的图学习任务的区别。其次，我们根据模型结构将现有的方法分为三类，并总结了它们的生成策略。第三，我们介绍了深度图生成的三个关键应用领域。最后，我们强调了未来深度图生成研究中的挑战和机遇。我们希望我们的调查将是有用的研究人员和从业者谁是在这个令人兴奋的和快速发展的领域感兴趣。
2022-12-07 cs.LG cs.SI q-bio.MN
Towards Deeper Graph Neural Networks
Texas A&M University（德州农工大学）
图神经网络在图表示学习领域已经显示出显著的成功。图卷积执行邻域聚合，代表最重要的图操作之一。然而，这些邻域聚合方法中的一层仅考虑直接邻居，并且当更深入以实现更大的感受野时，性能降低。最近的几项研究将这种性能恶化归因于过度平滑问题，该问题指出重复传播使得不同类别的节点表示无法区分。在这项工作中，我们系统地研究了这一观察，并对更深层次的图神经网络提出了新的见解。首先，我们对这个问题进行了系统的分析，并认为影响性能的关键因素是当前图卷积运算中表示变换和传播的纠缠。在解耦这两个操作之后，可以使用更深的图神经网络来从更大的感受野学习图节点表示。我们进一步提供了在构建非常深的模型时对上述观察结果的理论分析，这可以作为对过度平滑问题的严格而温和的描述。基于我们的理论和实证分析，我们提出了深度自适应图神经网络（DAGNN），以自适应地纳入来自大感受野的信息。一组实验的引用，合著和共同购买数据集证实了我们的分析和见解，并证明了我们提出的方法的优越性。
2020-07-18 cs.LG stat.ML
Dual Graph Representation Learning
Sun Yat-Sen University（中山大学）
图表示学习将节点作为低维向量嵌入到大型图中，对许多下游应用都有很大的好处。然而，大多数嵌入框架本质上是传导性的，无法泛化到看不见的节点或学习不同图的表示。虽然归纳方法可以推广到看不见的节点，但它们忽略了节点的不同上下文，并且不能双重学习节点嵌入。在本文中，我们提出了一个上下文感知的无监督双重编码框架，\textbf{CADE}，生成表示的节点相结合的实时邻域与邻居关注的表示，并保留额外的内存已知节点。通过与最先进的方法进行比较，我们证明了我们的方法是有效的。
2020-02-25 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
CopulaGNN: Towards Integrating Representational and Correlational Roles of Graphs in Graph Neural Networks
University of Michigan（密歇根大学）；University of British Columbia（不列颠哥伦比亚大学）
图结构数据无处不在。然而，图编码不同类型的信息，因此在数据表示中扮演不同的角色。在本文中，我们区分的\textit{representational}和\textit{correlational}的角色所扮演的图在节点级预测任务，我们研究如何图神经网络（GNN）模型可以有效地利用这两种类型的信息。从概念上讲，代表性信息为模型提供了指导，以构建更好的节点功能;而相关性信息表明节点功能条件下的节点结果之间的相关性。通过仿真研究，我们发现许多流行的GNN模型不能有效地利用相关信息。通过利用Copula的思想，一个原则性的方法来描述多元随机变量之间的依赖关系，我们提供了一个一般的解决方案。所提出的Copula图神经网络（CopulaGNN）可以采用广泛的GNN模型作为基础模型，并利用存储在图中的代表性和相关性信息。两类回归任务的实验结果验证了该方法的有效性。
2021-03-18 cs.LG stat.ML
Relational Pooling for Graph Representations
Purdue University（普渡大学）
这项工作概括了图神经网络（GNN），超越了那些基于Weisfeiler-Lehman（WL）算法，图拉普拉斯算子和扩散。我们的方法，表示关系池（RP），从有限的部分交换的理论，提供了一个框架，最大的代表性权力的图形。RP可以与现有的图表示模型一起工作，并且有点违反直觉，可以使它们比原始的WL同构测试更强大。此外，RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning
Northeastern University, China（中国东北大学）
如何利用深度学习方法进行图分类任务在过去几年中引起了相当大的研究关注。关于图分类任务，要分类的图可以具有各种图大小（即，不同数目的节点和边）并且具有各种图形属性（例如，平均节点度、直径和聚类系数）。图的多样性给现有的图学习技术带来了巨大的挑战，因为不同的图具有不同的最佳拟合超参数。用一个统一的图神经网络从一组不同的图中学习图的特征是困难的。这促使我们以不同的方式使用多路复用结构，并利用图的先验属性来指导学习。在本文中，我们提出了MxPool，它同时使用多个图卷积/池化网络来构建图表示学习任务的分层学习结构。我们在众多图分类基准上的实验表明，我们的MxPool比其他最先进的图表示学习方法具有优越性。
2020-04-15 cs.LG stat.ML
Deep Graph Generators: A Survey
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
过去几年，深度生成模型在图像、语音和自然语言处理等领域取得了巨大成功。由于基于图的深度学习的进步，特别是图表示学习，深度图生成方法最近出现了新的应用，从发现新的分子结构到建模社交网络。本文对基于深度学习的图形生成方法进行了全面的调查，并将其分为五大类，即自回归，基于自编码器，基于RL，对抗和基于流的图形生成器，为读者提供了每类方法的详细描述。我们还提供了公开的源代码，常用的数据集和最广泛使用的评估指标。最后，我们强调了现有的挑战，并讨论了未来的研究方向。
2020-12-31 cs.AI cs.LG cs.SI
Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning
University of Minnesota（明尼苏达大学）
无监督（或自监督）图表示学习是必不可少的，以促进各种图数据采掘任务时，外部监督不可用。挑战在于将关于图结构的信息以及与节点和边相关联的属性编码到低维空间中。大多数现有的无监督方法在拓扑上接近的节点之间促进相似的表示。最近，它表明，利用额外的图形级信息，例如，在所有节点之间共享的信息鼓励表示注意图的全局属性，这大大提高了它们的质量。然而，在大多数图中，可以捕获更多的结构，例如，节点倾向于属于表示结构上相似的节点的（多个）集群。出于这种观察，我们提出了一个图形表示学习方法称为图形InfoClust（GIC），旨在额外捕获集群级的信息内容。这些集群计算的可微K-均值方法，并通过最大化的互信息相同的集群节点之间的联合优化。这种优化使得节点表示能够捕获更丰富的信息和节点交互，从而提高了它们的质量。实验表明，GIC在各种下游任务（节点分类，链接预测和节点聚类）中优于最先进的方法，平均比最佳竞争方法增益0.9%至6.1%。
2020-09-15 cs.LG stat.ML
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology（计算机科学与技术学院）
图卷积表示（GCR）在图数据表示方面取得了令人印象深刻的性能。然而，现有的GCR一般定义在输入固定图上，这可能会限制表示能力，并且容易受到结构攻击和噪声的影响。为了解决这个问题，我们提出了一种新的潜在图卷积表示（LatGCR），用于鲁棒的图数据表示和学习。我们的LatGCR的基础上，从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$，LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示，这明显提高了表示能力，并且对图结构攻击和噪声具有鲁棒性.此外，LatGCR是以自监督的方式实现的，因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
Unsupervised Hierarchical Graph Representation Learning by Mutual Information Maximization
Clemson University（克莱姆森大学）
基于图神经网络（GNNs）的图表示学习可以大大提高节点分类和图分类等下游任务的性能。然而，一般的GNN模型不会以分层的方式聚合节点信息，并且可能会错过许多图的关键高阶结构特征。分层聚合还使得图形表示能够是可解释的。此外，监督图表示学习需要标记数据，这是昂贵的，容易出错。为了解决这些问题，我们提出了一种无监督图表示学习方法，无监督层次图表示（UHGR），它可以生成图的层次表示。我们的方法侧重于最大化“局部”和高级“全局”表示之间的互信息，这使我们能够在没有任何标记数据的情况下学习节点嵌入和图嵌入。为了证明所提出的方法的有效性，我们使用学习的节点和图嵌入执行节点和图分类。结果表明，所提出的方法取得了可比的结果，国家的最先进的监督方法在几个基准。此外，我们的可视化层次表示表明，我们的方法可以捕获有意义的和可解释的集群。
2020-07-29 cs.IT cs.LG math.IT
DeepGraphONet: A Deep Graph Operator Network to Learn and Zero-shot Transfer the Dynamic Response of Networked Systems
Purdue University（普渡大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文开发了一个深度图运算符网络（DeepGraphONet）框架，该框架学习用底层子图结构来近似复杂系统（例如电网或交通）的动态。我们通过融合（i）图神经网络（GNN）利用空间相关图信息的能力和（ii）深度算子网络~（DeepONet）近似动力系统的解算子的能力来构建我们的DeepGraphONet。由此产生的DeepGraphONet可以通过观察图形状态信息的有限历史来预测给定短期/中期时间范围内的动态。此外，我们将DeepGraphONet设计为与分辨率无关。也就是说，我们不要求以完全/相同的分辨率收集有限的历史。此外，为了传播经过训练的DeepGraphONet的结果，我们设计了一种零样本学习策略，使其能够在不同的子图上使用。最后，（i）电力网的暂态稳定性预测问题和（ii）车辆系统的交通流量预测问题的实证结果说明了所提出的DeepGraphONet的有效性。
2022-09-21 cs.LG
GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
建模和生成图是研究生物学、工程学和社会科学中网络的基础。然而，由于图的非唯一、高维性质以及给定图中边之间存在的复杂、非局部依赖性，对图上的复杂分布进行建模然后从这些分布中有效地采样是具有挑战性的。在这里，我们提出了GraphRNN，这是一种深度自回归模型，可以解决上述挑战，并以最小的结构假设来近似任何图的分布。GraphRNN通过在一组有代表性的图上进行训练来学习生成图，并将图生成过程分解为一系列节点和边的形成，条件是到目前为止生成的图结构。为了定量评估GraphRNN的性能，我们引入了一套基准数据集，基线和基于最大平均离散度的新评估指标，这些指标可以测量各组图之间的距离。我们的实验表明，GraphRNN显著优于所有基线，学习生成与目标集的结构特征相匹配的各种图，同时还可以扩展到比以前的深度模型大50倍的图。
2018-06-23 cs.AI cs.LG cs.SI
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University（佛罗里达州立大学）
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中，我们专门介绍了一种新的图形数据深度学习模型，即深度循环神经网络。与以前的深度模型显著不同的是，在深度循环神经网络内部，存在由输入图数据中节点之间的广泛连接所创建的大量循环，这使得模型学习成为不可行的任务。为了解决这个问题，本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中，错误将通过一组提取的生成树中的边反向传播，而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验，实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing
University of Pisa（比萨大学）
我们介绍了上下文图马尔可夫模型，一种结合生成模型和神经网络的思想来处理图形数据的方法。它建立在一个建设性的方法，以建立一个深层次的架构，包括层的概率模型，学习以增量的方式编码的结构化信息。上下文以高效和可扩展的方式在图的顶点和边之间扩散。所得到的图形编码与判别模型结合使用，以解决结构分类基准。
2019-11-25 cs.AI cs.LG cs.NE
Deep Graphs
Carnegie Mellon University（卡内基梅隆大学）；AWS Machine Learning（AWS机器学习）；Amazon（亚马逊）
我们提出了一种在网络和图上进行深度学习的算法。它依赖于许多图算法的概念，如PageRank，Weisfeiler-Lehman或Message Passing可以表示为迭代顶点更新。与依赖于设计者的独创性的先前方法不同，深度图自适应于估计问题。训练和部署都是有效的，因为成本是$O(|E| + |V|)$，其中$E$和$V$分别是边和顶点的集合。简而言之，我们学习循环更新函数，而不是设定它们的特定函数形式。这产生了一个算法，在图标记和回归任务上都实现了出色的准确性。
2018-06-04 cs.AI cs.LG stat.ML
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University（国立台湾大学）；Mila-Quebec Institute for Learning Algorithms（米拉-魁北克学习算法研究所）；Harvard University（哈佛大学）；Aalto University（阿尔托大学）；HEC Montreal（蒙特利尔高等商学院）
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的，但有效地获得固定长度的表示图，但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型（例如graph2vec）的方法，但它们往往只考虑某些子结构（例如子树）作为图的代表。受无监督表示学习最新进展的启发，本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息（例如，节点、边、三角形）。通过这样做，图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外，我们还提出了InfoGraph*，这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此，监督编码器从未标记的数据中学习，同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明，InfoGraph优于最先进的基线，InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室）；Florida State University（佛罗里达州立大学）；IFM Lab（IFM实验室）；Tallahassee（塔拉哈西（此处按要求不应提取，但原文本中Tallahassee为城市名，根据规则应忽略，仅保留明确机构部分））
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时，对于一些图学习场景，例如，具有文本/图像属性的节点或具有长距离节点相关性的图，深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络，即DIFNET（图扩散神经网络），用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模，并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验，比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性，特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Adversarial Examples on Graph Data: Deep Insights into Attack and Defense
University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；National University of Defense Technology（国防科技大学）
图深度学习模型，如图卷积网络（GCN），在图数据上的任务中实现了卓越的性能。与其他类型的深度模型类似，图深度学习模型经常遭受对抗攻击。然而，与非图数据相比，图数据的离散特征、图之间的连接以及不可感知扰动的不同定义，给图数据的对抗攻击和防御带来了独特的挑战和机遇。在本文中，我们提出了攻击和防御技术。对于攻击，我们表明，离散性问题可以很容易地解决，通过引入积分梯度，可以准确地反映扰动某些功能或边缘的影响，同时仍然受益于并行计算。对于防御，我们观察到，针对目标攻击的敌对操纵图在统计上不同于正常图。基于这一观察，我们提出了一种防御方法，该方法检查图并恢复潜在的对抗性扰动。我们在一些数据集上的实验表明了所提出的方法的有效性。
2019-05-22 cs.CR cs.LG stat.ML
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Futurewei Seattle Cloud Lab（Futurewei西雅图云实验室）
我们提出了拓扑变换等变表示学习，自监督学习的一般范式的节点表示的图形数据，使图卷积神经网络（GCNN）的广泛适用性。我们正式提出的模型从信息理论的角度来看，通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出，最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地，我们试图从原始图中采样节点对的子集，并翻转每个对之间的边连接以转换图拓扑。然后，我们自训练一个表示编码器，通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中，我们将所提出的模型应用于下游节点分类、图分类和链接预测任务，结果表明，所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
Size-Invariant Graph Representations for Graph Classification Extrapolations
Purdue University（普渡大学）
通常，图表示学习方法假设训练和测试数据来自相同的分布。在这项工作中，我们考虑一个未充分探索的领域，否则迅速发展的领域的图表示学习：分布外（OOD）图分类的任务，其中训练和测试数据具有不同的分布，与测试数据在训练过程中不可用。我们的工作表明，使用因果模型来学习近似不变的表示是可能的，这些表示可以更好地在训练和测试数据之间进行外推。最后，我们得出结论与合成和真实世界的数据集实验展示的好处，是不变的训练/测试分布偏移的表示。
2021-07-06 cs.LG
Deep Graph Translation
George Mason University（乔治梅森大学）；IBM Research（IBM研究院）
受深度生成模型在生成连续数据（如图像和音频）方面的巨大成功的启发，近年来，很少有深度图生成模型被提出来生成离散数据（如图）。它们通常是无条件生成模型，对生成的图形的模式没有控制。因此，在本文中，我们感兴趣的是一个新的问题命名为\emph{Deep Graph Translation}：给定一个输入图，我们希望推断出一个目标图的基础上（包括全球和本地）的翻译映射。图转换在诸如灾难管理和罕见事件预测的许多应用中可能是非常期望的，其中罕见和异常图模式（例如，交通拥堵和恐怖主义事件）将在其发生之前被推断出（即使没有关于该图的异常模式的历史数据（例如，道路网络或人类接触网络）。为了实现这一点，我们提出了一种新的图形翻译-生成对抗网络（GT-GAN），它将生成一个从输入到目标图的图形翻译器。GT-GAN由一个图形转换器组成，我们提出了新的图形卷积和反卷积层来学习全局和局部转换映射。一个新的条件图分类器也被提出来通过对输入图进行条件化来对目标图进行分类。在多个合成数据集和真实数据集上的大量实验证明了所提出的GT-GAN的有效性和可扩展性。
2018-06-22 cs.AI cs.LG stat.ML
Learning Robust Representation through Graph Adversarial Contrastive Learning
Peking University（北京大学）
现有研究表明，图神经网络（GNNs）生成的节点表示容易受到对抗攻击的攻击，例如对相邻矩阵和节点特征的不可察觉的扰动。因此，在图神经网络中学习鲁棒的表示是必要的。为了提高图表示学习的鲁棒性，将对抗性增强引入图自监督学习，提出了一种新的图对抗性对比学习框架（GraphACL）.在这个框架中，我们最大化扰动图及其对抗增强的局部和全局表示之间的互信息，其中对抗图可以通过有监督或无监督的方法生成。基于信息瓶颈原理，我们从理论上证明了我们的方法可以获得一个更紧的界，从而提高了图表示学习的鲁棒性。从经验上讲，我们在一系列节点分类基准上评估了几种方法，结果表明GraphACL可以达到与以前的监督方法相当的准确性。
2022-01-31 cs.LG
GraphNeuralNetworks.jl: Deep Learning on Graphs with Julia
Bocconi University（博科尼大学）；Bocconi Institute for Data Science and Analytics（博科尼数据科学与分析研究所）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（信息科学与系统实验室）
本研究推出Julia编写的开源图深度学习框架GraphNeuralNetworks.jl，支持多GPU后端、多类图表示与自定义层，内置常用层，便于高效开展图深度学习实验。
2024-12-09 cs.LG
DIG: A Turnkey Library for Diving into Graph Deep Learning Research
Texas A&M University（得克萨斯农工大学）；Department of Computer Science and Engineering（计算机科学与工程系）
虽然存在几个用于图上的深度学习的库，但它们旨在实现图深度学习的基本操作。在研究社区中，使用现有库实现和基准测试各种高级任务仍然是痛苦和耗时的。为了促进图深度学习研究，我们引入了DIG：Dive into Graphs，这是一个交钥匙库，为更高级别的面向研究的图深度学习任务提供了统一的测试平台。目前，我们考虑图生成，图上的自监督学习，图神经网络的可解释性，以及3D图上的深度学习。对于每个方向，我们提供统一的数据接口，通用算法和评估指标的实现。总而言之，DIG是一个可扩展的，开源的和交钥匙的库，供研究人员开发新方法，并使用广泛使用的数据集和评估指标轻松地与常见基线进行比较。源代码可在https://github.com/divelab/DIG上获得。
2021-10-09 cs.LG
Graph Edge Representation via Tensor Product Graph Convolutional Representation
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Key Laboratory of Multimodal Cognitive Computation（多模态认知计算重点实验室）
针对现有图卷积无法处理带高维边特征图的问题，本文结合张量收缩表示与张量积图扩散理论提出TPGC算子以获取边嵌入，补充传统图卷积并在多任务中验证有效。
2024-06-21 cs.LG
Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision
CSIRO’s DATA61（澳大利亚联邦科学与工业研究组织DATA61部门）
使用图神经网络（GNNs）学习有用的节点和图表示是一项具有挑战性的任务。众所周知，深度GNN会受到过度平滑的影响，随着层数的增加，节点表示变得几乎无法区分，下游任务的模型性能显着下降。为了解决这个问题，我们提出了深度监督GNN（DSGNN），即，通过深度监督增强的GNN，其中在所有层学习的表示都用于训练。我们的经验表明，DSGNNs是弹性的过度平滑，可以超越节点和图形属性预测问题的竞争基准。
2022-02-25 cs.LG
Edge Representation Learning with Hypergraphs
KAIST（韩国科学技术院）；AITRICS
图神经网络最近在表示图结构数据方面取得了显著的成功，在节点嵌入和图池方法方面都取得了快速进展。然而，他们主要集中在从考虑其连通性的节点中捕获信息，而在表示作为图的基本组成部分的边方面没有做太多工作。然而，对于诸如图重构和生成的任务，以及边缘对于区分很重要的图分类任务，准确地表示给定图的边缘对于图表示学习的成功至关重要。为此，我们提出了一种新的边表示学习框架的基础上的对偶超图变换（DHT），它转换到超图的节点图的边。这种双重超图的建设，使我们能够应用消息传递技术的节点表示的边缘。在从超图获得边缘表示之后，我们然后聚类或丢弃边缘以获得整体图级边缘表示。我们验证了我们的边缘表示学习方法与超图在不同的图形数据集的图形表示和生成性能，我们的方法大大优于现有的图形表示学习方法。此外，我们的边表示学习和池化方法在图分类上也大大优于最先进的图池化方法，这不仅是因为其精确的边表示学习，而且还因为其节点的无损压缩和有效的消息传递的不相关边的去除。
2021-10-29 cs.LG
