Temporal Graph Networks for Deep Learning on Dynamic Graphs
Twitter(推特(Twitter))
图神经网络(GNN)最近变得越来越受欢迎,因为它们能够学习从生物学和粒子物理学到社交网络和推荐系统的广泛问题中产生的复杂关系或交互系统。尽管图上的深度学习有很多不同的模型,但到目前为止,很少有方法被提出来处理呈现某种动态性质的图(例如,随着时间的推移不断演变的特征或连通性)。在本文中,我们提出了时间图网络(TGN),这是一个通用的,高效的深度学习框架,用于表示为定时事件序列的动态图。由于内存模块和基于图形的运算符的新颖组合,TGN能够显着优于以前的方法,同时计算效率更高。此外,我们还表明,以前的几个模型的学习动态图可以作为我们的框架的具体实例。我们对我们框架的不同组件进行了详细的消融研究,并设计了最佳配置,在动态图的几个转导和归纳预测任务上实现了最先进的性能。
2020-10-09 cs.LG stat.ML
Attributed Graph Clustering: A Deep Attentional Embedding Approach
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
图聚类是发现网络中社区或群体的基本任务。最近的研究主要集中在开发深度学习方法来学习紧凑的图嵌入,在此基础上应用经典的聚类方法,如k-means或谱聚类算法。这些两步框架难以操作,并且通常导致次优性能,主要是因为图嵌入不是目标导向的,即,专为特定的集群任务而设计。在本文中,我们提出了一种目标导向的深度学习方法,深度注意嵌入图聚类(简称DAEGC)。我们的方法侧重于属性图,充分探索图中的信息的两个方面。通过使用注意力网络来捕捉相邻节点对目标节点的重要性,我们的DAEGC算法将图中的拓扑结构和节点内容编码为紧凑的表示,在此基础上训练内积解码器来重建图结构。此外,从图嵌入本身产生的软标签来监督一个自训练图聚类过程,迭代地细化聚类结果。自训练过程与图嵌入在统一的框架中共同学习和优化,使两个组件互惠互利。实验结果表明,与现有的算法相比,该方法具有优越性。
2019-06-15 cs.LG stat.ML
Deep Iterative and Adaptive Learning for Graph Neural Networks
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在本文中,我们提出了一个端到端的图学习框架,即图神经网络的深度迭代和自适应学习(DIAL-GNN),用于同时联合学习图结构和图嵌入。我们首先将图结构学习问题转换为相似性度量学习问题,并利用自适应图正则化来控制生成的图的平滑性,连通性和稀疏性。我们进一步提出了一种新的迭代法,用于搜索一个隐藏的图结构,增强了初始图结构。我们的迭代法动态停止时,学习的图形结构接近足够接近的最佳图。我们广泛的实验表明,所提出的DIAL-GNN模型在下游任务性能和计算时间方面都可以始终优于或匹配最先进的基线。所提出的方法可以处理两个转导学习和归纳学习。
2019-12-17 cs.LG stat.ML
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合迭代地学习图结构和图嵌入。IDGL的关键原理是基于更好的节点嵌入来学习更好的图结构,反之亦然(即,基于更好的图结构的更好的节点嵌入)。我们的迭代法动态停止时,学习的图形结构接近足够接近的图优化的下游预测任务。此外,我们将图学习问题转换为相似性度量学习问题,并利用自适应图正则化来控制学习图的质量。最后,结合基于锚点的近似技术,提出了一种可扩展的IDGL算法IDGL-Anch,在不影响性能的前提下,显著降低了IDGL算法的时间复杂度和空间复杂度.我们对九个基准测试的广泛实验表明,我们提出的IDGL模型可以始终优于或匹配最先进的基线。此外,IDGL可以对对抗图更鲁棒,并且可以处理转导学习和归纳学习。
2020-10-23 cs.LG stat.ML
DeepSphere: towards an equivariant graph-based spherical CNN
EPFL(洛桑联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院)
球形数据在许多应用中都可以找到。通过将离散球建模为图,我们可以适应非均匀分布的,部分的和不断变化的采样。此外,图卷积在计算上比球面卷积更有效。由于利用旋转对称性需要等方差,我们讨论了如何使用Defferard等人(2016)中介绍的图神经网络来接近旋转等方差。实验表明,良好的性能旋转不变的学习问题。代码和示例可在https://github.com/SwissDataScienceCenter/DeepSphere上获得
2019-04-08 cs.LG stat.ML
Deep Graph Generators: A Survey
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
过去几年,深度生成模型在图像、语音和自然语言处理等领域取得了巨大成功。由于基于图的深度学习的进步,特别是图表示学习,深度图生成方法最近出现了新的应用,从发现新的分子结构到建模社交网络。本文对基于深度学习的图形生成方法进行了全面的调查,并将其分为五大类,即自回归,基于自编码器,基于RL,对抗和基于流的图形生成器,为读者提供了每类方法的详细描述。我们还提供了公开的源代码,常用的数据集和最广泛使用的评估指标。最后,我们强调了现有的挑战,并讨论了未来的研究方向。
2020-12-31 cs.AI cs.LG cs.SI
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室);Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室);Tallahassee(塔拉哈西(此处按要求不应提取,但原文本中Tallahassee为城市名,根据规则应忽略,仅保留明确机构部分))
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时,对于一些图学习场景,例如,具有文本/图像属性的节点或具有长距离节点相关性的图,深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络,即DIFNET(图扩散神经网络),用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模,并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验,比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性,特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
DeepGD: A Deep Learning Framework for Graph Drawing Using GNN
The Ohio State University(俄亥俄州立大学);Yahoo Research(雅虎研究院)
在过去的几十年中,已经提出了许多图形绘制技术,用于生成美观的图形布局。然而,它仍然是一个具有挑战性的任务,因为不同的布局方法往往突出不同的特性的图形。近年来,基于深度学习的图形绘制算法的研究已经出现,但是它们在没有重新训练的情况下通常不能推广到任意图形。在本文中,我们提出了一个基于卷积图神经网络的深度学习框架DeepGD,它可以在训练后绘制任意图形。它试图通过在多个预先指定的美学之间进行妥协来生成布局,考虑到一个好的图形布局通常同时符合多种美学。为了平衡这种权衡,我们提出了两种自适应训练策略,在训练过程中动态调整每个美学的权重因子。DeepGD的定量和定性评估表明,它能够有效地绘制任意图形,同时灵活地适应不同的美学标准。
2021-06-27 cs.LG
DeepGraphONet: A Deep Graph Operator Network to Learn and Zero-shot Transfer the Dynamic Response of Networked Systems
Purdue University(普渡大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文开发了一个深度图运算符网络(DeepGraphONet)框架,该框架学习用底层子图结构来近似复杂系统(例如电网或交通)的动态。我们通过融合(i)图神经网络(GNN)利用空间相关图信息的能力和(ii)深度算子网络~(DeepONet)近似动力系统的解算子的能力来构建我们的DeepGraphONet。由此产生的DeepGraphONet可以通过观察图形状态信息的有限历史来预测给定短期/中期时间范围内的动态。此外,我们将DeepGraphONet设计为与分辨率无关。也就是说,我们不要求以完全/相同的分辨率收集有限的历史。此外,为了传播经过训练的DeepGraphONet的结果,我们设计了一种零样本学习策略,使其能够在不同的子图上使用。最后,(i)电力网的暂态稳定性预测问题和(ii)车辆系统的交通流量预测问题的实证结果说明了所提出的DeepGraphONet的有效性。
2022-09-21 cs.LG
Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision
CSIRO’s DATA61(澳大利亚联邦科学与工业研究组织DATA61部门)
使用图神经网络(GNNs)学习有用的节点和图表示是一项具有挑战性的任务。众所周知,深度GNN会受到过度平滑的影响,随着层数的增加,节点表示变得几乎无法区分,下游任务的模型性能显着下降。为了解决这个问题,我们提出了深度监督GNN(DSGNN),即,通过深度监督增强的GNN,其中在所有层学习的表示都用于训练。我们的经验表明,DSGNNs是弹性的过度平滑,可以超越节点和图形属性预测问题的竞争基准。
2022-02-25 cs.LG
Data Augmentation for Deep Graph Learning: A Survey
Arizona State University(亚利桑那州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图神经网络是一种强大的深度学习工具,用于对图结构数据进行建模,在许多图学习任务中表现出卓越的性能。为了解决深度图学习中的数据噪声和数据稀缺问题,最近加强了对图数据增强的研究。然而,传统的数据增强方法很难处理定义在非欧空间的多模态图结构数据。在本调查中,我们正式阐述了图数据增强的问题,并进一步回顾了代表性技术及其在不同深度图学习问题中的应用。具体来说,我们首先提出了一个分类图数据增强技术,然后提供了一个结构化的审查分类的基础上增强的信息模态的相关工作。此外,我们总结了图数据增强在以数据为中心的深度图学习中的两个代表性问题中的应用:(1)可靠图学习,其重点是通过图数据增强来增强输入图的效用以及模型容量;以及(2)低资源图学习,其目标是通过图数据增强来扩大标记的训练数据规模。对于每个问题,我们还提供了一个层次化的问题分类,并回顾了现有的文献相关的图形数据增强。最后,我们指出了有前途的研究方向和未来的研究面临的挑战。
2022-11-21 cs.LG
Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective
Southeast University(东南大学);Chinese Academy of Sciences(中国科学院);Purple Mountain Laboratories(紫金山实验室)
近年来,为下游任务设计的基于图的模型极大地推进了对图神经网络(GNN)的研究。基于神经消息传递机制(如GCN和GAT)的GNN基线随着网络的深化而表现更差。因此,已经提出了许多GNN变体来解决这个性能下降问题,包括许多深度GNN。然而,仍然缺乏一个统一的框架来连接这些现有的模型,并在高层次上解释其有效性。在这项工作中,我们专注于深度GNN,并提出了一个新的观点来理解它们。我们建立了一个理论框架,通过推理的概率图模型。给定从马尔可夫随机场的变分推理导出的不动点方程(FPE),深度GNN(包括JKNet,GCNII,DGCN)和经典GNN(如GCN,GAT和APPNP)可以被视为FPE的不同近似。此外,在此框架下,FPE的更准确的近似,指导我们设计一个更强大的GNN:耦合图神经网络(CoGNet)。对引文网络和自然语言处理下游任务进行了广泛的实验。结果表明,CoGNet优于SOTA模型。
2023-01-25 cs.LG
Deep Graph Library Optimizations for Intel(R) x86 Architecture
Intel Corporation(英特尔公司)
深度图库(DGL)被设计为一种工具,通过支持图形的核心抽象,包括流行的图神经网络(GNN),实现从图中进行结构学习。DGL包含CPU和GPU的所有核心图形操作的实现。在本文中,我们特别关注CPU实现,并使用最新版本的DGL(0.4.3)在一组GNN应用程序中进行性能分析,优化和结果。在7个应用程序中,我们实现了比基准CPU实现快11.5倍-13倍的速度。
2020-07-13 cs.DC cs.LG
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Macau(澳门大学)
近年来,已经提出了各种深度学习架构来解决交通领域的复杂挑战(例如空间依赖性,时间依赖性),并取得了令人满意的性能。这些架构由多种深度学习技术组成,以应对交通任务中的各种挑战。传统上,卷积神经网络(CNN)被用来通过将交通网络分解为网格来建模空间依赖性。然而,许多交通网络本质上是图结构的。为了充分利用这些空间信息,将交通网络用数学图形表示更为合适。最近,已经开发了各种新颖的深度学习技术来处理图形数据,称为图形神经网络(GNN)。越来越多的工作将GNN与其他深度学习技术相结合,构建了一个处理复杂交通任务中各种挑战的架构,其中GNN负责提取交通网络中的空间相关性。这些基于图的架构已经实现了最先进的性能。为了全面清晰地了解这一新兴趋势,本调查仔细研究了许多交通应用中各种基于图的深度学习架构。我们首先给出了基于图的交通问题的指导方针,并从各种交通数据集构造图。然后,我们分解这些基于图的架构,讨论它们共享的深度学习技术,阐明每种技术在流量任务中的应用。更重要的是,我们总结了一些常见的流量挑战以及针对每个挑战的相应的基于图的深度学习解决方案。最后,我们提供了基准数据集,开源代码和未来的研究方向在这个快速增长的领域。
2020-10-11 cs.LG eess.SP
Deep Learning for Molecular Graphs with Tiered Graph Autoencoders and Graph Prediction
IBM(国际商业机器公司)
分层图自动编码器提供了用于学习分层潜在表示和潜在空间的架构和机制,用于明确表示和利用组的分子图(例如,官能团)。这使得能够单独地(节点(原子)层、组层或图(分子)层)或联合地利用和探索分层的分子潜在空间,以及跨层的导航。在本文中,我们讨论了使用分层图形自动编码器与图形预测的分子图。我们显示的分子图的功能,并确定一些样品分子的分子图中的群体。我们简要回顾了图预测和QM9数据集的背景信息,并讨论了分层图嵌入在图预测中的使用,特别是加权组池。我们发现,官能团和环基团有效地捕捉和代表分子图形(结构)的化学本质。此外,分层图自动编码器和图预测一起为分子图提供有效、高效和可解释的深度学习,前者提供无监督的可转移学习,后者提供有监督的任务优化学习。
2021-07-01 cs.LG q-bio.BM
Towards Deep Attention in Graph Neural Networks: Problems and Remedies
KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学)
本文针对深度图注意力中的特征过平滑与累积注意力平滑问题,提出AERO-GNN架构,并在最多64层及12个节点分类基准中的9个上验证其性能优势。
2023-06-04 cs.AI cs.LG
GTNet: A Tree-Based Deep Graph Learning Architecture
Institute for Financial Services Analytics, University of Delaware(特拉华大学金融服务分析研究所)
我们提出了图树网络(GTNets),这是一种深度图学习架构,具有一种新的通用消息传递方案,该方案源于图的树表示。在树表示中,消息从叶节点向上传播到根结点,并且每个节点在从其子节点(邻居)接收信息之前保留其初始信息。我们根据树中消息传递的性质制定了一个通用传播规则,通过聚合节点的初始特征及其邻居节点的更新特征来更新节点的特征。在这个GTNet架构中提出了两个图表示学习模型--图树注意力网络(GTAN)和图树卷积网络(GTCN),在几个流行的基准数据集上实验证明了最先进的性能。与具有“过平滑”问题的普通图注意力网络(GAT)和图卷积网络(GCN)不同,所提出的GTAN和GTCN模型可以通过全面的实验和严格的理论分析来证明。
2022-04-27 cs.AI cs.LG
The Evolution of Distributed Systems for Graph Neural Networks and their Origin in Graph Processing and Deep Learning: A Survey
Technical University of Munich(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);University of Toronto(多伦多大学)
本文综述了图神经网络分布式系统的演化及其与图处理和深度学习的联系,总结并分类了大规模GNN解决方案的重要方法与技术,填补了该领域系统概述与比较的空白。
2023-05-23 cs.DC cs.LG
Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Rice University(莱斯大学)
众所周知,训练深度图神经网络(GNN)非常困难。除了训练深度架构的标准困境(如消失梯度和过拟合)之外,它还独特地遭受过平滑,信息挤压等问题,这限制了它们在大规模图中编码高阶邻居结构的潜在能力。尽管提出了许多努力来解决这些限制,例如各种形式的跳过连接,图形规范化和随机丢弃,但很难将深度GNN架构带来的优势与训练这种架构所需的“技巧”区分开来。此外,缺乏一个具有公平和一致的实验环境的标准化基准,对衡量新机制的有效性构成了几乎不可逾越的障碍。有鉴于此,我们提出了第一个公平且可重复的基准,专门用于评估训练深度GNN的“技巧”。我们对现有的方法进行分类,研究它们的超参数敏感性,并统一基本配置。然后对数十个代表性的图数据集进行全面评估,包括最近的大规模Open Graph Benchmark,具有不同的深度GNN骨干。我们证明了初始连接,身份映射,组和批量归一化的有机组合在大型数据集上获得了深度GNN的最新结果。代码可用:https://github.com/VITA-Group/Deep_GCN_Benchmarking。
2022-05-09 cs.AI cs.LG
SCGG: A Deep Structure-Conditioned Graph Generative Model
Sharif University of Technology(谢里夫理工大学)
基于深度学习的图生成方法具有出色的图数据建模能力,使其能够解决各种现实问题。使这些方法能够在生成过程中考虑不同的条件,甚至通过使它们能够生成满足所需标准的新图形样本来提高它们的有效性。本文提出了一种称为SCGG的条件深度图生成方法,该方法考虑了特定类型的结构条件。具体来说,我们提出的SCGG模型需要一个初始子图,并在给定的条件子结构上自回归生成新的节点及其相应的边。SCGG的体系结构由图表示学习网络和自回归生成模型组成,该模型是端到端训练的。使用这个模型,我们可以解决图完成,一个猖獗的和固有的困难的问题,恢复丢失的节点和他们的相关边的部分观察图。在合成数据集和真实数据集上的实验结果表明,与最先进的基线相比,我们的方法具有优越性。
2022-09-20 cs.AI cs.LG
Evaluating Deep Graph Neural Networks
Peking University(北京大学)
图神经网络(GNNs)已经广泛应用于各种图挖掘任务中。然而,他们遭受浅架构的问题,这是阻碍模型性能提高的关键障碍。虽然已经提出了几种相关的方法,但现有的研究都没有深入了解深度GNN性能下降的根本原因。在本文中,我们进行了第一次系统的实验评估,目前浅架构的基本限制。基于实验结果,我们回答了以下两个基本问题:(1)是什么导致了深度GNN的性能受损;(2)我们何时需要以及如何构建深度GNN。上述问题的答案为研究人员设计深入且性能良好的GNN提供了经验见解和指南。为了展示我们提出的指导方针的有效性,我们提出了深度图多层感知器(DGMLP),这是一种强大的方法(本身就是一种范式),有助于指导深度GNN设计。实验结果表明,DGMLP的三个优点:1)高准确性-它在各种数据集上实现了最先进的节点分类性能; 2)高灵活性-它可以根据图的大小和稀疏性灵活地选择不同的传播和转换深度; 3)高可扩展性和效率-它支持大规模图上的快速训练。我们的代码可以在https://github.com/zwt233/DGMLP上找到。
2021-08-02 cs.AI cs.LG
Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning
University at Buffalo(布法罗大学)
虽然深度学习在许多领域取得了巨大的成功,但对深度学习的一个常见批评是它缺乏可解释性。在大多数情况下,深层神经网络中的隐藏单元没有明确的语义含义或对应于任何物理实体。然而,模型的可解释性和可解释性在许多生物医学应用中至关重要。为了应对这一挑战,我们开发了因子图神经网络模型,通过将概率图形模型与深度学习相结合,该模型具有可解释性和可预测性。我们直接将生物知识(如基因本体)作为因子图编码到模型架构中,使模型透明和可解释。此外,我们设计了一个注意力机制,可以捕捉生物实体,如基因和基因本体论术语之间的多尺度层次的相互作用。通过参数共享机制,展开因子图神经网络模型可以随机深度训练,具有良好的泛化能力。我们将我们的模型应用于两个癌症基因组数据集来预测目标临床变量,并取得了比其他传统机器学习和深度学习模型更好的结果。我们的模型还可以用于基因集富集分析和选择对靶向临床变量重要的基因本体论术语。
2019-06-03 cs.LG q-bio.GN
Premise Selection for Theorem Proving by Deep Graph Embedding
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们提出了一种基于深度学习的方法来解决前提选择问题:选择与证明给定猜想相关的数学陈述。我们表示一个高阶逻辑公式作为一个图形,是不变的变量重命名,但仍然完全保留语法和语义信息。然后,我们通过一种新的嵌入方法,保留边排序的信息,将图嵌入到一个向量中。我们的方法在HolStep数据集上实现了最先进的结果,将分类准确率从83%提高到90.3%。
2017-09-28 cs.AI cs.LG cs.LO
Deep Learning on Graphs: A Survey
Tsinghua University(清华大学)
深度学习已被证明在许多领域取得了成功,从声学、图像到自然语言处理。然而,由于图的独特特性,将深度学习应用于无处不在的图数据是不平凡的。最近,大量的研究工作致力于将深度学习方法应用于图,从而导致图分析技术的有益进步。在本调查中,我们全面回顾了图上不同类型的深度学习方法。我们将现有的方法根据其模型架构和训练策略分为五类:图递归神经网络,图卷积网络,图自编码器,图强化学习和图对抗方法。然后,我们提供了一个全面的概述,这些方法在系统的方式,主要是通过以下他们的发展历史。分析了不同方法的区别和构成。最后,我们简要概述了它们的应用,并讨论了未来潜在的研究方向。
2020-03-13 cs.LG cs.SI stat.ML
Attention mechanisms and deep learning for machine vision: A survey of the state of the art
University of Kashmir(克什米尔大学);Institute of Technology, University of Kashmir(克什米尔大学理工学院)
随着最先进的自然启发的纯注意力模型(即Transformers)的出现,以及它们在自然语言处理(NLP)中的成功,它们扩展到机器视觉(MV)任务是不可避免的,也是非常重要的。随后,引入了视觉Transformer(ViTs),这对基于深度学习的机器视觉技术提出了相当大的挑战。然而,像Transformers这样的纯注意力模型/架构需要大量的数据,大量的训练时间和大量的计算资源。最近的一些工作表明,这两个不同的领域的组合可以证明建立具有这两个领域的优势的系统。因此,这一国家的最先进的调查文件介绍,希望能帮助读者获得有用的信息,这个有趣的和潜在的研究领域。对注意力机制进行了简单的介绍,然后讨论了流行的基于注意力的深层体系结构。随后,讨论了基于机器视觉(MV)的注意力机制和深度学习交叉的主要类别。之后,主要的算法,问题和趋势的范围内的文件进行了讨论。
2021-06-03 cs.AI cs.CV cs.LG
forgeNet: A graph deep neural network model using tree-based ensemble classifiers for feature extraction
Emory University(埃默里大学)
组学数据预测模型构建中的一个独特挑战是样本数量少($(n)$),而特征数量多($(p)$)。这种“$n\ll p$“属性给使用深度学习技术的疾病结果分类带来了困难。通过结合外部基因网络信息(例如图形嵌入式深度前馈网络(GEDFN)模型)进行稀疏学习是解决这个问题的一种方法。然而,这样的方法需要现有的特征图,并且特征图的潜在错误指定可能对分类和特征选择有害。为了解决这一限制,并开发一个强大的分类模型,而不依赖于外部知识,我们提出了一个\underline{for} est \underline{e}嵌入式深度前馈\underline{net}工作(forgeNet)模型,集成GEDFN架构与森林特征图提取器,使特征图可以在监督的方式学习,并专门为给定的预测任务构建。为了验证该方法的能力,我们用合成数据集和真实数据集对forgeNet模型进行了实验。由此产生的高分类精度表明,该方法是对组学数据稀疏深度学习模型的有价值的补充。
2019-05-23 cs.LG cs.SI stat.ML
DeepGG: a Deep Graph Generator
University of Passau(帕绍大学)
图的学习分布可以用于自动药物发现,分子设计,复杂网络分析等等。我们提出了一个改进的框架,用于学习生成模型的图形的基础上的思想的深度状态机。为了学习状态转换决策,我们使用一组图和节点嵌入技术作为状态机的存储器。我们的分析是基于学习随机图生成器的分布,我们提供统计测试来确定可以学习哪些属性以及图的原始分布的表现。我们表明,状态机的设计有利于特定的分布。学习最多150个顶点的图的模型。代码和参数是公开的,可以复制我们的结果。
2020-11-25 cs.LG stat.ML
Deep Q-Learning for Directed Acyclic Graph Generation
Cardiff University(卡迪夫大学)
我们提出了一种使用深度强化学习,特别是深度Q学习来生成有向无环图(DAG)的方法。生成具有特定结构的图在各种应用领域都是一项重要而具有挑战性的任务,然而目前大多数图生成方法生成的图都是无向边图。我们证明,这种方法是能够生成DAG的拓扑结构和节点类型满足指定的标准,在高度稀疏的奖励环境。
2019-06-05 cs.LG stat.ML
Learning Deep Graph Representations via Convolutional Neural Networks
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
图结构数据出现在许多场景中。一个基本的问题是量化图的相似性,以完成分类等任务。R-卷积图核是将图分解为子结构并比较它们的半正定函数。有效实现这一思想的一个问题是子结构不是独立的,这导致高维特征空间。此外,图核不能捕获顶点之间的高阶复杂交互。为了缓解这两个问题,我们提出了一个名为DeepMap的框架来学习图形特征映射的深度表示。图的学习深度表示是一个密集的低维向量,它捕获顶点邻域中复杂的高阶交互。DeepMap将卷积神经网络(CNN)扩展到任意图形,生成对齐的顶点序列并为每个顶点构建感受野。我们在各种图分类基准上对DeepMap进行了经验验证,并证明它达到了最先进的性能。
2022-01-24 cs.LG stat.ML
A Systematic Survey on Deep Generative Models for Graph Generation
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Emory University(埃默里大学)
图是描述对象及其关系的重要数据表示,这些对象及其关系出现在各种各样的现实世界场景中。图的生成是这一领域的关键问题之一,它考虑的是学习给定图的分布,从而生成更多的新图。由于其广泛的应用,图的生成模型,这有着丰富的历史,然而,传统上是手工制作的,只能建模的一些统计特性的图。用于图形生成的深度生成模型的最新进展是朝着提高生成图形的保真度迈出的重要一步,并为新类型的应用铺平了道路。本文对用于图生成的深度生成模型领域的文献进行了广泛的概述。首先,形式化地定义了用于图生成的深度生成模型,并提供了初步的知识。其次,分别对无条件图生成和有条件图生成的深度生成模型进行了分类,并对各自的已有工作进行了比较和分析。在此之后,在这个特定的领域的评估指标的概述。最后,总结了深度图生成的应用,并强调了五个有前途的未来研究方向。
2022-10-04 cs.LG stat.ML
Deep-Graph-Sprints: Accelerated Representation Learning in Continuous-Time Dynamic Graphs
Feedzai;Universidade do Porto(波尔图大学)
针对连续时间动态图(CTDG)表示学习中的高推理延迟问题,提出Deep-Graph-Sprints(DGS)架构,在五个数据集上以4-12倍推理加速取得与SOTA相当的性能,弥合了深度表示学习与低延迟应用间的差距。
2024-11-07 cs.LG cs.SI
Deep Learning for Learning Graph Representations
Tsinghua University(清华大学)
近年来,随着网络数据量的不断增加,图数据挖掘已经成为计算机科学的一个热门研究课题,并在学术界和工业界得到了广泛的研究。然而,庞大的网络数据量给高效的分析带来了巨大的挑战。图表示将图映射到一个低维的向量空间,保持原始的图结构,并支持图推理。对图的有效表示的研究具有深刻的理论意义和重要的现实意义,因此本章介绍了图表示/网络嵌入的一些基本思想和一些代表性的模型。
2020-01-02 cs.IR cs.LG cs.SI
Deep Graph Similarity Learning: A Survey
Intel Labs, Intel Corporation(英特尔公司英特尔实验室);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
在许多数据表示为图的领域中,学习图之间的相似性度量被认为是一个关键问题,这可以进一步促进各种学习任务,例如分类,聚类和相似性搜索。最近,人们对深度图相似性学习的兴趣越来越大,其中的关键思想是学习一个深度学习模型,该模型将输入图映射到目标空间,使得目标空间中的距离近似于输入空间中的结构距离。在这里,我们对深度图相似性学习的现有文献进行了全面的回顾。我们提出了一个系统的分类方法和应用。最后,我们讨论了这个问题的挑战和未来的发展方向。
2020-10-04 cs.LG stat.ML
Scalable Deep Generative Modeling for Sparse Graphs
Google Research(谷歌研究院);DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务,并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而,当前的深度神经方法具有有限的可扩展性:对于具有$n$节点和$m$边的图,现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面,许多现实世界的图实际上是稀疏的,在这个意义上,$m\ll n^2$。在此基础上,我们开发了一种新的自回归模型,命名为BiGG,利用这种稀疏性,以避免生成完整的邻接矩阵,并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外,在训练期间,该自回归模型可以与$O(\log n)$同步阶段并行化,这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明,所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级,而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
Disentangled Dynamic Graph Deep Generation
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);George Mason University(乔治梅森大学)
图的深度生成模型在不断增加的领域中表现出有前途的性能,例如分子设计(即原子图)和蛋白质结构预测(即,氨基酸图)。现有的工作通常集中在静态而不是动态图,这实际上是非常重要的应用,如蛋白质折叠,分子反应,和人类的流动性。将现有的深度生成模型从静态扩展到动态图是一项具有挑战性的任务,这需要处理静态和动态特征的分解以及节点和边模式之间的相互作用。在这里,本文提出了一个新的框架的因式分解的深度生成模型,以实现可解释的动态图生成。提出了各种生成模型来表征节点、边、静态和动态因素之间的条件独立性。然后,变分优化策略以及动态图解码器提出了新设计的因式分解变分自编码器和递归图解卷积的基础上。在多个数据集上的实验证明了该模型的有效性。
2021-01-20 cs.LG cs.SI
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Interferometric Graph Transform: a Deep Unsupervised Graph Representation
CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室)
我们提出了干涉图变换(IGT),这是一类新的用于构建图表示的深度无监督图卷积神经网络。我们的第一个贡献是提出了一个通用的,复值谱图架构从广义的欧几里德傅立叶变换。我们表明,我们的学习表示包括歧视性和不变的功能,由于一个新的贪婪凹目标。从我们的实验中,我们得出结论,我们的学习过程利用了谱域的拓扑结构,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的分析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10),社区发现(作者身份,Facebook图)和3D骨架视频(SBU,NTU)的动作识别,展示了光谱图无监督设置的新的最先进技术。
2020-06-10 cs.LG stat.ML
A Unified Deep Learning Formalism For Processing Graph Signals
IMT Atlantique(大西洋国立高等矿业电信学院);MILA(蒙特利尔学习算法研究所)
卷积神经网络在处理定义在离散欧几里德空间上的信号(例如图像)时非常有效。然而,由于它们不能用于定义在任意图上的信号,因此出现了其他模型,旨在扩展其属性。我们建议回顾一些主要的深度学习模型,旨在利用信号的底层图形结构。我们用统一的形式主义来表达它们,给它们一种新的和比较性的解读。
2019-05-01 cs.LG stat.ML
Deep Graph Matching via Blackbox Differentiation of Combinatorial Solvers
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Università degli Studi di Firenze(佛罗伦萨大学)
该研究提出一种嵌入未修改组合求解器的端到端可训练深度图匹配架构,结合优化求解器与架构改进刷新了关键点对应基准的SOTA,还指出了该架构的多项优势并提出两种新的实验设置。
2020-08-05 cs.LG stat.ML
DeepVir -- Graphical Deep Matrix Factorization for "In Silico" Antiviral Repositioning: Application to COVID-19
IIIT - Delhi(德里印度理工学院);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);Univ. Paris Saclay(巴黎萨克雷大学)
这项工作制定了抗病毒重新定位作为一个矩阵完成的问题,其中抗病毒药物是沿行和病毒沿列。输入矩阵是部分填充的,在已知抗病毒药物对病毒有效的位置上有一个。抗病毒药物(化学结构和途径)和病毒(基因组结构和症状)的策划元数据被编码到我们的矩阵完成框架中,作为图拉普拉斯正则化。然后,我们将由此产生的多图正则化矩阵完成问题框架为深度矩阵分解。这是通过使用一种新的优化方法,称为HyPALM(混合近端交替线性化最小化)。我们策划的RNA药物病毒关联(DVA)数据集的结果表明,所提出的方法优于最先进的图正则化矩阵完成技术。当应用于COVID-19抗病毒药物的“计算机模拟”预测时,我们的方法返回用于治疗患者或正在进行相同试验的抗病毒药物。
2020-09-22 cs.LG stat.ML
Simple and Deep Graph Convolutional Networks
Renmin University of China(中国人民大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
图卷积网络(GCN)是用于图结构数据的强大深度学习方法。最近,GCN及其后续变体在现实世界数据集的各种应用领域中表现出卓越的性能。尽管它们取得了成功,但由于{ \em过度平滑}问题,目前的大多数GCN模型都是肤浅的。本文研究了深度图卷积网络的设计和分析问题。我们提出了GCNII,香草GCN模型的扩展与两个简单而有效的技术:{ \em初始残差}和{ \em身份映射}。我们提供的理论和经验证据表明,这两种技术有效地缓解了过度平滑的问题。我们的实验表明,深度GCNII模型在各种半监督和全监督任务上的性能优于最先进的方法。代码可在https://github.com/chennnM/GCNII上获得。
2020-07-04 cs.LG stat.ML
Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering
University of California, Davis(加州大学戴维斯分校);Amazon(亚马逊)
在本文中,我们考虑推荐系统的边信息的形式图。现有的协同过滤算法主要利用直接的邻域信息,并有很难利用超过1-2跳的更深的邻域。利用更深层次的图形信息的主要警告是,当合并来自这些邻域的信息时,时间和空间复杂度快速增长。在本文中,我们提出了使用图DNA,一种新的深度邻域感知图编码算法,用于开发更深层次的邻域信息。DNA编码使用布隆过滤器(一种空间高效的概率数据结构)在线性时间内计算近似的深度邻域信息,并导致图中节点数量为对数的每节点编码。它可以与基于特征和基于图正则化的协同过滤算法结合使用。与直接使用高阶图信息相比,图DNA具有内存和时间效率高的优点,并提供额外的正则化。我们在真实世界的数据集上进行了实验,表明图DNA可以很容易地与4种流行的协同过滤算法一起使用,并始终导致性能提升,而计算和内存开销很少。
2019-05-29 cs.AI cs.LG stat.ML
A Survey on Deep Graph Generation: Methods and Applications
UCLA(加州大学洛杉矶分校);Cornell(康奈尔大学);Tufts(塔夫茨大学);EPFL(洛桑联邦理工学院);CASIA(中国科学院自动化研究所)
在许多领域中,图在编码现实世界对象的关系信息中是普遍存在的。由于深度学习模型的最新进展,图生成的目的是从与观察到的图类似的分布生成新的图,因此图生成受到越来越多的关注。本文从各种新兴的深度图生成方法到其广泛的应用领域,对现有的深度图生成文献进行了全面的综述。具体来说,我们首先阐述了深度图生成的问题,并讨论了它与几个相关的图学习任务的区别。其次,我们根据模型结构将现有的方法分为三类,并总结了它们的生成策略。第三,我们介绍了深度图生成的三个关键应用领域。最后,我们强调了未来深度图生成研究中的挑战和机遇。我们希望我们的调查将是有用的研究人员和从业者谁是在这个令人兴奋的和快速发展的领域感兴趣。
2022-12-07 cs.LG cs.SI q-bio.MN
GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models
Stanford University(斯坦福大学);University of Southern California(南加州大学)
建模和生成图是研究生物学、工程学和社会科学中网络的基础。然而,由于图的非唯一、高维性质以及给定图中边之间存在的复杂、非局部依赖性,对图上的复杂分布进行建模然后从这些分布中有效地采样是具有挑战性的。在这里,我们提出了GraphRNN,这是一种深度自回归模型,可以解决上述挑战,并以最小的结构假设来近似任何图的分布。GraphRNN通过在一组有代表性的图上进行训练来学习生成图,并将图生成过程分解为一系列节点和边的形成,条件是到目前为止生成的图结构。为了定量评估GraphRNN的性能,我们引入了一套基准数据集,基线和基于最大平均离散度的新评估指标,这些指标可以测量各组图之间的距离。我们的实验表明,GraphRNN显著优于所有基线,学习生成与目标集的结构特征相匹配的各种图,同时还可以扩展到比以前的深度模型大50倍的图。
2018-06-23 cs.AI cs.LG cs.SI
Deep Graphs
Carnegie Mellon University(卡内基梅隆大学);AWS Machine Learning(AWS机器学习);Amazon(亚马逊)
我们提出了一种在网络和图上进行深度学习的算法。它依赖于许多图算法的概念,如PageRank,Weisfeiler-Lehman或Message Passing可以表示为迭代顶点更新。与依赖于设计者的独创性的先前方法不同,深度图自适应于估计问题。训练和部署都是有效的,因为成本是$O(|E| + |V|)$,其中$E$和$V$分别是边和顶点的集合。简而言之,我们学习循环更新函数,而不是设定它们的特定函数形式。这产生了一个算法,在图标记和回归任务上都实现了出色的准确性。
2018-06-04 cs.AI cs.LG stat.ML
Adversarial Examples on Graph Data: Deep Insights into Attack and Defense
University of New South Wales(新南威尔士大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);National University of Defense Technology(国防科技大学)
图深度学习模型,如图卷积网络(GCN),在图数据上的任务中实现了卓越的性能。与其他类型的深度模型类似,图深度学习模型经常遭受对抗攻击。然而,与非图数据相比,图数据的离散特征、图之间的连接以及不可感知扰动的不同定义,给图数据的对抗攻击和防御带来了独特的挑战和机遇。在本文中,我们提出了攻击和防御技术。对于攻击,我们表明,离散性问题可以很容易地解决,通过引入积分梯度,可以准确地反映扰动某些功能或边缘的影响,同时仍然受益于并行计算。对于防御,我们观察到,针对目标攻击的敌对操纵图在统计上不同于正常图。基于这一观察,我们提出了一种防御方法,该方法检查图并恢复潜在的对抗性扰动。我们在一些数据集上的实验表明了所提出的方法的有效性。
2019-05-22 cs.CR cs.LG stat.ML
Deep Graph Translation
George Mason University(乔治梅森大学);IBM Research(IBM研究院)
受深度生成模型在生成连续数据(如图像和音频)方面的巨大成功的启发,近年来,很少有深度图生成模型被提出来生成离散数据(如图)。它们通常是无条件生成模型,对生成的图形的模式没有控制。因此,在本文中,我们感兴趣的是一个新的问题命名为\emph{Deep Graph Translation}:给定一个输入图,我们希望推断出一个目标图的基础上(包括全球和本地)的翻译映射。图转换在诸如灾难管理和罕见事件预测的许多应用中可能是非常期望的,其中罕见和异常图模式(例如,交通拥堵和恐怖主义事件)将在其发生之前被推断出(即使没有关于该图的异常模式的历史数据(例如,道路网络或人类接触网络)。为了实现这一点,我们提出了一种新的图形翻译-生成对抗网络(GT-GAN),它将生成一个从输入到目标图的图形翻译器。GT-GAN由一个图形转换器组成,我们提出了新的图形卷积和反卷积层来学习全局和局部转换映射。一个新的条件图分类器也被提出来通过对输入图进行条件化来对目标图进行分类。在多个合成数据集和真实数据集上的大量实验证明了所提出的GT-GAN的有效性和可扩展性。
2018-06-22 cs.AI cs.LG stat.ML
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing
University of Pisa(比萨大学)
我们介绍了上下文图马尔可夫模型,一种结合生成模型和神经网络的思想来处理图形数据的方法。它建立在一个建设性的方法,以建立一个深层次的架构,包括层的概率模型,学习以增量的方式编码的结构化信息。上下文以高效和可扩展的方式在图的顶点和边之间扩散。所得到的图形编码与判别模型结合使用,以解决结构分类基准。
2019-11-25 cs.AI cs.LG cs.NE
DeepDrawing: A Deep Learning Approach to Graph Drawing
Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
节点链接图被广泛用于促进网络探索。然而,当使用图形绘制技术来可视化网络时,用户通常需要通过比较相应的绘制结果来迭代地调整不同的算法特定参数,以便实现期望的视觉效果。这种尝试和错误的过程通常是乏味和耗时的,特别是对于非专家用户。受深度学习技术强大的数据建模和预测能力的启发,我们探索了将深度学习技术应用于图形绘制的可能性。具体来说,我们建议使用基于图的LSTM方法来直接将网络结构映射到图形。给定一组布局示例作为训练数据集,我们训练所提出的基于图的LSTM模型来捕获它们的布局特征。然后,训练好的模型用于为新网络生成类似风格的图形。我们在两种特殊类型的布局上评估了所提出的方法(即,网格布局和星形布局)和两种一般类型的布局(即,在定性和定量两方面都有不同的做法。结果为我们的方法的有效性提供了支持。我们还对20到50个节点的小图的绘制进行了时间成本评估。我们进一步报告了我们学到的教训,并讨论了局限性和未来的工作。
2019-10-09 cs.HC cs.LG cs.SI
Deep Learning for Visual Tracking: A Comprehensive Survey
Yazd University(亚兹德大学);University of Alberta(阿尔伯塔大学);Sharif University of Technology(谢里夫理工大学)
视觉目标跟踪是计算机视觉领域中最受欢迎也是最具挑战性的研究课题之一。鉴于问题的不适定性质及其在广泛的现实世界场景中的流行性,已经建立了一些大规模的基准数据集,近年来已经开发了大量的方法并取得了重大进展-主要是最近的基于深度学习(DL)的方法。本调查旨在系统地调查当前基于DL的视觉跟踪方法,基准数据集和评估指标。它还广泛地评估和分析了领先的视觉跟踪方法。首先,从网络体系结构、网络开发、视觉跟踪的网络训练、网络目标、网络输出、相关滤波器优势的开发、鸟瞰跟踪、长期跟踪和在线跟踪等九个关键方面总结了基于深度学习的方法的基本特征、主要动机和贡献。其次,比较了当前流行的视觉跟踪基准及其各自的性能,总结了它们的评价指标。第三,在OTB 2013,OTB 2015,VOT 2018,LaSOT,UAV 123,UAVDT和VisDrone 2019的一组成熟的基准上全面检查了最先进的基于DL的方法。最后,通过对这些最先进的跟踪器进行定量和定性的批判性分析,研究了它们在各种常见情况下的优缺点。它可以作为一个温和的使用指南,供从业者权衡何时以及在什么条件下选择哪种方法。它还促进了对正在进行的问题的讨论,并阐明了有前途的研究方向。
2021-01-26 cs.CV cs.LG eess.IV
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
DeepGAR: Deep Graph Learning for Analogical Reasoning
Emory University(埃默里大学);George Mason University(乔治梅森大学);Tianjin University(天津大学);NEC Labs America(NEC美国实验室)
类比推理是发现和映射从目标主题到基础主题的对应关系的过程。结构映射理论(SMT)是类比推理最著名的计算方法,它将目标和基础主题都抽象成关系图,通过寻找对应的子图(即,对应关系)。然而,将深度学习结合到SMT中仍然是探索不足的,这是由于以下几个障碍:1)在目标图中搜索对应关系的组合复杂性; 2)对应关系挖掘受到各种认知理论驱动的约束的限制。为了解决这两个挑战,我们提出了一种新的类比推理框架(DeepGAR),通过确保认知理论驱动的约束来识别源域和目标域之间的对应关系。具体来说,我们设计了一个几何约束嵌入空间,从节点嵌入中导出子图关系,以实现高效的子图搜索。此外,我们开发了新的学习和优化策略,可以端到端识别严格符合认知理论驱动的约束的对应关系。在合成和真实世界的数据集上进行了大量的实验,以证明所提出的DeepGAR对现有方法的有效性。
2022-11-19 cs.AI cs.LG cs.SI
Deep Learning with Dynamic Computation Graphs
Google Inc.(谷歌公司)
在图结构上进行计算的神经网络自然适合于各种领域的问题,包括自然语言(解析树)和化学信息学(分子图)。然而,由于计算图对于每个输入都具有不同的形状和大小,因此这种网络不直接支持批量训练或推理。它们也很难在流行的深度学习库中实现,这些库基于静态数据流图。我们引入了一种称为动态图形化的技术,它不仅将不同形状的不同输入图之间的操作批量化,而且还将单个输入图中的不同节点之间的操作批量化。该技术允许我们使用流行的库创建静态图,模拟任意形状和大小的动态计算图。我们进一步提出了一个高层次的组合块库,简化了动态图模型的创建。使用该库,我们展示了简洁和批量并行实现的各种型号的文献。
2017-02-22 cs.LG cs.NE stat.ML