Review of blockchain application with Graph Neural Networks, Graph Convolutional Networks and Convolutional Neural Networks
本文综述了GNN、GCN和CNN在区块链中的应用，分析其如何提升效率、安全性与可扩展性，并展望未来研究方向。
2024-10-01 cs.LG
An Introduction to Robust Graph Convolutional Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
图卷积神经网络（GCN）从低维正则图（例如，图像）到高维不规则图（例如，词嵌入上的文本文档）。由于不可避免的故障数据汇集仪器、欺骗性数据操作或其他系统错误，数据可能受到错误污染。即使是少量的误差，如噪声，也会损害GCN的能力，并在很大程度上使其不可接受。关键的挑战是如何在存在错误数据的情况下有效和高效地使用GCN。本文提出了一种新的鲁棒图卷积神经网络，用于处理可能出现错误的单视图或多视图数据，其中数据可能来自多个源。通过将一个额外的层，通过自动编码器到传统的图卷积网络，我们明确地描述和处理典型的错误模型。在各种真实数据集上的实验结果表明，该模型优于基线方法及其对不同类型错误的鲁棒性。
2021-03-27 cs.LG
Locality Preserving Dense Graph Convolutional Networks with Graph Context-Aware Node Representations
Xidian University（西安电子科技大学）；Swinburne University of Technology（斯威本科技大学）
图卷积网络（GCN）已被广泛用于对图数据的表示学习，其可以经由专门设计的卷积和读出操作来捕获图上的结构模式。在许多图分类应用中，基于GCN的方法优于传统方法。然而，大多数现有的GCN是低效的，以保持局部信息的图-一个限制，特别是图分类的问题。在这项工作中，我们提出了一个具有图上下文感知节点表示的保持局部性的稠密GCN。具体来说，我们提出的模型采用了一个本地节点特征重建模块，以保留初始节点特征到节点表示，这是通过一个简单但有效的编码器-解码器机制实现的。为了捕获代表不同局部范围的邻近区域中的局部结构模式，引入了密集连接性来连接每个卷积层及其相应的读出与所有之前的卷积层。为了增强节点的代表性，每个卷积层的输出与前一层的读出的输出连接，以形成全局上下文感知节点表示。此外，自注意模块被引入到聚合逐层表示，以形成最终的表示。在基准数据集上的实验表明，该模型在分类精度方面优于最先进的方法。
2020-10-12 cs.LG
Predicting Team Performance with Spatial Temporal Graph Convolutional Networks
University of Central Florida（中佛罗里达大学）
本文提出了一种新的方法来预测团队绩效的行为痕迹的一组代理。这个时空预测问题与体育分析挑战（如教练和对手建模）非常相关。我们证明，我们提出的模型，时空图卷积网络（ST-GCN），优于其他分类技术，在预测游戏分数从一小段球员的运动和游戏功能。我们提出的架构使用图卷积网络来捕获团队成员和门控递归单元之间的空间关系，以分析动态运动信息。一个烧蚀的评价进行了展示我们的架构的不同方面的贡献。
2022-06-21 cs.LG
Graph Convolutional Network For Semi-supervised Node Classification With Subgraph Sketching
School of Systems Science and Engineering（系统科学与工程学院）；Sun Yat-sen University（中山大学）；School of Mathematics（数学学院）
提出GLDGCN模型通过引入对偶卷积层和图学习层提升半监督节点分类准确率，并引入子图聚类和随机梯度下降设计CLustering GCN算法解决大图处理问题。
2024-04-25 cs.LG
A Survey on Graph Classification and Link Prediction based on GNN
School of Computer Science and Engineering（计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
本文综述了图卷积神经网络的基础，解析了基于注意力机制和自编码器的GNN模型，并总结了其在节点分类、图分类及链接预测任务中的应用与相关数据集。
2023-07-03 cs.LG
Learning Dynamic Graphs via Tensorized and Lightweight Graph Convolutional Networks
College of Computer and Information Science, Southwest University, Chongqing, China（计算机与信息科学学院，西南大学，重庆，中国）
针对传统动态图卷积网络解耦建模破坏时空依赖的问题，提出张量化轻量级图卷积网络（TLGCN），基于张量M-乘积联合传播时空信息并省略复杂变换，在四个数据集上权重估计任务优于现有模型。
2025-04-22 cs.LG
Relational Graph Convolutional Networks: A Closer Look
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文描述了关系图卷积网络（RGCN）的一个复制。使用我们的再现，我们解释了模型背后的直觉。我们的再现结果经验验证了我们的实现使用基准知识图谱数据集的节点分类和链接预测任务的正确性。我们的解释提供了一个友好的理解RGCN的不同组成部分的用户和研究人员扩展RGCN的方法。此外，我们介绍了两个新的配置的RGCN更参数有效。代码和数据集可在https://github.com/thiviyanT/torch-rgcn上获得。
2021-07-21 cs.LG
A Hyperbolic-to-Hyperbolic Graph Convolutional Network
Beijing Institute of Technology (BIT)（北京理工大学）
双曲图卷积网络（GCN）具有强大的表示能力，可以对具有层次结构的图进行建模。现有的双曲GCN借助于切空间来实现双曲流形上的图卷积，这是较差的，因为切空间只是流形的局部近似。在本文中，我们提出了一个双曲到双曲图卷积网络（H2 H-GCN），直接工作在双曲流形。具体来说，我们开发了一个流形保持图卷积，由双曲特征变换和双曲邻域聚合组成。双曲特征变换作为双曲流形上的线性变换。通过对变换子矩阵施加正交约束，保证变换后的节点表示仍位于双曲流形上。双曲邻域聚合通过爱因斯坦中点更新每个节点表示。H2 H-GCN避免了切空间近似引起的失真，保持了全局双曲结构。大量实验表明，H2 H-GCN在链接预测、节点分类和图分类任务上取得了实质性的改进。
2021-04-14 cs.LG
Graphon Pooling for Reducing Dimensionality of Signals and Convolutional Operators on Graphs
University of Pennsylvania（宾夕法尼亚大学）
本研究基于graphon理论提出三种图池化方法，实现图信号与卷积算子降维，证明其收敛性与谱结构继承性，实验显示在大降维比例下性能更优，且能减少过拟合、降低计算成本。
2023-08-23 cs.LG
A Deep Graph Wavelet Convolutional Neural Network for Semi-supervised Node Classification
Institute for Artificial Intelligence at Tsinghua University（清华大学人工智能研究院）；State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Center for Intelligent Connected Vehicles and Transportation（智能网联汽车与运输中心）；Department of Computer Science, Tsinghua University（清华大学计算机系）
图卷积神经网络为非欧数据的节点分类和其他任务提供了很好的解决方案。有几种图卷积模型试图开发深度网络，但同时不会导致严重的过度平滑。考虑到小波变换通常比傅立叶变换具有更强的提取有用信息的能力，我们提出了一种新的用于半监督节点分类任务的深度图小波卷积网络（DeepGWC）。在优化香草图小波神经网络静态滤波矩阵参数的基础上，结合傅立叶基和小波基，构造了DeepGWC，并在网络结构中重用了残差连接和单位映射。在Cora、Citeseer和Pubmed三个基准数据集上进行了广泛的实验。实验结果表明，我们的DeepGWC在额外小波基的帮助下优于现有的图深度模型，并最终实现了新的最先进的性能。
2021-02-19 cs.LG
Lookup subnet based Spatial Graph Convolutional neural Network
Northwest University（西北大学）
卷积神经网络（Convolutional Neural Networks，CNN）在欧氏结构数据上取得了显著的性能突破。近年来，基于聚集-变换的图神经网络（GNNs）在非欧数据上逐渐显示出强大的性能。在本文中，我们提出了一种基于互相关的图卷积方法，可以自然地将CNN推广到非欧几里德域，并继承CNN的优良特性，如局部滤波器，参数共享，灵活的感受野等，同时，它利用动态生成的卷积核和互相关算子来解决基于聚合变换或其近似的现有方法的缺点。我们的方法已经在三个已建立的图形基准中实现或匹配了流行的最先进的结果：Cora，Citeseer和Pubmed引文网络数据集。
2021-02-04 cs.LG
A Dynamic Temporal Self-attention Graph Convolutional Network for Traffic Prediction
实时的准确的交通预测在智能交通系统（ITS）和出行导航诱导中起着重要的作用。已经有许多尝试来预测短期交通状态，其考虑交通信息的空间和时间依赖性，诸如时间图卷积网络（T-GCN）模型和卷积长短期记忆（Conv-LSTM）模型。然而，现有的方法大多采用简单的0和1组成的邻接矩阵来捕捉空间依赖性，不能细致地描述城市道路网络拓扑结构及其随时间的动态变化规律。为了解决这一问题，提出了一种动态时间自注意力图卷积网络（DT-SGN）模型，该模型将相邻矩阵作为可训练的注意力得分矩阵，并根据不同的输入自适应调整网络参数。特别地，自注意力图卷积网络（SGN）被选择来捕获空间依赖性，并且动态门控递归单元（Dynamic-GRU）被选择来捕获时间依赖性并且学习输入数据的动态变化。实验表明，我们的方法优于国家的最先进的模型驱动模型和数据驱动模型在现实世界的交通数据集。
2023-02-21 cs.LG
CayleyNets: Graph Convolutional Neural Networks with Complex Rational Spectral Filters
Technische Universität Berlin（柏林工业大学）；Universitá della Svizzera italiana（瑞士意大利语区大学）；Nanyang Technological University（南洋理工大学）；Imperial College London（帝国理工学院）；Intel Perceptual Computing（英特尔感知计算部门）
图结构数据（如社交网络、监管网络、引用图和功能脑网络）的兴起，以及深度学习在各种应用中的巨大成功，使人们对将深度学习模型推广到非欧几里德领域产生了兴趣。在本文中，我们介绍了一种新的谱域卷积架构，用于图上的深度学习。我们模型的核心成分是一类新的参数有理复函数（Cayley多项式），可以有效地计算专门针对感兴趣频带的图上的频谱滤波器。我们的模型生成丰富的频谱滤波器，这些滤波器在空间中本地化，与稀疏连接图的输入数据的大小线性缩放，并且可以处理拉普拉斯算子的不同构造。大量的实验结果表明，我们的方法的优越性能，相比其他谱域卷积架构，光谱图像分类，社区发现，顶点分类和矩阵完成任务。
2018-10-31 cs.LG
Anisotropic Graph Convolutional Network for Semi-supervised Learning
Concordia Institute for Information Systems Engineering（康考迪亚大学信息系统工程研究所）；Concordia University（康考迪亚大学）
图卷积网络学习有效的节点嵌入，这些节点嵌入已被证明有助于在半监督学习任务（如节点分类）中实现高精度预测结果。然而，这些网络遭受图的过度平滑和收缩效应的问题，这在很大程度上是由于它们使用线性拉普拉斯流在图的边缘上扩散特征的事实。这种限制对于节点分类的任务尤其成问题，其中目标是预测与图节点相关联的标签。为了解决这个问题，我们提出了一个各向异性的图卷积网络的半监督节点分类，通过引入一个非线性函数，捕捉信息的功能，从节点，同时防止过度平滑。该框架的主要动机是各向异性扩散在图像和几何处理中的良好性能，并学习基于局部图结构和节点特征的非线性表示。在三个引文网络和两个图像数据集上证明了我们方法的有效性，与标准基线方法相比，实现了更好或相当的分类准确性结果。
2020-10-20 cs.LG
Beyond Low-pass Filtering: Graph Convolutional Networks with Automatic Filtering
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
图卷积网络对于从图结构数据进行深度学习变得不可或缺。现有的大多数图卷积网络都有两个大的缺点。首先，它们本质上是低通滤波器，因此忽略了图形信号的潜在有用的中高频带。其次，现有的图卷积滤波器的带宽是固定的。图卷积滤波器的参数仅变换图输入，而不改变图卷积滤波器函数的曲率。事实上，除非我们有专业的领域知识，否则我们不确定是否应该在某个点保留或切断频率。在本文中，我们提出了自动图卷积网络（AutoGCN），以捕捉全频谱的图信号和自动更新的带宽图卷积滤波器。虽然它是基于图谱理论，我们的AutoGCN也是本地化的空间，并具有空间形式。实验结果表明，AutoGCN实现了显着的改善基线方法，只作为低通滤波器。
2022-06-22 cs.AI cs.LG
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology（计算机科学与技术学院）
图卷积表示（GCR）在图数据表示方面取得了令人印象深刻的性能。然而，现有的GCR一般定义在输入固定图上，这可能会限制表示能力，并且容易受到结构攻击和噪声的影响。为了解决这个问题，我们提出了一种新的潜在图卷积表示（LatGCR），用于鲁棒的图数据表示和学习。我们的LatGCR的基础上，从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$，LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示，这明显提高了表示能力，并且对图结构攻击和噪声具有鲁棒性.此外，LatGCR是以自监督的方式实现的，因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
Progressive Graph Convolutional Networks for Semi-Supervised Node Classification
Aarhus University（奥胡斯大学）
图卷积网络已经成功地解决了基于图的任务，如半监督节点分类。现有的方法使用由用户定义的网络结构，基于实验，每层具有固定数量的层和神经元，并采用逐层传播规则来获得节点嵌入。设计一个自动过程来定义图卷积网络的问题相关架构可以极大地帮助减少在训练过程中手动设计模型结构的需要。在本文中，我们提出了一种方法来自动构建紧凑和特定任务的图卷积网络。在广泛使用的公开数据集上的实验结果表明，该方法在分类性能和网络紧凑性方面优于基于卷积图网络的相关方法。
2021-01-20 cs.LG stat.ML
EEG-based video identification using graph signal modeling and graph convolutional neural network
Yonsei University（延世大学）
本文提出了一种新的基于图信号的脑电深度学习方法及其在基于脑电的视频识别中的应用。我们提出了新的方法来有效地将EEG数据表示为图上的信号，并使用图卷积神经网络来学习它们。视频识别的实验结果表明，与现有的方法相比，所提出的方法的有效性，而观看视频时获得的脑电响应。文中还讨论了脑电信号图形化表示的有效方法。
2018-09-12 cs.LG eess.SP
Pooling in Graph Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
图卷积神经网络（GCNN）是深度学习技术对图结构数据问题的强大扩展。我们根据经验评估了GCNN的几种池化方法，以及这些图池化方法与三种不同架构的组合：GCN，TAGCN和GraphSAGE。我们证实，图池，特别是DiffPool，提高了流行的图分类数据集的分类准确性，并发现，平均而言，TAGCN实现了可比或更好的准确性比GCN和GraphSAGE，特别是对于具有较大和稀疏图结构的数据集。
2020-04-07 cs.LG eess.SP
Semi-Supervised Classification with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们提出了一种可扩展的方法，半监督学习的图形结构的数据，是基于一个有效的变种卷积神经网络，直接在图上操作。我们通过谱图卷积的局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边缘的数量上线性缩放，并学习对局部图结构和节点特征进行编码的隐藏层表示。在引文网络和知识图谱数据集上的大量实验中，我们证明了我们的方法明显优于相关方法。
2017-02-22 cs.LG stat.ML
Topology Adaptive Graph Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）
谱图卷积神经网络（CNN）需要对卷积进行近似以减轻计算复杂性，从而导致性能损失。提出了拓扑自适应图卷积网络（TAGCN），它是一种定义在顶点域的新型图卷积网络。我们提供了一种系统的方法来设计一组固定大小的可学习过滤器来对图进行卷积。这些滤波器的拓扑结构在它们扫描图以执行卷积时自适应于图的拓扑结构。TAGCN不仅继承了CNN中用于网格结构数据的卷积的属性，而且还与图形信号处理中定义的卷积一致。由于不需要卷积近似，TAGCN在许多数据集上表现出比现有谱CNN更好的性能，并且在计算上也比其他最近的方法更简单。
2018-02-11 cs.LG stat.ML
On Filter Size in Graph Convolutional Networks
University of Padova（帕多瓦大学）；University of Freiburg（弗赖堡大学）；University of Nottingham（诺丁汉大学）
近年来，关于图的神经网络的定义一直是众多研究者关注的焦点。这些方法中的许多方法的基本组成部分仍然是近十年前提出的图卷积思想。在本文中，我们扩展了这个基本组成部分，从多维张量上著名的卷积滤波器中得到的直觉。特别是，我们推导出一个简单，高效和有效的方法来引入一个超参数的图卷积，影响过滤器的大小，即它的感受野在所考虑的图。我们在真实世界图数据集上的实验结果表明，所提出的图卷积滤波器提高了深度图卷积网络的预测性能。
2018-11-23 cs.LG stat.ML
Convolutional Set Matching for Graph Similarity
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Purdue University（普渡大学）
我们引入GSimCNN（Graph Similarity Computation via卷积神经网络）来预测两个图之间的相似性得分。作为图相似性搜索的核心操作，成对图相似性计算是一个具有挑战性的问题，由于计算许多图的距离/相似性度量的NP-难性质。我们使用图编辑距离（GED）作为示例度量来演示我们的模型。在三个真实图数据集上的实验表明，我们的模型在图相似性搜索上达到了最先进的性能。
2018-11-13 cs.LG stat.ML
Tensor Graph Convolutional Network for Dynamic Graph Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chinese Academy of Sciences（中国科学院）；Southwest University（西南大学）
本文提出张量图卷积网络，通过张量形式表示动态图并利用张量积在单一卷积框架中同时建模时空特征，在真实数据集上取得了最先进性能。
2024-01-13 cs.AI cs.LG
Convolutional Kernel Networks for Graph-Structured Data
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Univ. Lyon（里昂大学）；Université Lyon 1（里昂第一大学）
我们介绍了一个家庭的多层图核，并建立新的联系图卷积神经网络和核方法。我们的方法将卷积核网络推广到图结构数据，通过将图表示为一系列内核特征映射，其中每个节点都携带有关局部图子结构的信息。一方面，内核的观点提供了一个无监督的，富有表现力的，易于正则化的数据表示，这是有用的，当有限的样本可用。另一方面，我们的模型也可以在大规模数据上进行端到端的训练，从而产生新型的图卷积神经网络。我们表明，我们的方法在几个图分类基准上实现了有竞争力的性能，同时提供了简单的模型解释。我们的代码可以在https://github.com/claying/GCKN上免费获得。
2020-06-29 cs.LG stat.ML
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图过程模拟了许多重要的问题，如识别地震震中或预测天气。在本文中，我们提出了一个图卷积递归神经网络（GCRNN）架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN，GCRNN的时间门控变体，类似于LSTM。在使用合成和真实数据的实验中，与GNN和另一种图递归架构相比，GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
Generalization bounds for graph convolutional neural networks via Rademacher complexity
Nanjing Audit University（南京审计大学）
研究了图卷积网络（GCN）的样本复杂度，给出了单隐层GCN模型的拉德马赫复杂度的严格上界.在正则条件下，这些复杂性界显式地依赖于图卷积滤波器的最大特征值和图的度分布。再次，我们提供了一个下界的拉德马赫复杂度的GCN显示我们推导的上限的最优性。以两个常用的例子为代表，讨论了我们的结果在设计图卷积滤波器和图分布中的意义。
2021-02-20 cs.LG stat.ML
Probabilistic and Regularized Graph Convolutional Networks
University of Cambridge（剑桥大学）
本文探讨了最近提出的图卷积网络架构（Kipf & Welling，2016），总结了他们工作的关键点，并再现了他们的结果。图正则化和替代图卷积方法进行了探讨。我发现显式图正则化被正确地拒绝了（Kipf & Welling，2016）。我试图提高GCN的性能近似k步转移矩阵的地方规范化的图形拉普拉斯算子，但我没有找到积极的结果。尽管如此，该GCN变体的几种配置的性能在Cora、Citeseer和Pubmed数据集上显示。
2018-03-12 cs.LG stat.ML
AEGCN: An Autoencoder-Constrained Graph Convolutional Network
Peking University（北京大学）；University of Chicago（芝加哥大学）；National Computer Network Emergency Response Technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
我们提出了一种新的神经网络架构，称为自动编码器约束的图卷积网络，解决图域上的节点分类任务。正如其名称所示，该模型的核心是一个直接在图上操作的卷积网络，其隐藏层受到自动编码器的约束。与普通图卷积网络相比，增加了自编码步骤，减少了拉普拉斯平滑带来的信息损失。我们考虑将我们的模型应用于同质图和异质图。对于齐次图，自编码器采用隐层表示作为编码器，另一个单层图卷积网络作为解码器，逼近输入图的邻接矩阵。对于异构图，由于存在对应于不同类型的边的多个邻接矩阵，因此自动编码器替代地近似输入图的特征矩阵，并且将编码器改变为具有两层的特别设计的多通道预处理网络。在这两种情况下，在自动编码器近似中发生的误差进入损失函数中的惩罚项。在对引文网络和其他异构图的大量实验中，我们证明了添加自动编码器约束显著提高了图卷积网络的性能。此外，我们注意到，我们的技术也可以应用于图注意力网络，以提高性能。这揭示了所提出的自动编码器技术的广泛适用性。
2021-02-10 cs.LG stat.ML
Distance-Geometric Graph Convolutional Network (DG-GCN) for Three-Dimensional (3D) Graphs
IBM（国际商业机器公司）
距离几何图形表示采用统一的方案（距离）来表示三维（3D）图形的几何形状。它对图的旋转和平移是不变的，并且它反映了成对节点的相互作用及其通常的局部性质。为了便于在3D图的深度学习中引入几何，我们提出了一种基于距离几何图表示的消息传递图卷积网络：DG-GCN（距离几何图卷积网络）。它利用连续滤波器卷积层，以及滤波器生成网络，可以从距离中学习滤波器权重，从而将3D图形的几何形状纳入图形卷积中。我们对ESOL和FreeSolv数据集的结果显示，与标准图卷积相比，有了重大改进。他们也表现出显着的改善，采用边权重/边距离幂律的几何图卷积。我们的工作证明了DG-GCN在3D图（特别是分子图）上进行端到端深度学习的实用性和价值。
2021-03-22 cs.CV cs.LG
Spatial Graph Convolutional Networks
Jagiellonian University（雅盖隆大学）；University of Cambridge（剑桥大学）
图卷积网络（GCN）最近已成为从图结构数据中学习的主要选择，取代了表示化合物的哈希指纹。然而，GCN缺乏考虑节点邻居的排序的能力，即使存在基于其空间位置提供排序的图顶点的几何解释。为了解决这个问题，我们提出了空间图卷积网络（SGCN），它使用空间特征来有效地从自然位于空间中的图中学习。我们的贡献有三个方面：我们提出了一种GCN启发的体系结构，其（i）利用节点位置，（ii）是GCN和卷积神经网络（CNN）的适当推广，（iii）受益于增强，其进一步提高了性能并确保了关于期望属性的不变性。从经验上看，SGCN在图像分类和化学任务上优于最先进的基于图形的方法。
2020-07-02 cs.LG stat.ML
Processing of incomplete images by (graph) convolutional neural networks
Faculty of Mathematics
我们研究的问题，训练神经网络从不完整的图像，而不替换丢失的值。为此，我们首先将图像表示为图形，其中丢失的像素完全忽略。图形图像表示使用空间图形卷积网络（SGCN）--一种图卷积网络，其是对图像操作的经典CNN的适当推广来处理。一方面，我们的方法避免了缺失数据插补的问题，而另一方面，CNN和SGCN之间存在自然的对应关系。实验证实，我们的方法在典型的分类和重建任务中，在缺失值的填补上比类比CNN表现得更好。
2020-10-26 cs.CV cs.LG
Benchmark Tests of Convolutional Neural Network and Graph Convolutional Network on HorovodRunner Enabled Spark Clusters
eHealth, Inc.（eHealth公司）
分布式深度学习任务快速迭代的自由对于小公司从大型科技巨头那里获得竞争优势和市场份额至关重要。HorocompetRunner将这一过程带到相对容易获得的火花簇。然而，没有对Horovod Runner本身进行基准测试，也没有专门针对图卷积网络（GCN，以下简称）的基准测试，并且对Horovod（需要定制GPU集群的前身）进行的可扩展性基准测试非常有限。这是第一次，我们表明，对于基于卷积神经网络（CNN，以下简称CNN）的GPU和CPU集群上的任务，Databricks的HoroRounner实现了显著的扩展效率提升，但不是原始的GCN任务。我们还首次在HorocomputRunner中实现了Rectified Adam优化器。
2020-05-12 cs.DC cs.LG
Graph Convolutional Gaussian Processes
Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题，其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格，证明其通用性和有效性，相比现有的方法，尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Adaptive Graph Convolutional Neural Networks
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Tencent AI Lab（腾讯人工智能实验室）
图卷积神经网络（Graph CNN）是经典CNN的推广，用于处理分子数据，点云和社交网络等图形数据。图CNN中的当前过滤器是针对固定和共享图结构构建的。然而，对于大多数真实数据，图结构在大小和连通性方面都有所不同。本文提出了一种广义的、灵活的图CNN，它可以以任意图结构的数据作为输入。通过这种方式，在训练时为每个图数据学习任务驱动的自适应图。为了有效地学习图，提出了距离度量学习。在九个图结构数据集上的实验表明，该算法在收敛速度和预测精度上都有很好的性能改善。
2018-01-10 cs.LG stat.ML
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
EPFL（洛桑联邦理工学院）
在这项工作中，我们有兴趣将卷积神经网络（CNN）从低维规则网格（其中表示图像，视频和语音）推广到高维不规则域，如社交网络，大脑连接组或单词嵌入，由图形表示。我们在谱图论的背景下提出了一种CNN的公式，它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。重要的是，所提出的技术提供了与经典CNN相同的线性计算复杂性和恒定学习复杂性，同时对任何图形结构都是通用的。在MNIST和20NEWS上的实验证明了这种新颖的深度学习系统学习图上的局部、静态和组合特征的能力。
2017-02-05 cs.LG stat.ML
Poisson Kernel Avoiding Self-Smoothing in Graph Convolutional Networks
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）
图卷积网络（Graph Convolutional Network，GCN）是目前处理非欧数据的有效工具，如社会行为分析中的社交网络、化学领域的分子结构分析、基于卷积的动作识别等。图卷积核是GCN中提取节点特征的重要因素之一，对它的一些改进在理论和实验上都取得了很好的效果。然而，关于不同的数据类型和图结构如何影响这些内核的性能的研究有限。现有的方法大多采用自适应卷积核来处理给定的图结构，这仍然没有揭示其内在原因。本文从谱图的理论分析出发，研究了现有的图卷积核的性质。在考虑一些特定参数的设计数据集时，我们揭示了卷积核的自平滑现象。在此基础上，我们提出了泊松核，它可以避免自平滑，而无需训练任何自适应核。实验结果表明，我们的泊松核不仅在基准数据集上工作良好，最先进的方法工作良好，而且在合成数据集上也明显优于它们。
2020-02-25 cs.CV cs.LG
Structured Sequence Modeling with Graph Convolutional Recurrent Networks
EPFL（洛桑联邦理工学院）
本文介绍了图卷积递归网络（GCRN），这是一种能够预测结构化数据序列的深度学习模型。准确地说，GCRN是经典递归神经网络（RNN）对由任意图结构化的数据的推广。这样的结构化序列可以表示视频中的一系列帧、传感器网络上的时空测量、或用于自然语言建模的词汇图上的随机游动。该模型结合了图上的卷积神经网络（CNN）来识别空间结构，并结合了RNN来寻找动态模式。我们研究了GCRN的两种可能的架构，并将模型应用于两个实际问题：预测移动MNIST数据，并使用Penn Treebank数据集对自然语言进行建模。实验表明，同时利用图的空间和动态信息的数据可以提高精度和学习速度。
2016-12-22 cs.LG stat.ML
Graph Neural Networks with convolutional ARMA filters
Università della Svizzera Italiana（瑞士意大利语区大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；Politecnico di Milano（米兰理工大学）
流行的图神经网络基于多项式谱滤波器在图上实现卷积运算。在本文中，我们提出了一种受自回归移动平均（ARMA）滤波器启发的新型图卷积层，与多项式滤波器相比，它提供了更灵活的频率响应，对噪声更具鲁棒性，并且更好地捕获全局图结构。我们提出了一个图神经网络实现的ARMA滤波器的递归和分布式配方，获得一个卷积层，是有效的训练，本地化的节点空间，并可以转移到新的图形在测试时。我们进行了频谱分析，研究建议的ARMA层的过滤效果和报告实验的四个下游任务：半监督节点分类，图形信号分类，图形分类，图形回归。结果表明，所提出的ARMA层带来了显着的改善，图神经网络的基础上多项式滤波器。
2021-01-24 cs.LG stat.ML
Convolutional Graph-Tensor Net for Graph Data Completion
Columbia University（哥伦比亚大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
图形数据完成是一个根本性的重要问题，因为数据通常具有图形结构，例如，社交网络、推荐系统和物联网。我们考虑一个图，其中每个节点都有一个数据矩阵，表示为一个\textit{graph-tensor}通过堆叠的数据矩阵在第三个维度。在本文中，我们提出了一个\textit{Convolutional Graph-Tensor Net}（\textit{Conv GT-Net}）的图数据完成问题，它使用深度神经网络学习的一般变换的图张量。在ego-Facebook数据集上的实验结果表明，与现有算法相比，本文提出的\textit{Conv GT-Net}在完成准确率（高出50%）和完成速度（快3.6倍$\sim$ 8.1倍）方面都取得了显着提高。
2023-03-02 cs.AI cs.LG
Learning Backtrackless Aligned-Spatial Graph Convolutional Networks for Graph Classification
Central University of Finance and Economics（中央财经大学）；Southern University of Science and Technology（南方科技大学）；University of York（约克大学）
在本文中，我们开发了一种新的无回溯对齐空间图卷积网络（BASGCN）模型来学习有效的图分类特征。我们的想法是将任意大小的图转换为固定大小的无回溯对齐网格结构，并定义一个新的空间图卷积操作与网格结构。我们表明，提出的BASGCN模型不仅减少了现有的基于空间的图卷积网络（GCN）模型中出现的信息丢失和不精确的信息表示的问题，但也弥合了传统的卷积神经网络（CNN）模型和基于空间的GCN模型之间的理论差距。此外，BASGCN模型能够在卷积过程中自适应地区分指定顶点之间的重要性，并减少现有基于空间的GCN与Weisfeiler-Lehman算法相关的臭名昭著的抖动问题，说明了该模型的有效性.在标准图数据集上的实验证明了该模型的有效性。
2019-11-17 cs.LG stat.ML
1-D Convolutional Graph Convolutional Networks for Fault Detection in Distributed Energy Systems
Clarkson University（克拉克森大学）；New York Power Authority（纽约电力局）；National Renewable Energy Research Laboratory（国家可再生能源研究实验室）
本文提出了一种用于微电网故障检测的一维卷积图神经网络。一维卷积神经网络（1D-CNN）和图卷积网络（GCN）的组合有助于从微电网中的电压测量中提取时空相关性。故障检测方案包括故障事件检测、故障类型和相态分类以及故障定位。有五个神经网络模型训练来处理这些任务。应用迁移学习和微调来减少培训工作。结合递归图卷积神经网络（1D-CGCN）相比，传统的人工神经网络结构上的波茨坦13总线微电网数据集。故障检测、故障类型分类、故障相位识别和故障定位的准确率分别为99.27%、98.1%、98.75%和95.6%。
2022-11-05 cs.LG cs.SY eess.SY
Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning
McGill University（麦吉尔大学）
图卷积神经网络（GCNN）已经成功地应用于许多不同的基于图的学习任务，包括节点和图分类、矩阵完成和节点嵌入的学习。尽管他们令人印象深刻的性能，技术有一个有限的能力，将不确定性的下划线图形结构。为了解决这个问题，最近提出了贝叶斯GCNN（BGCN）框架。在这个框架中，观察到的图被认为是一个随机实现的参数随机图模型和联合贝叶斯推理的图形和GCNN的权重进行。在本文中，我们提出了一个非参数生成模型的图形，并将其纳入BGCN框架。除了观察到的图，我们的方法有效地使用节点的功能和训练标签在后验推理的图，并达到卓越的或可比的性能在基准节点分类任务。
2019-10-26 cs.LG stat.ML
MGC: A Complex-Valued Graph Convolutional Network for Directed Graphs
National Central University（国立中央大学）；Auburn University（奥本大学）
图神经网络的最新进展使图表示学习具有最先进的性能。然而，大多数现有的作品处理有向图的对称化，这会导致方向信息的损失。为了解决这个问题，我们引入了磁拉普拉斯算子，这是一种具有磁场的离散薛定谔算子，它通过将其编码为具有电荷参数的复相位来保持边缘方向性。通过采用PageRank的截断变体Linear-Rank，我们设计并构建了一个同质图的低通滤波器和一个异质图的高通滤波器。在这项工作中，我们提出了一个复值图卷积网络称为磁图卷积网络（MGC）。通过相应的复值技术，我们保证了当电荷参数取特定值时，我们的模型将退化为实值。我们在几个图数据集上测试了我们的模型，包括有向同构图和异构图。实验结果表明，MGC是快速，功能强大，广泛适用。
2022-02-03 cs.LG eess.SP
DNA-GCN: Graph convolutional networks for predicting DNA-protein binding
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Damo Academy（达摩院）
预测DNA-蛋白质结合是生物信息学中的一个重要而经典的问题。卷积神经网络在模拟DNA-蛋白质结合的序列特异性方面优于传统方法。然而，没有一项研究利用图卷积网络进行模体推理。在这项工作中，我们建议使用图卷积网络进行主题推理。我们基于k-mer共现和k-mer序列关系构建整个数据集的序列k-mer图，然后学习整个数据集的DNA图卷积网络（DNA-GCN）。我们的DNA-GCN初始化为所有节点的one-hot表示，然后它联合学习k-mers和序列的嵌入，由序列的已知标签监督。我们在ENCODE的50个数据集上评估了我们的模型。DNA-GCN与基线模型相比显示出其竞争性性能。此外，我们分析了我们的模型，并设计了几种不同的架构，以帮助适应不同的数据集。
2021-06-02 cs.LG q-bio.GN
Higher-order Graph Convolutional Networks
Worcester Polytechnic Institute（伍斯特理工学院）；Adobe Research（奥多比研究院）
随着深度卷积网络在各种视觉和语音相关任务中的成功，研究人员已经开始研究这种众所周知的图形结构数据技术的推广。最近提出的一种称为图卷积网络的方法已经能够在节点分类任务中实现最先进的结果。然而，由于所提出的方法依赖于谱图卷积的局部一阶近似，因此无法捕获图中节点之间的高阶交互。在这项工作中，我们提出了一个基于图案的图形注意力模型，称为图案卷积网络（MCNs），它概括了过去的方法，通过使用加权多跳图案邻接矩阵来捕获高阶邻域。一种新的注意力机制被用来允许每个单独的节点选择最相关的邻域应用其过滤器。实验表明，我们提出的方法是能够实现国家的最先进的结果上的半监督节点分类任务。
2018-09-12 cs.LG cs.SI
Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs
Chemnitz University of Technologies（开姆尼茨工业大学）
图卷积网络（GCN）已被证明是基于图的数据集上的半监督分类的成功工具。我们提出了一个新的GCN变体，其三部分过滤器空间是针对稠密图。示例包括用于3D点云的高斯图，其增加了对非局部信息的关注，以及基于分类数据的超图。这些图不同于常见的稀疏基准图，因为它们的图拉普拉斯算子的谱性质。最值得注意的是，我们观察到大的本征间隙，这是不利的流行现有的GCN架构。我们的方法通过利用拉普拉斯算子的伪逆来克服这些问题。另一个关键因素是卷积矩阵的低秩近似，确保计算效率并同时提高精度。我们概述了如何在每个应用程序中有效地计算必要的本征信息，并讨论了适当的选择的唯一元参数，近似秩。最后，我们展示了我们的方法的性能，在各种实验与真实世界的数据集的运行时间和准确性。
2021-01-28 cs.LG stat.ML
Fisher-Bures Adversary Graph Convolutional Networks
CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；Australia National University（澳大利亚国立大学）
在图卷积网络中，我们假设图$G$是由一些观察噪声生成的。在学习过程中，我们对图进行小的随机扰动$ΔG$，并试图提高泛化能力。基于量子信息几何，$ΔG$可以通过图拉普拉斯矩阵的特征分解来表征。我们试图使扰动$G+Δ{G}$的损失最小化，同时使$Δ{G}$根据神经网络的Fisher信息是有效的。我们提出的模型可以持续改进图卷积网络的半监督节点分类任务，合理的计算开销。我们提出了三种不同的几何图形的流形上：内在的几何测量的信息理论动态的图;外在的几何特征，这样的动态可以影响外部的图神经网络;嵌入几何是用于测量节点嵌入。这些新的分析工具有助于更好地理解图神经网络和培养新技术。
2019-06-30 cs.LG stat.ML
Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labels
Peking University（北京大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院北京分院）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
图卷积网络（Graph Convolutional Network，GCN）在图学习中发挥着重要作用，但在监督信号较少的情况下学习图嵌入仍然是一个难题。本文结合自监督学习方法，提出了一种新的图卷积网络训练算法--多阶段自监督（M3 S）训练算法，旨在提高GCN在标记节点较少的图上的泛化性能。首先，提出了一个多阶段训练框架，作为M3 S训练方法的基础。然后，我们利用DeepCluster技术，一种流行的自监督学习形式，并在嵌入空间上设计相应的对齐机制来细化多阶段训练框架，从而产生M3 S训练算法。最后，大量的实验结果验证了我们的算法的优越性能与其他国家的最先进的方法相比，在不同的标签率下的图与少数标记的节点。
2020-02-20 cs.LG stat.ML
Function Space Pooling For Graph Convolutional Networks
Cardiff University（卡迪夫大学）
图神经网络中的卷积层是输出每个图顶点的表示或嵌入的基本类型的层。该表示通常编码关于所讨论的顶点及其邻域的信息。如果希望执行以图形为中心的任务，例如图形分类，则必须将这组顶点表示集成或汇集以形成图形表示。在本文中，我们提出了一种新颖的池化方法，该方法将一组顶点表示映射到函数空间表示。该方法与现有的池化方法不同，现有的池化方法执行到向量或序列空间的映射。实验结果表明，该方法一般优于大多数基线池方法，并在某些情况下达到最佳性能。
2020-08-25 cs.LG stat.ML
Learning Convolutional Neural Networks for Graphs
NEC Labs Europe（NEC欧洲实验室）
许多重要的问题可以被定义为从图形数据中学习。我们提出了一个学习任意图的卷积神经网络的框架。这些图可以是无向的、有向的，并且具有离散和连续的节点和边属性。类似于对输入的局部连接区域进行操作的基于图像的卷积网络，我们提出了一种从图中提取局部连接区域的通用方法。使用已建立的基准数据集，我们证明了学习的特征表示与最先进的图形内核具有竞争力，并且它们的计算效率很高。
2016-06-08 cs.AI cs.LG stat.ML
Graph Convolutional Networks for Classification with a Structured Label Space
Bombora Inc.（Bombora公司）；New York University（纽约大学）
在多类分类中，通常忽略类的结构信息。在本文中，我们提出了一个图卷积网络（GCN）增强神经网络分类器，利用一个已知的，底层的图形结构的标签。所提出的方法类似于（近似）推理过程，例如，条件随机场（CRF）。我们评估所提出的方法对文件分类和对象识别和报告的准确性和图论指标，对应于模型的预测的一致性。实验结果表明，所提出的模型优于基线方法，忽略了图形结构的标签空间的图论度量。
2018-02-22 cs.LG stat.ML
Dynamic Graph Convolutional Networks
Waynaut（Waynaut公司）
许多不同的分类任务需要管理结构化数据，这些数据通常被建模为图。此外，这些图可以是动态的，这意味着每个图的顶点/边可以随时间变化。我们的目标是通过使用一个神经网络模型来联合利用结构化数据和时态信息。据我们所知，这个任务还没有使用这些类型的架构来解决。为此，我们提出了两种新的方法，结合长短期记忆网络和图卷积网络学习长短期依赖与图结构。我们的方法的质量得到了令人鼓舞的结果的证实。
2017-04-20 cs.LG stat.ML
