3D Dense Face Alignment with Fused Features by Aggregating CNNs and GCNs
University of Liverpool（利物浦大学）；Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；China Science IntelliCloud Technology Co., Ltd.（中国科学智能云科技有限公司）；Remark AI UK Limited（Remark AI英国有限公司）
在本文中，我们提出了一种新的多级聚合网络，以端到端的方式从单个2D图像中回归3D人脸的顶点坐标。这是通过将标准卷积神经网络（CNN）与图卷积网络（GCN）无缝结合来实现的。通过迭代和分层融合CNN和GCN的不同层和阶段的特征，我们的方法可以同时提供密集的人脸对齐和3D人脸重建，以利于3D人脸网格的直接特征学习。在几个具有挑战性的数据集上的实验表明，我们的方法在2D和3D人脸对齐任务上的性能优于最先进的方法。
2022-03-09 cs.CV
Skeleton-based Hand-Gesture Recognition with Lightweight Graph Convolutional Networks
CNRS Sorbonne University（法国国家科学研究中心索邦大学）
图卷积网络（GCN）旨在将深度学习扩展到任意不规则域，即图。它们的成功高度依赖于输入图的拓扑结构是如何定义的，并且大多数现有的GCN架构依赖于预定义的或手工制作的图结构。在本文中，我们介绍了一种新的方法，学习输入图的拓扑结构（或连通性）作为GCN设计的一部分。我们的方法的主要贡献在于建立一个正交连接基础，最佳地聚合节点，通过他们的邻居，实现卷积之前。我们的方法还考虑了一个随机性标准，它作为一个正则化器，使学习的基础和底层的GCN轻量级，同时仍然是非常有效的。实验上进行的具有挑战性的任务，基于手势识别的GCN的学习w.r.t.的高效率。相关的工作。
2021-12-27 cs.CV
GCNNMatch: Graph Convolutional Neural Networks for Multi-Object Tracking via Sinkhorn Normalization
Virginia Tech（弗吉尼亚理工大学）
提出了一种基于图卷积神经网络（GCNN）的多目标跟踪新方法，该方法基于特征提取和端到端特征匹配进行目标关联。基于图的方法将过去帧以及当前帧中对象的外观和几何形状都纳入特征学习任务中。这种新的范例使网络能够利用对象几何形状的“上下文”信息，并允许我们对多个对象的特征之间的交互进行建模。我们提出的框架的另一个核心创新是使用Sinkhorn算法在模型训练期间对对象之间的关联进行端到端学习。该网络被训练为通过考虑特定于MOT任务的约束来预测对象关联。实验结果表明，所提出的方法在最先进的在线方法中，在MOT '15，' 16，'17和' 20挑战中实现最佳性能的有效性。该代码可在www.example.com上获得。
2021-04-16 cs.CV
Interaction-GCN: A Graph Convolutional Network based framework for social interaction recognition in egocentric videos
University of Perugia（佩鲁贾大学）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人与工业信息研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
在本文中，我们提出了一个新的框架来分类社会互动的自我中心的视频，我们命名为InteractionGCN。我们的方法提取模式的关系和非关系线索在帧级，并使用它们来建立一个关系图，从该关系图中的帧级的international上下文估计通过一个图卷积网络为基础的方法。然后，它通过门控递归单元架构随时间传播此上下文以及第一人称运动信息。消融研究和实验评估两个公开的数据集验证所提出的方法，并建立最先进的结果。
2021-06-08 cs.CV
Equivariance-bridged SO(2)-Invariant Representation Learning using Graph Convolutional Network
训练卷积神经网络（CNN）对旋转具有鲁棒性主要是通过数据增强来完成的。在本文中，另一个渐进的研究方向的愿景是强调鼓励通过实现网络的结构旋转不变性，以减少对数据增强的依赖。提出了深度等方差桥接SO（2）不变网络来回应这种愿景。首先，自加权最近邻图卷积网络（SWN-GCN）被提出来实现图卷积网络（GCN）的图像的图表示，以获得旋转等变表示，因为GCN是更适合于构建更深的网络比基于谱图卷积的方法。然后，不变表示最终获得与全球平均池（GAP），一个置换不变的操作，适合聚合高维表示，在从SWN-GCN检索的顶点的等变集。我们的方法在旋转的MNIST和CIFAR-10图像上实现了最先进的图像分类性能，其中模型仅使用非增强数据集进行训练。对表示不变性的定量验证也证明了SWN-GCN在旋转上的深度表示的强不变性。
2021-10-21 cs.CV
Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition
Hikvision Research Institute（海康威视研究院）；College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
图卷积网络（GCN）在基于图的动作识别中引起了越来越多的关注。其关键在于图结构的设计，它对骨架拓扑信息进行编码。在本文中，我们提出了动态GCN，其中一个新的卷积神经网络命名为上下文编码网络（CeN）的自动学习骨架拓扑结构。特别地，当学习两个关节之间的依赖性时，来自其余关节的上下文特征以全局方式并入。CeN非常轻量级但有效，可以嵌入到图卷积层中。通过堆叠多个支持CEN的图卷积层，我们构建了动态GCN。值得注意的是，作为Ceon的优点，动态图拓扑结构是针对不同的输入样本以及各种深度的图卷积层构建的。此外，三个可选的上下文建模架构进行了很好的探索，这可能是未来的研究图拓扑学习的指导方针。CeN仅为基线模型带来约7%的额外FLOP，而动态GCN实现了更好的性能，与现有方法相比，$2\times$的FLOP少了$4\times$。通过进一步结合静态物理身体连接和运动模态，我们在三个大规模基准测试中实现了最先进的性能，即NTU-RGB+D，NTU-RGB+D 120和Atrieton-Kinetics。
2020-07-29 cs.CV
DMS-GCN: Dynamic Mutiscale Spatiotemporal Graph Convolutional Networks for Human Motion Prediction
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
人体运动预测在计算机视觉的许多应用领域都是一个重要而又具有挑战性的课题。最近的工作集中在利用递归神经网络（RNN）的时序处理能力，以实现短期预测的平滑和可靠的结果。然而，正如以前的工作所证明的那样，RNN遭受错误积累，导致不可靠的结果。在本文中，我们提出了一个简单的前馈深度神经网络的运动预测，它考虑到时间平滑性和人体关节之间的空间依赖性。我们设计了一个多尺度时空图卷积网络（GCN）来隐式地建立人体运动过程中的时空依赖性，其中不同尺度在训练过程中动态融合。整个模型适用于所有动作，遵循编码器-解码器的框架。该编码器由时间GCN捕获帧之间的运动特征和半自主学习的空间GCN提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN），以保持其广泛的能力。大量的实验表明，我们的方法优于SOTA方法的数据集上的Human3.6M和CMU Mocap，而只需要少得多的参数。代码将在https://github.com/yzg9353/DMSGCN上提供。
2021-12-20 cs.CV
GFT-GCN: Privacy-Preserving 3D Face Mesh Recognition with Spectral Diffusion
The Graduate University for Advanced Studies, SOKENDAI（高级研究大学，SOKENDAI）；National Institute of Informatics, NII（信息研究所）；The University of Tokyo（东京大学）
GFT-GCN通过结合谱图学习与扩散机制，实现隐私保护的3D人脸识别，兼顾高准确性和防攻击能力。
2025-11-26 cs.CV
Graph Convolutional Networks for Hyperspectral Image Classification
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Xi’an Jiaotong University（西安交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Extremadura（埃斯特雷马杜拉大学）
要阅读最终版本，请访问IEEE Xplore上的IEEE TGRS。卷积神经网络（CNN）由于其能够捕获空间-光谱特征表示的能力，在高光谱（HS）图像分类中受到越来越多的关注。然而，他们在样本之间的关系建模的能力仍然有限。除了网格采样的局限性，图卷积网络（GCN）最近已被提出并成功地应用于不规则（或非网格）数据表示和分析。在本文中，我们彻底研究了CNN和GCN（定性和定量）的HS图像分类。传统的GCN算法需要在所有数据上构造邻接矩阵，计算量大，特别是在大规模遥感问题中。为此，我们开发了一种新的小批量GCN（以下称为miniGCN），它允许以小批量的方式训练大规模的GCN。更重要的是，我们的miniGCN能够推断样本外数据，而无需重新训练网络并提高分类性能。此外，由于CNN和GCN可以提取不同类型的HS特征，因此打破单个模型性能瓶颈的直观解决方案是将它们融合。由于miniGCN可以执行批量网络训练（使CNN和GCN相结合），我们探索了三种融合策略：加法融合，逐元素乘法融合和级联融合，以衡量所获得的性能增益。在三个HS数据集上进行的大量实验证明了miniGCN相对于GCN的优势以及所测试的融合策略相对于单个CNN或GCN模型的优越性。为了便于再现，本工作的代码将在https://github.com/danfenghong/IEEE_TGRS_GCN上提供。
2021-01-15 cs.CV
Res-GCNN: A Lightweight Residual Graph Convolutional Neural Networks for Human Trajectory Forecasting
自动驾驶汽车（ADV）对解决交通拥堵问题和减少交通事故数量寄予厚望。精确的轨迹预测ADV周围的其他交通代理是至关重要的，以实现安全和高效的驾驶。特别是行人，由于其复杂的社会互动和随机移动模式，预测更具挑战性。本文提出了一种残差图卷积神经网络（Res-GCNN），它利用当前场景中所构造的图的邻接矩阵来模拟pedes-trians的交互行为。虽然所提出的Res-GCNN是非常轻量级的，只有大约6.4千个参数，在参数大小方面优于所有其他方法，但我们的实验结果显示，最终位移误差（FDE）比现有技术提高了13.3%，达到0.65米。至于平均位移误差（ADE），我们达到了次优的结果（值为0.37米），这也是非常有竞争力的。Res-GCNN在NVIDIA GeForce RTX1080Ti GPU平台上进行了评估，整个数据集的平均推理时间仅为2.2微秒。与其他方法相比，所提出的方法显示出强大的潜力，船上的应用占预测精度和时间效率。该代码将在GitHub上公开。
2020-11-18 cs.CV
Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai Jiao Tong University（上海交通大学）
近年来的研究多采用图卷积网络对标签依赖关系进行建模，以提高多标签图像识别的准确率。然而，通过计算训练数据的标签共现可能性来构建图可能会降低模型的泛化能力，特别是当测试图像中偶尔存在共现对象时。我们的目标是消除这种偏见，提高学习功能的鲁棒性。为此，我们提出了一个注意力驱动的动态图卷积网络（ADD-GCN），动态生成一个特定的图为每个图像。ADD-GCN采用动态图卷积网络（D-GCN）来建模由语义注意模块（SAM）生成的内容感知类别表示之间的关系。在公共多标签基准上的大量实验证明了我们方法的有效性，在MS-COCO，VOC 2007和VOC 2012上分别实现了85.2%，96.0%和95.5%的mAP，并且以明显的优势优于当前最先进的方法。所有代码都可以在https://github.com/Yejin0111/ADD-GCN上找到。
2020-12-05 cs.CV
REGINA - Reasoning Graph Convolutional Networks in Human Action Recognition
IT: Instituto de Telecomunicações（IT：电信研究所）；University of Beira Interior（贝拉内格罗大学）；NOVA LINCS（NOVA LINCS实验室）
众所周知，人体骨架的运动学揭示了在动作识别中有价值的信息。最近，已经报道了利用图卷积网络（GCN）将骨架建模为时空图，以稳固地推进最先进的性能。然而，基于GCN的方法只从原始骨架数据中学习，并期望自己提取固有的结构信息。本文介绍了REGINA，介绍了一种新的推理图卷积网络在人体动作识别中的应用。其基本原理是向GCN提供通过手工制作的特征获得的关于骨架数据的额外知识，以促进学习过程，同时保证它以端到端的方式保持完全可训练。挑战在于捕获连续帧之间动态的互补信息，这是由最先进的GCN技术提取的关键信息。此外，所提出的策略可以很容易地集成到现有的基于GCN的方法，我们也积极看待。我们的实验是在众所周知的动作识别数据集上进行的，并且能够得出结论，当将REGINA与其他基于GCN的方法结合时，REGINA有助于提高性能，而无需对原始方法进行任何其他调整。为了重现性，REGINA代码和进行的所有实验将在https://github.com/DegardinBruno上公开。
2021-05-14 cs.CV
S2RC-GCN: A Spatial-Spectral Reliable Contrastive Graph Convolutional Network for Complex Land Cover Classification Using Hyperspectral Images
School of Computer China University of Geosciences Wuhan, China；School of Geography；Information Engineering China University of Geosciences Wuhan, China；School of Management Wuhan University of Science
本文提出S2RC-GCN框架，融合1D/2D编码器提取的光谱-空间特征并引入可靠对比图卷积，在江夏高分五号复杂土地覆盖数据集上取得最佳分类性能。
2024-04-01 cs.CV
Relation Modeling with Graph Convolutional Networks for Facial Action Unit Detection
Tianjin University（天津大学）；JAIST（北陆先端科学技术大学院大学）
大多数考虑AU关系的现有AU检测工作依赖于具有手动提取特征的概率图模型。本文提出了一个端到端的深度学习框架，用于面部AU检测，使用图卷积网络（GCN）进行AU关系建模，这是以前没有探索过的。特别地，首先提取AU相关区域，通过自动编码器学习充满AU信息的潜在表示。此外，每个隐表示向量作为一个节点馈入GCN，GCN的连接模式是基于AU的关系来确定的。最后，通过GCN更新的组装特征被连接用于AU检测。在BP4D和DISFA基准测试上的大量实验表明，我们的框架显着优于最先进的面部AU检测方法。所提出的框架也通过一系列的消融研究进行了验证。
2019-10-23 cs.CV
Distilling Knowledge from Graph Convolutional Networks
Stevens Institute of Technology（史蒂文斯理工学院）；The University of Sydney（悉尼大学）；Zhejiang University（浙江大学）
现有的知识蒸馏方法集中在卷积神经网络（CNN）上，其中输入样本（如图像）位于网格域中，并且在很大程度上忽略了处理非网格数据的图卷积网络（GCN）。在本文中，我们提出了第一种专门的方法来从预训练的GCN模型中提取知识。为了使知识转移从教师GCN的学生，我们提出了一个本地结构保持模块，明确占教师的拓扑语义。在该模块中，教师和学生的局部结构信息被提取为分布，因此最小化这些分布之间的距离使教师能够进行拓扑感知的知识转移，从而产生紧凑而高性能的学生模型。此外，所提出的方法很容易扩展到动态图模型，其中教师和学生的输入图可能不同。我们使用不同架构的GCN模型在两个不同的数据集上对所提出的方法进行了评估，并证明了我们的方法在GCN模型上实现了最先进的知识蒸馏性能。代码可在https://github.com/ihollywhy/DistillGCN.PyTorch上公开获取。
2021-01-10 cs.CV
Towards Efficient Graph Convolutional Networks for Point Cloud Handling
Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）；National University of Singapore（新加坡国立大学）；KU Leuven（鲁汶大学）
在本文中，我们的目标是提高图卷积网络（GCN）的学习点云的计算效率。基本的图形卷积，通常是由一个$K$-最近邻（KNN）搜索和多层感知器（MLP）检查。通过数学分析那里的操作，得到两个发现，以提高效率的GCN。(1)3D表示的局部几何结构信息在GCN上平滑传播，GCN依赖于KNN搜索来收集邻域特征。这促进了GCN中多个KNN搜索的简化。(2)打乱图特征收集和MLP的顺序导致等效或类似的复合操作。基于这些发现，我们优化了GCN的计算过程。一系列实验表明，优化后的网络降低了计算复杂性，减少了内存消耗，加快了推理速度，同时保持了相当的点云学习精度。代码将在\url{https://github.com/ofsoundof/EfficientGCN.git}上提供。
2021-04-12 cs.CV
Self-supervised Training of Graph Convolutional Networks
Wuhan University（武汉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
图卷积网络（Graph Convolutional Network，GCN）已成功地应用于分析非网格数据，而经典的卷积神经网络（Convolutional Neural Network，CNN）不能直接用于这些数据。GCN和CNN的一个相似之处是需要大量的标记数据进行网络训练。此外，GCN需要邻接矩阵作为输入来定义非网格数据之间的关系，这导致所有的数据包括训练、验证和测试数据通常只形成一个图结构数据用于训练。此外，由于邻接矩阵通常是预先定义的，且是固定的，这使得数据增强策略不能应用于已构造的图结构数据，从而无法增加训练数据的数量。为了进一步提高有限训练数据下的学习能力和模型性能，本文提出了两种自监督学习策略，以利用输入图结构数据本身的可用信息。我们提出的自监督学习策略在两个有代表性的GCN模型上进行了检验，使用了三个公共引文网络数据集- Citeseer，Cora和Pubmed。实验结果表明，泛化能力以及我们提出的策略的可移植性，这可以显着提高GCN的性能与自监督学习在改善特征学习的力量。
2020-06-03 cs.CV
Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning
Sorbonne University（索邦大学）；UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）
本文提出概率幅值剪枝（PMP）方法，通过变分方式联合训练网络拓扑与权重，实现任意固定剪枝率并提升轻量级图卷积网络在高剪枝率下的泛化性能。
2023-05-30 cs.CV
Richly Activated Graph Convolutional Network for Action Recognition with Incomplete Skeletons
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
目前基于骨架的人体动作识别方法通常使用完全观察到的骨架。然而，在实际场景中，它很容易捕获不完整和噪声的骨架，这将恶化传统模型的性能。为了提高动作识别模型对不完整骨架的鲁棒性，提出了一种多流图卷积网络（GCN），用于探索分布在所有骨架关节上的足够的判别特征。在这里，网络的每个流只负责从当前未激活的关节中学习特征，这些特征由前一个流获得的类激活图（CAM）来区分，因此所提出的方法的激活关节明显多于传统方法。因此，所提出的方法被称为丰富激活的GCN（RA-GCN），其中丰富发现的特征将提高模型的鲁棒性。与最先进的方法相比，RA-GCN在NTU RGB+D数据集上实现了相当的性能。此外，在合成遮挡数据集上，RA-GCN可以显着减轻性能恶化。
2019-05-17 cs.CV
BB-GCN: A Bi-modal Bridged Graph Convolutional Network for Multi-label Chest X-Ray Recognition
Shandong University of Traditional Chinese Medicine（山东中医药大学）；Qingdao Academy of Chinese Medical Sciences（青岛中医药科学院）
多标签胸部X射线（CXR）识别涉及同时诊断和识别不同病理的多个标签。由于病理标签具有关于它们彼此关系的丰富信息，因此对病理标签之间的共现依赖性进行建模对于提高识别性能至关重要。然而，以前的方法依赖于状态变量编码和面向注意力机制来建模局部标签信息，并且缺乏对标签之间的全局共现关系的学习。针对这些方法将图像特征和标签嵌入粗略地结合在一起，忽略了跨模态向量融合中的对齐和紧致性问题，提出了一种双模态桥接图卷积网络（BB-GCN）模型。该模型主要由主干模块、病理标签共现关系嵌入模块和Transformer桥图模块组成。具体地，主干模块获取图像视觉特征表示。LCE模块利用图对多个标签之间的全局共现关系进行建模，并采用图卷积网络进行学习推理。TBG模块通过GroupSum方法将交叉模态向量更复杂、更有效地连接起来。我们在两个大规模CXR数据集（ChestX-Ray 14和CheXpert）上评估了所提出的BB-GCN的有效性。我们的模型达到了最先进的性能：14种病理的平均AUC得分分别为0.835和0.813。所提出的LCE和TBG模块可以联合有效地提高BB-GCN的识别性能。我们的模型在多标签胸部X射线识别中也取得了令人满意的结果，并具有很强的泛化能力。
2023-02-22 cs.CV
GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network
Rovira i Virgili University（罗维拉·依维尔基里大学）
深度估计是提高环境感知精度的三维重建的一项具有挑战性的任务。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）已经展示了其在从单眼视频估计深度图方面的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能工作在具有确定大小和权重的规则图像区域上。另一方面，图卷积网络（GCN）可以处理非欧数据的卷积，并且可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中，为了保持对象的几何外观和分布，我们的目标是利用GCN的自我监督的深度估计模型。我们的模型由两个并行的自动编码器网络组成：第一个是自动编码器，它将依赖于ResNet-50并从输入图像中提取特征，并依赖于多尺度GCN来估计深度图。进而，第二网络将用于估计自我运动矢量（即，基于ResNet-18的两个连续帧之间的3D姿态）。所估计的3D姿态和深度图两者将用于构造目标图像。使用与光度、投影和平滑度相关的损失函数的组合来处理差的深度预测并保持对象的不连续性。特别是，我们的方法在公开的KITTI和Make 3D数据集上提供了相当的和有前途的结果，预测准确率高达89%，与最先进的解决方案相比，可训练参数的数量减少了40%。源代码可在https://github.com/ArminMasoumian/GCNDepth.git上公开获取
2021-12-13 cs.CV
Adaptive Cross-Attention-Driven Spatial-Spectral Graph Convolutional Network for Hyperspectral Image Classification
Southwest Jiaotong University（西南交通大学）；Southwest Institute of Electronic Technology（西南电子技术研究所）；Mississippi State University（密西西比州立大学）
近年来，图卷积网络（GCN）被用来探索像素之间的空间关系，从而获得更好的高光谱图像（HSI）分类性能。然而，这些方法未能充分利用HSI数据中光谱带之间的关系。因此，我们提出了一种自适应交叉注意力驱动的空间-频谱图卷积网络（ACSS-GCN），它由一个空间GCN（Sa-GCN）子网络，一个频谱GCN（Se-GCN）子网络，和一个图形交叉注意力融合模块（GCAFM）。具体而言，Sa-GCN和Se-GCN提出了提取空间和光谱特征，通过建模空间像素之间的相关性和光谱波段之间，分别。然后，将注意力机制引入到图的信息聚合中，提出了一种基于注意力机制的GCAFM，设计了空间图关注块、谱图关注块和融合块，融合了Sa-GCN和Se-GCN的空间和谱特征，抑制了噪声干扰。此外，自适应图的思想被引入到探索一个最佳的图，通过反向传播在训练过程中。在两个HSI数据集上的实验表明，该方法取得了比其他分类方法更好的性能。
2022-04-12 cs.AI cs.CV
One-Shot Multi-Rate Pruning of Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）
提出多速率幅度剪枝（MRMP）方法，联合训练图卷积网络拓扑与权重，实现任意剪枝率的一次性剪枝，在骨架识别任务上高剪枝率下性能显著提升。
2023-12-29 cs.CV
Richly Activated Graph Convolutional Network for Robust Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shandong University of Science and Technology（山东科技大学）；Artificial Intelligence Research, Chinese Academy of Sciences（中国科学院人工智能研究院）
目前基于骨架的人体动作识别方法通常使用完整的骨架。然而，在实际场景中，不可避免地要捕获不完整或有噪声的骨架，当一些信息关节被遮挡或干扰时，这可能会显着降低当前方法的性能。为了提高动作识别模型的鲁棒性，提出了一种多流图卷积网络（GCN），利用分布在所有骨骼关节上的足够的判别特征，通过分布式冗余表示降低了动作模型对非标准骨骼的敏感性.具体地说，骨干GCN是由一系列有序的流，这是负责学习的关节较少激活的前流的区别性功能。在这里，每个GCN流的骨架关节的激活程度测量的类激活地图（CAM），只有来自未激活的关节的信息将被传递到下一个流，通过它获得丰富的功能，在所有活动的关节。因此，所提出的方法被称为富活化GCN（RA-GCN）。与最先进的（SOTA）方法相比，RA-GCN在标准NTU RGB+D 60和120数据集上实现了相当的性能。更重要的是，在合成的遮挡和抖动数据集上，由于遮挡和干扰关节而导致的性能恶化可以通过利用所提出的RA-GCN来显着缓解。
2020-11-26 cs.CV
Ada-NETS: Face Clustering via Adaptive Neighbour Discovery in the Structure Space
Alibaba Group（阿里巴巴集团）；Central South University（中南大学）
人脸聚类是近年来研究的热点，它可以充分利用网络上大量的人脸图像。图卷积网络（GCN）由于其强大的表示能力而获得了最先进的性能。然而，现有的基于GCN的方法主要根据特征空间中的kNN关系来构建人脸图，这可能导致连接不同类别的两个人脸的大量噪声边缘。当信息沿着这些噪声边缘传递时，人脸特征将被污染，从而降低GCN的性能。本文提出了一种新的人脸聚类算法Ada-NETS，它通过构造GCN的干净图来实现人脸聚类。在Ada-NETS中，每个人脸都被转换到一个新的结构空间，通过考虑邻近图像的人脸特征来获得鲁棒特征。然后，提出了一种自适应的邻居发现策略，以确定连接到每个人脸图像的边缘的适当数量。它显着减少噪声边缘，同时保持良好的边缘，以构建一个具有干净但丰富边缘的图，用于GCN聚类人脸。在多个公共聚类数据集上的实验表明，Ada-NETS的性能明显优于当前最先进的方法，证明了其优越性和通用性。代码可在https://github.com/damo-cv/Ada-NETS上获得。
2022-10-08 cs.CV
Distance-Geometric Graph Convolutional Network (DG-GCN) for Three-Dimensional (3D) Graphs
IBM（国际商业机器公司）
距离几何图形表示采用统一的方案（距离）来表示三维（3D）图形的几何形状。它对图的旋转和平移是不变的，并且它反映了成对节点的相互作用及其通常的局部性质。为了便于在3D图的深度学习中引入几何，我们提出了一种基于距离几何图表示的消息传递图卷积网络：DG-GCN（距离几何图卷积网络）。它利用连续滤波器卷积层，以及滤波器生成网络，可以从距离中学习滤波器权重，从而将3D图形的几何形状纳入图形卷积中。我们对ESOL和FreeSolv数据集的结果显示，与标准图卷积相比，有了重大改进。他们也表现出显着的改善，采用边权重/边距离幂律的几何图卷积。我们的工作证明了DG-GCN在3D图（特别是分子图）上进行端到端深度学习的实用性和价值。
2021-03-22 cs.CV cs.LG
Doc-GCN: Heterogeneous Graph Convolutional Networks for Document Layout Analysis
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）
识别非结构化数字文档的布局在将文档解析为结构化的机器可读格式以供下游应用时至关重要。目前的文档版面分析研究通常依赖于计算机视觉模型来理解文档，而忽略了其他信息，如上下文信息或文档组件之间的关系，这些信息对捕获至关重要。我们的Doc-GCN提出了一种有效的方法来协调和整合异构方面的文档布局分析。我们首先构建图形来明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图卷积网络来表示信息的各个方面，并使用池化来集成它们。最后，我们聚合每个方面，并将它们馈送到2层MLP中，用于文档布局组件分类。我们的Doc-GCN在三个广泛使用的DLA数据集中取得了新的最先进的结果。
2022-09-19 cs.CV cs.LG
PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
基于学习的点云上采样流水线的有效性严重依赖于其中使用的上采样模块和特征提取器。对于点上采样模块，我们提出了一种称为NodeShuffle的新模型，该模型使用图卷积网络（GCN）来更好地编码来自点邻域的局部点信息。NodeShuffle是通用的，可以合并到任何点云上采样管道中。大量的实验显示了NodeShuffle如何始终如一地改进最先进的上采样方法。对于特征提取，我们还提出了一种新的多尺度点特征提取器，称为Inception DenseGCN。通过在多个尺度上聚合特征，该特征提取器能够在最终上采样点云中进一步提高性能。我们将Inception DenseGCN与NodeShuffle结合到一个新的点上采样管道中，称为PU-GCN。PU-GCN以更少的参数和更有效的推理设置了新的最先进的性能。
2021-03-29 cs.CG cs.CV cs.LG
GCN-MIF: Graph Convolutional Network with Multi-Information Fusion for Low-dose CT Denoising
University of Electronic Science and Technology of China（电子科技大学）；West China Hospital, Sichuan University（四川大学华西医院）；West China No.4 Hospital, Sichuan University（四川大学华西第四医院）
低剂量计算机断层扫描（LDCT）辐射暴露低，对健康危害小，已被广泛用于肺癌和COVID-19的早期筛查。LDCT图像不可避免地受到复杂噪声的影响。据报道，使用卷积神经网络（CNN）的基于深度学习（DL）的LDCT去噪方法实现了令人印象深刻的去噪性能。尽管大多数现有的基于DL的方法（例如，编码器-解码器框架）可以经由下采样算子和3D CNN隐式地利用非局部和上下文信息，显式多信息（即，本地的、非本地的和上下文的）整合可能没有被充分地探索。为了解决这个问题，我们提出了一种新的基于图卷积网络的LDCT去噪模型，即GCN-MIF，显式地执行多信息融合去噪的目的。具体地说，通过构造片内和片间图，引入图卷积网络来利用像素之间的非局部和上下文关系。采用传统的CNN进行局部信息的提取。最后，建议GCN-MIF模型融合所有提取的本地，非本地和上下文信息。大量的实验表明，我们提出的GCN-MIF模型的有效性，定量和可视化的结果。此外，还对公共临床数据集进行了双盲读者研究，以验证去噪结果在结构保真度，噪声抑制和总体得分方面的可用性。模型和代码可在www.example.com上获得。
2022-04-17 cs.CV eess.IV
SAM-GCNN: A Gated Convolutional Neural Network with Segment-Level Attention Mechanism for Home Activity Monitoring
Tsinghua University（清华大学）
在本文中，我们提出了一种家庭活动监测的方法。我们在声学场景和事件的检测和分类（DCASE）2018挑战任务5的数据集上展示了我们的模型。此任务旨在将多声道音频分类为所提供的预定义类别之一。所有这些课程都是在家庭环境中进行的日常活动。为了解决这个问题，我们提出了一种具有分段级注意力机制的门控卷积神经网络（SAM-GCNN）。所提出的框架是一个卷积模型，具有两个辅助模块：门控卷积神经网络和分段级注意力机制。此外，我们采用模型集成，以提高我们的模型的泛化能力。我们在DCASE 2018任务5的开发数据集上评估了我们的工作，并取得了有竞争力的性能，与卷积基线系统相比，宏观平均F-1分数从83.76%提高到89.33%。
2018-11-14 cs.CV cs.SD eess.AS
CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
自动解剖标记在冠状动脉疾病诊断过程中起着至关重要的作用。这个问题的主要挑战是人体解剖学中遗传的巨大个体差异。现有的方法通常依赖于冠状动脉树的位置信息和拓扑结构的先验知识，这可能会导致性能不理想时，主要分支混淆。鉴于图神经网络在结构化数据中的广泛应用，本文提出了一种条件部分剩余图卷积网络（CPR-GCN），它同时考虑了位置和CT图像，因为CT图像包含了分支大小和生成方向等丰富的信息。CPR-GCN包含两个主要部分：部分残差GCN和条件提取器。条件提取器是包含3D CNN和LSTM的混合模型，其可以沿着分支提取3D空间图像特征。在技术方面，Partial-Residual GCN以分支的位置特征为基础，以3D空间图像特征为条件，预测每个分支的标签。而在数学方面，我们的方法扭曲的偏微分方程（PDE）到图形建模。从诊所收集了511名受试者的数据集，并由两名专家使用两阶段注释过程进行注释。根据五重交叉验证，我们的CPR-GCN产生95.8%的平均召回率，95.4%的平均精度和0.955的平均F1，这优于最先进的方法。
2020-04-18 cs.CV eess.IV
GCN-LASE: Towards Adequately Incorporating Link Attributes in Graph Convolutional Networks
Yuanpei College, Peking University（北京大学元培学院）；Key Laboratory of Machine Perception, Ministry of Education, Peking University（北京大学教育部机器感知重点实验室）
图卷积网络（GCN）已被证明是一个最强大的架构，在聚合局部邻域信息的个别图节点。在现有的GCN中成功地利用了低秩邻近性和节点特征，然而，图链接可能携带的属性通常被忽略，因为几乎所有这些模型都将图链接简化为描述节点连通性的二进制或标量值。相反，在我们的论文中，链接被恢复到实体之间的实体属性的关系。我们提出了GCN-LASE（GCN与链路属性和抽样估计），一种新的GCN模型，以节点和链路属性作为输入。为了充分捕捉链接和节点属性之间的相互作用，它们的张量积被用作邻居特征，在此基础上，我们定义了几个图核，并进一步开发了相应的LASE架构。此外，为了加快训练过程，整个邻域的特征之和估计通过蒙特卡罗方法，与新的采样策略设计的LASE，以最小化估计方差。我们的实验表明，LASE在各种图形数据集上的表现优于强基线，进一步的实验证实了链接属性的信息量以及我们的模型充分利用它们的能力。
2019-05-30 cs.CV cs.LG cs.SI
Integrating multiscale topology in digital pathology with pyramidal graph convolutional networks
F. Hoffmann-La Roche AG（罗氏公司）
提出多尺度图卷积网络MS-GCN，通过整合WSI多放大倍数信息同时建模长程结构与细胞细节，克服过度平滑问题，性能与可解释性优于单倍数方法。
2024-03-22 cs.CV eess.IV
IA-GCN: Interpretable Attention based Graph Convolutional Network for Disease prediction
Technical University of Munich（慕尼黑工业大学）；Sharif University of Technology（谢里夫理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
图卷积网络（GCN）的可解释性在计算机视觉中得到了一定程度的研究，但在医学领域还需要进一步的研究。此外，大多数GCN的可解释性方法，特别是在医学领域，侧重于以事后的方式解释模型。在本文中，我们提出了一个可解释的基于图学习的模型，该模型1）解释输入特征对任务的临床相关性，2）使用解释来提高模型性能，3）学习可用于解释队列行为的群体水平潜图。在临床场景中，这样的模型可以帮助临床专家更好地做出诊断和治疗计划的决策。主要的新颖性在于可解释注意模块（IAM），它直接对多模态特征进行操作。我们的IAM基于独特的可解释性特定损失来学习每个特征的注意力。我们在两个公开的数据集Tadpole和UKBB上展示了该应用程序，用于疾病，年龄和性别预测的三项任务。我们提出的模型显示出优越的性能，相对于比较方法，蝌蚪的平均准确度增加了3.2%，UKBB性别增加了1.6%，UKBB年龄预测任务增加了2%。此外，我们展示了我们的结果的详尽验证和临床解释。
2021-03-29 cs.CV cs.LG
Geom-GCN: Geometric Graph Convolutional Networks
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院，中国）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, China（教育部符号计算与知识工程重点实验室，中国）；Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系，美国）；Department of Computer Science, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系，美国）；Department of Computing, Hong Kong Polytechnic University, Hong Kong（香港理工大学计算学系，香港）
消息传递神经网络（MPNN）已成功地应用于各种现实世界应用中的图上的表示学习。然而，MPNN的聚合器的两个基本弱点限制了它们表示图结构数据的能力：丢失邻域中节点的结构信息，以及缺乏捕获离散图中的长程依赖关系的能力。很少有研究从不同的角度注意到这些弱点。通过对经典神经网络和网络几何结构的研究，提出了一种新的图神经网络几何聚合方案，克服了这两个缺点。其背后的基本思想是图上的聚合可以受益于图下的连续空间。建议的聚合方案是置换不变的，由三个模块，节点嵌入，结构邻域，和两级聚合。我们还提出了一个实施方案的图卷积网络，称为几何GCN（几何图卷积网络），执行图上的转导学习。实验结果表明，所提出的Geom-GCN实现了最先进的性能在广泛的开放数据集的图。代码可在https://github.com/graphdml-uiuc-jlu/geom-gcn上获得。
2020-02-14 cs.CV cs.LG stat.ML
GmCN: Graph Mask Convolutional Network
Anhui University（安徽大学）
图卷积网络（GCN）在图数据表示和学习任务中表现出非常强大的功能。现有的GCN通常在一个固定的邻域图上进行特征聚合，其中每个节点通过聚合其所有邻居的特征表示来计算其表示，这些邻居的特征表示被其表示所偏置。然而，这种固定的聚合策略并不能保证是基于GCN的图学习的最佳选择，并且还可能受到一些图结构噪声的影响，例如不正确或不期望的边连接。为了解决这些问题，我们提出了一种新的图掩码卷积网络（GmCN），其中节点可以自适应地选择其特征聚合中的最佳邻居，以更好地服务于GCN学习。GmCN可以从理论上解释的正则化框架，基于此，我们推导出一个简单的更新算法，以确定最佳的掩码自适应GmCN训练过程中。在多个数据集上的实验验证了GmCN的有效性。
2019-11-20 cs.CV cs.LG cs.SI
C2P-GCN: Cell-to-Patch Graph Convolutional Network for Colorectal Cancer Grading
Rensselaer Polytechnic Institute（伦斯勒理工学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
针对现有基于图的结直肠癌组织学图像分级方法无法捕捉全切片整体结构、需大量训练数据的问题，提出两阶段的C2P-GCN，通过构建斑块级和图像级双层图整合全片结构，在更少训练数据下实现更优的分级效果。
2024-05-13 cs.CV cs.LG eess.IV
Towards a Spectrum of Graph Convolutional Networks
NEC Labs Europe（NEC欧洲实验室）
我们提出了我们正在进行的工作，了解图卷积网络（GCN）的局限性，以及我们的工作概括的图卷积表示更复杂的节点属性依赖关系。基于GCN的分析与相应的计算图的帮助下，我们提出了一个推广现有的GCN的聚合操作是（a）由局部邻域图的结构特性和（b）不限于加权平均。我们表明，所提出的方法是严格更具表现力，而只需要一个适度的增加参数和计算的数量。我们还表明，当应用于规则网格图时，所提出的泛化与标准卷积层相同。
2018-05-04 cs.AI cs.CV cs.LG
Graph Convolutional Networks for Multi-modality Medical Imaging: Methods, Architectures, and Clinical Applications
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Sensebrain Research（Sensebrain研究院）；UCLA（加州大学洛杉矶分校）；Stanford University（斯坦福大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Rutgers University（罗格斯大学）
基于图像的表征和疾病理解涉及跨生物尺度的形态、空间和拓扑信息的综合分析。图卷积网络（GCN）的发展为通过图驱动架构解决这种信息复杂性创造了机会，因为GCN可以以显着的灵活性和效率执行特征聚合，交互和推理。这些GCN的能力催生了医学成像分析研究的新浪潮，其总体目标是改善定量疾病理解，监测和诊断。然而，为多模态医学成像设计重要的图像到图形转换以及深入了解模型解释和增强的临床决策支持仍然面临着艰巨的挑战。在这篇综述中，我们提出了最近的GCN的发展的背景下，医学图像分析，包括成像数据从放射学和组织病理学。我们讨论了在医学图像分析中快速增长的图形网络架构的使用，以改善疾病诊断和临床实践中的患者结局。为了促进跨学科研究，我们介绍了GCN的技术进步，新兴的医学应用，确定了使用基于图像的GCN及其在模型解释中的扩展所面临的共同挑战，以及有望改变医学图像研究和相关图形驱动医学研究范围的大规模基准。
2022-04-21 cs.AI cs.CV cs.LG
