Real-World Graph Convolution Networks (RW-GCNs) for Action Recognition in Smart Video Surveillance
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
动作识别是新兴的边缘智能视频监控和安全系统的关键算法部分。基于RGB的动作识别是一种有吸引力的方法，它不使用RGB像素数据，而是依赖于人体姿势信息来对适当的动作进行分类。然而，现有的算法通常假设不代表现实世界限制的理想条件，例如噪声输入、延迟要求和边缘资源约束。为了解决现有方法的局限性，本文提出了真实世界图卷积网络（RW-GCN），一个架构级的解决方案，以满足现实世界的基于动作识别的域约束。受人类视觉皮层中反馈连接的存在的启发，RW-GCN在现有的接近最先进的（SotA）时空图卷积网络（ST-GCN）上利用注意反馈增强。ST-GCN的设计选择源自以信息论为中心的原则，以解决端到端实时和边缘智能视频系统中通常遇到的空间和时间噪声。我们的研究结果表明，RW-GCN能够通过在NTU-RGB-D-120数据集上实现94.1%的新SotA准确度来服务于这些应用，并且在存在空间关键点噪声的情况下，在西北加州大学洛杉矶分校数据集上实现90.4%的准确度的同时，实现比基线ST-GCN应用少32倍的延迟。RW-GCN通过在10倍成本效益的NVIDIA Jetson Nano上运行（与NVIDIA Xavier NX相反），进一步展示了系统的可扩展性，同时在资源受限的设备上仍然保持适当的吞吐量范围（每秒15.6至5.5个操作）。代码可以在这里找到：https://github.com/TeCSAR-U…
2022-01-15 cs.CV cs.LG
Unified GCNs: Towards Connecting GCNs with CNNs
Anhui University（安徽大学）
图卷积网络在图数据表示和学习方面具有强大的能力。现有的图卷积层主要是基于图信号处理和变换方面设计的，通常存在一些局限性，如过平滑、过压缩和鲁棒性差等。众所周知，卷积神经网络（CNN）在计算机视觉和机器学习等领域取得了巨大的成功。一个主要方面是CNN利用许多可学习的卷积滤波器（内核）来获得丰富的特征描述符，因此可以在视觉数据分析中对复杂模式进行编码。此外，CNN在设计其网络架构方面非常灵活，例如MobileNet，ResNet，Xception等。因此，很自然地会出现一个问题：我们能否像CNN那样灵活地设计图卷积层？创新性地，在本文中，我们考虑从深度可分离卷积运算的一般角度深入连接GCN与CNN。具体来说，我们表明，GCN和GAT确实执行一些特定的dependency可分离的卷积运算。这种新颖的解释使我们能够更好地理解GCN（GCN，GAT）和CNN之间的联系，并进一步激励我们设计更多的统一GCN（UGCN）。作为两个展示，我们实现了两个UGCN，即，可分离UGCN（S-UGCN）和通用UGCN（G-UGCN）用于图数据表示和学习。在几个图表示基准上的实验表明了所提出的UGCN的有效性和优势。
2022-04-26 cs.CV
Doc-GCN: Heterogeneous Graph Convolutional Networks for Document Layout Analysis
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）
识别非结构化数字文档的布局在将文档解析为结构化的机器可读格式以供下游应用时至关重要。目前的文档版面分析研究通常依赖于计算机视觉模型来理解文档，而忽略了其他信息，如上下文信息或文档组件之间的关系，这些信息对捕获至关重要。我们的Doc-GCN提出了一种有效的方法来协调和整合异构方面的文档布局分析。我们首先构建图形来明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图卷积网络来表示信息的各个方面，并使用池化来集成它们。最后，我们聚合每个方面，并将它们馈送到2层MLP中，用于文档布局组件分类。我们的Doc-GCN在三个广泛使用的DLA数据集中取得了新的最先进的结果。
2022-09-19 cs.CV cs.LG
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
基于学习的点云上采样流水线的有效性严重依赖于其中使用的上采样模块和特征提取器。对于点上采样模块，我们提出了一种称为NodeShuffle的新模型，该模型使用图卷积网络（GCN）来更好地编码来自点邻域的局部点信息。NodeShuffle是通用的，可以合并到任何点云上采样管道中。大量的实验显示了NodeShuffle如何始终如一地改进最先进的上采样方法。对于特征提取，我们还提出了一种新的多尺度点特征提取器，称为Inception DenseGCN。通过在多个尺度上聚合特征，该特征提取器能够在最终上采样点云中进一步提高性能。我们将Inception DenseGCN与NodeShuffle结合到一个新的点上采样管道中，称为PU-GCN。PU-GCN以更少的参数和更有效的推理设置了新的最先进的性能。
2021-03-29 cs.CG cs.CV cs.LG
DeepGCNs: Can GCNs Go as Deep as CNNs?
KAUST（阿卜杜拉国王科技大学）
卷积神经网络（CNN）在很多领域都有着令人印象深刻的性能。他们的成功得益于当非常深的CNN模型能够被可靠地训练时的巨大推动。尽管CNN有其优点，但它无法正确解决非欧几里得数据的问题。为了克服这一挑战，图卷积网络（GCN）构建图来表示非欧几里德数据，从CNN借用概念，并将其应用于训练。GCN显示出有希望的结果，但由于消失梯度问题，它们通常仅限于非常浅的模型。因此，大多数最先进的GCN模型不超过3或4层。在这项工作中，我们提出了新的方法来成功地训练非常深的GCN。我们通过借用CNN的概念来做到这一点，特别是残余/密集连接和扩张卷积，并将它们适应GCN架构。大量的实验显示了这些深度GCN框架的积极效果。最后，我们使用这些新概念构建了一个非常深的56层GCN，并展示了它如何显着提高点云语义分割任务的性能（比最先进的mIoU提高了3.7%）。我们相信社区可以从这项工作中受益匪浅，因为它为推进基于GCN的研究开辟了许多机会。
2019-08-19 cs.CV cs.LG
GCN-MIF: Graph Convolutional Network with Multi-Information Fusion for Low-dose CT Denoising
University of Electronic Science and Technology of China（电子科技大学）；West China Hospital, Sichuan University（四川大学华西医院）；West China No.4 Hospital, Sichuan University（四川大学华西第四医院）
低剂量计算机断层扫描（LDCT）辐射暴露低，对健康危害小，已被广泛用于肺癌和COVID-19的早期筛查。LDCT图像不可避免地受到复杂噪声的影响。据报道，使用卷积神经网络（CNN）的基于深度学习（DL）的LDCT去噪方法实现了令人印象深刻的去噪性能。尽管大多数现有的基于DL的方法（例如，编码器-解码器框架）可以经由下采样算子和3D CNN隐式地利用非局部和上下文信息，显式多信息（即，本地的、非本地的和上下文的）整合可能没有被充分地探索。为了解决这个问题，我们提出了一种新的基于图卷积网络的LDCT去噪模型，即GCN-MIF，显式地执行多信息融合去噪的目的。具体地说，通过构造片内和片间图，引入图卷积网络来利用像素之间的非局部和上下文关系。采用传统的CNN进行局部信息的提取。最后，建议GCN-MIF模型融合所有提取的本地，非本地和上下文信息。大量的实验表明，我们提出的GCN-MIF模型的有效性，定量和可视化的结果。此外，还对公共临床数据集进行了双盲读者研究，以验证去噪结果在结构保真度，噪声抑制和总体得分方面的可用性。模型和代码可在www.example.com上获得。
2022-04-17 cs.CV eess.IV
PR-GCN: A Deep Graph Convolutional Network with Point Refinement for 6D Pose Estimation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
基于RGB-D的6D姿态估计最近取得了显著的进展，但仍然受到两个主要限制：（1）深度数据的无效表示和（2）不同模态的不充分整合。本文提出了一种新的深度学习方法，即带有点精化的图卷积网络（PR-GCN），以统一的方式同时解决上述问题。它首先引入了点细化网络（PRN）来抛光3D点云，恢复丢失的部分并去除噪声。随后，提出了多模态融合图卷积网络（MMF-GCN）来增强RGB-D组合，它通过图卷积网络中的局部信息传播来捕获几何感知的模态间相关性。在三个广泛使用的基准上进行了大量的实验，并达到了最先进的性能。此外，它也表明，提出的PRN和MMF-GCN模块是很好的推广到其他框架。
2021-08-23 cs.CV
CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
自动解剖标记在冠状动脉疾病诊断过程中起着至关重要的作用。这个问题的主要挑战是人体解剖学中遗传的巨大个体差异。现有的方法通常依赖于冠状动脉树的位置信息和拓扑结构的先验知识，这可能会导致性能不理想时，主要分支混淆。鉴于图神经网络在结构化数据中的广泛应用，本文提出了一种条件部分剩余图卷积网络（CPR-GCN），它同时考虑了位置和CT图像，因为CT图像包含了分支大小和生成方向等丰富的信息。CPR-GCN包含两个主要部分：部分残差GCN和条件提取器。条件提取器是包含3D CNN和LSTM的混合模型，其可以沿着分支提取3D空间图像特征。在技术方面，Partial-Residual GCN以分支的位置特征为基础，以3D空间图像特征为条件，预测每个分支的标签。而在数学方面，我们的方法扭曲的偏微分方程（PDE）到图形建模。从诊所收集了511名受试者的数据集，并由两名专家使用两阶段注释过程进行注释。根据五重交叉验证，我们的CPR-GCN产生95.8%的平均召回率，95.4%的平均精度和0.955的平均F1，这优于最先进的方法。
2020-04-18 cs.CV eess.IV
MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion Recognition
Chongqing University（重庆大学）；Nanning Normal University（南宁师范大学）；University of Technology Sydney（悉尼科技大学）
步态情感识别在智能系统中起着至关重要的作用。大多数现有的方法通过关注局部动作来识别情绪。但是，他们忽略了不同情绪在时域上的有效距离是不同的，而行走过程中的局部动作是相当相似的。因此，情绪应该由全局状态来表示，而不是间接的局部行为。为了解决这些问题，本文提出了一种新的多尺度自适应图卷积网络（MSA-GCN），通过构造动态时域感受野和设计多尺度信息聚合来识别情绪。在该模型中，设计了一种自适应选择性时空图卷积，动态选择卷积核，以获得不同情绪的软时空特征。此外，设计了一种跨尺度映射融合机制（CSFM）来构造自适应邻接矩阵，以增强信息交互，减少冗余。与以往的最先进的方法相比，该方法在两个公共数据集上实现了最佳性能，提高了2%的mAP。我们还进行了广泛的消融研究，以显示我们的方法中不同组件的有效性。
2022-09-19 cs.CV cs.LG
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
在网格上定义卷积的常用方法是将它们解释为图并应用图卷积网络（GCN）。这种GCN利用各向同性核，因此对顶点的相对取向不敏感，从而对网格的几何形状不敏感。我们提出了规范等变网格CNN，它将GCN推广到应用各向异性规范等变核。由于产生的功能进行方向信息，我们引入了一个几何消息传递计划定义的并行传输功能网格边缘。我们的实验验证了显着改善的表现力，所提出的模型比传统的GCN和其他方法。
2021-11-19 cs.CV cs.LG stat.ML
TAA-GCN: A Temporally Aware Adaptive Graph Convolutional Network for Age Estimation
University of Virginia（弗吉尼亚大学）
提出时间感知自适应图卷积网络（TAA-GCN），利用基于图的骨骼、姿态、服装和面部特征进行年龄估计，在四个公开基准上超越现有方法，并具备对遮挡和非正面视角的鲁棒性。
2023-05-15 cs.CV
MER-GCN: Micro Expression Recognition Based on Relation Modeling with Graph Convolutional Network
微表情（ME）是一种自发的、不自觉的面部运动，可以揭示真实的情感。近年来，结合深度学习技术，越来越多的研究关注这一领域。动作单位是反映面部肌肉运动的基本动作，许多研究都采用动作单位检测来对面部表情进行分类。然而，耗时的注释过程使得很难将AU的组合与特定的情感类别关联起来。受节点关系构建图卷积网络（GCN）的启发，提出了一种面向端到端AU的图分类网络MER-GCN，该网络利用3D ConvNets提取AU特征，并利用GCN层发现AU节点之间的依赖关系，从而实现ME分类。据我们所知，这项工作是第一个端到端的架构，微表情识别（MER）使用AU基于GCN。实验结果表明，我们的方法优于基于CNN的MER网络。
2020-04-19 cs.CV
GCN-LASE: Towards Adequately Incorporating Link Attributes in Graph Convolutional Networks
Yuanpei College, Peking University（北京大学元培学院）；Key Laboratory of Machine Perception, Ministry of Education, Peking University（北京大学教育部机器感知重点实验室）
图卷积网络（GCN）已被证明是一个最强大的架构，在聚合局部邻域信息的个别图节点。在现有的GCN中成功地利用了低秩邻近性和节点特征，然而，图链接可能携带的属性通常被忽略，因为几乎所有这些模型都将图链接简化为描述节点连通性的二进制或标量值。相反，在我们的论文中，链接被恢复到实体之间的实体属性的关系。我们提出了GCN-LASE（GCN与链路属性和抽样估计），一种新的GCN模型，以节点和链路属性作为输入。为了充分捕捉链接和节点属性之间的相互作用，它们的张量积被用作邻居特征，在此基础上，我们定义了几个图核，并进一步开发了相应的LASE架构。此外，为了加快训练过程，整个邻域的特征之和估计通过蒙特卡罗方法，与新的采样策略设计的LASE，以最小化估计方差。我们的实验表明，LASE在各种图形数据集上的表现优于强基线，进一步的实验证实了链接属性的信息量以及我们的模型充分利用它们的能力。
2019-05-30 cs.CV cs.LG cs.SI
SIA-GCN: A Spatial Information Aware Graph Neural Network with 2D Convolutions for Hand Pose Estimation
University of California, Irvine（加州大学欧文分校）
图神经网络将神经网络从规则结构的应用推广到任意图的应用，在计算机视觉、社交网络和化学等许多应用领域取得了成功。在本文中，我们沿着两个方向扩展了GNN：a）允许每个节点的特征由2D空间置信度图而不是1D向量表示; b）提出了一种有效的操作，通过2D卷积来整合来自相邻节点的信息，每个边缘都有不同的可学习内核。所提出的SIA-GCN可以有效地从每个节点的2D地图中提取空间信息，并通过图形卷积来传播它们。通过将每条边与指定的卷积核相关联，SIA-GCN可以捕获不同相邻节点对的不同空间关系。我们展示了SIA-GCN在从单帧图像估计手部关键点的任务上的实用性，其中节点表示关键点的2D坐标热图，边缘表示关键点之间的动力学关系。在多个数据集上的实验表明，SIA-GCN提供了一个灵活而强大的框架来解释关键点之间的结构约束，并且可以在手部姿态估计任务上实现最先进的性能。
2020-09-25 cs.CV
Integrating multiscale topology in digital pathology with pyramidal graph convolutional networks
F. Hoffmann-La Roche AG（罗氏公司）
提出多尺度图卷积网络MS-GCN，通过整合WSI多放大倍数信息同时建模长程结构与细胞细节，克服过度平滑问题，性能与可解释性优于单倍数方法。
2024-03-22 cs.CV eess.IV
VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds
Zhejiang University（浙江大学）；Peking University（北京大学）
随着局部聚合算子研究的不断深入，点云分析模型取得了突破性进展。然而，现有的局部聚合算子在目前的文献中没有重视体面的点云的局部信息，这限制了模型的能力。为了弥补这一缺陷，本文提出了一种高效的矢量注意力卷积模块（VAConv），该模块利用K-最近邻（KNN）提取每个输入点的相邻点，然后利用中心点和相邻点之间矢量的仰角和方位角关系构造边缘特征的注意力权重矩阵。之后，VAConv采用双通道结构融合加权边缘特征和全局特征。为了验证VAConv的有效性，我们将具有不同感受野的VAConv并行连接以获得多尺度图卷积网络VA-GCN。拟议的VA-GCN在包括ModelNet 40，S3 DIS和ShapeNet在内的标准基准测试中实现了最先进的性能。值得注意的是，在3D分类的ModelNet 40数据集上，VA-GCN与基线相比增加了2.4%。
2021-06-01 cs.CV
Skeleton-based Hand-Gesture Recognition with Lightweight Graph Convolutional Networks
CNRS Sorbonne University（法国国家科学研究中心索邦大学）
图卷积网络（GCN）旨在将深度学习扩展到任意不规则域，即图。它们的成功高度依赖于输入图的拓扑结构是如何定义的，并且大多数现有的GCN架构依赖于预定义的或手工制作的图结构。在本文中，我们介绍了一种新的方法，学习输入图的拓扑结构（或连通性）作为GCN设计的一部分。我们的方法的主要贡献在于建立一个正交连接基础，最佳地聚合节点，通过他们的邻居，实现卷积之前。我们的方法还考虑了一个随机性标准，它作为一个正则化器，使学习的基础和底层的GCN轻量级，同时仍然是非常有效的。实验上进行的具有挑战性的任务，基于手势识别的GCN的学习w.r.t.的高效率。相关的工作。
2021-12-27 cs.CV
DMS-GCN: Dynamic Mutiscale Spatiotemporal Graph Convolutional Networks for Human Motion Prediction
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
人体运动预测在计算机视觉的许多应用领域都是一个重要而又具有挑战性的课题。最近的工作集中在利用递归神经网络（RNN）的时序处理能力，以实现短期预测的平滑和可靠的结果。然而，正如以前的工作所证明的那样，RNN遭受错误积累，导致不可靠的结果。在本文中，我们提出了一个简单的前馈深度神经网络的运动预测，它考虑到时间平滑性和人体关节之间的空间依赖性。我们设计了一个多尺度时空图卷积网络（GCN）来隐式地建立人体运动过程中的时空依赖性，其中不同尺度在训练过程中动态融合。整个模型适用于所有动作，遵循编码器-解码器的框架。该编码器由时间GCN捕获帧之间的运动特征和半自主学习的空间GCN提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN），以保持其广泛的能力。大量的实验表明，我们的方法优于SOTA方法的数据集上的Human3.6M和CMU Mocap，而只需要少得多的参数。代码将在https://github.com/yzg9353/DMSGCN上提供。
2021-12-20 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Geom-GCN: Geometric Graph Convolutional Networks
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院，中国）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, China（教育部符号计算与知识工程重点实验室，中国）；Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系，美国）；Department of Computer Science, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系，美国）；Department of Computing, Hong Kong Polytechnic University, Hong Kong（香港理工大学计算学系，香港）
消息传递神经网络（MPNN）已成功地应用于各种现实世界应用中的图上的表示学习。然而，MPNN的聚合器的两个基本弱点限制了它们表示图结构数据的能力：丢失邻域中节点的结构信息，以及缺乏捕获离散图中的长程依赖关系的能力。很少有研究从不同的角度注意到这些弱点。通过对经典神经网络和网络几何结构的研究，提出了一种新的图神经网络几何聚合方案，克服了这两个缺点。其背后的基本思想是图上的聚合可以受益于图下的连续空间。建议的聚合方案是置换不变的，由三个模块，节点嵌入，结构邻域，和两级聚合。我们还提出了一个实施方案的图卷积网络，称为几何GCN（几何图卷积网络），执行图上的转导学习。实验结果表明，所提出的Geom-GCN实现了最先进的性能在广泛的开放数据集的图。代码可在https://github.com/graphdml-uiuc-jlu/geom-gcn上获得。
2020-02-14 cs.CV cs.LG stat.ML
GCNNMatch: Graph Convolutional Neural Networks for Multi-Object Tracking via Sinkhorn Normalization
Virginia Tech（弗吉尼亚理工大学）
提出了一种基于图卷积神经网络（GCNN）的多目标跟踪新方法，该方法基于特征提取和端到端特征匹配进行目标关联。基于图的方法将过去帧以及当前帧中对象的外观和几何形状都纳入特征学习任务中。这种新的范例使网络能够利用对象几何形状的“上下文”信息，并允许我们对多个对象的特征之间的交互进行建模。我们提出的框架的另一个核心创新是使用Sinkhorn算法在模型训练期间对对象之间的关联进行端到端学习。该网络被训练为通过考虑特定于MOT任务的约束来预测对象关联。实验结果表明，所提出的方法在最先进的在线方法中，在MOT '15，' 16，'17和' 20挑战中实现最佳性能的有效性。该代码可在www.example.com上获得。
2021-04-16 cs.CV
Equivariance-bridged SO(2)-Invariant Representation Learning using Graph Convolutional Network
训练卷积神经网络（CNN）对旋转具有鲁棒性主要是通过数据增强来完成的。在本文中，另一个渐进的研究方向的愿景是强调鼓励通过实现网络的结构旋转不变性，以减少对数据增强的依赖。提出了深度等方差桥接SO（2）不变网络来回应这种愿景。首先，自加权最近邻图卷积网络（SWN-GCN）被提出来实现图卷积网络（GCN）的图像的图表示，以获得旋转等变表示，因为GCN是更适合于构建更深的网络比基于谱图卷积的方法。然后，不变表示最终获得与全球平均池（GAP），一个置换不变的操作，适合聚合高维表示，在从SWN-GCN检索的顶点的等变集。我们的方法在旋转的MNIST和CIFAR-10图像上实现了最先进的图像分类性能，其中模型仅使用非增强数据集进行训练。对表示不变性的定量验证也证明了SWN-GCN在旋转上的深度表示的强不变性。
2021-10-21 cs.CV
S-AT GCN: Spatial-Attention Graph Convolution Network based Feature Enhancement for 3D Object Detection
State Key Laboratory of Automotive Safety and Energy（汽车安全与节能国家重点实验室）；School of Vehicle and Mobility（车辆与动力学院）；Tsinghua University（清华大学）
三维目标检测在自主车辆的环境感知中起着至关重要的作用，是自主车辆进行决策和控制的前提。本文分析了基于划分方法的固有缺陷。在分割操作中，单个实例（如行人）被切成几块，我们称之为分割效应。我们提出了空间注意力图卷积（S-AT GCN），形成特征增强（FE）层来克服这个缺点。S-AT GCN利用图卷积和空间注意力机制来提取局部几何结构特征。这允许网络为前台提供更有意义的功能。我们在KITTI 3D物体和鸟瞰图检测上的实验表明，S-AT Conv和FE层是有效的，特别是对于小物体。FE层将行人类性能提高了3.62%，将自行车类3D mAP提高了4.21%。这些额外的FE层的时间成本是有限的。带FE层的PointPillars可以实现48个PFS，满足实时性要求。
2021-03-15 cs.CV
PointRGCN: Graph Convolution Networks for 3D Vehicles Detection Refinement
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
在自动驾驶管道中，感知模块提供对周围道路场景的视觉理解。在感知任务中，车辆检测对于安全驾驶至关重要，因为它识别共享道路的其他智能体的位置。在我们的工作中，我们提出了PointRGCN：一个基于图卷积网络（GCN）的基于图的3D目标检测管道，它只在3D LiDAR点云上运行。为了执行更准确的3D目标检测，我们利用一个图形表示，执行建议功能和上下文聚合。我们将残余GCN集成在两阶段的3D目标检测流水线中，其中使用新的图形表示来细化3D对象提案。特别地，R-GCN是对3D提案进行分类和回归的残差GCN，并且C-GCN是通过在多个提案之间共享上下文信息来进一步细化提案的上下文GCN。我们将我们的细化模块集成到一个新的3D检测流水线，PointRGCN，并实现了最先进的性能上的简单困难的鸟瞰图检测任务。
2019-11-27 cs.CV
Interaction-GCN: A Graph Convolutional Network based framework for social interaction recognition in egocentric videos
University of Perugia（佩鲁贾大学）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人与工业信息研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
在本文中，我们提出了一个新的框架来分类社会互动的自我中心的视频，我们命名为InteractionGCN。我们的方法提取模式的关系和非关系线索在帧级，并使用它们来建立一个关系图，从该关系图中的帧级的international上下文估计通过一个图卷积网络为基础的方法。然后，它通过门控递归单元架构随时间传播此上下文以及第一人称运动信息。消融研究和实验评估两个公开的数据集验证所提出的方法，并建立最先进的结果。
2021-06-08 cs.CV
Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition
Hikvision Research Institute（海康威视研究院）；College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
图卷积网络（GCN）在基于图的动作识别中引起了越来越多的关注。其关键在于图结构的设计，它对骨架拓扑信息进行编码。在本文中，我们提出了动态GCN，其中一个新的卷积神经网络命名为上下文编码网络（CeN）的自动学习骨架拓扑结构。特别地，当学习两个关节之间的依赖性时，来自其余关节的上下文特征以全局方式并入。CeN非常轻量级但有效，可以嵌入到图卷积层中。通过堆叠多个支持CEN的图卷积层，我们构建了动态GCN。值得注意的是，作为Ceon的优点，动态图拓扑结构是针对不同的输入样本以及各种深度的图卷积层构建的。此外，三个可选的上下文建模架构进行了很好的探索，这可能是未来的研究图拓扑学习的指导方针。CeN仅为基线模型带来约7%的额外FLOP，而动态GCN实现了更好的性能，与现有方法相比，$2\times$的FLOP少了$4\times$。通过进一步结合静态物理身体连接和运动模态，我们在三个大规模基准测试中实现了最先进的性能，即NTU-RGB+D，NTU-RGB+D 120和Atrieton-Kinetics。
2020-07-29 cs.CV
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology（长冈技术科学大学）；Guizhou College of Electronic Science and Technology（贵州电子科技学院）；Guizhou University（贵州大学）
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题，提出DSTSA-GCN，通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习，在多个基准上取得最优性能。
2025-01-21 cs.CV
GmCN: Graph Mask Convolutional Network
Anhui University（安徽大学）
图卷积网络（GCN）在图数据表示和学习任务中表现出非常强大的功能。现有的GCN通常在一个固定的邻域图上进行特征聚合，其中每个节点通过聚合其所有邻居的特征表示来计算其表示，这些邻居的特征表示被其表示所偏置。然而，这种固定的聚合策略并不能保证是基于GCN的图学习的最佳选择，并且还可能受到一些图结构噪声的影响，例如不正确或不期望的边连接。为了解决这些问题，我们提出了一种新的图掩码卷积网络（GmCN），其中节点可以自适应地选择其特征聚合中的最佳邻居，以更好地服务于GCN学习。GmCN可以从理论上解释的正则化框架，基于此，我们推导出一个简单的更新算法，以确定最佳的掩码自适应GmCN训练过程中。在多个数据集上的实验验证了GmCN的有效性。
2019-11-20 cs.CV cs.LG cs.SI
SAM-GCNN: A Gated Convolutional Neural Network with Segment-Level Attention Mechanism for Home Activity Monitoring
Tsinghua University（清华大学）
在本文中，我们提出了一种家庭活动监测的方法。我们在声学场景和事件的检测和分类（DCASE）2018挑战任务5的数据集上展示了我们的模型。此任务旨在将多声道音频分类为所提供的预定义类别之一。所有这些课程都是在家庭环境中进行的日常活动。为了解决这个问题，我们提出了一种具有分段级注意力机制的门控卷积神经网络（SAM-GCNN）。所提出的框架是一个卷积模型，具有两个辅助模块：门控卷积神经网络和分段级注意力机制。此外，我们采用模型集成，以提高我们的模型的泛化能力。我们在DCASE 2018任务5的开发数据集上评估了我们的工作，并取得了有竞争力的性能，与卷积基线系统相比，宏观平均F-1分数从83.76%提高到89.33%。
2018-11-14 cs.CV cs.SD eess.AS
Res-GCNN: A Lightweight Residual Graph Convolutional Neural Networks for Human Trajectory Forecasting
自动驾驶汽车（ADV）对解决交通拥堵问题和减少交通事故数量寄予厚望。精确的轨迹预测ADV周围的其他交通代理是至关重要的，以实现安全和高效的驾驶。特别是行人，由于其复杂的社会互动和随机移动模式，预测更具挑战性。本文提出了一种残差图卷积神经网络（Res-GCNN），它利用当前场景中所构造的图的邻接矩阵来模拟pedes-trians的交互行为。虽然所提出的Res-GCNN是非常轻量级的，只有大约6.4千个参数，在参数大小方面优于所有其他方法，但我们的实验结果显示，最终位移误差（FDE）比现有技术提高了13.3%，达到0.65米。至于平均位移误差（ADE），我们达到了次优的结果（值为0.37米），这也是非常有竞争力的。Res-GCNN在NVIDIA GeForce RTX1080Ti GPU平台上进行了评估，整个数据集的平均推理时间仅为2.2微秒。与其他方法相比，所提出的方法显示出强大的潜力，船上的应用占预测精度和时间效率。该代码将在GitHub上公开。
2020-11-18 cs.CV
S2RC-GCN: A Spatial-Spectral Reliable Contrastive Graph Convolutional Network for Complex Land Cover Classification Using Hyperspectral Images
School of Computer China University of Geosciences Wuhan, China；School of Geography；Information Engineering China University of Geosciences Wuhan, China；School of Management Wuhan University of Science
本文提出S2RC-GCN框架，融合1D/2D编码器提取的光谱-空间特征并引入可靠对比图卷积，在江夏高分五号复杂土地覆盖数据集上取得最佳分类性能。
2024-04-01 cs.CV
Towards a Spectrum of Graph Convolutional Networks
NEC Labs Europe（NEC欧洲实验室）
我们提出了我们正在进行的工作，了解图卷积网络（GCN）的局限性，以及我们的工作概括的图卷积表示更复杂的节点属性依赖关系。基于GCN的分析与相应的计算图的帮助下，我们提出了一个推广现有的GCN的聚合操作是（a）由局部邻域图的结构特性和（b）不限于加权平均。我们表明，所提出的方法是严格更具表现力，而只需要一个适度的增加参数和计算的数量。我们还表明，当应用于规则网格图时，所提出的泛化与标准卷积层相同。
2018-05-04 cs.AI cs.CV cs.LG
Towards Efficient Graph Convolutional Networks for Point Cloud Handling
Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）；National University of Singapore（新加坡国立大学）；KU Leuven（鲁汶大学）
在本文中，我们的目标是提高图卷积网络（GCN）的学习点云的计算效率。基本的图形卷积，通常是由一个$K$-最近邻（KNN）搜索和多层感知器（MLP）检查。通过数学分析那里的操作，得到两个发现，以提高效率的GCN。(1)3D表示的局部几何结构信息在GCN上平滑传播，GCN依赖于KNN搜索来收集邻域特征。这促进了GCN中多个KNN搜索的简化。(2)打乱图特征收集和MLP的顺序导致等效或类似的复合操作。基于这些发现，我们优化了GCN的计算过程。一系列实验表明，优化后的网络降低了计算复杂性，减少了内存消耗，加快了推理速度，同时保持了相当的点云学习精度。代码将在\url{https://github.com/ofsoundof/EfficientGCN.git}上提供。
2021-04-12 cs.CV
Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai Jiao Tong University（上海交通大学）
近年来的研究多采用图卷积网络对标签依赖关系进行建模，以提高多标签图像识别的准确率。然而，通过计算训练数据的标签共现可能性来构建图可能会降低模型的泛化能力，特别是当测试图像中偶尔存在共现对象时。我们的目标是消除这种偏见，提高学习功能的鲁棒性。为此，我们提出了一个注意力驱动的动态图卷积网络（ADD-GCN），动态生成一个特定的图为每个图像。ADD-GCN采用动态图卷积网络（D-GCN）来建模由语义注意模块（SAM）生成的内容感知类别表示之间的关系。在公共多标签基准上的大量实验证明了我们方法的有效性，在MS-COCO，VOC 2007和VOC 2012上分别实现了85.2%，96.0%和95.5%的mAP，并且以明显的优势优于当前最先进的方法。所有代码都可以在https://github.com/Yejin0111/ADD-GCN上找到。
2020-12-05 cs.CV
REGINA - Reasoning Graph Convolutional Networks in Human Action Recognition
IT: Instituto de Telecomunicações（IT：电信研究所）；University of Beira Interior（贝拉内格罗大学）；NOVA LINCS（NOVA LINCS实验室）
众所周知，人体骨架的运动学揭示了在动作识别中有价值的信息。最近，已经报道了利用图卷积网络（GCN）将骨架建模为时空图，以稳固地推进最先进的性能。然而，基于GCN的方法只从原始骨架数据中学习，并期望自己提取固有的结构信息。本文介绍了REGINA，介绍了一种新的推理图卷积网络在人体动作识别中的应用。其基本原理是向GCN提供通过手工制作的特征获得的关于骨架数据的额外知识，以促进学习过程，同时保证它以端到端的方式保持完全可训练。挑战在于捕获连续帧之间动态的互补信息，这是由最先进的GCN技术提取的关键信息。此外，所提出的策略可以很容易地集成到现有的基于GCN的方法，我们也积极看待。我们的实验是在众所周知的动作识别数据集上进行的，并且能够得出结论，当将REGINA与其他基于GCN的方法结合时，REGINA有助于提高性能，而无需对原始方法进行任何其他调整。为了重现性，REGINA代码和进行的所有实验将在https://github.com/DegardinBruno上公开。
2021-05-14 cs.CV
GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network
Rovira i Virgili University（罗维拉·依维尔基里大学）
深度估计是提高环境感知精度的三维重建的一项具有挑战性的任务。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）已经展示了其在从单眼视频估计深度图方面的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能工作在具有确定大小和权重的规则图像区域上。另一方面，图卷积网络（GCN）可以处理非欧数据的卷积，并且可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中，为了保持对象的几何外观和分布，我们的目标是利用GCN的自我监督的深度估计模型。我们的模型由两个并行的自动编码器网络组成：第一个是自动编码器，它将依赖于ResNet-50并从输入图像中提取特征，并依赖于多尺度GCN来估计深度图。进而，第二网络将用于估计自我运动矢量（即，基于ResNet-18的两个连续帧之间的3D姿态）。所估计的3D姿态和深度图两者将用于构造目标图像。使用与光度、投影和平滑度相关的损失函数的组合来处理差的深度预测并保持对象的不连续性。特别是，我们的方法在公开的KITTI和Make 3D数据集上提供了相当的和有前途的结果，预测准确率高达89%，与最先进的解决方案相比，可训练参数的数量减少了40%。源代码可在https://github.com/ArminMasoumian/GCNDepth.git上公开获取
2021-12-13 cs.CV
Are Spatial-Temporal Graph Convolution Networks for Human Action Recognition Over-Parameterized?
University of Liverpool, UK（利物浦大学）；Ningbo Institute of Materials Technology and Engineering, CAS, China（宁波材料技术与工程研究所）；University of Exeter, UK（埃克塞特大学）
针对ST-GCNs用于人体动作识别可能参数过多的问题，研究者基于彩票假设验证该猜想，提出稀疏ST-GCN生成器及多级稀疏集成模型，在大幅减参的同时保持甚至提升识别性能。
2025-05-15 cs.CV
Relation Modeling with Graph Convolutional Networks for Facial Action Unit Detection
Tianjin University（天津大学）；JAIST（北陆先端科学技术大学院大学）
大多数考虑AU关系的现有AU检测工作依赖于具有手动提取特征的概率图模型。本文提出了一个端到端的深度学习框架，用于面部AU检测，使用图卷积网络（GCN）进行AU关系建模，这是以前没有探索过的。特别地，首先提取AU相关区域，通过自动编码器学习充满AU信息的潜在表示。此外，每个隐表示向量作为一个节点馈入GCN，GCN的连接模式是基于AU的关系来确定的。最后，通过GCN更新的组装特征被连接用于AU检测。在BP4D和DISFA基准测试上的大量实验表明，我们的框架显着优于最先进的面部AU检测方法。所提出的框架也通过一系列的消融研究进行了验证。
2019-10-23 cs.CV
MSR-GCN: Multi-Scale Residual Graph Convolution Networks for Human Motion Prediction
South China University of Technology（华南理工大学）；JD Finance America Corporation（京东金融美国公司）；Sun Yat-sen University（中山大学）
人体运动预测是一个具有挑战性的任务，由于未来的位姿的随机性和非周期性。最近，图卷积网络已被证明可以非常有效地学习姿态关节之间的动态关系，这有助于姿态预测。另一方面，人们可以递归地抽象人类姿势以获得多个尺度下的姿势集合。随着抽象层次的增加，姿态的运动变得更加稳定，这也有利于姿态预测。本文提出了一种新的多尺度残差图卷积网络（MSR-GCN），用于端到端的人体姿态预测任务。GCN用于从细到粗尺度提取特征，然后从粗到细尺度。然后将每个尺度下提取的特征进行组合和解码，以获得输入和目标姿态之间的残差。对所有预测的姿势施加中间监督，这迫使网络学习更具代表性的特征。我们提出的方法在两个标准的基准数据集上进行了评估，即，Human3.6M和CMU Mocap数据集。实验结果表明，我们的方法优于国家的最先进的方法。代码和预训练模型可在https://github.com/Droliven/MSRGCN上获得。
2021-08-17 cs.CV
Distilling Knowledge from Graph Convolutional Networks
Stevens Institute of Technology（史蒂文斯理工学院）；The University of Sydney（悉尼大学）；Zhejiang University（浙江大学）
现有的知识蒸馏方法集中在卷积神经网络（CNN）上，其中输入样本（如图像）位于网格域中，并且在很大程度上忽略了处理非网格数据的图卷积网络（GCN）。在本文中，我们提出了第一种专门的方法来从预训练的GCN模型中提取知识。为了使知识转移从教师GCN的学生，我们提出了一个本地结构保持模块，明确占教师的拓扑语义。在该模块中，教师和学生的局部结构信息被提取为分布，因此最小化这些分布之间的距离使教师能够进行拓扑感知的知识转移，从而产生紧凑而高性能的学生模型。此外，所提出的方法很容易扩展到动态图模型，其中教师和学生的输入图可能不同。我们使用不同架构的GCN模型在两个不同的数据集上对所提出的方法进行了评估，并证明了我们的方法在GCN模型上实现了最先进的知识蒸馏性能。代码可在https://github.com/ihollywhy/DistillGCN.PyTorch上公开获取。
2021-01-10 cs.CV
Self-supervised Training of Graph Convolutional Networks
Wuhan University（武汉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
图卷积网络（Graph Convolutional Network，GCN）已成功地应用于分析非网格数据，而经典的卷积神经网络（Convolutional Neural Network，CNN）不能直接用于这些数据。GCN和CNN的一个相似之处是需要大量的标记数据进行网络训练。此外，GCN需要邻接矩阵作为输入来定义非网格数据之间的关系，这导致所有的数据包括训练、验证和测试数据通常只形成一个图结构数据用于训练。此外，由于邻接矩阵通常是预先定义的，且是固定的，这使得数据增强策略不能应用于已构造的图结构数据，从而无法增加训练数据的数量。为了进一步提高有限训练数据下的学习能力和模型性能，本文提出了两种自监督学习策略，以利用输入图结构数据本身的可用信息。我们提出的自监督学习策略在两个有代表性的GCN模型上进行了检验，使用了三个公共引文网络数据集- Citeseer，Cora和Pubmed。实验结果表明，泛化能力以及我们提出的策略的可移植性，这可以显着提高GCN的性能与自监督学习在改善特征学习的力量。
2020-06-03 cs.CV
Graph Neural Assisted Actor-Critic for Latency-Efficient Edge Vision System
CISTER Research Center（CISTER研究中心）；Instituto de Telecomunicações（电信研究所）；Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）；Kennesaw State University（肯尼索州立大学）；OmniVision Technologies Inc.（豪威科技公司）；Pontificia Universidad Católica de Chile（智利天主教大学）
针对无人机机载视觉系统视频传输延迟高的问题，提出GCN辅助A2C的深度强化学习模型，通过传输目标像素关联子组而非完整帧，同时降低了传输延迟与误检率。
2026-09-16 cs.AI cs.CV
