Pose Refinement Graph Convolutional Network for Skeleton-based Action Recognition
随着2D或3D骨骼数据捕获技术的发展，基于骨骼的动作识别在过去几年中受到了越来越多的关注。由于骨架数据通常由图表示，因此已经提出了用于该任务的图卷积网络。虽然当前的图卷积网络准确地识别动作，但它们对于计算资源有限的机器人应用来说太昂贵了。因此，在本文中，我们提出了一个高效的图卷积网络，解决了以前的作品的局限性。这是通过逐渐融合运动和空间信息的并行结构以及通过尽可能早地降低时间分辨率来实现的。此外，我们明确地解决了人类姿势可能包含错误的问题。为此，网络首先对姿势进行细化，然后再对其进行进一步处理以识别动作。因此，我们称该网络为姿态精化图卷积网络。与其他图卷积网络相比，该网络在达到相当精度的同时，所需参数减少了86%-93%，浮点运算减少了89%-96%.因此，它在精度、内存占用和处理时间之间提供了更好的权衡，这使得它适用于机器人应用。
2021-01-18 cs.CV
Richly Activated Graph Convolutional Network for Action Recognition with Incomplete Skeletons
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
目前基于骨架的人体动作识别方法通常使用完全观察到的骨架。然而，在实际场景中，它很容易捕获不完整和噪声的骨架，这将恶化传统模型的性能。为了提高动作识别模型对不完整骨架的鲁棒性，提出了一种多流图卷积网络（GCN），用于探索分布在所有骨架关节上的足够的判别特征。在这里，网络的每个流只负责从当前未激活的关节中学习特征，这些特征由前一个流获得的类激活图（CAM）来区分，因此所提出的方法的激活关节明显多于传统方法。因此，所提出的方法被称为丰富激活的GCN（RA-GCN），其中丰富发现的特征将提高模型的鲁棒性。与最先进的方法相比，RA-GCN在NTU RGB+D数据集上实现了相当的性能。此外，在合成遮挡数据集上，RA-GCN可以显着减轻性能恶化。
2019-05-17 cs.CV
Label-Efficient Skeleton-based Recognition with Stable-Invertible Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（国家科学研究中心）；LIP6（LIP6实验室）
本文提出了一种基于可逆图卷积网络的高效标签骨架动作识别方法，通过学习最信息量的子集以提升识别性能。
2025-11-21 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition
Chiba University（千叶大学）
本研究利用联合傅里叶变换分析图卷积神经网络在骨架动作识别中的鲁棒性，发现对抗训练能增强鲁棒性且不引入权衡，但傅里叶方法无法解释部位遮挡的脆弱性。
2023-12-30 cs.CV
Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在非欧几里德数据结构建模方面已经非常成功，如身体骨架序列形成建模为时空图的动作。大多数基于GCN的动作识别方法使用具有高计算复杂性的深度前馈网络来处理动作中的所有骨架。这导致大量浮点运算（从16G到100G FLOP）来处理单个样本，使得它们在受限计算应用场景中的采用不可行。在本文中，我们提出了一个时间注意力模块（TAM），通过选择在网络的早期层的行动的信息量最大的骨架，以提高效率在基于网络的动作识别。我们将TAM在一个轻量级的GCN拓扑结构，以进一步减少计算的总数。在两个基准数据集上的实验结果表明，该方法在计算量减少2.9倍的情况下，性能大大优于基于GCN的基线方法。此外，它的性能与最新技术相当，计算次数减少了9.6倍。
2021-04-22 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）将人体骨架建模为时空图，在基于人体骨架的动作识别中取得了令人瞩目的成绩。然而，在现有的基于GCN的方法中，图的拓扑是手动设置的，并且在所有层和输入样本上都是固定的。这可能不是最佳的分层GCN和不同的动作识别任务中的样本。此外，二阶信息（骨骼的长度和方向）的骨架数据，这是自然更多的信息和歧视性的动作识别，很少在现有的方法进行研究。在这项工作中，我们提出了一种新的双流自适应图卷积网络（2s-AGCN）的动作识别。在我们的模型中，图的拓扑结构可以通过BP算法以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应不同的数据样本。此外，提出了一个双流框架，同时建模的一阶和二阶信息，这表明显着提高识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-07-10 cs.CV
Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks
图卷积网络（GCN）将CNN推广到更通用的非欧结构，在基于卷积的动作识别方面取得了显着的性能。然而，仍然存在一些问题，在以前的GCN为基础的模型。首先，图的拓扑结构被逐层设置并且固定在所有模型层和输入数据上。这可能不适合GCN模型的层次结构和动作识别任务中数据的多样性。第二，骨架数据的二阶信息，即，骨骼的长度和方向很少被研究，这对于人类动作识别来说自然是更有信息量和区别性的。在这项工作中，我们提出了一种新的多流注意力增强的自适应图卷积神经网络（MS-AAGCN）的动作识别。我们模型中的图拓扑可以基于输入数据以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应各种数据样本。此外，提出的自适应图卷积层通过时空通道注意模块进一步增强，这有助于模型更多地关注重要的关节，帧和特征。此外，关节和骨骼的信息，连同他们的运动信息，同时建模在一个多流的框架，这表明识别精度显着提高。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-12-15 cs.CV
Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition
Hikvision Research Institute（海康威视研究院）
在基于卷积的动作识别的背景下，图卷积网络（GCN）已经迅速发展，而卷积神经网络（CNN）受到较少的关注。一个原因是CNN被认为在对不规则骨架拓扑建模方面很差。为了缓解这一限制，我们提出了一个纯CNN架构命名为拓扑感知的CNN（Ta-CNN）在本文中。特别是，我们开发了一种新的跨渠道的功能增强模块，这是一个组合的地图参加组地图操作。通过将该模块应用于坐标层和关节层，有效地增强了拓扑特征。值得注意的是，我们从理论上证明了图卷积是正常卷积的一个特殊情况下，联合维数被视为通道。这证实了GCN的拓扑建模能力也可以通过使用CNN来实现。此外，我们创造性地设计了一个混合策略，以独特的方式混合两个人，进一步提高性能。在N-UCLA、SBU、NTU RGB+D和NTU RGB+D 120四个广泛使用的数据集上进行了大量的实验，以验证Ta-CNN的有效性。我们大大超过了现有的基于CNN的方法。与领先的基于GCN的方法相比，我们实现了相当的性能，在所需的GFLOPs和参数方面的复杂性要低得多。
2021-12-09 cs.CV
Richly Activated Graph Convolutional Network for Robust Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shandong University of Science and Technology（山东科技大学）；Artificial Intelligence Research, Chinese Academy of Sciences（中国科学院人工智能研究院）
目前基于骨架的人体动作识别方法通常使用完整的骨架。然而，在实际场景中，不可避免地要捕获不完整或有噪声的骨架，当一些信息关节被遮挡或干扰时，这可能会显着降低当前方法的性能。为了提高动作识别模型的鲁棒性，提出了一种多流图卷积网络（GCN），利用分布在所有骨骼关节上的足够的判别特征，通过分布式冗余表示降低了动作模型对非标准骨骼的敏感性.具体地说，骨干GCN是由一系列有序的流，这是负责学习的关节较少激活的前流的区别性功能。在这里，每个GCN流的骨架关节的激活程度测量的类激活地图（CAM），只有来自未激活的关节的信息将被传递到下一个流，通过它获得丰富的功能，在所有活动的关节。因此，所提出的方法被称为富活化GCN（RA-GCN）。与最先进的（SOTA）方法相比，RA-GCN在标准NTU RGB+D 60和120数据集上实现了相当的性能。更重要的是，在合成的遮挡和抖动数据集上，由于遮挡和干扰关节而导致的性能恶化可以通过利用所提出的RA-GCN来显着缓解。
2020-11-26 cs.CV
Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition
如何有效地从骨架序列中提取时空信息用于三维人体动作识别仍然是一个挑战。虽然大多数最近的动作识别方法是基于递归神经网络表现出出色的性能，这些方法的缺点之一是倾向于过分强调时间信息。由于3D卷积神经网络（3D CNN）是一种通过捕捉三维信号之间的相关性同时从空间和时间维度学习特征的强大工具，本文提出了一种新的基于3D CNN的双流模型。据我们所知，这是3D CNN在基于神经网络的动作识别中的首次应用。我们的方法包括三个阶段。首先，骨骼关节映射到三维坐标空间，然后编码的空间和时间信息，分别。其次，分别采用三维CNN模型从两个流中提取深度特征。第三，为了增强深度特征捕捉全局关系的能力，我们将每个流扩展为多时态版本。在SmartHome数据集和大规模NTU RGB-D数据集上进行的大量实验表明，我们的方法优于大多数基于RNN的方法，这验证了空间和时间信息之间的互补性以及对噪声的鲁棒性。
2017-06-07 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition
Hikvision Research Institute（海康威视研究院）；College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
图卷积网络（GCN）在基于图的动作识别中引起了越来越多的关注。其关键在于图结构的设计，它对骨架拓扑信息进行编码。在本文中，我们提出了动态GCN，其中一个新的卷积神经网络命名为上下文编码网络（CeN）的自动学习骨架拓扑结构。特别地，当学习两个关节之间的依赖性时，来自其余关节的上下文特征以全局方式并入。CeN非常轻量级但有效，可以嵌入到图卷积层中。通过堆叠多个支持CEN的图卷积层，我们构建了动态GCN。值得注意的是，作为Ceon的优点，动态图拓扑结构是针对不同的输入样本以及各种深度的图卷积层构建的。此外，三个可选的上下文建模架构进行了很好的探索，这可能是未来的研究图拓扑学习的指导方针。CeN仅为基线模型带来约7%的额外FLOP，而动态GCN实现了更好的性能，与现有方法相比，$2\times$的FLOP少了$4\times$。通过进一步结合静态物理身体连接和运动模态，我们在三个大规模基准测试中实现了最先进的性能，即NTU-RGB+D，NTU-RGB+D 120和Atrieton-Kinetics。
2020-07-29 cs.CV
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；University of Science and Technology of China (USTC)（中国科学技术大学）
基于骨架的动作识别是一项重要的任务，它需要从给定的骨架序列中充分理解人体动作的运动特征。最近的研究表明，探索骨骼序列的空间和时间特征是这项任务的关键。然而，如何有效地提取具有区分性的时空特征仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的注意力增强图卷积LSTM网络（AGC-LSTM），用于从骨架数据中识别人类动作。所提出的AGC-LSTM不仅可以捕获空间配置和时间动态中的区分特征，还可以探索空间域和时间域之间的共现关系。我们还提出了一个时间层次架构，以增加顶部AGC-LSTM层的时间感受野，这提高了学习高级语义表示的能力，并显着降低了计算成本。此外，为了选择有区别的空间信息，采用注意力机制来增强每个AGC-LSTM层中的关键关节的信息。在NTU RGB+D数据集和Northwestern-UCLA数据集上进行了实验。比较结果表明，我们的方法的有效性，并表明我们的方法优于国家的最先进的方法在这两个数据集。
2019-03-29 cs.CV
Learning Chebyshev Basis in Graph Convolutional Networks for Skeleton-based Action Recognition
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）
谱图卷积网络（GCN）是一种特殊的深度模型，旨在将神经网络扩展到任意不规则域。这些网络的原理在于使用其拉普拉斯算子的特征分解来投影图形信号，然后在将所得滤波信号反向投影到输入图形域之前在谱域中实现滤波。然而，这些操作的成功在很大程度上取决于所使用的拉普拉斯算子的相关性，这些拉普拉斯算子大多是手工制作的，这使得GCN显然是次优的。在本文中，我们介绍了一种新的谱GCN，它不仅学习通常的卷积参数，而且学习拉普拉斯算子。后者被设计为“端到端”的递归切比雪夫分解的一部分，具有传递学习表示的微分和非微分特性的特殊性-随着阶数和鉴别能力的增加-而不会过度参数化训练的GCN。广泛的实验，进行了具有挑战性的任务，基于动作识别，我们提出的拉普拉斯设计w.r.t.的泛化能力和表现优异。不同的基线（建立在手工制作和其他学习拉普拉斯）以及相关的工作。
2021-12-27 cs.CV
G3CN: Gaussian Topology Refinement Gated Graph Convolutional Network for Skeleton-Based Action Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系）；Chadwick School（查德威学校）
提出G3CN，通过高斯滤波细化骨架拓扑图并集成门控循环单元，增强模糊动作区分能力，在多个基准上验证了有效性。
2025-09-09 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Hierarchically Decomposed Graph Convolutional Networks for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对基于骨架的动作识别中语义边提取难的问题，提出带HD-Graph的HD-GCN架构，结合A-HA模块与六向集成法，在四个大型数据集上取得最优性能。
2023-07-19 cs.CV
Multi-Dimensional Refinement Graph Convolutional Network with Robust Decouple Loss for Fine-Grained Skeleton-Based Action Recognition
Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
针对细粒度骨架动作识别中类间相似和姿态噪声问题，提出CVSTA注意力模块与MDR-GCN网络增强多维度特征判别力，并设计RDL损失抑制噪声，在多个数据集上取得最优性能。
2023-06-27 cs.CV
Multi-Scale Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition
Peking University（北京大学）；Zhejiang University（浙江大学）；Syracuse University（雪城大学）
由于图卷积网络对非欧数据具有良好的建模能力，因此被广泛应用于基于卷积的动作识别。由于图卷积是一种局部操作，它只能利用短距离的关节依赖关系和短期轨迹，但不能直接建模远距离关节关系和长期的时间信息，这是至关重要的区分各种行动。为了解决这个问题，我们提出了一个多尺度空间图卷积（MS-GC）模块和一个多尺度时间图卷积（MT-GC）模块，以丰富在空间和时间维度的模型的感受野。具体地，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图卷积，形成分层残差架构。在不引入额外参数的情况下，特征将通过一系列子图卷积进行处理，每个节点可以与其邻域完成多个空间和时间聚合。最后等效的感受野相应地扩大，这是能够捕获在空间和时间域的短期和长期的依赖性。通过将这两个模块耦合为一个基本块，我们进一步提出了一个多尺度时空图卷积网络（MST-GCN），它堆叠多个块来学习有效的动作识别运动表示。所提出的MST-GCN在三个具有挑战性的基准数据集NTU RGB+D，NTU-120 RGB+D和Kinetics-Skeleton上实现了出色的性能，用于基于动作的动作识别。
2022-06-27 cs.CV
Stronger, Faster and More Explainable: A Graph Convolutional Baseline for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Electrical Engineering and Automation, Shandong University of Science and Technology（山东科技大学电气工程与自动化学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
基于骨架的动作识别中的一个基本问题是如何提取所有骨架关节的区分特征。然而，该任务的最先进的（SOTA）模型的复杂性往往是非常复杂和过度参数化，其中模型训练和推理的低效率阻碍了该领域的发展，特别是对于大规模的行动数据集。在这项工作中，我们提出了一个基于图卷积网络（GCN）的高效但强大的基线，其中三个主要的改进是聚合的，即，早期融合的多输入分支（MIB）、具有瓶颈结构的残差GCN（ResGCN）和部分注意（PartAtt）块。首先，MIB的目的是丰富信息骨架功能，并保持紧凑的表示在早期融合阶段。然后，受卷积神经网络（CNN）中ResNet架构的成功启发，在GCN中引入ResGCN模块，以减轻计算成本，降低模型训练中的学习难度，同时保持模型的准确性。最后，提出了一个PartAtt块，以发现整个动作序列中最重要的身体部位，并为不同的骨骼动作序列获得更可解释的表示。在两个大规模数据集上进行了广泛的实验，NTU RGB+D 60和120，验证了所提出的基线略优于其他SOTA模型，同时在训练和推理过程中需要更少的参数，例如，最多比DGNN少34倍，这是最好的SOTA方法之一。
2020-10-20 cs.CV
NeuroPath: Brain-Inspired Dual-Pathway Graph Convolutional Networks for Skeleton-Based Action Recognition
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Durham University（杜伦大学）；Zhongguancun Laboratory（中关村实验室）
NeuroPath受人类感知通路启发，采用双通路图卷积网络架构，通过分组图卷积块和通路间融合模块提升基于骨骼的动作识别性能，在三个公开数据集上取得一致效果提升。
2026-08-19 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation（索尼公司）
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN，以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Feedback Graph Convolutional Network for Skeleton-based Action Recognition
R&D Center of Artificial Intelligent, NUCTECH Company Limited（NUCTECH有限公司人工智能研发中心）；Department of Engineering Physics, Tsinghua University（清华大学工程物理系）；Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Department of Computer Science and Information Systems, Birkbeck College（伦敦大学伯贝克学院计算机科学与信息系统系）
基于骨架的动作识别在计算机视觉中受到了广泛的关注，因为骨架数据比其他形式的数据对动态环境和复杂背景具有更强的鲁棒性。近年来，许多研究者利用图卷积网络（GCN）对骨架序列的时空特征进行端到端的优化建模。然而，传统的GCN是前馈网络，这是不可能的低级别层访问高层的语义信息。在本文中，我们提出了一种新的网络，称为反馈图卷积网络（FGCN）。这是第一个将反馈机制引入GCN和动作识别的工作。与传统的GCN相比，FGCN具有以下优点：（1）设计了一种多级时间采样策略，以从粗到细的渐进过程提取动作识别的时空特征;（2）提出了一种基于稠密连接的反馈图卷积块（FGCB），将反馈连接引入GCN。它将高层语义特征传递到低层，并逐步流动的时间信息，逐步建模全局时空特征的动作识别;（3）FGCN模型提供早期预测。在早期阶段，模型接收关于动作的部分信息。当然，它的预测相对粗糙。粗略的预测被视为之前，以指导后续阶段的特征学习，以进行准确的预测。在NTU-RGB+D、NTU-RGB+D120和Northwestern-UCLA数据集上的实验结果表明，该方法能够有效地进行动作识别。它在三个数据集上实现了最先进的性能。
2020-03-17 cs.CV
Predictively Encoded Graph Convolutional Network for Noise-Robust Skeleton-based Action Recognition
Curtin University（科廷大学）；Gwangju Institution of Science and Technology（光州科学技术院）
在基于卷积神经网络的动作识别中，图卷积网络（GCN）使用节点和连接等图形组件对人体骨架进行建模，近年来取得了令人瞩目的性能。然而，目前国家的最先进的方法，基于骨骼的动作识别通常工作的假设，完全观察到的骨架将提供。在真实场景中应用该假设可能会有问题，因为捕获的骨架总是有可能不完整或有噪声。在这项工作中，我们提出了一种基于骨架的动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性。我们的方法的关键见解是训练模型，通过最大化之间的互信息正常和噪声骨架使用预测编码的方式。我们使用NTU-RGB+D和Kinetics-Skeleton数据集进行了关于带有缺陷骨架的基于机器人的动作识别的综合实验。实验结果表明，我们的方法取得了优异的性能时，骨架样本噪声与现有的国家的最先进的方法相比。
2020-03-17 cs.CV cs.LG eess.IV
Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching
University of Oulu（奥卢大学）；Xi’an Jiaotong University（西安交通大学）
基于图卷积网络（GCN）的骨架数据人体动作识别，由于其对非欧结构数据建模能力强，受到了广泛关注。然而，许多现有的GCN方法提供了一个预定义的图，并通过整个网络固定它，这可能会丢失隐含的联合相关性。此外，主流的谱GCN近似为一阶跳，因此没有很好地涉及高阶连接。因此，需要付出巨大的努力来探索更好的GCN架构。为了解决这些问题，我们转向神经结构搜索（NAS），并提出了第一个自动设计的GCN基于神经网络的动作识别。具体来说，我们丰富的搜索空间，提供多个动态图形模块后，充分探索节点之间的时空相关性。此外，我们还引入了多跳模块，希望能突破一阶近似所带来的表示能力的限制。此外，采样和内存效率的演化策略，提出了搜索最佳的结构，为这项任务。由此产生的架构证明了高阶近似和动态图建模机制的有效性与时间的相互作用，这是几乎没有讨论过。为了评估搜索模型的性能，我们在两个非常大规模的数据集上进行了大量的实验，结果表明我们的模型得到了最先进的结果。
2019-11-11 cs.CV
A Fine-to-Coarse Convolutional Neural Network for 3D Human Action Recognition
Tokyo Institute of Technology（东京工业大学）
本文提出了一种新的框架，从三维骨架序列的人体动作识别。以前的研究没有充分利用人类动作中视频片段之间的时间关系。一些研究成功地使用了非常深的卷积神经网络（CNN）模型，但经常遭受数据不足的问题。在这项研究中，我们首先段骨架序列到不同的时间段，以利用它们之间的相关性。然后，通过利用针对人体骨骼序列优化的从细到粗（F2C）CNN架构同时提取骨骼序列的时间和空间特征。我们在NTU RGB+D和SBU Kinect Interaction数据集上评估了我们提出的方法。它在NTU RGB+D上分别实现了79.6%和84.6%的精度，与最先进的性能几乎相同。此外，我们的方法显着提高了两人互动中的动作的准确性。
2018-08-18 cs.CV
Learning to Recognize 3D Human Action from A New Skeleton-based Representation Using Deep Convolutional Neural Networks
Cerema（法国道路与交通研究所）；Institut de Recherche en Informatique de Toulouse (IRIT)（图卢兹信息技术研究所）；Université de Toulouse（图卢兹大学）；Aparnix（阿帕尼克斯公司）；University Carlos III de Madrid（马德里卡洛斯三世大学）；Queen Mary University of London（伦敦玛丽女王大学）；Cortexica Vision Systems Ltd.（科泰克萨视觉系统有限公司）
在未经修剪的视频中识别人类动作是一项重要的挑战性任务。有效的三维运动表示和强大的学习模型是影响识别性能的两个关键因素。在本文中，我们介绍了一种新的基于图像的表示三维动作识别视频。提出的表示的核心思想是通过颜色编码过程将骨骼序列中携带的人体的3D关节坐标转换为RGB图像。通过将3D关节坐标归一化并将每个骨架帧分成五个部分，其中关节根据其物理连接的顺序连接，颜色编码表示能够表示复杂3D运动的时空演变，而与每个序列的长度无关。然后，我们设计和训练不同的深度卷积神经网络（D-CNN），基于残差网络架构（ResNet）对获得的基于图像的表示，以学习3D运动特征并将其分类。我们的方法在两个广泛使用的动作识别基准上进行了评估：MSR 3D和NTU-RGB+D，这是一个非常大规模的3D人体动作识别数据集。实验结果表明，该方法优于以前的国家的最先进的方法，同时需要更少的计算训练和预测。
2018-12-26 cs.CV
ReL-SAR: Representation Learning for Skeleton Action Recognition with Convolutional Transformers and BYOL
University of Quebec (TÉLUQ)（魁北克大学（TÉLUQ））；Polytechnique Montréal（蒙特利尔理工学院）
提出轻量级卷积 Transformer 框架 ReL-SAR，结合关节选择—排列策略与 BYOL 无监督学习骨骼动作表征，在四个有限规模数据集上实现兼具性能与效率的竞争力结果。
2024-09-09 cs.AI cs.CV
MK-SGN: A Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation for Skeleton-based Action Recognition
Beijing Laboratory of Advanced Information Networks, Beijing Key Laboratory of Network System Architecture and Convergence, School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京先进信息网络实验室、网络系统架构与收敛重点实验室、信息与通信工程学院、北京邮电大学）
针对基于GCN的骨骼动作识别方法能耗高的问题，首次提出结合多模态融合与知识蒸馏的脉冲图卷积网络MK-SGN，实现了98%以上的能耗降低，同时保持精度竞争力，为相关模型开发提供基线。
2025-11-19 cs.CV
DMMG: Dual Min-Max Games for Self-Supervised Skeleton-Based Action Recognition
University of Technology Sydney（悉尼科技大学）；University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了一个新的双最小最大游戏（DMMG）的自监督骨架动作识别方法，通过增加未标记的数据在对比学习框架。我们的DMMG由一个观点变化的最小-最大博弈和边扰动的最小-最大博弈。这两个最小-最大游戏采用对抗范式，分别对骨架序列和图形结构的身体关节执行数据增强。我们的观点变化最小最大游戏的重点是构建各种硬对比对生成骨架序列从不同的观点。这些硬对比对帮助我们的模型学习代表性动作特征，从而促进模型向下游任务的转移。此外，我们的边扰动最小-最大游戏专门通过扰动基于图的身体关节之间的连接强度来构建不同的硬对比样本。连接强度变化对比对使得模型能够捕获不同动作的最小的足够信息，诸如动作的代表性手势，同时防止模型过拟合。通过充分利用所提出的DMMG，我们可以生成足够的具有挑战性的对比对，从而以自监督的方式从未标记的骨架数据中实现有区别的动作特征表示。大量的实验表明，我们的方法在广泛使用的NTU-RGB+D和NTU 120-RGB+D数据集上的各种评估协议下取得了优异的结果。
2023-02-22 cs.CV
Skeleton-based Human Action Recognition via Convolutional Neural Networks (CNN)
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；College of Computing and Informatics（计算与信息学院）
最近，有一个显着增加的兴趣在研究社区内对基于信标的动作识别，由于其各种有利的功能，包括计算效率，代表性的功能，和光照不变性。尽管如此，研究人员仍在继续探索和研究通过骨架表示和提取的特征来表示人类动作的最佳方式。因此，人类动作识别数据集的增长和可用性大幅上升。此外，由于各种计算机视觉任务的显著进步，基于深度学习的算法已经获得了广泛的普及。大多数最先进的贡献，在基于动作识别的图神经网络（GCN）架构，用于表示人体和提取功能。我们的研究表明，卷积神经网络（CNN）可以达到与GCN相当的结果，只要应用适当的训练技术，增强和优化。我们的方法已经过严格验证，在NTU-60数据集上，我们的得分达到了95
2023-01-31 cs.AI cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
REGINA - Reasoning Graph Convolutional Networks in Human Action Recognition
IT: Instituto de Telecomunicações（IT：电信研究所）；University of Beira Interior（贝拉内格罗大学）；NOVA LINCS（NOVA LINCS实验室）
众所周知，人体骨架的运动学揭示了在动作识别中有价值的信息。最近，已经报道了利用图卷积网络（GCN）将骨架建模为时空图，以稳固地推进最先进的性能。然而，基于GCN的方法只从原始骨架数据中学习，并期望自己提取固有的结构信息。本文介绍了REGINA，介绍了一种新的推理图卷积网络在人体动作识别中的应用。其基本原理是向GCN提供通过手工制作的特征获得的关于骨架数据的额外知识，以促进学习过程，同时保证它以端到端的方式保持完全可训练。挑战在于捕获连续帧之间动态的互补信息，这是由最先进的GCN技术提取的关键信息。此外，所提出的策略可以很容易地集成到现有的基于GCN的方法，我们也积极看待。我们的实验是在众所周知的动作识别数据集上进行的，并且能够得出结论，当将REGINA与其他基于GCN的方法结合时，REGINA有助于提高性能，而无需对原始方法进行任何其他调整。为了重现性，REGINA代码和进行的所有实验将在https://github.com/DegardinBruno上公开。
2021-05-14 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Pose-Guided Graph Convolutional Networks for Skeleton-Based Action Recognition
Korea University（高丽大学）
图卷积网络（Graph Convolutional Network，GCN）能够将人体骨架建模为空间和时间图，在基于图的动作识别中显示出了巨大的潜力。然而，在现有的基于GCN的方法中，人体骨架的图结构表示使得其难以与其他模态融合，特别是在早期阶段。这可能会限制它们在动作识别任务中的可扩展性和性能。此外，姿势信息，其中自然包含的信息和判别线索的动作识别，很少探索与骨架数据在现有的方法。在这项工作中，我们提出了姿势引导GCN（PG-GCN），高性能的人类动作识别的多模态框架。特别是，一个多流网络的构建，同时探索从姿态和骨架数据的鲁棒性的功能，而一个动态注意模块的设计用于早期的特征融合。该模块的核心思想是利用一个可训练的图来聚合骨架流中的特征和姿势流中的特征，从而产生一个具有更强大的特征表示能力的网络。大量的实验表明，所提出的PG-GCN可以实现国家的最先进的性能在NTU RGB+D 60和NTU RGB+D 120数据集。
2022-10-10 cs.CV eess.IV eess.SP
Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics
Beijing University of Posts and Telecommunications（北京邮电大学）
针对GCN能耗高、SNN难以建模骨骼动力学的问题，提出融合时频特征的脉冲图卷积网络Signal-SGN，在三个数据集上实现优于现有SNN方法的性能与能效，接近GCN效果且大幅降低能耗。
2025-10-30 cs.CV
Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）
图卷积网络将人体骨骼关节建模为顶点，并通过邻接矩阵连接它们，该邻接矩阵可以被视为局部注意力掩模。然而，在大多数现有的图卷积网络中，局部注意掩模是基于人体骨骼关节的自然连接来定义的，并且忽略了例如头、手和脚关节之间的动态关系。此外，注意力机制在自然语言处理和图像描述中也被证明是有效的，而在现有的方法中，注意机制的研究却很少。在这项工作中，我们提出了一个新的自适应空间注意力层，扩展局部注意力地图的基础上的相对距离和相对角度信息的全球。此外，我们设计了一个新的初始图邻接矩阵，连接头，手和脚，这表明在动作识别精度方面的明显改善。该模型在人类日常活动领域的两个大规模和具有挑战性的数据集上进行了评估：NTU-RGB+D和Kinetics骨架。结果表明，我们的模型在两个数据集上都具有很强的性能。
2022-07-12 cs.CV
Unifying Graph Embedding Features with Graph Convolutional Networks for Skeleton-based Action Recognition
University of California, Merced（加州大学默塞德分校）；Bishop’s University（毕索大学）；The Education University of Hong Kong（香港教育大学）；City University of Hong Kong（香港城市大学）；Hefei University of Technology（合肥工业大学）
将骨架结构与图卷积网络相结合，在人体动作识别中取得了显著的效果。由于目前的研究主要集中在设计表示骨架数据的基本图，这些嵌入特征包含基本的拓扑信息，无法从骨架数据中学习到更系统的观点。在本文中，我们克服了这一局限性，提出了一种新的框架，它统一了15个图形嵌入特征到图卷积网络的人体动作识别，旨在最好地利用图形信息来区分关键关节，骨骼和人体部位的动作，而不是排他性的单一功能或域。此外，我们充分研究了如何找到最好的骨架结构的图形特征，以提高人体动作识别。此外，骨架序列的拓扑信息进行了探索，以进一步提高在多流框架的性能。在训练过程中，采用自适应的方法提取统一图特征，进一步提高了识别率。我们的模型通过三个大规模数据集，即NTU-RGB+D，Kinetics和SYSU-3D进行验证，并优于最先进的方法。总体而言，本文的工作统一了图嵌入特征，促进了人体动作识别的系统化研究。
2022-10-11 cs.CV cs.LG eess.IV
Actional-Structural Graph Convolutional Networks for Skeleton-based Action Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于骨架数据的动作识别是计算机视觉领域的一个研究热点。以往的研究大多基于固定的骨架图，只捕捉关节间的局部物理依赖关系，可能会遗漏隐含的关节相关性。为了捕获更丰富的依赖关系，我们引入了一个编码器-解码器结构，称为A-link推理模块，直接从动作中捕获特定于动作的潜在依赖关系，即链接。我们还扩展了现有的骨架图表示高阶依赖关系，即结构链接。将这两种类型的链接组合成一个广义的骨架图，我们进一步提出了动作结构图卷积网络（AS-GCN），它将动作结构图卷积和时间卷积作为基本构建块，以学习动作识别的空间和时间特征。未来的姿势预测头与识别头并行添加，以帮助通过自我监督捕获更详细的动作模式。我们使用NTU-RGB+D和Kinetics两个骨架数据集来验证AS-GCN在动作识别中的有效性。建议的AS-GCN实现了一贯的大的改进相比，国家的最先进的方法。作为一个副产品，AS-GCN也显示出有前途的结果，为未来的姿态预测。
2019-04-26 cs.AI cs.CV
Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
一系列基于图卷积网络的方法通过探索邻域信息和帧内关节之间的密集依赖关系，在基于卷积的动作识别中取得了成功。然而，这些方法通常忽略了时空全局上下文以及帧间和帧内的局部关系。在本文中，我们提出了一种聚焦和扩散机制，以提高图卷积网络关注的运动学依赖性的关节的人体姿势在一个帧和他们的隐式依赖帧。在聚焦过程中，我们引入了一个注意力模块来学习帧内关节上的潜在节点，以传达空间上下文信息。通过这种方式，可以很好地捕获帧中关节之间的稀疏连接，而整个序列上的全局上下文通过这些具有双向LSTM的隐藏节点进一步捕获。在扩散过程中，学习到的时空上下文信息被传递回空间关节，导致双向注意图卷积网络（BAGCN），可以促进基于动作的动作识别。在具有挑战性的NTU RGB+D和Queton-Kinetics基准上进行的大量实验证明了我们方法的有效性。
2019-12-24 cs.CV cs.LG cs.RO
Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对现有GCN方法拆分双人骨架导致交互信息丢失的问题，提出统一双人图拓扑与双人图卷积网络（2P-GCN），结合图标记策略学习时空交互特征，在SBU等三个数据集的四个基准上取得最优结果。
2022-11-15 cs.AI cs.CV
HFGCN:Hypergraph Fusion Graph Convolutional Networks for Skeleton-Based Action Recognition
School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文借鉴运动学理论提出基于身体部位与核心距离的骨架拓扑关系分类，并构建超图融合图卷积网络（HFGCN），通过超图注意力与图卷积模块在时间和通道维度优化拓扑建模，在三个数据集上取得最优性能。
2025-02-03 cs.CV cs.LG
High-Performance Inference Graph Convolutional Networks for Skeleton-Based Action Recognition
Robot Science and Engineering（机器人科学与工程）；Northeastern University（东北大学）；School of Intelligent Systems Engineering（智能系统工程学院）；Sun Yat-sen University（中山大学）；Foshan Graduate School of Innovation（佛山创新研究生院）；De Montfort University（德蒙福特大学）；Department of Computer Science（计算机科学系）；Loughborough University（拉夫堡大学）
针对基于骨骼的动作识别中复杂 GCN 推理慢的问题，本文提出采用重参数化与过参数化的 HPI-GCN-RP 和 HPI-GCN-OP，在保持 SOTA 级精度的同时将推理速度提升至五倍。
2025-01-07 cs.CV
Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
随着可访问深度传感器的普及，基于以太网的人类动作识别引起了人们的广泛关注。最近，图卷积网络（GCN）由于其强大的建模能力，已被广泛用于这一任务。邻接图的拓扑结构是对输入骨架的相关性进行建模的关键因素。因此，以前的方法主要集中在图拓扑的设计/学习上。但是一旦学习了拓扑结构，网络的每一层中只存在一个单尺度特征和一个变换。在卷积神经网络（CNN）中已经证明非常有效的许多见解，如多尺度信息和多组变换，尚未在GCN中进行研究。原因在于，由于图结构的骨架数据和传统的图像/视频数据之间的差距，将这些见解嵌入GCN是非常具有挑战性的。为了克服这一差距，我们重新发明了分裂-变换-合并策略，在GCN的骨架序列处理。具体而言，我们设计了一个简单的和高度模块化的图卷积网络架构的基于卷积的动作识别。我们的网络是通过重复一个构建块来构建的，该构建块聚合了来自空间和时间路径的多粒度信息。大量的实验表明，我们的网络性能优于最先进的方法，只有1/5的参数和1/10的FLOP。代码可在https://github.com/yellowtownhz/STIGCN上获得。
2021-08-20 cs.AI cs.CV cs.LG
Vertex Feature Encoding and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Network for Action Recognition
Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与信任跨学科中心（SnT））；University of Luxembourg（卢森堡大学）
本文扩展了时空图卷积网络（ST-GCN），引入了两个新的模块，即图顶点特征编码器（GVFE）和扩展的分层时间卷积网络（DH-TCN），用于基于动作的动作识别。一方面，GVFE模块通过将原始骨架数据编码到新的特征空间中来学习用于动作识别的适当顶点特征。另一方面，DH-TCN模块能够使用分层扩张卷积网络捕获短期和长期时间依赖性。在具有挑战性的NTU RGB-D-60和NTU RGB-D 120数据集上进行了实验。所获得的结果表明，我们的方法与最先进的方法竞争，同时使用较少的层数和参数;从而减少了所需的训练时间和内存。
2019-12-20 cs.CV
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题，提出融合STC模块与DK-GC的STC-Net，自适应建模时空依赖且无额外参数量，在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Skeleton-based Action Recognition of People Handling Objects
Seoul National University（首尔大学）；Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
本文提出一种基于人体和物体姿态的图卷积网络框架，通过选择性采样视频帧构建骨架图，用于识别操作物体的动作，并在公开基准上超越现有方法。
2019-01-21 cs.CV
Temporal-Channel Topology Enhanced Network for Skeleton-Based Action Recognition
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于手势的动作识别由于其高效性和鲁棒性而在近年来变得流行。现有的拓扑建模方法大多采用图卷积网络（GCN），但基于GCN的拓扑建模方法在长距离相关建模和泛化能力方面存在局限性。相比之下，卷积神经网络（CNN）用于拓扑建模的潜力尚未得到充分开发。在本文中，我们提出了一种新的CNN架构，时间通道拓扑增强网络（TCTE-Net），学习空间和时间拓扑结构的基于神经网络的动作识别。TCTE-Net由两个模块组成：时间-通道焦点模块，它学习时间-通道焦点矩阵以识别最关键的特征表示，以及动态通道拓扑注意模块，它动态学习空间拓扑特征，并将它们与注意力机制融合以模拟长距离通道拓扑。我们在NTU RGB+D，NTU RGB+D 120和FineGym数据集上进行实验。与基于CNN的方法相比，TCTE-Net显示出最先进的性能，并且与基于GCN的方法相比，具有更优越的性能。该代码可在https://github.com/aikuniverse/TCTE-Net上获得。
2023-02-25 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
Adversarial Attack on Skeleton-based Human Action Recognition
深度学习模型在基于机器人的人类动作识别方面取得了令人印象深刻的性能。然而，这些模型对对抗攻击的鲁棒性在很大程度上仍未被探索，这是由于它们复杂的时空性质，必须表示稀疏和离散的骨架关节。这项工作提出了第一个对抗攻击基于动作识别的图卷积网络。所提出的有针对性的攻击，称为约束迭代攻击的骨架动作（CIASA），扰动关节位置的动作序列，使所产生的对抗序列保持时间的连贯性，空间的完整性，和拟人的骨架的可扩展性。CIASA通过满足多个物理约束来实现这一壮举，并对扰动骨架采用空间骨架重新排列，以及使用生成网络对对抗骨架进行正则化。我们还探讨了语义不可感知的本地化攻击与CIASA的可能性，并成功地愚弄了国家的最先进的骨架动作识别模型具有高的信心。CIASA扰动显示出高的可转移性的黑盒攻击。我们还表明，扰动的骨架序列能够在用计算机图形创建的RGB视频中诱导对抗行为。NTU和Kinetics数据集的综合评估证实了CIASA在基于图形的骨架动作识别方面的有效性，并揭示了对时空深度学习任务的迫在眉睫的威胁。
2019-09-14 cs.CV
Deep-Aligned Convolutional Neural Network for Skeleton-based Action Recognition and Segmentation
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）；Eurodecision（欧洲决策公司）
卷积神经网络（CNN）是一种深度学习框架，以其在分类任务中的出色表现而闻名。因此，许多基于动作识别和分割（SBARS）的算法在其设计中受益于它们。然而，这样的应用的缺点是在这样的数据类型中的输入特征之间通常缺乏空间关系。此外，非均匀的时间缩放是基于时间的数据流中的一个常见问题，这导致即使在一个特定的动作类别中也有不同的输入大小。在这项工作中，我们提出了一种新的深度对齐的卷积神经网络（DACNN），以解决上述挑战的特定问题的SBARS。我们的网络是通过在CNN的上下文中引入一种新型的过滤器来设计的，CNN是根据它们与输入中的局部序列的对齐来训练的。这些过滤器导致有效的预测以及学习数据中可解释的模式。我们在现实世界的基准测试中对我们的框架进行了经验评估，结果表明，与最先进的算法相比，所提出的DACNN算法获得了具有竞争力的性能，同时受益于一个不太复杂但更易于解释的模型。
2019-11-12 cs.CV cs.LG eess.IV
