GCN-DevLSTM: Path Development for Skeleton-Based Action Recognition
University College London（伦敦大学学院）；University of Oxford（牛津大学）；South China University of Technology（华南理工大学）
本文提出GCN-DevLSTM网络，通过引入G-Dev层提升时间建模能力，有效提取骨架动作序列中的局部时间动态信息，在NTU-60、NTU-120和Chalearn2013数据集上取得竞争优势。
2026-06-29 cs.CV
Skeleton-based Action Recognition via Adaptive Cross-Form Learning
基于骨架的动作识别旨在将骨架序列投影到动作类别，其中骨架序列来自于多种形式的预先检测的点。与早期通过图卷积网络（GCN）探索单一形式骨架的方法相比，现有方法倾向于通过利用多形式骨架来改进GCN，这是由于它们的互补线索。然而，这些方法（无论是调整GCN的结构还是模型集成）都需要在训练和推理阶段共存所有形式的骨架，而现实生活中的典型情况是只存在部分形式的推理。为了解决这个问题，我们提出了自适应交叉形式学习（ACFL），它使设计良好的GCN能够在不改变模型容量的情况下从单一形式的骨架生成互补表示。具体来说，ACFL中的每个GCN模型不仅从单一形式的骨架中学习动作表示，而且还自适应地模仿来自其他形式的骨架的有用表示。通过这种方式，每个GCN都可以学习如何加强已经学到的知识，从而利用模型潜力并促进行动识别。在三个具有挑战性的基准上进行了广泛的实验，即，NTU-RGB+ D120、NTU-RGB+D 60和UAV-Human的实验结果表明了该方法的有效性和通用性。具体来说，ACFL显着改进了各种GCN模型（即，CTR-GCN，MS-G3 D和Shift-GCN），实现了基于信标的动作识别的新记录。
2022-06-30 cs.CV cs.MM
Graph Contrastive Learning for Skeleton-based Action Recognition
Huazhong University of Science & Technology（华中科技大学）；Baidu Inc.（百度公司）
针对现有基于骨架的动作识别GCN仅利用局部序列内上下文的问题，提出SkeletonGCL图对比学习框架，通过双记忆库实现多尺度跨序列全局上下文学习，可无缝集成现有GCN并在多个基准上取得性能提升。
2023-06-10 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology（长冈技术科学大学）；Guizhou College of Electronic Science and Technology（贵州电子科技学院）；Guizhou University（贵州大学）
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题，提出DSTSA-GCN，通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习，在多个基准上取得最优性能。
2025-01-21 cs.CV
Optimized Skeleton-based Action Recognition via Sparsified Graph Regression
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
随着可访问深度传感器的普及，动态人体骨架作为一种鲁棒的动作识别模式引起了人们的广泛关注。以前的方法基于RNN或CNN来建模骨骼，这对于不规则的骨骼关节具有有限的表达能力。虽然已经提出了图卷积网络（GCN）来处理不规则的图结构数据，但基本的图构造仍然具有挑战性。在本文中，我们表示自然的骨架图，并提出了一个基于图回归的GCN（GR-GCN）的动作识别，旨在捕捉数据的时空变化。由于图表示对图卷积至关重要，我们首先提出图回归来从多个观察中统计学习底层图。特别是，我们提供了时空建模的骨架，并提出了一个优化问题的图形结构在连续的帧，这强制执行的稀疏性的底层图形的有效表示。优化后的图不仅将同一帧中的每个关节与其相邻关节强连接或弱连接，而且还与前一帧和后一帧中的相关关节连接。然后，我们将优化的图与骨架序列的坐标一起送入GCN进行特征学习，在那里我们部署了谱图卷积的高阶和快速Chebyshev近似。此外，我们提供了分析的变化特征的切比雪夫近似。实验结果验证了所提出的图回归的有效性，并表明所提出的GR-GCN实现了最先进的性能上广泛使用的NTU RGB+D，UT-Kinect和SYSU 3D数据集。
2019-04-15 cs.CV
Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在非欧几里德数据结构建模方面已经非常成功，如身体骨架序列形成建模为时空图的动作。大多数基于GCN的动作识别方法使用具有高计算复杂性的深度前馈网络来处理动作中的所有骨架。这导致大量浮点运算（从16G到100G FLOP）来处理单个样本，使得它们在受限计算应用场景中的采用不可行。在本文中，我们提出了一个时间注意力模块（TAM），通过选择在网络的早期层的行动的信息量最大的骨架，以提高效率在基于网络的动作识别。我们将TAM在一个轻量级的GCN拓扑结构，以进一步减少计算的总数。在两个基准数据集上的实验结果表明，该方法在计算量减少2.9倍的情况下，性能大大优于基于GCN的基线方法。此外，它的性能与最新技术相当，计算次数减少了9.6倍。
2021-04-22 cs.CV
Extended multi-stream temporal-attention module for skeleton-based human action recognition (HAR)
Zhengzhou University（郑州大学）；Henan Xintong Intelligent IOT Co., Ltd.（河南信通智能物联网有限公司）；LUT University（拉彭兰塔-拉赫蒂理工大学）；University of Oulu（奥卢大学）；Government College University Faisalabad（费萨拉巴德政府学院大学）
针对基于骨架的动作识别中GCN图结构固定等问题，提出扩展多流时间注意力模块，以提升识别性能。
2024-11-10 cs.CV
High-Performance Inference Graph Convolutional Networks for Skeleton-Based Action Recognition
Robot Science and Engineering（机器人科学与工程）；Northeastern University（东北大学）；School of Intelligent Systems Engineering（智能系统工程学院）；Sun Yat-sen University（中山大学）；Foshan Graduate School of Innovation（佛山创新研究生院）；De Montfort University（德蒙福特大学）；Department of Computer Science（计算机科学系）；Loughborough University（拉夫堡大学）
针对基于骨骼的动作识别中复杂 GCN 推理慢的问题，本文提出采用重参数化与过参数化的 HPI-GCN-RP 和 HPI-GCN-OP，在保持 SOTA 级精度的同时将推理速度提升至五倍。
2025-01-07 cs.CV
Improving Skeleton-based Action Recognitionwith Robust Spatial and Temporal Features
Simon Fraser University（西蒙弗雷泽大学）
近年来，基于小波变换的动作识别在计算机视觉领域取得了重要进展。现有的算法大多是基于图卷积网络（GCN）的，目标是改进GCN骨干层的网络结构。在本文中，我们提出了一种新的机制来学习更鲁棒的鉴别功能在空间和时间。更具体地说，我们在网络的最后一层增加了一个判别特征学习（DFL）分支，以提取判别空间和时间特征来帮助学习。我们还正式提倡使用方向不变特征（DIF）作为神经网络的输入。我们表明，动作识别的准确性，可以提高这些强大的功能时，学习和使用。我们在NTU-RGBD 60、NTU-RGBD 120、SYSU 3DHOI和Eketon-Kinetics四个数据集上将我们的结果与ST-GCN和相关方法的结果进行了比较。
2020-08-01 cs.CV
Revisiting Skeleton-based Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
人体骨骼作为人体活动的一种紧凑表现形式，近年来受到越来越多的关注。许多基于人体骨架的动作识别方法采用图卷积网络（GCN）来提取人体骨架上的特征。尽管在以前的作品中所示的积极成果，GCN为基础的方法受到限制的鲁棒性，互操作性和可扩展性。在这项工作中，我们提出了PoseC3D，这是一种基于机器人的动作识别的新方法，它依赖于3D热图堆栈而不是图形序列作为人体骨骼的基本表示。与基于GCN的方法相比，PoseC3D在学习时空特征方面更有效，对姿态估计噪声更具鲁棒性，并且在跨数据集设置中具有更好的泛化能力。此外，PoseC3D可以处理多人场景而无需额外的计算成本，并且其功能可以在早期融合阶段轻松与其他模态集成，这为进一步提高性能提供了很大的设计空间。在四个具有挑战性的数据集上，PoseC3D在单独用于骨架以及与RGB模式结合使用时始终获得卓越的性能。
2022-04-02 cs.CV
Label-Efficient Skeleton-based Recognition with Stable-Invertible Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（国家科学研究中心）；LIP6（LIP6实验室）
本文提出了一种基于可逆图卷积网络的高效标签骨架动作识别方法，通过学习最信息量的子集以提升识别性能。
2025-11-21 cs.CV
PYSKL: Towards Good Practices for Skeleton Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们介绍PYSKL：一个基于PyTorch的基于动作识别的开源工具箱。该工具箱支持各种骨架动作识别算法，包括基于GCN和CNN的方法。与现有的开源骨架动作识别项目只包含一两种算法不同，PYSKL在统一的框架下实现了六种不同的算法，同时采用了最新和原创的良好实践，以便于比较功效和效率。我们还提供了一个原始的基于GCN的骨架动作识别模型，名为ST-GCN++，它实现了竞争性的识别性能，没有任何复杂的注意力计划，作为一个强大的基线。与此同时，PYSKL支持九个基于动作识别基准的训练和测试，并在其中八个基准上实现了最先进的识别性能。为了便于将来对骨架动作识别的研究，我们还提供了大量的训练模型和详细的基准测试结果，以提供一些见解。PYSKL在https://github.com/kennymckormick/pyskl上发布，并得到积极维护。我们将在添加新功能或基准时更新此报告。当前版本对应于PYSKL v0.2。
2022-05-19 cs.CV
Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching
University of Oulu（奥卢大学）；Xi’an Jiaotong University（西安交通大学）
基于图卷积网络（GCN）的骨架数据人体动作识别，由于其对非欧结构数据建模能力强，受到了广泛关注。然而，许多现有的GCN方法提供了一个预定义的图，并通过整个网络固定它，这可能会丢失隐含的联合相关性。此外，主流的谱GCN近似为一阶跳，因此没有很好地涉及高阶连接。因此，需要付出巨大的努力来探索更好的GCN架构。为了解决这些问题，我们转向神经结构搜索（NAS），并提出了第一个自动设计的GCN基于神经网络的动作识别。具体来说，我们丰富的搜索空间，提供多个动态图形模块后，充分探索节点之间的时空相关性。此外，我们还引入了多跳模块，希望能突破一阶近似所带来的表示能力的限制。此外，采样和内存效率的演化策略，提出了搜索最佳的结构，为这项任务。由此产生的架构证明了高阶近似和动态图建模机制的有效性与时间的相互作用，这是几乎没有讨论过。为了评估搜索模型的性能，我们在两个非常大规模的数据集上进行了大量的实验，结果表明我们的模型得到了最先进的结果。
2019-11-11 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Learning Chebyshev Basis in Graph Convolutional Networks for Skeleton-based Action Recognition
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）
谱图卷积网络（GCN）是一种特殊的深度模型，旨在将神经网络扩展到任意不规则域。这些网络的原理在于使用其拉普拉斯算子的特征分解来投影图形信号，然后在将所得滤波信号反向投影到输入图形域之前在谱域中实现滤波。然而，这些操作的成功在很大程度上取决于所使用的拉普拉斯算子的相关性，这些拉普拉斯算子大多是手工制作的，这使得GCN显然是次优的。在本文中，我们介绍了一种新的谱GCN，它不仅学习通常的卷积参数，而且学习拉普拉斯算子。后者被设计为“端到端”的递归切比雪夫分解的一部分，具有传递学习表示的微分和非微分特性的特殊性-随着阶数和鉴别能力的增加-而不会过度参数化训练的GCN。广泛的实验，进行了具有挑战性的任务，基于动作识别，我们提出的拉普拉斯设计w.r.t.的泛化能力和表现优异。不同的基线（建立在手工制作和其他学习拉普拉斯）以及相关的工作。
2021-12-27 cs.CV
G3CN: Gaussian Topology Refinement Gated Graph Convolutional Network for Skeleton-Based Action Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系）；Chadwick School（查德威学校）
提出G3CN，通过高斯滤波细化骨架拓扑图并集成门控循环单元，增强模糊动作区分能力，在多个基准上验证了有效性。
2025-09-09 cs.CV
Learning Connectivity with Graph Convolutional Networks for Skeleton-based Action Recognition
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）
学习图卷积网络（GCN）是一个新兴的领域，旨在将卷积运算推广到任意非正则域。特别是，在空间域上操作的GCN显示出比谱域更优越的性能，但是它们的成功高度依赖于如何定义输入图的拓扑结构。在本文中，我们介绍了一种新的图卷积网络的框架，学习图的拓扑性质。我们的方法的设计原理是基于约束目标函数的优化，该函数不仅学习GCN中的常用卷积参数，还学习传达这些图中最相关拓扑关系的变换基础。在具有挑战性的基于图的动作识别任务上进行的实验表明，与手工图设计以及相关工作相比，所提出的方法具有优越性。
2021-12-06 cs.CV
MK-SGN: A Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation for Skeleton-based Action Recognition
Beijing Laboratory of Advanced Information Networks, Beijing Key Laboratory of Network System Architecture and Convergence, School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京先进信息网络实验室、网络系统架构与收敛重点实验室、信息与通信工程学院、北京邮电大学）
针对基于GCN的骨骼动作识别方法能耗高的问题，首次提出结合多模态融合与知识蒸馏的脉冲图卷积网络MK-SGN，实现了98%以上的能耗降低，同时保持精度竞争力，为相关模型开发提供基线。
2025-11-19 cs.CV
Mix Dimension in Poincaré Geometry for 3D Skeleton-based Action Recognition
Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Northwestern Polytechnical University（西北工业大学）
图卷积网络（GCN）已经展示了其对不规则数据建模的强大能力，例如，人类动作识别中的骨架数据，提供了一种令人兴奋的新方法来融合图中不同部分节点的丰富结构信息。在人体动作识别中，目前的工作引入了动态图生成机制，以更好地捕捉底层的语义骨架连接，从而提高性能。在本文中，我们提供了一个正交的方式来探索潜在的连接。我们没有引入昂贵的动态图生成范式，而是在黎曼流形上构建了一个更有效的GCN，我们认为这是一个更适合对图数据进行建模的空间，以使提取的表示适合嵌入矩阵。具体来说，我们提出了一种新的时空GCN（ST-GCN）架构，它是通过庞加莱几何定义，使它能够更好地模拟潜在的解剖结构数据。为了进一步探索黎曼空间中的最佳投影维度，我们在流形上混合了不同的维度，并提供了一种有效的方法来探索每个ST-GCN层的维度。通过最终得到的架构，我们在两个当前最大规模的3D数据集上评估了我们的方法，即，NTU RGB + D和NTU RGB + D 120。比较结果表明，与已有的最优GCN方法相比，该模型在任何给定的评价指标下，仅需40%的模型规模就能取得较好的性能，证明了该模型的有效性.
2020-08-03 cs.CV
REGINA - Reasoning Graph Convolutional Networks in Human Action Recognition
IT: Instituto de Telecomunicações（IT：电信研究所）；University of Beira Interior（贝拉内格罗大学）；NOVA LINCS（NOVA LINCS实验室）
众所周知，人体骨架的运动学揭示了在动作识别中有价值的信息。最近，已经报道了利用图卷积网络（GCN）将骨架建模为时空图，以稳固地推进最先进的性能。然而，基于GCN的方法只从原始骨架数据中学习，并期望自己提取固有的结构信息。本文介绍了REGINA，介绍了一种新的推理图卷积网络在人体动作识别中的应用。其基本原理是向GCN提供通过手工制作的特征获得的关于骨架数据的额外知识，以促进学习过程，同时保证它以端到端的方式保持完全可训练。挑战在于捕获连续帧之间动态的互补信息，这是由最先进的GCN技术提取的关键信息。此外，所提出的策略可以很容易地集成到现有的基于GCN的方法，我们也积极看待。我们的实验是在众所周知的动作识别数据集上进行的，并且能够得出结论，当将REGINA与其他基于GCN的方法结合时，REGINA有助于提高性能，而无需对原始方法进行任何其他调整。为了重现性，REGINA代码和进行的所有实验将在https://github.com/DegardinBruno上公开。
2021-05-14 cs.CV
Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition
Chiba University（千叶大学）
本研究利用联合傅里叶变换分析图卷积神经网络在骨架动作识别中的鲁棒性，发现对抗训练能增强鲁棒性且不引入权衡，但傅里叶方法无法解释部位遮挡的脆弱性。
2023-12-30 cs.CV
Parts-Mamba: Augmenting Joint Context with Part-Level Scanning for Occluded Human Skeleton
The Pennsylvania State University（宾夕法尼亚州立大学）；Intel Corp.（英特尔公司）
Parts-Mamba通过部分级扫描和身体融合模块提升遮挡环境下的人体骨架动作识别精度
2025-11-21 cs.CV
Active Learning for GCN-based Action Recognition
Sorbonne University, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6）
本文提出了一种标记高效的GCN模型，通过对抗策略选择信息示例并改进网络架构，提升基于骨架的动作识别性能。
2025-11-26 cs.CV
Feedback Graph Convolutional Network for Skeleton-based Action Recognition
R&D Center of Artificial Intelligent, NUCTECH Company Limited（NUCTECH有限公司人工智能研发中心）；Department of Engineering Physics, Tsinghua University（清华大学工程物理系）；Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Department of Computer Science and Information Systems, Birkbeck College（伦敦大学伯贝克学院计算机科学与信息系统系）
基于骨架的动作识别在计算机视觉中受到了广泛的关注，因为骨架数据比其他形式的数据对动态环境和复杂背景具有更强的鲁棒性。近年来，许多研究者利用图卷积网络（GCN）对骨架序列的时空特征进行端到端的优化建模。然而，传统的GCN是前馈网络，这是不可能的低级别层访问高层的语义信息。在本文中，我们提出了一种新的网络，称为反馈图卷积网络（FGCN）。这是第一个将反馈机制引入GCN和动作识别的工作。与传统的GCN相比，FGCN具有以下优点：（1）设计了一种多级时间采样策略，以从粗到细的渐进过程提取动作识别的时空特征;（2）提出了一种基于稠密连接的反馈图卷积块（FGCB），将反馈连接引入GCN。它将高层语义特征传递到低层，并逐步流动的时间信息，逐步建模全局时空特征的动作识别;（3）FGCN模型提供早期预测。在早期阶段，模型接收关于动作的部分信息。当然，它的预测相对粗糙。粗略的预测被视为之前，以指导后续阶段的特征学习，以进行准确的预测。在NTU-RGB+D、NTU-RGB+D120和Northwestern-UCLA数据集上的实验结果表明，该方法能够有效地进行动作识别。它在三个数据集上实现了最先进的性能。
2020-03-17 cs.CV
Dynamic Hypergraph Convolutional Networks for Skeleton-Based Action Recognition
Zhengzhou University（郑州大学）
基于图卷积网络（GCN）的方法在基于卷积的动作识别任务上取得了很好的性能。然而，骨架图不能完全表示骨架数据中包含的运动信息。另外，基于GCN的方法中骨架图的拓扑结构是根据自然连接手动设置的，并且对所有样本都是固定的，不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN）的基于动作识别。DHGCN使用超图表示人体骨架结构，有效地利用人体关节中包含的运动信息。骨架超图中的每个关节根据其运动动态分配相应的权重，模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型在三个数据集上的性能达到了竞争力的性能：Kinetics-Skeleton 400，NTU RGB+D 60和NTU RGB+D 120。
2021-12-20 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Hypergraph Transformer for Skeleton-based Action Recognition
University of Mannheim（曼海姆大学）；Carnegie Mellon University（卡内基梅隆大学）；Alibaba Group（阿里巴巴集团）；The University of Hong Kong（香港大学）；University of Siegen（锡根大学）
基于骨骼的动作识别的目的是在给定具有骨骼互连的人体关节坐标的情况下识别人类动作。通过定义一个以关节为顶点、自然连接为边的图，以前的工作成功地采用了图卷积网络（GCN）来建模关节同现，并取得了优异的性能。最近，确定了GCN的局限性，即，在训练之后拓扑是固定的。为了放宽这一限制，自注意（SA）机制已被采用，使GCN的拓扑结构自适应输入，从而在最先进的混合模型。与此同时，也进行了使用普通Transformers的尝试，但是由于缺乏结构先验，它们仍然落后于最先进的基于GCN的方法。与混合模型不同，我们提出了一个更优雅的解决方案，通过图形距离嵌入将骨骼连接到Transformer中。我们的嵌入在训练过程中保留了骨架结构的信息，而GCN仅将其用于初始化。更重要的是，我们揭示了一般图模型的一个潜在问题，即，成对聚合基本上忽略了身体关节之间的高阶运动学依赖性。为了填补这一空白，我们提出了一个新的超图自注意（SA）机制，称为超图自注意（HyperSA），将内在的高阶关系到模型。我们将结果模型命名为Hyperperformer，它击败了最先进的图模型w.r.t. NTU RGB+D、NTU RGB+D 120和Northwestern-UCLA数据集的准确性和效率。
2023-03-21 cs.CV
Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition
Hikvision Research Institute（海康威视研究院）
在基于卷积的动作识别的背景下，图卷积网络（GCN）已经迅速发展，而卷积神经网络（CNN）受到较少的关注。一个原因是CNN被认为在对不规则骨架拓扑建模方面很差。为了缓解这一限制，我们提出了一个纯CNN架构命名为拓扑感知的CNN（Ta-CNN）在本文中。特别是，我们开发了一种新的跨渠道的功能增强模块，这是一个组合的地图参加组地图操作。通过将该模块应用于坐标层和关节层，有效地增强了拓扑特征。值得注意的是，我们从理论上证明了图卷积是正常卷积的一个特殊情况下，联合维数被视为通道。这证实了GCN的拓扑建模能力也可以通过使用CNN来实现。此外，我们创造性地设计了一个混合策略，以独特的方式混合两个人，进一步提高性能。在N-UCLA、SBU、NTU RGB+D和NTU RGB+D 120四个广泛使用的数据集上进行了大量的实验，以验证Ta-CNN的有效性。我们大大超过了现有的基于CNN的方法。与领先的基于GCN的方法相比，我们实现了相当的性能，在所需的GFLOPs和参数方面的复杂性要低得多。
2021-12-09 cs.CV
A Central Difference Graph Convolutional Operator for Skeleton-Based Action Recognition
Tianjin University（天津大学）；Zhengzhou University（郑州大学）；University of Wollongong（卧龙岗大学）
本文提出了一种新的图卷积算子称为中心差分图卷积（CDGC）的骨架为基础的动作识别。它不仅能够像香草图卷积运算那样聚合节点信息，还能够聚合梯度信息。在不引入任何额外参数的情况下，CDGC可以取代任何现有图卷积网络（GCN）中的普通图卷积。此外，开发了CDGC的加速版本，大大提高了训练速度。在两个流行的大规模数据集NTU RGB+D 60和120上的实验证明了所提出的CDGC的有效性。代码可在https://github.com/iesymiao/CD-GCN上获得。
2021-11-13 cs.CV
Temporal-Channel Topology Enhanced Network for Skeleton-Based Action Recognition
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于手势的动作识别由于其高效性和鲁棒性而在近年来变得流行。现有的拓扑建模方法大多采用图卷积网络（GCN），但基于GCN的拓扑建模方法在长距离相关建模和泛化能力方面存在局限性。相比之下，卷积神经网络（CNN）用于拓扑建模的潜力尚未得到充分开发。在本文中，我们提出了一种新的CNN架构，时间通道拓扑增强网络（TCTE-Net），学习空间和时间拓扑结构的基于神经网络的动作识别。TCTE-Net由两个模块组成：时间-通道焦点模块，它学习时间-通道焦点矩阵以识别最关键的特征表示，以及动态通道拓扑注意模块，它动态学习空间拓扑特征，并将它们与注意力机制融合以模拟长距离通道拓扑。我们在NTU RGB+D，NTU RGB+D 120和FineGym数据集上进行实验。与基于CNN的方法相比，TCTE-Net显示出最先进的性能，并且与基于GCN的方法相比，具有更优越的性能。该代码可在https://github.com/aikuniverse/TCTE-Net上获得。
2023-02-25 cs.CV
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）将人体骨架建模为时空图，在基于人体骨架的动作识别中取得了令人瞩目的成绩。然而，在现有的基于GCN的方法中，图的拓扑是手动设置的，并且在所有层和输入样本上都是固定的。这可能不是最佳的分层GCN和不同的动作识别任务中的样本。此外，二阶信息（骨骼的长度和方向）的骨架数据，这是自然更多的信息和歧视性的动作识别，很少在现有的方法进行研究。在这项工作中，我们提出了一种新的双流自适应图卷积网络（2s-AGCN）的动作识别。在我们的模型中，图的拓扑结构可以通过BP算法以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应不同的数据样本。此外，提出了一个双流框架，同时建模的一阶和二阶信息，这表明显着提高识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-07-10 cs.CV
Pose-Guided Graph Convolutional Networks for Skeleton-Based Action Recognition
Korea University（高丽大学）
图卷积网络（Graph Convolutional Network，GCN）能够将人体骨架建模为空间和时间图，在基于图的动作识别中显示出了巨大的潜力。然而，在现有的基于GCN的方法中，人体骨架的图结构表示使得其难以与其他模态融合，特别是在早期阶段。这可能会限制它们在动作识别任务中的可扩展性和性能。此外，姿势信息，其中自然包含的信息和判别线索的动作识别，很少探索与骨架数据在现有的方法。在这项工作中，我们提出了姿势引导GCN（PG-GCN），高性能的人类动作识别的多模态框架。特别是，一个多流网络的构建，同时探索从姿态和骨架数据的鲁棒性的功能，而一个动态注意模块的设计用于早期的特征融合。该模块的核心思想是利用一个可训练的图来聚合骨架流中的特征和姿势流中的特征，从而产生一个具有更强大的特征表示能力的网络。大量的实验表明，所提出的PG-GCN可以实现国家的最先进的性能在NTU RGB+D 60和NTU RGB+D 120数据集。
2022-10-10 cs.CV eess.IV eess.SP
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation（索尼公司）
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN，以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
KGS-GCN: Kinematics-Driven Gaussian Splatting and Probabilistic Topology for Skeleton-Based Action Recognition
提出KGS-GCN，通过运动学驱动的高斯泼溅模块将稀疏骨架序列渲染为多视角连续热图，并利用概率拓扑策略构建自适应先验邻接矩阵，以轻量级参数实现高效动作识别。
2026-07-02 cs.AI cs.CV
Hierarchically Decomposed Graph Convolutional Networks for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对基于骨架的动作识别中语义边提取难的问题，提出带HD-Graph的HD-GCN架构，结合A-HA模块与六向集成法，在四个大型数据集上取得最优性能。
2023-07-19 cs.CV
Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanchang Hangkong University（南昌航空大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）在基于卷积的动作识别中得到了广泛的应用并取得了显著的效果。在GCN中，图的拓扑结构支配着特征聚合，因此是提取代表性特征的关键。在这项工作中，我们提出了一种新的逐层拓扑细化图卷积（CTR-GC），动态学习不同的拓扑结构，并有效地聚合联合功能在不同的通道，基于卷积的动作识别。所提出的CTR-GC通过学习共享拓扑作为所有通道的通用先验并使用每个通道的通道特定相关性对其进行细化来对通道拓扑进行建模。我们的改进方法引入了一些额外的参数，并显着降低了建模通道的拓扑结构的难度。此外，通过将图卷积转化为统一的形式，我们发现CTR-GC放松了图卷积的严格约束，从而具有更强的表示能力。结合CTR-GC与时间建模模块，我们开发了一个强大的图卷积网络命名为CTR-GCN，显着优于国家的最先进的方法在NTU RGB+D，NTU RGB+D 120，和NW-UCLA数据集。
2021-08-23 cs.CV
Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks
图卷积网络（GCN）将CNN推广到更通用的非欧结构，在基于卷积的动作识别方面取得了显着的性能。然而，仍然存在一些问题，在以前的GCN为基础的模型。首先，图的拓扑结构被逐层设置并且固定在所有模型层和输入数据上。这可能不适合GCN模型的层次结构和动作识别任务中数据的多样性。第二，骨架数据的二阶信息，即，骨骼的长度和方向很少被研究，这对于人类动作识别来说自然是更有信息量和区别性的。在这项工作中，我们提出了一种新的多流注意力增强的自适应图卷积神经网络（MS-AAGCN）的动作识别。我们模型中的图拓扑可以基于输入数据以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应各种数据样本。此外，提出的自适应图卷积层通过时空通道注意模块进一步增强，这有助于模型更多地关注重要的关节，帧和特征。此外，关节和骨骼的信息，连同他们的运动信息，同时建模在一个多流的框架，这表明识别精度显着提高。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-12-15 cs.CV
Actional-Structural Graph Convolutional Networks for Skeleton-based Action Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于骨架数据的动作识别是计算机视觉领域的一个研究热点。以往的研究大多基于固定的骨架图，只捕捉关节间的局部物理依赖关系，可能会遗漏隐含的关节相关性。为了捕获更丰富的依赖关系，我们引入了一个编码器-解码器结构，称为A-link推理模块，直接从动作中捕获特定于动作的潜在依赖关系，即链接。我们还扩展了现有的骨架图表示高阶依赖关系，即结构链接。将这两种类型的链接组合成一个广义的骨架图，我们进一步提出了动作结构图卷积网络（AS-GCN），它将动作结构图卷积和时间卷积作为基本构建块，以学习动作识别的空间和时间特征。未来的姿势预测头与识别头并行添加，以帮助通过自我监督捕获更详细的动作模式。我们使用NTU-RGB+D和Kinetics两个骨架数据集来验证AS-GCN在动作识别中的有效性。建议的AS-GCN实现了一贯的大的改进相比，国家的最先进的方法。作为一个副产品，AS-GCN也显示出有前途的结果，为未来的姿态预测。
2019-04-26 cs.AI cs.CV
Adaptive Hyper-Graph Convolution Network for Skeleton-based Human Action Recognition with Virtual Connections
Jiangnan University（江南大学）；University of Surrey（萨里大学）
针对现有骨架动作识别GCN方法依赖二元连接、超图构建策略固定的问题，提出带虚拟连接的自适应Hyper-GCN，训练中自适应优化超图并注入虚拟连接，在多个数据集上取得优于SOTA的效果。
2025-08-04 cs.CV cs.LG
Temporal Graph Modeling for Skeleton-based Action Recognition
Xidian University（西安电子科技大学）
图卷积网络（GCN）将骨架数据建模为图，在基于骨架的动作识别中取得了显著的效果。特别是骨架序列的时间动态性在识别任务中传递了重要的信息。对于时间动态建模，基于GCN的方法仅堆叠多层1D局部卷积以提取相邻时间步长之间的时间关系。由于大量局部卷积的重复，具有非相邻时间距离的关键时间信息可能由于信息稀释而被忽略。因此，这些方法仍然不清楚如何充分探索骨架序列的时间动态。在本文中，我们提出了一个时间增强图卷积网络（TE-GCN）来解决这个限制。TE-GCN通过构建时态关系图来捕捉复杂的时态动态。具体而言，所构建的时间关系图明确地建立语义相关的时间特征之间的连接，以模拟相邻和非相邻时间步长之间的时间关系。同时，为了进一步探索充分的时间动态性，设计了多头机制来研究多种时间关系。在两个广泛使用的大规模数据集NTU-60 RGB+D和NTU-120 RGB+D上进行了大量的实验。实验结果表明，该模型为动作识别的时态建模做出了贡献，达到了最先进的性能。
2020-12-16 cs.CV cs.GR
Temporal Extension Module for Skeleton-Based Action Recognition
FUJITSU LABORATORIES LTD.（富士通实验室有限公司）；Digital Innovation Core Unit（数字创新核心单元）
我们提出了一个模块，扩展的时间图的图卷积网络（GCN）的动作识别的骨架序列。现有方法试图在帧内表示更合适的空间图，但忽略了帧间时间图的优化。具体地，这些方法在仅对应于帧间的同一关节的顶点之间连接。在这项工作中，我们专注于添加连接到帧间相邻的多个顶点，并提取额外的功能扩展的时间图的基础上。我们的模块是一个简单而有效的方法来提取人体运动中的多个关节的相关特征。此外，我们的模块有助于进一步提高性能，以及其他GCN方法，优化空间图。我们在两个大型数据集NTU RGB+D和Kinetics-Skeleton上进行了广泛的实验，并证明了我们的模块对几个现有模型是有效的，我们的最终模型达到了最先进的性能。
2020-10-19 cs.CV
Self-attention based anchor proposal for skeleton-based action recognition
Zhejiang University（浙江大学）；Bournemouth University（伯恩茅斯大学）
骨架序列由于其轻量级和紧凑的特点被广泛应用于动作识别任务。由于图卷积网络具有良好的非欧数据建模能力，近年来的图卷积网络（GCN）方法在基于卷积的动作识别中取得了巨大的成功。GCN能够利用短距离的关节依赖关系，而缺乏直接建模的远距离关节关系，是至关重要的区分各种行动。因此，许多GCN方法试图采用分层机制来聚合更广泛的邻域信息。我们提出了一种新的基于自注意力的锚点建议（SAP）模块，全面建模的内部关系的人体运动特征学习。所提出的SAP模块旨在通过编码高阶角度信息而不是现有分层GCN方法中使用的固定成对骨连接，使用三元组表示来探索人体内的固有关系。在SAP模块中设计了一种基于自注意的锚点选择方法，用于提取编码角度信息的根点。通过将所提出的SAP模块与流行的时空图神经网络（例如MSG3D）耦合，它在具有挑战性的基准数据集上实现了新的最先进的精度。进一步的消融研究表明，我们提出的SAP模块的有效性，这是能够显着提高性能的许多流行的基于动作识别方法。
2021-12-17 cs.CV cs.MM
Stronger, Faster and More Explainable: A Graph Convolutional Baseline for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Electrical Engineering and Automation, Shandong University of Science and Technology（山东科技大学电气工程与自动化学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
基于骨架的动作识别中的一个基本问题是如何提取所有骨架关节的区分特征。然而，该任务的最先进的（SOTA）模型的复杂性往往是非常复杂和过度参数化，其中模型训练和推理的低效率阻碍了该领域的发展，特别是对于大规模的行动数据集。在这项工作中，我们提出了一个基于图卷积网络（GCN）的高效但强大的基线，其中三个主要的改进是聚合的，即，早期融合的多输入分支（MIB）、具有瓶颈结构的残差GCN（ResGCN）和部分注意（PartAtt）块。首先，MIB的目的是丰富信息骨架功能，并保持紧凑的表示在早期融合阶段。然后，受卷积神经网络（CNN）中ResNet架构的成功启发，在GCN中引入ResGCN模块，以减轻计算成本，降低模型训练中的学习难度，同时保持模型的准确性。最后，提出了一个PartAtt块，以发现整个动作序列中最重要的身体部位，并为不同的骨骼动作序列获得更可解释的表示。在两个大规模数据集上进行了广泛的实验，NTU RGB+D 60和120，验证了所提出的基线略优于其他SOTA模型，同时在训练和推理过程中需要更少的参数，例如，最多比DGNN少34倍，这是最好的SOTA方法之一。
2020-10-20 cs.CV
Learning Discriminative Representations for Skeleton Based Action Recognition
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Hangzhou Innovation Institute of Beihang University（北京航空航天大学杭州创新研究院）
人体动作识别的目的是从视频片段中对人体动作的类别进行分类。最近，人们已经开始设计基于GCN的模型来从骨架中提取特征以执行此任务，因为骨架表示比其他模式（如RGB帧）更有效和鲁棒。然而，当使用骨架数据时，一些重要的线索，如相关项目也被丢弃。它导致了一些模糊的行为，很难区分，往往是错误的分类。为了缓解这个问题，我们提出了一个辅助特征细化头（FR头），它包括时空解耦和对比特征细化，以获得骨架的判别表示。在特征空间中动态地发现和校准模糊样本。此外，可以在GCN的不同阶段设置FR Head，以建立多层次的细化，从而加强监管。在NTU RGB+D、NTU RGB+D 120和NW-UCLA数据集上进行了广泛的实验。我们提出的模型从最先进的方法中获得了有竞争力的结果，并且可以帮助区分那些模糊的样本。代码可在https://github.com/zhysora/FR-Head上获得。
2023-03-28 cs.CV
Synchronized and Fine-Grained Head for Skeleton-Based Ambiguous Action Recognition
School of Computer；Information Technology\ Jiaotong University, Beijing 100044, China
针对骨架动作识别中时空信息不平衡和全局上下文丢失导致歧义动作难以区分的问题，提出轻量级即插即用模块SF-Head，通过同步时空增强和聚合特征对齐，在多个数据集上显著提升歧义动作识别性能。
2025-03-09 cs.CV
Skeleton-Based Action Recognition with Spatial-Structural Graph Convolution
LIMOS（利摩日信息学与优化实验室）；LPC（物理化学实验室）；Université Clermont Auvergne（克莱蒙奥弗涅大学）
本文针对骨架动作识别中边缘节点信息利用不足和GCN过度平滑问题，提出空间-结构双流图卷积网络SpSt-GCN，通过固定空间连接与动态数据驱动结构连接提升细粒度识别性能，并在NTU RGB+D系列数据集上验证了其有效性与高效性。
2024-07-31 cs.AI cs.CV
Multi Scale Temporal Graph Networks For Skeleton-based Action Recognition
Tsinghua University（清华大学）
图卷积网络（GCN）能有效地捕捉相关节点的特征，提高模型的性能。将广义CN应用于基于手势的动作识别中，得到了更多的关注。但是现有的基于GCN的方法存在两个问题。首先，在逐点逐帧地提取特征时，忽略了时间和空间特征的一致性。为了同时获得时空特征，我们设计了一个通用的表示骨架序列的动作识别，并提出了一种新的模型称为时间图网络（TGN）。其次，描述关节关系的图的邻接矩阵主要依赖于关节之间的物理连接。为了更好地描述骨架图中关节之间的关系，提出了一种多尺度图策略，采用全尺度图、部分尺度图和核心尺度图来捕捉关节的局部特征和重要关节的轮廓特征。在两个大型数据集上进行了实验，结果表明，TGN与我们的图策略优于国家的最先进的方法。
2020-12-05 cs.AI cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
UNIK: A Unified Framework for Real-world Skeleton-based Action Recognition
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Toyota Motor Europe（丰田汽车欧洲公司）
基于骨架数据的动作识别近年来得到了越来越多的关注和发展。采用图卷积网络（GCN）的最新方法可以有效地提取依赖于预定义的人体拓扑结构的人体骨架上的特征。尽管取得了相关进展，但基于GCN的方法难以跨领域推广，特别是对于不同的人类拓扑结构。在这种情况下，我们介绍了UNIK，一种新的基于机器学习的动作识别方法，不仅有效地学习人类骨骼序列的时空特征，而且能够在数据集上进行推广。这是通过基于多头注意力机制从均匀分布中学习最优依赖矩阵来实现的。随后，为了研究真实世界视频中基于动作识别的跨域通用性，我们重新评估了最先进的方法以及根据新的Posetics数据集提出的UNIK。这个数据集是从Kinetics-400视频中通过估计、优化和过滤姿势创建的。我们分析了在Posetics上进行动作分类任务的预训练后，在较小的基准数据集上性能提高了多少。实验结果表明，所提出的UNIK，与Posetics的预训练，推广良好，并优于国家的最先进的转移到四个目标动作分类数据集：丰田Smarthome，宾州行动，NTU-RGB+D 60和NTU-RGB+D 120。
2021-07-19 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
The Chinese University of Hong Kong（香港中文大学）
人体骨架的动态特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工绘制的部分或遍历规则，从而导致表达能力有限和泛化困难。在这项工作中，我们提出了一种新的动态骨架模型称为时空图卷积网络（ST-GCN），它超越了以前的方法的限制，自动学习的空间和时间模式的数据。这一公式不仅导致更大的表达能力，而且具有更强的泛化能力。在两个大型数据集上，Kinetics和NTU-RGBD，它比主流方法实现了实质性的改进。
2018-01-25 cs.CV
SiT-MLP: A Simple MLP with Point-wise Topology Feature Learning for Skeleton-based Action Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出首个基于MLP的骨架动作识别模型SiT-MLP，通过空间拓扑门控单元STGU学习逐点拓扑特征，在三个大规模数据集上以更少参数取得竞争性性能。
2024-04-08 cs.CV
SkeletonX: Data-Efficient Skeleton-based Action Recognition via Cross-sample Feature Aggregation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，北京航空航天大学，北京，中国）
SkeletonX通过跨样本特征聚合实现高效骨架动作识别，在有限数据下提升性能，参数更少，效果更优。
2025-04-16 cs.CV
