Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征，而这种相似性可能会受到一些失真的影响，这些失真可以建模为空间和时间仿射变换的组合。在这项工作中，我们提出了一个新的功能称为时空双仿射微分不变（STDADI）。此外，为了提高神经网络的泛化能力，提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上，它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia（西澳大学）
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声，因此在动作分析中很受欢迎。然而，当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列，充分利用"本地"关节之间的相关性，使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像，并开发了一个基于CNN的框架，用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息，该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外，它们在编码复合语义概念（例如关节的位置和速度）方面是灵活的。所提出的动作识别利用表示在一个分层的方式，首先捕捉骨骼关节与Skeppels之间的微观时间关系，然后利用它们的宏观时间关系，通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构，并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上，我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
Spatio-Temporal Graph Convolution for Skeleton Based Action Recognition
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）
人体骨架的变化可以被认为是动态图，这是许多现实世界应用的通用数据表示。在本文中，我们提出了一个时空图卷积（STGC）的方法，组装的局部卷积滤波和序列学习能力的自回归移动平均的成功。为了对动态图进行编码，构造了多尺度局部图卷积滤波器，该滤波器由局部感受野和信号映射的矩阵组成，递归地对时间域和空间域的结构化图数据执行。所提出的模型是通用的和原则，因为它可以推广到其他动态模型。我们从理论上证明了STGC的稳定性，并提供了一个上界的信号变换学习。此外，所提出的递归模型可以堆叠成多层架构。为了评估我们的模型，我们在四个基准的基于基于cronon的动作数据集上进行了广泛的实验，包括大规模的具有挑战性的NTU RGB+D。实验结果表明，我们提出的模型的有效性和改进的国家的最先进的。
2018-02-27 cs.CV
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu, Inc.（百度公司）
对各种时空依赖关系进行建模是在骨架序列中识别人类动作的关键。现有的方法过分依赖于遍历规则或图拓扑的设计来绘制动态关节间的依赖关系，这不足以反映距离较远但重要的关节间的关系。此外，由于局部采用的操作，重要的长程时间信息，因此没有很好地探讨在现有的工作。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新的长短期时空聚合网络，它可以有效地捕捉在时空的方式的长/短距离的依赖关系。我们设计我们的模型到一个纯粹的因式分解架构，可以交替执行空间特征聚合和时间特征聚合。为了提高特征聚合的效果，还设计并采用了一种通道级注意力机制。在三个公共基准数据集上进行了广泛的实验，结果表明，我们的方法可以在空间和时间域中捕获长范围和短范围的依赖关系，比其他最先进的方法产生更高的结果。代码可在https://github.com/tailin1009/LSTA-Net获得。
2021-11-01 cs.CV
Skeleton-Based Action Recognition with Synchronous Local and Non-local Spatio-temporal Learning and Frequency Attention
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
由于其简洁性和鲁棒性，基于手势的动作识别近年来受到了广泛的关注。大多数现有方法利用本地网络（例如，递归的、卷积的和图卷积网络）来分层地提取时空动态。因此，本地和非本地依赖，其中包含更多的细节和语义分别，异步捕获在不同级别的层。此外，现有的方法仅限于时空域，而忽略了频域中的信息。为了更好地从多个域中提取同步的详细和语义信息，我们提出了一个残余频率注意力（RFA）块，专注于在频域中的判别模式，和一个同步的本地和非本地（SLnL）块，同时捕获的细节和语义在时空域。此外，提出了一种软边缘聚焦损失（SMFL），以优化整个学习过程，自动进行数据选择，并鼓励在分类器的内在边缘。我们的方法在几个大规模数据集上的性能明显优于其他最先进的方法。
2019-06-12 cs.CV
Hierarchically Self-Supervised Transformer for Human Skeleton Representation Learning
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；ByteDance Inc.（字节跳动公司）
尽管完全监督的人类骨骼序列建模取得了成功，但由于大规模获取任务特定的骨骼注释很困难，因此利用自监督预训练进行骨骼序列表示学习一直是一个活跃的领域。近年来的研究主要集中在使用对比学习学习视频级的时间和判别信息，但忽略了人类骨骼的分层时空性质。不同于这种肤浅的监督在视频层面上，我们提出了一个自我监督的分层预训练计划纳入一个分层的基于变换器的骨架序列编码器（Hi-TRS），明确捕捉空间，短期和长期的时间依赖性在帧，剪辑和视频级别，分别。为了评估所提出的具有Hi-TRS的自监督预训练方案，我们进行了广泛的实验，涵盖了三个基于机器人的下游任务，包括动作识别，动作检测和运动预测。在监督和半监督评估协议下，我们的方法达到了最先进的性能。此外，我们证明了我们的模型在预训练阶段学习的先验知识对不同的下游任务具有很强的转移能力。
2023-03-27 cs.CV
A Generically Contrastive Spatiotemporal Representation Enhancement for 3D Skeleton Action Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出可插拔的CSRE框架，通过时空特征分解与正负样本对比学习增强3D骨架动作表示，并在五个基准和五种编码器上验证了一致提升。
2025-03-17 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中，我们提出了一个端到端的空间和时间的注意力模型，从骨架数据的人类动作识别。我们在具有长短期记忆（LSTM）的递归神经网络（RNN）之上构建我们的模型，它学会选择性地关注输入的每一帧内骨架的区别性关节，并对不同帧的输出给予不同程度的关注。此外，为了确保网络的有效训练，我们提出了一个正则化的交叉熵损失来驱动模型学习过程，并相应地开发了一个联合训练策略。实验结果表明，该模型的有效性，无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Wuhan University of Science and Technology（武汉科技大学）；University of Central Florida（中佛罗里达大学）
针对骨骼动作识别中标注数据稀缺的问题，提出SkeletonMAE，一种基于MAE的时空掩码自编码器框架，通过关节级和帧级掩码预训练学习泛化特征，在NTU RGB+D和NTU RGB+D 120上超越现有方法。
2023-05-10 cs.CV
SCD-Net: Spatiotemporal Clues Disentanglement Network for Self-supervised Skeleton-based Action Recognition
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）
本文提出自监督对比学习框架 SCD-Net，通过解耦时空线索并引入带结构约束的掩码策略，在多个基准数据集的下游任务上显著优于现有 SOTA 方法。
2023-09-11 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer，通过单一注意力模块集成时空建模并引入多尺度池化融合模块，在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，基于手势的人体动作识别引起了越来越多的关注。然而，大多数现有的工作集中在监督学习，需要大量的注释的动作序列，往往是昂贵的收集。我们研究无监督的表示学习的骨架动作识别，并设计了一种新的骨架云着色技术，能够学习骨架表示从未标记的骨架序列数据。具体来说，我们将骨架动作序列表示为3D骨架云，并根据原始（未注释）骨架序列中的时间和空间顺序对云中的每个点进行着色。利用彩色骨骼点云，我们设计了一个自动编码器框架，可以有效地从骨骼关节的人工颜色标签中学习时空特征。我们使用在不同配置下训练的动作分类器来评估我们的骨架云着色方法，包括无监督，半监督和全监督设置。在NTU RGB+D和NW-UCLA数据集上的大量实验表明，该方法的识别性能明显优于现有的无监督和半监督3D动作识别方法，在有监督的3D动作识别中也取得了较好的效果。
2021-08-09 cs.CV
HAA4D: Few-Shot Human Atomic Action Recognition via 3D Spatio-Temporal Skeletal Alignment
The Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）
人类动作涉及复杂的姿势变化，并且其2D投影可能非常模糊。因此，3D时空或4D（即，3D+T）人体骨架是光度和视点不变的，是2D+T骨架/像素的一个很好的替代方案，可以提高动作识别的准确性。本文提出了一个新的4D数据集HAA 4D，它由300个人体原子动作类中的3,300多个RGB视频组成。HAA 4D是干净的，多样的，类平衡的，其中每个类都使用4D骨架进行视点平衡，其中每个类只需一个4D骨架就足以训练深度识别模型。此外，原子操作的选择使得注释更加容易，因为每个视频剪辑仅持续几秒钟。HAA 4D中的所有训练和测试3D骨架都是全局对齐的，使用深度对齐模型到相同的全局空间，使每个骨架都面向负z方向。这种对齐通过减少类内变化使匹配骨架更稳定，因此每个类需要更少的动作识别训练样本。考虑到HAA 4D中的高多样性和骨架对齐，我们构建了第一个基线Few-Shot 4D人类原子动作识别网络，没有铃铛和哨子，它产生了与依赖于嵌入式空间编码的相关最先进技术相当或更高的性能，而没有明确的骨架对齐，使用相同的少量训练样本。
2022-02-15 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；University of Sydney（悉尼大学）
在过去的几年中，基于手势的人体动作识别吸引了大量的研究关注。最近的工作试图利用递归神经网络来模拟人体关节的3D位置配置之间的时间依赖关系，以便更好地分析骨骼数据中的人类活动。所提出的工作扩展了这一想法，空间域以及时间域，以更好地分析隐藏的来源，在这两个领域的人类骨骼序列内的动作相关的信息。基于Kinect骨架数据的图形结构，提出了一种有效的基于树结构的遍历框架。为了处理骨架数据中的噪声，在LSTM模块中引入了一种新的门控机制，通过该机制，网络可以学习序列数据的可靠性，并相应地调整输入数据对存储在单元存储单元中的长期上下文表示的更新过程的影响。此外，本文还在LSTM单元中引入了一种新的多模态特征融合策略。在七个具有挑战性的人体动作识别基准数据集上的综合实验结果证明了该方法的有效性。
2017-06-26 cs.CV
SpatioTemporal Focus for Skeleton-based Action Recognition
Peking University（北京大学）
图卷积网络（GCN）由于其强大的数据拓扑建模能力而被广泛应用于基于卷积的动作识别中。我们认为，性能最近提出的基于candion的动作识别方法是有限的，由以下因素。首先，预定义的图结构在整个网络中共享，缺乏对多粒度语义信息建模的灵活性和能力。其次，全局关节之间的关系没有被图局部卷积充分利用，这可能会失去隐含的关节相关性。例如，诸如跑步和挥手之类的动作是通过身体部位和关节的共同运动来执行的，例如，腿和手臂，然而，它们在物理连接中位于远处。受最近的注意力机制的启发，我们提出了一个多粒度的上下文聚焦模块，称为MCF，从身体关节和部位捕获动作关联关系信息。因此，MCF可以获得更可解释的表示不同的骨骼动作序列。在这项研究中，我们遵循了通常的做法，即采用密集样本策略的输入骨架序列，这带来了很多冗余，因为实例的数量与动作无关。为了减少冗余，一个时间的歧视焦点模块，称为TDF，开发捕获的时间动态的局部敏感点。MCF和TDF被集成到标准的GCN网络中，形成一个统一的体系结构，称为STF-Net。值得注意的是，STF-Net提供了基于多粒度上下文聚合和时间依赖性从这些骨架拓扑结构中捕获鲁棒运动模式的能力。大量的实验结果表明，我们的STF-Net在三个具有挑战性的基准NTU RGB+D 60，NTU RGB+D 120和Kinetics-skeleton上显着实现了最先进的结果。
2022-03-31 cs.CV
Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu Inc.（百度公司）；ShanghaiTech University（上海科技大学）
由于人体运动的多粒度性和大变化性，基于手势的动作识别仍然是以人为中心的场景理解的核心挑战。现有的方法通常采用单个神经表示不同的运动模式，这在给定有限的训练数据的情况下难以捕获细粒度的动作类。为了解决上述问题，我们提出了一种新的多粒度的时空图网络的基于动作分类，联合模型的粗粒度和细粒度的骨架运动模式。为此，我们开发了一个双头图网络，由两个交错的分支，这使我们能够提取功能在两个时空分辨率在一个有效的和高效的方式。此外，我们的网络利用十字头通信策略，以相互增强双方的代表性。我们在NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton三个大规模数据集上进行了大量的实验，并在所有基准测试中取得了最好的性能，验证了我们方法的有效性。
2021-08-10 cs.CV cs.LG
Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
Xidian University（西安电子科技大学）
在基于机器人的动作识别任务中，捕捉关节之间的依赖关系是至关重要的。Transformer在模拟重要节理的相关性方面显示出巨大的潜力。然而，现有的基于变换器的方法不能捕获帧之间的不同关节的相关性，该相关性是非常有用的，因为相邻帧之间的不同身体部位（例如“跳远”中的手臂和腿）一起移动。针对这一问题，提出了一种新的时空元组Transformer（STTFormer）方法。将骨架序列分成若干部分，并对每个部分中包含的若干连续帧进行编码。在此基础上，提出了一种时空元组自注意模型，用于捕捉连续帧中不同关节之间的关系。此外，在非相邻帧之间引入特征聚合模块，以增强区分相似动作的能力。与现有的方法相比，该方法在两个大规模数据集上取得了更好的性能。
2022-01-08 cs.AI cs.CV
Adversarial Attack on Skeleton-based Human Action Recognition
深度学习模型在基于机器人的人类动作识别方面取得了令人印象深刻的性能。然而，这些模型对对抗攻击的鲁棒性在很大程度上仍未被探索，这是由于它们复杂的时空性质，必须表示稀疏和离散的骨架关节。这项工作提出了第一个对抗攻击基于动作识别的图卷积网络。所提出的有针对性的攻击，称为约束迭代攻击的骨架动作（CIASA），扰动关节位置的动作序列，使所产生的对抗序列保持时间的连贯性，空间的完整性，和拟人的骨架的可扩展性。CIASA通过满足多个物理约束来实现这一壮举，并对扰动骨架采用空间骨架重新排列，以及使用生成网络对对抗骨架进行正则化。我们还探讨了语义不可感知的本地化攻击与CIASA的可能性，并成功地愚弄了国家的最先进的骨架动作识别模型具有高的信心。CIASA扰动显示出高的可转移性的黑盒攻击。我们还表明，扰动的骨架序列能够在用计算机图形创建的RGB视频中诱导对抗行为。NTU和Kinetics数据集的综合评估证实了CIASA在基于图形的骨架动作识别方面的有效性，并揭示了对时空深度学习任务的迫在眉睫的威胁。
2019-09-14 cs.CV
Skeleton-Contrastive 3D Action Representation Learning
University of Amsterdam（阿姆斯特丹大学）
本文致力于自监督学习的特征空间，适合基于动作识别。我们的建议是建立在学习不变性输入骨架表示和各种骨架增强通过噪声对比估计。特别是，我们提出了骨架间对比学习，它以交叉对比的方式从多个不同的输入骨架表示中学习。此外，我们还提供了几个特定于骨架的空间和时间增强，进一步鼓励模型学习骨架数据的时空动态。通过学习不同骨架表示之间的相似性以及相同序列的增强视图，鼓励网络学习骨架数据的更高级别的语义，而不是只使用增强视图。我们的方法实现了最先进的性能自监督学习从骨架数据上具有挑战性的PKU和NTU数据集与多个下游任务，包括动作识别，动作检索和半监督学习。代码可在https://github.com/fmthoker/skeleton-contrast上获得。
2021-08-08 cs.CV
Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence
本文提出 Skeleton2vec 自监督框架，利用基于 transformer 的教师编码器生成高级上下文化表示作为掩码预测目标，并设计运动感知管状掩码策略，在多个数据集上达到最先进性能。
2024-01-01 cs.CV
Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia（沃林根大学先进多媒体研究实验室）
本文提出时空关节密度（STJD）度量骨架动静交互，识别主关节引导自监督学习，并设计STJD-CL对比策略与STJD-MP重建方法，在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
DMMG: Dual Min-Max Games for Self-Supervised Skeleton-Based Action Recognition
University of Technology Sydney（悉尼科技大学）；University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了一个新的双最小最大游戏（DMMG）的自监督骨架动作识别方法，通过增加未标记的数据在对比学习框架。我们的DMMG由一个观点变化的最小-最大博弈和边扰动的最小-最大博弈。这两个最小-最大游戏采用对抗范式，分别对骨架序列和图形结构的身体关节执行数据增强。我们的观点变化最小最大游戏的重点是构建各种硬对比对生成骨架序列从不同的观点。这些硬对比对帮助我们的模型学习代表性动作特征，从而促进模型向下游任务的转移。此外，我们的边扰动最小-最大游戏专门通过扰动基于图的身体关节之间的连接强度来构建不同的硬对比样本。连接强度变化对比对使得模型能够捕获不同动作的最小的足够信息，诸如动作的代表性手势，同时防止模型过拟合。通过充分利用所提出的DMMG，我们可以生成足够的具有挑战性的对比对，从而以自监督的方式从未标记的骨架数据中实现有区别的动作特征表示。大量的实验表明，我们的方法在广泛使用的NTU-RGB+D和NTU 120-RGB+D数据集上的各种评估协议下取得了优异的结果。
2023-02-22 cs.CV
QCLR: A Plug-in Robustification Module via Quantization for Contrastive Learning in Self-Supervised Skeleton-Based Human Action Recognition
University of Leeds（利兹大学）；Central South University（中南大学）；Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）
本研究针对自监督骨架基人体动作识别中对比学习易受对抗攻击的问题，提出插件式鲁棒化量化模块QCLR，通过双级量化与注意力引导多维度量化策略提升模型鲁棒性，同时保持分类准确率。
2026-10-12 cs.CV
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology（长冈技术科学大学）；Guizhou College of Electronic Science and Technology（贵州电子科技学院）；Guizhou University（贵州大学）
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题，提出DSTSA-GCN，通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习，在多个基准上取得最优性能。
2025-01-21 cs.CV
STARS: Self-supervised Tuning for 3D Action Recognition in Skeleton Sequences
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；KITE Research Institute（KITE研究机构）
STARS通过掩码预测与最近邻对比学习相结合的自监督调优方法，在不使用手工数据增强的情况下提升骨架动作识别的聚类质量和少样本泛化能力，并在多个基准上取得最优结果。
2025-11-09 cs.CV
VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG
CenBRAIN Neurotech（CenBRAIN神经科技公司）；Westlake University（西湖大学）；Epilepsy Center, SAHZU, Zhejiang University（浙江大学附属邵逸夫医院癫痫中心）
提出基于骨架时空 Vision Graph 神经网络的 VSViG，结合概率累积决策规则，实现低延迟、低算力、零误检的实时视频癫痫发作检测。
2024-07-08 cs.CV
Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
大多数半监督的基于骨架的动作识别方法旨在仅在关节级别学习骨架动作表示，但忽略了粗粒度身体处的关键运动特征（例如，肢体、躯干）级别，提供丰富的附加语义信息，尽管标记数据的数量是有限的。在这项工作中，我们提出了一种新的金字塔自注意力聚合学习（简称PSP学习）框架，通过覆盖粗到细粒度的对比学习，联合学习包含丰富和互补语义信息的关节和运动数据的身体级，部件级和关节级动作表示。具体来说，为了补充骨架动作中从粗到细粒度的语义信息，我们设计了一种新的金字塔聚合注意力（PPA）机制，该机制首先计算身体级注意力图，部分级注意力图和关节级注意力图，并以逐层的方式聚合这些注意力图（即，从身体水平到部分水平，并且进一步到关节水平）。此外，我们提出了一个新的粗到细对比损失（CCL），包括身体水平的对比损失，部分水平的对比损失，关节水平的对比损失，共同衡量关节和运动数据的身体/部分/关节水平的对比特征之间的相似性。最后，在NTU RGB+D和North-Western UCLA数据集上进行了大量的实验，以证明所提出的PSP学习在半监督的基于动作的动作识别任务中的竞争性能。PSP Learning的源代码可在https://github.com/1xbq1/PSP-Learning上公开获取。
2023-02-05 cs.CV
Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition
University of Oxford（牛津大学）；City University of Hong Kong（香港城市大学）；University of Glasgow（格拉斯哥大学）；Durham University（杜伦大学）
本文提出FoCoViL框架，通过最大化多视角样本对之间的对比损失互信息来学习视角不变的骨架动作表示，并引入自适应聚焦化方法增强聚类边界，在无监督和有监督分类器上均表现优异。
2023-04-03 cs.CV
Real-time Human Action Recognition Using Locally Aggregated Kinematic-Guided Skeletonlet and Supervised Hashing-by-Analysis Model
Beijing Institute of Artificial Intelligence（北京人工智能研究院）；Beijing University of Technology（北京工业大学）
三维动作识别是指对由三维骨骼关节组成的动作序列进行分类。虽然许多研究工作致力于3D动作识别，它主要遭受三个问题：高度复杂的清晰度，大量的噪声，和低的实现效率。为了解决所有这些问题，我们提出了一个实时的【形】3D动作识别框架，通过集成本地聚合的运动学引导的小程序（LAKS）与监督散列分析（SHA）模型。我们首先定义的小关节作为几个组合的关节偏移量的运动学原理进行分组，然后表示一个行动序列使用LAKS，其中包括一个去噪阶段和一个局部聚集阶段。去噪阶段检测有噪声的动作数据，并通过用对应的前一帧的特征替换其中的所有特征来调整它，而局部聚合阶段将小块的偏移特征与其聚类中心之间的差在序列的所有偏移特征上相加在一起。最后，结合稀疏表示和哈希模型的SHA模型，旨在提高识别精度的同时保持高效率。在MSRQ3D、UTKinectRQ3D和Florence3DAction数据集上的实验结果表明，该方法在识别精度和执行效率上均优于现有方法.
2021-09-07 cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition
East China Normal University（华东师范大学）
本文提出跨流对比学习框架CSCLR，通过引入流间对比困难样本和正特征变换PFT增强自监督骨架动作表示学习，在多个基准数据集上超越现有方法。
2023-10-26 cs.CV
MoChat: Joints-Grouped Spatio-Temporal Grounding LLM for Multi-Turn Motion Comprehension and Description
Central South University（中南大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Xinjiang University（新疆大学）
针对现有模型在动作时机识别和多轮交互上的局限，提出多模态大模型MoChat，通过关节分组骨架编码器与LLM嵌入结合实现时空感知，并构建多轮对话数据联合训练，首次实现人体动作的细粒度时空定位。
2024-10-15 cs.CV
ViA: View-invariant Skeleton Action Representation Learning via Motion Retargeting
Inria（法国国家信息与自动化研究所）；Toyota Motor Europe（丰田汽车欧洲公司）；Shanghai AI Laboratory（上海人工智能实验室）
当前用于骨架动作表示学习的自监督方法通常集中于受限场景，其中视频和骨架数据在实验室设置中记录。当处理真实世界视频中的估计骨架数据时，由于主体和相机视点之间的大变化，这种方法表现不佳。为了解决这个问题，我们引入了ViA，一种新的视图不变自动编码器，用于自监督骨架动作表示学习。ViA利用不同人类表演者之间的运动重定向作为借口任务，以便在2D或3D骨架序列的视觉表示之上解开潜在的特定于动作的“运动”特征。这种“运动”特征对于骨架几何形状和相机视图是不变的，并且允许ViA促进跨主体和跨视图动作分类任务。我们进行了一项研究，重点是对基于机器人的动作识别进行迁移学习，并对真实世界的数据进行自我监督的预训练（例如，Posetics）。我们的研究结果表明，从ViA学习的骨架表示是通用的，足以提高最先进的动作分类精度，不仅在3D实验室数据集，如NTU-RGB+D 60和NTU-RGB+D 120，而且在现实世界的数据集，只有2D数据是准确估计，例如，Toyota Smarthome、UAV-Human和Penn Action。
2022-08-31 cs.CV
Bootstrapped Representation Learning for Skeleton-Based Action Recognition
Lund University（隆德大学）；Sony Europe B.V.（索尼欧洲有限公司）
在这项工作中，我们研究了自监督表示学习的三维基于动作识别。我们扩展了Bootstrap Your Own Latent（BYOL）算法用于骨架序列数据的表示学习，并提出了一种新的数据增强策略，该策略包括两个非对称的转换管道。我们还介绍了一种多视点采样方法，利用不同的相机捕捉到的同一动作的多个视角。在半监督设置，我们表明，性能可以进一步提高知识蒸馏从更广泛的网络，再次利用未标记的样本。我们在NTU-60和NTU-120数据集上进行了大量的实验，以证明我们所提出的方法的性能。我们的方法在线性评估和半监督基准测试中始终优于当前最先进的方法。
2022-04-19 cs.CV
Memory Attention Networks for Skeleton-based Action Recognition
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Department of Computer Science and Technology, China University of Mining & Technology, Beijing（中国矿业大学（北京）计算机科学与技术系）；School of Computing & Communications, Lancaster University（兰卡斯特大学计算与通信学院）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；Noah’s Ark Lab, Huawei Technologies Co. Ltd.（华为技术有限公司诺亚方舟实验室）；Department of Electrical and Computer Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校电气与计算机工程系）
基于骨骼的动作识别任务涉及到骨骼关节复杂的时空变化，对于递归神经网络（RNN）来说仍然是一个挑战。在这项工作中，我们提出了一个时间，然后空间重新校准计划，以减轻这种复杂的变化，从而在端到端的记忆注意力网络（MAN），其中包括一个时间注意力重新校准模块（TARM）和时空卷积模块（STCM）。具体来说，TARM部署在一个残余学习模块，采用了一种新的注意力学习网络重新校准的时间注意力的框架序列。STCM将注意力校准的骨骼关节序列视为图像，并利用卷积神经网络（CNN）来进一步对骨骼数据的空间和时间信息进行建模。这两个模块（TARM和STCM）无缝地形成了一个单一的网络架构，可以以端到端的方式进行训练。MAN显着提高了基于机器人的动作识别性能，并在四个具有挑战性的基准数据集上取得了最佳结果：NTU RGB+D，HDM 05，SYSU-3D和UT-Kinect。
2018-05-03 cs.CV
Spatial Hierarchy and Temporal Attention Guided Cross Masking for Self-supervised Skeleton-based Action Recognition
Shenzhen University（深圳大学）
提出HA-CM框架，通过空间层次和时间全局注意力双视角交叉掩码及交叉对比损失，解决单一掩码过拟合问题，在三大数据集上提升自监督骨架动作识别性能。
2024-09-26 cs.CV
Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition
Zhejiang University（浙江大学）；Harvard Medical School（哈佛医学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于手势的动作识别被广泛应用于各种领域，例如，监控和人机交互。现有的模型主要是以监督的方式学习的，因此严重依赖于大规模的标记数据，当标签过于昂贵时，这可能是不可行的。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），同时捕捉姿势和运动动态的无监督的基于动作识别。它主要由三部分组成：序列重构器、对比运动学习器和信息融合器。序列重构器通过重构从骨架坐标序列中学习表示，因此所学习的表示倾向于关注琐碎的姿势坐标，并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习器分别在从坐标序列和附加速度序列学习的表示之间执行对比学习。最后，在信息融合器中，我们探索了多种策略来结合序列重建器和对比运动学习器，并提出通过基于知识蒸馏的融合策略将运动学习从对比运动学习器转移到序列重建器来同时捕获姿势和运动。几个基准上的实验结果，即，NTU RGB+D 60、NTU RGB+D 120、CMU mocap和NW-UCLA证明了所提出的CRRL方法的前景，其性能远远优于最先进的方法。
2023-02-11 cs.CV
Self-Supervised 3D Action Representation Learning with Skeleton Cloud Colorization
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；South China University of Technology（华南理工大学）
本文提出一种基于骨架云着色的自监督三维动作表示学习方法，通过双流网络学习多尺度时空特征，在多个数据集上显著优于现有无监督和半监督方法。
2023-10-16 cs.AI cs.CV
Self-Attention Network for Skeleton-based Human Action Recognition
University of Central Florida（中佛罗里达大学）
基于伊顿的动作识别最近吸引了很多关注。研究人员正在提出新的方法来提取时空关系，并在大规模基于时空的数据集上取得了相当大的进展。提出的大多数架构都基于递归神经网络（RNN）、卷积神经网络（CNN）和基于图的CNN。当涉及到基于信标的动作识别时，长期上下文信息的重要性是中心的，这是当前架构所不能捕获的。为了更好地表示和捕捉长期的时空关系，我们提出了三种自注意网络（SAN）的变体，即SAN-V1，SAN-V2和SAN-V3。我们的SAN变体具有通过捕获远程相关性来提取高级语义的能力。我们还将临时段网络（TSN）与我们的SAN变体集成在一起，从而提高了整体性能。通过大量的实验探索了自注意网络（SAN）变体和时间段网络（TSN）的不同配置。我们选择的配置在Kinetics上分别比最先进的Top-1和Top-5高出4.4%和7.9%，并且在NTU RGB+D上表现出比最先进的方法更好的性能。
2019-12-18 cs.CV
Optimized Skeleton-based Action Recognition via Sparsified Graph Regression
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
随着可访问深度传感器的普及，动态人体骨架作为一种鲁棒的动作识别模式引起了人们的广泛关注。以前的方法基于RNN或CNN来建模骨骼，这对于不规则的骨骼关节具有有限的表达能力。虽然已经提出了图卷积网络（GCN）来处理不规则的图结构数据，但基本的图构造仍然具有挑战性。在本文中，我们表示自然的骨架图，并提出了一个基于图回归的GCN（GR-GCN）的动作识别，旨在捕捉数据的时空变化。由于图表示对图卷积至关重要，我们首先提出图回归来从多个观察中统计学习底层图。特别是，我们提供了时空建模的骨架，并提出了一个优化问题的图形结构在连续的帧，这强制执行的稀疏性的底层图形的有效表示。优化后的图不仅将同一帧中的每个关节与其相邻关节强连接或弱连接，而且还与前一帧和后一帧中的相关关节连接。然后，我们将优化的图与骨架序列的坐标一起送入GCN进行特征学习，在那里我们部署了谱图卷积的高阶和快速Chebyshev近似。此外，我们提供了分析的变化特征的切比雪夫近似。实验结果验证了所提出的图回归的有效性，并表明所提出的GR-GCN实现了最先进的性能上广泛使用的NTU RGB+D，UT-Kinect和SYSU 3D数据集。
2019-04-15 cs.CV
Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition
Hefei University of Technology（合肥工业大学）；Jilin University（吉林大学）；Zhejiang Gongshang University（浙江工商大学）；University of Science and Technology of China（中国科学技术大学）
提出自适应掩码重建（AMR）框架，通过解耦编码器-解码器并引入自适应引导模块，加速预训练并提升下游动作识别精度，在多个数据集上超越现有方法。
2026-06-11 cs.CV
MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
在本文中，我们解决了自监督表示学习从人体骨骼动作识别。以前的方法，通常从一个单一的重建任务学习的特征表示，可能会遇到过拟合问题，和功能是不可推广的动作识别。相反，我们建议整合多个任务，以自我监督的方式学习更一般的表示。为了实现这一目标，我们集成了运动预测，拼图识别，和对比学习从不同的角度学习骨架特征。骨架动态可以通过预测未来序列的运动预测来建模。而对于动作识别至关重要的时间模式是通过解决拼图游戏来学习的。通过对比学习进一步正则化特征空间。此外，我们还探索了不同的训练策略，以利用自监督任务的知识进行动作识别。我们评估了我们的多任务自监督学习方法，在不同的配置下训练的动作分类器，包括无监督，半监督和全监督设置。我们在NW-UCLA，NTU RGB+D和PKUMMD数据集上的实验显示了动作识别的显着性能，证明了我们的方法在学习更具鉴别力和一般特征方面的优越性。我们的项目网站是https://langlandslin.github.io/projects/MSL/。
2020-10-14 cs.AI cs.CV
Action Capsules: Human Skeleton Action Recognition
K. N. Toosi University of Technology（K.N.托西理工大学）
本文提出动作胶囊模型，通过捕捉骨架序列中关节的潜在相关性识别动作关键关节，并以多阶段聚合时空特征，在降低计算需求的同时取得领先的动作识别性能。
2023-01-30 cs.CV
Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；University of Trento（特伦托大学）
本文提出了一种新的端到端的方法的问题，基于神经网络的无监督人体动作识别。我们提出了一个新的架构与卷积自动编码器，使用图形拉普拉斯正则化模型的动作的时间动态的骨架几何。我们的方法是强大的视点变化，包括一个自我监督的梯度反转层，确保泛化跨相机视图。该方法在NTU-60和NTU-120大规模数据集上进行了验证，在跨主题，跨视图和跨设置协议上，该方法优于所有先前的基于无监督模型的方法。虽然是无监督的，但我们的可学习表示允许我们的方法甚至超过一些基于监督的基于动作的动作识别方法。该代码可在：www.example.com
2022-04-21 cs.CV
Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition
Key Laboratory of Machine Perception, Shenzhen Graduate School, Peking University（北京大学深圳研究生院机器感知重点实验室）；The School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能系统工程学院）
近年来，随着对比学习方法的发展，用于基于手势的动作识别的自监督表示学习得到了发展。现有的对比学习方法使用正常的增强来构造相似的正样本，这限制了探索新的运动模式的能力。在本文中，更好地利用极端扩增引入的运动模式，一个对比学习框架，利用丰富的信息挖掘的自我监督的行动表示（Aimmatis）的建议。首先，提出了极端增强和基于能量的注意力引导下降模块（EADM）来获得不同的正样本，这带来了新的运动模式，以提高学习表示的通用性。其次，由于原始恒等式的剧烈变化，直接使用极端增广可能无法提高性能，因此提出了双分布发散最小化损失（Dual DistributionalDivergenceMinimizationLoss，$^3$ M Loss），以更温和的方式最小化分布发散。第三，提出了最近邻挖掘（NNM），进一步扩大正样本，使丰富的信息挖掘过程更加合理。在NTU RGB+D 60，PKU-MMD，NTU RGB+D 120数据集上的详尽实验已经验证了我们的Aimestant可以在各种评估协议下显著优于最先进的方法，并观察到更高质量的动作表示。我们的代码可在https://github.com/Levigty/AimCLR上获得。
2021-12-07 cs.CV
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University（启明大学）；Difine
在动作识别中，虽然时空视频和骨架特征的结合可以提高识别性能，但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题，我们提出了时空cRoss（STAR）-Transformer，它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先，从输入的视频和骨架序列，视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌，分别。然后，这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意（FAttn）模块和建议的锯齿形时空注意（ZAttn）模块组成。类似地，连续解码器由FAttn模块和建议的二进制时空注意力（BAttn）模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明，该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Meta；MERL（三菱电机研究实验室）
本文提出HaLP模块，通过在潜在空间中生成难度可控的合成正样本，解决基于骨架的无监督动作识别中数据增强困难的问题，在多个基准测试中取得一致提升。
2023-04-01 cs.CV
Investigation of Different Skeleton Features for CNN-based 3D Action Recognition
Advanced Multimedia Research Lab, University of Wollongong（卧龙岗大学高级多媒体研究实验室）
深度学习技术正被用于基于骨架的动作识别任务，并且已经报告了出色的性能。与基于RNN的方法过于强调时间信息相比，基于CNN的方法可以从骨架序列编码的纹理彩色图像中联合捕获时空信息。在基于RNN和基于手工特征的方法中，有几个基于机器学习的特征已被证明是有效的。然而，它仍然是未知的，它们是否适合基于CNN的方法。本文提出了五个空间骨架特征编码到图像中的不同编码方法。此外，研究了不同关节用于特征提取的性能含义。该方法在NTU RGB+D数据集上实现了最先进的性能，用于3D人体动作分析。在大规模3D人体活动分析挑战赛中，深度视频的准确率达到75.32%。
2017-05-02 cs.CV
Skeleton-Snippet Contrastive Learning with Multiscale Feature Fusion for Action Localization
School of Computer Science, University of Bristol North Bristol NHS Trust（布里斯托大学计算机科学学院、北布里斯托国家健康服务信托）
本文提出基于多尺度特征融合的骨骼-片段对比学习方法，用于改进动作定位的自监督预训练，通过对比学习增强特征区分能力，并在多个数据集上取得优异效果。
2025-12-22 cs.CV
