Joint Temporal Pooling for Improving Skeleton-based Action Recognition
University of Wollongong（卧龙岗大学）；Advanced Multimedia Research Lab（先进多媒体研究实验室）
针对传统时间池化方法忽略运动信息保留、对所有帧同等处理的问题，本文提出联合运动自适应时间池化JMAP方法及帧级、关节级两种变体，在NTU RGB+D 120与PKU-MDD数据集上验证了其对骨架动作识别的提升效果。
2024-08-18 cs.CV
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题，提出融合STC模块与DK-GC的STC-Net，自适应建模时空依赖且无额外参数量，在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）
基于对比学习的自监督神经网络动作识别方法受到了广泛的关注。最近的文献表明，数据增强和大量对比对对于学习此类表示至关重要。在本文中，我们发现，直接扩展的对比对的基础上正常的增广带来的性能方面的回报有限，因为对比对的正常数据增强的损失的贡献越来越小，随着训练的进展。因此，我们深入研究了对比学习的硬对比对。混合增强策略的成功，提高了许多任务的性能，通过合成新的样本的动机，我们提出了SkeleMixtail：一个对比学习框架与时空骨架混合增强（SkeleMix），以补充当前的对比学习方法，通过提供硬对比样本。首先，SkeleMix利用骨架数据的拓扑信息，通过随机组合裁剪的骨架片段（修剪视图）与剩余的骨架序列（截断视图）来混合两个骨架序列。其次，应用时空掩模池来在特征级别分离这两个视图。第三，我们用这两种观点扩展对比对。SkeleMixtool利用修剪和截断的视图来提供丰富的硬对比对，因为它们由于图卷积操作而涉及彼此的一些上下文信息，这允许模型学习更好的运动表示以进行动作识别。在NTU-RGB+D、NTU 120-RGB+D和PKU-MMD数据集上进行的大量实验表明，SkeleMixtool实现了最先进的性能。代码可在https://github.com/czhaneva/SkeleMixCLR上获得。
2022-07-07 cs.CV
Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences
基于3D骨架序列的动作识别以其快速性和鲁棒性而受到广泛关注。最近提出的基于卷积神经网络（CNN）的方法在学习骨架序列的时空表示方面表现出良好的性能。尽管先前的基于CNN的方法实现了良好的识别精度，但存在两个潜在地限制性能的问题。首先，通过以固定顺序链接关节来生成先前的骨架表示。对应的语义不清，关节间的结构信息丢失。其次，以前的模型没有能力集中在信息关节。注意力机制对于基于骨架的动作识别是非常重要的，因为存在时空关键阶段，而联合预测可能是不准确的。为了解决这两个问题，我们提出了一种新的CNN为基础的骨架动作识别方法。我们首先重新设计的骨架表示与深度优先的树遍历顺序，这增强了骨架图像的语义意义，更好地保留了相关的结构信息。然后，我们提出了一个双分支注意力架构的想法，专注于时空的关键阶段，并过滤掉不可靠的联合预测。首先介绍了一种结构最简单的基本注意力模型。通过改进这两个分支的结构，我们进一步提出了一个全局长序列注意力网络（GLAN）。此外，为了调整内核的时空纵横比，更好地捕捉长期的依赖关系，我们提出了一个子序列注意力网络（SSAN），采取子图像序列作为输入。我们在NTU RGB+D和SBU Kinetic Interaction上的实验结果优于现有技术。该模型在UCF 101和Kinetics的噪声估计姿势上得到了进一步验证。
2018-04-11 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University（北京航空航天大学）
在本文中，我们提出了一个耦合的时空注意力（CSTA）模型的基于动作识别，其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要，这对模糊和冗余的信息是不鲁棒的。为了解决这个问题，我们首先通过两个子网络分别为不同的关节和帧学习两组权重，这使得模型具有“关注”相对信息部分的能力。然后，我们计算叉积的关节和帧的权重的时空耦合的注意。此外，我们的CSTA机制可以很容易地插入到现有的分层CNN模型（CSTA-CNN），以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明，我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Towards To-a-T Spatio-Temporal Focus for Skeleton-Based Action Recognition
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
图卷积网络（GCN）已被广泛用于基于动作识别的高阶动态依赖模型。大多数现有的方法没有显式地嵌入高阶时空重要性关节的空间连接拓扑结构和强度，他们没有直接的目标，他们的注意力模块，以共同学习何时和何处集中在动作序列。为了解决这些问题，我们提出了To-a-T时空焦点（STF），一个基于时间序列的动作识别框架，利用时空梯度来关注相关的时空特征。首先，我们提出了STF模块与学习的梯度强制和实例相关的邻接矩阵模型的高阶时空动力学。其次，我们提出了三个损失条款上定义的基于梯度的时空焦点，明确指导分类何时何地看，区分混淆类，并优化堆叠STF模块。STF在NTU RGB+D 60、NTU RGB+D 120和Kinetics Skeleton 400数据集上，在所有15种设置中，在不同的视图、主题、设置和输入模式下，都优于最先进的方法，STF在稀缺数据和数据集移动设置上也显示出更好的准确性。
2022-02-04 cs.CV
Skeleton-Based Action Recognition with Spatial Reasoning and Temporal Stack Learning
Center for Research on Intelligent Perception and Computing (CRIPAC), National Laboratory of Pattern Recognition (NLPR)（智能感知与计算研究中心（CRIPAC）、模式识别国家重点实验室（NLPR））；University of Chinese Academy of Sciences (UCAS)（中国科学院大学（UCAS））；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所（CASIA）脑科学与智能技术卓越创新中心（CEBSIT））
近年来，基于小波变换的动作识别取得了很大的进展，但仍存在许多问题。例如，大多数先前的方法建模的骨架序列的表示没有丰富的空间结构信息和详细的时间动态特征。本文提出了一种新的基于骨架的动作识别模型，该模型由空间推理网络（SRN）和时间堆栈学习网络（TSLN）组成。SRN可以通过残差图神经网络捕获每帧内的高级空间结构信息，而TSLN可以通过多个跳跃剪辑LSTM的组合来建模骨架序列的详细时间动态。在训练过程中，我们提出了一个基于剪辑的增量损失来优化模型。我们在SYSU 3D人机交互数据集和NTU RGB+D数据集上进行了大量的实验，并验证了我们模型中每个网络的有效性。比较结果表明，我们的方法取得了更好的结果比国家的最先进的方法。
2018-12-03 cs.CV
Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征，而这种相似性可能会受到一些失真的影响，这些失真可以建模为空间和时间仿射变换的组合。在这项工作中，我们提出了一个新的功能称为时空双仿射微分不变（STDADI）。此外，为了提高神经网络的泛化能力，提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上，它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在非欧几里德数据结构建模方面已经非常成功，如身体骨架序列形成建模为时空图的动作。大多数基于GCN的动作识别方法使用具有高计算复杂性的深度前馈网络来处理动作中的所有骨架。这导致大量浮点运算（从16G到100G FLOP）来处理单个样本，使得它们在受限计算应用场景中的采用不可行。在本文中，我们提出了一个时间注意力模块（TAM），通过选择在网络的早期层的行动的信息量最大的骨架，以提高效率在基于网络的动作识别。我们将TAM在一个轻量级的GCN拓扑结构，以进一步减少计算的总数。在两个基准数据集上的实验结果表明，该方法在计算量减少2.9倍的情况下，性能大大优于基于GCN的基线方法。此外，它的性能与最新技术相当，计算次数减少了9.6倍。
2021-04-22 cs.CV
Skeleton-based Action Recognition via Spatial and Temporal Transformer Networks
Politecnico di Milano（米兰理工大学）；Politecnico di Torino（都灵理工大学）
近年来，基于骨骼的人体活动识别已经取得了很大的兴趣，因为骨骼数据已经被证明对光照变化，身体尺度，动态相机视图和复杂背景具有鲁棒性。特别是，时空图卷积网络（ST-GCN）被证明是有效的学习空间和时间依赖于非欧几里德数据，如骨架图。然而，潜在的3D骨架的信息的有效编码仍然是一个悬而未决的问题，特别是当它涉及到从关节运动模式和它们的相关性提取有效的信息。在这项工作中，我们提出了一种新的时空Transformer网络（ST-TR）模型之间的依赖关系的关节使用Transformer自注意力运营商。在我们的ST-TR模型中，空间自我注意模块（SSA）用于理解不同身体部位之间的帧内交互，时间自我注意模块（TSA）用于对帧间相关性进行建模。这两者结合在一个双流网络中，其性能在三个大规模数据集NTU-RGB+D 60、NTU-RGB+D 120和Kinetics Skeleton 400上进行评估，不断改进骨干结果。与使用相同输入数据的方法相比，当使用关节坐标作为输入时，所提出的ST-TR在所有数据集上实现了最先进的性能，并且当添加骨骼信息时，结果与最先进的性能相当。
2021-06-22 cs.CV
FineTec: Fine-Grained Action Recognition Under Temporal Corruption via Skeleton Decomposition and Sequence Completion
FineTec通过骨骼分解和序列补全方法，在受时间腐蚀影响下实现细粒度动作识别的高效准确识别。
2025-12-31 cs.CV
Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition
Tianjin University（天津大学）；Dalian University of Technology（大连理工大学）
当前基于骨架的动作识别方法通常主要考虑捕获长期时间依赖性，因为骨架序列通常很长（>128帧），这对以前的方法形成了挑战性问题。在这种情况下，短期的依赖关系很少被正式考虑，这是关键的分类类似的行动。目前的方法大多由仅空间模块和仅时间模块交错组成，其中相邻帧中关节之间的直接信息流受到阻碍，从而不利于捕获短期运动和区分相似动作对。为了处理这个限制，我们提出了一个通用的框架，创造为STGAT，跨时空信息流建模。它为纯空间模块配备了用于区域感知的时空建模。虽然STGAT在理论上是有效的时空建模，我们提出了三个简单的模块，以减少局部时空特征冗余，进一步释放STGAT的潜力，（1）缩小范围的自我注意力机制，（2）动态加权关节沿时间维，（3）分离细微的运动，从静态特征，分别。作为一个强大的特征提取器，STGAT概括更好地分类类似的行动比以前的方法，见证了定性和定量的结果。STGAT在三个大规模数据集上实现了最先进的性能：NTU RGB+D 60，NTU RGB+D 120和Kinetics Skeleton 400。代码被释放。
2022-09-13 cs.CV
Memory Attention Networks for Skeleton-based Action Recognition
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Department of Computer Science and Technology, China University of Mining & Technology, Beijing（中国矿业大学（北京）计算机科学与技术系）；School of Computing & Communications, Lancaster University（兰卡斯特大学计算与通信学院）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；Noah’s Ark Lab, Huawei Technologies Co. Ltd.（华为技术有限公司诺亚方舟实验室）；Department of Electrical and Computer Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校电气与计算机工程系）
基于骨骼的动作识别任务涉及到骨骼关节复杂的时空变化，对于递归神经网络（RNN）来说仍然是一个挑战。在这项工作中，我们提出了一个时间，然后空间重新校准计划，以减轻这种复杂的变化，从而在端到端的记忆注意力网络（MAN），其中包括一个时间注意力重新校准模块（TARM）和时空卷积模块（STCM）。具体来说，TARM部署在一个残余学习模块，采用了一种新的注意力学习网络重新校准的时间注意力的框架序列。STCM将注意力校准的骨骼关节序列视为图像，并利用卷积神经网络（CNN）来进一步对骨骼数据的空间和时间信息进行建模。这两个模块（TARM和STCM）无缝地形成了一个单一的网络架构，可以以端到端的方式进行训练。MAN显着提高了基于机器人的动作识别性能，并在四个具有挑战性的基准数据集上取得了最佳结果：NTU RGB+D，HDM 05，SYSU-3D和UT-Kinect。
2018-05-03 cs.CV
Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues
Delhi Technological University（德里理工大学）
视频中的动作存在大量的类内差异和类间相似性，这使得视频中的动作识别具有很大的挑战性。在本文中，我们提出了一种新的基于卷积神经网络的部分时空CNN RIAC网络的三维人体动作识别框架，以部分方式可视化动作动态，并通过应用加权后期融合机制来利用每个部分进行动作识别。基于部分骨架的运动动力学有助于突出骨架的局部特征，这是通过将完整骨架划分为五个部分来执行的，例如头部到脊柱、左腿、右腿、左手、右手。RIAFNet架构受到InceptionV 4架构的极大启发，该架构统一了基于ResNet和Inception的时空特征表示概念，并实现了迄今为止最高的top-1准确度。为了提取和学习用于动作识别的显著特征，使用注意力驱动的残差，其增强残差分量的性能以用于有效的基于3D卷积的时空动作表示。通过对UT Kinect Action 3D、Florence 3D action Dataset和MSR Daily 3D数据集等三个具有挑战性的数据集进行广泛的实验，评估了所提出的框架的鲁棒性，这些数据集始终证明了我们方法的优越性
2019-12-02 cs.CV
Temporal Extension Module for Skeleton-Based Action Recognition
FUJITSU LABORATORIES LTD.（富士通实验室有限公司）；Digital Innovation Core Unit（数字创新核心单元）
我们提出了一个模块，扩展的时间图的图卷积网络（GCN）的动作识别的骨架序列。现有方法试图在帧内表示更合适的空间图，但忽略了帧间时间图的优化。具体地，这些方法在仅对应于帧间的同一关节的顶点之间连接。在这项工作中，我们专注于添加连接到帧间相邻的多个顶点，并提取额外的功能扩展的时间图的基础上。我们的模块是一个简单而有效的方法来提取人体运动中的多个关节的相关特征。此外，我们的模块有助于进一步提高性能，以及其他GCN方法，优化空间图。我们在两个大型数据集NTU RGB+D和Kinetics-Skeleton上进行了广泛的实验，并证明了我们的模块对几个现有模型是有效的，我们的最终模型达到了最先进的性能。
2020-10-19 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中，我们提出了一个端到端的空间和时间的注意力模型，从骨架数据的人类动作识别。我们在具有长短期记忆（LSTM）的递归神经网络（RNN）之上构建我们的模型，它学会选择性地关注输入的每一帧内骨架的区别性关节，并对不同帧的输出给予不同程度的关注。此外，为了确保网络的有效训练，我们提出了一个正则化的交叉熵损失来驱动模型学习过程，并相应地开发了一个联合训练策略。实验结果表明，该模型的有效性，无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Spatial Temporal Transformer Network for Skeleton-based Action Recognition
Politecnico di Milano（米兰理工大学）
基于骨骼的人体动作识别近年来受到了广泛的关注，因为骨骼数据已经被证明对光照变化、身体尺度、动态相机视图和复杂背景具有鲁棒性。然而，潜在的信息的有效编码的3D骨架仍然是一个悬而未决的问题。在这项工作中，我们提出了一种新的时空Transformer网络（ST-TR）模型之间的依赖关系的关节使用Transformer自注意力运营商。在我们的ST-TR模型中，空间自我注意模块（SSA）用于理解不同身体部位之间的帧内交互，时间自我注意模块（TSA）用于对帧间相关性进行建模。这两种技术组合在一个双流网络中，在NTU-RGB+D 60和NTU-RGB+D 120上使用相同的输入数据，其性能优于最先进的模型。
2020-12-11 cs.CV
Adversarial Attack on Skeleton-based Human Action Recognition
深度学习模型在基于机器人的人类动作识别方面取得了令人印象深刻的性能。然而，这些模型对对抗攻击的鲁棒性在很大程度上仍未被探索，这是由于它们复杂的时空性质，必须表示稀疏和离散的骨架关节。这项工作提出了第一个对抗攻击基于动作识别的图卷积网络。所提出的有针对性的攻击，称为约束迭代攻击的骨架动作（CIASA），扰动关节位置的动作序列，使所产生的对抗序列保持时间的连贯性，空间的完整性，和拟人的骨架的可扩展性。CIASA通过满足多个物理约束来实现这一壮举，并对扰动骨架采用空间骨架重新排列，以及使用生成网络对对抗骨架进行正则化。我们还探讨了语义不可感知的本地化攻击与CIASA的可能性，并成功地愚弄了国家的最先进的骨架动作识别模型具有高的信心。CIASA扰动显示出高的可转移性的黑盒攻击。我们还表明，扰动的骨架序列能够在用计算机图形创建的RGB视频中诱导对抗行为。NTU和Kinetics数据集的综合评估证实了CIASA在基于图形的骨架动作识别方面的有效性，并揭示了对时空深度学习任务的迫在眉睫的威胁。
2019-09-14 cs.CV
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
Extended multi-stream temporal-attention module for skeleton-based human action recognition (HAR)
Zhengzhou University（郑州大学）；Henan Xintong Intelligent IOT Co., Ltd.（河南信通智能物联网有限公司）；LUT University（拉彭兰塔-拉赫蒂理工大学）；University of Oulu（奥卢大学）；Government College University Faisalabad（费萨拉巴德政府学院大学）
针对基于骨架的动作识别中GCN图结构固定等问题，提出扩展多流时间注意力模块，以提升识别性能。
2024-11-10 cs.CV
Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出部分时空学习框架，通过中心空间掩码和运动注意力时间掩码构建部分骨架序列，利用无负样本三元流结构学习局部关系，在多个数据集上达到SOTA并具鲁棒性。
2023-02-22 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Multi-Scale Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition
Peking University（北京大学）；Zhejiang University（浙江大学）；Syracuse University（雪城大学）
由于图卷积网络对非欧数据具有良好的建模能力，因此被广泛应用于基于卷积的动作识别。由于图卷积是一种局部操作，它只能利用短距离的关节依赖关系和短期轨迹，但不能直接建模远距离关节关系和长期的时间信息，这是至关重要的区分各种行动。为了解决这个问题，我们提出了一个多尺度空间图卷积（MS-GC）模块和一个多尺度时间图卷积（MT-GC）模块，以丰富在空间和时间维度的模型的感受野。具体地，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图卷积，形成分层残差架构。在不引入额外参数的情况下，特征将通过一系列子图卷积进行处理，每个节点可以与其邻域完成多个空间和时间聚合。最后等效的感受野相应地扩大，这是能够捕获在空间和时间域的短期和长期的依赖性。通过将这两个模块耦合为一个基本块，我们进一步提出了一个多尺度时空图卷积网络（MST-GCN），它堆叠多个块来学习有效的动作识别运动表示。所提出的MST-GCN在三个具有挑战性的基准数据集NTU RGB+D，NTU-120 RGB+D和Kinetics-Skeleton上实现了出色的性能，用于基于动作的动作识别。
2022-06-27 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；University of Science and Technology of China (USTC)（中国科学技术大学）
基于骨架的动作识别是一项重要的任务，它需要从给定的骨架序列中充分理解人体动作的运动特征。最近的研究表明，探索骨骼序列的空间和时间特征是这项任务的关键。然而，如何有效地提取具有区分性的时空特征仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的注意力增强图卷积LSTM网络（AGC-LSTM），用于从骨架数据中识别人类动作。所提出的AGC-LSTM不仅可以捕获空间配置和时间动态中的区分特征，还可以探索空间域和时间域之间的共现关系。我们还提出了一个时间层次架构，以增加顶部AGC-LSTM层的时间感受野，这提高了学习高级语义表示的能力，并显着降低了计算成本。此外，为了选择有区别的空间信息，采用注意力机制来增强每个AGC-LSTM层中的关键关节的信息。在NTU RGB+D数据集和Northwestern-UCLA数据集上进行了实验。比较结果表明，我们的方法的有效性，并表明我们的方法优于国家的最先进的方法在这两个数据集。
2019-03-29 cs.CV
Temporal-Channel Topology Enhanced Network for Skeleton-Based Action Recognition
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于手势的动作识别由于其高效性和鲁棒性而在近年来变得流行。现有的拓扑建模方法大多采用图卷积网络（GCN），但基于GCN的拓扑建模方法在长距离相关建模和泛化能力方面存在局限性。相比之下，卷积神经网络（CNN）用于拓扑建模的潜力尚未得到充分开发。在本文中，我们提出了一种新的CNN架构，时间通道拓扑增强网络（TCTE-Net），学习空间和时间拓扑结构的基于神经网络的动作识别。TCTE-Net由两个模块组成：时间-通道焦点模块，它学习时间-通道焦点矩阵以识别最关键的特征表示，以及动态通道拓扑注意模块，它动态学习空间拓扑特征，并将它们与注意力机制融合以模拟长距离通道拓扑。我们在NTU RGB+D，NTU RGB+D 120和FineGym数据集上进行实验。与基于CNN的方法相比，TCTE-Net显示出最先进的性能，并且与基于GCN的方法相比，具有更优越的性能。该代码可在https://github.com/aikuniverse/TCTE-Net上获得。
2023-02-25 cs.CV
A New Representation of Skeleton Sequences for 3D Action Recognition
The University of Western Australia（西澳大利亚大学）；Murdoch University（莫道克大学）
本文提出了一种基于骨架序列的三维动作识别方法，人体骨骼关节的3D轨迹）。该方法首先将每个骨架序列转换为三个片段，每个片段由多个帧组成，用于使用深度神经网络进行时空特征学习。每个片段都是从骨架序列的圆柱坐标的一个通道生成的。生成的剪辑的每一帧表示整个骨架序列的时间信息，并结合关节之间的一个特定的空间关系。整个剪辑包括具有不同空间关系的多个帧，这些帧提供了人体骨骼的有用空间结构信息。我们建议使用深度卷积神经网络从生成的剪辑的帧中学习骨架序列的长期时间信息，然后使用多任务学习网络（MTLN）并行地联合处理生成的剪辑的所有帧，以合并空间结构信息用于动作识别。实验结果清楚地表明了所提出的新的表示和特征学习方法的有效性的三维动作识别。
2017-06-05 cs.CV
Spatio-Temporal Graph Convolution for Skeleton Based Action Recognition
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）
人体骨架的变化可以被认为是动态图，这是许多现实世界应用的通用数据表示。在本文中，我们提出了一个时空图卷积（STGC）的方法，组装的局部卷积滤波和序列学习能力的自回归移动平均的成功。为了对动态图进行编码，构造了多尺度局部图卷积滤波器，该滤波器由局部感受野和信号映射的矩阵组成，递归地对时间域和空间域的结构化图数据执行。所提出的模型是通用的和原则，因为它可以推广到其他动态模型。我们从理论上证明了STGC的稳定性，并提供了一个上界的信号变换学习。此外，所提出的递归模型可以堆叠成多层架构。为了评估我们的模型，我们在四个基准的基于基于cronon的动作数据集上进行了广泛的实验，包括大规模的具有挑战性的NTU RGB+D。实验结果表明，我们提出的模型的有效性和改进的国家的最先进的。
2018-02-27 cs.CV
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation（索尼公司）
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN，以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Skeleton-Contrastive 3D Action Representation Learning
University of Amsterdam（阿姆斯特丹大学）
本文致力于自监督学习的特征空间，适合基于动作识别。我们的建议是建立在学习不变性输入骨架表示和各种骨架增强通过噪声对比估计。特别是，我们提出了骨架间对比学习，它以交叉对比的方式从多个不同的输入骨架表示中学习。此外，我们还提供了几个特定于骨架的空间和时间增强，进一步鼓励模型学习骨架数据的时空动态。通过学习不同骨架表示之间的相似性以及相同序列的增强视图，鼓励网络学习骨架数据的更高级别的语义，而不是只使用增强视图。我们的方法实现了最先进的性能自监督学习从骨架数据上具有挑战性的PKU和NTU数据集与多个下游任务，包括动作识别，动作检索和半监督学习。代码可在https://github.com/fmthoker/skeleton-contrast上获得。
2021-08-08 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer，通过单一注意力模块集成时空建模并引入多尺度池化融合模块，在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition
School of Information Science and Engineering, Yunnan University（信息科学与工程学院，云南大学）；Lancaster University（兰卡斯特大学）；The University of Western Australia（西澳大学）；Monash University（墨尔本大学）
TSkel-Mamba通过结合Transformer和Mamba模型，利用多尺度时间交互模块提升人体骨骼动作识别的效率与性能。
2025-12-12 cs.CV
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu, Inc.（百度公司）
对各种时空依赖关系进行建模是在骨架序列中识别人类动作的关键。现有的方法过分依赖于遍历规则或图拓扑的设计来绘制动态关节间的依赖关系，这不足以反映距离较远但重要的关节间的关系。此外，由于局部采用的操作，重要的长程时间信息，因此没有很好地探讨在现有的工作。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新的长短期时空聚合网络，它可以有效地捕捉在时空的方式的长/短距离的依赖关系。我们设计我们的模型到一个纯粹的因式分解架构，可以交替执行空间特征聚合和时间特征聚合。为了提高特征聚合的效果，还设计并采用了一种通道级注意力机制。在三个公共基准数据集上进行了广泛的实验，结果表明，我们的方法可以在空间和时间域中捕获长范围和短范围的依赖关系，比其他最先进的方法产生更高的结果。代码可在https://github.com/tailin1009/LSTA-Net获得。
2021-11-01 cs.CV
Hierarchically Self-Supervised Transformer for Human Skeleton Representation Learning
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；ByteDance Inc.（字节跳动公司）
尽管完全监督的人类骨骼序列建模取得了成功，但由于大规模获取任务特定的骨骼注释很困难，因此利用自监督预训练进行骨骼序列表示学习一直是一个活跃的领域。近年来的研究主要集中在使用对比学习学习视频级的时间和判别信息，但忽略了人类骨骼的分层时空性质。不同于这种肤浅的监督在视频层面上，我们提出了一个自我监督的分层预训练计划纳入一个分层的基于变换器的骨架序列编码器（Hi-TRS），明确捕捉空间，短期和长期的时间依赖性在帧，剪辑和视频级别，分别。为了评估所提出的具有Hi-TRS的自监督预训练方案，我们进行了广泛的实验，涵盖了三个基于机器人的下游任务，包括动作识别，动作检测和运动预测。在监督和半监督评估协议下，我们的方法达到了最先进的性能。此外，我们证明了我们的模型在预训练阶段学习的先验知识对不同的下游任务具有很强的转移能力。
2023-03-27 cs.CV
Spatial Hierarchy and Temporal Attention Guided Cross Masking for Self-supervised Skeleton-based Action Recognition
Shenzhen University（深圳大学）
提出HA-CM框架，通过空间层次和时间全局注意力双视角交叉掩码及交叉对比损失，解决单一掩码过拟合问题，在三大数据集上提升自监督骨架动作识别性能。
2024-09-26 cs.CV
Relational Network for Skeleton-Based Action Recognition
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
随着高效、低成本的人体骨骼捕捉系统的快速发展，基于人体骨骼的动作识别近年来引起了人们的广泛关注。现有的方法大多使用卷积神经网络（CNN）和递归神经网络（RNN）来提取嵌入在骨架序列中的时空信息用于动作识别。然而，由于在转换原始骨架数据以适应CNN或RNN的输入格式时丢失了重要的结构信息，这些方法在单个骨架中的关系建模能力方面受到限制。在本文中，我们提出了一个注意递归关系网络-LSTM（ARRN-LSTM），以同时建模动作识别骨架中的空间配置和时间动态。我们引入递归关系网络来学习单个骨架中的空间特征，然后引入多层LSTM来学习骨架序列中的时间特征。在这两个模块之间，我们设计了一个自适应注意力模块，将注意力集中在单个骨架中最具鉴别力的部分。为了充分利用骨架中不同几何形状的互补性进行关系建模，我们设计了一个双流体系结构来同时学习关节和线条之间的结构特征。在几个流行的骨架数据集上进行了大量的实验，结果表明，该方法取得了比大多数主流方法更好的结果。
2019-04-11 cs.CV
One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出一种基于多尺度时空骨架匹配的单样本动作识别方法，通过多尺度与跨尺度匹配捕捉语义相关性，在三个大规模数据集上显著超越现有最先进技术。
2024-02-06 cs.AI cs.CV
Temporal Graph Modeling for Skeleton-based Action Recognition
Xidian University（西安电子科技大学）
图卷积网络（GCN）将骨架数据建模为图，在基于骨架的动作识别中取得了显著的效果。特别是骨架序列的时间动态性在识别任务中传递了重要的信息。对于时间动态建模，基于GCN的方法仅堆叠多层1D局部卷积以提取相邻时间步长之间的时间关系。由于大量局部卷积的重复，具有非相邻时间距离的关键时间信息可能由于信息稀释而被忽略。因此，这些方法仍然不清楚如何充分探索骨架序列的时间动态。在本文中，我们提出了一个时间增强图卷积网络（TE-GCN）来解决这个限制。TE-GCN通过构建时态关系图来捕捉复杂的时态动态。具体而言，所构建的时间关系图明确地建立语义相关的时间特征之间的连接，以模拟相邻和非相邻时间步长之间的时间关系。同时，为了进一步探索充分的时间动态性，设计了多头机制来研究多种时间关系。在两个广泛使用的大规模数据集NTU-60 RGB+D和NTU-120 RGB+D上进行了大量的实验。实验结果表明，该模型为动作识别的时态建模做出了贡献，达到了最先进的性能。
2020-12-16 cs.CV cs.GR
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；University of Sydney（悉尼大学）
在过去的几年中，基于手势的人体动作识别吸引了大量的研究关注。最近的工作试图利用递归神经网络来模拟人体关节的3D位置配置之间的时间依赖关系，以便更好地分析骨骼数据中的人类活动。所提出的工作扩展了这一想法，空间域以及时间域，以更好地分析隐藏的来源，在这两个领域的人类骨骼序列内的动作相关的信息。基于Kinect骨架数据的图形结构，提出了一种有效的基于树结构的遍历框架。为了处理骨架数据中的噪声，在LSTM模块中引入了一种新的门控机制，通过该机制，网络可以学习序列数据的可靠性，并相应地调整输入数据对存储在单元存储单元中的长期上下文表示的更新过程的影响。此外，本文还在LSTM单元中引入了一种新的多模态特征融合策略。在七个具有挑战性的人体动作识别基准数据集上的综合实验结果证明了该方法的有效性。
2017-06-26 cs.CV
Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
Hikvision Research Institute（海康威视研究院）
随着大规模骨架数据集的出现，基于骨架的人体动作识别越来越受到人们的关注。该任务的关键在于两个方面：联合同现的帧内表示和骨架时间演化的帧间表示。在本文中，我们提出了一个端到端卷积共生特征学习框架。共现特征的学习与层次的方法，其中不同层次的上下文信息逐渐聚合。首先，对每个关节的点级信息进行独立编码。然后将它们组装成空间域和时间域的语义表示。具体来说，我们引入了一个全球性的空间聚合方案，这是能够学习优越的联合同现功能超过本地聚合。此外，原始骨架坐标以及它们的时间差与双流范例相结合。实验表明，我们的方法始终优于其他国家的最先进的动作识别和检测基准，如NTU RGB + D，SBU Kinect Interaction和PKU-MMD。
2018-04-17 cs.CV
Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
动态骨骼数据以人体关节的二维/三维坐标表示，由于其高层次的语义信息和环境鲁棒性，在人体动作识别中得到了广泛的研究。然而，以前的方法严重依赖于设计手工制作的遍历规则或图形拓扑来绘制关节之间的依赖关系，这在性能和可推广性方面受到限制。在这项工作中，我们提出了一种新的解耦时空注意力网络（DSTA-Net）的动作识别。它只涉及注意力块，允许建模关节之间的时空依赖关系，而不需要知道它们的位置或相互连接。具体而言，针对骨架数据的具体要求，提出了三种注意力块构建技术，即时空注意力解耦、解耦位置编码和空间全局正则化。此外，在数据方面，我们引入骨架数据解耦技术，强调空间/时间和不同运动尺度的特定特征，从而更全面地理解人类动作。为了验证所提出方法的有效性，我们在四个具有挑战性的基于骨架的手势和动作识别数据集上进行了大量的实验，即SHREC，DHG，NTU-60和NTU-120，DSTA-Net在所有这些方面都实现了最先进的性能。
2020-07-07 cs.CV
Skeleton-based Action Recognition through Contrasting Two-Stream Spatial-Temporal Networks
Shandong Normal University（山东师范大学）；Deakin University（迪肯大学）
为了追求精确的基于图卷积网络的动作识别，大多数现有的方法使用的策略相结合的图卷积网络（GCN）和基于注意力的方法以串行的方式。然而，他们将人体骨架视为一个完整的图形，导致不同动作之间的变化较少（例如，在"拍手“动作中肘部和头部之间的连接）。为此，我们提出了一种新的对比GCN变压器网络（ConGT），它以并行的方式融合了空间和时间模块。ConGT包括两个并行流：时空图卷积流（STG）和时空Transformer流（STT）。STG的目的是获得动作表示保持人体骨骼的自然拓扑结构。STT的目的是获取包含关节之间的全局关系的动作表示。由于这两个流产生的动作表示包含不同的特征，并且它们中的每一个都对另一个知之甚少，因此我们引入了对比学习范式，以自监督的方式引导它们对同一样本的输出表示尽可能接近。通过对比学习，它们可以相互学习信息，通过最大化两种类型的动作表征之间的互信息来丰富动作特征。为了进一步提高动作识别的准确性，我们引入了周期性焦点丢失（CFL），它可以在早期训练阶段集中于自信的训练样本，在中期训练阶段越来越多地集中于硬样本。我们在三个基准数据集上进行了实验，结果表明我们的模型在动作识别方面达到了最先进的性能。
2023-01-27 cs.CV
Skeleton-Based Action Recognition with Synchronous Local and Non-local Spatio-temporal Learning and Frequency Attention
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
由于其简洁性和鲁棒性，基于手势的动作识别近年来受到了广泛的关注。大多数现有方法利用本地网络（例如，递归的、卷积的和图卷积网络）来分层地提取时空动态。因此，本地和非本地依赖，其中包含更多的细节和语义分别，异步捕获在不同级别的层。此外，现有的方法仅限于时空域，而忽略了频域中的信息。为了更好地从多个域中提取同步的详细和语义信息，我们提出了一个残余频率注意力（RFA）块，专注于在频域中的判别模式，和一个同步的本地和非本地（SLnL）块，同时捕获的细节和语义在时空域。此外，提出了一种软边缘聚焦损失（SMFL），以优化整个学习过程，自动进行数据选择，并鼓励在分类器的内在边缘。我们的方法在几个大规模数据集上的性能明显优于其他最先进的方法。
2019-06-12 cs.CV
Unsupervised Spatial-Temporal Feature Enrichment and Fidelity Preservation Network for Skeleton based Action Recognition
North University of China（中北大学）；Shandong University（山东大学）；University of Wollongong（伍伦贡大学）
针对无监督骨骼动作识别中的过拟合问题，提出 U-FEFP 框架，通过协同 BYOL 式特征丰富与预训练任务保真保持，学习鲁棒判别表征，并在三个基准上达到最优。
2024-01-25 cs.CV
Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition
如何有效地从骨架序列中提取时空信息用于三维人体动作识别仍然是一个挑战。虽然大多数最近的动作识别方法是基于递归神经网络表现出出色的性能，这些方法的缺点之一是倾向于过分强调时间信息。由于3D卷积神经网络（3D CNN）是一种通过捕捉三维信号之间的相关性同时从空间和时间维度学习特征的强大工具，本文提出了一种新的基于3D CNN的双流模型。据我们所知，这是3D CNN在基于神经网络的动作识别中的首次应用。我们的方法包括三个阶段。首先，骨骼关节映射到三维坐标空间，然后编码的空间和时间信息，分别。其次，分别采用三维CNN模型从两个流中提取深度特征。第三，为了增强深度特征捕捉全局关系的能力，我们将每个流扩展为多时态版本。在SmartHome数据集和大规模NTU RGB-D数据集上进行的大量实验表明，我们的方法优于大多数基于RNN的方法，这验证了空间和时间信息之间的互补性以及对噪声的鲁棒性。
2017-06-07 cs.CV
Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）
针对零样本骨骼动作识别中现有方法跨模态迁移能力不足的问题，提出动态演化双骨骼-语义协同框架Neuron，通过时空微原型构建与上下文辅助信息引导，实现更细粒度跨模态对应，提升未见动作类别的泛化性能。
2024-11-26 cs.CV
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）；University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）
时空图已被广泛用于基于混沌的动作识别算法来建模人类动作动态。为了从这些图中捕获鲁棒的运动模式，长范围和多尺度上下文聚合以及时空依赖建模是功能强大的特征提取器的关键方面。然而，现有的方法在实现（1）多尺度算子下的无偏远程联合关系建模和（2）用于捕获复杂时空依赖性的无障碍跨时空信息流方面存在局限性。在这项工作中，我们提出了（1）一个简单的方法来解开多尺度图卷积和（2）一个统一的时空图卷积算子命名为G3 D。所提出的多尺度聚合方案解开了有效的远程建模在不同的街区节点的重要性。建议的G3 D模块利用密集的跨时空边缘作为跳过连接，用于跨时空图的直接信息传播。通过耦合这些建议，我们开发了一个功能强大的特征提取器名为MS-G3 D的基础上，我们的模型优于以前的国家的最先进的方法在三个大规模的数据集：NTU RGB+D 60，NTU RGB+D 120，和动力学骨架400。
2020-05-19 cs.CV
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology（长冈技术科学大学）；Guizhou College of Electronic Science and Technology（贵州电子科技学院）；Guizhou University（贵州大学）
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题，提出DSTSA-GCN，通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习，在多个基准上取得最优性能。
2025-01-21 cs.CV
Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks
Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)（脑科学与智能技术卓越创新中心）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
最近，基于骨架的动作识别由于具有成本效益的深度传感器与实时骨架估计算法相结合而越来越受欢迎。传统的基于手工特征的方法仅限于表示运动模式的复杂性。最近的方法，使用循环神经网络（RNN）来处理原始骨架只集中在上下文的时间域的依赖性，而忽略了关节骨架的空间配置。在本文中，我们提出了一种新的两个流RNN架构建模的时间动态和空间配置的骨架为基础的动作识别。我们探索了两种不同的时间流结构：堆栈RNN和层次RNN。层次RNN是根据人体运动学设计的。我们还提出了两种有效的方法来建模的空间结构转换成一个序列的关节的空间图形。为了提高我们的模型的泛化能力，我们进一步利用基于3D变换的数据增强技术，包括旋转和缩放变换，以在训练过程中变换骨架的3D坐标。在3D动作识别基准数据集上的实验表明，我们的方法对各种动作都有相当大的改进，即，通用动作、交互活动和手势。
2017-04-12 cs.CV
Self-Attention Network for Skeleton-based Human Action Recognition
University of Central Florida（中佛罗里达大学）
基于伊顿的动作识别最近吸引了很多关注。研究人员正在提出新的方法来提取时空关系，并在大规模基于时空的数据集上取得了相当大的进展。提出的大多数架构都基于递归神经网络（RNN）、卷积神经网络（CNN）和基于图的CNN。当涉及到基于信标的动作识别时，长期上下文信息的重要性是中心的，这是当前架构所不能捕获的。为了更好地表示和捕捉长期的时空关系，我们提出了三种自注意网络（SAN）的变体，即SAN-V1，SAN-V2和SAN-V3。我们的SAN变体具有通过捕获远程相关性来提取高级语义的能力。我们还将临时段网络（TSN）与我们的SAN变体集成在一起，从而提高了整体性能。通过大量的实验探索了自注意网络（SAN）变体和时间段网络（TSN）的不同配置。我们选择的配置在Kinetics上分别比最先进的Top-1和Top-5高出4.4%和7.9%，并且在NTU RGB+D上表现出比最先进的方法更好的性能。
2019-12-18 cs.CV
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，基于手势的人体动作识别引起了越来越多的关注。然而，大多数现有的工作集中在监督学习，需要大量的注释的动作序列，往往是昂贵的收集。我们研究无监督的表示学习的骨架动作识别，并设计了一种新的骨架云着色技术，能够学习骨架表示从未标记的骨架序列数据。具体来说，我们将骨架动作序列表示为3D骨架云，并根据原始（未注释）骨架序列中的时间和空间顺序对云中的每个点进行着色。利用彩色骨骼点云，我们设计了一个自动编码器框架，可以有效地从骨骼关节的人工颜色标签中学习时空特征。我们使用在不同配置下训练的动作分类器来评估我们的骨架云着色方法，包括无监督，半监督和全监督设置。在NTU RGB+D和NW-UCLA数据集上的大量实验表明，该方法的识别性能明显优于现有的无监督和半监督3D动作识别方法，在有监督的3D动作识别中也取得了较好的效果。
2021-08-09 cs.CV
NeuroPath: Brain-Inspired Dual-Pathway Graph Convolutional Networks for Skeleton-Based Action Recognition
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Durham University（杜伦大学）；Zhongguancun Laboratory（中关村实验室）
NeuroPath受人类感知通路启发，采用双通路图卷积网络架构，通过分组图卷积块和通路间融合模块提升基于骨骼的动作识别性能，在三个公开数据集上取得一致效果提升。
2026-08-19 cs.CV
Skeleton Based Action Recognition using a Stacked Denoising Autoencoder with Constraints of Privileged Information
Hefei University（合肥学院）；School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院）；Institute of Applied Optimization, School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院应用优化研究所）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
最近，随着具有成本效益的深度相机与实时骨架估计的可用性，在基于机器人的人类动作识别的兴趣被重新唤起。现有的骨骼表示方法大多使用关节位置或动力学模型。与以往的研究不同，我们提出了一种新的方法，称为去噪自动编码器与时间和类别的约束（DAE_CTC）}的骨架表示的骨架重建的角度进行研究。基于特权信息下学习的概念，我们在训练阶段将动作类别和时间坐标集成到堆栈去噪自动编码器中，以保留类别和时间特征，同时从骨架中学习隐藏表示。因此，我们能够提高隐藏表示的区分有效性。为了减轻由于临时不对准而引起的变化，提出了一种新的时间配准方法，称为局部扭曲序列配准（LWSR），用于配准类间和类内动作的序列。最后，我们表示的序列使用傅立叶时间金字塔（FTP）表示，并使用LWSR注册，FTP表示，和线性支持向量机（SVM）的组合进行分类。在三个动作数据集，即MSR-ARM 3D，UTKinect-Action和Florence 3D-Action上的实验结果表明，我们的建议比许多现有的方法表现得更好，并符合最先进的水平。
2020-03-12 cs.CV
Human Action Recognition (HAR) Using Skeleton-based Spatial Temporal Relative Transformer Network: ST-RTR
Zhengzhou University（郑州大学）；Henan Xintong Intelligent IOT Co., Ltd.（河南信通智能物联网有限公司）；Beijing University of Chemical Technology（北京化工大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹王子大学）
针对ST-GCN感受野有限、难以捕捉动作长程关联的问题，提出含关节与中继节点的时空相对Transformer模型ST-RTR，结合融合模型在三个骨架动作识别基准上取得精度提升。
2024-11-01 cs.CV
