A New Representation of Skeleton Sequences for 3D Action Recognition
The University of Western Australia(西澳大利亚大学);Murdoch University(莫道克大学)
本文提出了一种基于骨架序列的三维动作识别方法,人体骨骼关节的3D轨迹)。该方法首先将每个骨架序列转换为三个片段,每个片段由多个帧组成,用于使用深度神经网络进行时空特征学习。每个片段都是从骨架序列的圆柱坐标的一个通道生成的。生成的剪辑的每一帧表示整个骨架序列的时间信息,并结合关节之间的一个特定的空间关系。整个剪辑包括具有不同空间关系的多个帧,这些帧提供了人体骨骼的有用空间结构信息。我们建议使用深度卷积神经网络从生成的剪辑的帧中学习骨架序列的长期时间信息,然后使用多任务学习网络(MTLN)并行地联合处理生成的剪辑的所有帧,以合并空间结构信息用于动作识别。实验结果清楚地表明了所提出的新的表示和特征学习方法的有效性的三维动作识别。
2017-06-05 cs.CV
SkeleTR: Towrads Skeleton-based Action Recognition in the Wild
AWS AI Labs(AWS人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
SkeleTR提出两阶段框架,先用图卷积建模单人骨架动态,再用Transformer编码器捕获多人交互,统一处理视频级、实例级和群体级骨架动作任务并达到最先进性能。
2023-09-20 cs.CV
Expressive Keypoints for Skeleton-based Action Recognition via Skeleton Transformation
Wuhan University(武汉大学);Peking University(北京大学)
针对骨架动作识别中传统关键点无法捕捉细微动作的问题,提出融合手部脚部细节的富有表现力关键点,结合骨架变换和实例池化,在七个数据集上超越现有方法。
2024-06-26 cs.CV
Skarimva: Skeleton-based Action Recognition is a Multi-view Application
Institute for Software and Systems Engineering, University of Augsburg(软件与系统工程研究所,奥格斯堡大学)
本文研究了基于骨架的动作识别中多视图应用的重要性,指出通过多摄像头视图三角化获得更准确的3D骨架数据,可以显著提升现有动作识别模型的性能,表明输入数据质量是限制模型性能的关键因素,未来研究应将多视图应用作为标准设置。
2026-05-21 cs.CV
Skeleton-based Action Recognition with Convolutional Neural Networks
Hikvision Research Institute(海康威视研究院)
目前基于递归神经网络的动作识别方法主要基于递归神经网络(RNN)。在本文中,我们提出了一种新的卷积神经网络(CNN)为基础的框架的动作分类和检测。原始骨架坐标以及骨架运动被直接馈送到CNN中用于标签预测。设计了一种新的骨架Transformer模块,实现了骨架重要关节的自动重排和选择。使用一个简单的7层网络,我们在NTU RGB+D数据集的验证集上获得了89.3%的准确率。对于未修剪视频中的动作检测,我们开发了一个窗口建议网络来提取时间段建议,这些建议在同一网络中进一步分类。在最近的PKU-MMD数据集上,我们实现了93.7%的mAP,大大超过了基线。
2017-04-25 cs.CV
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
The Chinese University of Hong Kong(香港中文大学)
人体骨架的动态特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工绘制的部分或遍历规则,从而导致表达能力有限和泛化困难。在这项工作中,我们提出了一种新的动态骨架模型称为时空图卷积网络(ST-GCN),它超越了以前的方法的限制,自动学习的空间和时间模式的数据。这一公式不仅导致更大的表达能力,而且具有更强的泛化能力。在两个大型数据集上,Kinetics和NTU-RGBD,它比主流方法实现了实质性的改进。
2018-01-25 cs.CV
SkeletonAgent: An Agentic Interaction Framework for Skeleton-based Action Recognition
NLPR, Institute of Automation, Chinese Academy of Sciences(神经信息处理研究室,自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
SkeletonAgent通过Questioner和Selector两个代理连接识别模型与LLM,提升基于骨架的动作识别性能。
2026-03-12 cs.CV
Relational Network for Skeleton-Based Action Recognition
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
随着高效、低成本的人体骨骼捕捉系统的快速发展,基于人体骨骼的动作识别近年来引起了人们的广泛关注。现有的方法大多使用卷积神经网络(CNN)和递归神经网络(RNN)来提取嵌入在骨架序列中的时空信息用于动作识别。然而,由于在转换原始骨架数据以适应CNN或RNN的输入格式时丢失了重要的结构信息,这些方法在单个骨架中的关系建模能力方面受到限制。在本文中,我们提出了一个注意递归关系网络-LSTM(ARRN-LSTM),以同时建模动作识别骨架中的空间配置和时间动态。我们引入递归关系网络来学习单个骨架中的空间特征,然后引入多层LSTM来学习骨架序列中的时间特征。在这两个模块之间,我们设计了一个自适应注意力模块,将注意力集中在单个骨架中最具鉴别力的部分。为了充分利用骨架中不同几何形状的互补性进行关系建模,我们设计了一个双流体系结构来同时学习关节和线条之间的结构特征。在几个流行的骨架数据集上进行了大量的实验,结果表明,该方法取得了比大多数主流方法更好的结果。
2019-04-11 cs.CV
JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition
SmartMore Corporation(思谋科技);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));South China University of Technology(华南理工大学)
近年来,基于手势的动作识别引起了人们的关注。目前流行的基于骨架的人体动作识别方法的一个共同缺点是,稀疏的骨架信息本身不足以完全表征人体运动。这种限制使得现有的几种方法无法正确分类的动作类别,只表现出微妙的运动差异。本文提出了一种新的框架,在双流图卷积网络,即JOLO-GCN,联合使用人体姿势骨架和关节中心的轻量级信息。具体来说,我们使用关节对齐的光流补丁(JFP)捕捉每个关节周围的局部细微运动作为关键关节为中心的视觉信息。与纯基于Linux的基线相比,这种混合方案有效地提高了性能,同时保持了较低的计算和内存开销。在NTU RGB+D、NTU RGB+D 120和Kinetics-Skeleton数据集上的实验表明,所提出的方法比最先进的基于小波变换的方法具有明显的精度提高。
2020-11-16 cs.CV
View-Invariant Skeleton-based Action Recognition via Global-Local Contrastive Learning
Tianjin University(天津大学);Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China(中国国家文物局文物表面监测与分析重点研究中心);University of South Carolina(南卡罗来纳大学)
基于骨骼的人体动作识别由于其对外观变化的低敏感性和更多骨架数据的可访问性而引起了越来越多的关注。然而,即使是在实践中捕获的三维骨架仍然是敏感的视点和方向给出了不同的人体关节的遮挡和人体关节定位的错误。骨架数据的这种视图变化可能会显著影响动作识别的性能。为了解决这个问题,我们在本文中提出了一个新的视图不变的表示学习方法,没有任何手动动作标记,基于图像的人类动作识别。具体来说,我们利用多视图骨架数据同时采取的同一个人在网络训练中,通过最大化的互信息之间的表示从不同的视图中提取,然后提出了一个全局-局部对比损失模型的多尺度同现关系在空间和时间域。大量的实验结果表明,该方法是鲁棒的输入骨架数据的视图差异,并显着提高了性能的无监督的基于人体动作的方法,导致新的国家的最先进的准确性在两个具有挑战性的多视图基准PKUMD和NTU RGB+D。
2022-09-23 cs.CV
Graph Edge Convolutional Neural Networks for Skeleton Based Action Recognition
本文研究了基于骨架的动作识别中的骨架数据中的人体骨骼。人体关节作为成熟的姿态估计技术的直接产物,一直是传统动作识别方法关注的重点。然而,我们人类自然地根据骨骼的形状、长度和位置来识别人体如何移动,而不是关节,这对于观察来说更加明显和稳定。因此,给定从骨架数据生成的图形,我们建议在与人类骨架中的骨骼相对应的图形边缘上开发卷积。我们通过整合其空间相邻边缘来描述边缘,以探索不同骨骼之间的合作,以及其时间相邻边缘来解决动作中运动的一致性。然后设计了一个图边卷积神经网络用于基于骨架的动作识别。考虑到图节点卷积和图边卷积之间的互补性,我们另外构造了两个混合神经网络,使用共享的中间层将图节点卷积神经网络和图边卷积神经网络结合起来。在Kinetics和NTU-RGB+D数据集上的实验结果表明,我们的图边缘卷积能有效地捕捉动作的特征,我们的图边缘卷积神经网络明显优于现有的基于骨架的动作识别方法。此外,混合网络可以实现更多的性能改进。
2018-05-31 cs.CV
Generative Data Augmentation for Skeleton Action Recognition
Innovative Media Lab, University of Surrey(创新媒体实验室,萨里大学);Advanced Multimedia Research Lab, University of Wollongong(高级多媒体研究实验室,沃伦冈大学)
本文提出条件生成管道用于骨骼动作识别的数据增强,通过Transformer编码器-解码器架构和生成细化模块,在有限样本下提升动作识别性能。
2026-04-16 cs.CV
Make Skeleton-based Action Recognition Model Smaller, Faster and Better
Nara Institute of Science Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进工业科学与技术研究院);Kyoto University(京都大学)
虽然基于机器人的动作识别近年来取得了很大的成功,但现有的大多数方法都存在模型尺寸大、执行速度慢的问题。为了缓解这个问题,我们分析骨架序列的属性,提出了一个双特征双运动网络(DD-Net)的基于骨架的动作识别。通过使用轻量级网络结构(即,0.15 DD-Net可以达到超快的速度,在一个GPU上为3,500 FPS,在一个CPU上为2,000 FPS。通过采用强大的功能,DD-Net在我们的实验数据集上实现了最先进的性能:SHREC(即,手动作)和JHMDB(即,身体动作)。我们的代码将在稍后与本文一起发布。
2020-03-18 cs.CV
Dynamic Spatial-temporal Hypergraph Convolutional Network for Skeleton-based Action Recognition
基于骨架的动作识别依赖于时空拓扑信息的提取。超图可以为骨架建立先前的非自然依赖关系。然而,现有的方法只关注空间拓扑的构建,而忽略了时间点的依赖性。本文提出了一种动态时空超图卷积网络(DST-HCN)来捕获时空信息,用于基于动作的动作识别。DST-HCN引入了时间点超图(TPH)来学习时间点的关系。通过多个空间静态超图和动态TPH,我们的网络可以学习更完整的时空特征。此外,我们使用高阶信息融合模块(HIF)来同步融合时空信息。在NTU RGB+D、NTU RGB+D 120和NW-UCLA数据集上的大量实验表明,我们的模型达到了最先进的水平,特别是与超图方法相比。
2023-02-17 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Revisiting Skeleton-based Action Recognition
The Chinese University of HongKong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校);SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学)
人体骨骼作为人体活动的一种紧凑表现形式,近年来受到越来越多的关注。许多基于人体骨架的动作识别方法采用图卷积网络(GCN)来提取人体骨架上的特征。尽管在以前的作品中所示的积极成果,GCN为基础的方法受到限制的鲁棒性,互操作性和可扩展性。在这项工作中,我们提出了PoseC3D,这是一种基于机器人的动作识别的新方法,它依赖于3D热图堆栈而不是图形序列作为人体骨骼的基本表示。与基于GCN的方法相比,PoseC3D在学习时空特征方面更有效,对姿态估计噪声更具鲁棒性,并且在跨数据集设置中具有更好的泛化能力。此外,PoseC3D可以处理多人场景而无需额外的计算成本,并且其功能可以在早期融合阶段轻松与其他模态集成,这为进一步提高性能提供了很大的设计空间。在四个具有挑战性的数据集上,PoseC3D在单独用于骨架以及与RGB模式结合使用时始终获得卓越的性能。
2022-04-02 cs.CV
DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action Recognition
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Lab(上海人工智能实验室)
图卷积网络(GCN)已被广泛应用于基于手势的动作识别。我们注意到,现有的基于GCN的方法主要依赖于规定的图形结构(即,手动定义的骨架关节拓扑),这限制了它们捕捉关节之间复杂相关性的灵活性。为了超越这一限制,我们提出了一个新的框架,基于动作识别,即动态组时空GCN(DG-STGCN)。它包括两个模块,DG-GCN和DG-TCN,分别用于空间和时间建模。特别是,DG-GCN使用学习的亲和矩阵来捕获动态图形结构,而不是依赖于规定的图形结构,而DG-TCN执行具有不同感受野的分组时间卷积,并结合了用于自适应多级时间建模的动态关节骨架融合模块。在广泛的基准测试中,包括NTURGB+D、Kinetics-Skeleton、BABEL和Toyota SmartHome,DG-STGCN的表现始终优于最先进的方法,而且往往有显著的优势。
2022-10-12 cs.CV
SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition
Xidian University(西安电子科技大学);University of Western Australia(西澳大利亚大学);Donghai Lab(东海实验室)
本文提出SkeletonContext框架,通过引入跨模态上下文提示模块和关键部位解耦模块,提升骨架动作识别中上下文信息的利用,实现零样本场景下的高精度动作区分。
2026-03-31 cs.CV
Label-Efficient Skeleton-based Recognition with Stable-Invertible Graph Convolutional Networks
Sorbonne University(索邦大学);CNRS(国家科学研究中心);LIP6(LIP6实验室)
本文提出了一种基于可逆图卷积网络的高效标签骨架动作识别方法,通过学习最信息量的子集以提升识别性能。
2025-11-21 cs.CV
Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues
Delhi Technological University(德里理工大学)
视频中的动作存在大量的类内差异和类间相似性,这使得视频中的动作识别具有很大的挑战性。在本文中,我们提出了一种新的基于卷积神经网络的部分时空CNN RIAC网络的三维人体动作识别框架,以部分方式可视化动作动态,并通过应用加权后期融合机制来利用每个部分进行动作识别。基于部分骨架的运动动力学有助于突出骨架的局部特征,这是通过将完整骨架划分为五个部分来执行的,例如头部到脊柱、左腿、右腿、左手、右手。RIAFNet架构受到InceptionV 4架构的极大启发,该架构统一了基于ResNet和Inception的时空特征表示概念,并实现了迄今为止最高的top-1准确度。为了提取和学习用于动作识别的显著特征,使用注意力驱动的残差,其增强残差分量的性能以用于有效的基于3D卷积的时空动作表示。通过对UT Kinect Action 3D、Florence 3D action Dataset和MSR Daily 3D数据集等三个具有挑战性的数据集进行广泛的实验,评估了所提出的框架的鲁棒性,这些数据集始终证明了我们方法的优越性
2019-12-02 cs.CV
Investigation of Different Skeleton Features for CNN-based 3D Action Recognition
Advanced Multimedia Research Lab, University of Wollongong(卧龙岗大学高级多媒体研究实验室)
深度学习技术正被用于基于骨架的动作识别任务,并且已经报告了出色的性能。与基于RNN的方法过于强调时间信息相比,基于CNN的方法可以从骨架序列编码的纹理彩色图像中联合捕获时空信息。在基于RNN和基于手工特征的方法中,有几个基于机器学习的特征已被证明是有效的。然而,它仍然是未知的,它们是否适合基于CNN的方法。本文提出了五个空间骨架特征编码到图像中的不同编码方法。此外,研究了不同关节用于特征提取的性能含义。该方法在NTU RGB+D数据集上实现了最先进的性能,用于3D人体动作分析。在大规模3D人体活动分析挑战赛中,深度视频的准确率达到75.32%。
2017-05-02 cs.CV
MS-CLR: Multi-Skeleton Contrastive Learning for Human Action Recognition
Technical University of Munich(慕尼黑技术大学)
针对现有单骨架规范对比学习泛化能力受限问题,提出多骨架对比学习框架MS-CLR,对齐多骨架姿态表示以学习结构不变性,经ST-GCN适配实验及集成验证,性能优于基线且创数据集最新水平。
2025-08-20 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne(墨尔本大学)
基于骨架的动作识别受到越来越多的关注,因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率,提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而,由于对局部不变特征和噪声特征的广义学习不足,这种测量具有不稳定的代表性,而直观地说,更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题,我们提出了自适应局部组件感知图卷积网络,它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明,我们的方法提供了比全局嵌入更强的表示,并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Skeleton-Based Human Action Recognition with Global Context-Aware Attention LSTM Networks
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
三维人体骨架序列中的人体动作识别已经引起了人们的广泛关注。最近,长短期记忆(LSTM)网络在这一任务中表现出了良好的性能,因为它们在建模序列数据中的依赖性和动态方面具有优势。由于并不是所有的骨骼关节都能为动作识别提供信息,并且不相关的关节往往会带来噪声,从而降低性能,因此我们需要更多地关注信息关节。然而,原始的LSTM网络不具有显式注意力能力。在本文中,我们提出了一类新的LSTM网络,全局上下文感知注意力LSTM(GCA-LSTM),用于基于骨架的动作识别。该网络能够通过使用全局上下文存储单元选择性地聚焦于每个骨架序列的每个帧中的信息关节。为了进一步提高网络的注意力能力,我们还引入了一种循环注意力机制,通过这种机制可以逐步提高网络的注意力性能。此外,为了有效地训练我们的网络,我们提出了一个逐步的训练计划。我们的方法在五个具有挑战性的基准数据集上实现了最先进的性能,用于基于骨架的动作识别。
2018-01-11 cs.CV
Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep cnn
Northwestern Polytechnical University(西北工业大学)
提出了一种基于图像分类的视频动作识别方法。首先,提出了一种与数据集无关的骨架-尺度不变图像映射方法,将骨架视频转换为彩色图像,称为骨架-图像。其次,提出了一种多尺度深度卷积神经网络(CNN)架构,该架构可以在强大的预训练CNN上构建和微调,例如,AlexNet、VGGNet、ResNet等..尽管非线性图像与自然图像有很大的不同,但微调策略仍然有效。最后,我们证明了我们的方法也可以很好地工作在2D骨架视频数据。我们在流行的基准数据集上实现了最先进的结果,例如NTU RGB+D,UTD-MHAD,MSRC-12和G3 D。特别是在NTU RGB+D,UTD-MHAD和MSRC-12数据集上,我们的方法在很大程度上优于其他方法,这证明了所提出的方法的有效性。
2017-06-13 cs.CV
Richly Activated Graph Convolutional Network for Action Recognition with Incomplete Skeletons
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
目前基于骨架的人体动作识别方法通常使用完全观察到的骨架。然而,在实际场景中,它很容易捕获不完整和噪声的骨架,这将恶化传统模型的性能。为了提高动作识别模型对不完整骨架的鲁棒性,提出了一种多流图卷积网络(GCN),用于探索分布在所有骨架关节上的足够的判别特征。在这里,网络的每个流只负责从当前未激活的关节中学习特征,这些特征由前一个流获得的类激活图(CAM)来区分,因此所提出的方法的激活关节明显多于传统方法。因此,所提出的方法被称为丰富激活的GCN(RA-GCN),其中丰富发现的特征将提高模型的鲁棒性。与最先进的方法相比,RA-GCN在NTU RGB+D数据集上实现了相当的性能。此外,在合成遮挡数据集上,RA-GCN可以显着减轻性能恶化。
2019-05-17 cs.CV
SAR-NAS: Skeleton-based Action Recognition via Neural Architecture Searching
Alibaba DAMO Academy(阿里巴巴达摩院);University of Wollongong(伍伦贡大学)
本文提出了一种自动设计的神经网络架构的研究,基于动作识别。具体来说,我们将一个基于实例的动作实例编码到一个张量中,并仔细定义了一组操作来构建两种类型的网络单元:正常单元和还原单元。最近开发的DARTS(可区分的架构搜索)被用来搜索一个有效的网络架构,是建立在这两种类型的细胞。所有操作都是基于2D的,以便减少总体计算和搜索空间。在具有挑战性的NTU RGB+D和Kinectics数据集上的实验已经证实,迄今为止为基于动作识别开发的大多数网络可能都不紧凑和高效。所提出的方法提供了一种方法来寻找这样一个紧凑的网络,能够实现比较,甚至更好的性能比国家的最先进的方法。
2020-10-29 cs.CV
Improving Skeleton-based Action Recognitionwith Robust Spatial and Temporal Features
Simon Fraser University(西蒙弗雷泽大学)
近年来,基于小波变换的动作识别在计算机视觉领域取得了重要进展。现有的算法大多是基于图卷积网络(GCN)的,目标是改进GCN骨干层的网络结构。在本文中,我们提出了一种新的机制来学习更鲁棒的鉴别功能在空间和时间。更具体地说,我们在网络的最后一层增加了一个判别特征学习(DFL)分支,以提取判别空间和时间特征来帮助学习。我们还正式提倡使用方向不变特征(DIF)作为神经网络的输入。我们表明,动作识别的准确性,可以提高这些强大的功能时,学习和使用。我们在NTU-RGBD 60、NTU-RGBD 120、SYSU 3DHOI和Eketon-Kinetics四个数据集上将我们的结果与ST-GCN和相关方法的结果进行了比较。
2020-08-01 cs.CV
Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
骨架数据携带有价值的运动信息,在人体动作识别中得到了广泛的应用。然而,不仅运动信息,而且与环境的相互作用提供了区别性的线索,以识别人的动作。在本文中,我们提出了一个共同的学习框架,相互帮助的“互动对象定位”和“人体动作识别”的基础上骨架数据。这两个任务被序列化在一起并相互协作以促进彼此,其中仅从骨架导出的初步动作类型有助于改善交互对象定位,这反过来又为最终的人类动作识别提供了有价值的线索。此外,我们探索的时间一致性的相互作用的对象作为约束,以更好地定位的相互作用的对象与地面真理标签的情况下。在SYSU-3D、NTU 60 RGB+D、Northwestern-UCLA和UAV-Human数据集上的实验表明,该方法在人体动作识别方面取得了最好的效果,与现有的方法相比具有竞争力。可视化结果表明,我们的方法也可以提供合理的相互作用的对象定位结果。
2022-05-10 cs.CV
View Adaptive Neural Networks for High Performance Skeleton-based Human Action Recognition
Xian Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院);Chinese Academy of Sciences(中国科学院)
由于3D骨架数据的可访问性和普及性,基于骨骼的人体动作识别最近引起了越来越多的关注。基于图像的动作识别的关键挑战之一在于捕获数据时的大视图变化。为了减轻视图变化的影响,本文介绍了一种新的视图自适应方案,它自动确定虚拟观察视点的学习为基础的数据驱动方式。我们设计了两个视图自适应神经网络,基于RNN的VA-RNN和基于CNN的VA-CNN。对于每个网络,一个新的视图自适应模块学习和确定最合适的观察视点,并将骨架转换为与主分类网络进行端到端识别的视点。消融研究发现,所提出的视图自适应模型是能够转换的骨架的各种观点,更一致的虚拟视点,这在很大程度上消除了视点的影响。此外,我们设计了一个双流方案(称为VA融合),融合两个网络的分数,以提供融合的预测。在五个具有挑战性的基准上进行的广泛的实验评估表明,所提出的视图自适应网络的有效性和优越的性能超过最先进的方法。源代码可在https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition上获得。
2019-09-03 cs.CV
3D Skeleton-Based Action Recognition: A Review
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(国家一般人工智能实验室,北京大学深圳研究生院);Department of Information Engineering and Computer Science (DISI), University of Trento(信息工程与计算机科学系(DISI),特伦托大学);University at Buffalo, The State University of New York(布法罗大学,纽约州立大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
本文以任务为导向系统综述三维骨架动作识别,从预处理、特征提取到时空建模逐层剖析,并涵盖混合架构、Mamba、大语言模型和生成模型等最新进展,为该领域提供结构化研究路线图。
2025-06-01 cs.CV
Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
Hikvision Research Institute(海康威视研究院)
随着大规模骨架数据集的出现,基于骨架的人体动作识别越来越受到人们的关注。该任务的关键在于两个方面:联合同现的帧内表示和骨架时间演化的帧间表示。在本文中,我们提出了一个端到端卷积共生特征学习框架。共现特征的学习与层次的方法,其中不同层次的上下文信息逐渐聚合。首先,对每个关节的点级信息进行独立编码。然后将它们组装成空间域和时间域的语义表示。具体来说,我们引入了一个全球性的空间聚合方案,这是能够学习优越的联合同现功能超过本地聚合。此外,原始骨架坐标以及它们的时间差与双流范例相结合。实验表明,我们的方法始终优于其他国家的最先进的动作识别和检测基准,如NTU RGB + D,SBU Kinect Interaction和PKU-MMD。
2018-04-17 cs.CV
KShapeNet: Riemannian network on Kendall shape space for Skeleton based Action Recognition
Talan(Talan公司);Centrale Lille(里尔中央理工学院);CNRS(法国国家科学研究中心);EFREI PARIS(巴黎法国电子与计算机信息学院);The Ohio State University(俄亥俄州立大学)
深度学习架构虽然在大多数计算机视觉任务中取得了成功,但它是为具有底层欧几里得结构的数据而设计的,这通常无法实现,因为预处理的数据可能位于非线性空间上。在本文中,我们提出了一种几何感知的深度学习方法,用于基于几何的动作识别。骨架序列首先被建模为Kendall形状空间上的轨迹,然后映射到线性切空间。然后将得到的结构化数据馈送到深度学习架构,该架构包括一个优化3D骨架的刚性和非刚性转换的层,然后是CNN-LSTM网络。在两个大规模骨架数据集NTU-RGB+D和NTU-RGB+D 120上的评估证明,所提出的方法优于现有的几何深度学习方法,并且与最近发表的方法相比具有竞争力。
2020-11-24 cs.CV
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,基于手势的人体动作识别引起了越来越多的关注。然而,大多数现有的工作集中在监督学习,需要大量的注释的动作序列,往往是昂贵的收集。我们研究无监督的表示学习的骨架动作识别,并设计了一种新的骨架云着色技术,能够学习骨架表示从未标记的骨架序列数据。具体来说,我们将骨架动作序列表示为3D骨架云,并根据原始(未注释)骨架序列中的时间和空间顺序对云中的每个点进行着色。利用彩色骨骼点云,我们设计了一个自动编码器框架,可以有效地从骨骼关节的人工颜色标签中学习时空特征。我们使用在不同配置下训练的动作分类器来评估我们的骨架云着色方法,包括无监督,半监督和全监督设置。在NTU RGB+D和NW-UCLA数据集上的大量实验表明,该方法的识别性能明显优于现有的无监督和半监督3D动作识别方法,在有监督的3D动作识别中也取得了较好的效果。
2021-08-09 cs.CV
Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences
基于3D骨架序列的动作识别以其快速性和鲁棒性而受到广泛关注。最近提出的基于卷积神经网络(CNN)的方法在学习骨架序列的时空表示方面表现出良好的性能。尽管先前的基于CNN的方法实现了良好的识别精度,但存在两个潜在地限制性能的问题。首先,通过以固定顺序链接关节来生成先前的骨架表示。对应的语义不清,关节间的结构信息丢失。其次,以前的模型没有能力集中在信息关节。注意力机制对于基于骨架的动作识别是非常重要的,因为存在时空关键阶段,而联合预测可能是不准确的。为了解决这两个问题,我们提出了一种新的CNN为基础的骨架动作识别方法。我们首先重新设计的骨架表示与深度优先的树遍历顺序,这增强了骨架图像的语义意义,更好地保留了相关的结构信息。然后,我们提出了一个双分支注意力架构的想法,专注于时空的关键阶段,并过滤掉不可靠的联合预测。首先介绍了一种结构最简单的基本注意力模型。通过改进这两个分支的结构,我们进一步提出了一个全局长序列注意力网络(GLAN)。此外,为了调整内核的时空纵横比,更好地捕捉长期的依赖关系,我们提出了一个子序列注意力网络(SSAN),采取子图像序列作为输入。我们在NTU RGB+D和SBU Kinetic Interaction上的实验结果优于现有技术。该模型在UCF 101和Kinetics的噪声估计姿势上得到了进一步验证。
2018-04-11 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来,图卷积网络(GCN)在基于卷积的人体动作识别中发挥着越来越重要的作用。然而,大多数基于GCN的方法仍然存在两个主要的局限性:1)它们只考虑关节的运动信息或单独处理关节和骨骼,这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式,这在很大程度上依赖于大量的标记训练数据。为了解决这些问题,我们提出了一个半监督的基于candicon的动作识别方法,以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络(CD-JBF-GCN)作为编码器,使用位姿预测头作为解码器来实现半监督学习。具体地,CD-JBF-GC可以探索关节流和骨流之间的运动传输,从而促进两个流学习更多的区别性特征表示。在自监督训练阶段,基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示,这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明,我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能,并且对于全监督方法也很有用。
2022-02-08 cs.CV
What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
骨架数据,其中只包括人体关节的2D/3D坐标,已被广泛研究的人体动作识别。现有的骨骼建模方法以语义为先验知识,对人体关节进行分组,并根据其空间位置绘制相关性,我们称之为骨骼建模的语义视角。在本文中,与以前的方法相比,我们提出了一种新的空间角度来建模骨架,从该模型的空间位置作为先验知识组人体关节和挖掘的歧视性模式的局部地区的分层方式。这两个视角是相互正交和互补的,通过将它们融合在一个统一的框架中,我们的方法实现了对骨架数据的更全面的理解。此外,我们还为这两个角度定制了两个网络。从语义的角度来看,我们提出了一个类似于Transformer的网络,它是建模关节相关性的专家,并提出了三种有效的技术来适应骨架数据。从空间的角度来看,我们将骨架数据转换为稀疏格式,以实现高效的特征提取,并提出了两种类型的稀疏卷积网络用于稀疏骨架建模。在三个具有挑战性的数据集上进行了大量的实验,用于基于机器人的人类动作/手势识别,即NTU-60,NTU-120和SHREC,其中我们的方法达到了最先进的性能。
2021-03-22 cs.CV
Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院)
基于对比学习的自监督神经网络动作识别方法受到了广泛的关注。最近的文献表明,数据增强和大量对比对对于学习此类表示至关重要。在本文中,我们发现,直接扩展的对比对的基础上正常的增广带来的性能方面的回报有限,因为对比对的正常数据增强的损失的贡献越来越小,随着训练的进展。因此,我们深入研究了对比学习的硬对比对。混合增强策略的成功,提高了许多任务的性能,通过合成新的样本的动机,我们提出了SkeleMixtail:一个对比学习框架与时空骨架混合增强(SkeleMix),以补充当前的对比学习方法,通过提供硬对比样本。首先,SkeleMix利用骨架数据的拓扑信息,通过随机组合裁剪的骨架片段(修剪视图)与剩余的骨架序列(截断视图)来混合两个骨架序列。其次,应用时空掩模池来在特征级别分离这两个视图。第三,我们用这两种观点扩展对比对。SkeleMixtool利用修剪和截断的视图来提供丰富的硬对比对,因为它们由于图卷积操作而涉及彼此的一些上下文信息,这允许模型学习更好的运动表示以进行动作识别。在NTU-RGB+D、NTU 120-RGB+D和PKU-MMD数据集上进行的大量实验表明,SkeleMixtool实现了最先进的性能。代码可在https://github.com/czhaneva/SkeleMixCLR上获得。
2022-07-07 cs.CV
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
图卷积网络(GCN)将人体骨架建模为时空图,在基于人体骨架的动作识别中取得了令人瞩目的成绩。然而,在现有的基于GCN的方法中,图的拓扑是手动设置的,并且在所有层和输入样本上都是固定的。这可能不是最佳的分层GCN和不同的动作识别任务中的样本。此外,二阶信息(骨骼的长度和方向)的骨架数据,这是自然更多的信息和歧视性的动作识别,很少在现有的方法进行研究。在这项工作中,我们提出了一种新的双流自适应图卷积网络(2s-AGCN)的动作识别。在我们的模型中,图的拓扑结构可以通过BP算法以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性,并带来了更大的通用性,以适应不同的数据样本。此外,提出了一个双流框架,同时建模的一阶和二阶信息,这表明显着提高识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明,我们的模型的性能超过了最先进的水平,具有显着的优势。
2019-07-10 cs.CV
Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences(中国科学院大学)
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征,而这种相似性可能会受到一些失真的影响,这些失真可以建模为空间和时间仿射变换的组合。在这项工作中,我们提出了一个新的功能称为时空双仿射微分不变(STDADI)。此外,为了提高神经网络的泛化能力,提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上,它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition
Aarhus University(奥胡斯大学)
图卷积网络(GCN)在非欧几里德数据结构建模方面已经非常成功,如身体骨架序列形成建模为时空图的动作。大多数基于GCN的动作识别方法使用具有高计算复杂性的深度前馈网络来处理动作中的所有骨架。这导致大量浮点运算(从16G到100G FLOP)来处理单个样本,使得它们在受限计算应用场景中的采用不可行。在本文中,我们提出了一个时间注意力模块(TAM),通过选择在网络的早期层的行动的信息量最大的骨架,以提高效率在基于网络的动作识别。我们将TAM在一个轻量级的GCN拓扑结构,以进一步减少计算的总数。在两个基准数据集上的实验结果表明,该方法在计算量减少2.9倍的情况下,性能大大优于基于GCN的基线方法。此外,它的性能与最新技术相当,计算次数减少了9.6倍。
2021-04-22 cs.CV
Real-time Human Action Recognition Using Locally Aggregated Kinematic-Guided Skeletonlet and Supervised Hashing-by-Analysis Model
Beijing Institute of Artificial Intelligence(北京人工智能研究院);Beijing University of Technology(北京工业大学)
三维动作识别是指对由三维骨骼关节组成的动作序列进行分类。虽然许多研究工作致力于3D动作识别,它主要遭受三个问题:高度复杂的清晰度,大量的噪声,和低的实现效率。为了解决所有这些问题,我们提出了一个实时的【形】3D动作识别框架,通过集成本地聚合的运动学引导的小程序(LAKS)与监督散列分析(SHA)模型。我们首先定义的小关节作为几个组合的关节偏移量的运动学原理进行分组,然后表示一个行动序列使用LAKS,其中包括一个去噪阶段和一个局部聚集阶段。去噪阶段检测有噪声的动作数据,并通过用对应的前一帧的特征替换其中的所有特征来调整它,而局部聚合阶段将小块的偏移特征与其聚类中心之间的差在序列的所有偏移特征上相加在一起。最后,结合稀疏表示和哈希模型的SHA模型,旨在提高识别精度的同时保持高效率。在MSRQ3D、UTKinectRQ3D和Florence3DAction数据集上的实验结果表明,该方法在识别精度和执行效率上均优于现有方法.
2021-09-07 cs.CV
Fusing Higher-order Features in Graph Neural Networks for Skeleton-based Action Recognition
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究所);Tencent XR Lab(腾讯XR实验室);POSTECH(浦项科技大学);Curtin University(科廷大学)
骨架序列是轻量级和紧凑的,因此是边缘设备上动作识别的理想候选者。最近的动作识别方法从三维关节坐标中提取特征作为时空线索,在图神经网络中使用这些表示进行特征融合以提高识别性能。一阶和二阶特征的使用,即,关节和骨骼表示,导致了高精度。尽管如此,许多模型仍然被具有相似运动轨迹的动作所迷惑。为了解决这些问题,我们建议以角度编码的形式将高阶特征融合到现代架构中,以鲁棒地捕获关节和身体部位之间的关系。这种与流行的时空图神经网络的简单融合在包括NTU 60和NTU 120在内的两个大型基准测试中实现了新的最先进的精度,同时采用更少的参数和更短的运行时间。我们的源代码可在https://github.com/ZhenyueQin/Angular-Skeleton-Encoding上公开获取。
2022-08-23 cs.CV
Extended multi-stream temporal-attention module for skeleton-based human action recognition (HAR)
Zhengzhou University(郑州大学);Henan Xintong Intelligent IOT Co., Ltd.(河南信通智能物联网有限公司);LUT University(拉彭兰塔-拉赫蒂理工大学);University of Oulu(奥卢大学);Government College University Faisalabad(费萨拉巴德政府学院大学)
针对基于骨架的动作识别中GCN图结构固定等问题,提出扩展多流时间注意力模块,以提升识别性能。
2024-11-10 cs.CV
PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
School of Computer Science and Engineering(计算机科学与工程学院)
PoseBridge通过整合姿态估计表示与骨架-文本对齐,提升零样本骨架基动作识别性能,在多个数据集上取得显著改进,尤其在野外视频数据集上表现突出。
2026-09-29 cs.CV
Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition
Chiba University(千叶大学)
本研究利用联合傅里叶变换分析图卷积神经网络在骨架动作识别中的鲁棒性,发现对抗训练能增强鲁棒性且不引入权衡,但傅里叶方法无法解释部位遮挡的脆弱性。
2023-12-30 cs.CV
Joint Temporal Pooling for Improving Skeleton-based Action Recognition
University of Wollongong(卧龙岗大学);Advanced Multimedia Research Lab(先进多媒体研究实验室)
针对传统时间池化方法忽略运动信息保留、对所有帧同等处理的问题,本文提出联合运动自适应时间池化JMAP方法及帧级、关节级两种变体,在NTU RGB+D 120与PKU-MDD数据集上验证了其对骨架动作识别的提升效果。
2024-08-18 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University(北京航空航天大学)
在本文中,我们提出了一个耦合的时空注意力(CSTA)模型的基于动作识别,其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要,这对模糊和冗余的信息是不鲁棒的。为了解决这个问题,我们首先通过两个子网络分别为不同的关节和帧学习两组权重,这使得模型具有“关注”相对信息部分的能力。然后,我们计算叉积的关节和帧的权重的时空耦合的注意。此外,我们的CSTA机制可以很容易地插入到现有的分层CNN模型(CSTA-CNN),以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明,我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Bridging the Skeleton-Text Modality Gap: Diffusion-Powered Modality Alignment for Zero-shot Skeleton-based Action Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出基于扩散模型的骨架-文本对齐框架TDSM,通过将文本特征纳入反向扩散过程实现统一潜在空间匹配,并引入三重态扩散损失增强判别力,在ZSAR任务中显著超越现有方法。
2025-07-16 cs.CV
HyLiFormer: Hyperbolic Linear Attention for Skeleton-based Human Action Recognition
Sun Yat-sen University(中山大学);Lancaster University(兰卡斯特大学);Peking University(北京大学);University of Queensland(昆士兰大学)
针对Transformer在骨架人体动作识别中二次计算复杂度的瓶颈及线性注意力难以捕捉层次结构的问题,提出HyLiFormer,通过HTC模块和HLA模块实现高效长程依赖建模,在两个数据集上显著降低复杂度且保持精度。
2025-02-09 cs.CV
Learning discriminative trajectorylet detector sets for accurate skeleton-based action recognition
University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
低成本的RGB-D传感器的引入促进了基于小波变换的人体动作识别的研究。然而,设计一种适合于在有噪声的骨架序列的基础上表征动作的表示仍然是一个挑战。我们在这里提供两个关于这一挑战的见解。首先,我们发现,骨架序列的判别信息通常驻留在一个很短的时间间隔,我们提出了一个简单而有效的局部描述符称为mantorylet捕捉在此区间内的静态和运动学信息。其次,我们进一步提出了编码每个mantorylet与歧视mantorylet检测器集,这是从大量的候选检测器训练通过示例支持向量机。动作级表示是通过池化多尺度编码获得的。从Kinect传感器获得的标准数据集上进行评估,证明了我们的方法在各种实验设置下获得优于现有方法的结果。
2015-04-20 cs.CV
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia(微软亚洲研究院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
基于骨骼的人体动作识别近年来受到越来越多的关注,由于3D骨架数据的普及。一个主要的挑战在于捕捉的人类动作中的大视图变化。我们提出了一种新的视图自适应方案,自动调节观察的观点,在发生的行动。我们设计了一个具有LSTM架构的视图自适应递归神经网络(RNN),而不是基于人类定义的先验标准重新定位骨架,这使得网络本身能够从端到端适应最合适的观察视点。大量的实验分析表明,所提出的视图自适应RNN模型致力于(1)将各种视图的骨架转换为更一致的视点,(2)保持动作的连续性,而不是将每个帧转换到具有相同身体方向的相同位置。我们的模型在三个基准数据集上实现了对最先进方法的显着改进。
2017-08-04 cs.CV
Graph Contrastive Learning for Skeleton-based Action Recognition
Huazhong University of Science & Technology(华中科技大学);Baidu Inc.(百度公司)
针对现有基于骨架的动作识别GCN仅利用局部序列内上下文的问题,提出SkeletonGCL图对比学习框架,通过双记忆库实现多尺度跨序列全局上下文学习,可无缝集成现有GCN并在多个基准上取得性能提升。
2023-06-10 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia(西澳大学)
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声,因此在动作分析中很受欢迎。然而,当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列,充分利用"本地"关节之间的相关性,使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像,并开发了一个基于CNN的框架,用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息,该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外,它们在编码复合语义概念(例如关节的位置和速度)方面是灵活的。所提出的动作识别利用表示在一个分层的方式,首先捕捉骨骼关节与Skeppels之间的微观时间关系,然后利用它们的宏观时间关系,通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构,并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上,我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV