MASQ: Mask-Aware Spatiotemporal Quantization for Unsupervised Skeleton Action Segmentation
University of Science and Technology of China（中国科学技术大学）
该研究针对无监督骨骼动作分割中空间掩码与离散量化引发的不稳定问题，提出MASQ框架，通过JLSD机制与掩码感知速度损失优化，在三个数据集上实现优于现有方法的帧均值准确率。
2026-09-01 cs.CV
SpatioTemporal Focus for Skeleton-based Action Recognition
Peking University（北京大学）
图卷积网络（GCN）由于其强大的数据拓扑建模能力而被广泛应用于基于卷积的动作识别中。我们认为，性能最近提出的基于candion的动作识别方法是有限的，由以下因素。首先，预定义的图结构在整个网络中共享，缺乏对多粒度语义信息建模的灵活性和能力。其次，全局关节之间的关系没有被图局部卷积充分利用，这可能会失去隐含的关节相关性。例如，诸如跑步和挥手之类的动作是通过身体部位和关节的共同运动来执行的，例如，腿和手臂，然而，它们在物理连接中位于远处。受最近的注意力机制的启发，我们提出了一个多粒度的上下文聚焦模块，称为MCF，从身体关节和部位捕获动作关联关系信息。因此，MCF可以获得更可解释的表示不同的骨骼动作序列。在这项研究中，我们遵循了通常的做法，即采用密集样本策略的输入骨架序列，这带来了很多冗余，因为实例的数量与动作无关。为了减少冗余，一个时间的歧视焦点模块，称为TDF，开发捕获的时间动态的局部敏感点。MCF和TDF被集成到标准的GCN网络中，形成一个统一的体系结构，称为STF-Net。值得注意的是，STF-Net提供了基于多粒度上下文聚合和时间依赖性从这些骨架拓扑结构中捕获鲁棒运动模式的能力。大量的实验结果表明，我们的STF-Net在三个具有挑战性的基准NTU RGB+D 60，NTU RGB+D 120和Kinetics-skeleton上显着实现了最先进的结果。
2022-03-31 cs.CV
Action Segmentation Using 2D Skeleton Heatmaps and Multi-Modality Fusion
Retrocausal, Inc.（Retrocausal公司）
本文提出一种基于2D骨架热图和时间卷积网络（TCNs）的动作分割方法，并通过融合RGB视频进一步提升性能，在缺失关键点时表现出更强鲁棒性。
2024-04-26 cs.CV
Impact Detection in Fall Events: Leveraging Spatio-Temporal Graph Convolutional Networks and Recurrent Neural Networks Using 3D Skeletons Data
CESI LINEACT；ENSAM（国立高等先进技术学校）
研究针对跌倒事件中的撞击检测难题，利用时空图卷积网络、GRU和BiLSTM层处理3D骨架数据，能精准区分假跌倒与实际撞击，提高精度，在改进数据集上准确率超90%，并公开数据集助力后续研究。
2026-07-29 cs.CV
VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG
CenBRAIN Neurotech（CenBRAIN神经科技公司）；Westlake University（西湖大学）；Epilepsy Center, SAHZU, Zhejiang University（浙江大学附属邵逸夫医院癫痫中心）
提出基于骨架时空 Vision Graph 神经网络的 VSViG，结合概率累积决策规则，实现低延迟、低算力、零误检的实时视频癫痫发作检测。
2024-07-08 cs.CV
Relational Network for Skeleton-Based Action Recognition
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
随着高效、低成本的人体骨骼捕捉系统的快速发展，基于人体骨骼的动作识别近年来引起了人们的广泛关注。现有的方法大多使用卷积神经网络（CNN）和递归神经网络（RNN）来提取嵌入在骨架序列中的时空信息用于动作识别。然而，由于在转换原始骨架数据以适应CNN或RNN的输入格式时丢失了重要的结构信息，这些方法在单个骨架中的关系建模能力方面受到限制。在本文中，我们提出了一个注意递归关系网络-LSTM（ARRN-LSTM），以同时建模动作识别骨架中的空间配置和时间动态。我们引入递归关系网络来学习单个骨架中的空间特征，然后引入多层LSTM来学习骨架序列中的时间特征。在这两个模块之间，我们设计了一个自适应注意力模块，将注意力集中在单个骨架中最具鉴别力的部分。为了充分利用骨架中不同几何形状的互补性进行关系建模，我们设计了一个双流体系结构来同时学习关节和线条之间的结构特征。在几个流行的骨架数据集上进行了大量的实验，结果表明，该方法取得了比大多数主流方法更好的结果。
2019-04-11 cs.CV
STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame Optical Flow Estimation
ONERA, Université Paris-Saclay（法国国家航空航天研究中心，巴黎萨克雷大学）
提出了一种基于CNN的轻量级多帧光流估计算法。我们的解决方案通过重复使用通用的“STaR”（时空递归）单元，在空间尺度和时间上引入了双重递归。它包括（i）基于传送学习特征而不是光流估计的时间递归;（ii）与光流估计耦合的遮挡检测过程，因此使用非常有限数量的额外参数。由此产生的STaRFlow算法在MPI Sintel和Kitti 2015上提供了最先进的性能，并且与具有可比结果的所有其他方法相比，所涉及的参数明显较少。
2020-07-10 cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks
Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)（脑科学与智能技术卓越创新中心）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
最近，基于骨架的动作识别由于具有成本效益的深度传感器与实时骨架估计算法相结合而越来越受欢迎。传统的基于手工特征的方法仅限于表示运动模式的复杂性。最近的方法，使用循环神经网络（RNN）来处理原始骨架只集中在上下文的时间域的依赖性，而忽略了关节骨架的空间配置。在本文中，我们提出了一种新的两个流RNN架构建模的时间动态和空间配置的骨架为基础的动作识别。我们探索了两种不同的时间流结构：堆栈RNN和层次RNN。层次RNN是根据人体运动学设计的。我们还提出了两种有效的方法来建模的空间结构转换成一个序列的关节的空间图形。为了提高我们的模型的泛化能力，我们进一步利用基于3D变换的数据增强技术，包括旋转和缩放变换，以在训练过程中变换骨架的3D坐标。在3D动作识别基准数据集上的实验表明，我们的方法对各种动作都有相当大的改进，即，通用动作、交互活动和手势。
2017-04-12 cs.CV
Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition
Hefei University of Technology（合肥工业大学）；Jilin University（吉林大学）；Zhejiang Gongshang University（浙江工商大学）；University of Science and Technology of China（中国科学技术大学）
提出自适应掩码重建（AMR）框架，通过解耦编码器-解码器并引入自适应引导模块，加速预训练并提升下游动作识别精度，在多个数据集上超越现有方法。
2026-06-11 cs.CV
Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）；University of Oulu（奥卢大学）
近年来，自发性面部微表情的识别任务因其在现实世界中的广泛应用而备受关注。大量的手工或学习的功能已被用于各种分类器，并取得了良好的性能识别微表情。然而，由于微表情的细微时空变化，微表情识别仍然具有挑战性。为了充分利用深度学习的优点，本文提出了一种基于深度递归卷积网络的微表情识别方法，该方法捕捉微表情序列的时空变形。具体而言，所提出的深度模型由用于提取视觉特征的几个递归卷积层和用于识别的分类层组成。它通过端到端的方式进行优化，避免了手动特征设计。为了处理序列数据，我们采用了两种类型的跨时间域扩展卷积网络的连接性，其中时空变形分别在面部外观和几何形状的视图中建模。此外，为了克服训练样本有限和不平衡的缺点，我们的深度网络联合使用了时间数据增强策略以及平衡损失。通过在三个自发的微表情数据集上进行实验，我们验证了我们提出的微表情识别方法的有效性相比，国家的最先进的方法。
2019-01-15 cs.CV
QuaterNet: A Quaternion-based Recurrent Model for Human Motion
Facebook AI Research (FAIR)（Facebook人工智能研究院）
用于预测或生成3D人体姿势序列的深度学习是一个活跃的研究领域。以前的工作回归关节旋转或关节位置。前者的策略是容易沿着运动链的误差积累，以及不连续时，使用欧拉角或指数映射参数化。后者需要重新投影到骨架约束上，以避免骨骼拉伸和无效配置。这项工作解决了这两个限制。我们的递归网络QuaterNet用四元数表示旋转，我们的损失函数在骨架上执行正运动学，以惩罚绝对位置误差而不是角度误差。在短期预测方面，QuaterNet在数量上改进了最先进的技术。对于长期的一代，我们的方法被定性判断为现实的最近的神经策略，从图形文献。
2018-07-31 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务，提出两阶段级联Transformer架构CascadeFormer，结合掩码预训练与级联微调，在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Skeleton-based Action Recognition with Convolutional Neural Networks
Hikvision Research Institute（海康威视研究院）
目前基于递归神经网络的动作识别方法主要基于递归神经网络（RNN）。在本文中，我们提出了一种新的卷积神经网络（CNN）为基础的框架的动作分类和检测。原始骨架坐标以及骨架运动被直接馈送到CNN中用于标签预测。设计了一种新的骨架Transformer模块，实现了骨架重要关节的自动重排和选择。使用一个简单的7层网络，我们在NTU RGB+D数据集的验证集上获得了89.3%的准确率。对于未修剪视频中的动作检测，我们开发了一个窗口建议网络来提取时间段建议，这些建议在同一网络中进一步分类。在最近的PKU-MMD数据集上，我们实现了93.7%的mAP，大大超过了基线。
2017-04-25 cs.CV
Revisiting Skeleton-based Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
人体骨骼作为人体活动的一种紧凑表现形式，近年来受到越来越多的关注。许多基于人体骨架的动作识别方法采用图卷积网络（GCN）来提取人体骨架上的特征。尽管在以前的作品中所示的积极成果，GCN为基础的方法受到限制的鲁棒性，互操作性和可扩展性。在这项工作中，我们提出了PoseC3D，这是一种基于机器人的动作识别的新方法，它依赖于3D热图堆栈而不是图形序列作为人体骨骼的基本表示。与基于GCN的方法相比，PoseC3D在学习时空特征方面更有效，对姿态估计噪声更具鲁棒性，并且在跨数据集设置中具有更好的泛化能力。此外，PoseC3D可以处理多人场景而无需额外的计算成本，并且其功能可以在早期融合阶段轻松与其他模态集成，这为进一步提高性能提供了很大的设计空间。在四个具有挑战性的数据集上，PoseC3D在单独用于骨架以及与RGB模式结合使用时始终获得卓越的性能。
2022-04-02 cs.CV
Recurrent Mixture Density Network for Spatiotemporal Visual Attention
Amazon（亚马逊）；Dartmouth College（达特茅斯学院）；Google Brain（谷歌大脑）
在许多计算机视觉任务中，解决手头问题的相关信息与不相关的分散注意力的信息混合在一起。这促使研究人员设计注意力模型，可以动态地关注图像或视频中突出的部分，例如，通过降低不相关像素的权重。在这项工作中，我们提出了一个时空注意力模型，学习在哪里看视频直接从人类的固定数据。我们在每一帧上用高斯混合模型对视觉注意力进行建模。该分布用于表示每个像素的显著性概率。视频中的时间一致性通过以下方式分层建模：1）表示空间和短期时间关系的深度3D卷积特征，以及2）顶部的长短期记忆网络，该网络聚合连续剪辑的剪辑级表示，从而将时域从几帧扩展到几秒。所提出的模型的参数通过最大似然估计优化使用人类固定作为训练数据，在每个视频中的动作的知识。我们在Hollywood2上的实验显示了视频显着性预测的最新性能。我们还表明，我们在Hollywood2上训练的注意力模型可以很好地推广到UCF101，并且可以利用它来提高两个数据集上的动作分类准确性。
2017-02-11 cs.CV
Joint Temporal Pooling for Improving Skeleton-based Action Recognition
University of Wollongong（卧龙岗大学）；Advanced Multimedia Research Lab（先进多媒体研究实验室）
针对传统时间池化方法忽略运动信息保留、对所有帧同等处理的问题，本文提出联合运动自适应时间池化JMAP方法及帧级、关节级两种变体，在NTU RGB+D 120与PKU-MDD数据集上验证了其对骨架动作识别的提升效果。
2024-08-18 cs.CV
KGS-GCN: Kinematics-Driven Gaussian Splatting and Probabilistic Topology for Skeleton-Based Action Recognition
提出KGS-GCN，通过运动学驱动的高斯泼溅模块将稀疏骨架序列渲染为多视角连续热图，并利用概率拓扑策略构建自适应先验邻接矩阵，以轻量级参数实现高效动作识别。
2026-07-02 cs.AI cs.CV
Interactive Spatiotemporal Token Attention Network for Skeleton-based General Interactive Action Recognition
Sun Yat-sen University（中山大学）；Tencent Technology (Shenzhen) Co., Ltd.（腾讯科技（深圳）有限公司）；Peking University（北京大学）
针对交互动作识别中主体多样性问题，提出ISTA-Net，通过交互式时空Token统一表示多主体动作，结合多头自注意力与3D卷积联合建模时空与交互关系，并引入主体重排消除顺序依赖，在四个数据集上优于现有方法。
2023-07-14 cs.AI cs.CV cs.RO
Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues
Delhi Technological University（德里理工大学）
视频中的动作存在大量的类内差异和类间相似性，这使得视频中的动作识别具有很大的挑战性。在本文中，我们提出了一种新的基于卷积神经网络的部分时空CNN RIAC网络的三维人体动作识别框架，以部分方式可视化动作动态，并通过应用加权后期融合机制来利用每个部分进行动作识别。基于部分骨架的运动动力学有助于突出骨架的局部特征，这是通过将完整骨架划分为五个部分来执行的，例如头部到脊柱、左腿、右腿、左手、右手。RIAFNet架构受到InceptionV 4架构的极大启发，该架构统一了基于ResNet和Inception的时空特征表示概念，并实现了迄今为止最高的top-1准确度。为了提取和学习用于动作识别的显著特征，使用注意力驱动的残差，其增强残差分量的性能以用于有效的基于3D卷积的时空动作表示。通过对UT Kinect Action 3D、Florence 3D action Dataset和MSR Daily 3D数据集等三个具有挑战性的数据集进行广泛的实验，评估了所提出的框架的鲁棒性，这些数据集始终证明了我们方法的优越性
2019-12-02 cs.CV
Action-Attending Graphic Neural Network
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）；Xiamen University（厦门大学）
人体骨骼的运动分析是人体动作识别的关键，也是计算机视觉中最活跃的研究课题之一。在本文中，我们提出了一个完全端到端的动作参与图形神经网络（A $^2$ GNN）的动作识别，其中每个不规则的骨架结构作为一个无向属性图。为了从骨架中提取高级语义表示，我们对构建的属性图进行局部谱图过滤，就像标准图像卷积操作一样。考虑到并非所有的关节都是动作分析的信息，我们设计了一个动作参与层，通过自适应加权骨骼关节来检测这些显着的动作单元（AU）。在此，滤波响应被参数化为与输入节点的阶数无关的加权函数。为了进一步对连续的运动变化进行编码，从骨架图中学习到的深度特征沿着连续的时间切片收集，然后输入到循环门控网络中。最后，谱图滤波，动作关注和递归时间编码集成在一起，联合训练，以实现鲁棒的动作识别以及人类动作的可理解性。为了评估我们的A $^2$ GNN，我们对四个基于基准的动作数据集进行了广泛的实验，包括大规模的具有挑战性的NTU RGB+D数据集。实验结果表明，我们的网络达到了最先进的性能。
2017-11-17 cs.CV
Evolving Skeletons: Motion Dynamics in Action Recognition
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）
本研究在NTU-60和NTU-120数据集上，使用ST-GCN和Hyperformer模型全面评估传统骨架序列与Taylor变换骨架，分析其运动动力学增强潜力与当前挑战，强调创新骨架建模技术的必要性。
2025-02-24 cs.AI cs.CV cs.LG
CNN+RNN Depth and Skeleton based Dynamic Hand Gesture Recognition
University of Calgary（卡尔加里大学）
人类活动和手势识别是快速增长的环境智能领域的重要组成部分，特别是在辅助生活和灵巧家庭中。在本文中，我们提出将卷积神经网络（CNN）和递归神经网络（RNN）这两种深度学习技术的力量结合起来，使用深度和骨架数据进行自动手势识别。这些类型的数据中的每一种都可以单独用于训练神经网络以识别手势。虽然RNN以前被报道在识别每个骨骼关节的运动序列时表现良好，但本研究旨在利用深度数据并应用CNN从深度图像中提取重要的空间信息。串联的CNN+RNN能够更准确地识别一系列手势。同时，研究了各种类型的融合，将骨架和深度信息结合起来，以提取时空信息。在动态手势-14/28数据集上实现了85.46%的总体准确率。
2020-07-22 cs.CV
SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation
The University of Memphis（孟菲斯大学）
本文提出SSTM，利用3D-ConvGRU和时空Transformer从多帧序列并行估计光流，以增强遮挡及边界外区域的光流估计精度，并在Sintel Final和KITTI2015上取得领先结果。
2023-04-26 cs.CV cs.LG
Online Human Action Detection using Joint Classification-Regression Recurrent Neural Networks
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
从分割好的三维骨架数据中识别人体动作是一个非常重要的研究课题。在线动作检测更进一步，更具挑战性，它识别动作类型并从未经修剪的流数据中动态定位动作位置。在本文中，我们研究的问题，在线动作检测流骨架数据。我们提出了一个多任务端到端的联合分类回归递归神经网络，以更好地探索动作类型和时间定位信息。通过采用联合分类和回归优化目标，该网络能够更准确地自动定位动作的起点和终点。具体而言，通过利用深度长短期记忆（LSTM）子网络的优点，所提出的模型自动捕获复杂的长程时间动态，这自然避免了典型的滑动窗口设计，从而确保了高计算效率。此外，回归优化的子任务提供了在动作发生之前预测动作的能力。为了评估我们提出的模型，我们构建了一个带有注释的大型流视频数据集。在我们的数据集和公共G3 D数据集上的实验结果都证明了我们的方案非常有前途的性能。
2016-07-26 cs.CV
Spatiotemporal Graph Convolutional Recurrent Neural Network Model for Citywide Air Pollution Forecasting
Seoul National University（首尔国立大学）；Graduate School of Data Science（数据科学研究生院）
本文提出了一种基于图卷积网络的时空循环神经网络模型，用于提升城市空气污染预测的精度和效率。
2025-11-23 cs.CV cs.LG eess.SP
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中，我们提出了一个端到端的空间和时间的注意力模型，从骨架数据的人类动作识别。我们在具有长短期记忆（LSTM）的递归神经网络（RNN）之上构建我们的模型，它学会选择性地关注输入的每一帧内骨架的区别性关节，并对不同帧的输出给予不同程度的关注。此外，为了确保网络的有效训练，我们提出了一个正则化的交叉熵损失来驱动模型学习过程，并相应地开发了一个联合训练策略。实验结果表明，该模型的有效性，无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）将人体骨架建模为时空图，在基于人体骨架的动作识别中取得了令人瞩目的成绩。然而，在现有的基于GCN的方法中，图的拓扑是手动设置的，并且在所有层和输入样本上都是固定的。这可能不是最佳的分层GCN和不同的动作识别任务中的样本。此外，二阶信息（骨骼的长度和方向）的骨架数据，这是自然更多的信息和歧视性的动作识别，很少在现有的方法进行研究。在这项工作中，我们提出了一种新的双流自适应图卷积网络（2s-AGCN）的动作识别。在我们的模型中，图的拓扑结构可以通过BP算法以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应不同的数据样本。此外，提出了一个双流框架，同时建模的一阶和二阶信息，这表明显着提高识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-07-10 cs.CV
Skeleton-Based Human Action Recognition with Global Context-Aware Attention LSTM Networks
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
三维人体骨架序列中的人体动作识别已经引起了人们的广泛关注。最近，长短期记忆（LSTM）网络在这一任务中表现出了良好的性能，因为它们在建模序列数据中的依赖性和动态方面具有优势。由于并不是所有的骨骼关节都能为动作识别提供信息，并且不相关的关节往往会带来噪声，从而降低性能，因此我们需要更多地关注信息关节。然而，原始的LSTM网络不具有显式注意力能力。在本文中，我们提出了一类新的LSTM网络，全局上下文感知注意力LSTM（GCA-LSTM），用于基于骨架的动作识别。该网络能够通过使用全局上下文存储单元选择性地聚焦于每个骨架序列的每个帧中的信息关节。为了进一步提高网络的注意力能力，我们还引入了一种循环注意力机制，通过这种机制可以逐步提高网络的注意力性能。此外，为了有效地训练我们的网络，我们提出了一个逐步的训练计划。我们的方法在五个具有挑战性的基准数据集上实现了最先进的性能，用于基于骨架的动作识别。
2018-01-11 cs.CV
PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Microsoft Corporation（微软公司）
时空序列的预测学习旨在通过从历史背景中学习来生成未来的图像，其中视觉动态被认为具有可以通过组成子系统学习的模块化结构。本文通过提出一种新的递归网络PredRNN来对这些结构进行建模，在该网络中，一对存储单元被显式解耦，以几乎独立的转换方式运行，最终形成对复杂环境的统一表示。具体地说，除了LSTM的原始存储单元之外，这个网络的特点是一个锯齿形的存储流，它在所有层中以自下而上和自上而下的方向传播，使学习到的视觉动态在不同级别的RNN上进行通信。它还利用存储器解耦损失来防止存储单元学习冗余特征。我们进一步提出了一种新的课程学习策略，迫使PredRNN从上下文框架中学习长期动态，这可以推广到大多数序列到序列模型。我们提供详细的消融研究，以验证每个组件的有效性。我们的方法在五个数据集上获得了非常有竞争力的结果，包括无动作和有动作条件的预测学习场景。
2022-04-09 cs.CV cs.LG
Skeletons Speak Louder than Text: A Motion-Aware Pretraining Paradigm for Video-Based Person Re-Identification
针对视频行人重识别（ReID）中文本难以捕捉细粒度时间运动的问题，提出首个骨架驱动的两阶段预训练框架CSIP-ReID，通过对比学习对齐特征、动态原型融合及骨架引导时间建模，在多基准上取得最优结果并泛化至仅骨架任务。
2025-11-17 cs.CV
Memory Attention Networks for Skeleton-based Action Recognition
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Department of Computer Science and Technology, China University of Mining & Technology, Beijing（中国矿业大学（北京）计算机科学与技术系）；School of Computing & Communications, Lancaster University（兰卡斯特大学计算与通信学院）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；Noah’s Ark Lab, Huawei Technologies Co. Ltd.（华为技术有限公司诺亚方舟实验室）；Department of Electrical and Computer Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校电气与计算机工程系）
基于骨骼的动作识别任务涉及到骨骼关节复杂的时空变化，对于递归神经网络（RNN）来说仍然是一个挑战。在这项工作中，我们提出了一个时间，然后空间重新校准计划，以减轻这种复杂的变化，从而在端到端的记忆注意力网络（MAN），其中包括一个时间注意力重新校准模块（TARM）和时空卷积模块（STCM）。具体来说，TARM部署在一个残余学习模块，采用了一种新的注意力学习网络重新校准的时间注意力的框架序列。STCM将注意力校准的骨骼关节序列视为图像，并利用卷积神经网络（CNN）来进一步对骨骼数据的空间和时间信息进行建模。这两个模块（TARM和STCM）无缝地形成了一个单一的网络架构，可以以端到端的方式进行训练。MAN显着提高了基于机器人的动作识别性能，并在四个具有挑战性的基准数据集上取得了最佳结果：NTU RGB+D，HDM 05，SYSU-3D和UT-Kinect。
2018-05-03 cs.CV
Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）；iCetana, Inc.（iCetana公司）；University of Western Australia（西澳大学）
虽然外观特征包含复杂的纠缠因子，但在视频异常检测中得到了广泛的应用。我们提出了一种新的方法来建模的正常模式的人的运动在监控视频中的异常检测使用动态骨架功能。我们将骨骼运动分解为两个子部分：全局身体运动和局部身体姿势。我们在我们的新的消息传递编码器-解码器递归网络的耦合功能的动力学和相互作用的模型。我们观察到，解耦的功能协同互动，在我们的时空模型，以准确地识别人类相关的不规则事件从监控视频序列。与传统的基于外观的模型相比，我们的方法实现了优越的离群点检测性能。我们的模型还提供了“开箱”检查和决策解释的语义可理解的功能和支持可解释性的网络架构。
2019-04-18 cs.CV
Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition
如何有效地从骨架序列中提取时空信息用于三维人体动作识别仍然是一个挑战。虽然大多数最近的动作识别方法是基于递归神经网络表现出出色的性能，这些方法的缺点之一是倾向于过分强调时间信息。由于3D卷积神经网络（3D CNN）是一种通过捕捉三维信号之间的相关性同时从空间和时间维度学习特征的强大工具，本文提出了一种新的基于3D CNN的双流模型。据我们所知，这是3D CNN在基于神经网络的动作识别中的首次应用。我们的方法包括三个阶段。首先，骨骼关节映射到三维坐标空间，然后编码的空间和时间信息，分别。其次，分别采用三维CNN模型从两个流中提取深度特征。第三，为了增强深度特征捕捉全局关系的能力，我们将每个流扩展为多时态版本。在SmartHome数据集和大规模NTU RGB-D数据集上进行的大量实验表明，我们的方法优于大多数基于RNN的方法，这验证了空间和时间信息之间的互补性以及对噪声的鲁棒性。
2017-06-07 cs.CV
Self-Attention Network for Skeleton-based Human Action Recognition
University of Central Florida（中佛罗里达大学）
基于伊顿的动作识别最近吸引了很多关注。研究人员正在提出新的方法来提取时空关系，并在大规模基于时空的数据集上取得了相当大的进展。提出的大多数架构都基于递归神经网络（RNN）、卷积神经网络（CNN）和基于图的CNN。当涉及到基于信标的动作识别时，长期上下文信息的重要性是中心的，这是当前架构所不能捕获的。为了更好地表示和捕捉长期的时空关系，我们提出了三种自注意网络（SAN）的变体，即SAN-V1，SAN-V2和SAN-V3。我们的SAN变体具有通过捕获远程相关性来提取高级语义的能力。我们还将临时段网络（TSN）与我们的SAN变体集成在一起，从而提高了整体性能。通过大量的实验探索了自注意网络（SAN）变体和时间段网络（TSN）的不同配置。我们选择的配置在Kinetics上分别比最先进的Top-1和Top-5高出4.4%和7.9%，并且在NTU RGB+D上表现出比最先进的方法更好的性能。
2019-12-18 cs.CV
Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model
The University of Tokyo（东京大学）；Osaka University（大阪大学）
本文讨论了视频运动捕获，即从多摄像机图像中重建人体运动的三维模型。在从每个摄像机图像中计算出部分置信度图之后，应用所提出的时空滤波器来提供具有准确性和平滑性的人体运动数据以用于人体运动分析。时空滤波器使用人体骨架，并在两次逆运动学计算中混合时间平滑。实验结果表明，在规则运动和反向运动情况下，每个关节的平均位置误差分别为26.1mm和38.8mm。
2019-12-10 cs.CV cs.RO
Space-Time Representation of People Based on 3D Skeletal Data: A Review
Colorado School of Mines（科罗拉多矿业学院）
基于三维视觉感知数据的时空人体表示是一个快速发展的研究领域。基于信息源，这些表示可以基于RGB-D信息或3D骨架数据被广泛地分类为两组。近年来，基于人体模型的人体表示方法由于其对视点、人体尺度和运动速度变化的鲁棒性以及实时性、在线性等优点，受到了广泛的研究和关注。本文提出了一个全面的调查现有的时空表示的人的三维骨架数据的基础上，并提供了一个信息的分类和分析这些方法的角度，包括信息形态，表示编码，结构和过渡，和功能工程。我们还提供了一个简短的概述骨架采集设备和构建方法，招募了一些公共基准数据集的骨架数据，并讨论了潜在的未来研究方向。
2017-02-04 cs.CV
Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks
Kinect骨骼跟踪器能够以方便和低成本的方式实现可观的人体跟踪性能。然而，跟踪器经常捕捉不自然的人体姿势，如不连续和振动的运动时，发生自遮挡。大多数方法通过在工作空间中使用多个Kinect传感器来解决这个问题。然后在卡尔曼滤波器框架中对来自不同传感器的测量进行组合，或者将优化问题公式化用于传感器融合。然而，这些方法通常需要测量从每个Kinect传感器观察到的测量的可靠性。本文提出了一种基于单Kinect传感器的Kinect骨架改进方法，该方法采用监督学习技术对非自然跟踪运动进行修正。具体而言，深度循环神经网络用于改善Kinect骨架的关节位置和速度，并提出了三种方法来整合细化的位置和速度以进一步增强。此外，我们提出了一种新的措施来评估自然的捕获运动。我们评估了所提出的方法，通过与使用商业光学标记为基础的运动捕捉系统获得的地面实况进行比较。
2016-04-15 cs.CV cs.LG cs.NE
Spatiotemporal Distillation via Recurrent Bottlenecks for Aortic Tracking
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Polytechnique Montreal（蒙特利尔理工学院）
该研究提出半监督时空知识蒸馏框架，利用循环瓶颈将空间教师模型知识迁移到时空学生模型，实现主动脉追踪准确率与可靠性提升，减少结构异常超56%。
2026-08-26 cs.CV cs.LG eess.IV
Triplet Attention Transformer for Spatiotemporal Predictive Learning
Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
本文提出三重注意力Transformer，通过时间、空间和通道维度的自注意力机制替代循环单元，在多个时空预测任务中取得最先进性能。
2023-10-28 cs.CV cs.LG
G3CN: Gaussian Topology Refinement Gated Graph Convolutional Network for Skeleton-Based Action Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系）；Chadwick School（查德威学校）
提出G3CN，通过高斯滤波细化骨架拓扑图并集成门控循环单元，增强模糊动作区分能力，在多个基准上验证了有效性。
2025-09-09 cs.CV
A spatiotemporal model with visual attention for video classification
University of California San Diego（加州大学圣迭戈分校）
对顺序视觉输入的高水平理解对于安全和稳定的自主性是重要的，特别是在定位和目标检测中。虽然传统的对象分类和跟踪方法是专门设计来处理旋转和尺度变化的，但基于深度学习的当前最先进的方法实现了更好的性能。本文主要研究如何建立一个时空模型来处理包含旋转和尺度变化的移动对象的视频。基于结合卷积神经网络（CNN）和递归神经网络（RNN）对序列数据进行分类的模型，这项工作研究了在CNN阶段将注意力模块用于视频分类的有效性。所提出的时空模型的优越性证明了移动MNIST数据集与旋转和缩放。
2017-07-24 cs.CV
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；University of Sydney（悉尼大学）
在过去的几年中，基于手势的人体动作识别吸引了大量的研究关注。最近的工作试图利用递归神经网络来模拟人体关节的3D位置配置之间的时间依赖关系，以便更好地分析骨骼数据中的人类活动。所提出的工作扩展了这一想法，空间域以及时间域，以更好地分析隐藏的来源，在这两个领域的人类骨骼序列内的动作相关的信息。基于Kinect骨架数据的图形结构，提出了一种有效的基于树结构的遍历框架。为了处理骨架数据中的噪声，在LSTM模块中引入了一种新的门控机制，通过该机制，网络可以学习序列数据的可靠性，并相应地调整输入数据对存储在单元存储单元中的长期上下文表示的更新过程的影响。此外，本文还在LSTM单元中引入了一种新的多模态特征融合策略。在七个具有挑战性的人体动作识别基准数据集上的综合实验结果证明了该方法的有效性。
2017-06-26 cs.CV
Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition
University College London（伦敦大学学院）；University of Oxford（牛津大学）
本文致力于视频中的人类动作识别的挑战。关键的一步是开发一个通用的网络架构来提取时空骨架数据的判别特征。在本文中，我们提出了一种新的模块，即Logsig-RNN，它是日志签名层和递归型神经网络（RNN）的组合。前一种方法是基于数学原理的签名和日志签名技术，它可以处理高采样率的数据流、非均匀采样和可变长度的时间序列。它作为递归层的增强，可以方便地插入神经网络。此外，我们提出了两个路径转换层，以显着降低路径维度，同时保留输入Logsig-RNN模块的基本信息。最后，数值结果表明，在SOTA网络中用Logsig-RNN模块替换RNN模块，在准确性和鲁棒性方面始终提高了Chalearn手势数据和NTU RGB+D 120动作数据的性能。特别是，我们通过将简单的路径转换层与Logsig-RNN相结合，在Chalearn 2013手势数据上实现了最先进的准确性。代码可在https://github.com/steveliao93/GCN_LogsigRNN上获得。
2021-11-01 cs.CV cs.LG
CNN-based Action Recognition and Supervised Domain Adaptation on 3D Body Skeletons via Kernel Feature Maps
Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian National University（澳大利亚国立大学）
深度学习在计算机视觉的许多领域中无处不在。它通常需要大规模的数据集进行训练，然后才能对中小规模的问题进行微调。活动，或者换句话说，动作识别，是深度学习的许多应用领域之一。虽然存在许多使用RGB和光流帧的卷积神经网络架构，但对3D身体骨骼关节的时间序列的训练通常通过递归网络（如LSTM）执行。在本文中，我们提出了一种新的表示编码序列的三维人体骨骼关节的纹理表示来自数学严格的核方法。这样的表示成为标准CNN网络中的第一层，ResNet-50，然后在监督领域自适应管道中使用，将信息从源数据集传输到目标数据集。这使我们能够利用可用的基于Kinect的数据，而不仅仅是在单个数据集上进行训练，并且在以简单的方式组合的任何两个数据集上进行简单的微调。更具体地说，在本文中，我们利用数据集之间的重叠类。我们通过所谓的共性将同一类的数据点相关联，这是从监督领域自适应中得知的。我们展示了国家的最先进的三个公开的基准测试结果。
2018-06-24 cs.CV
Multi Scale Temporal Graph Networks For Skeleton-based Action Recognition
Tsinghua University（清华大学）
图卷积网络（GCN）能有效地捕捉相关节点的特征，提高模型的性能。将广义CN应用于基于手势的动作识别中，得到了更多的关注。但是现有的基于GCN的方法存在两个问题。首先，在逐点逐帧地提取特征时，忽略了时间和空间特征的一致性。为了同时获得时空特征，我们设计了一个通用的表示骨架序列的动作识别，并提出了一种新的模型称为时间图网络（TGN）。其次，描述关节关系的图的邻接矩阵主要依赖于关节之间的物理连接。为了更好地描述骨架图中关节之间的关系，提出了一种多尺度图策略，采用全尺度图、部分尺度图和核心尺度图来捕捉关节的局部特征和重要关节的轮廓特征。在两个大型数据集上进行了实验，结果表明，TGN与我们的图策略优于国家的最先进的方法。
2020-12-05 cs.AI cs.CV
STAR: Skeletal Token Alignment and Rearrangement for Interaction Recognition
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能国家重点实验室）；University at Buffalo SUNY（纽约州立大学布法罗分校）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
针对人机和人与人交互识别，提出STAR方法，通过骨骼令牌对齐与重排，利用实体重排、交互式时空令牌及视觉交互编码等组件，结合骨骼与RGB视频数据学习特征，经对比学习对齐表示，实验验证其性能优于现有方法。
2026-07-21 cs.AI cs.CV
Skeleton-Based Action Recognition with Synchronous Local and Non-local Spatio-temporal Learning and Frequency Attention
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
由于其简洁性和鲁棒性，基于手势的动作识别近年来受到了广泛的关注。大多数现有方法利用本地网络（例如，递归的、卷积的和图卷积网络）来分层地提取时空动态。因此，本地和非本地依赖，其中包含更多的细节和语义分别，异步捕获在不同级别的层。此外，现有的方法仅限于时空域，而忽略了频域中的信息。为了更好地从多个域中提取同步的详细和语义信息，我们提出了一个残余频率注意力（RFA）块，专注于在频域中的判别模式，和一个同步的本地和非本地（SLnL）块，同时捕获的细节和语义在时空域。此外，提出了一种软边缘聚焦损失（SMFL），以优化整个学习过程，自动进行数据选择，并鼓励在分类器的内在边缘。我们的方法在几个大规模数据集上的性能明显优于其他最先进的方法。
2019-06-12 cs.CV
SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Modiface Inc（Modiface公司）；Vector Institute（矢量研究所）
在本文中，我们介绍了一种基于transformer的视频对象分割（VOS）的方法。为了解决复合误差和可扩展性的问题，以前的工作，我们提出了一个可扩展的，端到端的VOS方法称为稀疏时空Transformers（SST）。SST提取每像素表示为视频中的每个对象使用稀疏注意时空功能。我们基于注意力的VOS公式允许模型学习在多帧的历史上参加，并提供适当的归纳偏差，用于执行解决运动分割所需的类似对应的计算。我们证明了在时空域中基于注意力的递归网络的有效性。我们的方法在YouTube-VOS和DAVIS 2017上取得了有竞争力的结果，与现有技术相比，可扩展性和对遮挡的鲁棒性有所提高。代码可在https://github.com/dukebw/SSTVOS上获得。
2021-03-29 cs.CV
Co-occurrence Feature Learning for Skeleton based Action Recognition using Regularized Deep LSTM Networks
University of California, Irvine（加州大学欧文分校）；Microsoft Research Asia（微软亚洲研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
基于骨架的动作识别利用骨架关节的运动轨迹来区分人类的动作，这为描述动作提供了很好的表示。考虑到具有长短期记忆（LSTM）的递归神经网络（RNN）可以自动学习特征表示并对长期时间依赖性建模，我们提出了一种端到端全连接深度LSTM网络，用于基于骨架的动作识别。受关节同现本质上表征人类行为的观察的启发，我们在每个时隙将骨架作为输入，并引入一种新的正则化方案来学习骨架关节的同现特征。为了有效地训练深度LSTM网络，我们提出了一种新的dropout算法，该算法同时对LSTM神经元的门、单元和输出响应进行操作。在三个人体动作识别数据集上的实验结果一致证明了该模型的有效性。
2016-03-24 cs.CV cs.LG
STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
尽管基于递归神经网络（RNN）的视频预测方法取得了显著的成就，但由于存在信息丢失问题和基于均方误差（MSE）的损失函数对感知不敏感，其在高分辨率数据集上的性能仍远不能令人满意。在本文中，我们提出了一个时空信息保持和感知增强模型（STIP），以解决上述两个问题。为了解决信息丢失的问题，该模型的目标是保持时空信息的视频在特征提取和状态转换，分别。首先，基于X-Net结构设计了一个多粒度时空自动编码器（MGST-AE）。建议MGST-AE可以帮助解码器召回多粒度的信息从编码器在时间和空间域。这样，在高分辨率视频的特征提取期间可以保留更多的时空信息。其次，在标准GRU结构的基础上，设计了时空门控递归单元STGRU，该单元能够有效地保持状态转换过程中的时空信息。与流行的基于长短期（LSTM）的预测记忆相比，所提出的STGRU可以以更低的计算负载实现更令人满意的性能。此外，为了改进传统的MSE损失函数，基于生成对抗网络（GANs）进一步设计了学习感知损失（LP-loss）函数，该函数能够在客观质量和感知质量之间取得令人满意的折衷。实验结果表明，提出的STIP可以预测视频与更令人满意的视觉质量相比，各种国家的最先进的方法。源代码已在\url{https://github.com/ZhengChang467/STIPHR}上提供。
2022-06-09 cs.AI cs.CV
SRVP: Strong Recollection Video Prediction Model Using Attention-Based Spatiotemporal Correlation Fusion
Korea Institute of Science and Technology Information (KISTI)（韩国科学技术信息研究院）；University of Science and Technology (UST)（科学技术大学）
针对基于RNN的视频预测模型丢失物体外观细节的问题，提出SRVP模型，通过集成标准注意力和增强特征注意力模块融合时空相关性，缓解图像质量下降并取得与无RNN架构相当的预测性能。
2025-04-16 cs.CV
An Attractor-Guided Neural Networks for Skeleton-Based Human Motion Prediction
关节关系建模是人体运动预测中的一个重要组成部分。大多数现有的方法倾向于设计基于关节的图来建立关节之间的关系，其中关节对之间的局部相互作用是很好地学习的。然而，反映人体运动平衡特性的关节整体协调性由于是从局部到整体渐进、异步学习的，往往被削弱。因此，最终预测的运动有时不自然。为了解决这个问题，我们从运动的时空特征中学习了一种称为平衡吸引子（BA）的媒介来表征全局运动特征，该特征随后用于建立新的关节关系。通过BA，所有关节同步相关，因此可以更好地学习所有关节的全局协调。在此基础上，我们提出了我们的框架，称为吸引子引导的神经网络，主要包括基于吸引子的联合关系提取器（AJRE）和多时间尺度动力学提取器（MTDE）。AJRE主要包括全局协调提取器（GCE）和局部交互提取器（LIE）。前者表示所有关节的全局协调，后者编码关节对之间的局部相互作用。MTDE被设计为从原始位置信息中提取动态信息以进行有效预测。大量的实验表明，该框架在H3.6M，CMU-Mocap和3DPW的短期和长期预测方面都优于最先进的方法。
2022-05-06 cs.CV
Learning Scene Flow With Skeleton Guidance For 3D Action Recognition
Centre for Research and Technology Hellas（希腊研究与技术中心）
提出利用骨架引导的注意力机制和晚期融合，结合三维流与骨架模型，在NTU RGB+D数据集上实现最先进的三维动作识别性能。
2023-06-23 cs.CV eess.IV
