Human activity recognition from skeleton poses
Plymouth University（普利茅斯大学）
人类动作识别是人机交互的一项重要任务，因为机器人和人类之间的合作需要人工智能体识别来自环境的复杂线索。一种很有前途的方法是使用经过训练的分类器，通过从传感器的图像或RGB-D数据中提取的骨架姿势序列来识别人类动作。然而，由于许多不同的数据集集中在略微不同的动作集和不同的算法上，因此不清楚哪种策略对于在家庭环境中执行的室内活动产生最高的准确度。本工作讨论，测试和比较经典的算法，即支持向量机和k-近邻，2个类似的分层神经气体的方法，需要时增长的神经气体和增长的神经气体。
2019-08-20 cs.CV
SAFER-Activities: A Dataset for Smart Assessment of Fall Events and Routine Activities
KU Leuven（鲁汶大学）；Asian Institute of Technology（亚洲理工学院）
提出SAFER-Activities数据集，含66小时多摄像头视频、85,310个动作实例和30类帧级标注，用于跌倒检测与活动监控，并验证了骨架模型在跨域泛化上的优势。
2026-09-10 cs.AI cs.CV
CLAD: A Complex and Long Activities Dataset with Rich Crowdsourced Annotations
University of Leeds（利兹大学）
本文介绍了一种新的活动数据集，它展示了复杂的，暂时扩展的人类活动和行动的真实生活和不同的场景。该数据集呈现了一组演员以自然和无脚本的方式进行日常活动的视频。该数据集使用静态Kinect 2传感器记录，该传感器通常用于许多机器人平台。该数据集包括RGB-D图像、点云数据、自动生成的骨架轨迹以及众包注释。此外，我们还描述了通过众包获取注释的方法。最后，一些活动识别基准使用当前国家的最先进的技术。我们认为，这个数据集特别适合作为活动识别研究的测试平台，但它也可以适用于机器人/计算机视觉研究中的其他常见任务，如目标检测和人体骨骼跟踪。
2017-09-21 cs.AI cs.CV
SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Wuhan University of Science and Technology（武汉科技大学）；University of Central Florida（中佛罗里达大学）
针对骨骼动作识别中标注数据稀缺的问题，提出SkeletonMAE，一种基于MAE的时空掩码自编码器框架，通过关节级和帧级掩码预训练学习泛化特征，在NTU RGB+D和NTU RGB+D 120上超越现有方法。
2023-05-10 cs.CV
SkeletonX: Data-Efficient Skeleton-based Action Recognition via Cross-sample Feature Aggregation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，北京航空航天大学，北京，中国）
SkeletonX通过跨样本特征聚合实现高效骨架动作识别，在有限数据下提升性能，参数更少，效果更优。
2025-04-16 cs.CV
Multi-Semantic Fusion Model for Generalized Zero-Shot Skeleton-Based Action Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出多语义融合模型，通过引入动作描述和运动描述等辅助语义信息，并结合变分自编码器实现骨架与语义特征跨模态对齐，以提升广义零样本骨架动作识别的泛化性能。
2023-09-18 cs.CV
Just Add $π$! Pose Induced Video Transformers for Understanding Activities of Daily Living
UNC Charlotte（北卡罗来纳大学夏洛特分校）
本文提出π-ViT，通过2D和3D骨架诱导模块将姿态信息融入视频Transformer的RGB表示，在推理时无需姿态和额外开销，并在多个ADL数据集上取得最优性能。
2023-11-30 cs.CV
Skeleton-based Action Recognition with Convolutional Neural Networks
Hikvision Research Institute（海康威视研究院）
目前基于递归神经网络的动作识别方法主要基于递归神经网络（RNN）。在本文中，我们提出了一种新的卷积神经网络（CNN）为基础的框架的动作分类和检测。原始骨架坐标以及骨架运动被直接馈送到CNN中用于标签预测。设计了一种新的骨架Transformer模块，实现了骨架重要关节的自动重排和选择。使用一个简单的7层网络，我们在NTU RGB+D数据集的验证集上获得了89.3%的准确率。对于未修剪视频中的动作检测，我们开发了一个窗口建议网络来提取时间段建议，这些建议在同一网络中进一步分类。在最近的PKU-MMD数据集上，我们实现了93.7%的mAP，大大超过了基线。
2017-04-25 cs.CV
Label Adversarial Learning for Skeleton-level to Pixel-level Adjustable Vessel Segmentation
你可以有你的蛋糕和吃它。光学相干断层扫描血管造影（OCTA）图像中的微血管分割仍然具有挑战性。像素级分割显示出清晰的拓扑结构但没有直径信息，而像素级分割显示出清晰的口径但低拓扑结构。为了缩小这一差距，我们提出了一种新的标签对抗学习（LAL），用于从像素级到像素级的可调血管分割。LAL主要由两种设计组成：标签对抗损失和可嵌入调整层。标签对抗损失在两个标签监督之间建立对抗关系，而调整层调整网络参数以匹配不同的对抗权重。这样的设计可以有效地捕捉两个监督之间的变化，使分割连续和可调。这种连续的过程使我们能够推荐具有清晰口径和拓扑结构的高质量血管分割。实验结果表明，我们的结果优于当前公共数据集的手动注释和传统的过滤效果。此外，这种连续过程还可以用于生成表示弱血管边界和噪声的不确定性图。
2022-05-07 cs.CV cs.LG eess.IV
Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对零样本骨骼动作识别中仅靠全局特征对齐知识迁移不足的问题，提出部位感知的语言-骨骼统一表示PURLS，通过提示与划分模块实现多尺度视觉-语义对齐，在多数据集上性能优于现有方案。
2024-06-19 cs.CV
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；University of Sydney（悉尼大学）
在过去的几年中，基于手势的人体动作识别吸引了大量的研究关注。最近的工作试图利用递归神经网络来模拟人体关节的3D位置配置之间的时间依赖关系，以便更好地分析骨骼数据中的人类活动。所提出的工作扩展了这一想法，空间域以及时间域，以更好地分析隐藏的来源，在这两个领域的人类骨骼序列内的动作相关的信息。基于Kinect骨架数据的图形结构，提出了一种有效的基于树结构的遍历框架。为了处理骨架数据中的噪声，在LSTM模块中引入了一种新的门控机制，通过该机制，网络可以学习序列数据的可靠性，并相应地调整输入数据对存储在单元存储单元中的长期上下文表示的更新过程的影响。此外，本文还在LSTM单元中引入了一种新的多模态特征融合策略。在七个具有挑战性的人体动作识别基准数据集上的综合实验结果证明了该方法的有效性。
2017-06-26 cs.CV
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，基于手势的人体动作识别引起了越来越多的关注。然而，大多数现有的工作集中在监督学习，需要大量的注释的动作序列，往往是昂贵的收集。我们研究无监督的表示学习的骨架动作识别，并设计了一种新的骨架云着色技术，能够学习骨架表示从未标记的骨架序列数据。具体来说，我们将骨架动作序列表示为3D骨架云，并根据原始（未注释）骨架序列中的时间和空间顺序对云中的每个点进行着色。利用彩色骨骼点云，我们设计了一个自动编码器框架，可以有效地从骨骼关节的人工颜色标签中学习时空特征。我们使用在不同配置下训练的动作分类器来评估我们的骨架云着色方法，包括无监督，半监督和全监督设置。在NTU RGB+D和NW-UCLA数据集上的大量实验表明，该方法的识别性能明显优于现有的无监督和半监督3D动作识别方法，在有监督的3D动作识别中也取得了较好的效果。
2021-08-09 cs.CV
Skeleton Supervised Airway Segmentation
University of Science and Technology of China（中国科学技术大学）；School of Biomedical Engineering（生物医学工程学院）；Naval Medical University（海军军医大学）；Second Affiliated Hospital（第二附属医院）；Suzhou Aerospace Information Research Institute（苏州航天信息研究院）
本文提出骨架级标注SkA及双流缓冲推理与GDP骨架监督框架，仅用1.96%气道标注即达到接近100%全监督的分割性能。
2024-03-11 cs.CV
SGA-INTERACT: A 3D Skeleton-based Benchmark for Group Activity Understanding in Modern Basketball Tactic
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai University of Sport（上海体育大学）
本文提出首个基于三维骨架的群体活动理解基准SGA-INTERACT及时序群体活动定位任务，并设计One2Many框架以统一个体特征提取，使RGB模型可直接在骨架基准上评估，实验表明现有方法性能较低，凸显了该基准的挑战性。
2025-03-09 cs.CV
DeSPITE: Exploring Contrastive Deep Skeleton-Pointcloud-IMU-Text Embeddings for Advanced Point Cloud Human Activity Understanding
Telekooperation Lab, Technical University Darmstadt（德累斯顿技术大学电信协作实验室）；NTT DATA, Luxembourg（NTT DATA卢森堡）
本文提出多模态对比预训练模型DeSPITE，通过结合LIPD和Babel数据集学习LiDAR点云、骨架、IMU与文本的联合嵌入空间，实现了点云序列的新型人类活动理解任务，并验证了其作为点云HAR预训练策略的有效性。
2025-06-25 cs.CV
Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition
Zhejiang University（浙江大学）；Harvard Medical School（哈佛医学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于手势的动作识别被广泛应用于各种领域，例如，监控和人机交互。现有的模型主要是以监督的方式学习的，因此严重依赖于大规模的标记数据，当标签过于昂贵时，这可能是不可行的。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），同时捕捉姿势和运动动态的无监督的基于动作识别。它主要由三部分组成：序列重构器、对比运动学习器和信息融合器。序列重构器通过重构从骨架坐标序列中学习表示，因此所学习的表示倾向于关注琐碎的姿势坐标，并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习器分别在从坐标序列和附加速度序列学习的表示之间执行对比学习。最后，在信息融合器中，我们探索了多种策略来结合序列重建器和对比运动学习器，并提出通过基于知识蒸馏的融合策略将运动学习从对比运动学习器转移到序列重建器来同时捕获姿势和运动。几个基准上的实验结果，即，NTU RGB+D 60、NTU RGB+D 120、CMU mocap和NW-UCLA证明了所提出的CRRL方法的前景，其性能远远优于最先进的方法。
2023-02-11 cs.CV
Multi-Label Activity Recognition using Activity-specific Features and Activity Correlations
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；Amazon Web Service（亚马逊网络服务）
多标签活动识别被设计用于识别在每个视频中同时或顺序执行的多个活动。最近的活动识别网络专注于单一活动，即假设每个视频中只有一个活动。这些网络为所有活动提取共享特征，这些特征不是为多标签活动设计的。我们引入了一种多标签活动识别方法，该方法为每个活动提取独立的特征描述符并学习活动相关性。这种结构可以端到端训练，并插入任何现有的网络结构进行视频分类。我们的方法在四个多标签活动识别数据集上的表现优于最先进的方法。为了更好地理解系统生成的特定于活动的特征，我们在Charades数据集中可视化了这些特定于活动的特征。
2021-03-04 cs.CV
Combining ConvNets with Hand-Crafted Features for Action Recognition Based on an HMM-SVM Classifier
University of Wollongong（伍伦贡大学）；Tianjin University（天津大学）
本文提出了一种基于RGB-D的动作识别框架，该框架利用了骨架数据中手工设计的特征和深度图中深入学习的特征，并有效地利用了局部和全局时间信息。具体而言，首先增强深度和骨架数据以用于深度学习，并使识别对视图方差不敏感。其次，深度序列分割使用手工制作的特征的基础上，骨骼关节运动直方图，利用局部时间信息。所有训练片段使用无限高斯混合模型（IGMM）通过贝叶斯估计进行聚类，并标记用于在深度图上训练卷积神经网络（ConvNets）。因此，深度序列可以被可靠地编码成片段标签的序列。最后，标签序列被送入一个联合隐马尔可夫模型和支持向量机（HMM-SVM）分类器，以探索最终识别的全局时间信息。
2016-02-01 cs.CV
Prediction and Description of Near-Future Activities in Video
University of California, Riverside（加州大学河滨分校）；Comcast AI（康卡斯特人工智能实验室）
现有的人类活动分析的工作大多集中在识别或早期识别的活动标签从完整或部分的观察。类似地，几乎所有现有的视频描述方法都关注视频中观察到的事件。在没有观察到预测活动的帧的情况下预测未来活动的标签和标题是一个具有挑战性的问题，具有需要预期响应的重要应用。在这项工作中，我们提出了一个系统，可以推断的标签和标题的一系列未来的活动。我们提出的用于未来活动序列的标签预测的网络有三个分支，其中第一个分支从场景中存在的对象中获取视觉特征，第二个分支获取观察到的连续活动特征，第三个分支捕获最后观察到的活动特征。然后，使用基于序列到序列学习的方法将预测的标签和观察到的场景上下文映射到有意义的字幕。在四个具有挑战性的活动分析数据集和视频描述数据集上的实验表明，我们的标签预测方法实现了与最先进技术相当的性能，我们的字幕框架优于最先进技术。
2021-05-27 cs.CV
T-MOR: Learning Motion-Aware Skeleton Representations for Human Action Recognition
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；Inria Center at Université Côte d'Azur（法国蔚蓝海岸大学Inria中心）；Woven by Toyota；Toyota Motor Europe（丰田汽车欧洲公司）
提出T-MOR框架，通过多模态对比学习对齐骨架运动与视觉、文本表示，仅用轻量骨架输入实现高效动作识别，并在大规模数据集PoseCap-1M上预训练，在多个基准上取得一致提升。
2026-06-23 cs.CV
View-Invariant Skeleton-based Action Recognition via Global-Local Contrastive Learning
Tianjin University（天津大学）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China（中国国家文物局文物表面监测与分析重点研究中心）；University of South Carolina（南卡罗来纳大学）
基于骨骼的人体动作识别由于其对外观变化的低敏感性和更多骨架数据的可访问性而引起了越来越多的关注。然而，即使是在实践中捕获的三维骨架仍然是敏感的视点和方向给出了不同的人体关节的遮挡和人体关节定位的错误。骨架数据的这种视图变化可能会显著影响动作识别的性能。为了解决这个问题，我们在本文中提出了一个新的视图不变的表示学习方法，没有任何手动动作标记，基于图像的人类动作识别。具体来说，我们利用多视图骨架数据同时采取的同一个人在网络训练中，通过最大化的互信息之间的表示从不同的视图中提取，然后提出了一个全局-局部对比损失模型的多尺度同现关系在空间和时间域。大量的实验结果表明，该方法是鲁棒的输入骨架数据的视图差异，并显着提高了性能的无监督的基于人体动作的方法，导致新的国家的最先进的准确性在两个具有挑战性的多视图基准PKUMD和NTU RGB+D。
2022-09-23 cs.CV
Semantic Labeling of Human Action For Visually Impaired And Blind People Scene Interaction
RIIMA Laboratory, Computer Science Faculty USTHB University（USTHB大学计算机科学学院RIIMA实验室）
这项工作的目的是为视障者和盲人开发触觉装置，让他们了解周围人的行动并与他们互动。首先，基于现有的RGB-D序列中人体动作识别方法，利用Kinect提供的骨架信息，采用解纠缠的统一多尺度图卷积（MS-G3 D）模型对人体动作进行识别。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们应用MS-G3 D的骨架模态和CNN的深度模态之间的融合，以绕过所讨论的限制。第三，所识别的动作被语义地标记并且将被映射到可由触摸感觉感知的输出设备。
2022-01-12 cs.CV
Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks
Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)（脑科学与智能技术卓越创新中心）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
最近，基于骨架的动作识别由于具有成本效益的深度传感器与实时骨架估计算法相结合而越来越受欢迎。传统的基于手工特征的方法仅限于表示运动模式的复杂性。最近的方法，使用循环神经网络（RNN）来处理原始骨架只集中在上下文的时间域的依赖性，而忽略了关节骨架的空间配置。在本文中，我们提出了一种新的两个流RNN架构建模的时间动态和空间配置的骨架为基础的动作识别。我们探索了两种不同的时间流结构：堆栈RNN和层次RNN。层次RNN是根据人体运动学设计的。我们还提出了两种有效的方法来建模的空间结构转换成一个序列的关节的空间图形。为了提高我们的模型的泛化能力，我们进一步利用基于3D变换的数据增强技术，包括旋转和缩放变换，以在训练过程中变换骨架的3D坐标。在3D动作识别基准数据集上的实验表明，我们的方法对各种动作都有相当大的改进，即，通用动作、交互活动和手势。
2017-04-12 cs.CV
Analysis of Gait Pattern to Recognize the Human Activities
基于计算机视觉的人体行为识别是对图像序列进行行为标记的过程。针对该问题的精确系统被应用于诸如视觉监视、人机交互和视频检索等领域。
2014-08-14 cs.CV
Skeleton-Based Human Action Recognition with Noisy Labels
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人机与机器人研究所）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所）；School of Robotics, Hunan University（湖南大学机器人学院）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学机器人视觉感知与控制技术国家工程研究中心）
针对基于骨骼的人体动作识别中标签噪声被忽视的问题，本文融合全局样本选择、co-teaching 与 CM-MOE 提出 NoiseEraSAR，在基准上达到新的最先进性能。
2024-08-06 cs.CV cs.RO eess.IV
Skeleton-Snippet Contrastive Learning with Multiscale Feature Fusion for Action Localization
School of Computer Science, University of Bristol North Bristol NHS Trust（布里斯托大学计算机科学学院、北布里斯托国家健康服务信托）
本文提出基于多尺度特征融合的骨骼-片段对比学习方法，用于改进动作定位的自监督预训练，通过对比学习增强特征区分能力，并在多个数据集上取得优异效果。
2025-12-22 cs.CV
Bridging the Skeleton-Text Modality Gap: Diffusion-Powered Modality Alignment for Zero-shot Skeleton-based Action Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于扩散模型的骨架-文本对齐框架TDSM，通过将文本特征纳入反向扩散过程实现统一潜在空间匹配，并引入三重态扩散损失增强判别力，在ZSAR任务中显著超越现有方法。
2025-07-16 cs.CV
Generative Data Augmentation for Skeleton Action Recognition
Innovative Media Lab, University of Surrey（创新媒体实验室，萨里大学）；Advanced Multimedia Research Lab, University of Wollongong（高级多媒体研究实验室，沃伦冈大学）
本文提出条件生成管道用于骨骼动作识别的数据增强，通过Transformer编码器-解码器架构和生成细化模块，在有限样本下提升动作识别性能。
2026-04-16 cs.CV
Human Activity Learning using Object Affordances from RGB-D Videos
Cornell University（康奈尔大学）
人类活动包括按顺序执行的多个子活动，并涉及与各种对象的交互。这使得推理对象的启示活动识别的中心任务。在这项工作中，我们考虑的问题，共同标记的对象启示和人类活动的RGB-D视频。我们将问题框架为马尔可夫随机场，其中节点表示对象和子活动，边缘表示对象启示之间的关系，它们与子活动的关系以及它们随时间的演变。我们制定的学习问题，使用结构SVM的方法，其中标签在各种交替的时间分割被认为是潜在变量。我们在一个包含从四个主题收集的120个活动视频的数据集上测试了我们的方法，并获得了81.8%的端到端精确度和80.0%的召回率来标记活动。
2012-08-04 cs.CV
ARN-LSTM: A Multi-Stream Fusion Model for Skeleton-based Action Recognition
Universiti Sains Malaysia（马来西亚理科大学）；College of Technology and Business（科技与商学院）；Shenzhen Polytechnic University（深圳职业技术大学）；Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong-Macao Greater Bay Area（粤港澳大湾区应用人工智能研究院）
针对传统方法难以同时捕捉动作序列空间运动与时间动态的问题，提出ARN-LSTM多流融合模型，整合关节、运动和时间信息，在NTU RGB+D数据集上性能优于现有方法，尤其提升群体动作识别效果。
2024-11-29 cs.CV
Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
骨架数据携带有价值的运动信息，在人体动作识别中得到了广泛的应用。然而，不仅运动信息，而且与环境的相互作用提供了区别性的线索，以识别人的动作。在本文中，我们提出了一个共同的学习框架，相互帮助的“互动对象定位”和“人体动作识别”的基础上骨架数据。这两个任务被序列化在一起并相互协作以促进彼此，其中仅从骨架导出的初步动作类型有助于改善交互对象定位，这反过来又为最终的人类动作识别提供了有价值的线索。此外，我们探索的时间一致性的相互作用的对象作为约束，以更好地定位的相互作用的对象与地面真理标签的情况下。在SYSU-3D、NTU 60 RGB+D、Northwestern-UCLA和UAV-Human数据集上的实验表明，该方法在人体动作识别方面取得了最好的效果，与现有的方法相比具有竞争力。可视化结果表明，我们的方法也可以提供合理的相互作用的对象定位结果。
2022-05-10 cs.CV
Scalable Temporal Localization of Sensitive Activities in Movies and TV Episodes
Amazon Prime Video（亚马逊Prime Video）
为了帮助客户做出更明智的观看选择，视频流媒体服务尝试调整其内容，并提供更多的可见性，以了解其电影和电视剧集的哪些部分包含适合年龄的材料（例如，裸体、性、暴力或吸毒）。定位这些敏感活动的监督模型需要大量的剪辑级标记数据，这是很难获得的，而弱监督模型通常不能提供有竞争力的准确性。为了应对这一挑战，我们提出了一种新的Coarse2Fine网络，旨在利用容易获得的视频级弱标签，结合稀疏的剪辑级标签的年龄适当的活动。我们的模型聚合帧级预测以进行视频级分类，因此能够利用稀疏剪辑级标签以及视频级标签。此外，通过以分层方式执行帧级预测，我们的方法能够克服由于年龄适当的内容的罕见性而引起的标签不平衡问题。我们使用来自521个子类型和250个国家的41，234部电影和电视剧（约3年的视频内容）对我们的方法进行了比较，使其成为迄今为止最大规模的实证分析。我们的方法提供了107.2%的相对mAP改善（从5.5%到11.4%），超过现有的最先进的活动本地化方法。
2022-06-16 cs.CV
HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Meta；MERL（三菱电机研究实验室）
本文提出HaLP模块，通过在潜在空间中生成难度可控的合成正样本，解决基于骨架的无监督动作识别中数据增强困难的问题，在多个基准测试中取得一致提升。
2023-04-01 cs.CV
Active Learning for GCN-based Action Recognition
Sorbonne University, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6）
本文提出了一种标记高效的GCN模型，通过对抗策略选择信息示例并改进网络架构，提升基于骨架的动作识别性能。
2025-11-26 cs.CV
Motion Semantics Guided Normalizing Flow for Privacy-Preserving Video Anomaly Detection
Tongji Univ.（同济大学）；SJTU（上海交通大学）；Shanghai Creative Studies Institute（上海创意研究院）；UBC（不列颠哥伦比亚大学）；Fudan Univ.（复旦大学）；Cardiff Univ.（卡迪夫大学）；DKU（杜克昆山大学）
本文提出MSG-Flow方法，通过分解骨架基视频异常检测任务，利用向量量化变分自编码器、自回归Transformer和条件归一化流，提升多层级运动语义建模能力，实现88.1%和75.8%的AUC性能。
2026-03-23 cs.CV
Sparse Semi-Supervised Action Recognition with Active Learning
University of Washington（华盛顿大学）
当前基于标签的动作识别方法是有监督的，并且依赖于标签。由于注释和错误标记数据所涉及的挑战，这种依赖限制了性能。已经引入了无监督的方法，但是，它们将序列组织成簇，并且仍然需要标签将簇与动作相关联。在本文中，我们提出了一种新的方法，为基于信标的动作识别，称为SESAR，连接这些方法。SESAR利用来自未标记数据和少数主动选择用于标记的序列的信息，将无监督训练与稀疏监督指导相结合。SESAR由两个主要组件组成，其中第一个组件通过编码器-解码器RNN学习未标记动作序列的潜在表示，该RNN重建序列，第二个组件执行主动学习以基于聚类和分类不确定性选择要标记的序列。当这两个组件同时在基于机器学习的动作序列上训练时，它们对应于一个鲁棒的动作识别系统，只有少数标记的样本。我们在具有多个序列和动作的常见数据集上评估我们的系统，例如NW UCLA，NTU RGB+D 60和UWA 3D。当应用于稀疏标记样本时，我们的结果优于独立的基于基于机器学习的监督，无监督的聚类识别和主动学习方法，低至1%的数据。
2020-12-07 cs.CV cs.LG
Human Action Recognition (HAR) Using Skeleton-based Spatial Temporal Relative Transformer Network: ST-RTR
Zhengzhou University（郑州大学）；Henan Xintong Intelligent IOT Co., Ltd.（河南信通智能物联网有限公司）；Beijing University of Chemical Technology（北京化工大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹王子大学）
针对ST-GCN感受野有限、难以捕捉动作长程关联的问题，提出含关节与中继节点的时空相对Transformer模型ST-RTR，结合融合模型在三个骨架动作识别基准上取得精度提升。
2024-11-01 cs.CV
Language-Assisted Human Part Motion Learning for Skeleton-Based Temporal Action Segmentation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳校区机器人学国家重点实验室）；e-Media Research Lab, KU Leuven（鲁汶大学电子媒体研究实验室）；Peng Cheng Laboratory（鹏城实验室）
本文提出语言辅助人体部位运动表示学习方法LPL，通过解耦部位运动编码和语言辅助分布对齐，在基于骨架的时间动作分割中实现部位级与全身级运动表示学习，并在多个数据集上取得最先进性能。
2024-10-08 cs.CV
Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）
图卷积网络将人体骨骼关节建模为顶点，并通过邻接矩阵连接它们，该邻接矩阵可以被视为局部注意力掩模。然而，在大多数现有的图卷积网络中，局部注意掩模是基于人体骨骼关节的自然连接来定义的，并且忽略了例如头、手和脚关节之间的动态关系。此外，注意力机制在自然语言处理和图像描述中也被证明是有效的，而在现有的方法中，注意机制的研究却很少。在这项工作中，我们提出了一个新的自适应空间注意力层，扩展局部注意力地图的基础上的相对距离和相对角度信息的全球。此外，我们设计了一个新的初始图邻接矩阵，连接头，手和脚，这表明在动作识别精度方面的明显改善。该模型在人类日常活动领域的两个大规模和具有挑战性的数据集上进行了评估：NTU-RGB+D和Kinetics骨架。结果表明，我们的模型在两个数据集上都具有很强的性能。
2022-07-12 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Skeleton Focused Human Activity Recognition in RGB Video
The Hong Kong Polytechnic University（香港理工大学）
数据驱动的方法学习视觉特征的最佳表示，如骨架帧或RGB视频，目前是活动识别的主要范例。虽然已经取得了很大的改进，从现有的单一模式的方法与越来越大的数据集，融合的各种数据模态在特征级很少尝试。在本文中，我们提出了一个多模态特征融合模型，利用骨架和RGB模态来推断人类活动。其目的是通过有效利用不同数据模态之间的互补信息来提高活动识别的准确性。对于骨架模态，我们建议使用图卷积子网络来学习骨架表示。而对于RGB模态，我们将使用RGB视频中的时空感兴趣区域，并从骨架模态中提取注意力特征来指导学习过程。该模型可以通过反向传播算法以端到端的方式单独或统一地训练。NTU-RGB+D和Northwestern-UCLA Multiview数据集的实验结果达到了最先进的性能，这表明所提出的针对RGB模态的基于子驱动的注意力机制增加了不同数据模态之间的相互通信，并为推断人类活动带来了更多的区分特征。
2020-04-29 cs.CV cs.LG eess.IV
YoloCurvSeg: You Only Label One Noisy Skeleton for Vessel-style Curvilinear Structure Segmentation
Southern University of Science and Technology（南方科技大学）；the University of Hong Kong（香港大学）；Jiaxing Research Institute, Southern University of Science and Technology（南方科技大学嘉兴研究院）
本文提出 YoloCurvSeg 稀疏标注分割框架，通过背景修复、空间殖民算法生成曲线及多层逐块对比学习合成数据，仅用一个带噪声骨架标注即可在四个血管/神经数据集上接近全监督性能。
2023-08-18 cs.CV eess.IV
Skeleton-Based Online Action Prediction Using Scale Selection Network
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
动作预测是指当一个正在进行的活动只有一部分被观察到时，识别出它的类标签。在本文中，我们专注于在线动作预测流3D骨架序列。通过在时间轴上的滑动窗口，引入了一个扩展的卷积网络来模拟时间维度上的运动动力学。由于在不同的时间步正在进行的动作的观察部分有显着的时间尺度变化，提出了一种新的窗口尺度选择方法，使我们的网络专注于正在进行的动作的执行部分，并试图抑制可能的传入干扰，从以前的动作在每一步。还提出了一种激活共享方案来处理相邻时间步之间的重叠计算，这使得我们的框架能够更有效地运行。此外，为了提高我们的框架与骨架输入数据的动作预测的性能，扩张树卷积的层次结构也被设计为学习在每个帧的骨架关节的多级结构化语义表示。我们提出的方法进行了评估，四个具有挑战性的数据集。大量的实验表明，我们的方法的有效性，基于神经网络的在线动作预测。
2019-04-03 cs.CV
Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM for Unsupervised Action Recognition
基于三维骨架数据的动作识别是近年来新兴的重要课题。大多数现有的方法要么提取手工制作的描述符，要么通过需要大量标记数据的监督学习范例来学习动作表示。在本文中，我们首次提出了一种名为AS-CAL的对比动作学习范式，它可以利用未标记骨架数据的不同增强来以无监督的方式学习动作表示。具体来说，我们首先提出了对比增强实例（查询和键）的输入骨架序列，这是由多个新的增强策略，学习不同的骨架变换的固有动作模式（“模式不变”）之间的相似性。其次，为了鼓励学习具有更一致动作表示的模式不变性，我们提出了一种动量LSTM，它被实现为基于LSTM的查询编码器的基于动量的移动平均，以编码键序列的长期动作动态。第三，我们引入了一个队列来存储编码的键，这使得我们的模型可以灵活地重用进行键，并建立一个更一致的字典，以提高对比学习。最后，通过对查询编码器学习到的隐藏动作状态进行时间平均，提出了一种新的动作表示方法--对比动作编码（CAE）。大量的实验表明，我们的方法通常可以将现有的手工方法提高10-50%的top-1准确率，并且可以实现与许多监督学习方法相当甚至更好的性能。
2021-04-02 cs.CV
Self-Supervised 3D Action Representation Learning with Skeleton Cloud Colorization
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；South China University of Technology（华南理工大学）
本文提出一种基于骨架云着色的自监督三维动作表示学习方法，通过双流网络学习多尺度时空特征，在多个数据集上显著优于现有无监督和半监督方法。
2023-10-16 cs.AI cs.CV
Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
大多数半监督的基于骨架的动作识别方法旨在仅在关节级别学习骨架动作表示，但忽略了粗粒度身体处的关键运动特征（例如，肢体、躯干）级别，提供丰富的附加语义信息，尽管标记数据的数量是有限的。在这项工作中，我们提出了一种新的金字塔自注意力聚合学习（简称PSP学习）框架，通过覆盖粗到细粒度的对比学习，联合学习包含丰富和互补语义信息的关节和运动数据的身体级，部件级和关节级动作表示。具体来说，为了补充骨架动作中从粗到细粒度的语义信息，我们设计了一种新的金字塔聚合注意力（PPA）机制，该机制首先计算身体级注意力图，部分级注意力图和关节级注意力图，并以逐层的方式聚合这些注意力图（即，从身体水平到部分水平，并且进一步到关节水平）。此外，我们提出了一个新的粗到细对比损失（CCL），包括身体水平的对比损失，部分水平的对比损失，关节水平的对比损失，共同衡量关节和运动数据的身体/部分/关节水平的对比特征之间的相似性。最后，在NTU RGB+D和North-Western UCLA数据集上进行了大量的实验，以证明所提出的PSP学习在半监督的基于动作的动作识别任务中的竞争性能。PSP Learning的源代码可在https://github.com/1xbq1/PSP-Learning上公开获取。
2023-02-05 cs.CV
SkelHCC: A Hyperbolic CLIP-Driven Cache Adaptation Framework for Skeleton-based One-Shot Action Recognition
University of Science and Technology of China（中国科学技术大学）
提出SkelHCC框架，利用双曲几何编码骨架层次结构，结合CLIP和免训练缓存实现一次动作识别，在三个数据集上达到最优。
2026-06-02 cs.CV
ELSA: Evaluating Localization of Social Activities in Urban Streets using Open-Vocabulary Detection
Hasso Plattner Institute (HPI)（哈索·普拉特纳研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；University of Illinios Chicago (UIC)（伊利诺伊大学芝加哥分校）
本文提出 ELSA 多标签街景社交活动检测基准，并结合 NLSE 与 DBA 评估 Grounding DINO 等模型的语义一致性和定位准确性。
2024-12-05 cs.CV
Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
最近，基于骨骼的动作识别取得了快速的进展和优越的性能。在这篇文章中，我们在跨数据集设置下研究这个问题，这在现实世界的场景中是一个新的，务实的，具有挑战性的任务。遵循无监督领域自适应（UDA）范例，动作标签仅在源数据集上可用，而在训练阶段在目标数据集上不可用。与传统的基于对抗学习的UDA方法不同，我们利用自我监督方案来减少两个基于动作的动作数据集之间的域转移。我们的灵感来自立体主义，这是一种来自20世纪初的艺术流派，它将物体分解和重新组装以传达更大的背景。通过分割和排列时间片段或人体部位，我们设计了两个自监督学习分类任务，以探索时间和空间依赖性的一个基于动作，提高模型的泛化能力。我们在六个数据集上进行了实验，以进行基于机器学习的动作识别，其中包括三个大规模数据集（NTU RGB+D，PKU-MMD和Kinetics），其中建立了新的跨数据集设置和基准。大量的结果表明，我们的方法优于国家的最先进的方法。我们的模型和所有比较方法的源代码可在https://github.com/shanice-l/st-cubism上获得。
2022-07-17 cs.CV
Graph-Jigsaw Conditioned Diffusion Model for Skeleton-based Video Anomaly Detection
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出轻量级框架GiCiSAD，通过图注意力预测、图级拼图生成和图条件扩散三个模块，在减少训练参数的同时提升骨架视频异常检测性能，成为新的最先进方法。
2024-08-31 cs.AI cs.CV
Tragedy Plus Time: Capturing Unintended Human Activities from Weakly-labeled Videos
Arizona State University（亚利桑那州立大学）
在包含无意执行的动作的视频中，代理无法实现其预期目标。在这样的视频中，计算机视觉系统很难理解目标导向行为等高级概念，这是人类从很小的时候就存在的一种能力。在人工智能代理中灌输这种能力将使它们能够在目的论的镜头下评估人类行为，从而使它们成为更好的社会学习者。为了验证深度学习模型执行此任务的能力，我们策划了基于Oops数据集的W-Oops数据集[15]。W-Oops由2,100个无意的人类动作视频组成，其中44个目标导向和30个无意的视频级活动标签通过人类注释收集。由于昂贵的段注释过程中，我们提出了一个弱监督的算法定位的目标导向以及无意的时间区域的视频利用单独的视频级标签。特别是，我们采用了一个基于注意力机制的策略，预测的时间区域，最有助于分类任务。同时，我们设计的重叠正则化允许模型专注于视频的不同部分，以推断目标导向和无意的活动，同时保证它们的时间顺序。大量的定量实验验证了我们的定位方法的有效性。我们进一步进行了一个视频描述的实验，这表明，建议的本地化模块确实有助于目的论的行动理解。
2022-04-28 cs.CV
Multi-Modality Co-Learning for Efficient Skeleton-based Action Recognition
State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）；Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
针对基于骨架的动作识别性能受限、现有多模态方法推理效率低的问题，提出MMCL框架，训练时用多模态LLMs辅助协同学习，推理仅用骨架，在多个基准上取得更优性能且泛化性良好。
2024-08-15 cs.CV
A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation
Nankai University（南开大学）；Tianjin University（天津大学）
针对骨骼动作分割中时空耦合建模导致的长序列过度平滑与关节差异被忽略问题，本文提出DeST框架，通过分组自适应交互和关节独立时间建模提升性能并降低计算复杂度。
2023-12-10 cs.CV
Matching Skeleton-based Activity Representations with Heterogeneous Signals for HAR
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对人体活动识别现有文本表征的局限性，提出基于骨架预训练活动表征的SKELAR框架，构建三模态同步数据集MASD，在全样本和小样本场景下均实现最优性能。
2025-03-17 cs.CV cs.LG
