HOPC: Histogram of Oriented Principal Components of 3D Pointclouds for Action Recognition
The University of Western Australia（西澳大学）
用于3D动作识别的现有技术对视点变化敏感，因为它们从随视点显著变化的深度图像中提取特征。相比之下，我们直接处理点云，并提出了一种新的技术，用于动作识别，这是更强大的噪声，动作速度和视点变化。我们的技术包括一个新的描述符和关键点检测算法。所提出的描述符提取在一个点通过编码的直方图的定向主成分（HOPC）内的自适应时空支持体积周围的点。基于该描述子，我们提出了一种新的方法来检测时空关键点（STKPs）的三维点云序列。实验结果表明，所提出的描述符和STKP检测器优于国家的最先进的算法在三个基准人体活动数据集。我们还介绍了一个新的多视图公共数据集，并显示我们提出的方法的鲁棒性的观点变化。
2014-09-22 cs.CV
Synthetic Humans for Action Recognition from Unseen Viewpoints
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（法国国家科学研究中心、古斯塔夫·埃菲尔大学、巴黎桥路学院、LIGM实验室）；Inria（法国国家信息与自动化研究所）；University of Oxford（牛津大学）
虽然合成的训练数据已被证明是有益的任务，如人体姿态估计，其使用RGB人体动作识别是相对未开发的。我们在这项工作中的目标是回答合成人是否可以提高人类动作识别的性能的问题，特别关注对看不见的观点的泛化。我们利用最新的进展，单目3D人体重建从真实的动作序列，自动渲染合成训练视频的动作标签。我们做了以下贡献：（一）我们调查的变化和增强，有利于提高性能在新的观点的程度。我们考虑个人的体型和服装的变化，以及更多的动作相关的增强，如非均匀帧采样，和执行相同动作的个人的运动之间的插值;（ii）我们引入了一种新的数据生成方法，SURREACT，允许训练时空CNN动作分类;（iii）我们在NTU RGB+D和UESTC标准人体动作多视图基准上大幅提高了最先进的动作识别性能;最后，（iv）我们将增强方法扩展到来自Kinetics数据集子集的野外视频，以研究只有一次性训练数据可用的情况，并在这个案例中展示了改进。
2021-05-23 cs.CV
A Multi-viewpoint Outdoor Dataset for Human Action Recognition
深度神经网络的进步为许多计算机视觉问题（如物体识别、人脸识别和姿态估计）带来了近乎完美的结果。然而，人类动作识别距离人类水平的性能还很远。由于人体的铰接性质，从多个视点，特别是从空中视点检测动作是具有挑战性的。由于缺乏涵盖多种行动观点的数据集，这一问题更加严重。为了填补这一空白，并使研究能够在更广泛的应用领域，我们提出了一个多视点户外动作识别数据集收集从YouTube和我们自己的无人机。该数据集由20个动态人体动作类，2324个视频片段和503086帧组成。所有视频都被裁剪和调整为720x720，而不会扭曲视频中人类主体的原始长宽比。这个数据集应该是有用的许多研究领域，包括行动识别，监视和态势感知。我们评估了数据集与双流CNN架构，再加上最近提出的时间池方案称为核化秩池，产生非线性特征子空间表示。整体基线动作识别准确率为74.0%。
2021-10-07 cs.CV cs.LG
Histogram of Oriented Principal Components for Cross-View Action Recognition
The University of Western Australia（西澳大利亚大学）
用于3D动作识别的现有技术对视点变化敏感，因为它们从视点相关的深度图像中提取特征。相比之下，我们直接处理点云，从未知和看不见的视图中识别跨视图动作。我们提出了方向主成分直方图（HOPC）描述符，是强大的噪声，观点，规模和动作速度的变化。在一个3D点，HOPC计算通过投影的三个缩放特征向量的点云在其本地时空支持体积到一个正十二面体的顶点。HOPC还用于检测3D点云序列中的时空关键点（STK），以便仅将这些关键位置处的视图不变STK描述符（或局部HOPC描述符）用于动作识别。我们还提出了一个全局描述符计算从归一化时空分布的STK在4-D，我们称之为STK-D。我们已经评估了我们提出的描述符对现有的九种技术在两个交叉视图和三个单视图人类动作识别数据集的性能。实验结果表明，我们的技术提供了显着的改进，国家的最先进的方法。
2015-09-03 cs.CV
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia（微软亚洲研究院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
基于骨骼的人体动作识别近年来受到越来越多的关注，由于3D骨架数据的普及。一个主要的挑战在于捕捉的人类动作中的大视图变化。我们提出了一种新的视图自适应方案，自动调节观察的观点，在发生的行动。我们设计了一个具有LSTM架构的视图自适应递归神经网络（RNN），而不是基于人类定义的先验标准重新定位骨架，这使得网络本身能够从端到端适应最合适的观察视点。大量的实验分析表明，所提出的视图自适应RNN模型致力于（1）将各种视图的骨架转换为更一致的视点，（2）保持动作的连续性，而不是将每个帧转换到具有相同身体方向的相同位置。我们的模型在三个基准数据集上实现了对最先进方法的显着改进。
2017-08-04 cs.CV
Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action Recognition
Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
我们提出了一个少样本学习管道的联合tEmporal和cAmera的视点算法（JEANIE）的三维基于动作的动作识别。为了排除查询和支持序列之间的3D身体关节的不对齐，我们提出了一个先进的动态时间规整的变种，它联合建模查询和支持帧之间的每个平滑路径，同时实现最佳的对齐时间和模拟相机的视点空间有限的Few-Shot训练数据下的端到端学习。基于简单谱图卷积（一种轻量级线性图神经网络骨干）的时间块编码器对序列进行编码。我们还包括一个带有Transformer的设置。最后，我们提出了一个基于相似性的损失，鼓励对齐的序列相同的类，同时防止不相关的序列的对齐。我们展示了NTU-60，NTU-120，Kinetics骨架和UWA 3D Multiview Activity II的最新结果。
2022-10-30 cs.AI cs.CV cs.LG
DMMG: Dual Min-Max Games for Self-Supervised Skeleton-Based Action Recognition
University of Technology Sydney（悉尼科技大学）；University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了一个新的双最小最大游戏（DMMG）的自监督骨架动作识别方法，通过增加未标记的数据在对比学习框架。我们的DMMG由一个观点变化的最小-最大博弈和边扰动的最小-最大博弈。这两个最小-最大游戏采用对抗范式，分别对骨架序列和图形结构的身体关节执行数据增强。我们的观点变化最小最大游戏的重点是构建各种硬对比对生成骨架序列从不同的观点。这些硬对比对帮助我们的模型学习代表性动作特征，从而促进模型向下游任务的转移。此外，我们的边扰动最小-最大游戏专门通过扰动基于图的身体关节之间的连接强度来构建不同的硬对比样本。连接强度变化对比对使得模型能够捕获不同动作的最小的足够信息，诸如动作的代表性手势，同时防止模型过拟合。通过充分利用所提出的DMMG，我们可以生成足够的具有挑战性的对比对，从而以自监督的方式从未标记的骨架数据中实现有区别的动作特征表示。大量的实验表明，我们的方法在广泛使用的NTU-RGB+D和NTU 120-RGB+D数据集上的各种评估协议下取得了优异的结果。
2023-02-22 cs.CV
A Large-scale Varying-view RGB-D Action Dataset for Arbitrary-view Human Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
目前的动作识别研究主要集中在单视角和多视角的动作识别上，难以满足人机交互（HRI）应用对任意视角动作识别的需求。数据集的缺乏也设置了障碍。为了为任意视角动作识别提供数据，我们新收集了一个用于任意视角动作分析的大规模RGB-D动作数据集，包括RGB视频，深度和骨架序列。该数据集包括在8个固定视点和覆盖整个360度视角的变化视图序列中捕获的动作样本。总共邀请了118人表演40个动作类别，收集了25，600个视频样本。我们的数据集涉及更多的参与者，更多的观点和大量的样本。更重要的是，它是第一个包含整个360度可变视图序列的数据集。该数据集为多视图、跨视图和任意视图的动作分析提供了充足的数据。此外，我们提出了一个视图引导骨架CNN（VS-CNN）来解决任意视图动作识别问题。实验结果表明，VS-CNN具有优越的性能。
2019-04-24 cs.CV
GTAutoAct: An Automatic Datasets Generation Framework Based on Game Engine Redevelopment for Action Recognition
The University of Tokyo（东京大学）
针对现有动作识别数据集的诸多缺陷，提出基于游戏引擎的GTAutoAct自动数据集生成框架，通过旋转表示转换、序列插值等技术生成高质量标注数据，可有效助力动作识别模型训练。
2024-01-24 cs.CV
Towards Real-Time Action Recognition on Mobile Devices Using Deep Models
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
动作识别是计算机视觉中的一项重要任务，人们提出了许多方法来将其推向极限。然而，目前的动作识别模型具有巨大的计算成本，无法部署到移动设备上的真实任务。在本文中，我们首先说明了设置的实时的【形】动作识别，这是不同于目前的动作识别推理设置。在新的推理设置下，我们根据经验研究了Kinetics数据集上最先进的动作识别模型。我们的研究结果表明，设计高效实时的【形】动作识别模型与设计高效的ImageNet模型是不同的，特别是在权重初始化方面。我们证明了ImageNet上的预训练权重在实时的【形】动作识别设置下提高了准确性。最后，我们使用手势识别任务作为案例研究，以评估我们的紧凑的实时的【形】动作识别模型在手机上的实际应用。结果表明，我们的动作识别模型，是6倍的速度和与国家的最先进的类似的准确性，可以大致满足移动设备上的实时的【形】要求。据我们所知，这是第一篇在移动设备上部署当前深度学习动作识别模型的论文。
2019-06-17 cs.CV
Precondition and Effect Reasoning for Action Recognition
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
人体动作识别由于其重要的研究意义和应用价值，近年来受到了广泛的关注。现有的动作识别研究主要集中在从视频中学习有效的时空特征，而忽略了动作识别的前提、动作和效果之间的因果关系。这种关系对于动作识别的准确性也至关重要。在本文中，我们提出的因果关系模型的基础上的先决条件和效果，以提高动作识别的性能。具体来说，循环推理模型，提出了捕获的因果关系的动作识别。为此，我们为一个大规模的动作数据集标注了前提条件和效果。实验结果表明，提出的循环推理模型能有效地对动作的前提条件和效果进行推理，提高了动作识别的性能。
2022-11-13 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
On the Integration of Optical Flow and Action Recognition
Facebook（脸书）；Zhejiang University（浙江大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；NVIDIA（英伟达）
大多数性能最好的动作识别方法使用光流作为“黑匣子”输入。在这里，我们将更深入地研究流和动作识别的结合，并研究为什么光流是有用的，是什么使流方法适合动作识别，以及我们如何使它更好。特别是，我们研究了不同的流算法和输入转换的影响，以更好地了解这些如何影响最先进的动作识别方法。此外，我们在最广泛使用的动作识别数据集（UCF 101）上对两种神经网络流方法进行了端到端的微调。基于这些实验，我们得出以下五点结论：1）光流对于动作识别是有用的，因为它对外观是不变的，2）光流方法被优化以最小化端点误差（EPE），但是当前方法的EPE与动作识别性能没有很好的相关性，3）对于所测试的流方法，边界处和小位移处的精度与动作识别性能最相关，4）训练光流以最小化分类误差而不是最小化EPE提高了识别性能，以及5）为动作识别任务学习的光流不同于传统的光流，尤其是在人体内部和身体的边界处。这些观察结果可能会鼓励光流研究人员将EPE作为目标，并指导动作识别研究人员寻求更好的运动线索，从而使光流和动作识别社区更紧密地结合在一起。
2017-12-22 cs.CV
Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition
University of Oxford（牛津大学）；City University of Hong Kong（香港城市大学）；University of Glasgow（格拉斯哥大学）；Durham University（杜伦大学）
本文提出FoCoViL框架，通过最大化多视角样本对之间的对比损失互信息来学习视角不变的骨架动作表示，并引入自适应聚焦化方法增强聚类边界，在无监督和有监督分类器上均表现优异。
2023-04-03 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Allen Institute for AI（艾伦人工智能研究所）；Comcast Labs, DC（康卡斯特实验室（华盛顿特区））
即使卷积神经网络（CNN）在各种视觉识别任务中的最新进展，最先进的动作识别系统仍然依赖于手工制作的运动特征（诸如光流）来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet，直接从原始像素训练单流网络，以联合估计光流，同时用卷积神经网络识别动作，在单个模型中捕获外观和运动。此外，我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比，我们的模型显著提高了动作识别的准确性，提高了31%。在没有对大型外部标记数据集进行预训练的情况下，我们的模型通过充分利用运动信息，实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
Literature Review of Action Recognition in the Wild
University of Alberta（阿尔伯塔大学）
下面介绍的关于野外动作识别的文献综述是对研究论文的深入研究。未修剪视频中的动作识别问题是一项具有挑战性的任务，大多数论文都使用具有浅层学习技术和复杂的端到端深度学习技术的手工特征来解决这个问题。
2019-11-27 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Diffusion-Based Action Recognition Generalizes to Untrained Domains
California Institute of Technology（加州理工学院）
本文提出利用视觉扩散模型生成特征并经Transformer聚合，通过早期时间步条件突出语义信息，在跨物种、跨视角和跨情境三个动作识别泛化基准上均取得最优结果。
2025-09-22 cs.CV
One-shot action recognition in challenging therapy scenarios
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（Bitbrain技术公司）；Politecnico di Milano（米兰理工大学）
单次动作识别旨在从单个参考示例（通常称为锚示例）中识别新的动作类别。这项工作提出了一种新的方法，一次性动作识别在野外计算运动表示鲁棒可变的运动条件。然后通过评估锚和目标运动表示来执行一次性动作识别。我们还开发了一组补充步骤，以提高在最具挑战性的场景中的动作识别性能。我们的方法是在公共NTU-120一次性动作识别基准上进行评估的，优于以前的动作识别模型。此外，我们评估我们的框架上的一个真正的用例治疗自闭症的人。由于患者运动的高水平伪影，这些记录特别具有挑战性。我们的研究结果不仅提供了定量，而且还提供了在线定性测量，这对于实际治疗期间的患者评估和监测至关重要。
2021-07-29 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
A Comparative Review of Recent Kinect-based Action Recognition Algorithms
Australian National University (ANU)（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；University of Western Australia (UWA)（西澳大利亚大学）
基于视频的人体动作识别是当前计算机视觉中最活跃的研究领域之一。各种研究表明，动作识别的性能在很大程度上取决于提取的特征类型以及动作的表示方式。自Kinect相机发布以来，大量基于Kinect的人体动作识别技术已在文献中提出。然而，在特征类型的分组下，仍然不存在这些基于Kinect的技术的彻底比较，例如手工制作与深度学习特征以及基于深度与基于机器学习的特征。在本文中，我们分析和比较十个最近的基于Kinect的算法，跨学科的动作识别和跨视图动作识别使用六个基准数据集。此外，我们已经实现并改进了其中的一些技术，并将其变体纳入比较中。我们的实验表明，大多数方法在跨主题动作识别上比跨视图动作识别表现更好，基于深度的特征比基于深度的特征对跨视图识别更鲁棒，并且深度学习特征适用于大数据集。
2019-06-24 cs.CV
Spatial-Temporal Alignment Network for Action Recognition and Detection
Carnegie Mellon University（卡内基梅隆大学）；Google Cloud AI（谷歌云人工智能）
本文研究了如何引入视点不变的特征表示，可以帮助动作识别和检测。尽管在过去的十年里，我们见证了动作识别的巨大进步，但如何有效地对大规模数据集的几何变化进行建模仍然是一个具有挑战性和有趣的问题。本文提出了一种新的时空对齐网络（STAN），旨在学习几何不变表示的动作识别和动作检测。STAN模型是非常轻量级和通用的，可以插入到现有的动作识别模型中，如ResNet 3D和SlowFast，额外的计算成本非常低。我们在AVA，Kinetics-400，AVA-Kinetics，Charades和Charades-Ego数据集上广泛测试了我们的STAN模型。实验结果表明，STAN模型在动作检测和动作识别任务中都能持续提高技术水平。我们将发布我们的数据、模型和代码。
2020-12-04 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences（中国地质大学）；University of Wollongong（卧龙岗大学）
与传统的基于视频片段的动作识别不同，在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作，并采用一种新的加权协方差描述子来积累证据。特别是，一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则：过去的帧对识别的贡献较小，最近的和有信息的帧（如关键帧）对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute of CUHK（香港中文大学汤申机器人研究所）
学习良好的3D人体姿态表示对于人体姿态相关任务（例如，人体3D姿态估计和动作识别）是重要的。在所有这些问题中，保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中，我们提出了一种新的Siamese去噪自动编码器，通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性，本文进一步提出了一种序列双向递归网络（SeBiReNet）来对人体骨骼数据进行建模。大量的实验表明，学习的表示1）保留了人体姿势的内在信息，2）显示出良好的跨数据集和任务的可移植性。值得注意的是，我们的方法在两个本质上不同的任务上实现了最先进的性能：姿态去噪和无监督动作识别。代码和型号可从以下网址获得：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Action Selection Learning for Multi-label Multi-view Action Recognition
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
本文提出MultiASL方法，通过多视角时空Transformer和基于弱标签的动作选择学习，在帧级别筛选关键信息以增强多视角融合，并在MM-Office数据集上验证了其在多标签多视角动作识别中的优越性能。
2024-10-18 cs.CV
Cross-view Action Recognition via Contrastive View-invariant Representation
Northeastern University（东北大学）
针对跨视角动作识别中动作外观随视角变化大、新视角训练数据难获取的问题，提出一种可从RGB视频、3D骨架或多模态数据学习不变特征的高效框架，在多个基准数据集上性能超越现有最优水平。
2023-05-02 cs.CV
PYSKL: Towards Good Practices for Skeleton Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们介绍PYSKL：一个基于PyTorch的基于动作识别的开源工具箱。该工具箱支持各种骨架动作识别算法，包括基于GCN和CNN的方法。与现有的开源骨架动作识别项目只包含一两种算法不同，PYSKL在统一的框架下实现了六种不同的算法，同时采用了最新和原创的良好实践，以便于比较功效和效率。我们还提供了一个原始的基于GCN的骨架动作识别模型，名为ST-GCN++，它实现了竞争性的识别性能，没有任何复杂的注意力计划，作为一个强大的基线。与此同时，PYSKL支持九个基于动作识别基准的训练和测试，并在其中八个基准上实现了最先进的识别性能。为了便于将来对骨架动作识别的研究，我们还提供了大量的训练模型和详细的基准测试结果，以提供一些见解。PYSKL在https://github.com/kennymckormick/pyskl上发布，并得到积极维护。我们将在添加新功能或基准时更新此报告。当前版本对应于PYSKL v0.2。
2022-05-19 cs.CV
Improving Human Action Recognition by Non-action Classification
Stony Brook University（石溪大学）
在本文中，我们认为，在现实的视频中，人类的行动是由不相关的因素占主导地位的识别人类的行动的任务。我们首先研究删除非动作视频片段的好处，这些片段不描绘任何人类动作。然后，我们学习一个非动作分类器，并使用它来降低不相关视频片段的权重。非动作分类器是使用NATIONAL Thread训练的，NATIONAL Thread是一个具有镜头级注释的数据集，用于人类动作的发生或不发生。非动作分类器可用于以高精度识别非动作镜头，并随后用于提高动作识别系统的性能。
2016-04-22 cs.CV
Review of Action Recognition and Detection Methods
York University（约克大学）
在计算机视觉中，动作识别是指对给定视频中存在的动作进行分类的动作，而动作检测涉及在空间和/或时间中定位感兴趣的动作。在网格结构中包含光度信息（例如RGB、强度值）的视频包含可以帮助识别已经成像的动作的信息。动作识别和检测的过程通常从提取有用的特征并对其进行编码开始，以确保特征是特定的，以服务于动作识别和检测的任务。然后通过分类器处理编码特征以识别动作类及其空间和/或时间位置。在这份报告中，通过分析一个典型的动作识别和检测算法的两个步骤：（i）特征的提取和编码，以及（ii）将特征分类为动作类，对计算机视觉中的各种动作识别和检测算法进行了全面的回顾。在努力确保计算机视觉为基础的算法达到的能力，人类有识别的行动，而不管各种滋扰变量，可能存在的视野内，国家的最先进的方法进行审查，并在最后一章中解决了一些剩余的问题。
2016-11-01 cs.CV
Analysis and Evaluation of Kinect-based Action Recognition Algorithms
The University of Western Australia（西澳大利亚大学）
本文分析评估了HON4D、HOPC、RBD和HDG四种基于Kinect的动作识别算法，并改进HDG算法，在跨视角动作识别中取得优于其他三种先进方法的效果。
2024-06-07 cs.CV
Cross-view Action Modeling, Learning and Recognition
Northwestern University（西北大学）；University of California at Los Angles（加州大学洛杉矶分校）
现有的基于视频的动作识别方法通常是依赖于视图的，即，从训练数据中看到的相同视图执行识别。提出了一种新的多视点时空与或图（MST-AOG）表示方法，用于跨视点动作识别，对来自未知和不可见视图的视频执行识别。作为一种组合模型，MST-AOG组合模型通过明确地建模几何、外观和运动变化来表示跨视图动作的层次组合结构。本文提出了有效的方法来学习MST-AOG的结构和参数。基于MST-AOG的推理使动作识别从新的角度。MST-AOG的训练利用了从Kinect摄像机获得的3D人体骨架数据，以避免注释大量的多视图视频帧，这是容易出错和耗时的，但识别不需要3D信息，并且基于2D视频输入。一个新的多视图3D数据集已经创建并将发布。大量的实验表明，这种新的动作表示显着提高了2D视频上的跨视图动作识别的准确性和鲁棒性。
2014-05-12 cs.CV
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal（蒙特利尔综合理工学院）
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来，HAR取得了重大进展，特别是随着深度学习模型的出现。然而，大多数现有的方法动作识别依赖于信息，并不总是相关的这项任务，并限制了他们融合的时间信息的方式。在本文中，我们提出了一种新的人类动作识别方法，有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能，到一个新的紧凑的网格表示。我们的GRAR（基于网格的动作识别表示）方法在几个基准数据集上进行了测试，证明我们的模型可以准确地识别人类动作，尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
Human Action Recognition and Prediction: A Survey
B. Thomas Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院B. Thomas Golisano计算与信息科学学院）；Department of ECE and College of CIS, Northeastern University（东北大学电气与计算机工程系及计算与信息科学学院）
由于计算机视觉和机器学习的快速发展，视频分析任务已经从推断当前状态转移到预测未来状态。基于视觉的动作识别和预测是这样的任务，其中动作识别是基于完整的动作执行来推断人类动作（当前状态），并且动作预测是基于不完整的动作执行来预测人类动作（未来状态）。这两个任务已经成为特别流行的话题，最近，因为他们的爆炸性新兴的现实世界中的应用，如视觉监控，自动驾驶汽车，娱乐，视频检索等，在过去的几十年里，许多人都致力于建立一个强大的和有效的框架，动作识别和预测。在本文中，我们调查了完整的国家的最先进的技术在行动识别和预测。现有的模型，流行的算法，技术难点，流行的行动数据库，评估协议，并提供了有前途的未来方向进行了系统的讨论。
2022-02-13 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology（哈尔滨工业大学）
人类动作识别是一个非常重要的研究领域，大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入，以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集，并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说，所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络，以提取人体运动之间的共同特征。然后，我们冻结除了全连接（FC）层之外的网络权重，并将太极动作作为输入，仅训练初始化的FC权重。实验结果表明，我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别，即使是很少的输入，并证明我们的方法达到了国家的最先进的性能相比，以前的太极动作识别方法。
2022-06-30 cs.CV
Domain and View-point Agnostic Hand Action Recognition
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特脑科技）
手部动作识别是动作识别的一种特殊情况，在人机交互、虚拟现实或生命记录系统中有着广泛的应用。构建能够为这种异构动作域工作的动作分类器是非常具有挑战性的。在给定应用程序的不同操作之间存在非常微妙的变化，但在不同领域之间也存在很大的变化（例如，虚拟现实与生活日志）。这项工作介绍了一种新的基于机器人的手部运动表示模型，解决了这个问题。我们提出的框架是不可知的应用领域或摄像机记录的观点。当工作在一个单一的域（域内动作分类），我们的方法执行更好或类似于目前的最先进的方法，在众所周知的手动作识别基准。而且，更重要的是，当对我们的方法尚未训练的动作域和相机视角进行手部动作识别（跨域动作分类）时，我们提出的框架实现了与域内最先进方法相当的性能。这些实验表明，我们的框架的鲁棒性和泛化能力。
2021-10-07 cs.CV
Event-based Action Recognition Using Timestamp Image Encoding Network
ANU（澳大利亚国立大学）
事件摄像机是一种异步、高频、低功耗的视觉传感器，适合于人体动作识别任务。对事件数据的时空信息进行适当的编码，并使用标准的计算机视觉工具从数据中进行学习是至关重要的。在这项工作中，我们提出了一个时间戳图像编码的2D网络，它采取编码的时空图像的事件数据作为输入和输出的动作标签。实验结果表明，该方法在真实世界的动作识别上可以达到与基于RGB的基准测试相同的性能水平，并且在手势识别上也达到了SOTA的结果。
2020-09-28 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X（腾讯Robotics X）
尽管在动作识别任务中取得了显着的进展，但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点，提出了一种面向注意力的多级网络框架，以满足实时的【形】交互需求。具体地说，一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率，然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入，利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法，我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台（Nvidia Jetson AGX Xavier）上对我们的数据集和高效率（在640 x 480 RGBD下为112 fps）的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
HAA4D: Few-Shot Human Atomic Action Recognition via 3D Spatio-Temporal Skeletal Alignment
The Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）
人类动作涉及复杂的姿势变化，并且其2D投影可能非常模糊。因此，3D时空或4D（即，3D+T）人体骨架是光度和视点不变的，是2D+T骨架/像素的一个很好的替代方案，可以提高动作识别的准确性。本文提出了一个新的4D数据集HAA 4D，它由300个人体原子动作类中的3,300多个RGB视频组成。HAA 4D是干净的，多样的，类平衡的，其中每个类都使用4D骨架进行视点平衡，其中每个类只需一个4D骨架就足以训练深度识别模型。此外，原子操作的选择使得注释更加容易，因为每个视频剪辑仅持续几秒钟。HAA 4D中的所有训练和测试3D骨架都是全局对齐的，使用深度对齐模型到相同的全局空间，使每个骨架都面向负z方向。这种对齐通过减少类内变化使匹配骨架更稳定，因此每个类需要更少的动作识别训练样本。考虑到HAA 4D中的高多样性和骨架对齐，我们构建了第一个基线Few-Shot 4D人类原子动作识别网络，没有铃铛和哨子，它产生了与依赖于嵌入式空间编码的相关最先进技术相当或更高的性能，而没有明确的骨架对齐，使用相同的少量训练样本。
2022-02-15 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务，用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝（RGB）输入视频的人体动作识别系统，并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上，增加了采样模块和归一化模块，提高了模型的性能，从而实现了对人体动作的识别。此外，我们建立了一个新的数据集，具有类似的背景和歧视性的行动，人类关键点预测和行为识别。为了获得更好的结果，我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb（萨格勒布大学）；Graz University of Technology（格拉茨技术大学）
本文提出了结合时空外观（STA）描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符，适用于构建任意时空现象的部分表示。由于迭代细化的可能性，它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别，使用两种不同的算法计算流量：Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明，我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology（香港科技大学）；Kauishou（快手）
尽管已经取得了很好的进展，但动作识别的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集很难扩展新的动作类。此外，时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题，我们专注于原子动作，并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入，松散的动作对齐，多头特征比较，和基于注意力的聚合，这使得动作识别只有几个训练样本，通过提取更具代表性的功能，并允许灵活的空间和时间的对齐和动作的变化。实验表明，我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；Caltech（加州理工学院）；University of Delaware（特拉华大学）
我们引入了一种新的表示学习方法，从2D人体姿势中分离出姿势相关和视角相关的因素。该方法使用交叉视图互信息最大化（CV-MIM）来训练网络，该交叉视图互信息最大化（CV-MIM）以对比学习方式最大化从不同视点执行的相同姿态的互信息。我们还提出了两个正则化项，以确保学习表示的解纠缠和平滑。所得到的姿势表示可以用于跨视图动作识别。为了评估所学习的表示的能力，除了传统的全监督动作识别设置之外，我们还引入了一种称为单镜头交叉视图动作识别的新任务。该任务仅从一个视点训练模型的动作，而从所有可能的视点捕获的姿势对模型进行评估。我们评估了标准基准动作识别的学习表示，并表明：（i）CV-MIM执行竞争力相比，国家的最先进的模型在全监督的情况下;（ii）CV-MIM优于其他竞争方法的大幅度在单镜头交叉视图设置;（iii）并且当减少监督训练数据的量时，所学习的表示可以显著提高性能。我们的代码可在https://github.com/google-research/google-research/tree/master/poem上公开获取
2021-03-26 cs.CV
Spatio-temporal Action Recognition: A Survey
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
动作识别或动作检测的任务涉及分析视频并确定正在执行的动作或运动。这些视频的主要主题主要是人类执行某些动作。然而，这一要求可以放宽，以推广到其他主题，如动物或机器人。应用程序的范围可以从人机交互到自动视频编辑建议之间的任何地方。当我们考虑时空动作识别时，我们处理动作定位。该任务不仅涉及确定正在执行什么动作，而且还涉及在所述视频中何时何地执行该动作。本文旨在调查试图解决这一任务的方法和算法，对它们进行全面的比较，探索可用于该问题的各种数据集，并确定最有前途的方法。
2019-01-27 cs.CV
Histogram of Oriented Depth Gradients for Action Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；Laboratoire LIG（格勒诺布尔信息学实验室）
在本文中，我们报告的实验与使用本地措施的深度运动的视觉动作识别从MPEG编码的RGBD视频序列。我们表明，这些措施可以结合本地时空视频描述符的外观提供一个计算效率高的方法识别的行动。Fisher向量用于编码深度描述符并将其与现有RGB局部描述符连接。然后，我们采用了线性SVM识别操纵动作使用这样的向量。我们评估这些措施的有效性，通过比较最先进的使用两个最近的数据集在厨房环境中的动作识别。
2018-01-29 cs.CV
A Training Method For VideoPose3D With Ideology of Action Recognition
Zhejiang University – University of Illinois at Urbana-Champaign Institute, ZJUI（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI））
视频中的动作识别和姿态估计与理解人体运动密切相关，但更多的文献集中在如何从动作识别中单独解决姿态估计任务。该研究为VideoPose3D提供了一种基于动作识别的更快速、更灵活的训练方法。该模型被馈送与将被估计的类型相同类型的动作，并且可以单独训练不同类型的动作。有证据表明，对于常见的姿态估计任务，该模型需要相对少量的数据来执行与原始研究相似的结果，对于面向动作的任务，它比原始研究高出4.5%，而MPJPE的速度误差的感受野大小和训练时期有限。该模型可以处理面向动作和常见的姿态估计问题。
2022-06-13 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition
The University of Western Australia（西澳大利亚大学）
我们提出了人体姿态模型，表示RGB和深度图像的人体构成独立的服装纹理，背景，照明条件，身体形状和相机的观点。学习这种通用模型需要训练图像，其中所有因素都因每个人的姿势而异。获取此类数据的成本高得令人望而却步。因此，我们开发了一个综合训练数据的框架。首先，我们从一个大的语料库的真实运动捕获的人体骨架数据学习代表性的人体姿势。接下来，我们将具有不同体型的合成3D人类适合每个姿势，并从180个相机视点渲染每个姿势，同时随机改变服装纹理，背景和照明。采用生成对抗网络来最小化合成图像分布与真实图像分布之间的差距。然后学习CNN模型，将人体姿势转移到共享的高级不变空间。然后将学习的CNN模型用作来自人类动作视频的真实RGB和深度帧的不变特征提取器，并且通过傅立叶时间金字塔对时间变化进行建模。最后，使用线性SVM进行分类。在三个基准交叉视图人体动作数据集上的实验表明，该算法在RGB和RGB-D动作识别方面明显优于现有方法。
2018-05-01 cs.CV
Spatial-Temporal Alignment Network for Action Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对动作识别中几何变化处理难题，提出轻量通用的时空对齐网络STAN，可低代价嵌入现有模型，在常用数据集上验证了其能持续提升从头训练的SOTA模型性能。
2023-08-19 cs.CV
Evidential Deep Learning for Open Set Action Recognition
Rochester Institute of Technology（罗切斯特理工学院）
在现实世界的场景中，人类的动作通常不在训练数据的分布范围内，这需要一个模型来识别已知的动作并拒绝未知的动作。与图像数据不同，由于人类动作的不确定性和静态偏差，在开集环境下识别视频动作更具挑战性。在本文中，我们提出了一种深度证据动作识别（DEAR）方法来识别开放测试集中的动作。具体来说，我们从证据深度学习（EDL）的角度来阐述动作识别问题，并提出了一种新的模型校准方法来规范EDL训练。此外，为了减轻视频表示的静态偏差，我们提出了一个即插即用模块，通过对比学习来消除学习表示的偏差。实验结果表明，我们的DEAR方法在多个主流动作识别模型和基准测试中获得了一致的性能增益。代码和预训练模型可在{ \small{\url{https://www.rit.edu/actionlab/dear}} }上获得。
2021-08-18 cs.CV
Action Recognition in Video Recordings from Gynecologic Laparoscopy
Klagenfurt University（克拉根福大学）；University of Bern（伯尔尼大学）；Medical University Vienna（维也纳医科大学）
本文针对妇科腹腔镜视频中动作识别的时长变化、内容失真和场景变化等挑战，提出CNN-RNN架构及定制训练-推理框架，利用帧间依赖和帧采样策略实现高时间分辨率动作识别，实验证明其优于静态CNN。
2023-11-30 cs.CV
