Precondition and Effect Reasoning for Action Recognition
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
人体动作识别由于其重要的研究意义和应用价值，近年来受到了广泛的关注。现有的动作识别研究主要集中在从视频中学习有效的时空特征，而忽略了动作识别的前提、动作和效果之间的因果关系。这种关系对于动作识别的准确性也至关重要。在本文中，我们提出的因果关系模型的基础上的先决条件和效果，以提高动作识别的性能。具体来说，循环推理模型，提出了捕获的因果关系的动作识别。为此，我们为一个大规模的动作数据集标注了前提条件和效果。实验结果表明，提出的循环推理模型能有效地对动作的前提条件和效果进行推理，提高了动作识别的性能。
2022-11-13 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
On the Integration of Optical Flow and Action Recognition
Facebook（脸书）；Zhejiang University（浙江大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；NVIDIA（英伟达）
大多数性能最好的动作识别方法使用光流作为“黑匣子”输入。在这里，我们将更深入地研究流和动作识别的结合，并研究为什么光流是有用的，是什么使流方法适合动作识别，以及我们如何使它更好。特别是，我们研究了不同的流算法和输入转换的影响，以更好地了解这些如何影响最先进的动作识别方法。此外，我们在最广泛使用的动作识别数据集（UCF 101）上对两种神经网络流方法进行了端到端的微调。基于这些实验，我们得出以下五点结论：1）光流对于动作识别是有用的，因为它对外观是不变的，2）光流方法被优化以最小化端点误差（EPE），但是当前方法的EPE与动作识别性能没有很好的相关性，3）对于所测试的流方法，边界处和小位移处的精度与动作识别性能最相关，4）训练光流以最小化分类误差而不是最小化EPE提高了识别性能，以及5）为动作识别任务学习的光流不同于传统的光流，尤其是在人体内部和身体的边界处。这些观察结果可能会鼓励光流研究人员将EPE作为目标，并指导动作识别研究人员寻求更好的运动线索，从而使光流和动作识别社区更紧密地结合在一起。
2017-12-22 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Allen Institute for AI（艾伦人工智能研究所）；Comcast Labs, DC（康卡斯特实验室（华盛顿特区））
即使卷积神经网络（CNN）在各种视觉识别任务中的最新进展，最先进的动作识别系统仍然依赖于手工制作的运动特征（诸如光流）来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet，直接从原始像素训练单流网络，以联合估计光流，同时用卷积神经网络识别动作，在单个模型中捕获外观和运动。此外，我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比，我们的模型显著提高了动作识别的准确性，提高了31%。在没有对大型外部标记数据集进行预训练的情况下，我们的模型通过充分利用运动信息，实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
Literature Review of Action Recognition in the Wild
University of Alberta（阿尔伯塔大学）
下面介绍的关于野外动作识别的文献综述是对研究论文的深入研究。未修剪视频中的动作识别问题是一项具有挑战性的任务，大多数论文都使用具有浅层学习技术和复杂的端到端深度学习技术的手工特征来解决这个问题。
2019-11-27 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
One-shot action recognition in challenging therapy scenarios
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（Bitbrain技术公司）；Politecnico di Milano（米兰理工大学）
单次动作识别旨在从单个参考示例（通常称为锚示例）中识别新的动作类别。这项工作提出了一种新的方法，一次性动作识别在野外计算运动表示鲁棒可变的运动条件。然后通过评估锚和目标运动表示来执行一次性动作识别。我们还开发了一组补充步骤，以提高在最具挑战性的场景中的动作识别性能。我们的方法是在公共NTU-120一次性动作识别基准上进行评估的，优于以前的动作识别模型。此外，我们评估我们的框架上的一个真正的用例治疗自闭症的人。由于患者运动的高水平伪影，这些记录特别具有挑战性。我们的研究结果不仅提供了定量，而且还提供了在线定性测量，这对于实际治疗期间的患者评估和监测至关重要。
2021-07-29 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
A Comparative Review of Recent Kinect-based Action Recognition Algorithms
Australian National University (ANU)（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；University of Western Australia (UWA)（西澳大利亚大学）
基于视频的人体动作识别是当前计算机视觉中最活跃的研究领域之一。各种研究表明，动作识别的性能在很大程度上取决于提取的特征类型以及动作的表示方式。自Kinect相机发布以来，大量基于Kinect的人体动作识别技术已在文献中提出。然而，在特征类型的分组下，仍然不存在这些基于Kinect的技术的彻底比较，例如手工制作与深度学习特征以及基于深度与基于机器学习的特征。在本文中，我们分析和比较十个最近的基于Kinect的算法，跨学科的动作识别和跨视图动作识别使用六个基准数据集。此外，我们已经实现并改进了其中的一些技术，并将其变体纳入比较中。我们的实验表明，大多数方法在跨主题动作识别上比跨视图动作识别表现更好，基于深度的特征比基于深度的特征对跨视图识别更鲁棒，并且深度学习特征适用于大数据集。
2019-06-24 cs.CV
Spatial-Temporal Alignment Network for Action Recognition and Detection
Carnegie Mellon University（卡内基梅隆大学）；Google Cloud AI（谷歌云人工智能）
本文研究了如何引入视点不变的特征表示，可以帮助动作识别和检测。尽管在过去的十年里，我们见证了动作识别的巨大进步，但如何有效地对大规模数据集的几何变化进行建模仍然是一个具有挑战性和有趣的问题。本文提出了一种新的时空对齐网络（STAN），旨在学习几何不变表示的动作识别和动作检测。STAN模型是非常轻量级和通用的，可以插入到现有的动作识别模型中，如ResNet 3D和SlowFast，额外的计算成本非常低。我们在AVA，Kinetics-400，AVA-Kinetics，Charades和Charades-Ego数据集上广泛测试了我们的STAN模型。实验结果表明，STAN模型在动作检测和动作识别任务中都能持续提高技术水平。我们将发布我们的数据、模型和代码。
2020-12-04 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences（中国地质大学）；University of Wollongong（卧龙岗大学）
与传统的基于视频片段的动作识别不同，在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作，并采用一种新的加权协方差描述子来积累证据。特别是，一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则：过去的帧对识别的贡献较小，最近的和有信息的帧（如关键帧）对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
PYSKL: Towards Good Practices for Skeleton Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们介绍PYSKL：一个基于PyTorch的基于动作识别的开源工具箱。该工具箱支持各种骨架动作识别算法，包括基于GCN和CNN的方法。与现有的开源骨架动作识别项目只包含一两种算法不同，PYSKL在统一的框架下实现了六种不同的算法，同时采用了最新和原创的良好实践，以便于比较功效和效率。我们还提供了一个原始的基于GCN的骨架动作识别模型，名为ST-GCN++，它实现了竞争性的识别性能，没有任何复杂的注意力计划，作为一个强大的基线。与此同时，PYSKL支持九个基于动作识别基准的训练和测试，并在其中八个基准上实现了最先进的识别性能。为了便于将来对骨架动作识别的研究，我们还提供了大量的训练模型和详细的基准测试结果，以提供一些见解。PYSKL在https://github.com/kennymckormick/pyskl上发布，并得到积极维护。我们将在添加新功能或基准时更新此报告。当前版本对应于PYSKL v0.2。
2022-05-19 cs.CV
Improving Human Action Recognition by Non-action Classification
Stony Brook University（石溪大学）
在本文中，我们认为，在现实的视频中，人类的行动是由不相关的因素占主导地位的识别人类的行动的任务。我们首先研究删除非动作视频片段的好处，这些片段不描绘任何人类动作。然后，我们学习一个非动作分类器，并使用它来降低不相关视频片段的权重。非动作分类器是使用NATIONAL Thread训练的，NATIONAL Thread是一个具有镜头级注释的数据集，用于人类动作的发生或不发生。非动作分类器可用于以高精度识别非动作镜头，并随后用于提高动作识别系统的性能。
2016-04-22 cs.CV
Review of Action Recognition and Detection Methods
York University（约克大学）
在计算机视觉中，动作识别是指对给定视频中存在的动作进行分类的动作，而动作检测涉及在空间和/或时间中定位感兴趣的动作。在网格结构中包含光度信息（例如RGB、强度值）的视频包含可以帮助识别已经成像的动作的信息。动作识别和检测的过程通常从提取有用的特征并对其进行编码开始，以确保特征是特定的，以服务于动作识别和检测的任务。然后通过分类器处理编码特征以识别动作类及其空间和/或时间位置。在这份报告中，通过分析一个典型的动作识别和检测算法的两个步骤：（i）特征的提取和编码，以及（ii）将特征分类为动作类，对计算机视觉中的各种动作识别和检测算法进行了全面的回顾。在努力确保计算机视觉为基础的算法达到的能力，人类有识别的行动，而不管各种滋扰变量，可能存在的视野内，国家的最先进的方法进行审查，并在最后一章中解决了一些剩余的问题。
2016-11-01 cs.CV
Cross-view Action Modeling, Learning and Recognition
Northwestern University（西北大学）；University of California at Los Angles（加州大学洛杉矶分校）
现有的基于视频的动作识别方法通常是依赖于视图的，即，从训练数据中看到的相同视图执行识别。提出了一种新的多视点时空与或图（MST-AOG）表示方法，用于跨视点动作识别，对来自未知和不可见视图的视频执行识别。作为一种组合模型，MST-AOG组合模型通过明确地建模几何、外观和运动变化来表示跨视图动作的层次组合结构。本文提出了有效的方法来学习MST-AOG的结构和参数。基于MST-AOG的推理使动作识别从新的角度。MST-AOG的训练利用了从Kinect摄像机获得的3D人体骨架数据，以避免注释大量的多视图视频帧，这是容易出错和耗时的，但识别不需要3D信息，并且基于2D视频输入。一个新的多视图3D数据集已经创建并将发布。大量的实验表明，这种新的动作表示显着提高了2D视频上的跨视图动作识别的准确性和鲁棒性。
2014-05-12 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal（蒙特利尔综合理工学院）
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来，HAR取得了重大进展，特别是随着深度学习模型的出现。然而，大多数现有的方法动作识别依赖于信息，并不总是相关的这项任务，并限制了他们融合的时间信息的方式。在本文中，我们提出了一种新的人类动作识别方法，有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能，到一个新的紧凑的网格表示。我们的GRAR（基于网格的动作识别表示）方法在几个基准数据集上进行了测试，证明我们的模型可以准确地识别人类动作，尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
Human Action Recognition and Prediction: A Survey
B. Thomas Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院B. Thomas Golisano计算与信息科学学院）；Department of ECE and College of CIS, Northeastern University（东北大学电气与计算机工程系及计算与信息科学学院）
由于计算机视觉和机器学习的快速发展，视频分析任务已经从推断当前状态转移到预测未来状态。基于视觉的动作识别和预测是这样的任务，其中动作识别是基于完整的动作执行来推断人类动作（当前状态），并且动作预测是基于不完整的动作执行来预测人类动作（未来状态）。这两个任务已经成为特别流行的话题，最近，因为他们的爆炸性新兴的现实世界中的应用，如视觉监控，自动驾驶汽车，娱乐，视频检索等，在过去的几十年里，许多人都致力于建立一个强大的和有效的框架，动作识别和预测。在本文中，我们调查了完整的国家的最先进的技术在行动识别和预测。现有的模型，流行的算法，技术难点，流行的行动数据库，评估协议，并提供了有前途的未来方向进行了系统的讨论。
2022-02-13 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology（哈尔滨工业大学）
人类动作识别是一个非常重要的研究领域，大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入，以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集，并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说，所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络，以提取人体运动之间的共同特征。然后，我们冻结除了全连接（FC）层之外的网络权重，并将太极动作作为输入，仅训练初始化的FC权重。实验结果表明，我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别，即使是很少的输入，并证明我们的方法达到了国家的最先进的性能相比，以前的太极动作识别方法。
2022-06-30 cs.CV
Domain and View-point Agnostic Hand Action Recognition
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特脑科技）
手部动作识别是动作识别的一种特殊情况，在人机交互、虚拟现实或生命记录系统中有着广泛的应用。构建能够为这种异构动作域工作的动作分类器是非常具有挑战性的。在给定应用程序的不同操作之间存在非常微妙的变化，但在不同领域之间也存在很大的变化（例如，虚拟现实与生活日志）。这项工作介绍了一种新的基于机器人的手部运动表示模型，解决了这个问题。我们提出的框架是不可知的应用领域或摄像机记录的观点。当工作在一个单一的域（域内动作分类），我们的方法执行更好或类似于目前的最先进的方法，在众所周知的手动作识别基准。而且，更重要的是，当对我们的方法尚未训练的动作域和相机视角进行手部动作识别（跨域动作分类）时，我们提出的框架实现了与域内最先进方法相当的性能。这些实验表明，我们的框架的鲁棒性和泛化能力。
2021-10-07 cs.CV
Event-based Action Recognition Using Timestamp Image Encoding Network
ANU（澳大利亚国立大学）
事件摄像机是一种异步、高频、低功耗的视觉传感器，适合于人体动作识别任务。对事件数据的时空信息进行适当的编码，并使用标准的计算机视觉工具从数据中进行学习是至关重要的。在这项工作中，我们提出了一个时间戳图像编码的2D网络，它采取编码的时空图像的事件数据作为输入和输出的动作标签。实验结果表明，该方法在真实世界的动作识别上可以达到与基于RGB的基准测试相同的性能水平，并且在手势识别上也达到了SOTA的结果。
2020-09-28 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X（腾讯Robotics X）
尽管在动作识别任务中取得了显着的进展，但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点，提出了一种面向注意力的多级网络框架，以满足实时的【形】交互需求。具体地说，一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率，然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入，利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法，我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台（Nvidia Jetson AGX Xavier）上对我们的数据集和高效率（在640 x 480 RGBD下为112 fps）的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务，用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝（RGB）输入视频的人体动作识别系统，并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上，增加了采样模块和归一化模块，提高了模型的性能，从而实现了对人体动作的识别。此外，我们建立了一个新的数据集，具有类似的背景和歧视性的行动，人类关键点预测和行为识别。为了获得更好的结果，我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb（萨格勒布大学）；Graz University of Technology（格拉茨技术大学）
本文提出了结合时空外观（STA）描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符，适用于构建任意时空现象的部分表示。由于迭代细化的可能性，它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别，使用两种不同的算法计算流量：Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明，我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
ConvGRU in Fine-grained Pitching Action Recognition for Action Outcome Prediction
预测动作结果是机器人与人类协同工作的一个新挑战。近年来，随着视频动作识别领域的研究取得了令人瞩目的进展，从视频数据中进行细粒度的动作识别成为一个新的研究热点。细粒度动作识别是在更细的粒度上检测动作的细微差别，在人机交互、智能交通管理、体育训练、医疗保健等领域具有重要意义。考虑到不同的结果与动作的细微差异密切相关，细粒度动作识别是一种实用的动作结果预测方法。在本文中，我们探讨了卷积门递归单元（ConvGRU）方法在细粒度动作识别任务上的性能：预测投球的结果。基于人体动作的RGB图像序列，所提出的方法实现了79.17%的准确率，这超过了目前的最先进的结果。我们还比较了不同的网络实现，并显示了不同的图像采样方法，不同的融合方法和预训练等的影响，最后，我们讨论了ConvGRU在这样的动作结果预测和细粒度动作识别任务的优势和局限性。
2020-08-18 cs.CV cs.HC
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology（香港科技大学）；Kauishou（快手）
尽管已经取得了很好的进展，但动作识别的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集很难扩展新的动作类。此外，时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题，我们专注于原子动作，并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入，松散的动作对齐，多头特征比较，和基于注意力的聚合，这使得动作识别只有几个训练样本，通过提取更具代表性的功能，并允许灵活的空间和时间的对齐和动作的变化。实验表明，我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Spatio-temporal Action Recognition: A Survey
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
动作识别或动作检测的任务涉及分析视频并确定正在执行的动作或运动。这些视频的主要主题主要是人类执行某些动作。然而，这一要求可以放宽，以推广到其他主题，如动物或机器人。应用程序的范围可以从人机交互到自动视频编辑建议之间的任何地方。当我们考虑时空动作识别时，我们处理动作定位。该任务不仅涉及确定正在执行什么动作，而且还涉及在所述视频中何时何地执行该动作。本文旨在调查试图解决这一任务的方法和算法，对它们进行全面的比较，探索可用于该问题的各种数据集，并确定最有前途的方法。
2019-01-27 cs.CV
Histogram of Oriented Depth Gradients for Action Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；Laboratoire LIG（格勒诺布尔信息学实验室）
在本文中，我们报告的实验与使用本地措施的深度运动的视觉动作识别从MPEG编码的RGBD视频序列。我们表明，这些措施可以结合本地时空视频描述符的外观提供一个计算效率高的方法识别的行动。Fisher向量用于编码深度描述符并将其与现有RGB局部描述符连接。然后，我们采用了线性SVM识别操纵动作使用这样的向量。我们评估这些措施的有效性，通过比较最先进的使用两个最近的数据集在厨房环境中的动作识别。
2018-01-29 cs.CV
A Training Method For VideoPose3D With Ideology of Action Recognition
Zhejiang University – University of Illinois at Urbana-Champaign Institute, ZJUI（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI））
视频中的动作识别和姿态估计与理解人体运动密切相关，但更多的文献集中在如何从动作识别中单独解决姿态估计任务。该研究为VideoPose3D提供了一种基于动作识别的更快速、更灵活的训练方法。该模型被馈送与将被估计的类型相同类型的动作，并且可以单独训练不同类型的动作。有证据表明，对于常见的姿态估计任务，该模型需要相对少量的数据来执行与原始研究相似的结果，对于面向动作的任务，它比原始研究高出4.5%，而MPJPE的速度误差的感受野大小和训练时期有限。该模型可以处理面向动作和常见的姿态估计问题。
2022-06-13 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
A Large-scale Varying-view RGB-D Action Dataset for Arbitrary-view Human Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
目前的动作识别研究主要集中在单视角和多视角的动作识别上，难以满足人机交互（HRI）应用对任意视角动作识别的需求。数据集的缺乏也设置了障碍。为了为任意视角动作识别提供数据，我们新收集了一个用于任意视角动作分析的大规模RGB-D动作数据集，包括RGB视频，深度和骨架序列。该数据集包括在8个固定视点和覆盖整个360度视角的变化视图序列中捕获的动作样本。总共邀请了118人表演40个动作类别，收集了25，600个视频样本。我们的数据集涉及更多的参与者，更多的观点和大量的样本。更重要的是，它是第一个包含整个360度可变视图序列的数据集。该数据集为多视图、跨视图和任意视图的动作分析提供了充足的数据。此外，我们提出了一个视图引导骨架CNN（VS-CNN）来解决任意视图动作识别问题。实验结果表明，VS-CNN具有优越的性能。
2019-04-24 cs.CV
Spatial-Temporal Alignment Network for Action Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对动作识别中几何变化处理难题，提出轻量通用的时空对齐网络STAN，可低代价嵌入现有模型，在常用数据集上验证了其能持续提升从头训练的SOTA模型性能。
2023-08-19 cs.CV
Evidential Deep Learning for Open Set Action Recognition
Rochester Institute of Technology（罗切斯特理工学院）
在现实世界的场景中，人类的动作通常不在训练数据的分布范围内，这需要一个模型来识别已知的动作并拒绝未知的动作。与图像数据不同，由于人类动作的不确定性和静态偏差，在开集环境下识别视频动作更具挑战性。在本文中，我们提出了一种深度证据动作识别（DEAR）方法来识别开放测试集中的动作。具体来说，我们从证据深度学习（EDL）的角度来阐述动作识别问题，并提出了一种新的模型校准方法来规范EDL训练。此外，为了减轻视频表示的静态偏差，我们提出了一个即插即用模块，通过对比学习来消除学习表示的偏差。实验结果表明，我们的DEAR方法在多个主流动作识别模型和基准测试中获得了一致的性能增益。代码和预训练模型可在{ \small{\url{https://www.rit.edu/actionlab/dear}} }上获得。
2021-08-18 cs.CV
Action Recognition in Video Recordings from Gynecologic Laparoscopy
Klagenfurt University（克拉根福大学）；University of Bern（伯尔尼大学）；Medical University Vienna（维也纳医科大学）
本文针对妇科腹腔镜视频中动作识别的时长变化、内容失真和场景变化等挑战，提出CNN-RNN架构及定制训练-推理框架，利用帧间依赖和帧采样策略实现高时间分辨率动作识别，实验证明其优于静态CNN。
2023-11-30 cs.CV
Continuous Action Recognition Based on Sequence Alignment
INRIA Grenoble Rhône-Alpes（法国国立信息学及自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；Czech Technical University in Prague（布拉格捷克理工大学）
连续动作识别比孤立识别更具挑战性，因为分类和分割必须同时进行。我们建立在众所周知的动态时间规整（DTW）框架，并设计了一种新的视觉对齐技术，即动态帧规整（DFW），它执行孤立的识别基于每帧表示的视频，并对齐测试序列与模型序列。此外，我们提出了两个扩展，使执行识别伴随着分割，即一遍DFW和两遍DFW。这两种方法的根源在于语音的连续识别领域，据我们所知，它们对连续视觉动作识别的扩展被忽视了。我们使用最近发布的数据集（RAVEL）和广泛用于动作识别的两个公共域数据集（Hollywood-1和Hollywood-2）测试和说明了所提出的技术。我们还比较了几个最近发表的方法，建议孤立和连续识别算法的性能。
2014-06-02 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
ActionCLIP: A New Paradigm for Video Action Recognition
Zhejiang University（浙江大学）
视频动作识别的规范方法要求神经模型执行经典和标准的1-of-N多数投票任务。它们被训练来预测一组固定的预定义类别，限制了它们在新数据集上的可转移能力。在本文中，我们提供了一个新的视角，重视的语义信息的标签文本，而不是简单地将它们映射到数字的动作识别。具体来说，我们将此任务建模为多模态学习框架内的视频-文本匹配问题，该框架通过更多的语义语言监督来加强视频表示，并使我们的模型能够在没有任何进一步标记数据或参数要求的情况下进行zero-shot动作识别。此外，为了处理标签文本的不足，并利用大量的网络数据，我们提出了一个新的范例，基于这个多模态学习框架的动作识别，我们称之为“预训练，提示和微调”。该范式首先从大量网络图像-文本或视频-文本数据的预训练中学习强大的表示。然后，它通过提示工程使动作识别任务更像预训练问题。最后，它会对目标数据集进行端到端的微调，以获得强大的性能。我们给出了一个新的范例的实例，CLIP，它不仅具有优越的和灵活的zero-shot/Few-Shot传输能力，但也达到了一般的动作识别任务的最高性能，达到83.8%的前1级的准确率在动力学-400与ViT-B/16为骨干。代码可在https://github.com/sallymmx/ActionCLIP.git上获得
2021-09-17 cs.CV
Temporal Shuffling for Defending Deep Action Recognition Models against Adversarial Attacks
Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California（加利福尼亚大学）
该研究发现动作识别模型对帧序随机化具有鲁棒性，并利用对抗扰动对时间破坏的敏感性，提出无需额外训练的时间混洗防御方法。
2023-12-07 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield（谢菲尔德大学）；Speechmatics
在视频动作识别中，Transformers始终达到最先进的精度。然而，对于硬件资源有限的普通研究人员来说，许多模型过于重量级。在这项工作中，我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率，并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类，并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好，尽管缺乏准确性。同时，仅注意力模型需要更多的运动建模能力，而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论，目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别，并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
AFE-CNN: 3D Skeleton-based Action Recognition with Action Feature Enhancement
Australia Artificial Intelligence Institute（澳大利亚人工智能研究所）；School of Electrical and Data Engineering（电气与数据工程学院）；University of Technology Sydney（悉尼科技大学）
现有的基于3D图像的动作识别方法通过将手工制作的动作特征编码为图像格式并通过CNN解码来达到令人印象深刻的性能。然而，这样的方法在两个方面受到限制：a）手工制作的动作特征难以处理具有挑战性的动作，以及b）它们通常需要复杂的CNN模型来提高动作识别精度，这通常会产生沉重的计算负担。为了克服这些限制，我们引入了一种新的AFE-CNN，它致力于增强基于3D机器人的动作的特征，以适应具有挑战性的动作。我们从关键关节、骨骼向量、关键帧和时间角度提出了特征增强模块，因此AFE-CNN对相机视图和身体尺寸变化更具鲁棒性，并显着提高了对具有挑战性动作的识别精度。此外，我们的AFE-CNN采用轻量级的CNN模型来解码具有增强的动作特征的图像，这确保了比最先进的方法低得多的计算负担。我们在三个基准的基于神经网络的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKinect-D3 D，大量的实验结果证明了我们AFE-CNN的出色性能。
2022-08-06 cs.CV
AR-Net: Adaptive Frame Resolution for Efficient Action Recognition
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
动作识别是计算机视觉中一个开放的、具有挑战性的问题。虽然目前最先进的模型提供了出色的识别结果，但其计算费用限制了其对许多现实应用的影响。在本文中，我们提出了一种新的方法，称为AR-Net（自适应分辨率网络），该方法根据输入为每个帧选择最佳分辨率，以便在长的未修剪视频中进行有效的动作识别。具体而言，给定视频帧，使用策略网络来决定动作识别模型应该使用什么样的输入分辨率进行处理，目标是提高准确性和效率。我们有效地训练的政策网络与识别模型，使用标准的反向传播。在几个具有挑战性的动作识别基准数据集上进行的大量实验很好地证明了我们所提出的方法优于最先进方法的有效性。该项目的页面可以在https://mengyuest.github.io/AR-Net上找到
2020-07-31 cs.CV
Challenges in Video-Based Infant Action Recognition: A Critical Examination of the State of the Art
Northeastern University（东北大学）；Roux Institute（鲁克斯研究所）；University of Minnesota（明尼苏达大学）
本文探讨了婴儿动作识别领域的挑战，提出了包含五类里程碑动作的新数据集InfActPrimitive，并通过对尖端骨架模型的对比分析，揭示了现有模型在婴儿动作识别上的局限性及对数据高效流水线模型的迫切需求。
2023-11-21 cs.CV
MoExDA: Domain Adaptation for Edge-based Action Recognition
Nagoya Institute of Technology（名古屋技术大学）
针对动作识别中的静态偏差问题，提出轻量级域自适应方法MoExDA，结合RGB与边缘帧，以低计算成本提升泛化性能，实现更鲁棒的动作识别。
2025-08-05 cs.CV
Feature Sampling Strategies for Action Recognition
University of South Carolina（南卡罗来纳大学）
虽然密集的局部时空特征与袋的特征表示实现最先进的性能动作识别，巨大的特征数量和特征大小阻止当前的方法从规模扩大到真正的大小问题。在这项工作中，我们研究了不同类型的动作识别的特征采样策略，即密集采样，均匀随机采样和选择性采样。我们提出了两个有效的选择性抽样方法，使用对象建议技术。在一个大型视频数据集上进行的实验表明，我们能够实现更好的平均识别精度使用25%的功能，通过提出的选择性采样方法之一，甚至保持可比的准确性，而放弃70%的功能。
2015-01-28 cs.CV
Win-Fail Action Recognition
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
当前的视频/动作理解系统在大型识别任务上表现出令人印象深刻的性能。然而，他们可能只限于学习识别时空模式，而不是试图彻底理解这些行为。为了促进对视频更真实、更深入的理解，我们引入了成败动作识别的任务--区分各种活动中成功和失败的尝试。我们引入了第一个配对的赢-失败动作理解数据集，其中包含来自以下领域的样本：“一般特技”，“互联网赢-失败”，“特技射击”和“派对游戏”。“与现有的动作识别数据集不同，类内变化很高，这使得任务具有挑战性，但可行。我们系统地分析了与原型动作识别网络和一个新的视频检索任务的输赢任务/数据集的特点。虽然目前的动作识别方法在我们的任务/数据集上运行良好，但它们仍然存在很大的差距，无法实现高性能。我们希望激励更多的工作，以真正理解行动/视频。数据集可从https://github.com/ParitoshParmar/Win-Fail-Action-Recognition获得。
2021-02-15 cs.CV cs.LG
Speech2Action: Cross-modal Supervision for Action Recognition
Google Research（谷歌研究院）；DeepMind
是否有可能仅从对话中猜测人类的行为？在这项工作中，我们研究了电影中的言语和动作之间的联系。我们注意到，电影剧本描述了动作，也包含了角色的语言，因此可以用来学习这种相关性，而不需要额外的监督。我们训练一个基于BERT的Speech2Action分类器，对超过一千个电影剧本进行分类，从转录的语音片段中预测动作标签。然后，我们将此模型应用于一个大型的未标记的电影语料库（188M语音段从288K电影）的语音段。使用该模型的预测，我们获得了超过80万个视频片段的弱动作标签。通过对这些视频片段进行训练，我们在标准动作识别基准上展示了卓越的动作识别性能，而无需使用单个手动标记的动作示例。
2020-03-30 cs.CV
Temporal Unet: Sample Level Human Action Recognition using WiFi
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）；Carneige Mellon University（卡内基梅隆大学）
人体动作会产生WiFi失真，这一问题在动作识别中得到了广泛的研究，如老人跌倒检测、手势语识别、手势估计等。作为我们最好的调查，过去的工作承认人类的行动分类一个完整的扭曲系列到一个行动，我们称之为系列级的行动识别。在本文中，我们将一个更细粒度和更具挑战性的动作识别任务引入WiFi传感领域，即，样本级动作识别。在该任务中，整个序列中的每个WiFi失真样本都应该被归类为一个动作，这是精确动作定位、连续动作分割和实时动作识别的关键技术。为了实现基于WiFi的样本级动作识别，我们充分分析了基于图像的语义分割以及基于视频的帧级动作识别方法，然后提出了一种简单而高效的深度卷积神经网络，即，时间不确定性。实验结果表明，Temporal Unet能够很好地完成这一任务.代码已在www.example.com上公开发布。
2019-04-19 cs.CV cs.HC eess.SP
