Literature Review of Action Recognition in the Wild
University of Alberta（阿尔伯塔大学）
下面介绍的关于野外动作识别的文献综述是对研究论文的深入研究。未修剪视频中的动作识别问题是一项具有挑战性的任务，大多数论文都使用具有浅层学习技术和复杂的端到端深度学习技术的手工特征来解决这个问题。
2019-11-27 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
One-shot action recognition in challenging therapy scenarios
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（Bitbrain技术公司）；Politecnico di Milano（米兰理工大学）
单次动作识别旨在从单个参考示例（通常称为锚示例）中识别新的动作类别。这项工作提出了一种新的方法，一次性动作识别在野外计算运动表示鲁棒可变的运动条件。然后通过评估锚和目标运动表示来执行一次性动作识别。我们还开发了一组补充步骤，以提高在最具挑战性的场景中的动作识别性能。我们的方法是在公共NTU-120一次性动作识别基准上进行评估的，优于以前的动作识别模型。此外，我们评估我们的框架上的一个真正的用例治疗自闭症的人。由于患者运动的高水平伪影，这些记录特别具有挑战性。我们的研究结果不仅提供了定量，而且还提供了在线定性测量，这对于实际治疗期间的患者评估和监测至关重要。
2021-07-29 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
A Comparative Review of Recent Kinect-based Action Recognition Algorithms
Australian National University (ANU)（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；University of Western Australia (UWA)（西澳大利亚大学）
基于视频的人体动作识别是当前计算机视觉中最活跃的研究领域之一。各种研究表明，动作识别的性能在很大程度上取决于提取的特征类型以及动作的表示方式。自Kinect相机发布以来，大量基于Kinect的人体动作识别技术已在文献中提出。然而，在特征类型的分组下，仍然不存在这些基于Kinect的技术的彻底比较，例如手工制作与深度学习特征以及基于深度与基于机器学习的特征。在本文中，我们分析和比较十个最近的基于Kinect的算法，跨学科的动作识别和跨视图动作识别使用六个基准数据集。此外，我们已经实现并改进了其中的一些技术，并将其变体纳入比较中。我们的实验表明，大多数方法在跨主题动作识别上比跨视图动作识别表现更好，基于深度的特征比基于深度的特征对跨视图识别更鲁棒，并且深度学习特征适用于大数据集。
2019-06-24 cs.CV
Spatial-Temporal Alignment Network for Action Recognition and Detection
Carnegie Mellon University（卡内基梅隆大学）；Google Cloud AI（谷歌云人工智能）
本文研究了如何引入视点不变的特征表示，可以帮助动作识别和检测。尽管在过去的十年里，我们见证了动作识别的巨大进步，但如何有效地对大规模数据集的几何变化进行建模仍然是一个具有挑战性和有趣的问题。本文提出了一种新的时空对齐网络（STAN），旨在学习几何不变表示的动作识别和动作检测。STAN模型是非常轻量级和通用的，可以插入到现有的动作识别模型中，如ResNet 3D和SlowFast，额外的计算成本非常低。我们在AVA，Kinetics-400，AVA-Kinetics，Charades和Charades-Ego数据集上广泛测试了我们的STAN模型。实验结果表明，STAN模型在动作检测和动作识别任务中都能持续提高技术水平。我们将发布我们的数据、模型和代码。
2020-12-04 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences（中国地质大学）；University of Wollongong（卧龙岗大学）
与传统的基于视频片段的动作识别不同，在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作，并采用一种新的加权协方差描述子来积累证据。特别是，一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则：过去的帧对识别的贡献较小，最近的和有信息的帧（如关键帧）对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
PYSKL: Towards Good Practices for Skeleton Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们介绍PYSKL：一个基于PyTorch的基于动作识别的开源工具箱。该工具箱支持各种骨架动作识别算法，包括基于GCN和CNN的方法。与现有的开源骨架动作识别项目只包含一两种算法不同，PYSKL在统一的框架下实现了六种不同的算法，同时采用了最新和原创的良好实践，以便于比较功效和效率。我们还提供了一个原始的基于GCN的骨架动作识别模型，名为ST-GCN++，它实现了竞争性的识别性能，没有任何复杂的注意力计划，作为一个强大的基线。与此同时，PYSKL支持九个基于动作识别基准的训练和测试，并在其中八个基准上实现了最先进的识别性能。为了便于将来对骨架动作识别的研究，我们还提供了大量的训练模型和详细的基准测试结果，以提供一些见解。PYSKL在https://github.com/kennymckormick/pyskl上发布，并得到积极维护。我们将在添加新功能或基准时更新此报告。当前版本对应于PYSKL v0.2。
2022-05-19 cs.CV
Improving Human Action Recognition by Non-action Classification
Stony Brook University（石溪大学）
在本文中，我们认为，在现实的视频中，人类的行动是由不相关的因素占主导地位的识别人类的行动的任务。我们首先研究删除非动作视频片段的好处，这些片段不描绘任何人类动作。然后，我们学习一个非动作分类器，并使用它来降低不相关视频片段的权重。非动作分类器是使用NATIONAL Thread训练的，NATIONAL Thread是一个具有镜头级注释的数据集，用于人类动作的发生或不发生。非动作分类器可用于以高精度识别非动作镜头，并随后用于提高动作识别系统的性能。
2016-04-22 cs.CV
Review of Action Recognition and Detection Methods
York University（约克大学）
在计算机视觉中，动作识别是指对给定视频中存在的动作进行分类的动作，而动作检测涉及在空间和/或时间中定位感兴趣的动作。在网格结构中包含光度信息（例如RGB、强度值）的视频包含可以帮助识别已经成像的动作的信息。动作识别和检测的过程通常从提取有用的特征并对其进行编码开始，以确保特征是特定的，以服务于动作识别和检测的任务。然后通过分类器处理编码特征以识别动作类及其空间和/或时间位置。在这份报告中，通过分析一个典型的动作识别和检测算法的两个步骤：（i）特征的提取和编码，以及（ii）将特征分类为动作类，对计算机视觉中的各种动作识别和检测算法进行了全面的回顾。在努力确保计算机视觉为基础的算法达到的能力，人类有识别的行动，而不管各种滋扰变量，可能存在的视野内，国家的最先进的方法进行审查，并在最后一章中解决了一些剩余的问题。
2016-11-01 cs.CV
Cross-view Action Modeling, Learning and Recognition
Northwestern University（西北大学）；University of California at Los Angles（加州大学洛杉矶分校）
现有的基于视频的动作识别方法通常是依赖于视图的，即，从训练数据中看到的相同视图执行识别。提出了一种新的多视点时空与或图（MST-AOG）表示方法，用于跨视点动作识别，对来自未知和不可见视图的视频执行识别。作为一种组合模型，MST-AOG组合模型通过明确地建模几何、外观和运动变化来表示跨视图动作的层次组合结构。本文提出了有效的方法来学习MST-AOG的结构和参数。基于MST-AOG的推理使动作识别从新的角度。MST-AOG的训练利用了从Kinect摄像机获得的3D人体骨架数据，以避免注释大量的多视图视频帧，这是容易出错和耗时的，但识别不需要3D信息，并且基于2D视频输入。一个新的多视图3D数据集已经创建并将发布。大量的实验表明，这种新的动作表示显着提高了2D视频上的跨视图动作识别的准确性和鲁棒性。
2014-05-12 cs.CV
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal（蒙特利尔综合理工学院）
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来，HAR取得了重大进展，特别是随着深度学习模型的出现。然而，大多数现有的方法动作识别依赖于信息，并不总是相关的这项任务，并限制了他们融合的时间信息的方式。在本文中，我们提出了一种新的人类动作识别方法，有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能，到一个新的紧凑的网格表示。我们的GRAR（基于网格的动作识别表示）方法在几个基准数据集上进行了测试，证明我们的模型可以准确地识别人类动作，尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
Human Action Recognition and Prediction: A Survey
B. Thomas Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院B. Thomas Golisano计算与信息科学学院）；Department of ECE and College of CIS, Northeastern University（东北大学电气与计算机工程系及计算与信息科学学院）
由于计算机视觉和机器学习的快速发展，视频分析任务已经从推断当前状态转移到预测未来状态。基于视觉的动作识别和预测是这样的任务，其中动作识别是基于完整的动作执行来推断人类动作（当前状态），并且动作预测是基于不完整的动作执行来预测人类动作（未来状态）。这两个任务已经成为特别流行的话题，最近，因为他们的爆炸性新兴的现实世界中的应用，如视觉监控，自动驾驶汽车，娱乐，视频检索等，在过去的几十年里，许多人都致力于建立一个强大的和有效的框架，动作识别和预测。在本文中，我们调查了完整的国家的最先进的技术在行动识别和预测。现有的模型，流行的算法，技术难点，流行的行动数据库，评估协议，并提供了有前途的未来方向进行了系统的讨论。
2022-02-13 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology（哈尔滨工业大学）
人类动作识别是一个非常重要的研究领域，大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入，以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集，并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说，所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络，以提取人体运动之间的共同特征。然后，我们冻结除了全连接（FC）层之外的网络权重，并将太极动作作为输入，仅训练初始化的FC权重。实验结果表明，我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别，即使是很少的输入，并证明我们的方法达到了国家的最先进的性能相比，以前的太极动作识别方法。
2022-06-30 cs.CV
Domain and View-point Agnostic Hand Action Recognition
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特脑科技）
手部动作识别是动作识别的一种特殊情况，在人机交互、虚拟现实或生命记录系统中有着广泛的应用。构建能够为这种异构动作域工作的动作分类器是非常具有挑战性的。在给定应用程序的不同操作之间存在非常微妙的变化，但在不同领域之间也存在很大的变化（例如，虚拟现实与生活日志）。这项工作介绍了一种新的基于机器人的手部运动表示模型，解决了这个问题。我们提出的框架是不可知的应用领域或摄像机记录的观点。当工作在一个单一的域（域内动作分类），我们的方法执行更好或类似于目前的最先进的方法，在众所周知的手动作识别基准。而且，更重要的是，当对我们的方法尚未训练的动作域和相机视角进行手部动作识别（跨域动作分类）时，我们提出的框架实现了与域内最先进方法相当的性能。这些实验表明，我们的框架的鲁棒性和泛化能力。
2021-10-07 cs.CV
Event-based Action Recognition Using Timestamp Image Encoding Network
ANU（澳大利亚国立大学）
事件摄像机是一种异步、高频、低功耗的视觉传感器，适合于人体动作识别任务。对事件数据的时空信息进行适当的编码，并使用标准的计算机视觉工具从数据中进行学习是至关重要的。在这项工作中，我们提出了一个时间戳图像编码的2D网络，它采取编码的时空图像的事件数据作为输入和输出的动作标签。实验结果表明，该方法在真实世界的动作识别上可以达到与基于RGB的基准测试相同的性能水平，并且在手势识别上也达到了SOTA的结果。
2020-09-28 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X（腾讯Robotics X）
尽管在动作识别任务中取得了显着的进展，但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点，提出了一种面向注意力的多级网络框架，以满足实时的【形】交互需求。具体地说，一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率，然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入，利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法，我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台（Nvidia Jetson AGX Xavier）上对我们的数据集和高效率（在640 x 480 RGBD下为112 fps）的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务，用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝（RGB）输入视频的人体动作识别系统，并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上，增加了采样模块和归一化模块，提高了模型的性能，从而实现了对人体动作的识别。此外，我们建立了一个新的数据集，具有类似的背景和歧视性的行动，人类关键点预测和行为识别。为了获得更好的结果，我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb（萨格勒布大学）；Graz University of Technology（格拉茨技术大学）
本文提出了结合时空外观（STA）描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符，适用于构建任意时空现象的部分表示。由于迭代细化的可能性，它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别，使用两种不同的算法计算流量：Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明，我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology（香港科技大学）；Kauishou（快手）
尽管已经取得了很好的进展，但动作识别的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集很难扩展新的动作类。此外，时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题，我们专注于原子动作，并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入，松散的动作对齐，多头特征比较，和基于注意力的聚合，这使得动作识别只有几个训练样本，通过提取更具代表性的功能，并允许灵活的空间和时间的对齐和动作的变化。实验表明，我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Spatio-temporal Action Recognition: A Survey
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
动作识别或动作检测的任务涉及分析视频并确定正在执行的动作或运动。这些视频的主要主题主要是人类执行某些动作。然而，这一要求可以放宽，以推广到其他主题，如动物或机器人。应用程序的范围可以从人机交互到自动视频编辑建议之间的任何地方。当我们考虑时空动作识别时，我们处理动作定位。该任务不仅涉及确定正在执行什么动作，而且还涉及在所述视频中何时何地执行该动作。本文旨在调查试图解决这一任务的方法和算法，对它们进行全面的比较，探索可用于该问题的各种数据集，并确定最有前途的方法。
2019-01-27 cs.CV
Histogram of Oriented Depth Gradients for Action Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；Laboratoire LIG（格勒诺布尔信息学实验室）
在本文中，我们报告的实验与使用本地措施的深度运动的视觉动作识别从MPEG编码的RGBD视频序列。我们表明，这些措施可以结合本地时空视频描述符的外观提供一个计算效率高的方法识别的行动。Fisher向量用于编码深度描述符并将其与现有RGB局部描述符连接。然后，我们采用了线性SVM识别操纵动作使用这样的向量。我们评估这些措施的有效性，通过比较最先进的使用两个最近的数据集在厨房环境中的动作识别。
2018-01-29 cs.CV
A Training Method For VideoPose3D With Ideology of Action Recognition
Zhejiang University – University of Illinois at Urbana-Champaign Institute, ZJUI（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI））
视频中的动作识别和姿态估计与理解人体运动密切相关，但更多的文献集中在如何从动作识别中单独解决姿态估计任务。该研究为VideoPose3D提供了一种基于动作识别的更快速、更灵活的训练方法。该模型被馈送与将被估计的类型相同类型的动作，并且可以单独训练不同类型的动作。有证据表明，对于常见的姿态估计任务，该模型需要相对少量的数据来执行与原始研究相似的结果，对于面向动作的任务，它比原始研究高出4.5%，而MPJPE的速度误差的感受野大小和训练时期有限。该模型可以处理面向动作和常见的姿态估计问题。
2022-06-13 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
A Large-scale Varying-view RGB-D Action Dataset for Arbitrary-view Human Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
目前的动作识别研究主要集中在单视角和多视角的动作识别上，难以满足人机交互（HRI）应用对任意视角动作识别的需求。数据集的缺乏也设置了障碍。为了为任意视角动作识别提供数据，我们新收集了一个用于任意视角动作分析的大规模RGB-D动作数据集，包括RGB视频，深度和骨架序列。该数据集包括在8个固定视点和覆盖整个360度视角的变化视图序列中捕获的动作样本。总共邀请了118人表演40个动作类别，收集了25，600个视频样本。我们的数据集涉及更多的参与者，更多的观点和大量的样本。更重要的是，它是第一个包含整个360度可变视图序列的数据集。该数据集为多视图、跨视图和任意视图的动作分析提供了充足的数据。此外，我们提出了一个视图引导骨架CNN（VS-CNN）来解决任意视图动作识别问题。实验结果表明，VS-CNN具有优越的性能。
2019-04-24 cs.CV
Spatial-Temporal Alignment Network for Action Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对动作识别中几何变化处理难题，提出轻量通用的时空对齐网络STAN，可低代价嵌入现有模型，在常用数据集上验证了其能持续提升从头训练的SOTA模型性能。
2023-08-19 cs.CV
Evidential Deep Learning for Open Set Action Recognition
Rochester Institute of Technology（罗切斯特理工学院）
在现实世界的场景中，人类的动作通常不在训练数据的分布范围内，这需要一个模型来识别已知的动作并拒绝未知的动作。与图像数据不同，由于人类动作的不确定性和静态偏差，在开集环境下识别视频动作更具挑战性。在本文中，我们提出了一种深度证据动作识别（DEAR）方法来识别开放测试集中的动作。具体来说，我们从证据深度学习（EDL）的角度来阐述动作识别问题，并提出了一种新的模型校准方法来规范EDL训练。此外，为了减轻视频表示的静态偏差，我们提出了一个即插即用模块，通过对比学习来消除学习表示的偏差。实验结果表明，我们的DEAR方法在多个主流动作识别模型和基准测试中获得了一致的性能增益。代码和预训练模型可在{ \small{\url{https://www.rit.edu/actionlab/dear}} }上获得。
2021-08-18 cs.CV
Action Recognition in Video Recordings from Gynecologic Laparoscopy
Klagenfurt University（克拉根福大学）；University of Bern（伯尔尼大学）；Medical University Vienna（维也纳医科大学）
本文针对妇科腹腔镜视频中动作识别的时长变化、内容失真和场景变化等挑战，提出CNN-RNN架构及定制训练-推理框架，利用帧间依赖和帧采样策略实现高时间分辨率动作识别，实验证明其优于静态CNN。
2023-11-30 cs.CV
Continuous Action Recognition Based on Sequence Alignment
INRIA Grenoble Rhône-Alpes（法国国立信息学及自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；Czech Technical University in Prague（布拉格捷克理工大学）
连续动作识别比孤立识别更具挑战性，因为分类和分割必须同时进行。我们建立在众所周知的动态时间规整（DTW）框架，并设计了一种新的视觉对齐技术，即动态帧规整（DFW），它执行孤立的识别基于每帧表示的视频，并对齐测试序列与模型序列。此外，我们提出了两个扩展，使执行识别伴随着分割，即一遍DFW和两遍DFW。这两种方法的根源在于语音的连续识别领域，据我们所知，它们对连续视觉动作识别的扩展被忽视了。我们使用最近发布的数据集（RAVEL）和广泛用于动作识别的两个公共域数据集（Hollywood-1和Hollywood-2）测试和说明了所提出的技术。我们还比较了几个最近发表的方法，建议孤立和连续识别算法的性能。
2014-06-02 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
ActionCLIP: A New Paradigm for Video Action Recognition
Zhejiang University（浙江大学）
视频动作识别的规范方法要求神经模型执行经典和标准的1-of-N多数投票任务。它们被训练来预测一组固定的预定义类别，限制了它们在新数据集上的可转移能力。在本文中，我们提供了一个新的视角，重视的语义信息的标签文本，而不是简单地将它们映射到数字的动作识别。具体来说，我们将此任务建模为多模态学习框架内的视频-文本匹配问题，该框架通过更多的语义语言监督来加强视频表示，并使我们的模型能够在没有任何进一步标记数据或参数要求的情况下进行zero-shot动作识别。此外，为了处理标签文本的不足，并利用大量的网络数据，我们提出了一个新的范例，基于这个多模态学习框架的动作识别，我们称之为“预训练，提示和微调”。该范式首先从大量网络图像-文本或视频-文本数据的预训练中学习强大的表示。然后，它通过提示工程使动作识别任务更像预训练问题。最后，它会对目标数据集进行端到端的微调，以获得强大的性能。我们给出了一个新的范例的实例，CLIP，它不仅具有优越的和灵活的zero-shot/Few-Shot传输能力，但也达到了一般的动作识别任务的最高性能，达到83.8%的前1级的准确率在动力学-400与ViT-B/16为骨干。代码可在https://github.com/sallymmx/ActionCLIP.git上获得
2021-09-17 cs.CV
Temporal Shuffling for Defending Deep Action Recognition Models against Adversarial Attacks
Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California（加利福尼亚大学）
该研究发现动作识别模型对帧序随机化具有鲁棒性，并利用对抗扰动对时间破坏的敏感性，提出无需额外训练的时间混洗防御方法。
2023-12-07 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
Learning Linear Dynamical Systems with High-Order Tensor Data for Skeleton based Action Recognition
Xidian University（西安电子科技大学）
近年来，人们重新关注开发基于机器人的人类动作识别方法。骨架序列可以自然地表示为高阶张量时间序列。在本文中，我们建模和分析张量时间序列与线性动力系统（LDS），这是最常见的编码时空时间序列数据在各个学科由于其相对简单和效率。然而，传统的LDS将视频的每一帧处的潜在和观察状态视为列向量。这样的向量表示未能考虑维度灾难以及人类行为的有价值的结构信息。考虑到这一事实，我们提出了广义线性动力系统（gLDS）的建模张量观测的时间序列，并采用塔克分解估计的LDS参数作为动作描述符。因此，一个动作可以表示为对应于格拉斯曼流形上的一个点的子空间。然后，我们进行分类使用字典学习和稀疏编码格拉斯曼流形。在MSR三维数据集、UCF Kinect数据集和Northwestern-UCLA Multiview三维数据集上的实验表明，该方法的性能优于现有算法。
2017-01-14 cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield（谢菲尔德大学）；Speechmatics
在视频动作识别中，Transformers始终达到最先进的精度。然而，对于硬件资源有限的普通研究人员来说，许多模型过于重量级。在这项工作中，我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率，并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类，并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好，尽管缺乏准确性。同时，仅注意力模型需要更多的运动建模能力，而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论，目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别，并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
AFE-CNN: 3D Skeleton-based Action Recognition with Action Feature Enhancement
Australia Artificial Intelligence Institute（澳大利亚人工智能研究所）；School of Electrical and Data Engineering（电气与数据工程学院）；University of Technology Sydney（悉尼科技大学）
现有的基于3D图像的动作识别方法通过将手工制作的动作特征编码为图像格式并通过CNN解码来达到令人印象深刻的性能。然而，这样的方法在两个方面受到限制：a）手工制作的动作特征难以处理具有挑战性的动作，以及b）它们通常需要复杂的CNN模型来提高动作识别精度，这通常会产生沉重的计算负担。为了克服这些限制，我们引入了一种新的AFE-CNN，它致力于增强基于3D机器人的动作的特征，以适应具有挑战性的动作。我们从关键关节、骨骼向量、关键帧和时间角度提出了特征增强模块，因此AFE-CNN对相机视图和身体尺寸变化更具鲁棒性，并显着提高了对具有挑战性动作的识别精度。此外，我们的AFE-CNN采用轻量级的CNN模型来解码具有增强的动作特征的图像，这确保了比最先进的方法低得多的计算负担。我们在三个基准的基于神经网络的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKinect-D3 D，大量的实验结果证明了我们AFE-CNN的出色性能。
2022-08-06 cs.CV
AR-Net: Adaptive Frame Resolution for Efficient Action Recognition
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
动作识别是计算机视觉中一个开放的、具有挑战性的问题。虽然目前最先进的模型提供了出色的识别结果，但其计算费用限制了其对许多现实应用的影响。在本文中，我们提出了一种新的方法，称为AR-Net（自适应分辨率网络），该方法根据输入为每个帧选择最佳分辨率，以便在长的未修剪视频中进行有效的动作识别。具体而言，给定视频帧，使用策略网络来决定动作识别模型应该使用什么样的输入分辨率进行处理，目标是提高准确性和效率。我们有效地训练的政策网络与识别模型，使用标准的反向传播。在几个具有挑战性的动作识别基准数据集上进行的大量实验很好地证明了我们所提出的方法优于最先进方法的有效性。该项目的页面可以在https://mengyuest.github.io/AR-Net上找到
2020-07-31 cs.CV
Challenges in Video-Based Infant Action Recognition: A Critical Examination of the State of the Art
Northeastern University（东北大学）；Roux Institute（鲁克斯研究所）；University of Minnesota（明尼苏达大学）
本文探讨了婴儿动作识别领域的挑战，提出了包含五类里程碑动作的新数据集InfActPrimitive，并通过对尖端骨架模型的对比分析，揭示了现有模型在婴儿动作识别上的局限性及对数据高效流水线模型的迫切需求。
2023-11-21 cs.CV
MoExDA: Domain Adaptation for Edge-based Action Recognition
Nagoya Institute of Technology（名古屋技术大学）
针对动作识别中的静态偏差问题，提出轻量级域自适应方法MoExDA，结合RGB与边缘帧，以低计算成本提升泛化性能，实现更鲁棒的动作识别。
2025-08-05 cs.CV
Feature Sampling Strategies for Action Recognition
University of South Carolina（南卡罗来纳大学）
虽然密集的局部时空特征与袋的特征表示实现最先进的性能动作识别，巨大的特征数量和特征大小阻止当前的方法从规模扩大到真正的大小问题。在这项工作中，我们研究了不同类型的动作识别的特征采样策略，即密集采样，均匀随机采样和选择性采样。我们提出了两个有效的选择性抽样方法，使用对象建议技术。在一个大型视频数据集上进行的实验表明，我们能够实现更好的平均识别精度使用25%的功能，通过提出的选择性采样方法之一，甚至保持可比的准确性，而放弃70%的功能。
2015-01-28 cs.CV
Speech2Action: Cross-modal Supervision for Action Recognition
Google Research（谷歌研究院）；DeepMind
是否有可能仅从对话中猜测人类的行为？在这项工作中，我们研究了电影中的言语和动作之间的联系。我们注意到，电影剧本描述了动作，也包含了角色的语言，因此可以用来学习这种相关性，而不需要额外的监督。我们训练一个基于BERT的Speech2Action分类器，对超过一千个电影剧本进行分类，从转录的语音片段中预测动作标签。然后，我们将此模型应用于一个大型的未标记的电影语料库（188M语音段从288K电影）的语音段。使用该模型的预测，我们获得了超过80万个视频片段的弱动作标签。通过对这些视频片段进行训练，我们在标准动作识别基准上展示了卓越的动作识别性能，而无需使用单个手动标记的动作示例。
2020-03-30 cs.CV
DirecFormer: A Directed Attention in Transformer Approach to Robust Action Recognition
University of Arkansas（阿肯色大学）；FPT Software（FPT软件公司）；Concordia University（康考迪亚大学）；University of Wollongong（伍伦贡大学）；West Virginia University（西弗吉尼亚大学）
人体动作识别是近年来计算机视觉领域的研究热点之一。已经提出了各种基于3D-CNN的方法来处理视频动作识别任务中的空间和时间维度，并具有竞争力的结果。然而，这些方法遭受了一些基本的限制，例如缺乏鲁棒性和通用性，例如，视频帧的时间顺序如何影响识别结果？这项工作提出了一种新的端到端的基于变压器的定向注意力（DirectFormer）框架，用于鲁棒的动作识别。该方法采用一种简单但新颖的基于transformer的方法来理解序列动作的正确顺序。因此，这项工作的贡献是三方面的。首先，我们将时序学习问题引入到动作识别问题中。其次，引入了一种新的定向注意力机制，以正确的顺序理解和提供对人类行为的注意。第三，我们介绍了动作序列建模中的条件依赖，包括顺序和类。与最近的动作识别方法相比，所提出的方法在三个标准的大规模基准测试（即Jester，Kinetics-400和Something-Something-V2）上始终实现了最先进的（SOTA）结果。
2022-03-19 cs.CV
Multiview Cauchy Estimator Feature Embedding for Depth and Inertial Sensor-Based Human Action Recognition
Kinect和惯性传感器的日益普及促使人们对人类动作识别进行了深入的研究。由于人的动作可以通过从Kinect和惯性传感器中提取的多个特征表示来表征，因此必须将多视图特征编码到用于人的动作识别的统一空间中。在本文中，我们提出了一种新的无监督特征融合方法称为多视图柯西估计特征嵌入（MCEFE）的人体动作识别。通过最小化经验风险，MCEFE集成多个视图中的编码互补信息，以找到统一的数据表示和投影矩阵。为了增强对异常值的鲁棒性，对重构误差施加Cauchy估计。此外，集成流形正则化的投影矩阵上进行编码不同的视图之间的相关性，并避免过拟合。在中国科学院-云南大学-多模态人体动作数据库（CAS-YNU-MHAD）上进行了实验，验证了MCEFE对人体动作识别的有效性和鲁棒性。
2016-09-04 cs.CV
An Evaluation of Action Recognition Models on EPIC-Kitchens
University of Bristol（布里斯托大学）
我们在最近引入的EPIC-Kitchenette数据集上对当代动作识别模型（TSN，TRN和TSM）进行了基准测试，并在GitHub上发布了预训练模型（https：//github.com/epic-kitchens/action-models）供其他人构建。与流行的动作识别数据集（如Kinetics，Something-Something，UCF 101和HMDB 51）相比，EPIC-Kitterfly从自我中心的角度拍摄，并现场捕捉日常动作。在本报告中，我们的目标是了解这些模型如何解决该数据集中存在的挑战，例如其长尾类分布，看不见的环境测试集和多个任务（动词，名词和动作分类）。我们讨论了模型的缺点和未来的研究方向。
2019-08-02 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
CLTA: Contents and Length-based Temporal Attention for Few-shot Action Recognition
McMaster University（麦克马斯特大学）
Few-Shot动作识别由于训练样本难以获取而受到越来越多的关注。目前的工作表明，保留空间信息和比较视频描述符是至关重要的Few-Shot动作识别。然而，保存时间信息的重要性没有得到很好的讨论。在本文中，我们提出了一个基于内容和长度的时间注意力（CLTA）模型，学习定制的时间注意力的个人视频，以解决Few-Shot动作识别问题。CLTA利用高斯似然函数作为模板来生成时间注意力，并训练学习矩阵以基于帧内容和长度来研究平均值和标准差。我们表明，即使是一个没有微调的骨干与普通的softmax分类器仍然可以实现类似或更好的结果相比，国家的最先进的Few-Shot动作识别与精确捕获的时间注意。
2021-03-18 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas（北德克萨斯大学）
由于在视频监控、人机交互、视频检索等方面的广泛应用，人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展，在过去的几年中，根据以前的调查提出了一个良好的分类。从这项最先进的调查中，研究人员可以看到这一领域的进展全景，以供未来研究。
2015-01-23 cs.CV
Pose And Joint-Aware Action Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
动作识别的最新进展主要集中在RGB和光流特征上。在本文中，我们将探讨基于关节的动作识别问题。与其他模态不同，关节及其运动的星座生成具有简洁的人体运动信息的模型用于活动识别。我们提出了一个新的模型，基于关节的动作识别，首先提取运动特征，从每个关节分别通过一个共享的运动编码器，然后进行集体推理。我们的关节选择器模块对关节信息进行重新加权，以选择最具鉴别力的关节用于任务。我们还提出了一种新的联合对比损失，拉在一起的联合功能，传达相同的动作组。我们通过使用几何感知的数据增强技术来加强基于关节的表示，该技术在保持动作动态的同时抖动姿势热图。我们在JHMDB，HMDB，Charades，AVA动作识别数据集上展示了当前最先进的基于联合的方法的巨大改进。与RGB和基于流的方法的后期融合产生了额外的改进。我们的模型在Mimetics上的表现也优于现有的基线，Mimetics是一个具有上下文外操作的数据集。
2021-10-29 cs.CV
