Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；University of Central Florida（中佛罗里达大学）；Linköping University（林雪平大学）
本文提出 Video-FocalNet，通过时空焦点调制架构结合卷积与逐元素乘法高效建模局部和全局上下文，在多个视频识别基准上以更低计算成本超越现有 Transformer 方法。
2023-10-27 cs.AI cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
Few-shot Action Recognition via Intra- and Inter-Video Information Maximization
Shanghai Jiao Tong University（上海交通大学）；Heriot-Watt University（赫瑞-瓦特大学）
针对少样本动作识别中视频内与视频间信息利用不足的问题，提出VIM框架，通过自适应时空采样器和时空对齐模型分别最大化两类信息，并引入互信息损失，在公开数据集上验证了有效性。
2023-05-10 cs.AI cs.CV cs.LG
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications
Peking University（北京大学）；Baidu Inc.（百度公司）
为了理解人类的行为，基于视频的动作识别是一种常用的方法。与基于图像的动作识别相比，视频提供了更多的信息。减少动作的模糊性，在过去的十年中，许多专注于数据集、新模型和学习方法的工作将视频动作识别提高到了一个更高的水平。然而，存在挑战和未解决的问题，特别是在体育分析中，其中数据汇集和标记更加复杂，需要体育专业人员对数据进行注释。此外，动作可能非常快，并且很难识别它们。此外，在足球和篮球等团队运动中，一个动作可能涉及多个球员，为了正确识别它们，我们需要分析所有球员，这相对复杂。在本文中，我们提出了一个调查视频动作识别体育分析。我们介绍了十多个运动项目，包括足球、篮球、排球、曲棍球等团队运动和花样滑冰、体操、乒乓球、网球、跳水、羽毛球等个人运动。然后，我们比较了现有的众多体育分析框架，目前的现状，在团队运动和个人运动的视频动作识别。最后，我们讨论了这一领域的挑战和未解决的问题，为了促进体育分析，我们使用PaddlePaddle开发了一个工具箱，支持足球，篮球，乒乓球和花样滑冰动作识别。
2022-06-02 cs.AI cs.CV cs.MM
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Deep Neural Networks in Video Human Action Recognition: A Review
IEEE Publication Technology Group（IEEE出版技术组）
本文综述了2020至2022年深度神经网络在视频人体动作识别中的研究进展，比较了不同深度学习框架与数据集的优缺点，并指出深度神经网络在特征学习与提取任务中优于多数传统技术。
2023-05-25 cs.AI cs.CV cs.HC
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
EgoSurgery-Phase: A Dataset of Surgical Phase Recognition from Egocentric Open Surgery Videos
Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）
针对开放手术阶段识别研究不足及相关公开数据集稀缺的问题，提出含15小时视频和眼动数据的EgoSurgery-Phase数据集，并设计凝视引导的掩码自编码器（GGMAE），在该数据集上显著提升识别性能。
2024-11-27 cs.AI cs.CV cs.LG
CFE-PPAR: Compression-friendly encryption for privacy-preserving action recognition leveraging video transformers
Graduate School of Informatics（信息研究生院）；Faculty of System Design（系统设计学部）；Chiba University（千叶大学）；Tokyo Metropolitan University（东京 Metropolitan 大学）
本文提出CFE-PPAR，一种压缩友好的加密方法，通过视频变换器实现加密视频的高效识别，优于现有方法。
2026-05-07 cs.AI cs.CR cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore（新加坡国立大学）；NEC Corporation（日本电气股份有限公司）
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景，这赋予了监控场景的潜力。然而，全方位视频分析的研究已经落后于硬件的进步。在这项工作中，我们解决的重要问题，在顶视360 $^{\circ}$视频的动作识别。由于宽视场，360 $^{\circ}$视频通常捕获多个人同时执行动作。此外，人的外表是畸形的。该框架首先将全向视频转换为全景视频，然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法，该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验，定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究，我们引入了360Action，这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University（德里理工大学）
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外，实时分析具有低质量的视频，并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此，它需要一个更强大和集成的模型，用于低质量和夜间安全操作。在此背景下，我们提出了一种混合模型的光照不变的人体活动识别的基础上，子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后，在三个人工降级的低质量Weizmann动作，KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术，并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量，然后用于分类。为了取得成功，网络必须能够抑制不相关的场景背景，并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD（TA-VLAD），这是一种具有内置空间注意力的深度递归架构，可以执行时间聚合的VLAD编码，用于视频中的动作识别。我们采用自上而下的注意力方法，通过使用从深度CNN获得的类特定激活图，该深度CNN为图像分类进行预训练，在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University（安娜大学）
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别，特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段：环境模型，对象表示，对象跟踪，活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
本文提出S3Aug视频数据增强方法，通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频，增强时间一致性，在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Curvature: A signature for Action Recognition in Video Sequences
Johns Hopkins University（约翰斯·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的人体动作识别特征，即视频序列的曲率。以这种方式，对顺序数据的分布进行建模，这使得能够进行少样本学习。我们的算法不依赖于识别图像中的特征，而是将动作视为整个图像序列中通用时间尺度上的序列。视频序列，被看作是一个曲线在像素空间中，通过重新参数化对齐使用弧长的曲线在像素空间中。一旦获得这样的曲率，统计指标被提取并馈送到基于学习的分类器中。总的来说，我们的方法简单但强大。初步的实验结果表明，我们的方法是有效的，并达到了最先进的性能在基于视频的人体动作识别。此外，我们看到了将这种想法转移到其他基于序列的识别应用中的潜力，如语音识别，机器翻译和文本生成。
2019-06-16 cs.CV
Action Recognition from Single Timestamp Supervision in Untrimmed Videos
University of Bristol（布里斯托大学）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
识别视频中的动作依赖于训练过程中的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获得成本也很高。弱视频级监督已成功地用于未修剪视频中的识别，但当训练视频中不同动作的数量增加时，它受到挑战。我们提出了一种方法，是由位于每个动作实例周围的单个时间戳，在未修剪的视频监督。我们取代昂贵的动作界与采样分布初始化这些时间戳。然后，我们使用分类器的响应迭代更新采样分布。我们证明，这些分布收敛到歧视性的动作段的位置和程度。我们在三个数据集上评估了我们的方法，用于细粒度识别，每个视频的不同动作数量越来越多，并表明单个时间戳在识别性能和标记工作之间提供了合理的折衷，执行了完整的时间监督。我们的更新方法将top-1测试准确率提高了5.4%。在评估的数据集上。
2019-04-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Multi-model learning by sequential reading of untrimmed videos for action recognition
Nagoya Institute of Technology（名古屋工业大学）
本研究针对动作识别任务，提出一种顺序读取未修剪视频、依次输入多模型并通过联邦学习同步的视频学习方法，可降低片段相关性，相比无同步方案提升了性能。
2024-01-26 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
A Comprehensive Study of Deep Video Action Recognition
Amazon Web Services（亚马逊云科技）
视频动作识别是视频理解的代表性任务之一。在过去的十年中，由于深度学习的出现，我们见证了视频动作识别的巨大进步。但我们也遇到了新的挑战，包括对视频中的长距离时间信息进行建模，高计算成本以及由于数据集和评估协议差异而导致的无法比较的结果。在本文中，我们对现有的200多篇关于视频动作识别的深度学习的论文进行了全面的调查。我们首先介绍了影响模型设计的17个视频动作识别数据集。然后，我们按时间顺序介绍视频动作识别模型：从适应深度学习的早期尝试开始，然后是双流网络，然后是采用3D卷积核，最后是最近的计算效率模型。此外，我们在几个有代表性的数据集上对流行的方法进行基准测试，并发布代码以实现可重复性。最后，我们讨论了开放的问题，并阐明了视频动作识别的机会，以促进新的研究思路。
2020-12-11 cs.CV cs.MM
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta（阿尔伯塔大学）
视频处理由于其在视频摘要、动作识别等方面的各种应用，已经成为计算机视觉中的热门研究方向。最近，基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而，这些方法需要处理完整的视频序列来识别动作，即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外，这些不必要的帧增加了计算成本，并可能混淆动作识别中的方法。相反，被称为关键帧的重要帧不仅有助于动作的识别，而且还可以减少用于分类或其他应用（例如摘要）的每个视频序列的处理时间。同样，视频处理中的当前方法尚未以在线方式展示。基于上述原因，我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头，从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块，使用语义词向量作为输入，以及关键帧和一种新的训练/测试策略的分类模型。据我们所知，这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明，使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
Procedural Generation of Videos to Train Deep Action Recognition Networks
NAVER LABS Europe（NAVER欧洲实验室）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Toyota Research Institute（丰田研究院）
用于视频中人类动作识别的深度学习正在取得重大进展，但由于依赖于对大型视频集合进行昂贵的手动标记，因此进展缓慢。在这项工作中，我们研究了动作识别的合成训练数据的生成，因为它最近在各种其他计算机视觉任务中显示出了有希望的结果。我们提出了一个可解释的参数生成模型，依赖于现代游戏引擎的程序生成和其他计算机图形技术的人类动作视频。我们生成了一个多样化的，现实的，物理上合理的人类动作视频数据集，称为PHAV的“程序人类动作视频”。它总共包含39，982个视频，35个类别的每个动作有1，000多个示例。我们的方法不限于现有的运动捕捉序列，我们程序定义14个合成动作。我们引入了一个深度的多任务表示学习架构来混合合成和真实视频，即使动作类别不同。我们在UCF101和HMDB51基准测试上的实验表明，将我们的大量合成视频与小型真实世界数据集相结合可以提高识别性能，显著优于最先进的无监督视频生成模型。
2017-07-19 cs.CV
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab（之江实验室）
针对视频识别忽视类别层次结构的问题，本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架，并构建了中风康复细粒度基准，显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Temporal Sequence Distillation: Towards Few-Frame Action Recognition in Videos
Wuhan University（武汉大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视频分析软件即服务（VA SaaS）近年来发展迅速。VA SaaS通常由用户使用轻量级客户端访问。由于客户端和云端之间的传输带宽通常是有限且昂贵的，因此在有限的数据传输需求下设计云视频分析算法带来了很大的好处。虽然有相当多的研究已经致力于视频分析，据我们所知，很少有人注意到SaaS中的传输带宽限制。作为在这个方向上的第一次尝试，这项工作引入了一个问题，少帧动作识别，其目的是保持高的识别精度，在训练和测试过程中访问只有几帧。不同于以往的工作，处理密集帧，我们提出了时间序列蒸馏（TSD），它蒸馏成一个非常短的传输长的视频序列。通过使用3D CNN进行视频动作识别的端到端训练，TSD学习了视频帧的紧凑且有区别的时间和空间表示。在Kinetics数据集上，与最先进的视频动作识别算法I3D相比，TSD+I3D通常只需要50%的帧数就可以达到几乎相同的精度。建议的TSD有三个吸引人的优点。首先，TSD具有轻量级的架构，可以部署在客户端，例如。移动设备来产生压缩的代表帧以节省传输带宽。其次，TSD显著减少了在云上使用压缩帧运行视频动作识别的计算，同时保持了高识别精度。第三，TSD可以作为任何现有3D CNN的预处理模块插入。大量的实验表明了TSD的有效性和特点。
2018-08-15 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
The THUMOS Challenge on Action Recognition for Videos "in the Wild"
University of Central Florida（中佛罗里达大学）；Stanford University（斯坦福大学）；Fudan University（复旦大学）；Google Research（谷歌研究院）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）
自动识别和定位大范围的人类动作对于视频理解具有至关重要的意义。为了实现这一目标，2013年推出了THUMOS挑战，作为行动认可的基准。在此之前，视频动作识别，包括THUMOS挑战，主要集中在预分割的分类（即，修剪）视频，这是一项人工任务。在THUMOS 2014中，我们通过引入时间上未修剪的视频将动作识别提升到更实用的水平。这些也包括“背景视频”，它们与动作视频有着相似的场景和背景，但没有具体的动作。2013- 2015年举办的三届挑战赛使THUMOS成为行动分类和检测的共同基准，来自世界各地的团队广泛参加了年度挑战赛。在本文中，我们详细描述了THUMOS基准，并给出了一个概述的数据汇集和注释程序。我们提出了评估协议，用于量化的结果在两个THUMOS任务的动作分类和时间检测。我们还介绍了THUMOS 2015挑战赛的结果，并回顾了参与方法。此外，我们还包括一项全面的实证研究，评估修剪和未修剪视频之间的动作识别差异，以及修剪视频上训练的方法如何推广到未修剪视频。最后，我们提出了几个方向和改进，为未来的THUMOS挑战。
2016-04-21 cs.CV
Spatiotemporal Action Recognition in Restaurant Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别是对视频中的动作进行定位和分类的任务。我们的项目将此任务应用于分析餐厅工作人员准备食物的视频片段，其潜在应用包括自动结账和库存管理。这些视频与研究人员习惯的标准化数据集截然不同，因为它们涉及小对象，快速动作和众所周知的不平衡数据类。我们探索两种方法。第一种方法涉及熟悉的对象检测器You Only Look Once，另一种方法应用最近提出的动作识别模拟，You Only Watch Once。首先，我们使用卷积LSTM设计并实现了一种新颖的、经常性的YOLO修改，并探索了这种网络训练中的各种微妙之处。在第二部分中，我们研究了YOWO三维卷积捕捉我们独特数据集的时空特征的能力
2020-08-25 cs.AI cs.CV cs.LG
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University（中山大学）；Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练，这是劳动密集型和耗时的。对于同一个动作，从不同媒体类型学习的知识，例如，视频和图像可以是相关的和互补的。然而，由于视频和图像之间的域转移和异构特征表示，在图像上训练的分类器的性能可能会显着下降时，直接部署到视频。在本文中，我们提出了一种名为深度图像到视频自适应和融合网络（DIVAFN）的新方法，通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型，它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说，我们设计了一个有效的跨模态相似性度量，以减少图像，关键帧和视频之间的模态转移。然后，我们采用自动编码器架构，其隐藏层被约束为动作类名的语义表示。通过这种方式，当采用自编码器将来自不同域的学习特征投影到同一空间时，可以获得更紧凑、信息量更大且具有区分性的表示。最后，从这三个自编码器的学习语义特征表示的级联用于训练分类器，用于视频中的动作识别。在四个真实世界数据集上的综合实验表明，我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
Faster and Accurate Compressed Video Action Recognition Straight from the Frequency Domain
人类动作识别由于其广泛的应用，如监控、医疗、工业环境、灵巧家庭等，已经成为计算机视觉中最活跃的研究领域之一。最近，深度学习已成功用于学习强大且可解释的特征，以识别视频中的人类动作。大多数现有的深度学习方法已经被设计用于将视频信息处理为RGB图像序列。由于这个原因，需要初步解码过程，因为视频数据通常以压缩格式存储。然而，对视频进行解码需要高计算负载和存储器使用。为了克服这个问题，我们提出了一种能够直接从压缩视频中学习的深度神经网络。我们的方法在两个公共基准测试（UCF-101和HMDB-51数据集）上进行了评估，证明了与最先进方法相当的识别性能，其优势是推理速度快2倍。
2020-12-26 cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology（国防科技大学）
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题，在流行的时间段网络（TSN）框架的基础上，提出了用于动作识别的信息融合时间变换网络（IF-TTN）。在网络中，信息融合模块（IFM）被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征，形成短期视频描述符。以融合特征为输入，采用时间变换网络（TTN）来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构，因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果：UCF 101和HMDB 51。实证研究表明，我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流，性能与基于流的方法相当，而测试速度提高了10倍。
2019-04-11 cs.CV
Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition
USTC（中国科学技术大学）；Microsoft Research（微软研究院）
视频增强和动作识别中的一个关键挑战是融合相邻帧中的有用信息。最近的工作建议在融合时间信息之前在相邻帧之间建立准确的对应关系。然而，生成的结果在很大程度上取决于对应性估计的质量。在本文中，我们提出了一个更强大的解决方案：跨邻域帧的\emph{sampling and fusing multi-level features}来生成结果。基于这一思想，我们引入了一个新的模块，以提高三维卷积的能力，即可学习的采样三维卷积（\emph{LS3D-Conv}）。我们将可学习的2D偏移量添加到3D卷积中，旨在跨帧对空间特征图上的位置进行采样。可以针对特定任务学习偏移。\emph{LS3D-Conv}可以灵活地替换现有3D网络中的3D卷积层，并获得新的架构，该架构在多个特征级别上学习采样。在视频插值、视频超分辨率、视频去噪和动作识别等方面的实验证明了该方法的有效性。
2020-11-22 cs.CV
A Training Method For VideoPose3D With Ideology of Action Recognition
Zhejiang University – University of Illinois at Urbana-Champaign Institute, ZJUI（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI））
视频中的动作识别和姿态估计与理解人体运动密切相关，但更多的文献集中在如何从动作识别中单独解决姿态估计任务。该研究为VideoPose3D提供了一种基于动作识别的更快速、更灵活的训练方法。该模型被馈送与将被估计的类型相同类型的动作，并且可以单独训练不同类型的动作。有证据表明，对于常见的姿态估计任务，该模型需要相对少量的数据来执行与原始研究相似的结果，对于面向动作的任务，它比原始研究高出4.5%，而MPJPE的速度误差的感受野大小和训练时期有限。该模型可以处理面向动作和常见的姿态估计问题。
2022-06-13 cs.CV
Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
GTM: Gray Temporal Model for Video Recognition
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
数据输入方式在视频动作识别中起着重要的作用。通常，有三种类型的输入：RGB，流和压缩数据。本文提出了一种新的输入方式：灰度流。具体地说，以RGB大小相同的连续3幅灰度图像作为输入，不仅可以跳过视频解码数据到RGB的转换过程，而且可以在零计算和零参数的情况下提高时空建模能力。同时，我们提出了一个一维身份逐层时空卷积（1D-ICSC），它在可控的计算预算（通过参数G & R）内捕获通道特征级的时间关系。最后，我们证实了它的有效性和效率的几个动作识别基准，如动力学，东西，HMDB-51和UCF-101，并取得了令人印象深刻的结果。
2021-10-20 cs.CV
TEAM-Net: Multi-modal Learning for Video Action Recognition with Partial Decoding
V-SENSE；Trinity College Dublin（都柏林圣三一学院）；ByteDance（字节跳动）
大多数现有的视频动作识别模型摄取原始RGB帧。然而，原始视频流需要巨大的存储空间，并且包含大量的时间冗余。视频压缩（例如，H.264，MPEG-4）通过使用图像组（GOP）的概念表示原始视频流来减少多余的信息。每个GOP由第一个I帧（也称为RGB图像）和随后的多个P帧组成，由运动矢量和残差表示，可以将其视为并用作预提取的特征。在这项工作中，我们1）介绍了基于GOP级别从部分解码的视频中采样网络的输入，以及2）提出了一种即插即用的多模态学习模块（TEAM），用于以端到端的方式使用来自I帧和P帧的信息来训练网络。我们证明了优越的性能的TEAM-Net相比，基线仅使用RGB。TEAM-Net还在部分解码的视频动作识别领域实现了最先进的性能。代码在www.example.com上提供。
2021-10-17 cs.CV
Performance Evaluation of Action Recognition Models on Low Quality Videos
Nagoya Institute of Technology（名古屋工业大学）
在动作识别模型的设计中，视频的质量是一个重要的问题，然而，质量和性能之间的权衡往往被忽视。一般来说，动作识别模型是在高质量视频上训练的，因此不知道在低质量视频上测试时模型性能如何下降，以及训练视频的质量对性能的影响有多大。视频质量问题是一个重要的问题，然而，到目前为止，它还没有被研究。本研究的目的是通过对不同质量的转码视频的几种动作识别模型的定量性能评估，来显示训练视频和测试视频的性能和质量之间的权衡。首先，我们展示了视频质量如何影响预训练模型的性能。我们通过改变JPEG（压缩强度）和H.264/AVC（CRF）的质量控制参数对Kinetics 400的原始验证视频进行转码。然后，我们使用转码的视频来验证预训练的模型。其次，我们展示了模型在转码视频上训练时的表现。我们通过更改JPEG和H.264/AVC的质量参数来对Kinetics 400的原始训练视频进行转码。然后，我们在转码的训练视频上训练模型，并使用原始和转码的验证视频对其进行验证。JPEG转码的实验结果表明，对于压缩强度小于70的情况，没有严重的性能下降（高达-1.5%），其中没有视觉上观察到质量下降，并且对于大于80的情况，性能相对于质量指数线性下降。H.264/AVC转码实验表明，CRF 30没有明显的性能损失（高达-1%），而视频文件的总大小减少到30%。
2022-11-14 cs.CV
Collaboratively Self-supervised Video Representation Learning for Action Recognition
Microsoft Research Asia（微软亚洲研究院）；Beijing Huawei Digital Technologies Co., Ltd.（北京华为数字技术有限公司）
提出协同自监督视频表示学习框架CSVR，通过生成式姿态预测、判别式上下文匹配和视频生成三个分支协同提取动静特征，在多个视频数据集上实现最先进的动作识别性能。
2025-01-31 cs.CV
Temporal Segment Networks for Action Recognition in Videos
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
深度卷积网络在图像识别方面取得了巨大成功。然而，对于视频中的动作识别，它们相对于传统方法的优势并不明显。我们提出了一个通用的和灵活的视频级框架，用于学习视频中的动作模型。这种方法，称为时间段网络（TSN），旨在建立一个新的基于段的采样和聚合模块的长期时间结构。这种独特的设计使我们的TSN能够通过使用整个动作视频来有效地学习动作模型。学习的模型可以很容易地适应动作识别修剪和未修剪的视频与简单的平均池和多尺度时间窗口集成，分别。在有限的训练样本下，我们还研究了TSN框架实例化的一系列良好实践。我们的方法在四个具有挑战性的动作识别基准上获得了最先进的性能：HMDB 51（71.0%），UCF 101（94.9%），THUMOS 14（80.1%）和ActivityNet v1.2（89.6%）。使用所提出的运动模型的RGB差异，我们的方法仍然可以在UCF 101（91.0%）上实现有竞争力的准确性，同时以340 FPS运行。此外，基于时间段网络，我们在2016年ActivityNet挑战赛中赢得了24个团队的视频分类赛道，这证明了TSN的有效性和提出的良好实践。
2017-05-08 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
人体姿态是精细运动动作理解的一个有用特征。然而，姿态估计往往是不可靠的，当运行在体育视频由于域移位和因素，如运动模糊和遮挡。当下游任务（例如动作识别）依赖于姿势时，这导致准确性差。端到端学习绕过了pose，但需要更多的标签来泛化。我们介绍了视频姿态蒸馏（VPD），这是一种弱监督技术，用于学习新视频领域的特征，例如挑战姿态估计的个人运动。在VPD下，学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征，这样，只要姿势被认为是可靠的，这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分，利用原始视频帧中丰富的视觉模式，同时学习与运动员在目标视频域中的姿势和运动一致的特征，以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能，而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition
Shanghai Jiao Tong University（上海交通大学）
静态图像动作识别的目的是基于单个图像识别动作，通常依赖于昂贵的人工标记工作，例如足够的标记动作图像和大规模的标记图像数据集。相比之下，可以经济地获得大量未标记的视频。因此，一些工作已经探索使用未标记的视频，以促进图像动作识别，这可以分为以下两类：（a）增强视觉表示的动作图像上的未标记的视频，这属于自监督学习的范围内设计的代理任务;（b）生成辅助表示的动作图像从未标记的视频学习。在本文中，我们将上述两种策略集成在一个统一的框架中，该框架由视觉表示增强（VRE）模块和运动表示增强（MRA）模块组成。具体地说，VRE模块包括一个代理任务，该任务对未标记视频施加伪运动标签约束和时间相干性约束，而MRA模块则利用未标记视频预测静态动作图像的运动信息。我们证明了我们的框架的优势，基于四个基准人类动作数据集有限的标记数据。
2019-12-01 cs.CV
VideoLSTM Convolves, Attends and Flows for Action Recognition
University of Amsterdam（阿姆斯特丹大学）
我们提出了一个新的架构，用于视频中动作的端到端序列学习，我们称之为VideoLSTM。我们不是让视频适应已建立的递归或卷积架构的特性，而是让架构适应视频媒体的要求。从软注意力LSTM开始，VideoLSTM做出了三个新的贡献。首先，视频具有空间布局。为了利用空间相关性，我们在软注意力LSTM架构中硬连接卷积。第二，运动不仅告诉我们动作的内容，而且更好地引导注意力到相关的时空位置。我们引入基于运动的注意力。最后，我们演示了如何通过仅依赖于action class label来将VideoLSTM的attention用于action本地化。在具有挑战性的动作分类和定位数据集上的实验和比较支持了我们的主张。
2016-07-06 cs.CV
