Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Oxford（牛津大学）；Tsinghua University（清华大学）；Toronto Metropolitan University（多伦多都会大学）
针对视频模型训练成本高及图像-视频域差距问题，本文提出 Tem-Adapter，通过时序对齐器和语义对齐器迁移图文预训练知识，并在两个 VideoQA 基准上验证其显著性能提升。
2023-08-16 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
M2-CLIP: A Multimodal, Multi-task Adapting Framework for Video Action Recognition
Zhejiang University（浙江大学）；Technical University of Munich（慕尼黑工业大学）；State Grid Corporation of China（国家电网公司）；Baidu Inc（百度）
本文提出M2-CLIP多模态多任务适配框架，通过视觉TED-Adapter、文本适配器和多监督信号解码器，在视频动作识别中兼顾监督性能与零样本泛化。
2024-01-22 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore（新加坡国立大学）；NEC Corporation（日本电气股份有限公司）
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景，这赋予了监控场景的潜力。然而，全方位视频分析的研究已经落后于硬件的进步。在这项工作中，我们解决的重要问题，在顶视360 $^{\circ}$视频的动作识别。由于宽视场，360 $^{\circ}$视频通常捕获多个人同时执行动作。此外，人的外表是畸形的。该框架首先将全向视频转换为全景视频，然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法，该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验，定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究，我们引入了360Action，这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University（德里理工大学）
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外，实时分析具有低质量的视频，并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此，它需要一个更强大和集成的模型，用于低质量和夜间安全操作。在此背景下，我们提出了一种混合模型的光照不变的人体活动识别的基础上，子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后，在三个人工降级的低质量Weizmann动作，KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术，并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量，然后用于分类。为了取得成功，网络必须能够抑制不相关的场景背景，并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD（TA-VLAD），这是一种具有内置空间注意力的深度递归架构，可以执行时间聚合的VLAD编码，用于视频中的动作识别。我们采用自上而下的注意力方法，通过使用从深度CNN获得的类特定激活图，该深度CNN为图像分类进行预训练，在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University（安娜大学）
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别，特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段：环境模型，对象表示，对象跟踪，活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Seeing in Flowing: Adapting CLIP for Action Recognition with Motion Prompts Learning
Tencent YouTu Lab（腾讯优图实验室）
本文提出通过双流运动建模、动态运动提示学习和多模态通信模块适配CLIP，在少样本、零样本和闭集动作识别中取得领先性能。
2023-08-09 cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
本文提出S3Aug视频数据增强方法，通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频，增强时间一致性，在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Curvature: A signature for Action Recognition in Video Sequences
Johns Hopkins University（约翰斯·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的人体动作识别特征，即视频序列的曲率。以这种方式，对顺序数据的分布进行建模，这使得能够进行少样本学习。我们的算法不依赖于识别图像中的特征，而是将动作视为整个图像序列中通用时间尺度上的序列。视频序列，被看作是一个曲线在像素空间中，通过重新参数化对齐使用弧长的曲线在像素空间中。一旦获得这样的曲率，统计指标被提取并馈送到基于学习的分类器中。总的来说，我们的方法简单但强大。初步的实验结果表明，我们的方法是有效的，并达到了最先进的性能在基于视频的人体动作识别。此外，我们看到了将这种想法转移到其他基于序列的识别应用中的潜力，如语音识别，机器翻译和文本生成。
2019-06-16 cs.CV
Action Recognition from Single Timestamp Supervision in Untrimmed Videos
University of Bristol（布里斯托大学）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
识别视频中的动作依赖于训练过程中的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获得成本也很高。弱视频级监督已成功地用于未修剪视频中的识别，但当训练视频中不同动作的数量增加时，它受到挑战。我们提出了一种方法，是由位于每个动作实例周围的单个时间戳，在未修剪的视频监督。我们取代昂贵的动作界与采样分布初始化这些时间戳。然后，我们使用分类器的响应迭代更新采样分布。我们证明，这些分布收敛到歧视性的动作段的位置和程度。我们在三个数据集上评估了我们的方法，用于细粒度识别，每个视频的不同动作数量越来越多，并表明单个时间戳在识别性能和标记工作之间提供了合理的折衷，执行了完整的时间监督。我们的更新方法将top-1测试准确率提高了5.4%。在评估的数据集上。
2019-04-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Multi-model learning by sequential reading of untrimmed videos for action recognition
Nagoya Institute of Technology（名古屋工业大学）
本研究针对动作识别任务，提出一种顺序读取未修剪视频、依次输入多模型并通过联邦学习同步的视频学习方法，可降低片段相关性，相比无同步方案提升了性能。
2024-01-26 cs.CV
Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；ByteDance Inc.（字节跳动公司）
本文提出Mug-STAN框架，通过解耦时空模块实现可泛化的时序建模，并利用互引导对齐模块抑制视频-文本错位，有效将图像-语言预训练模型扩展至通用视频理解，在多个下游数据集上取得SOTA零样本与微调结果并实现零样本视频聊天。
2023-11-25 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta（阿尔伯塔大学）
视频处理由于其在视频摘要、动作识别等方面的各种应用，已经成为计算机视觉中的热门研究方向。最近，基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而，这些方法需要处理完整的视频序列来识别动作，即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外，这些不必要的帧增加了计算成本，并可能混淆动作识别中的方法。相反，被称为关键帧的重要帧不仅有助于动作的识别，而且还可以减少用于分类或其他应用（例如摘要）的每个视频序列的处理时间。同样，视频处理中的当前方法尚未以在线方式展示。基于上述原因，我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头，从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块，使用语义词向量作为输入，以及关键帧和一种新的训练/测试策略的分类模型。据我们所知，这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明，使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
Procedural Generation of Videos to Train Deep Action Recognition Networks
NAVER LABS Europe（NAVER欧洲实验室）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Toyota Research Institute（丰田研究院）
用于视频中人类动作识别的深度学习正在取得重大进展，但由于依赖于对大型视频集合进行昂贵的手动标记，因此进展缓慢。在这项工作中，我们研究了动作识别的合成训练数据的生成，因为它最近在各种其他计算机视觉任务中显示出了有希望的结果。我们提出了一个可解释的参数生成模型，依赖于现代游戏引擎的程序生成和其他计算机图形技术的人类动作视频。我们生成了一个多样化的，现实的，物理上合理的人类动作视频数据集，称为PHAV的“程序人类动作视频”。它总共包含39，982个视频，35个类别的每个动作有1，000多个示例。我们的方法不限于现有的运动捕捉序列，我们程序定义14个合成动作。我们引入了一个深度的多任务表示学习架构来混合合成和真实视频，即使动作类别不同。我们在UCF101和HMDB51基准测试上的实验表明，将我们的大量合成视频与小型真实世界数据集相结合可以提高识别性能，显著优于最先进的无监督视频生成模型。
2017-07-19 cs.CV
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Temporal Sequence Distillation: Towards Few-Frame Action Recognition in Videos
Wuhan University（武汉大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视频分析软件即服务（VA SaaS）近年来发展迅速。VA SaaS通常由用户使用轻量级客户端访问。由于客户端和云端之间的传输带宽通常是有限且昂贵的，因此在有限的数据传输需求下设计云视频分析算法带来了很大的好处。虽然有相当多的研究已经致力于视频分析，据我们所知，很少有人注意到SaaS中的传输带宽限制。作为在这个方向上的第一次尝试，这项工作引入了一个问题，少帧动作识别，其目的是保持高的识别精度，在训练和测试过程中访问只有几帧。不同于以往的工作，处理密集帧，我们提出了时间序列蒸馏（TSD），它蒸馏成一个非常短的传输长的视频序列。通过使用3D CNN进行视频动作识别的端到端训练，TSD学习了视频帧的紧凑且有区别的时间和空间表示。在Kinetics数据集上，与最先进的视频动作识别算法I3D相比，TSD+I3D通常只需要50%的帧数就可以达到几乎相同的精度。建议的TSD有三个吸引人的优点。首先，TSD具有轻量级的架构，可以部署在客户端，例如。移动设备来产生压缩的代表帧以节省传输带宽。其次，TSD显著减少了在云上使用压缩帧运行视频动作识别的计算，同时保持了高识别精度。第三，TSD可以作为任何现有3D CNN的预处理模块插入。大量的实验表明了TSD的有效性和特点。
2018-08-15 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
The THUMOS Challenge on Action Recognition for Videos "in the Wild"
University of Central Florida（中佛罗里达大学）；Stanford University（斯坦福大学）；Fudan University（复旦大学）；Google Research（谷歌研究院）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）
自动识别和定位大范围的人类动作对于视频理解具有至关重要的意义。为了实现这一目标，2013年推出了THUMOS挑战，作为行动认可的基准。在此之前，视频动作识别，包括THUMOS挑战，主要集中在预分割的分类（即，修剪）视频，这是一项人工任务。在THUMOS 2014中，我们通过引入时间上未修剪的视频将动作识别提升到更实用的水平。这些也包括“背景视频”，它们与动作视频有着相似的场景和背景，但没有具体的动作。2013- 2015年举办的三届挑战赛使THUMOS成为行动分类和检测的共同基准，来自世界各地的团队广泛参加了年度挑战赛。在本文中，我们详细描述了THUMOS基准，并给出了一个概述的数据汇集和注释程序。我们提出了评估协议，用于量化的结果在两个THUMOS任务的动作分类和时间检测。我们还介绍了THUMOS 2015挑战赛的结果，并回顾了参与方法。此外，我们还包括一项全面的实证研究，评估修剪和未修剪视频之间的动作识别差异，以及修剪视频上训练的方法如何推广到未修剪视频。最后，我们提出了几个方向和改进，为未来的THUMOS挑战。
2016-04-21 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University（中山大学）；Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练，这是劳动密集型和耗时的。对于同一个动作，从不同媒体类型学习的知识，例如，视频和图像可以是相关的和互补的。然而，由于视频和图像之间的域转移和异构特征表示，在图像上训练的分类器的性能可能会显着下降时，直接部署到视频。在本文中，我们提出了一种名为深度图像到视频自适应和融合网络（DIVAFN）的新方法，通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型，它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说，我们设计了一个有效的跨模态相似性度量，以减少图像，关键帧和视频之间的模态转移。然后，我们采用自动编码器架构，其隐藏层被约束为动作类名的语义表示。通过这种方式，当采用自编码器将来自不同域的学习特征投影到同一空间时，可以获得更紧凑、信息量更大且具有区分性的表示。最后，从这三个自编码器的学习语义特征表示的级联用于训练分类器，用于视频中的动作识别。在四个真实世界数据集上的综合实验表明，我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
Faster and Accurate Compressed Video Action Recognition Straight from the Frequency Domain
人类动作识别由于其广泛的应用，如监控、医疗、工业环境、灵巧家庭等，已经成为计算机视觉中最活跃的研究领域之一。最近，深度学习已成功用于学习强大且可解释的特征，以识别视频中的人类动作。大多数现有的深度学习方法已经被设计用于将视频信息处理为RGB图像序列。由于这个原因，需要初步解码过程，因为视频数据通常以压缩格式存储。然而，对视频进行解码需要高计算负载和存储器使用。为了克服这个问题，我们提出了一种能够直接从压缩视频中学习的深度神经网络。我们的方法在两个公共基准测试（UCF-101和HMDB-51数据集）上进行了评估，证明了与最先进方法相当的识别性能，其优势是推理速度快2倍。
2020-12-26 cs.CV
A Comprehensive Study of Deep Video Action Recognition
Amazon Web Services（亚马逊云科技）
视频动作识别是视频理解的代表性任务之一。在过去的十年中，由于深度学习的出现，我们见证了视频动作识别的巨大进步。但我们也遇到了新的挑战，包括对视频中的长距离时间信息进行建模，高计算成本以及由于数据集和评估协议差异而导致的无法比较的结果。在本文中，我们对现有的200多篇关于视频动作识别的深度学习的论文进行了全面的调查。我们首先介绍了影响模型设计的17个视频动作识别数据集。然后，我们按时间顺序介绍视频动作识别模型：从适应深度学习的早期尝试开始，然后是双流网络，然后是采用3D卷积核，最后是最近的计算效率模型。此外，我们在几个有代表性的数据集上对流行的方法进行基准测试，并发布代码以实现可重复性。最后，我们讨论了开放的问题，并阐明了视频动作识别的机会，以促进新的研究思路。
2020-12-11 cs.CV cs.MM
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank（资本银行）；Khazar University（哈扎尔大学）；Consumer Experience Tribe（消费者体验部落）；Lumos Extension（Lumos扩展）；School of Data（数据学院）
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用，如监控，机器人，医疗保健，视频搜索和人机交互。在视频中识别人的动作存在许多问题，例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据，并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab（之江实验室）
针对视频识别忽视类别层次结构的问题，本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架，并构建了中风康复细粒度基准，显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM
Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出DIG框架，根据查询类型调整帧选择策略，通过高效均匀采样处理全局查询，利用专用流程提取相关帧处理局部查询，提升长视频理解性能。
2026-03-24 cs.AI cs.CV cs.LG
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术，但通常缺乏真实世界的效率评估。在这项工作中，我们填补了这一空白，并调查使用Transformers进行有效的动作识别。我们提出了一种新的，轻量级的动作识别架构，VideoLightFormer。以因子分解的方式，我们使用Transformers仔细扩展了2D卷积时间段网络，同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一，在那里他们要么应用巨大的Transformers的视频功能，或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同，保持Transformer模型小，但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2（SSV 2）数据集上对VideoLightFormer进行了高效率的评估，发现除了SSV 2上的Temporal Shift Module之外，它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
Exploring Explainability in Video Action Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视频动作识别领域可解释性研究不足的问题，本文提出基于TCAV的Video-TCAV方法量化概念重要性，设计机器辅助概念生成方案，并验证时变概念的价值，构建了可定量测试动作识别假设的框架，推动该领域可解释性研究。
2024-04-13 cs.AI cs.CV
Action recognition in real-world videos
Information Technology University（信息技术大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
人体动作识别的目标是在时间或空间上定位视频序列中感兴趣的人体动作。时间定位（即，指示视频中动作的开始帧和结束帧）被称为帧级检测。空间定位更具有挑战性，意味着识别每个动作帧内与动作相对应的像素。此设置通常称为像素级检测。在本章中，我们可以交替使用action、activity和event。
2020-04-22 cs.CV eess.IV
Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的动作识别深度神经网络，除了分类之外，它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟，但我们仍在探索网络拓扑和功能，以处理更丰富的视频剪辑环境。在这里，我们解决了动作识别中的多速度问题，并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤，适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School（人工智能研究生院）；Ulsan National Institute of Science & Technology（蔚山国家科学技术研究院）
针对半监督视频动作识别中单一模态的局限性，提出同时利用视觉和音频的视听半监督框架，并引入考虑跨模态关系的声源定位引导 Mixup 方法，在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
FrameExit: Conditional Early Exiting for Efficient Video Recognition
Qualcomm AI Research（高通人工智能研究院）
在本文中，我们提出了一个有条件的早期退出框架，有效的视频识别。虽然现有的工作集中在选择一个子集的显着帧，以减少计算成本，我们建议使用一个简单的采样策略结合有条件的提前退出，使有效的识别。我们的模型会自动学习处理更少的帧来处理更简单的视频，处理更多的帧来处理复杂的视频。为了实现这一点，我们采用了级联的门控模块，以自动确定最早的点在处理中的推断是足够可靠的。我们生成的飞行监督信号的大门，以提供一个动态的准确性和计算成本之间的权衡。我们提出的模型在三个大规模视频基准测试中优于竞争方法。特别是，在ActivityNet1.3和mini-kinetics上，我们分别以1.3 $\times$和2.1 $\times$更少的GFLOP优于最先进的高效视频识别方法。此外，我们的方法为HVU基准的高效视频理解设定了一个新的艺术状态。
2021-04-27 cs.CV cs.LG
TinyVIRAT: Low-resolution Video Action Recognition
University of Central Florida（中佛罗里达大学）
现有的动作识别研究主要集中在动作清晰可见的高质量视频上。在现实世界的监控环境中，视频中的动作是以各种分辨率捕获的。大多数活动发生在一个小的分辨率距离和识别这样的活动是一个具有挑战性的问题。在这项工作中，我们专注于识别视频中的微小动作。我们介绍了一个基准数据集，TinyVIRAT，其中包含自然的低分辨率活动。TinyVIRAT视频中的动作有多个标签，它们是从监控视频中提取的，这使得它们更逼真，更具挑战性。我们提出了一种新的方法来识别视频中的微小动作，该方法利用渐进式生成方法来提高低分辨率动作的质量。所提出的方法还包括一个弱训练的注意力机制，它有助于集中在视频中的活动区域。我们进行了大量的实验，基准测试所提出的TinyVIRAT数据集，并观察到所提出的方法显着提高了动作识别性能的基线。我们还评估了所提出的方法在综合调整大小的动作识别数据集，并实现了最先进的结果与现有的方法相比。数据集和代码可在https://github.com/UgurDemir/Tiny-VIRAT上公开获得。
2020-07-14 cs.CV eess.IV
Few-shot Action Recognition via Intra- and Inter-Video Information Maximization
Shanghai Jiao Tong University（上海交通大学）；Heriot-Watt University（赫瑞-瓦特大学）
针对少样本动作识别中视频内与视频间信息利用不足的问题，提出VIM框架，通过自适应时空采样器和时空对齐模型分别最大化两类信息，并引入互信息损失，在公开数据集上验证了有效性。
2023-05-10 cs.AI cs.CV cs.LG
Zero-Shot Activity Recognition with Videos
KU Leuven（鲁汶大学）；TU Munich（慕尼黑工业大学）
在本文中，我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面，我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面，我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后，流形学习能力衡量平均最近邻重叠。最后，我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
AutoVideo: An Automated Video Action Recognition System
Rice University（莱斯大学）；Texas A&M University（得克萨斯农工大学）；ShanghaiTech University（上海科技大学）
动作识别是视频理解的一项重要任务，具有广泛的应用前景。然而，开发有效的动作识别解决方案通常需要大量的工程工作，以构建和测试模块及其超参数的不同组合。在这个演示中，我们展示了AutoVideo，一个用于自动视频动作识别的Python系统。AutoVideo的特点是：1）遵循标准管道语言的高度模块化和可扩展的基础设施，2）用于管道构建的原语的详尽列表，3）数据驱动的调谐器，以节省管道调谐的工作，以及4）易于使用的图形用户界面（GUI）。AutoVideo在MIT许可下发布，网址为https://github.com/datamllab/autovideo
2022-07-17 cs.CV cs.LG eess.IV
A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications
Peking University（北京大学）；Baidu Inc.（百度公司）
为了理解人类的行为，基于视频的动作识别是一种常用的方法。与基于图像的动作识别相比，视频提供了更多的信息。减少动作的模糊性，在过去的十年中，许多专注于数据集、新模型和学习方法的工作将视频动作识别提高到了一个更高的水平。然而，存在挑战和未解决的问题，特别是在体育分析中，其中数据汇集和标记更加复杂，需要体育专业人员对数据进行注释。此外，动作可能非常快，并且很难识别它们。此外，在足球和篮球等团队运动中，一个动作可能涉及多个球员，为了正确识别它们，我们需要分析所有球员，这相对复杂。在本文中，我们提出了一个调查视频动作识别体育分析。我们介绍了十多个运动项目，包括足球、篮球、排球、曲棍球等团队运动和花样滑冰、体操、乒乓球、网球、跳水、羽毛球等个人运动。然后，我们比较了现有的众多体育分析框架，目前的现状，在团队运动和个人运动的视频动作识别。最后，我们讨论了这一领域的挑战和未解决的问题，为了促进体育分析，我们使用PaddlePaddle开发了一个工具箱，支持足球，篮球，乒乓球和花样滑冰动作识别。
2022-06-02 cs.AI cs.CV cs.MM
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Spatiotemporal Action Recognition in Restaurant Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别是对视频中的动作进行定位和分类的任务。我们的项目将此任务应用于分析餐厅工作人员准备食物的视频片段，其潜在应用包括自动结账和库存管理。这些视频与研究人员习惯的标准化数据集截然不同，因为它们涉及小对象，快速动作和众所周知的不平衡数据类。我们探索两种方法。第一种方法涉及熟悉的对象检测器You Only Look Once，另一种方法应用最近提出的动作识别模拟，You Only Watch Once。首先，我们使用卷积LSTM设计并实现了一种新颖的、经常性的YOLO修改，并探索了这种网络训练中的各种微妙之处。在第二部分中，我们研究了YOWO三维卷积捕捉我们独特数据集的时空特征的能力
2020-08-25 cs.AI cs.CV cs.LG
Adapting Computer Vision Algorithms for Omnidirectional Video
JOANNEUM RESEARCH（约翰内姆研究所）
全方位（360°）视频已经非常流行，因为它提供了高度沉浸式的观看体验。对于计算机视觉算法，它提出了几个挑战，如通常采用的特殊（等矩形）投影和巨大的图像尺寸。在这项工作中，我们给出了一个高层次的概述，这些挑战和概述策略如何适应计算机视觉算法的全向视频的具体情况。
2019-07-22 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University（早稻田大学）
针对视频帧插值问题，提出条件编码器适配图像转视频扩散模型，集成双分支特征提取器与跨帧注意力机制捕捉时空信息，在FVD指标上优于现有方法，尤其提升大运动场景插值性能。
2025-02-17 cs.CV
