Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的动作识别深度神经网络，除了分类之外，它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟，但我们仍在探索网络拓扑和功能，以处理更丰富的视频剪辑环境。在这里，我们解决了动作识别中的多速度问题，并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤，适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
FrameExit: Conditional Early Exiting for Efficient Video Recognition
Qualcomm AI Research（高通人工智能研究院）
在本文中，我们提出了一个有条件的早期退出框架，有效的视频识别。虽然现有的工作集中在选择一个子集的显着帧，以减少计算成本，我们建议使用一个简单的采样策略结合有条件的提前退出，使有效的识别。我们的模型会自动学习处理更少的帧来处理更简单的视频，处理更多的帧来处理复杂的视频。为了实现这一点，我们采用了级联的门控模块，以自动确定最早的点在处理中的推断是足够可靠的。我们生成的飞行监督信号的大门，以提供一个动态的准确性和计算成本之间的权衡。我们提出的模型在三个大规模视频基准测试中优于竞争方法。特别是，在ActivityNet1.3和mini-kinetics上，我们分别以1.3 $\times$和2.1 $\times$更少的GFLOP优于最先进的高效视频识别方法。此外，我们的方法为HVU基准的高效视频理解设定了一个新的艺术状态。
2021-04-27 cs.CV cs.LG
TinyVIRAT: Low-resolution Video Action Recognition
University of Central Florida（中佛罗里达大学）
现有的动作识别研究主要集中在动作清晰可见的高质量视频上。在现实世界的监控环境中，视频中的动作是以各种分辨率捕获的。大多数活动发生在一个小的分辨率距离和识别这样的活动是一个具有挑战性的问题。在这项工作中，我们专注于识别视频中的微小动作。我们介绍了一个基准数据集，TinyVIRAT，其中包含自然的低分辨率活动。TinyVIRAT视频中的动作有多个标签，它们是从监控视频中提取的，这使得它们更逼真，更具挑战性。我们提出了一种新的方法来识别视频中的微小动作，该方法利用渐进式生成方法来提高低分辨率动作的质量。所提出的方法还包括一个弱训练的注意力机制，它有助于集中在视频中的活动区域。我们进行了大量的实验，基准测试所提出的TinyVIRAT数据集，并观察到所提出的方法显着提高了动作识别性能的基线。我们还评估了所提出的方法在综合调整大小的动作识别数据集，并实现了最先进的结果与现有的方法相比。数据集和代码可在https://github.com/UgurDemir/Tiny-VIRAT上公开获得。
2020-07-14 cs.CV eess.IV
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
Tencent Hunyuan（腾讯文言）；City University of Hong Kong（香港城市大学）
EffectMaker通过统一推理生成框架实现定制化视觉效果创建，利用多模态模型和扩散变换器提升效果质量和一致性，构建大规模数据集增强泛化能力。
2026-03-06 cs.CV
IC-Effect: Precise and Efficient Video Effects Editing via In-Context Learning
School of Information and Communication Engineering, Communication University of China（中国通信大学信息与通信工程学院）；Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Baidu Inc., Beijing, China（百度公司）
IC-Effect通过上下文学习实现高效视频特效编辑，能精准保留背景并合成复杂特效，提升视频创作的可能性。
2025-12-17 cs.AI cs.CV
A New Action Recognition Framework for Video Highlights Summarization in Sporting Events
Louisiana State University（路易斯安那州立大学）
迄今为止，用于视频中的人类动作识别的机器学习已经在体育活动中广泛实施。尽管过去的一些研究取得了成功，但精度仍然是最重要的问题。在这项研究中，我们提出了一个高精度的框架，通过使用基于两个经典的开源结构，即，YOLO-v3和OpenPose。实验结果表明，通过使用少量的体育视频训练数据，我们的方法可以准确地进行体育活动亮点裁剪。与以往的系统相比，我们的方法显示出一定的优势，在准确性。本研究可作为一种新的剪辑系统，以扩大视频摘要在体育领域的潜在应用，以及促进比赛分析系统的发展。
2020-12-01 cs.CV cs.LG
Two-Stream RNN/CNN for Action Recognition in 3D Videos
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Volkswagen Group（大众汽车集团）；German Aerospace Center (DLR)（德国航空航天中心）
从视频序列中识别动作在健康监测、辅助生活、监控和灵巧家庭中有许多应用。尽管在传感方面取得了进展，特别是与3D视频相关的进展，但处理数据的方法仍有待研究。我们展示了优越的结果，结合了循环神经网络与卷积神经网络的投票方法的系统。基于门控递归单元的神经网络特别适合区分基于长期信息的动作和光学跟踪数据; 3D-CNN更关注视频数据中的详细、最新信息。所得到的特征被合并到SVM中，然后SVM对运动进行分类。在这种架构中，我们的方法在标准数据集上将最先进方法的识别率提高了14%。
2018-10-02 cs.CV cs.LG
Automated Video Segmentation Machine Learning Pipeline
Image Engine Design Inc.（图像引擎设计公司）
本文提出一种自动化视频分割流水线，利用机器学习实现文本提示目标检测、逐帧分割和视频跟踪，生成时间一致的实例掩码，通过容器化部署减少人工并提升VFX制作效率。
2025-07-09 cs.CV
Few-shot Action Recognition via Intra- and Inter-Video Information Maximization
Shanghai Jiao Tong University（上海交通大学）；Heriot-Watt University（赫瑞-瓦特大学）
针对少样本动作识别中视频内与视频间信息利用不足的问题，提出VIM框架，通过自适应时空采样器和时空对齐模型分别最大化两类信息，并引入互信息损失，在公开数据集上验证了有效性。
2023-05-10 cs.AI cs.CV cs.LG
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
RGB Video Based Tennis Action Recognition Using a Deep Historical Long Short-Term Memory
Xiamen University of Technology（厦门理工学院）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，基于RGB输入的动作识别技术在虚拟网球比赛、网球技战术视频分析等运动的人体模拟和统计方面具有潜在的应用价值，因此受到越来越多的关注。最近，基于深度学习的方法在动作识别方面取得了令人鼓舞的性能。本文提出了一种采用加权长短期记忆和卷积神经网络表示的三维网球击球识别方法。首先，使用预先训练的Inception网络从每个视频帧单独提取局部二维卷积神经网络空间表示。然后，引入加权的长短期记忆解码器以采用时间t的输出状态和时间t-1的历史嵌入特征来使用得分加权方案生成特征向量。最后，我们使用所采用的CNN和加权LSTM将原始视觉特征映射到向量空间，以生成视觉序列的时空语义描述并对动作视频内容进行分类。在基准测试上的实验表明，我们的方法只使用简单的原始RGB视频可以实现更好的性能比国家的最先进的基线网球拍识别。
2018-09-25 cs.CV cs.LG stat.ML
EgoSurgery-Phase: A Dataset of Surgical Phase Recognition from Egocentric Open Surgery Videos
Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）
针对开放手术阶段识别研究不足及相关公开数据集稀缺的问题，提出含15小时视频和眼动数据的EgoSurgery-Phase数据集，并设计凝视引导的掩码自编码器（GGMAE），在该数据集上显著提升识别性能。
2024-11-27 cs.AI cs.CV cs.LG
Zero-Shot Activity Recognition with Videos
KU Leuven（鲁汶大学）；TU Munich（慕尼黑工业大学）
在本文中，我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面，我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面，我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后，流形学习能力衡量平均最近邻重叠。最后，我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
Interpretable Spatio-temporal Attention for Video Action Recognition
University of British Columbia（不列颠哥伦比亚大学）；Tsinghua University（清华大学）
受观察到人类能够有效地处理视频，只注意在哪里和何时需要的启发，我们提出了一个可解释的和简单的插件时空注意力机制的视频动作识别。对于空间注意力，我们学习了一个显着性掩码，使模型能够专注于特征图中最显着的部分。对于时间注意力，我们采用基于卷积LSTM的注意力机制来识别输入视频中最相关的帧。此外，我们提出了一组正则化，以确保我们的注意力机制出席在空间和时间的连贯区域。我们的模型不仅提高了视频动作识别的准确性，而且在空间和时间上都定位了有区别的区域，尽管是以弱监督的方式训练的，只有分类标签（没有限界框标签或时间帧时间标签）。我们评估了我们的方法在几个公共视频动作识别数据集与消融研究。此外，我们定量和定性地评估我们的模型的能力，本地化的歧视性地区的空间和关键帧的时间。实验结果证明了我们的方法的有效性，表现出优越的或可比的准确性与国家的最先进的方法，同时增加模型的可解释性。
2019-06-03 cs.CV cs.LG stat.ML
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore（新加坡国立大学）；NEC Corporation（日本电气股份有限公司）
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景，这赋予了监控场景的潜力。然而，全方位视频分析的研究已经落后于硬件的进步。在这项工作中，我们解决的重要问题，在顶视360 $^{\circ}$视频的动作识别。由于宽视场，360 $^{\circ}$视频通常捕获多个人同时执行动作。此外，人的外表是畸形的。该框架首先将全向视频转换为全景视频，然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法，该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验，定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究，我们引入了360Action，这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University（德里理工大学）
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外，实时分析具有低质量的视频，并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此，它需要一个更强大和集成的模型，用于低质量和夜间安全操作。在此背景下，我们提出了一种混合模型的光照不变的人体活动识别的基础上，子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后，在三个人工降级的低质量Weizmann动作，KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术，并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量，然后用于分类。为了取得成功，网络必须能够抑制不相关的场景背景，并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD（TA-VLAD），这是一种具有内置空间注意力的深度递归架构，可以执行时间聚合的VLAD编码，用于视频中的动作识别。我们采用自上而下的注意力方法，通过使用从深度CNN获得的类特定激活图，该深度CNN为图像分类进行预训练，在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University（安娜大学）
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别，特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段：环境模型，对象表示，对象跟踪，活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
A Comprehensive Study of Deep Video Action Recognition
Amazon Web Services（亚马逊云科技）
视频动作识别是视频理解的代表性任务之一。在过去的十年中，由于深度学习的出现，我们见证了视频动作识别的巨大进步。但我们也遇到了新的挑战，包括对视频中的长距离时间信息进行建模，高计算成本以及由于数据集和评估协议差异而导致的无法比较的结果。在本文中，我们对现有的200多篇关于视频动作识别的深度学习的论文进行了全面的调查。我们首先介绍了影响模型设计的17个视频动作识别数据集。然后，我们按时间顺序介绍视频动作识别模型：从适应深度学习的早期尝试开始，然后是双流网络，然后是采用3D卷积核，最后是最近的计算效率模型。此外，我们在几个有代表性的数据集上对流行的方法进行基准测试，并发布代码以实现可重复性。最后，我们讨论了开放的问题，并阐明了视频动作识别的机会，以促进新的研究思路。
2020-12-11 cs.CV cs.MM
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank（资本银行）；Khazar University（哈扎尔大学）；Consumer Experience Tribe（消费者体验部落）；Lumos Extension（Lumos扩展）；School of Data（数据学院）
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用，如监控，机器人，医疗保健，视频搜索和人机交互。在视频中识别人的动作存在许多问题，例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据，并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab（之江实验室）
针对视频识别忽视类别层次结构的问题，本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架，并构建了中风康复细粒度基准，显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
本文提出S3Aug视频数据增强方法，通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频，增强时间一致性，在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Curvature: A signature for Action Recognition in Video Sequences
Johns Hopkins University（约翰斯·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的人体动作识别特征，即视频序列的曲率。以这种方式，对顺序数据的分布进行建模，这使得能够进行少样本学习。我们的算法不依赖于识别图像中的特征，而是将动作视为整个图像序列中通用时间尺度上的序列。视频序列，被看作是一个曲线在像素空间中，通过重新参数化对齐使用弧长的曲线在像素空间中。一旦获得这样的曲率，统计指标被提取并馈送到基于学习的分类器中。总的来说，我们的方法简单但强大。初步的实验结果表明，我们的方法是有效的，并达到了最先进的性能在基于视频的人体动作识别。此外，我们看到了将这种想法转移到其他基于序列的识别应用中的潜力，如语音识别，机器翻译和文本生成。
2019-06-16 cs.CV
Action Recognition from Single Timestamp Supervision in Untrimmed Videos
University of Bristol（布里斯托大学）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
识别视频中的动作依赖于训练过程中的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获得成本也很高。弱视频级监督已成功地用于未修剪视频中的识别，但当训练视频中不同动作的数量增加时，它受到挑战。我们提出了一种方法，是由位于每个动作实例周围的单个时间戳，在未修剪的视频监督。我们取代昂贵的动作界与采样分布初始化这些时间戳。然后，我们使用分类器的响应迭代更新采样分布。我们证明，这些分布收敛到歧视性的动作段的位置和程度。我们在三个数据集上评估了我们的方法，用于细粒度识别，每个视频的不同动作数量越来越多，并表明单个时间戳在识别性能和标记工作之间提供了合理的折衷，执行了完整的时间监督。我们的更新方法将top-1测试准确率提高了5.4%。在评估的数据集上。
2019-04-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Multi-model learning by sequential reading of untrimmed videos for action recognition
Nagoya Institute of Technology（名古屋工业大学）
本研究针对动作识别任务，提出一种顺序读取未修剪视频、依次输入多模型并通过联邦学习同步的视频学习方法，可降低片段相关性，相比无同步方案提升了性能。
2024-01-26 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Distantly Supervised Semantic Text Detection and Recognition for Broadcast Sports Videos Understanding
Yahoo! Research（雅虎研究院）；Microsoft（微软）
全面理解多人体育直播视频中的关键球员和动作是一个具有挑战性的问题。与新闻或财经视频不同，体育视频的文本有限。虽然多人体育运动的动作识别和运动员检测都已经有了强大的研究，但理解视频帧中的上下文文本仍然是体育视频理解最有效的途径之一。在这项工作中，我们研究了非常准确的语义文本检测和识别运动时钟，其中的挑战。我们观察到运动时钟的独特属性，这使得它很难利用通用的预训练检测器和识别器，以便文本可以被准确地理解到用于与外部知识对齐的程度。我们提出了一种新的远程监督技术来自动构建体育时钟数据集。随着适当的数据增强，结合任何国家的最先进的文本检测和识别模型架构，我们提取非常准确的语义文本。最后，我们分享了我们的计算架构管道，以在工业环境中扩展该系统，并提出了一个强大的数据集来验证我们的结果。
2021-10-31 cs.CV cs.IR cs.LG
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta（阿尔伯塔大学）
视频处理由于其在视频摘要、动作识别等方面的各种应用，已经成为计算机视觉中的热门研究方向。最近，基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而，这些方法需要处理完整的视频序列来识别动作，即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外，这些不必要的帧增加了计算成本，并可能混淆动作识别中的方法。相反，被称为关键帧的重要帧不仅有助于动作的识别，而且还可以减少用于分类或其他应用（例如摘要）的每个视频序列的处理时间。同样，视频处理中的当前方法尚未以在线方式展示。基于上述原因，我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头，从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块，使用语义词向量作为输入，以及关键帧和一种新的训练/测试策略的分类模型。据我们所知，这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明，使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
Procedural Generation of Videos to Train Deep Action Recognition Networks
NAVER LABS Europe（NAVER欧洲实验室）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Toyota Research Institute（丰田研究院）
用于视频中人类动作识别的深度学习正在取得重大进展，但由于依赖于对大型视频集合进行昂贵的手动标记，因此进展缓慢。在这项工作中，我们研究了动作识别的合成训练数据的生成，因为它最近在各种其他计算机视觉任务中显示出了有希望的结果。我们提出了一个可解释的参数生成模型，依赖于现代游戏引擎的程序生成和其他计算机图形技术的人类动作视频。我们生成了一个多样化的，现实的，物理上合理的人类动作视频数据集，称为PHAV的“程序人类动作视频”。它总共包含39，982个视频，35个类别的每个动作有1，000多个示例。我们的方法不限于现有的运动捕捉序列，我们程序定义14个合成动作。我们引入了一个深度的多任务表示学习架构来混合合成和真实视频，即使动作类别不同。我们在UCF101和HMDB51基准测试上的实验表明，将我们的大量合成视频与小型真实世界数据集相结合可以提高识别性能，显著优于最先进的无监督视频生成模型。
2017-07-19 cs.CV
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Temporal Sequence Distillation: Towards Few-Frame Action Recognition in Videos
Wuhan University（武汉大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视频分析软件即服务（VA SaaS）近年来发展迅速。VA SaaS通常由用户使用轻量级客户端访问。由于客户端和云端之间的传输带宽通常是有限且昂贵的，因此在有限的数据传输需求下设计云视频分析算法带来了很大的好处。虽然有相当多的研究已经致力于视频分析，据我们所知，很少有人注意到SaaS中的传输带宽限制。作为在这个方向上的第一次尝试，这项工作引入了一个问题，少帧动作识别，其目的是保持高的识别精度，在训练和测试过程中访问只有几帧。不同于以往的工作，处理密集帧，我们提出了时间序列蒸馏（TSD），它蒸馏成一个非常短的传输长的视频序列。通过使用3D CNN进行视频动作识别的端到端训练，TSD学习了视频帧的紧凑且有区别的时间和空间表示。在Kinetics数据集上，与最先进的视频动作识别算法I3D相比，TSD+I3D通常只需要50%的帧数就可以达到几乎相同的精度。建议的TSD有三个吸引人的优点。首先，TSD具有轻量级的架构，可以部署在客户端，例如。移动设备来产生压缩的代表帧以节省传输带宽。其次，TSD显著减少了在云上使用压缩帧运行视频动作识别的计算，同时保持了高识别精度。第三，TSD可以作为任何现有3D CNN的预处理模块插入。大量的实验表明了TSD的有效性和特点。
2018-08-15 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
The THUMOS Challenge on Action Recognition for Videos "in the Wild"
University of Central Florida（中佛罗里达大学）；Stanford University（斯坦福大学）；Fudan University（复旦大学）；Google Research（谷歌研究院）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）
自动识别和定位大范围的人类动作对于视频理解具有至关重要的意义。为了实现这一目标，2013年推出了THUMOS挑战，作为行动认可的基准。在此之前，视频动作识别，包括THUMOS挑战，主要集中在预分割的分类（即，修剪）视频，这是一项人工任务。在THUMOS 2014中，我们通过引入时间上未修剪的视频将动作识别提升到更实用的水平。这些也包括“背景视频”，它们与动作视频有着相似的场景和背景，但没有具体的动作。2013- 2015年举办的三届挑战赛使THUMOS成为行动分类和检测的共同基准，来自世界各地的团队广泛参加了年度挑战赛。在本文中，我们详细描述了THUMOS基准，并给出了一个概述的数据汇集和注释程序。我们提出了评估协议，用于量化的结果在两个THUMOS任务的动作分类和时间检测。我们还介绍了THUMOS 2015挑战赛的结果，并回顾了参与方法。此外，我们还包括一项全面的实证研究，评估修剪和未修剪视频之间的动作识别差异，以及修剪视频上训练的方法如何推广到未修剪视频。最后，我们提出了几个方向和改进，为未来的THUMOS挑战。
2016-04-21 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University（中山大学）；Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练，这是劳动密集型和耗时的。对于同一个动作，从不同媒体类型学习的知识，例如，视频和图像可以是相关的和互补的。然而，由于视频和图像之间的域转移和异构特征表示，在图像上训练的分类器的性能可能会显着下降时，直接部署到视频。在本文中，我们提出了一种名为深度图像到视频自适应和融合网络（DIVAFN）的新方法，通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型，它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说，我们设计了一个有效的跨模态相似性度量，以减少图像，关键帧和视频之间的模态转移。然后，我们采用自动编码器架构，其隐藏层被约束为动作类名的语义表示。通过这种方式，当采用自编码器将来自不同域的学习特征投影到同一空间时，可以获得更紧凑、信息量更大且具有区分性的表示。最后，从这三个自编码器的学习语义特征表示的级联用于训练分类器，用于视频中的动作识别。在四个真实世界数据集上的综合实验表明，我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
Faster and Accurate Compressed Video Action Recognition Straight from the Frequency Domain
人类动作识别由于其广泛的应用，如监控、医疗、工业环境、灵巧家庭等，已经成为计算机视觉中最活跃的研究领域之一。最近，深度学习已成功用于学习强大且可解释的特征，以识别视频中的人类动作。大多数现有的深度学习方法已经被设计用于将视频信息处理为RGB图像序列。由于这个原因，需要初步解码过程，因为视频数据通常以压缩格式存储。然而，对视频进行解码需要高计算负载和存储器使用。为了克服这个问题，我们提出了一种能够直接从压缩视频中学习的深度神经网络。我们的方法在两个公共基准测试（UCF-101和HMDB-51数据集）上进行了评估，证明了与最先进方法相当的识别性能，其优势是推理速度快2倍。
2020-12-26 cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology（国防科技大学）
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题，在流行的时间段网络（TSN）框架的基础上，提出了用于动作识别的信息融合时间变换网络（IF-TTN）。在网络中，信息融合模块（IFM）被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征，形成短期视频描述符。以融合特征为输入，采用时间变换网络（TTN）来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构，因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果：UCF 101和HMDB 51。实证研究表明，我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流，性能与基于流的方法相当，而测试速度提高了10倍。
2019-04-11 cs.CV
Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition
USTC（中国科学技术大学）；Microsoft Research（微软研究院）
视频增强和动作识别中的一个关键挑战是融合相邻帧中的有用信息。最近的工作建议在融合时间信息之前在相邻帧之间建立准确的对应关系。然而，生成的结果在很大程度上取决于对应性估计的质量。在本文中，我们提出了一个更强大的解决方案：跨邻域帧的\emph{sampling and fusing multi-level features}来生成结果。基于这一思想，我们引入了一个新的模块，以提高三维卷积的能力，即可学习的采样三维卷积（\emph{LS3D-Conv}）。我们将可学习的2D偏移量添加到3D卷积中，旨在跨帧对空间特征图上的位置进行采样。可以针对特定任务学习偏移。\emph{LS3D-Conv}可以灵活地替换现有3D网络中的3D卷积层，并获得新的架构，该架构在多个特征级别上学习采样。在视频插值、视频超分辨率、视频去噪和动作识别等方面的实验证明了该方法的有效性。
2020-11-22 cs.CV
A Training Method For VideoPose3D With Ideology of Action Recognition
Zhejiang University – University of Illinois at Urbana-Champaign Institute, ZJUI（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI））
视频中的动作识别和姿态估计与理解人体运动密切相关，但更多的文献集中在如何从动作识别中单独解决姿态估计任务。该研究为VideoPose3D提供了一种基于动作识别的更快速、更灵活的训练方法。该模型被馈送与将被估计的类型相同类型的动作，并且可以单独训练不同类型的动作。有证据表明，对于常见的姿态估计任务，该模型需要相对少量的数据来执行与原始研究相似的结果，对于面向动作的任务，它比原始研究高出4.5%，而MPJPE的速度误差的感受野大小和训练时期有限。该模型可以处理面向动作和常见的姿态估计问题。
2022-06-13 cs.CV
Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
GTM: Gray Temporal Model for Video Recognition
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
数据输入方式在视频动作识别中起着重要的作用。通常，有三种类型的输入：RGB，流和压缩数据。本文提出了一种新的输入方式：灰度流。具体地说，以RGB大小相同的连续3幅灰度图像作为输入，不仅可以跳过视频解码数据到RGB的转换过程，而且可以在零计算和零参数的情况下提高时空建模能力。同时，我们提出了一个一维身份逐层时空卷积（1D-ICSC），它在可控的计算预算（通过参数G & R）内捕获通道特征级的时间关系。最后，我们证实了它的有效性和效率的几个动作识别基准，如动力学，东西，HMDB-51和UCF-101，并取得了令人印象深刻的结果。
2021-10-20 cs.CV
