VideoLT: Large-scale Long-tailed Video Recognition
Fudan University（复旦大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Maryland（马里兰大学）
现实世界中的标签分布通常是长尾和不平衡的，导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务，有限的努力已经取得了视频域。在本文中，我们介绍了VideoLT，一个大规模的长尾视频识别数据集，作为迈向真实世界视频识别的一步。我们的VideoLT包含256，218个未修剪的视频，注释为1，004个具有长尾分布的类。通过广泛的研究，我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳，由于视频数据中的额外的时间维度。这促使我们提出FrameStack，一个简单而有效的方法长尾视频识别任务。特别是，FrameStack在帧级执行采样，以平衡类分布，并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明，FrameStack可以提高分类性能，而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University（印第安纳大学）
在本文中，我们介绍了一个具有挑战性的新数据集，MLB-YouTube，专为细粒度活动检测而设计。该数据集包含两个设置：分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构，通过分类分割的视频和扩展这些方法，以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现，学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
Deep Feature Flow for Video Recognition
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
深度卷积神经网络在图像识别任务上取得了巨大成功。然而，将最先进的图像识别网络转移到视频中并非易事，因为每帧评估太慢且负担不起。我们提出了深度特征流，这是一个快速准确的视频识别框架。它仅在稀疏关键帧上运行昂贵的卷积子网络，并通过流场将其深度特征映射传播到其他帧。它实现了显着的加速，因为流计算相对较快。整个架构的端到端训练显著提高了识别准确率。深度特征流具有灵活性和通用性。在最近的两个大规模视频数据集上进行了验证。它向实用的视频识别迈出了一大步。
2017-06-05 cs.CV
Automated Bridge Component Recognition using Video Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了利用视频数据自动识别桥梁结构构件。虽然理解用于结构检查的视频数据对于人类检查员来说是简单的，但是使用机器学习方法来执行相同的任务还没有完全实现。特别地，当图像是特写视图时，不期望诸如卷积神经网络（CNN）的单帧图像处理技术准确地识别结构组件，缺乏关于图像在结构上的何处起源的上下文信息。在视频处理技术的重大进展的启发下，本研究探讨了使用视频数据的自动桥梁组件识别，其中来自过去帧的信息用于增强对当前帧的理解。创建新的模拟视频数据集来训练机器学习算法。然后，卷积神经网络（CNN）与循环结构的设计和应用，以实现自动桥梁构件识别任务。结果模拟视频数据，以及在现场收集的视频。
2018-09-28 cs.CV
SlowFast Networks for Video Recognition
Facebook AI Research (FAIR)（脸书人工智能研究院（FAIR））
我们提出了用于视频识别的SlowFast网络。我们的模型涉及（i）以低帧速率操作以捕获空间语义的慢路径，以及（ii）以高帧速率操作以捕获精细时间分辨率的运动的快路径。Fast路径可以通过减少其信道容量而变得非常轻量，但可以学习用于视频识别的有用的时间信息。我们的模型在视频中的动作分类和检测方面都取得了很好的性能，并且通过我们的慢快概念做出了很大的改进。我们在主要的视频识别基准测试，Kinetics，Charades和AVA上报告了最先进的准确性。代码已在https://github.com/facebookresearch/SlowFast上提供
2019-10-29 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Alberta（阿尔伯塔大学）
针对视频暴力识别任务，提出基于强化学习路由器的视觉Transformer混合专家系统，结合大型与高效Transformer架构，在RWF数据集上准确率达92.4%，优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System（中国科学院地理空间信息处理与应用系统技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
我们研究的视频超分辨率（SR）的问题，以促进视频分析任务，例如动作识别，而不是视觉质量。基于卷积网络的流行动作识别方法，例如双流网络，不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救，这促使我们改进SR过程以提高识别精度。针对双流动作识别网络，我们提出了两种视频SR方法，分别用于空间流和时间流。一方面，我们观察到，与行动的区域是更重要的识别，我们提出了一个光流引导加权均方误差损失我们的空间导向SR（SoSR）网络，以强调运动物体的重建。另一方面，我们观察到现有的视频SR方法会导致帧之间的时间不连续性，这也会影响识别精度，因此我们提出了一个连体网络用于我们的面向时间的SR（ToSR）训练，强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明，我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota（明尼苏达大学）
本文提出一种与网络架构无关的自视视频关键步骤识别框架，通过将输入稳定为以手部为中心的视频，在Ego-Exo4D细粒度基准上超越现有基线，无需改动底层模型。
2025-06-01 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Video-Mined Task Graphs for Keystep Recognition in Instructional Videos
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta 基础人工智能研究实验室）
本文提出从教学视频中自动挖掘任务图以建模关键步骤间的概率关系，并利用该图正则化新视频中的关键步骤识别，在多个数据集上实现了超越现有方法的零样本定位与视频表示学习性能。
2023-10-29 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Automated Surgical Activity Recognition with One Labeled Sequence
Johns Hopkins University（约翰斯·霍普金斯大学）
先前的工作已经证明了在机器人辅助手术中从运动数据自动识别活动的可行性。然而，这些努力已经假设了大量密集注释序列的可用性，这些序列必须由专家手动提供。这个过程是乏味的，昂贵的，并且容易出错。在本文中，我们提出了第一个分析的假设下，稀缺的注释，其中只有一个注释序列可用于训练。我们证明了在这种具有挑战性的环境中自动识别的可行性，并且我们表明，在识别阶段之前，以无监督的方式学习表示会导致性能的显着提高。此外，我们的论文对社区提出了一个新的挑战：在这个重要但相对未开发的制度中，我们能把性能推得更远吗？
2019-07-20 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore（新加坡国立大学）；NEC Corporation（日本电气股份有限公司）
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景，这赋予了监控场景的潜力。然而，全方位视频分析的研究已经落后于硬件的进步。在这项工作中，我们解决的重要问题，在顶视360 $^{\circ}$视频的动作识别。由于宽视场，360 $^{\circ}$视频通常捕获多个人同时执行动作。此外，人的外表是畸形的。该框架首先将全向视频转换为全景视频，然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法，该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验，定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究，我们引入了360Action，这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
ICANet: A Method of Short Video Emotion Recognition Driven by Multimodal Data
Zhengzhou University（郑州大学）；school of Cyber Science and Engineering（网络与数据科学学院）
针对单模态短视频情感识别准确率低、相似情绪难区分的问题，提出融合音频、视频、光流三模态的ICANet方法，在IEMOCAP基准上准确率达80.77%，超现有SOTA方法15.89%。
2024-12-09 cs.CV
View while Moving: Efficient Video Recognition in Long-untrimmed Videos
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
针对长未修剪视频识别中两阶段范式效率低的问题，提出“移动中观看”单次访问范式，结合粗粒度采样与细粒度识别的统一时空建模及分层机制，在准确率和效率上超越现有方法。
2024-03-20 cs.CV
Early Recognition of Human Activities from First-Person Videos Using Onset Representations
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们提出了一种方法，从第一人称视角拍摄的视频中早期识别人类活动。早期识别，也称为活动预测，是一种在早期阶段推断正在进行的活动的能力。我们提出了一种算法来执行识别的活动针对摄像头从流媒体视频，使系统预测预期的活动的互动的人，并避免有害的事件发生之前，他们实际上发生。我们引入了新的概念“发病”，有效地总结了活动前的观察，并设计了一种方法来考虑事件的历史，除了正在进行的视频观察早期第一人称识别的活动。我们建议使用时间序列梯度的级联直方图来表示发病，我们描述了一种新的算法设置，以利用发病的早期识别活动。实验结果清楚地表明，所提出的概念的发病能够更好地/更早地识别人类活动的第一人称视频。
2015-07-06 cs.CV
Understanding Video Content: Efficient Hero Detection and Recognition for the Game "Honor of Kings"
Tencent Inc.（腾讯公司）
为了理解内容并自动提取“王者荣耀”游戏视频的标签，需要检测和识别游戏视频中的角色（称为“英雄”）及其阵营。在本文中，我们提出了一个有效的两阶段算法来检测和识别游戏视频中的英雄。首先，我们检测所有的英雄在视频帧的基础上的血条模板匹配方法，并根据其阵营（自己/朋友/敌人）进行分类。然后我们使用一个或多个深度卷积神经网络识别每个英雄的名字。我们的方法几乎不需要在识别阶段标记训练和测试样本。实验表明，该方法在游戏视频中的英雄检测和识别中具有较高的效率和准确性。
2019-07-18 cs.CV
Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling
Fudan University（复旦大学）；Microsoft Cloud&AI（微软云与人工智能）
基于transformer的模型在主要的视频识别基准测试中取得了最佳性能。由于自注意力机制的引入，这些模型比基于CNN的模型具有更强的建模能力。然而，显着的计算开销，导致自注意力的二次复杂性上的一个巨大的令牌，限制了现有的视频Transformers在资源有限的应用程序，如移动设备的使用。在本文中，我们将Mobile-Former扩展为Video Mobile-Former，它将视频架构扩展为用于本地上下文建模的轻量级3D-CNN和用于并行全局交互建模的Transformer模块。为了避免在视频中的大量局部补丁之间计算自我注意力所引起的显著计算成本，我们提出使用非常少的全局令牌（例如，6)对于Transformers中的整个视频，使用交叉注意力机制与3D-CNN交换信息。通过高效的全局时空建模，Video Mobile-Former显着提高了替代轻量级基线的视频识别性能，并在各种视频识别任务中，在500 M至6 G总FLOP的低FLOP范围内优于其他基于CNN的高效模型。值得注意的是，Video Mobile-Former是第一个基于Transformer的视频模型，它将计算预算限制在1G FLOP以内。
2022-08-25 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University（北京航空航天大学）
在本文中，我们首先解决的问题，行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题，提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的，两个新的大规模的视频数据集与扩展的属性定义，基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University（德里理工大学）
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外，实时分析具有低质量的视频，并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此，它需要一个更强大和集成的模型，用于低质量和夜间安全操作。在此背景下，我们提出了一种混合模型的光照不变的人体活动识别的基础上，子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后，在三个人工降级的低质量Weizmann动作，KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术，并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology（北京理工大学）；Big Data Research Center, University of Electronic Science and Technology of China（电子科技大学大数据研究中心）
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务，视频往往是无标签的，注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频，而不是人工注释。然而，由于域转移和异构特征表示的问题，在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中，我们提出了一种新的方法，称为分层生成对抗网络（HiGAN），以增强视频中的识别（即，目标域）通过从图像转移知识（即，源域）。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习，我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明，与现有的领域自适应方法相比，该方法是有效的.
2018-05-11 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Fast Approximate Modelling of the Next Combination Result for Stopping the Text Recognition in a Video
Smart Engines Service LLC（智能引擎服务有限责任公司）；FRC CSC RAS（俄罗斯科学院联邦研究中心计算机科学与控制研究所）；MIPT（莫斯科物理技术学院）
在本文中，我们考虑了一个任务，停止视频流识别过程中的文本字段，其中每一帧是独立的识别和个人的结果结合在一起。视频流识别停止问题是关于计算机视觉的一个研究不足的主题，但它与构建高性能视频识别系统的相关性是显而易见的。首先，我们描述了一种现有的方法，最佳地停止这样一个过程的基础上建模的下一个组合的结果。然后，我们描述的近似和假设，使我们能够建立一个优化的计算方案，从而获得一个方法，降低了计算复杂性。该方法进行了评估的任务，文件文本字段识别和任意文本识别的视频。实验比较表明，引入的近似不降低质量的停止方法在实现的组合结果精度方面，同时大大减少了所需的时间，使停止的决定。两个文本识别任务的结果是一致的。
2020-08-06 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量，然后用于分类。为了取得成功，网络必须能够抑制不相关的场景背景，并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD（TA-VLAD），这是一种具有内置空间注意力的深度递归架构，可以执行时间聚合的VLAD编码，用于视频中的动作识别。我们采用自上而下的注意力方法，通过使用从深度CNN获得的类特定激活图，该深度CNN为图像分类进行预训练，在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University（安娜大学）
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别，特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段：环境模型，对象表示，对象跟踪，活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Bangla Text Recognition from Video Sequence: A New Focus
Indian Statistical Institute（印度统计研究所）
从视频帧图像中提取和识别孟加拉语文本是具有挑战性的，由于复杂的颜色背景，低分辨率等。本文提出了一种算法，孟加拉语文本提取和识别这样的视频帧具有复杂的背景。在这里，提出了一个两步走的方法。首先，使用基于线轮廓的信息将文本行分割成单词。文本块的一阶梯度值用于查找单词间隙。接下来，对每个单词应用局部二值化技术，并使用这些单词重建文本行。其次，这个二值化的文本块被发送到OCR用于识别目的。
2014-01-06 cs.CV
Feature Learning for Interaction Activity Recognition in RGBD Videos
University of Science（科学大学）
本文提出了一种基于特征的人体活动识别方法，该方法从三维视频数据中学习，而不需要结合领域知识。对RGBD相机收集的数据进行的实验产生了优于其他技术的结果。我们的特征编码方法遵循视觉词袋模型，然后我们使用SVM分类器来识别活动。我们不使用骨架或跟踪信息，相同的技术应用于颜色和深度数据。
2015-08-10 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University（密歇根州立大学）
递归网络已经成功地分析了时间数据，并已被广泛用于视频分析。然而，对于视频人脸识别，在大规模数据上训练的基本CNN已经提供了有区别的特征，使用长短期记忆（LSTM），一种流行的递归网络，进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络（REAN）集到集人脸识别。与LSTM相比，REAN对过拟合具有鲁棒性，因为它只学习如何聚合预训练的嵌入，而不是从头开始学习表示。与质量感知的聚合方法相比，REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明，所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
An Automated Size Recognition Technique for Acetabular Implant in Total Hip Replacement
Universiti Kebangsaan Malaysia（马来西亚国民大学）
全髋关节置换术（THR）中的术前模板是一种估计植入物最佳尺寸和位置的方法。今天，观察（手动）尺寸识别技术仍用于为患者找到合适的植入物。因此，应开发数字化和自动化技术，以便能够有效地实施植入物尺寸识别过程。为此，我们在THR术前计划中引入了基于髋臼尺寸直径的髋臼植入物尺寸识别新技术。该技术使外科医生能够自动识别数字髋臼植入物尺寸。随机选择10名身份不明患者的X线片，用于测试自动植入物尺寸识别技术的准确性和实用性。根据测试结果，新技术在9项研究中（90%）获得了与观察方法非常接近的结果。
2011-04-30 cs.CV
Cross Euclidean-to-Riemannian Metric Learning with Application to Face Recognition from Video
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology（计算技术研究所）；Swiss Federal Institute of Technology（瑞士联邦理工学院）
黎曼流形已被广泛用于视频表示的视觉分类任务，包括基于视频的人脸识别。成功主要来自学习判别黎曼度量编码的非线性几何的基本黎曼流形。在本文中，我们提出了一种新的度量学习框架，用于学习欧氏空间和黎曼流形上的距离度量，以融合一个视频中人脸的平均外观和模式变化。所提出的度量学习框架可以处理基于视频的人脸识别的三个典型任务：Video-to-Still、Still-to-Video和Video-to-Video设置。为了实现这个新的框架，通过利用典型的黎曼几何的内核嵌入，我们映射到一个共同的欧氏空间和黎曼流形的源欧氏空间，每个通过相应的高维再生核希尔伯特空间（RKHS）。通过这种映射，学习两个源异构空间之间的交叉视图度量的问题可以表示为学习目标公共欧几里得空间中的单视图欧几里得距离度量。通过使用共享标签学习异构数据上的信息，公共空间中的判别度量提高了视频中的人脸识别。在四个具有挑战性的视频人脸数据库上进行的大量实验表明，该框架在三个经典的基于视频的人脸识别任务中具有明显的优势。
2017-01-06 cs.CV
Key-frame Guided Network for Thyroid Nodule Recognition using Ultrasound Videos
Frontline Intelligent Technology (Nanjing) Co.,Ltd.（南京锋线智能科技有限公司）；Xiangya Hospital, Central South University（中南大学湘雅医院）
超声检查广泛应用于甲状腺结节（良/恶性）的临床诊断。然而，准确性在很大程度上依赖于放射科医生的经验。尽管已经研究了深度学习技术用于甲状腺结节识别。目前的解决方案主要基于静态超声图像，使用的时间信息有限，与临床诊断不一致。本文提出了一种新的方法，通过详尽的探索超声视频和关键帧的甲状腺结节的自动识别。我们首先提出了一个检测定位框架，自动识别临床关键帧与一个典型的结节在每个超声视频。在此基础上，提出了一种基于关键帧定位的甲状腺结节视频分类模型。此外，我们引入了一个运动注意模块，以帮助网络专注于超声视频中的重要帧，这与临床诊断是一致的。所提出的甲状腺结节识别框架在临床收集的超声视频上进行了验证，与其他最先进的方法相比，表现出优越的性能。
2022-06-30 cs.CV
Suspicious Object Recognition Method in Video Stream Based on Visual Attention
Fudan University（复旦大学）
我们提出了一种基于人类视觉注意力的智能对象识别和视频监控的最新方法。在感兴趣目标（显著图）的获取和目标识别过程中分别采用了自底向上的和自顶向下的注意。对4通道PFT方法进行了修正，使其具有自底向上的注意力，提高了速度和精度。利用返回抑制（IOR）来判断显著对象的弹出顺序.在判断目标是否匹配和可疑时，综合考虑了颜色分布的欧氏距离、目标中心坐标和速度。对视频和图像的大量测试表明，该方法在视频分析中具有较高的精度和较快的速度。该方法可应用于视频监控、安防等领域。
2013-08-23 cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此，对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法，熟悉的场景识别自我中心的视频，通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
本文提出S3Aug视频数据增强方法，通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频，增强时间一致性，在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Curvature: A signature for Action Recognition in Video Sequences
Johns Hopkins University（约翰斯·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的人体动作识别特征，即视频序列的曲率。以这种方式，对顺序数据的分布进行建模，这使得能够进行少样本学习。我们的算法不依赖于识别图像中的特征，而是将动作视为整个图像序列中通用时间尺度上的序列。视频序列，被看作是一个曲线在像素空间中，通过重新参数化对齐使用弧长的曲线在像素空间中。一旦获得这样的曲率，统计指标被提取并馈送到基于学习的分类器中。总的来说，我们的方法简单但强大。初步的实验结果表明，我们的方法是有效的，并达到了最先进的性能在基于视频的人体动作识别。此外，我们看到了将这种想法转移到其他基于序列的识别应用中的潜力，如语音识别，机器翻译和文本生成。
2019-06-16 cs.CV
Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling
Nanjing University（南京大学）；Microsoft Research（微软研究院）；AIR, Tsinghua University（清华大学AIR）
针对流式视频中多尺度未裁剪连续活动识别难题，提出CARS系统，通过自适应时空上下文建模、空间特征提取和活动感知状态更新，在边缘设备上实现超过30 FPS的高效识别并显著提升准确率。
2025-03-13 cs.CV
Domain Generalization for Improved Human Activity Recognition in Office Space Videos Using Adaptive Pre-processing
Bangladesh University of Engineering and Technology (BUET)（孟加拉工程技术大学）；Center for Bioengineering Innovation and Design (CBID)（生物工程创新与设计中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对办公视频中训练与测试域不同导致的活动识别难题，提出三种可适配任意视频编码器的预处理技术，结合 MViT 等模型显著提升未见域上的多项指标并优于域适应方法。
2025-03-16 cs.CV
Action Recognition from Single Timestamp Supervision in Untrimmed Videos
University of Bristol（布里斯托大学）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
识别视频中的动作依赖于训练过程中的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获得成本也很高。弱视频级监督已成功地用于未修剪视频中的识别，但当训练视频中不同动作的数量增加时，它受到挑战。我们提出了一种方法，是由位于每个动作实例周围的单个时间戳，在未修剪的视频监督。我们取代昂贵的动作界与采样分布初始化这些时间戳。然后，我们使用分类器的响应迭代更新采样分布。我们证明，这些分布收敛到歧视性的动作段的位置和程度。我们在三个数据集上评估了我们的方法，用于细粒度识别，每个视频的不同动作数量越来越多，并表明单个时间戳在识别性能和标记工作之间提供了合理的折衷，执行了完整的时间监督。我们的更新方法将top-1测试准确率提高了5.4%。在评估的数据集上。
2019-04-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Multi-model learning by sequential reading of untrimmed videos for action recognition
Nagoya Institute of Technology（名古屋工业大学）
本研究针对动作识别任务，提出一种顺序读取未修剪视频、依次输入多模型并通过联邦学习同步的视频学习方法，可降低片段相关性，相比无同步方案提升了性能。
2024-01-26 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Hierarchical Modeling for Task Recognition and Action Segmentation in Weakly-Labeled Instructional Videos
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文重点关注弱标记教学视频中的任务识别和动作分割，其中在训练期间仅提供视频级动作的有序序列。我们提出了一个双流框架，它利用语义和时间层次结构来识别教学视频中的顶级任务。此外，我们提出了一种新的自上而下的弱监督动作分割方法，其中预测任务用于约束细粒度动作序列的推理。在流行的Breakfast and Cooking 2数据集上的实验结果表明，我们的双流分层任务建模在所有数据集和指标的顶级任务识别中显着优于现有方法。此外，在所提出的自上而下的动作分割方法中使用我们的任务识别框架，始终提高了最新技术水平，同时还将分割推理时间减少了80- 90%。
2021-10-12 cs.CV
Context-aware Cascade Attention-based RNN for Video Emotion Recognition
Emotibot Inc.（Emotibot公司）
在构建人机交互（HCI）系统时，情感识别可以在许多应用中提供关于用户的关键信息。目前视觉情感识别的研究大多集中在人脸特征的探索上。然而，包括周围环境和人体的上下文信息也可以提供额外的线索，以更准确地识别情感。受神经机器翻译的“序列到序列模型”的启发，提出了一种新的递归神经网络结构--“CACA-RNN”。该网络由两个级联结构的RNN组成，用于处理上下文和面部信息，以执行视频情感分类。该模型的结果被提交给多模态情感识别挑战赛（MEC 2017）的视频情感识别子挑战赛。CACA-RNN优于MEC 2017基线（mAP为21.7%）：在仅视频挑战的测试集上，它实现了45.51%的mAP。
2018-05-30 cs.CV
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
