EgoSurgery-Phase: A Dataset of Surgical Phase Recognition from Egocentric Open Surgery Videos
Keio University(庆应义塾大学);Keio University School of Medicine(庆应义塾大学医学院)
针对开放手术阶段识别研究不足及相关公开数据集稀缺的问题,提出含15小时视频和眼动数据的EgoSurgery-Phase数据集,并设计凝视引导的掩码自编码器(GGMAE),在该数据集上显著提升识别性能。
2024-11-27 cs.AI cs.CV cs.LG
Robust Emotion Recognition from Low Quality and Low Bit Rate Video: A Deep Learning Approach
Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所);Texas A&M University(德克萨斯A&M大学);University of Missouri, Kansas City(密苏里大学堪萨斯城分校);Snap Inc(Snap公司);University of Washington(华盛顿大学)
从面部表情进行情感识别非常有用,特别是在与智能设备和无线多媒体应用相结合时。然而,网络带宽不足往往限制了传输视频的空间分辨率,这将严重降低识别的可靠性。我们开发了一个新的框架,以实现鲁棒的情感识别低比特率的视频。虽然视频帧在编码器侧被下采样,但解码器嵌入了深度网络模型,用于联合超分辨率(SR)和识别。值得注意的是,我们提出了一种新的最大混合训练策略,导致一个单一的“一对所有”模型,是非常强大的范围广泛的下采样因素。这使得我们的框架能够很好地适应实际传输场景中的不同带宽,而不会影响可扩展性或效率。在AVEC 2016基准上对所提出的框架进行了评估,并证明了与直接从LR帧识别或分离SR和识别相比,独立识别性能以及率失真(R-D)性能的显着改进。
2017-09-10 cs.AI cs.CV cs.LG
A Cluster-Matching-Based Method for Video Face Recognition
PUC-Rio(里约热内卢天主教大学)
人脸识别系统存在于我们日常生活中的许多现代解决方案和数千种应用中。然而,目前的解决方案不容易扩展,特别是在增加新的目标人群时。提出了一种基于聚类匹配的视频人脸识别方法。在我们的方法中,我们使用无监督学习对数据集和为人脸识别选择的目标视频中的人脸进行聚类。此外,我们设计了一个集群匹配启发式关联集群在这两个集,也能够识别当一个人的脸属于一个非注册的人。该方法在视频人脸识别中的召回率达到99.435%,准确率达到99.131%。除了执行人脸识别之外,它还可以用于确定每个人所在的视频片段。
2020-10-20 cs.AI cs.CV cs.LG
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank(资本银行);Khazar University(哈扎尔大学);Consumer Experience Tribe(消费者体验部落);Lumos Extension(Lumos扩展);School of Data(数据学院)
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用,如监控,机器人,医疗保健,视频搜索和人机交互。在视频中识别人的动作存在许多问题,例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据,并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
A Comparative Analysis of the Face Recognition Methods in Video Surveillance Scenarios
Havelsan Inc.(哈维尔桑公司)
面部识别是在实时应用中运行的各种安全系统的基础。在基于视频监控的人脸识别中,人脸图像通常在不受控制的条件下在多个帧上捕获;其中头部姿势、照明、阴影、运动模糊和焦点在序列上变化。我们可以概括为三个基本的操作涉及到人脸识别任务:人脸检测,人脸对齐和人脸识别。本研究通过使用相同的主干架构测试最先进的人脸识别方法,从而提供了比较基准表,以便仅关注人脸识别解决方案而不是网络架构。为此,我们构建了一个具有高年龄方差、类内方差(面部化妆、胡须等)的人脸ID视频监控数据集。与本地监控面部图像数据进行评估。另一方面,这项工作发现了不同条件下的最佳识别方法,如非蒙面脸,蒙面脸和戴眼镜的脸。
2022-11-05 cs.AI cs.CV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术,但通常缺乏真实世界的效率评估。在这项工作中,我们填补了这一空白,并调查使用Transformers进行有效的动作识别。我们提出了一种新的,轻量级的动作识别架构,VideoLightFormer。以因子分解的方式,我们使用Transformers仔细扩展了2D卷积时间段网络,同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一,在那里他们要么应用巨大的Transformers的视频功能,或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同,保持Transformer模型小,但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2(SSV 2)数据集上对VideoLightFormer进行了高效率的评估,发现除了SSV 2上的Temporal Shift Module之外,它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
Exploring Explainability in Video Action Recognition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对视频动作识别领域可解释性研究不足的问题,本文提出基于TCAV的Video-TCAV方法量化概念重要性,设计机器辅助概念生成方案,并验证时变概念的价值,构建了可定量测试动作识别假设的框架,推动该领域可解释性研究。
2024-04-13 cs.AI cs.CV
Spatiotemporal Action Recognition in Restaurant Videos
Carnegie Mellon University(卡内基梅隆大学)
时空动作识别是对视频中的动作进行定位和分类的任务。我们的项目将此任务应用于分析餐厅工作人员准备食物的视频片段,其潜在应用包括自动结账和库存管理。这些视频与研究人员习惯的标准化数据集截然不同,因为它们涉及小对象,快速动作和众所周知的不平衡数据类。我们探索两种方法。第一种方法涉及熟悉的对象检测器You Only Look Once,另一种方法应用最近提出的动作识别模拟,You Only Watch Once。首先,我们使用卷积LSTM设计并实现了一种新颖的、经常性的YOLO修改,并探索了这种网络训练中的各种微妙之处。在第二部分中,我们研究了YOWO三维卷积捕捉我们独特数据集的时空特征的能力
2020-08-25 cs.AI cs.CV cs.LG
Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的动作识别深度神经网络,除了分类之外,它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟,但我们仍在探索网络拓扑和功能,以处理更丰富的视频剪辑环境。在这里,我们解决了动作识别中的多速度问题,并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤,适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
Unsupervised Domain Adaptation for Face Recognition in Unlabeled Videos
NEC Labs America(NEC美国实验室);UC Merced(加州大学默塞德分校);Dalian University of Technology(大连理工大学);UC San Diego(加州大学圣迭戈分校)
尽管人脸识别技术取得了快速的进步,但基于静态图像的人脸识别和基于视频的人脸识别的性能之间仍然存在明显的差距,这是由于这两个领域之间的视觉质量存在巨大差异,以及难以管理各种大规模视频数据集。本文解决了这两个挑战,通过图像到视频的特征级领域自适应的方法,学习歧视性的视频帧表示。该框架利用大规模的未标记的视频数据,以减少不同领域之间的差距,同时从大规模标记的静止图像转移的歧视性知识。给定在图像域中预训练的人脸识别网络,通过(i)通过特征匹配将知识从网络提取到视频自适应网络,(ii)通过合成数据增强执行特征恢复,以及(iii)通过域对抗训练学习域不变特征来实现自适应。我们通过鉴别器引导的特征融合进一步提高性能,该融合提高了高质量帧,同时消除了因视频域特定因素而退化的帧。在YouTube Faces和IJB-A数据集上的实验表明,每个模块都有助于我们的特征级领域自适应框架,并大大提高了视频人脸识别的性能,以达到最先进的准确性。我们定性地证明了网络学习抑制视频中的各种伪影,如姿势,照明或遮挡,而无需对其进行明确的训练。
2017-08-07 cs.AI cs.CV
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School(人工智能研究生院);Ulsan National Institute of Science & Technology(蔚山国家科学技术研究院)
针对半监督视频动作识别中单一模态的局限性,提出同时利用视觉和音频的视听半监督框架,并引入考虑跨模态关系的声源定位引导 Mixup 方法,在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
FrameExit: Conditional Early Exiting for Efficient Video Recognition
Qualcomm AI Research(高通人工智能研究院)
在本文中,我们提出了一个有条件的早期退出框架,有效的视频识别。虽然现有的工作集中在选择一个子集的显着帧,以减少计算成本,我们建议使用一个简单的采样策略结合有条件的提前退出,使有效的识别。我们的模型会自动学习处理更少的帧来处理更简单的视频,处理更多的帧来处理复杂的视频。为了实现这一点,我们采用了级联的门控模块,以自动确定最早的点在处理中的推断是足够可靠的。我们生成的飞行监督信号的大门,以提供一个动态的准确性和计算成本之间的权衡。我们提出的模型在三个大规模视频基准测试中优于竞争方法。特别是,在ActivityNet1.3和mini-kinetics上,我们分别以1.3 $\times$和2.1 $\times$更少的GFLOP优于最先进的高效视频识别方法。此外,我们的方法为HVU基准的高效视频理解设定了一个新的艺术状态。
2021-04-27 cs.CV cs.LG
Beyond Temporal Pooling: Recurrence and Temporal Convolutions for Gesture Recognition in Video
Ghent University(根特大学);Google DeepMind(谷歌DeepMind)
最近的研究已经证明了递归神经网络在机器翻译、图像描述和语音识别方面的强大功能。然而,对于捕获视频中的时间结构的任务,仍然存在许多开放的研究问题。目前的研究建议使用一个简单的时间特征池策略,以考虑到视频的时间方面。我们证明,这种方法是不够的手势识别,时间信息是更具歧视性相比,一般的视频分类任务。我们探索了视频中手势识别的深层架构,并提出了一种新的端到端可训练神经网络架构,该架构结合了时间卷积和双向递归。我们的主要贡献是双重的;首先,我们证明了递归对于这项任务至关重要;其次,我们证明了添加时间卷积会带来显着的改进。我们在Montalbano手势识别数据集上评估了不同的方法,在那里我们获得了最先进的结果。
2016-02-10 cs.AI cs.CV cs.LG
Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022
Huawei(华为);McMaster University(麦克马斯特大学);University of Manitoba(曼尼托巴大学)
在这项工作中,我们提出了ORBIT Few-Shot视频对象识别挑战赛2022的获奖解决方案。建立在ProtoNet基线,我们的方法的性能提高了三个有效的技术。这些技术包括嵌入自适应、视频片段统一采样和无效帧检测。此外,我们重新构建和重新实现了官方代码库,以鼓励模块化,兼容性和提高性能。我们的实现加速了训练和测试中的数据加载。
2022-10-01 cs.CV cs.LG
Deep video gesture recognition using illumination invariants
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了基于深度神经网络的视频手势识别架构,这些架构对局部缩放是不变的。我们使用自适应加权方案来合并自动编码器和预测器架构,以处理大小减小的标记数据集,同时从巨大的未标记集丰富我们的模型。我们进一步提高鲁棒性的光照条件下,通过引入一个新的自适应滤波器的时间局部尺度归一化的基础上。我们提供了优于已知方法的结果,包括最近报道的基于神经网络的方法。
2016-03-21 cs.CV cs.LG
Transfer Learning for Video Recognition with Scarce Training Data for Deep Convolutional Neural Network
无约束视频识别和深度卷积网络(Deep Convolution Network,DCN)是计算机视觉中的两个热点问题。在这项工作中,我们将DCN作为基于帧的识别器用于视频识别。然而,我们的初步研究表明,具有完整基础事实的视频语料库通常不够大,也不够多样,无法学习一个强大的模型。直接在视频数据集上训练的网络遭受显著的过拟合,并且在测试集上具有较差的识别率。同样缺乏训练样本的问题限制了深度模型在难以获得训练数据的各种计算机视觉问题上的使用。为了克服这个问题,我们执行从图像到视频的迁移学习,以利用弱标记图像语料库中的知识进行视频识别。图像语料库有助于学习自然图像的重要视觉模式,而这些模式被仅在视频语料库上训练的模型忽略。因此,所得到的网络具有更好的泛化能力和更好的识别率。我们表明,通过从图像到视频的迁移学习,我们可以学习一个基于帧的识别器,只有4k的视频。由于图像语料库是弱标记的,整个学习过程只需要4k个带注释的实例,这远远低于以前的作品所需要的百万级图像数据集。相同的方法可以应用于只有稀缺的训练数据可用的其他视觉识别任务,并且它提高了DCN在各种计算机视觉问题中的适用性。我们的实验还揭示了元参数与DCN性能之间的相关性,给出了目标问题和数据的属性。这些结果为今后的研究提供了一种启发式的元参数选择方法,它不依赖于耗时的元参数搜索。
2015-06-15 cs.CV cs.LG
Multi-language Video Subtitle Dataset for Image-based Text Recognition
Mahasarakham University(玛哈沙拉坎大学)
该研究构建了一个包含4,224张多语言字幕图像的数据集,涵盖157种字符,旨在支持复杂背景下多语言文字识别及深度学习模型的开发与评估。
2024-11-07 cs.AI cs.CV
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications(重庆邮电大学);Southwestern University of Finance and Economics(西南财经大学)
针对卷积神经网络在人脸表情识别过程中的局限性,提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成,包括胶囊编码器,胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息,并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明,本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video
Meta Reality Labs(Meta现实实验室);Imperial College London(帝国理工学院)
这项工作的重点是明显的情绪反应识别(AERR)从视频只有输入,在自我监督的方式进行。该网络首先在不同的自我监督借口任务上进行预训练,然后在下游目标任务上进行微调。自监督学习有助于使用预训练的架构和较大的数据集,这些数据集可能被认为不适合目标任务,但可能有助于学习信息表示,因此提供有用的初始化,以进一步微调更小更合适的数据。我们提出的贡献是两方面的:(1)分析不同的国家的最先进的(SOTA)借口任务的视频只有明显的情绪反应识别架构,以及(2)分析的各种组合的回归和分类损失,可能会进一步提高性能。这两个贡献一起导致当前最先进的性能的视频只有自发的明显的情绪反应识别与连续的注释。
2022-10-20 cs.CV cs.LG
Temporal-attentive Covariance Pooling Networks for Video Recognition
Dalian University of Technology(大连理工大学);Tianjin University(天津大学)
对于视频识别任务,一个全局表示概括的视频片段的整个内容起着重要的作用,最终的性能。然而,现有的视频架构通常通过使用简单的全局平均池化(GAP)方法来生成它,该方法捕获视频的复杂动态的能力有限。对于图像识别任务,有证据表明协方差池比GAP具有更强的表征能力。不幸的是,在图像识别中使用的这种普通协方差池是无序的代表,它不能建模视频中固有的时空结构。因此,本文提出了一种时间关注的协方差池(TCP),插入在深度架构的末尾,以产生强大的视频表示。具体来说,我们的TCP首先开发了一个时间注意力模块,以自适应地校准时空特征,用于随后的协方差池,近似地产生细心的协方差表示。然后,时间协方差池化执行关注协方差表示的时间池化,以表征校准特征的帧内相关性和帧间互相关。因此,所提出的TCP可以捕获复杂的时间动态。最后,一个快速的矩阵功率归一化引入利用几何的协方差表示。请注意,我们的TCP是模型不可知的,可以灵活地集成到任何视频架构中,从而使TCPNet能够进行有效的视频识别。对六个基准进行了广泛的实验(例如,Kinetics,Something-Something V1和Charades)使用各种视频架构显示我们的TCPNet明显优于其同行,同时具有较强的泛化能力。源代码是公开的。
2021-11-06 cs.CV cs.LG
Multiple Moving Object Recognitions in video based on Log Gabor-PCA Approach
Dayananda Sagar College of Engineering(达亚南达·萨加尔工程学院)
视频序列或图像中的目标识别是计算机视觉的一个分支。从视频序列中识别运动目标是一个很有吸引力的课题,在机场安全,入侵监视,视频监控,智能高速公路等领域的应用。运动目标识别是智能视频监控系统中最具挑战性的任务。在这方面,已经基于不同的方法提出了许多技术。尽管它的重要性,在复杂环境中的运动目标识别仍然远远没有完全解决低分辨率视频,雾视频,也暗淡的视频序列。总而言之,这些使得有必要开发非常强大的技术。本文介绍了多个运动目标识别的视频序列的基础上LoG的Gabor-PCA方法和角度的距离相似性措施的技术,用于识别对象作为一个人,车辆等进行了实验的数量为室内和室外的视频序列的标准数据集,也是我们自己收集的视频序列,包括部分夜视视频序列。实验结果表明,我们提出的方法取得了良好的识别率。所得结果令人满意且合格。
2014-07-03 cs.CV
Latent Bi-constraint SVM for Video-based Object Recognition
Imperial College London(帝国理工学院);Stony Brook University, SUNY(纽约州立大学石溪分校)
我们解决了从视频输入中识别对象的任务。与基于图像的对象识别相比,这个重要的问题相对未被探索。为此,我们作出以下贡献。首先,我们介绍了两个用于基于视频的对象识别的综合数据集。其次,我们提出了潜在的双约束SVM(LBSVM),一个基于视频的对象识别的最大间距框架。LBSVM是基于结构化输出SVM,但它扩展到处理噪声视频数据,并确保整个时间的输出决策的一致性。我们应用LBSVM识别办公室对象和博物馆雕塑,我们证明了它的好处,基于图像,基于集合,和其他基于视频的对象识别。
2016-05-31 cs.CV
VideoLT: Large-scale Long-tailed Video Recognition
Fudan University(复旦大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);University of Maryland(马里兰大学)
现实世界中的标签分布通常是长尾和不平衡的,导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务,有限的努力已经取得了视频域。在本文中,我们介绍了VideoLT,一个大规模的长尾视频识别数据集,作为迈向真实世界视频识别的一步。我们的VideoLT包含256,218个未修剪的视频,注释为1,004个具有长尾分布的类。通过广泛的研究,我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳,由于视频数据中的额外的时间维度。这促使我们提出FrameStack,一个简单而有效的方法长尾视频识别任务。特别是,FrameStack在帧级执行采样,以平衡类分布,并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明,FrameStack可以提高分类性能,而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别,但其中很少有针对动作识别的。我们提出的方法,ObjectMix,提取每个对象区域从两个视频使用实例分割,并将它们结合起来,以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性,并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
A New Action Recognition Framework for Video Highlights Summarization in Sporting Events
Louisiana State University(路易斯安那州立大学)
迄今为止,用于视频中的人类动作识别的机器学习已经在体育活动中广泛实施。尽管过去的一些研究取得了成功,但精度仍然是最重要的问题。在这项研究中,我们提出了一个高精度的框架,通过使用基于两个经典的开源结构,即,YOLO-v3和OpenPose。实验结果表明,通过使用少量的体育视频训练数据,我们的方法可以准确地进行体育活动亮点裁剪。与以往的系统相比,我们的方法显示出一定的优势,在准确性。本研究可作为一种新的剪辑系统,以扩大视频摘要在体育领域的潜在应用,以及促进比赛分析系统的发展。
2020-12-01 cs.CV cs.LG
Fine-grained Activity Recognition in Baseball Videos
Indiana University(印第安纳大学)
在本文中,我们介绍了一个具有挑战性的新数据集,MLB-YouTube,专为细粒度活动检测而设计。该数据集包含两个设置:分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构,通过分类分割的视频和扩展这些方法,以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现,学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Mobile Video Action Recognition
Renmin University of China(中国人民大学)
视频动作识别是计算机视觉和视频分析中的热门话题,旨在将短视频片段分配到预定义的类别,例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络,实现国家的最先进的结果,需要高性能的平台。尽管移动计算发展迅速,但移动设备上的视频动作识别尚未得到充分讨论。在本文中,我们专注于新的移动视频动作识别任务,只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态(包括I帧、运动矢量和残差),而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干,我们提出了一种新的时间三线性池(TTP)模块融合移动视频动作识别的多种形式。除了运动矢量,我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明,该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明,我们的模型优于现有的动作识别方法的模型大小和时间消耗,但具有竞争力的准确性。
2019-08-27 cs.CV
Exploring Ordinal Bias in Action Recognition for Instructional Videos
Korea Institute of Science and Technology(韩国科学技术院);Seoul National University(首尔国立大学)
本文提出两种方法探索教学视频中动作识别的序数偏差问题,通过实验揭示模型在面对非常规动作序列时的脆弱性,强调了重新设计评估策略和开发更通用模型的必要性。
2025-12-05 cs.AI cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park(马里兰大学帕克分校)
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类,但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化,基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景,用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题,我们提出了一个强大的和有效的系统,无约束的基于视频的人脸识别,这是由模块的人脸/基准检测,人脸关联,人脸识别。首先,我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组,特别是对于多镜头视频。最后,人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验,例如多生物识别大挑战(MBGC),面部和眼部挑战系列(FOCS),低质量监控视频的IARPA Janus监控视频基准(IJB-S)和多镜头视频的IARPA JANUS基准B(IJB-B),实验结果表明,该系统可以准确地从无约束视频中检测和关联人脸,并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt(达姆施塔特工业大学)
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架,它正在利用人脸识别来检测协作者,这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别,以提高检测精度。
2018-07-05 cs.CV
Heterogeneous Knowledge Transfer in Video Emotion Recognition, Attribution and Summarization
Fudan University(复旦大学);Disney Research(迪士尼研究院)
情感是用户生成视频的关键元素。然而,由于用户生成的内容的复杂性和非结构化性质以及表达情感的视频帧的稀疏性,难以理解在这样的视频中传达的情感。在本文中,我们第一次研究了从异构外部源(包括图像和文本数据)传输知识的问题,以促进理解视频情感的三个相关任务:情感识别,情感归因和面向情感的摘要。具体来说,我们的框架(1)从辅助情感图像数据集学习视频编码,以提高监督视频情感识别,以及(2)从辅助文本语料库中转移知识,用于在训练期间看不到的情感类的zero-shot识别。所提出的知识转移技术促进了情感归因和面向情感的摘要的新应用。在多个数据集上进行的一系列实验证明了该框架的有效性。
2018-02-20 cs.AI cs.CV cs.MM
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon(亚马逊);University of South Florida(南佛罗里达大学)
虽然视频动作识别多年来一直是一个活跃的研究领域,但zero-shot动作识别直到最近才开始获得关注。在这项工作中,我们提出了一种新的端到端训练的Transformer模型,该模型能够有效地捕获长距离时空依赖性,与使用3D-CNN的现有方法相反。此外,为了解决一个常见的模糊性,在现有的作品类,可以被认为是以前看不见的,我们提出了一个新的实验设置,满足零样本学习的前提下,通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上,所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得:https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
Two-Stream RNN/CNN for Action Recognition in 3D Videos
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学);Johns Hopkins University(约翰斯·霍普金斯大学);Volkswagen Group(大众汽车集团);German Aerospace Center (DLR)(德国航空航天中心)
从视频序列中识别动作在健康监测、辅助生活、监控和灵巧家庭中有许多应用。尽管在传感方面取得了进展,特别是与3D视频相关的进展,但处理数据的方法仍有待研究。我们展示了优越的结果,结合了循环神经网络与卷积神经网络的投票方法的系统。基于门控递归单元的神经网络特别适合区分基于长期信息的动作和光学跟踪数据; 3D-CNN更关注视频数据中的详细、最新信息。所得到的特征被合并到SVM中,然后SVM对运动进行分类。在这种架构中,我们的方法在标准数据集上将最先进方法的识别率提高了14%。
2018-10-02 cs.CV cs.LG
Flatten: Video Action Recognition is an Image Classification task
Capital Normal University(首都师范大学)
该研究提出即插即用的视频表示架构Flatten,通过展平操作将三维时空视频数据转为二维空间信息,使普通图像分类模型可直接完成视频动作识别,在多个常用数据集和经典图像模型上验证了性能提升效果。
2024-08-17 cs.AI cs.CV
Exploring Temporally Dynamic Data Augmentation for Video Recognition
NAVER Clova;KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);Yonsei University(延世大学)
数据增强最近已经成为视觉识别任务的现代训练配方的重要组成部分。然而,用于视频识别的数据增强尽管有效,但很少被探索。很少有现有的视频识别增强配方天真地通过将相同的操作应用于整个视频帧来扩展图像增强方法。我们的主要思想是,每个帧的增强操作的幅度需要随着时间的推移而改变,以捕捉真实世界的视频的时间变化。这些变化应该在训练期间使用更少的额外超参数尽可能多样化地生成。基于这种动机,我们提出了一个简单而有效的视频数据增强框架DynaAugment。每帧上的增强操作的幅度通过一种有效的机制来改变,即傅立叶采样,它参数化了多样、平滑和真实的时间变化。DynaAugment还包括一个扩展的搜索空间,适用于自动数据增强方法的视频。DynaAugment实验证明,在不同的视频模型上,静态增强还有额外的性能空间需要改进。具体来说,我们展示了DynaAugment在各种视频数据集和任务上的有效性:大规模视频识别(Kinetics-400和Something-Something-v2),小规模视频识别(UCF- 101和HMDB-51),细粒度视频识别(Diving-48和FineGym),Breakfast上的视频动作分割,THUMOS'14上的视频动作定位,以及MOT 17 Det上的视频目标检测。DynaAugment还使视频模型能够学习更一般化的表示,以提高模型对损坏视频的鲁棒性。
2022-06-30 cs.CV
Task-adaptive Spatial-Temporal Video Sampler for Few-shot Action Recognition
Shanghai Jiao Tong University(上海交通大学);Heriot-Watt University Malaysia(赫瑞-瓦特大学马来西亚分校)
Few-Shot动作识别面临的主要挑战是用于训练的视频数据不足。为了解决这个问题,在这一领域的现有方法主要集中在设计算法的特征层次,而很少注意处理输入视频数据。此外,现有的帧采样策略可能会忽略时间和空间维度上的关键动作信息,这进一步影响视频利用效率。在本文中,我们提出了一种新的视频帧采样器的Few-Shot动作识别,以解决这个问题,特定于任务的时空帧采样是通过一个时间选择器(TS)和空间放大器(SA)。具体来说,我们的采样器首先以较小的计算成本扫描整个视频,以获得视频帧的全局感知。TS在选择贡献最显著和随后的前T帧中发挥其作用。SA通过在显著图的指导下放大关键区域来强调每帧的判别信息。我们进一步采用任务自适应学习,根据手头的情节任务动态调整采样策略。TS和SA的实现对于端到端优化是可区分的,从而促进了我们提出的采样器与大多数Few-Shot动作识别方法的无缝集成。大量的实验表明,在各种基准测试(包括长期视频)中,该代码的性能有了显着提高。https://github.com/R00Kie-Liu/Sampler
2022-12-22 cs.AI cs.CV
Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);University of Central Florida(中佛罗里达大学);Linköping University(林雪平大学)
本文提出 Video-FocalNet,通过时空焦点调制架构结合卷积与逐元素乘法高效建模局部和全局上下文,在多个视频识别基准上以更低计算成本超越现有 Transformer 方法。
2023-10-27 cs.AI cs.CV
Deep Feature Flow for Video Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
深度卷积神经网络在图像识别任务上取得了巨大成功。然而,将最先进的图像识别网络转移到视频中并非易事,因为每帧评估太慢且负担不起。我们提出了深度特征流,这是一个快速准确的视频识别框架。它仅在稀疏关键帧上运行昂贵的卷积子网络,并通过流场将其深度特征映射传播到其他帧。它实现了显着的加速,因为流计算相对较快。整个架构的端到端训练显著提高了识别准确率。深度特征流具有灵活性和通用性。在最近的两个大规模视频数据集上进行了验证。它向实用的视频识别迈出了一大步。
2017-06-05 cs.CV
SlowFast Networks for Video Recognition
Facebook AI Research (FAIR)(脸书人工智能研究院(FAIR))
我们提出了用于视频识别的SlowFast网络。我们的模型涉及(i)以低帧速率操作以捕获空间语义的慢路径,以及(ii)以高帧速率操作以捕获精细时间分辨率的运动的快路径。Fast路径可以通过减少其信道容量而变得非常轻量,但可以学习用于视频识别的有用的时间信息。我们的模型在视频中的动作分类和检测方面都取得了很好的性能,并且通过我们的慢快概念做出了很大的改进。我们在主要的视频识别基准测试,Kinetics,Charades和AVA上报告了最先进的准确性。代码已在https://github.com/facebookresearch/SlowFast上提供
2019-10-29 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Alberta(阿尔伯塔大学)
针对视频暴力识别任务,提出基于强化学习路由器的视觉Transformer混合专家系统,结合大型与高效Transformer架构,在RWF数据集上准确率达92.4%,优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System(中国科学院地理空间信息处理与应用系统技术重点实验室);University of Science and Technology of China(中国科学技术大学)
我们研究的视频超分辨率(SR)的问题,以促进视频分析任务,例如动作识别,而不是视觉质量。基于卷积网络的流行动作识别方法,例如双流网络,不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救,这促使我们改进SR过程以提高识别精度。针对双流动作识别网络,我们提出了两种视频SR方法,分别用于空间流和时间流。一方面,我们观察到,与行动的区域是更重要的识别,我们提出了一个光流引导加权均方误差损失我们的空间导向SR(SoSR)网络,以强调运动物体的重建。另一方面,我们观察到现有的视频SR方法会导致帧之间的时间不连续性,这也会影响识别精度,因此我们提出了一个连体网络用于我们的面向时间的SR(ToSR)训练,强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明,我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota(明尼苏达大学)
本文提出一种与网络架构无关的自视视频关键步骤识别框架,通过将输入稳定为以手部为中心的视频,在Ego-Exo4D细粒度基准上超越现有基线,无需改动底层模型。
2025-06-01 cs.CV
Zero-Shot Activity Recognition with Videos
KU Leuven(鲁汶大学);TU Munich(慕尼黑工业大学)
在本文中,我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面,我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面,我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后,流形学习能力衡量平均最近邻重叠。最后,我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI(Facebook人工智能(Facebook AI))
虽然许多动作识别数据集由简短的修剪视频的集合组成,每个视频包含相关动作,但现实世界中的视频(例如,在YouTube上)表现出非常不同的属性:它们通常是几分钟长,其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外,正如我们在实验中所示,这导致了次优的识别准确性,因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中,我们介绍了一个轻量级的“剪辑采样”模型,可以有效地识别最显着的时间剪辑内的长视频。我们证明,未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外,我们表明,这会产生显着的收益相比,所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上,我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%,并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Video-Mined Task Graphs for Keystep Recognition in Instructional Videos
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta 基础人工智能研究实验室)
本文提出从教学视频中自动挖掘任务图以建模关键步骤间的概率关系,并利用该图正则化新视频中的关键步骤识别,在多个数据集上实现了超越现有方法的零样本定位与视频表示学习性能。
2023-10-29 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC(南加州大学);Google Brain(谷歌大脑);Apple AI(苹果人工智能);Google Research(谷歌研究院)
在学习动作识别时,模型通常会在图像对象识别(如ImageNet)上进行预训练,然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能,特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别,较少的努力已经取得了如何训练视频Transformers。在这项工作中,我们探讨了几种培训模式,并提出了两个发现。首先,视频Transformers受益于对不同视频数据集和标签空间(例如,Kinetics关注的是外观,而SomethingSomething关注的是运动)。其次,通过进一步与图像(如单帧视频)进行共同训练,视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition(CoVeR)。特别是,在基于TimeSFormer架构的ImageNet-21 K上进行预训练时,CoVeR将Kinetics-400 Top-1准确度提高了2.4%,Kinetics-600提高了2.3%,SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时,CoVeR在Kinetics-400(87.2%)、Kinetics-600(87.9%)、Kinetics-700(79.8%…
2021-12-14 cs.CV
AutoVideo: An Automated Video Action Recognition System
Rice University(莱斯大学);Texas A&M University(得克萨斯农工大学);ShanghaiTech University(上海科技大学)
动作识别是视频理解的一项重要任务,具有广泛的应用前景。然而,开发有效的动作识别解决方案通常需要大量的工程工作,以构建和测试模块及其超参数的不同组合。在这个演示中,我们展示了AutoVideo,一个用于自动视频动作识别的Python系统。AutoVideo的特点是:1)遵循标准管道语言的高度模块化和可扩展的基础设施,2)用于管道构建的原语的详尽列表,3)数据驱动的调谐器,以节省管道调谐的工作,以及4)易于使用的图形用户界面(GUI)。AutoVideo在MIT许可下发布,网址为https://github.com/datamllab/autovideo
2022-07-17 cs.CV cs.LG eess.IV
A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications
Peking University(北京大学);Baidu Inc.(百度公司)
为了理解人类的行为,基于视频的动作识别是一种常用的方法。与基于图像的动作识别相比,视频提供了更多的信息。减少动作的模糊性,在过去的十年中,许多专注于数据集、新模型和学习方法的工作将视频动作识别提高到了一个更高的水平。然而,存在挑战和未解决的问题,特别是在体育分析中,其中数据汇集和标记更加复杂,需要体育专业人员对数据进行注释。此外,动作可能非常快,并且很难识别它们。此外,在足球和篮球等团队运动中,一个动作可能涉及多个球员,为了正确识别它们,我们需要分析所有球员,这相对复杂。在本文中,我们提出了一个调查视频动作识别体育分析。我们介绍了十多个运动项目,包括足球、篮球、排球、曲棍球等团队运动和花样滑冰、体操、乒乓球、网球、跳水、羽毛球等个人运动。然后,我们比较了现有的众多体育分析框架,目前的现状,在团队运动和个人运动的视频动作识别。最后,我们讨论了这一领域的挑战和未解决的问题,为了促进体育分析,我们使用PaddlePaddle开发了一个工具箱,支持足球,篮球,乒乓球和花样滑冰动作识别。
2022-06-02 cs.AI cs.CV cs.MM
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统:修剪动作识别,视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI(Facebook人工智能)
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究,使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是,尽管有嘈杂的社交媒体视频和标签,但在非常大的规模(超过6500万个视频)下进行预训练,大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外,我们还研究了弱监督视频动作数据集构建中的三个问题。首先,考虑到动作涉及与对象的交互,应该如何构建动词-对象预训练标签空间以使迁移学习受益最大?第二,基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够,或者对时空特征进行预训练对于最佳迁移学习是否有价值?最后,动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的,那么在给定视频数量或分钟数的固定预算的情况下,应该如何选择视频片段以获得最佳性能?
2019-05-02 cs.CV
A Comprehensive Study of Deep Video Action Recognition
Amazon Web Services(亚马逊云科技)
视频动作识别是视频理解的代表性任务之一。在过去的十年中,由于深度学习的出现,我们见证了视频动作识别的巨大进步。但我们也遇到了新的挑战,包括对视频中的长距离时间信息进行建模,高计算成本以及由于数据集和评估协议差异而导致的无法比较的结果。在本文中,我们对现有的200多篇关于视频动作识别的深度学习的论文进行了全面的调查。我们首先介绍了影响模型设计的17个视频动作识别数据集。然后,我们按时间顺序介绍视频动作识别模型:从适应深度学习的早期尝试开始,然后是双流网络,然后是采用3D卷积核,最后是最近的计算效率模型。此外,我们在几个有代表性的数据集上对流行的方法进行基准测试,并发布代码以实现可重复性。最后,我们讨论了开放的问题,并阐明了视频动作识别的机会,以促进新的研究思路。
2020-12-11 cs.CV cs.MM
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
我们提出了一个系统,演示了事件的组成结构,与语言的组成结构相一致,可以与视频动作识别中的底层聚焦机制相互作用,从而提供了一种媒介,不仅用于自上而下和自下而上的集成,而且用于视觉和语言之间的多模态集成。我们展示了参与者(名词)扮演的角色,他们的特点(形容词),执行的动作(动词),这样的行动(副词)的方式,并改变参与者(介词)之间的空间关系的形式,整个间接的语法描述介导的,指导活动识别过程。此外,我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务:注意力的集中,视频的原始描述的生成,以及基于查询的视频搜索,简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video
Google(谷歌)
视听自动语音识别(AV-ASR)通过引入视频模态作为附加信息源来扩展语音识别。在这项工作中,包含在说话人的嘴的运动的信息被用来增强音频功能。视频模态传统上用3D卷积神经网络(例如,VGG的3D版本)处理。最近,图像Transformer网络arXiv:2010.11929展示了为图像分类任务提取丰富视觉特征的能力。在这里,我们建议用视频Transformer代替3D卷积来提取视觉特征。我们训练我们的基线和建议的模型上的大规模语料库的YouTube视频。我们的方法的性能进行了评估的标签子集的YouTube视频以及LRS 3-TED公共语料库。我们最好的纯视频模型在YTDEV 18上获得了31.4%的WER,在LRS 3-TED上获得了17.0%的WER,比我们的卷积基线分别提高了10%和15%。我们实现了最先进的性能的视听识别的LRS 3-TED微调后,我们的模型(1.6% WER)。此外,在多人AV-ASR的一系列实验中,我们的卷积视频前端平均相对减少了2%。
2022-10-31 cs.CV cs.LG cs.SD
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore(新加坡国立大学);NEC Corporation(日本电气股份有限公司)
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景,这赋予了监控场景的潜力。然而,全方位视频分析的研究已经落后于硬件的进步。在这项工作中,我们解决的重要问题,在顶视360 $^{\circ}$视频的动作识别。由于宽视场,360 $^{\circ}$视频通常捕获多个人同时执行动作。此外,人的外表是畸形的。该框架首先将全向视频转换为全景视频,然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法,该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验,定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究,我们引入了360Action,这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV