DiffVSR: Revealing an Effective Recipe for Taming Robust Video Super-Resolution Against Complex Degradations
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
DiffVSR针对严重退化视频的超分辨率难题,提出渐进式学习策略分解学习负担,并引入交织潜在过渡保持时间一致性,证明优化学习策略比单纯增加架构复杂度更关键。
2025-03-08 cs.CV
When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对自监督视频表示学习中随机时序采样不确定性高、像素空间掩码重建信息压缩不足的问题,提出T-CoRe框架,通过三明治采样和隐空间自蒸馏辅助分支提升表示质量,在多项下游任务上取得更优性能。
2025-03-19 cs.CV
Dynamic Try-On: Taming Video Virtual Try-on with Dynamic Attention Mechanism
Sun Yat-sen University(中山大学);ByteDance(字节跳动)
针对视频虚拟试穿在复杂动作下细节保持、时序一致性及额外服装编码器计算开销高等问题,提出基于DiT的Dynamic Try-On框架,通过动态特征融合与肢体感知注意力实现稳定流畅生成。
2025-07-28 cs.CV
From Prompt to Progression: Taming Video Diffusion Models for Seamless Attribute Transition
National Yang Ming Chiao Tung University(阳明交通大学);Google DeepMind(谷歌DeepMind);National Taiwan University(国立台湾大学);UC Merced(加州大学梅尔塞德斯分校)
本文提出一种通过去噪过程中逐帧引导实现视频属性平滑过渡的方法,并构建CAT-Bench基准及两个评估指标,实验验证其优于现有基线。
2025-09-24 cs.CV
UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学)
本文提出UniAnimate框架,通过统一视频扩散模型将参考图像、姿态引导和噪声视频映射到公共特征空间,并引入统一噪声输入和基于状态空间模型的时间建模架构,实现高效且长时一致的人体图像动画生成。
2024-06-03 cs.CV
G$^2$TAM: Geometry Grounded Track Anything Model
HKU(香港大学);Shanghai AI Lab(上海人工智能实验室);BUAA(北京航空航天大学);SJTU(上海交通大学);UCLA(加州大学洛杉矶分校);ZJU(浙江大学)
研究利用现代前馈3D重建模型的空间一致性,提出G$^2$TAM框架,用无序RGB图像或视频进行3D实例跟踪。核心是跨模态空间编码器,还构建数据集,实验表明该模型有多种优势,为交互式空间推理奠定基础。
2026-07-07 cs.CV
Multiple Moving Object Recognitions in video based on Log Gabor-PCA Approach
Dayananda Sagar College of Engineering(达亚南达·萨加尔工程学院)
视频序列或图像中的目标识别是计算机视觉的一个分支。从视频序列中识别运动目标是一个很有吸引力的课题,在机场安全,入侵监视,视频监控,智能高速公路等领域的应用。运动目标识别是智能视频监控系统中最具挑战性的任务。在这方面,已经基于不同的方法提出了许多技术。尽管它的重要性,在复杂环境中的运动目标识别仍然远远没有完全解决低分辨率视频,雾视频,也暗淡的视频序列。总而言之,这些使得有必要开发非常强大的技术。本文介绍了多个运动目标识别的视频序列的基础上LoG的Gabor-PCA方法和角度的距离相似性措施的技术,用于识别对象作为一个人,车辆等进行了实验的数量为室内和室外的视频序列的标准数据集,也是我们自己收集的视频序列,包括部分夜视视频序列。实验结果表明,我们提出的方法取得了良好的识别率。所得结果令人满意且合格。
2014-07-03 cs.CV
Latent Bi-constraint SVM for Video-based Object Recognition
Imperial College London(帝国理工学院);Stony Brook University, SUNY(纽约州立大学石溪分校)
我们解决了从视频输入中识别对象的任务。与基于图像的对象识别相比,这个重要的问题相对未被探索。为此,我们作出以下贡献。首先,我们介绍了两个用于基于视频的对象识别的综合数据集。其次,我们提出了潜在的双约束SVM(LBSVM),一个基于视频的对象识别的最大间距框架。LBSVM是基于结构化输出SVM,但它扩展到处理噪声视频数据,并确保整个时间的输出决策的一致性。我们应用LBSVM识别办公室对象和博物馆雕塑,我们证明了它的好处,基于图像,基于集合,和其他基于视频的对象识别。
2016-05-31 cs.CV
VideoLT: Large-scale Long-tailed Video Recognition
Fudan University(复旦大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);University of Maryland(马里兰大学)
现实世界中的标签分布通常是长尾和不平衡的,导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务,有限的努力已经取得了视频域。在本文中,我们介绍了VideoLT,一个大规模的长尾视频识别数据集,作为迈向真实世界视频识别的一步。我们的VideoLT包含256,218个未修剪的视频,注释为1,004个具有长尾分布的类。通过广泛的研究,我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳,由于视频数据中的额外的时间维度。这促使我们提出FrameStack,一个简单而有效的方法长尾视频识别任务。特别是,FrameStack在帧级执行采样,以平衡类分布,并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明,FrameStack可以提高分类性能,而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别,但其中很少有针对动作识别的。我们提出的方法,ObjectMix,提取每个对象区域从两个视频使用实例分割,并将它们结合起来,以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性,并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University(印第安纳大学)
在本文中,我们介绍了一个具有挑战性的新数据集,MLB-YouTube,专为细粒度活动检测而设计。该数据集包含两个设置:分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构,通过分类分割的视频和扩展这些方法,以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现,学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Mobile Video Action Recognition
Renmin University of China(中国人民大学)
视频动作识别是计算机视觉和视频分析中的热门话题,旨在将短视频片段分配到预定义的类别,例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络,实现国家的最先进的结果,需要高性能的平台。尽管移动计算发展迅速,但移动设备上的视频动作识别尚未得到充分讨论。在本文中,我们专注于新的移动视频动作识别任务,只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态(包括I帧、运动矢量和残差),而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干,我们提出了一种新的时间三线性池(TTP)模块融合移动视频动作识别的多种形式。除了运动矢量,我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明,该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明,我们的模型优于现有的动作识别方法的模型大小和时间消耗,但具有竞争力的准确性。
2019-08-27 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park(马里兰大学帕克分校)
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类,但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化,基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景,用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题,我们提出了一个强大的和有效的系统,无约束的基于视频的人脸识别,这是由模块的人脸/基准检测,人脸关联,人脸识别。首先,我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组,特别是对于多镜头视频。最后,人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验,例如多生物识别大挑战(MBGC),面部和眼部挑战系列(FOCS),低质量监控视频的IARPA Janus监控视频基准(IJB-S)和多镜头视频的IARPA JANUS基准B(IJB-B),实验结果表明,该系统可以准确地从无约束视频中检测和关联人脸,并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Multi-Source Video Domain Adaptation with Temporal Attentive Moment Alignment
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究院);Pluang
多源领域自适应(MSDA)是现实场景中更实用的领域自适应场景。它放宽了传统的无监督领域自适应(UDA)中的假设,即源数据是从单个域采样的,并且匹配均匀的数据分布。MSDA是更困难的,由于不同的域对之间存在不同的域移位。当考虑视频时,负迁移将由时空特征引起,并且可以被公式化为更具挑战性的多源视频领域自适应(MSVDA)问题。在本文中,我们提出了一种新的时间注意力矩对齐网络(TAMAN),其目的是通过动态对齐空间和时间特征矩有效的特征转移MSVDA问题。TAMAN进一步通过关注具有高局部分类置信度和全局与局部特征差异之间的低差异的主导域不变局部时间特征来构建鲁棒的全局时间特征。为了方便今后的研究MSVDA问题,我们引入全面的基准,涵盖广泛的MSVDA方案。实证结果表明,提出的TAMAN在多个MSVDA基准的优越性能。
2021-09-26 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt(达姆施塔特工业大学)
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架,它正在利用人脸识别来检测协作者,这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别,以提高检测精度。
2018-07-05 cs.CV
TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所);Ontario Tech University(安大略理工大学)
本文提出基于片段的 DETR 风格多尺度视频 Transformer,结合变换感知损失与乘法时间编码记忆,在长视频小目标分割跟踪上取得 SoTA。
2024-04-09 cs.CV
Exploring Temporally Dynamic Data Augmentation for Video Recognition
NAVER Clova;KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);Yonsei University(延世大学)
数据增强最近已经成为视觉识别任务的现代训练配方的重要组成部分。然而,用于视频识别的数据增强尽管有效,但很少被探索。很少有现有的视频识别增强配方天真地通过将相同的操作应用于整个视频帧来扩展图像增强方法。我们的主要思想是,每个帧的增强操作的幅度需要随着时间的推移而改变,以捕捉真实世界的视频的时间变化。这些变化应该在训练期间使用更少的额外超参数尽可能多样化地生成。基于这种动机,我们提出了一个简单而有效的视频数据增强框架DynaAugment。每帧上的增强操作的幅度通过一种有效的机制来改变,即傅立叶采样,它参数化了多样、平滑和真实的时间变化。DynaAugment还包括一个扩展的搜索空间,适用于自动数据增强方法的视频。DynaAugment实验证明,在不同的视频模型上,静态增强还有额外的性能空间需要改进。具体来说,我们展示了DynaAugment在各种视频数据集和任务上的有效性:大规模视频识别(Kinetics-400和Something-Something-v2),小规模视频识别(UCF- 101和HMDB-51),细粒度视频识别(Diving-48和FineGym),Breakfast上的视频动作分割,THUMOS'14上的视频动作定位,以及MOT 17 Det上的视频目标检测。DynaAugment还使视频模型能够学习更一般化的表示,以提高模型对损坏视频的鲁棒性。
2022-06-30 cs.CV
Knot Forcing: Taming Autoregressive Video Diffusion Models for Real-time Infinite Interactive Portrait Animation
Tongyi Lab, Alibaba Group(通义实验室,阿里集团)
Knot Forcing通过分块生成、时间结模块和提前运行机制,解决实时肖像动画中的时间一致性、误差累积和长期一致性问题,实现高保真、低延迟的无限交互动画。
2025-12-29 cs.CV
Deep Feature Flow for Video Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
深度卷积神经网络在图像识别任务上取得了巨大成功。然而,将最先进的图像识别网络转移到视频中并非易事,因为每帧评估太慢且负担不起。我们提出了深度特征流,这是一个快速准确的视频识别框架。它仅在稀疏关键帧上运行昂贵的卷积子网络,并通过流场将其深度特征映射传播到其他帧。它实现了显着的加速,因为流计算相对较快。整个架构的端到端训练显著提高了识别准确率。深度特征流具有灵活性和通用性。在最近的两个大规模视频数据集上进行了验证。它向实用的视频识别迈出了一大步。
2017-06-05 cs.CV
ARCHANGEL: Tamper-proofing Video Archives using Temporal Content Hashes on the Blockchain
University of Surrey(萨里大学);The National Archives(国家档案馆);Open Data Institute (ODI)(开放数据研究所(ODI))
我们提出了ARCHANGEL;一种新型的基于分布式账本的系统,用于确保数字视频档案的长期完整性。首先,我们描述了一种新的深度网络架构,用于从持续时间为几分钟或几小时的视听流中计算紧凑的时间内容哈希(TCH)。我们的TCH对意外或恶意内容修改(篡改)敏感,但对用于编码视频的编解码器不变。这是必要的,因为随着时间的推移,档案馆需要格式化轮班视频,以确保未来的可访问性。其次,我们描述了TCH(以及用于派生它们的模型)如何通过分布在多个独立档案中的权威证明区块链来保护。我们报告ARCHANGEL的有效性的范围内的试验部署,其中英国,爱沙尼亚和挪威的国家政府档案馆参加。
2019-04-26 cs.AI cs.CR cs.CV
SlowFast Networks for Video Recognition
Facebook AI Research (FAIR)(脸书人工智能研究院(FAIR))
我们提出了用于视频识别的SlowFast网络。我们的模型涉及(i)以低帧速率操作以捕获空间语义的慢路径,以及(ii)以高帧速率操作以捕获精细时间分辨率的运动的快路径。Fast路径可以通过减少其信道容量而变得非常轻量,但可以学习用于视频识别的有用的时间信息。我们的模型在视频中的动作分类和检测方面都取得了很好的性能,并且通过我们的慢快概念做出了很大的改进。我们在主要的视频识别基准测试,Kinetics,Charades和AVA上报告了最先进的准确性。代码已在https://github.com/facebookresearch/SlowFast上提供
2019-10-29 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Alberta(阿尔伯塔大学)
针对视频暴力识别任务,提出基于强化学习路由器的视觉Transformer混合专家系统,结合大型与高效Transformer架构,在RWF数据集上准确率达92.4%,优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Two-Stream Action Recognition-Oriented Video Super-Resolution
CAS Key Laboratory of Technology in Geo-Spatial Information Processing and Application System(中国科学院地理空间信息处理与应用系统技术重点实验室);University of Science and Technology of China(中国科学技术大学)
我们研究的视频超分辨率(SR)的问题,以促进视频分析任务,例如动作识别,而不是视觉质量。基于卷积网络的流行动作识别方法,例如双流网络,不能直接应用于低空间分辨率的视频。这可以通过在识别之前执行视频SR来补救,这促使我们改进SR过程以提高识别精度。针对双流动作识别网络,我们提出了两种视频SR方法,分别用于空间流和时间流。一方面,我们观察到,与行动的区域是更重要的识别,我们提出了一个光流引导加权均方误差损失我们的空间导向SR(SoSR)网络,以强调运动物体的重建。另一方面,我们观察到现有的视频SR方法会导致帧之间的时间不连续性,这也会影响识别精度,因此我们提出了一个连体网络用于我们的面向时间的SR(ToSR)训练,强调连续帧之间的时间连续性。我们使用两个最先进的动作识别网络和两个著名的数据集-UCF 101和HMDB 51进行实验。结果表明,我们提出的SoSR和ToSR在提高识别精度的有效性。
2019-08-16 cs.CV
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota(明尼苏达大学)
本文提出一种与网络架构无关的自视视频关键步骤识别框架,通过将输入稳定为以手部为中心的视频,在Ego-Exo4D细粒度基准上超越现有基线,无需改动底层模型。
2025-06-01 cs.CV
Taming Consistency Distillation for Accelerated Human Image Animation
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);Fudan University(复旦大学)
针对人体图像动画中视频扩散模型推理成本高的问题,提出DanceLCM方法,通过分段一致性蒸馏和运动/面部保真增强,在2-4步推理中实现与SOTA模型相当的质量,显著降低推理负担。
2025-04-15 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI(Facebook人工智能(Facebook AI))
虽然许多动作识别数据集由简短的修剪视频的集合组成,每个视频包含相关动作,但现实世界中的视频(例如,在YouTube上)表现出非常不同的属性:它们通常是几分钟长,其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外,正如我们在实验中所示,这导致了次优的识别准确性,因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中,我们介绍了一个轻量级的“剪辑采样”模型,可以有效地识别最显着的时间剪辑内的长视频。我们证明,未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外,我们表明,这会产生显着的收益相比,所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上,我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%,并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Video-Mined Task Graphs for Keystep Recognition in Instructional Videos
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta 基础人工智能研究实验室)
本文提出从教学视频中自动挖掘任务图以建模关键步骤间的概率关系,并利用该图正则化新视频中的关键步骤识别,在多个数据集上实现了超越现有方法的零样本定位与视频表示学习性能。
2023-10-29 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC(南加州大学);Google Brain(谷歌大脑);Apple AI(苹果人工智能);Google Research(谷歌研究院)
在学习动作识别时,模型通常会在图像对象识别(如ImageNet)上进行预训练,然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能,特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别,较少的努力已经取得了如何训练视频Transformers。在这项工作中,我们探讨了几种培训模式,并提出了两个发现。首先,视频Transformers受益于对不同视频数据集和标签空间(例如,Kinetics关注的是外观,而SomethingSomething关注的是运动)。其次,通过进一步与图像(如单帧视频)进行共同训练,视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition(CoVeR)。特别是,在基于TimeSFormer架构的ImageNet-21 K上进行预训练时,CoVeR将Kinetics-400 Top-1准确度提高了2.4%,Kinetics-600提高了2.3%,SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时,CoVeR在Kinetics-400(87.2%)、Kinetics-600(87.9%)、Kinetics-700(79.8%…
2021-12-14 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统:修剪动作识别,视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI(Facebook人工智能)
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究,使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是,尽管有嘈杂的社交媒体视频和标签,但在非常大的规模(超过6500万个视频)下进行预训练,大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外,我们还研究了弱监督视频动作数据集构建中的三个问题。首先,考虑到动作涉及与对象的交互,应该如何构建动词-对象预训练标签空间以使迁移学习受益最大?第二,基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够,或者对时空特征进行预训练对于最佳迁移学习是否有价值?最后,动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的,那么在给定视频数量或分钟数的固定预算的情况下,应该如何选择视频片段以获得最佳性能?
2019-05-02 cs.CV
Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency
ByteDance(字节跳动);Zhejiang University(浙江大学)
提出纯音频条件视频扩散模型 Loopy,通过片段间和片段内时间模块及音频到隐空间模块利用长期运动信息,学习自然运动模式并提升音画相关性,无需手动指定空间运动模板,生成更逼真高质量的肖像视频。
2025-04-04 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore(新加坡国立大学);NEC Corporation(日本电气股份有限公司)
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景,这赋予了监控场景的潜力。然而,全方位视频分析的研究已经落后于硬件的进步。在这项工作中,我们解决的重要问题,在顶视360 $^{\circ}$视频的动作识别。由于宽视场,360 $^{\circ}$视频通常捕获多个人同时执行动作。此外,人的外表是畸形的。该框架首先将全向视频转换为全景视频,然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法,该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验,定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究,我们引入了360Action,这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
随着图像识别技术的发展,视频识别技术成为当前研究的热点。然而,大多数现有的方法都集中在短期而不是长期的视频识别,称为上下文视频识别。为了解决上下文视频识别问题,我们使用具有丰富时空信息处理能力的卷积递归神经网络(ConvRNN),但ConvRNN需要大量计算,这会减慢训练速度。在本文中,受归一化和去趋势方法的启发,我们提出了用于时间归一化的自适应去趋势(AD),以加速ConvRNN的训练,特别是卷积门控递归单元(ConvGRU)。AD通过减去趋势来去除递归神经网络(RNN)中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中,结果表明:(1)ConvGRU明显优于前馈神经网络,(2)AD始终提供显着的训练加速和泛化改进,(3)AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种自监督学习方法,以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9,34]以及时间相干性[32],但两者的组合需要大量的预处理,例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文,而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格,并训练网络从多个帧中解决这些补丁上的拼图游戏。因此,网络经过训练,可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略,优于随机置换,同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务,如视频活动识别,并在两个基准视频动作识别数据集上展示了我们方法的强度,而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
ICANet: A Method of Short Video Emotion Recognition Driven by Multimodal Data
Zhengzhou University(郑州大学);school of Cyber Science and Engineering(网络与数据科学学院)
针对单模态短视频情感识别准确率低、相似情绪难区分的问题,提出融合音频、视频、光流三模态的ICANet方法,在IEMOCAP基准上准确率达80.77%,超现有SOTA方法15.89%。
2024-12-09 cs.CV
Automated Bridge Component Recognition using Video Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了利用视频数据自动识别桥梁结构构件。虽然理解用于结构检查的视频数据对于人类检查员来说是简单的,但是使用机器学习方法来执行相同的任务还没有完全实现。特别地,当图像是特写视图时,不期望诸如卷积神经网络(CNN)的单帧图像处理技术准确地识别结构组件,缺乏关于图像在结构上的何处起源的上下文信息。在视频处理技术的重大进展的启发下,本研究探讨了使用视频数据的自动桥梁组件识别,其中来自过去帧的信息用于增强对当前帧的理解。创建新的模拟视频数据集来训练机器学习算法。然后,卷积神经网络(CNN)与循环结构的设计和应用,以实现自动桥梁构件识别任务。结果模拟视频数据,以及在现场收集的视频。
2018-09-28 cs.CV
View while Moving: Efficient Video Recognition in Long-untrimmed Videos
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
针对长未修剪视频识别中两阶段范式效率低的问题,提出“移动中观看”单次访问范式,结合粗粒度采样与细粒度识别的统一时空建模及分层机制,在准确率和效率上超越现有方法。
2024-03-20 cs.CV
Early Recognition of Human Activities from First-Person Videos Using Onset Representations
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们提出了一种方法,从第一人称视角拍摄的视频中早期识别人类活动。早期识别,也称为活动预测,是一种在早期阶段推断正在进行的活动的能力。我们提出了一种算法来执行识别的活动针对摄像头从流媒体视频,使系统预测预期的活动的互动的人,并避免有害的事件发生之前,他们实际上发生。我们引入了新的概念“发病”,有效地总结了活动前的观察,并设计了一种方法来考虑事件的历史,除了正在进行的视频观察早期第一人称识别的活动。我们建议使用时间序列梯度的级联直方图来表示发病,我们描述了一种新的算法设置,以利用发病的早期识别活动。实验结果清楚地表明,所提出的概念的发病能够更好地/更早地识别人类活动的第一人称视频。
2015-07-06 cs.CV
Understanding Video Content: Efficient Hero Detection and Recognition for the Game "Honor of Kings"
Tencent Inc.(腾讯公司)
为了理解内容并自动提取“王者荣耀”游戏视频的标签,需要检测和识别游戏视频中的角色(称为“英雄”)及其阵营。在本文中,我们提出了一个有效的两阶段算法来检测和识别游戏视频中的英雄。首先,我们检测所有的英雄在视频帧的基础上的血条模板匹配方法,并根据其阵营(自己/朋友/敌人)进行分类。然后我们使用一个或多个深度卷积神经网络识别每个英雄的名字。我们的方法几乎不需要在识别阶段标记训练和测试样本。实验表明,该方法在游戏视频中的英雄检测和识别中具有较高的效率和准确性。
2019-07-18 cs.CV
Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling
Fudan University(复旦大学);Microsoft Cloud&AI(微软云与人工智能)
基于transformer的模型在主要的视频识别基准测试中取得了最佳性能。由于自注意力机制的引入,这些模型比基于CNN的模型具有更强的建模能力。然而,显着的计算开销,导致自注意力的二次复杂性上的一个巨大的令牌,限制了现有的视频Transformers在资源有限的应用程序,如移动设备的使用。在本文中,我们将Mobile-Former扩展为Video Mobile-Former,它将视频架构扩展为用于本地上下文建模的轻量级3D-CNN和用于并行全局交互建模的Transformer模块。为了避免在视频中的大量局部补丁之间计算自我注意力所引起的显著计算成本,我们提出使用非常少的全局令牌(例如,6)对于Transformers中的整个视频,使用交叉注意力机制与3D-CNN交换信息。通过高效的全局时空建模,Video Mobile-Former显着提高了替代轻量级基线的视频识别性能,并在各种视频识别任务中,在500 M至6 G总FLOP的低FLOP范围内优于其他基于CNN的高效模型。值得注意的是,Video Mobile-Former是第一个基于Transformer的视频模型,它将计算预算限制在1G FLOP以内。
2022-08-25 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab;University of Oxford(牛津大学)
在本文中,我们描述了一个解决方案,我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型,捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获,并在大型人脸识别数据集上进行预训练。我们发现,使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成,我们提高了以前的最好的测试集上的结果约1%,实现了60.03%的分类准确率,而不使用任何视觉时间信息。
2017-11-13 cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University(北京航空航天大学)
在本文中,我们首先解决的问题,行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题,提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的,两个新的大规模的视频数据集与扩展的属性定义,基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University(德里理工大学)
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外,实时分析具有低质量的视频,并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此,它需要一个更强大和集成的模型,用于低质量和夜间安全操作。在此背景下,我们提出了一种混合模型的光照不变的人体活动识别的基础上,子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后,在三个人工降级的低质量Weizmann动作,KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术,并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology(北京理工大学);Big Data Research Center, University of Electronic Science and Technology of China(电子科技大学大数据研究中心)
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务,视频往往是无标签的,注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频,而不是人工注释。然而,由于域转移和异构特征表示的问题,在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中,我们提出了一种新的方法,称为分层生成对抗网络(HiGAN),以增强视频中的识别(即,目标域)通过从图像转移知识(即,源域)。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习,我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明,与现有的领域自适应方法相比,该方法是有效的.
2018-05-11 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University(中央昆士兰大学)
本文提出Dark Transformer,通过视频Transformer的时空自注意力机制学习跨域知识,在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Fast Approximate Modelling of the Next Combination Result for Stopping the Text Recognition in a Video
Smart Engines Service LLC(智能引擎服务有限责任公司);FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学与控制研究所);MIPT(莫斯科物理技术学院)
在本文中,我们考虑了一个任务,停止视频流识别过程中的文本字段,其中每一帧是独立的识别和个人的结果结合在一起。视频流识别停止问题是关于计算机视觉的一个研究不足的主题,但它与构建高性能视频识别系统的相关性是显而易见的。首先,我们描述了一种现有的方法,最佳地停止这样一个过程的基础上建模的下一个组合的结果。然后,我们描述的近似和假设,使我们能够建立一个优化的计算方案,从而获得一个方法,降低了计算复杂性。该方法进行了评估的任务,文件文本字段识别和任意文本识别的视频。实验比较表明,引入的近似不降低质量的停止方法在实现的组合结果精度方面,同时大大减少了所需的时间,使停止的决定。两个文本识别任务的结果是一致的。
2020-08-06 cs.CV
DIVE: Taming DINO for Subject-Driven Video Editing
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);vivo AI Lab(vivo AI实验室);NVIDIA;Adobe Research(Adobe研究院);Shenzhen University(深圳大学);Southeast University(东南大学);Shenzhen University of Advanced Technology(深圳大学先进技术学院)
针对视频编辑中时间一致性与运动对齐难题,提出DIVE框架,利用预训练DINOv2语义特征引导编辑,通过特征对齐轨迹、结合参考图特征训练LoRA实现主体驱动的高质量视频编辑。
2025-07-29 cs.AI cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University(安娜大学)
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别,特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段:环境模型,对象表示,对象跟踪,活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Bangla Text Recognition from Video Sequence: A New Focus
Indian Statistical Institute(印度统计研究所)
从视频帧图像中提取和识别孟加拉语文本是具有挑战性的,由于复杂的颜色背景,低分辨率等。本文提出了一种算法,孟加拉语文本提取和识别这样的视频帧具有复杂的背景。在这里,提出了一个两步走的方法。首先,使用基于线轮廓的信息将文本行分割成单词。文本块的一阶梯度值用于查找单词间隙。接下来,对每个单词应用局部二值化技术,并使用这些单词重建文本行。其次,这个二值化的文本块被发送到OCR用于识别目的。
2014-01-06 cs.CV
Feature Learning for Interaction Activity Recognition in RGBD Videos
University of Science(科学大学)
本文提出了一种基于特征的人体活动识别方法,该方法从三维视频数据中学习,而不需要结合领域知识。对RGBD相机收集的数据进行的实验产生了优于其他技术的结果。我们的特征编码方法遵循视觉词袋模型,然后我们使用SVM分类器来识别活动。我们不使用骨架或跟踪信息,相同的技术应用于颜色和深度数据。
2015-08-10 cs.CV
Recurrent Convolutional Strategies for Face Manipulation Detection in Videos
USC Information Sciences Institute(南加州大学信息科学研究所)
错误信息通过合成生成但真实的图像和视频的传播已经成为一个重要的问题,需要鲁棒的操纵检测方法。尽管在静态图像中检测人脸操纵的主要努力,较少注意到已支付到篡改的脸在视频中的识别,利用存在于流中的时间信息。递归卷积模型是一类深度学习模型,已证明其在跨域利用来自图像流的时间信息方面是有效的。因此,我们通过广泛的实验,提取出最佳策略,将这些模型中的变化与特定领域的人脸预处理技术相结合,以获得公开的基于视频的面部操作基准的最先进性能。具体来说,我们试图检测视频流中的Deepfake,Face2Face和FaceSwap篡改的面孔。对最近推出的FaceForensics++数据集进行了评估,将之前最先进的准确率提高了4.55%。
2019-05-16 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University(密歇根州立大学)
递归网络已经成功地分析了时间数据,并已被广泛用于视频分析。然而,对于视频人脸识别,在大规模数据上训练的基本CNN已经提供了有区别的特征,使用长短期记忆(LSTM),一种流行的递归网络,进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络(REAN)集到集人脸识别。与LSTM相比,REAN对过拟合具有鲁棒性,因为它只学习如何聚合预训练的嵌入,而不是从头开始学习表示。与质量感知的聚合方法相比,REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明,所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
Cross Euclidean-to-Riemannian Metric Learning with Application to Face Recognition from Video
Chinese Academy of Sciences(中国科学院);Institute of Computing Technology(计算技术研究所);Swiss Federal Institute of Technology(瑞士联邦理工学院)
黎曼流形已被广泛用于视频表示的视觉分类任务,包括基于视频的人脸识别。成功主要来自学习判别黎曼度量编码的非线性几何的基本黎曼流形。在本文中,我们提出了一种新的度量学习框架,用于学习欧氏空间和黎曼流形上的距离度量,以融合一个视频中人脸的平均外观和模式变化。所提出的度量学习框架可以处理基于视频的人脸识别的三个典型任务:Video-to-Still、Still-to-Video和Video-to-Video设置。为了实现这个新的框架,通过利用典型的黎曼几何的内核嵌入,我们映射到一个共同的欧氏空间和黎曼流形的源欧氏空间,每个通过相应的高维再生核希尔伯特空间(RKHS)。通过这种映射,学习两个源异构空间之间的交叉视图度量的问题可以表示为学习目标公共欧几里得空间中的单视图欧几里得距离度量。通过使用共享标签学习异构数据上的信息,公共空间中的判别度量提高了视频中的人脸识别。在四个具有挑战性的视频人脸数据库上进行的大量实验表明,该框架在三个经典的基于视频的人脸识别任务中具有明显的优势。
2017-01-06 cs.CV