M3L: Language-based Video Editing via Multi-Modal Multi-Level Transformers
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
视频编辑工具如今被广泛用于数字设计。虽然对这些工具的需求很高,但所需的先验知识使新手很难入门。能够遵循自然语言指令进行自动编辑的系统将大大改善无障碍环境。本文介绍了基于语言的视频编辑(LBVE)任务,它允许模型编辑,由文本指令的指导下,源视频到目标视频。LBVE包含两个功能:1)源视频的场景被保留,而不是生成完全不同的视频; 2)语义在目标视频中被不同地呈现,并且所有的变化都由给定的指令控制。我们提出了一种多模态多电平Transformer(M $^3$ L)来实现LBVE。M $^3$ L在不同层次上动态地学习视频感知和语言语义之间的对应关系,有利于视频理解和视频帧合成。我们构建了三个新的数据集进行评估,包括两个诊断数据集和一个来自带有人类标记文本的自然视频的数据集。大量的实验结果表明,M $^3$ L是有效的视频编辑和LBVE可以导致一个新的领域,对视觉和语言的研究。
2022-03-18 cs.CV
Distilling Vision-Language Models on Millions of Videos
Google Research(谷歌研究院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
针对视频-文本数据不足,本文用合成教学数据从图像-语言基线微调视频模型,并以 VIIT 自动标注数百万视频蒸馏双编码器,在多项视频问答与检索基准上取得显著提升。
2024-04-15 cs.CV
Splatter a Video: Video Gaussian Representation for Versatile Processing
The University of Hong Kong(香港大学);VAST
本文提出一种将视频嵌入3D高斯的显式表示方法,利用2D先验正则化学习,在跟踪、深度、编辑和立体生成等任务中展现多功能性。
2024-06-26 cs.CV
Long Video Understanding with Learnable Retrieval in Video-Language Models
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
针对长视频理解中LLM计算开销大和噪声干扰问题,提出可学习检索的视频语言模型R-VLM,通过软匹配损失端到端训练轻量MLP,选择最相关的K个视频片段作为上下文,减少令牌数并提升零样本问答性能。
2025-09-24 cs.CV
VideoDistill: Language-aware Vision Distillation for Video Question Answering
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Zhongguancun Laboratory(中关村实验室)
本文提出 VideoDistill 框架,通过语言感知门控、可微稀疏采样和视觉细化模块,以目标驱动方式提取问题相关视觉信息,在通用和长视频 VideoQA 基准上取得最先进性能,并缓解语言捷径问题。
2024-04-01 cs.CV
Time-Equivariant Contrastive Video Representation Learning
Adobe Research(Adobe 研究院)
我们引入了一种新的自监督对比学习方法,从未标记的视频中学习表示。现有方法忽略了输入失真的具体情况,例如,通过学习时间变换的不变性。相反,我们认为,视频表示应该保持视频动态,并反映输入的时间操纵。因此,我们利用新的约束条件,建立表示,是等变的时间变换和更好地捕捉视频动态。在我们的方法中,增强的视频剪辑之间的相对时间变换被编码在一个向量中,并与其他变换向量进行对比。为了支持时间等方差学习,我们还提出了将视频的两个剪辑自监督分类为1。重叠2.命令,或3。无序的我们的实验表明,时间等变表示在UCF101,HMDB51和Diving48上的视频检索和动作识别基准中取得了最先进的结果。
2021-12-07 cs.CV
VideoSAVi: Self-Aligned Video Language Models without Human Supervision
Arizona State University(亚利桑那州立大学)
提出VideoSAVi自训练流程,通过自我批评机制生成偏好对并应用DPO迭代训练,无需外部监督即显著提升视频语言模型的时空推理能力。
2025-08-09 cs.CV
Boosting Video Representation Learning with Multi-Faceted Integration
JD AI Research(京东人工智能研究院);Singapore Management University(新加坡管理大学);Ryerson University(瑞尔森大学)
视频内容是多方面的,包括对象,场景,交互或动作。现有的数据集大多只标记模型训练的一个方面,导致视频表示只偏向于一个方面,这取决于训练数据集。目前还没有研究如何从多面标签中学习视频表示,以及多面信息是否有助于视频表示学习。在本文中,我们提出了一个新的学习框架,多方面集成(MUFI),聚合方面从不同的数据集学习的表示,可以反映整个频谱的视频内容。从技术上讲,MUFI将问题表述为视觉语义嵌入学习,它将视频表示显式映射到丰富的语义嵌入空间,并从两个角度联合优化视频表示。一种是利用每个视频与其自身标签描述之间的面内监督,第二种是从其他数据集的面预测每个视频的“语义表示”作为面间监督。大量实验表明,通过我们的MUFI框架在四个大规模视频数据集和两个图像数据集的联合上学习3D CNN可以带来卓越的视频表示能力。具有MUFI的预先学习的3D CNN还显示出在几个下游视频应用上相对于其他方法的明显改进。更值得注意的是,MUFI在UCF 101/HMDB 51上的动作识别达到98.1%/80.9%,在视频描述的MSVD上的CIDEr-D得分达到101.5%。
2022-01-11 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University(上海交通大学SAI实验室);ByteDance Seed(字节跳动种子)
本文提出UniTime模型,利用生成多模态大语言模型实现通用视频时间定位,有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
TiFRe: Text-guided Video Frame Reduction for Efficient Video Multi-modal Large Language Models
Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学)
TiFRe通过文本引导的帧采样和帧匹配机制,有效减少视频输入帧数,同时保留关键信息,提升视频多模态大语言模型的效率和性能。
2026-02-09 cs.CV
SiLVR: A Simple Language-based Video Reasoning Framework
Department of Computer Science(计算机科学系);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
SiLVR通过将复杂视频理解分解为两个阶段,利用多感官输入生成语言表示,并通过强大推理LLM解决复杂视频-语言任务,实现了在多个视频评估任务上的最佳表现。
2026-04-15 cs.CV
Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting
Sharif University of Technology(谢里夫理工大学)
该研究提出无需训练的结构化视频提示方法,在推理时通过为视频添加时空结构锚点,提升视频-语言模型在时空推理任务上的性能,为改进视频理解提供了实用方向。
2026-09-09 cs.CV
SignRefine: Adapting Foundational Video Models for Sign Language Generation
University of Surrey(萨里大学);Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心)
SignRefine通过局部适配器优化手部面部动作,基于关键点生成可理解手语视频,配合NVSign数据集,手部精度提升30%,用户偏好超80%。
2026-09-09 cs.CV
Contrastive Learning of Image Representations with Cross-Video Cycle-Consistency
McGill University(麦吉尔大学);UC San Diego(加州大学圣地亚哥分校);Mila(Mila(魁北克人工智能研究所))
最近的工作已经大大提高了自监督表示学习的性能。这些方法的核心是图像内不变性学习。一个图像实例的两个不同变换被认为是一个正样本对,其中各种任务被设计为通过比较该对来学习不变表示。类似地,对于视频数据,来自同一视频的帧的表示被训练为比来自其他视频的帧更接近,即视频内不变性。然而,跨视频关系几乎没有被探索的视觉表示学习。与视频内不变性不同,跨视频关系的地面真值标签通常在没有人工劳动的情况下不可用。在本文中,我们提出了一种新的对比学习方法,探索跨视频的关系,通过使用一般的图像表示学习的周期一致性。这允许在不同的视频实例中收集阳性样本对,我们假设这将导致更高级别的语义。我们通过将我们的图像表示转移到多个下游任务(包括视觉对象跟踪、图像分类和动作识别)来验证我们的方法。我们展示了比最先进的对比学习方法显著的改进。项目页面可在https://happywu.github.io/cycle_contrast_video上找到。
2021-05-13 cs.CV
Time-Aware and View-Aware Video Rendering for Unsupervised Representation Learning
University of Central Florida(中佛罗里达大学)
最近在深度学习方面的成功导致了各种有效的视频表示学习方法。然而,目前的视频表示方法需要大量的人类标记数据集进行有效的学习。我们提出了一个无监督的表示学习框架,从多个视点捕获的视频编码场景动态。所提出的框架有两个主要组成部分:表示学习网络(RL-NET),它在混合网络(BL-NET)的帮助下学习表示,和视频渲染网络(VR-NET),它用于视频合成。该框架将来自不同视点和时间的视频剪辑作为输入,学习内部表示,并使用该表示从任意给定的视点和时间渲染视频剪辑。所提出的网络从任意视点和时间渲染视频帧的能力使其能够学习场景动态的有意义和鲁棒的表示。我们证明了所提出的方法在渲染视图感知以及时间感知的视频剪辑在两个不同的现实世界的数据集,包括UCF-101和NTU-RGB+D的有效性。为了进一步验证学习表示的有效性,我们将其用于视图不变活动分类的任务,与现有的最先进的方法相比,我们观察到NTU-RGB+D数据集的性能有显着提高(约26%)。
2018-11-29 cs.CV
On Flow Profile Image for Video Representation
TU Munich(慕尼黑工业大学)
在视频分类、视频描述和视频监控等计算机视觉应用中,视频表示是一个关键的挑战。在本文中,我们提出了一种新的视频表示方法,捕获有意义的信息,包括运动和外观的视频帧序列,并将其压缩成一个单一的图像。为此,我们计算光流并将其用于最小二乘优化以找到新图像,即所谓的流剖面图像(FPI)。该图像对运动以及前景外观信息进行编码,同时去除背景信息。在活动识别实验中验证了该图像的质量,并将结果与其他视频表示技术(如动态图像[1]和特征图像[2])进行了比较。实验结果以及视觉质量证实了FPI可以成功地用于视频处理应用。
2019-05-12 cs.CV
Towards Language-Driven Video Inpainting via Multimodal Large Language Models
National Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室);Shanghai AI Laboratory(上海人工智能实验室);PKU-Wuhan Institute for Artificial Intelligence(北京大学武汉人工智能研究院);Zhejiang University(浙江大学)
本文提出语言驱动的视频修复任务及ROVI数据集,并设计首个基于扩散模型和多模态大语言模型的端到端基线框架,实现用自然语言指令指导视频修复。
2024-10-01 cs.CV
Connecting Vision and Language with Video Localized Narratives
Google Research(谷歌研究院)
我们提出了视频本地化叙事,一种新形式的多模态视频注释连接视觉和语言。在最初的本地化叙事中,注释者在图像上同时说话和移动鼠标,因此每个单词都有一个鼠标轨迹段。这在视频上是一个挑战。我们的新协议使注释者能够用本地化叙事讲述视频的故事,捕捉甚至涉及多个参与者相互交互以及与多个被动对象交互的复杂事件。我们对OVIS、UVO和Oops数据集的20k个视频进行了注释,总计170万字。基于这些数据,我们还为视频叙事接地和视频问答任务构建了新的基准,并提供了强基线模型的参考结果。我们的注释可在https://google.github.io/video-localized-narratives/上获得。
2023-03-15 cs.CV
Modeling Representation of Videos for Anomaly Detection using Deep Learning: A Review
Universiti Tunku Abdul Rahman(东姑阿都拉曼大学)
本文综述了当前基于视频的异常检测的研究进展。我们解决视频异常检测的最基本的方面,即视频特征表示。大量的研究工作已经做了正确的表示,以执行视频流中的异常检测准确地与可接受的虚警率。然而,这是非常具有挑战性的,由于环境和人体运动的大的变化,以及由于视频数据的巨大维度的高空间-时间复杂度。深度学习算法的弱监督性质可以帮助从视频数据本身学习表示,而不是手动为特定场景设计正确的功能。在本文中,我们想回顾一下使用深度学习技术对视频表示进行建模的现有方法,用于异常检测和动作识别任务。
2015-05-04 cs.CV
LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling
Microsoft(微软)
近年来,统一视觉语言框架有了很大的发展,其中大多数采用编码器-解码器架构,将图像-文本任务统一为序列到序列生成。然而,现有的视频语言(VidL)模型仍然需要在模型架构和每个任务的训练目标的任务特定的设计。在这项工作中,我们探索了一个统一的VidL框架LAVENDER,其中Masked Language Modeling(MLM)被用作所有预训练和下游任务的公共接口。这样的统一导致简化的模型架构,其中在多模态编码器之上仅需要轻量级MLM头,而不是具有更多参数的解码器。令人惊讶的是,实验结果表明,这个统一的框架实现了竞争力的性能在14个VidL基准,涵盖视频问答,文本到视频检索和视频描述。广泛的分析进一步证明了LAVENDER优于现有VidL方法的优点:(i)在多任务微调时仅使用一组参数值支持所有下游任务;(ii)对各种下游任务的Few-Shot泛化;以及(iii)对视频问答任务启用zero-shot评估。代码可在https://github.com/microsoft/LAVENDER上获得。
2022-06-14 cs.CV
Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models
Department of Computer Science, the University of Haifa(哈ifa大学计算机科学系)
提出一种基于大语言和视频模型的零样本视频摘要方法,通过提示生成用户引导的摘要,无需训练数据,优于现有无监督和监督方法。
2026-02-17 cs.CV
Frequency Selective Augmentation for Video Representation Learning
KAIST(韩国科学技术院)
最近的自监督视频表示学习方法专注于最大化来自同一视频的多个增强视图之间的相似性,并且在很大程度上依赖于生成的视图的质量。然而,大多数现有方法缺乏防止表示学习偏向于视频中的静态信息的机制。在本文中,我们提出了频率增强(FreqAug),时空数据增强方法在频域的视频表示学习。FreqAug随机从视频中删除特定的频率分量,以便学习的表示从各种下游任务的剩余信息中捕获更多的基本特征。具体来说,FreqAug通过丢弃空间或时间低频分量,推动模型更多地关注视频中的动态特征,而不是静态特征。为了验证所提出的方法的通用性,我们用FreqAug在多个自监督学习框架上进行了实验,并进行了标准增强。将改进的表示转移到五个视频动作识别和两个时间动作定位下游任务中,显示出与基线相比的一致改进。
2022-12-06 cs.CV
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation
University of Surrey(萨里大学)
手语数据的视觉匿名化是解决大规模数据集收集引起的隐私问题的一项重要任务。以前的匿名化技术要么显著影响了符号理解,要么需要手工劳动密集型工作。在本文中,我们正式介绍了手语视频匿名化(SLVA)的任务,作为一种自动的方法来匿名的手语视频的视觉外观,同时保留原始手语序列的意义。为了解决SLVA问题,我们提出了AnonySign,这是一种用于手语数据视觉匿名化的新方法。我们首先从源视频中提取姿势信息,以去除原始签名者的外观。接下来,我们从姿势序列中生成一个新颖外观的照片般逼真的手语视频,使用条件变分自编码器框架中的图像到图像的翻译方法。学习近似的后验风格分布,可以从中采样以合成新颖的人类外观。此外,我们提出了一种新的\textit{style loss},确保风格的一致性,在匿名的手语视频。我们评估AnonySign的SLVA任务与广泛的定量和定性实验突出现实主义和匿名性,我们的新的人类外观合成。此外,我们正式的匿名知觉研究作为评价标准的SLVA任务,并展示使用AnonySign的视频匿名保留原始的手语内容。
2021-07-23 cs.CV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University(石溪大学)
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而,学习的表示往往无法推广到看不见的相机视点。为此,我们提出了Viewbatch,它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器,可以被认为是一个可学习的增强任何自我监督的预文本任务,生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化,使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明,Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework
The University of Tokyo(东京大学)
我们提出了一种自监督的方法来学习视频的特征表示。传统的自监督方法中的标准方法使用正负数据对来用对比学习策略进行训练。在这种情况下,相同视频的不同模态被视为正,而来自不同视频的视频剪辑被视为负。由于时空信息对于视频表示是重要的,我们通过引入帧内负样本来扩展负样本,该帧内负样本通过打破视频片段中的时间关系而从相同的锚视频转换而来。利用所提出的帧间-帧内对比(IIC)框架,我们可以训练时空卷积网络来学习视频表示。在我们的IIC框架中有许多灵活的选项,我们通过使用几种不同的配置进行实验。评估进行视频检索和视频识别任务,使用学习的视频表示。我们提出的IIC比当前最先进的结果有很大的优势,例如在UCF 101和HMDB 51数据集上,视频检索的前1准确度分别提高了16.7%和9.5%。对于视频识别,也可以在这两个基准数据集上获得改进。代码可在https://github.com/BestJuly/Inter-intra-video-contrastive-learning上获得。
2020-08-12 cs.CV
Deep video representation learning: a survey
Louisiana State University(路易斯安那州立大学)
本文综述深度视频表征学习,分类比较时空特征学习方法及其在光照、遮挡等变化下的有效性,并指出当前研究面临的挑战。
2024-05-10 cs.CV
Video Representation Learning and Latent Concept Mining for Large-scale Multi-label Video Classification
Carnegie Mellon University(卡内基梅隆大学)
我们报告CMU信息媒体实验室的系统用于谷歌的YouTube 800万视频理解挑战。在这个多标签视频分类任务中,我们的管道在我们的评估分割和官方测试集上实现了84.675%和84.662%的GAP。我们将良好的性能归因于三个组成部分:1)使用残余链接和超列的精细视频表示学习2)捕获概念之间的交互的潜在概念挖掘。3)时间段学习和加权多模型集成。我们进行实验来验证和分析我们的模型的贡献。我们还分享了一些不成功的试验,这些试验利用了传统的方法,例如用于这个大规模视频数据集的视频表示学习的递归神经网络。复制我们结果的所有代码都可以在https://github.com/Martini09/informedia-yt8m-release上公开获得。
2017-07-25 cs.CV
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
自然视频为自监督学习提供了丰富的视觉内容。然而,大多数现有的方法学习时空表示依赖于手动修剪的视频,导致有限的多样性的视觉模式和有限的性能增益。在这项工作中,我们的目标是通过利用未经修剪的视频中更丰富的信息来学习表示。为此,我们建议学习视频中的视频的层次结构,即,视觉一致性和主题一致性,分别对应于当被短时间间隔分开时倾向于视觉上相似的剪辑对和当被长时间间隔分开时共享相似主题的剪辑对。具体而言,分层一致性学习框架HiCo,其中视觉上一致的对被鼓励具有相同的表示通过对比学习,而主题一致的对耦合通过主题分类器,区分它们是否是主题相关的。此外,我们提出了一个渐进的采样算法的层次一致性学习,并证明了其理论上的优越性。从经验上讲,我们表明,不仅HiCo可以生成更强的表示未修剪的视频,它也提高了表示质量时,应用到修剪的视频。这与标准的对比学习形成对比,标准的对比学习不能从未经修剪的视频中学习适当的表示。
2022-04-06 cs.CV
Contextual Explainable Video Representation: Human Perception-based Understanding
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司)
视频理解是一个不断发展的领域,也是一个深入研究的主题,它包括许多有趣的任务来理解空间和时间信息,例如,动作检测、动作识别、视频描述、视频检索。视频理解中最具挑战性的问题之一是处理特征提取,即由于无约束视频的长而复杂的时间结构,从给定的未修剪视频中提取上下文视觉表示。与现有的方法不同,这些方法将预训练的骨干网络作为黑盒来提取视觉表示,我们的方法旨在提取具有可解释机制的最上下文信息。正如我们所观察到的,人类通常通过三个主要因素之间的相互作用来感知视频,即,参与者、相关对象和周围环境。因此,设计一个上下文可解释的视频表示提取,可以捕获这些因素中的每一个,并对它们之间的关系建模是非常重要的。在本文中,我们讨论的方法,将人类的感知过程建模演员,对象和环境。我们选择视频段落字幕和时间动作检测来说明基于人类感知的上下文表示在视频理解中的有效性。源代码可在https://github.com/UARK-AICV/Video_Representation上公开获取。
2022-12-17 cs.CV
Building a Video-and-Language Dataset with Human Actions for Multimodal Logical Inference
Ochanomizu University(御茶水女子大学);The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文介绍了一个新的视频和语言数据集与人类的行动多模态逻辑推理,重点是有意和方面的表达,描述动态的人类行动。该数据集由200个视频、5,554个动作标签和1,942个动作三元组组成,这些三元组的形式为<subject,predicate,object>,可以转换为逻辑语义表示。该数据集有望用于评估视频和语义复杂的句子(包括否定和量化)之间的多模态推理系统。
2021-06-27 cs.CV
Do View-Consistent Representations Matter for Camera-Controlled Video Generation?
University of Edinburgh(爱丁堡大学);University of Bristol(布里斯托大学)
ViCoDR通过学习多视图一致的扩散表示,提升视频生成的3D一致性,适用于图像到视频、文本到视频和多视图生成任务。
2026-10-27 cs.CV
VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models
State Key Laboratory of Networking and Switching Technology, BUPT(网络与交换技术国家重点实验室)
VideoPerceiver通过两阶段训练框架提升视频多模态大语言模型对细粒度动作和短暂事件的感知能力,显著优于现有模型。
2025-11-24 cs.CV
NAVERO: Unlocking Fine-Grained Semantics for Video-Language Compositionality
The University of Hong Kong(香港大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对视频中组合关系随时间快速变化导致VidL模型组合理解困难的问题,该研究构建AARO基准,提出负样本增强的NAVERO训练方法及匹配损失,在组合理解和检索任务上均取得更优表现。
2024-08-18 cs.CV
From Shots to Stories: LLM-Assisted Video Editing with Unified Language Representations
Shanghai University(上海大学)
该研究首次系统探索LLM在视频编辑中的应用,提出中间表示L-Storyboard实现视觉信息到结构化语言描述的转换,设计StoryFlow策略解决发散型任务输出不稳定问题,有效提升视频编辑任务的性能、可解释性与隐私保护能力。
2025-05-18 cs.CV
MSVD-Turkish: A Comprehensive Multimodal Dataset for Integrated Vision and Language Research in Turkish
Imperial College London(帝国理工学院);Hacettepe University(哈杰特佩大学);Koç University(科奇大学)
以自然语言自动生成视频描述,也称为视频字幕,旨在理解视频的视觉内容并产生描绘场景中的对象和动作的自然语言句子。然而,这种具有挑战性的综合视觉和语言问题主要是针对英语的。缺乏数据和其他语言的语言特性限制了这些语言的现有方法的成功。在本文中,我们针对土耳其语,一个形态丰富和粘着的语言,有非常不同的属性相比,英语。为此,我们创建了第一个大规模的视频描述数据集,通过仔细翻译的MSVD(微软研究视频描述语料库)数据集中的视频的英语描述成土耳其语。除了能够在土耳其语的视频描述的研究,平行的英语-土耳其语的描述也使视频上下文(多模态)机器翻译的作用的研究。在我们的实验中,我们为视频描述和多模态机器翻译建立模型,并研究不同的分词方法和不同的神经架构的效果,以更好地解决土耳其语的属性。我们希望MSVD-土耳其语数据集和这项工作中报告的结果将导致更好的视频描述和多模态机器翻译模型,用于土耳其语和其他形态丰富和粘着的语言。
2020-12-13 cs.CV
Understanding Long Videos with Multimodal Language Models
该研究探究大语言模型的知识与推理对长视频理解性能的影响,发现有限视频信息下仍有高准确率,进而提出融合三种以对象为中心的视频信息的MVU框架,在多基准及机器人任务上达最优性能。
2025-06-11 cs.CV
Learning Video Representations from Textual Web Supervision
University of Michigan(密歇根大学);Google Research(谷歌研究院);Princeton University(普林斯顿大学)
互联网上的视频与文本片段配对,例如标题和描述。此文本通常描述视频中最重要的内容,例如场景中的对象和正在执行的动作。基于这一观察,我们建议使用文本作为学习视频表示的方法。为了实现这一点,我们提出了一个数据汇集过程,并使用它来收集70 M的视频剪辑在互联网上公开共享,然后我们训练一个模型来配对每个视频与其相关的文本。我们评估了几个下游动作识别任务,包括动力学,HMDB-51和UCF-101的模型。我们发现这种方法是一种有效的预训练视频表示的方法。具体来说,它优于所有现有的自监督和跨模态视频表示学习方法。
2021-08-27 cs.CV
DistInit: Learning Video Representations Without a Single Labeled Video
Facebook(脸书);Dartmouth College(达特茅斯学院);Carnegie Mellon University(卡内基梅隆大学);Argo AI
视频识别模型在过去几年中取得了显着进展,从手工特征训练的浅层分类器发展到深层时空网络。然而,训练这些模型所需的标记视频数据已经无法跟上这些网络不断增长的深度和复杂性。在这项工作中,我们提出了一种替代方法来学习视频表示,不需要语义标记的视频,而是利用多年来收集和标记大型和干净的静态图像数据集的努力。我们通过使用在图像数据集上预先训练的最先进的模型作为"教师"来在蒸馏框架中训练视频模型来实现这一点。我们证明了我们的方法学习真正的时空特征,尽管只使用静态图像网络的监督进行训练。此外,它使用完全未经策划的原始视频数据源和不同的2D教师模型,在不同的输入模式中学习良好的表示。我们的方法获得了很强的传输性能,比基于图像模型的自举视频架构的标准技术高出16%。我们相信,我们的方法开辟了新的方法来学习时空表示从未标记的视频数据。
2019-08-20 cs.CV
Video Primal Sketch: A Unified Middle-Level Representation for Video
Xi’an Jiaotong University(西安交通大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所)
本文提出了一种中间层次的视频表示方法--视频原始草图(Video Primal Sketch,VPS),它集成了两种模型:i)稀疏编码模型,使用静态或运动基元显式表示运动的角点、线条、特征点等; ii)FRAME /MRF模型再现从输入视频提取的特征统计以隐式地表示纹理运动,诸如水和火。特征统计包括时空滤波器和速度分布的直方图。本文对文献有三个贡献:i)使用参数生成模型学习视频基元字典; ii)提出用于建模和合成纹理运动的时空帧(ST-帧)和运动外观帧(MA-帧)模型; iii)开发用于通用视频表示的简约混合模型。给定一个输入视频,VPS自动为不同的运动模式选择合适的模型,并与高级动作表示兼容。在实验中,我们合成了一些纹理运动;使用VPS重建真实视频;报告了一系列人类感知实验来验证重建视频的质量;演示了VPS如何在视频中的尺度转换上发生变化;并呈现了VPS和高级动作模型之间的密切联系。
2015-02-10 cs.CV
ActBERT: Learning Global-Local Video-Text Representations
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
在本文中,我们介绍了ActBERT的自监督学习的联合视频文本表示从未标记的数据。首先,我们利用全球行动信息,催化语言文本和本地区域对象之间的相互作用。它从成对的视频序列和文本描述中揭示全局和局部视觉线索,以进行详细的视觉和文本关系建模。其次,我们引入纠缠Transformer块(ENT)来编码三个信息源,即,全局动作、局部区域对象和语言描述。通过从上下文信息中提取明智的线索来发现全局-局部对应关系。它强制联合视频文本表示意识到细粒度的对象,以及全球人类的意图。我们验证了ActBERT在下游视频和语言任务上的泛化能力,即,文本视频剪辑检索、视频描述、视频问答、动作分割和动作步骤定位。ActBERT显著优于最先进的技术,证明了其在视频-文本表示学习中的优势。
2020-11-14 cs.CV
MetaNeRV: Meta Neural Representations for Videos with Spatial-Temporal Guidance
College of Computer Science, Zhejiang University(浙江大学计算机科学学院);Cooperative Medianet Innovation Center, Shanghai Jiaotong University(上海交通大学合作媒体创新中心)
针对NeRV适配多视频效率低的问题,提出带时空引导的MetaNeRV框架,通过元学习获最优初始化,结合多分辨率空间损失与渐进时间学习策略,提升视频表示与压缩性能。
2025-01-17 cs.CV
Probabilistic Representations for Video Contrastive Learning
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
本文提出了概率视频对比学习,一种自监督的表示学习方法,桥梁对比学习与概率表示。我们假设组成视频的片段在短时间内具有不同的分布,但可以通过在一个共同的嵌入空间中组合来表示复杂和复杂的视频分布。因此,该方法将视频片段表示为正态分布,并将它们组合成高斯混合模型来模拟整个视频分布。通过从整个视频分布中采样嵌入,我们可以绕过仔细的采样策略或变换来生成剪辑的增强视图,这与以前的确定性方法不同,这些方法主要集中在对比学习的样本生成策略上。我们进一步提出了一个随机对比度损失来学习适当的视频分布,并处理来自原始视频性质的固有不确定性。实验结果验证了我们的概率嵌入站作为一个国家的最先进的视频表示学习的动作识别和视频检索的最流行的基准,包括UCF 101和HMDB 51。
2022-04-08 cs.CV
CLIP2Video: Mastering Video-Text Retrieval via Image CLIP
Tencent(腾讯)
我们提出CLIP 2 Video网络,以端到端的方式将图像语言预训练模型传输到视频文本检索。视频和语言学习领域的主要方法试图从大规模视频-文本数据集中提取时空视频特征以及视频和语言之间的多模态交互。与之不同的是,我们利用预训练的图像-语言模型,将其简化为一个两阶段的框架,分别进行图像-文本的协同学习和增强视频帧和视频-文本之间的时间关系,使其能够在相对较小的数据集上进行训练。具体来说,基于对比度图像预训练(CLIP)模型捕获的空间语义,我们的模型包括一个时间差异块来捕获精细时间视频帧的运动,和一个时间对齐块来重新对齐视频片段和短语的标记,并增强多模态相关性。我们进行了彻底的消融研究,并在主要的文本到视频和视频到文本检索基准上实现了最先进的性能,包括MSR-VTT,MSVD和VATEX检索准确性的新记录。
2021-06-21 cs.CV
DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization
Rutgers University(罗格斯大学);Boston University(波士顿大学)
本文提出 DiffSLVA,利用预训练扩散模型和 ControlNet 零样本文本引导实现手语视频匿名化,规避姿态估计并保留语言内容,首次适用于真实场景。
2023-11-27 cs.CV
Learning video embedding space with Natural Language Supervision
本文提出一种两阶段方法,利用预训练CNN提取视频帧特征并结合CLIP模型编码视觉特征与文本,将视频嵌入空间映射至自然语言,在UCF101和HMDB51数据集上达到SOTA。
2023-04-08 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University(复旦大学);University of Maryland, College Park(马里兰大学学院公园分校)
VideoLoom是一种用于联合空间-时间理解的视频大语言模型,通过LoomData-8.7k数据集和LoomBench基准测试,在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Language Model Guided Interpretable Video Action Reasoning
Xidian University(西安电子科技大学);Edith Cowan University(伊迪斯科文大学);University of Western Australia(西澳大学)
本文提出LaIAR框架,通过语言模型引导视频模型训练,将视频与语言模型对齐,在Charades和CAD-120数据集上同时提升视频动作识别的性能与可解释性。
2024-04-02 cs.CV
Contrastive Language Video Time Pre-training
UC Riverside(加州大学河滨分校);Intel Labs(英特尔实验室)
本文提出 LAVITI 方法,通过可学习时刻查询和相对时间嵌入,在长视频中对比学习语言、视频与时间表征,并在 Ego4D 上以低计算成本训练,在 CharadesEgo 动作识别中取得最先进结果。
2024-06-04 cs.CV
Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video
The University of Tokyo(东京大学)
提出一种自监督视频摘要方法,利用LLMs将视频帧描述转化为文本摘要,并通过语义匹配和多样性损失优化,在SumMe数据集上达到最先进性能,支持个性化摘要。
2024-08-20 cs.CV
Can Text-to-Video Generation help Video-Language Alignment?
University of Trento(特伦托大学);Snap Inc.(Snap公司);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对视频-语言对齐训练中负面描述文本存在语言偏差、现有数据库难覆盖对应视频的问题,提出动态加权合成视频贡献、加入语义一致性损失的SynViTA方法,提升了多基准测试性能。
2025-03-24 cs.CV
End-to-End Learning of Visual Representations from Uncurated Instructional Videos
ENS/Inria(巴黎高等师范学院/法国国家信息与自动化研究所);DeepMind;CIIRC CTU(捷克技术大学信息、机器人与控制研究所);VGG Oxford(牛津大学视觉几何组)
注释视频是繁琐的,昂贵的,不可扩展的。然而,许多强大的视频模型仍然依赖于手动注释的数据。随着最近HowTo 100 M数据集的引入,叙事视频现在提供了在没有人工监督的情况下学习视频表示的可能性。在这项工作中,我们提出了一种新的学习方法,MIL-NCE,能够解决叙事视频固有的错位。通过这种方法,我们能够从头开始学习强大的视频表示,而不需要任何手动注释。我们在八个数据集上评估了四个下游任务的表示:动作识别(HMDB-51,UCF-101,Kinetics-700),文本到视频检索(YouCook 2,MSR-VTT),动作本地化(YouTube-8 M Segments,CrossTask)和动作分割(COIN)。我们的方法优于所有已发布的自监督方法,以及几个完全监督的基线。
2020-08-23 cs.CV
Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models
Intel(英特尔)
针对 MLLM 视频叙述时间对齐差且易幻觉的问题,论文提出免训练流水线 VideoNarrator,通过多模型协同生成、补充上下文并验证字幕,显著提升叙述准确性。
2025-07-22 cs.CV
Multi-scale 2D Temporal Map Diffusion Models for Natural Language Video Localization
Nanyang Technological University(南洋理工大学);ByteDance(字节跳动);SenseTime(商汤科技)
针对自然语言视频定位缺乏全局时序建模的问题,本文提出通过条件去噪扩散过程直接生成全局二维时序图,并引入多尺度技术与创新扩散解码器解决稀疏性和不连续性,在Charades和DiDeMo数据集上验证了有效性。
2024-01-16 cs.CV
DiCoDe: Diffusion-Compressed Deep Tokens for Autoregressive Video Generation with Language Models
DiCoDe利用扩散压缩深度标记,通过自回归语言模型生成视频,实现高效压缩与高质量输出,展示了在视频建模中的潜力。
2026-03-15 cs.CV