InstructVid2Vid: Controllable Video Editing with Natural Language Instructions
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
提出InstructVid2Vid,一种基于扩散模型的视频编辑方法,通过自然语言指令实现无需微调的可控编辑,利用帧间一致性损失增强时间连贯性,支持属性编辑、背景更改和风格迁移。
2024-05-29 cs.AI cs.CV cs.MM
Multi-scale 2D Temporal Map Diffusion Models for Natural Language Video Localization
Nanyang Technological University(南洋理工大学);ByteDance(字节跳动);SenseTime(商汤科技)
针对自然语言视频定位缺乏全局时序建模的问题,本文提出通过条件去噪扩散过程直接生成全局二维时序图,并引入多尺度技术与创新扩散解码器解决稀疏性和不连续性,在Charades和DiDeMo数据集上验证了有效性。
2024-01-16 cs.CV
GODIVA: Generating Open-DomaIn Videos from nAtural Descriptions
Microsoft Research Asia(微软亚洲研究院);Duke University(杜克大学)
从文本生成视频是一项具有挑战性的任务,因为它对训练的计算要求很高,并且有无限可能的答案用于评估。现有的工作通常在简单或小的数据集上进行实验,其中泛化能力非常有限。在这项工作中,我们提出了GODIVA,一个开放域的文本到视频预训练模型,可以使用三维稀疏注意力机制以自回归的方式从文本生成视频。我们在Howto100M上预训练我们的模型,Howto100M是一个大规模的文本视频数据集,包含超过1.36亿个文本视频对。实验表明,GODIVA不仅可以对下游的视频生成任务进行微调,而且对不可见文本具有良好的zero-shot能力。我们还提出了一个新的度量称为相对匹配(RM)自动评估视频生成质量。列出了一些挑战,并讨论了未来的工作。
2021-04-30 cs.CV
NWT: Towards natural audio-to-video generation with representation learning
Cash App Labs(Cash App实验室)
在这项工作中,我们介绍了NWT,一个富有表现力的语音到视频模型。与使用特定领域的中间表示(如姿势关键点)的方法不同,NWT学习自己的潜在表示,对音频和视频内容的假设最少。为此,我们提出了一种新的离散变分自编码器与对抗损失,dVAE-Adv,学习一个新的离散的潜在表示,我们称之为Memcodes。Memcodes是简单的实现,不需要额外的损失条款,是稳定的训练与其他方法相比,并显示出可解释性的证据。为了在Memcode空间上进行预测,我们使用以音频为条件的自回归编码器-解码器模型。此外,我们的模型可以控制生成的视频中未在数据中注释的潜在属性。我们训练NWT的剪辑从HBO的最后一周今晚与约翰奥利弗。NWT在整体视频自然度、面部自然度和表现力以及对口型质量测试中的平均意见得分(MOS)始终高于其他方法。这项工作为广义的音频到视频合成设置了一个强有力的基线。样品可在https://next-week-tonight.github.io/NWT/上获得。
2021-06-08 cs.AI cs.CV cs.LG
NaRCan: Natural Refined Canonical Image with Integration of Diffusion Prior for Video Editing
National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出视频编辑框架NaRCan,融合混合形变场与扩散先验生成高质量自然规范图像,结合LoRA微调与更新调度技术实现14倍训练加速,在多类视频编辑任务上表现优于现有方法。
2024-10-29 cs.CV
The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis
本研究提出基于YOLO和CLIP的视觉-语言框架,从视频中分类未受感染与DENV2感染的蚊子,帧级准确率达98.54%、灵敏度达99.91%,证实该框架可用于分析感染相关生物行为。
2026-08-14 cs.AI cs.CV
AutoVFX: Physically Realistic Video Editing from Natural Language Instructions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AutoVFX提出一个框架,结合神经场景建模、LLM代码生成和物理模拟,从单个视频和自然语言指令自动生成物理逼真的动态VFX效果,实验证明其在生成质量、指令对齐、编辑多样性和物理合理性上大幅超越现有方法。
2024-11-04 cs.CV
Animate Your Thoughts: Decoupled Reconstruction of Dynamic Natural Vision from Slow Brain Activity
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhengzhou University(郑州大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对fMRI时间分辨率低及生成模型幻觉等问题,本文提出两阶段Mind-Animator,通过三模态对比学习与稀疏因果注意力解耦语义、结构和运动特征,并利用膨胀版Stable Diffusion重建视频,取得最先进性能。
2025-02-19 cs.AI cs.CV
Soundini: Sound-Guided Diffusion for Natural Video Editing
Google Research(谷歌研究院);Korea University(高丽大学)
本文提出Soundini方法,首次在零样本设定下利用声音潜在表示引导扩散模型进行自然视频编辑,并结合光流引导保证帧间时间一致性,从而生成反映声音强度、音色和音量等属性的动态视觉特效。
2023-04-13 cs.CV
Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation
HKUST(香港科技大学);Tencent(腾讯);Tsinghua University(清华大学)
本文提出ACTalker视频扩散框架,通过并行mamba结构和掩码丢弃策略实现多信号独立控制面部区域,生成自然协调的说话头视频。
2025-04-07 cs.CV
ExpressEdit: Video Editing with Natural Language and Sketching
KAIST(韩国科学技术院);Yale University(耶鲁大学)
针对新手视频编辑困难的问题,提出ExpressEdit系统,利用自然语言和草图输入,结合LLM与视觉模型解析多模态编辑意图并支持迭代,显著提升了编辑效率与创意表达。
2024-03-26 cs.AI cs.HC
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
VideoGPT: Video Generation using VQ-VAE and Transformers
University of California, Berkeley(加州大学伯克利分校)
我们提出VideoGPT:一个概念上简单的架构,用于将基于可能性的生成建模扩展到自然视频。VideoGPT使用VQ-VAE,通过采用3D卷积和轴向自我注意来学习原始视频的下采样离散潜在表示。一个简单的GPT类架构,然后使用时空位置编码的离散潜伏期的自回归模型。尽管公式简单且易于训练,但我们的架构能够生成与最先进的GAN模型竞争的样本,用于在BAIR Robot数据集上生成视频,并从UCF-101和Tumbler GIF数据集(TGIF)生成高保真自然视频。我们希望我们提出的架构作为一个可重复的参考,最低限度的实施Transformer为基础的视频生成模型。示例和代码可在https://wilson1yan.github.io/videogpt/index.html上获得
2021-09-14 cs.CV cs.LG
FloVD: Optical Flow Meets Video Diffusion Model for Enhanced Camera-Controlled Video Synthesis
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
FloVD提出利用光流表示相机与物体运动,实现无需相机参数的详细相机控制,并通过两阶段流程(光流生成与流条件视频合成)在精确控制下生成自然物体运动。
2025-03-25 cs.CV
Identity-Consistent Video Generation under Large Facial-Angle Variations
Tsinghua University(清华大学);Baidu Inc., China(百度公司);University of Bristol(布里斯托大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出Mv²ID框架,通过区域遮蔽训练策略和参考解耦RoPE机制,解决大角度变化下的身份一致性与自然运动平衡问题,并构建大规模数据集和评估指标。
2026-03-22 cs.CV
M3L: Language-based Video Editing via Multi-Modal Multi-Level Transformers
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
视频编辑工具如今被广泛用于数字设计。虽然对这些工具的需求很高,但所需的先验知识使新手很难入门。能够遵循自然语言指令进行自动编辑的系统将大大改善无障碍环境。本文介绍了基于语言的视频编辑(LBVE)任务,它允许模型编辑,由文本指令的指导下,源视频到目标视频。LBVE包含两个功能:1)源视频的场景被保留,而不是生成完全不同的视频; 2)语义在目标视频中被不同地呈现,并且所有的变化都由给定的指令控制。我们提出了一种多模态多电平Transformer(M $^3$ L)来实现LBVE。M $^3$ L在不同层次上动态地学习视频感知和语言语义之间的对应关系,有利于视频理解和视频帧合成。我们构建了三个新的数据集进行评估,包括两个诊断数据集和一个来自带有人类标记文本的自然视频的数据集。大量的实验结果表明,M $^3$ L是有效的视频编辑和LBVE可以导致一个新的领域,对视觉和语言的研究。
2022-03-18 cs.CV
MagicMirror: ID-Preserved Video Generation in Video Diffusion Transformers
CUHK(香港中文大学);HKUST(香港科技大学);CMU(卡内基梅隆大学);SmartMore(思谋科技)
MagicMirror通过双分支特征提取器和两阶段训练策略,在视频扩散变换器中实现高质量身份保留视频生成,优于现有方法。
2025-11-22 cs.CV
Stochastic Image-to-Video Synthesis using cINNs
Heidelberg University(海德堡大学);Ryerson University(瑞尔森大学);Vector Institute for AI(Vector人工智能研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心)
视频理解需要一个模型来学习静态场景内容及其动态之间的特征相互作用:给定一幅图像,模型必须能够预测所描绘场景的未来进展,相反,视频应该根据其静态图像内容和初始帧中不存在的所有剩余特征来解释。这自然暗示视频域与静态内容以及残余信息之间的双射映射。与常见的随机图像到视频合成相比,这样的模型不仅仅生成推进初始图像的任意视频。给定此图像,它在采样时提供残差向量和具有随机结果的视频之间的一对一映射。该方法自然使用条件可逆神经网络(cINN)来实现,该cINN可以通过独立地对静态和其他视频特征进行建模来解释视频,从而为受控视频合成奠定基础。四个不同的视频数据集上的实验证明了我们的方法在合成结果的质量和多样性方面的有效性。我们的项目页面可以在https://bit.ly/3t66bnU上找到。
2021-06-17 cs.CV
ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance
Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学院,巴黎综合理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
提出ReFree-S2V框架,利用流匹配和预训练视频生成模型,通过多级语音表示和可学习选择器实现精细唇同步与自然表情,并引入无奖励强化学习生成自然头部运动,在唇同步准确性和自然度上达到最优。
2026-06-12 cs.CV
Video Diffusion Models are Strong Video Inpainter
Yonsei University(延世大学)
针对基于光流传播的视频修复存在噪声累积和时间不一致问题,提出首帧填充视频扩散修复模型(FFF-VDI),利用预训练图像到视频扩散模型,通过传播噪声潜在信息并微调生成自然且时间一致的修复视频,首次有效集成该模型到视频修复中。
2024-12-14 cs.CV
Advancing Video Quality Assessment for AIGC
School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院);WeChat, Tencent Inc(腾讯公司微信业务)
针对生成视频帧间质量差异问题,提出结合MAE与交叉熵的损失函数及S2CNet技术,在AIGC Video数据集上PLCC指标提升3.1%。
2024-09-23 cs.CV
Understanding Object Dynamics for Interactive Image-to-Video Synthesis
HCI Heidelberg University(海德堡大学人机交互中心)
局部插入静态场景会产生什么效果?我们提出了一种方法,学习自然看全球关节所造成的局部操作在像素级。训练只需要移动对象的视频,而不需要物理场景的底层操作信息。我们的生成模型学习推断自然对象动态作为对用户交互的响应,并了解不同对象身体区域之间的相互关系。给定对象的静态图像和像素的局部戳,该方法然后预测对象将如何随时间变形。与现有的视频预测工作相比,我们不合成任意逼真的视频,但使本地交互控制的变形。我们的模型不限于特定的对象类别,可以将动态转换到新的看不见的对象实例上。对不同对象的广泛实验证明了我们的方法相比,常见的视频预测框架的有效性。项目页面可在https://bit.ly/3cxfA2L上找到。
2021-06-21 cs.CV
Moaw: Unleashing Motion Awareness for Video Diffusion Models
Tsinghua University(清华大学);Beihang University(北航)
Moaw通过训练视频扩散模型进行运动感知,实现零样本运动迁移,推动生成建模与运动理解的结合。
2026-01-19 cs.CV
Incantation: Natural Language as the Action Interface for Multi-Entity Video World Models
SJTU(上海交通大学);NVIDIA Research(英伟达研究);USTC(中国科学技术大学);UCAS(乌兹别克斯坦科学院);NUS(新加坡国立大学);UWaterloo(滑铁卢大学);HKUST(香港理工大学);HKU(香港大学);ZGCA(浙江大学)
本研究提出了一种基于自然语言的动作接口,用于多实体视频世界模型,解决了传统接口在细粒度多实体控制和跨实体、跨世界泛化能力上的不足,通过引入自然语言条件化实现了更强大的表达能力。
2026-07-14 cs.CV
Video Generation from Text Employing Latent Path Construction for Temporal Modeling
University of Central Florida(中佛罗里达大学)
视频生成是机器学习和计算机视觉研究领域中最具挑战性的任务之一。在本文中,我们解决的文本视频生成问题,这是一个有条件的视频生成形式。人类可以听/读自然语言句子,并且可以想象或可视化所描述的内容;因此,我们相信从自然语言句子生成视频将对人工智能产生重要影响。视频生成是计算机视觉中一个较新的研究领域,目前还远未得到解决。大多数最近的作品处理合成数据集或真实数据集,对象,场景和情感的类型非常有限。据我们所知,这是第一个在更真实的视频数据集(如演员和动作数据集(A2 D)或UCF 101)上进行文本(自由形式的句子)到视频生成的工作。我们通过回归第一帧和最后一帧的潜在表示,并采用上下文感知的插值方法来构建帧之间的潜在表示,来解决视频生成的复杂问题。我们提出了一个堆叠的“upPooling”块来顺序地从每个潜在的表示中生成RGB帧,并逐步增加分辨率。此外,我们提出的鉴别器基于单帧和多帧对视频进行编码。我们提供了定量和定性的结果来支持我们的论点,并显示了我们的方法优于众所周知的基线,如递归神经网络(RNN)和基于卷积转置的视频生成方法。
2021-07-29 cs.CV
Dual Motion GAN for Future-Flow Embedded Video Prediction
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum 公司)
视频中的未来帧预测是无监督视频表示学习的一个有前途的途径。视频帧是基于视频中的外观和运动动态由来自先前帧的固有像素流自然生成的。然而,现有的方法集中于直接使像素值产生幻觉,从而导致模糊的预测。在本文中,我们开发了一个双运动生成对抗网络(GAN)架构,该架构通过双学习机制学习明确执行未来帧预测,以与视频中的像素流保持一致。原始未来帧预测和双重未来流预测形成闭环,生成相互提供信息的反馈信号以用于更好的视频预测。为了使合成的未来帧和流与现实不可区分,提出了一种双重对抗训练方法,以确保未来流预测能够帮助推断现实的未来帧,而未来帧预测反过来导致现实的光流。我们的双运动GAN还使用基于变分自编码器的新的概率运动编码器来处理不同像素位置中的自然运动不确定性。大量的实验表明,所提出的双运动GAN显着优于国家的最先进的方法合成新的视频帧和预测未来的流量。我们的模型在不同的视觉场景中具有很好的泛化能力,在无监督视频表示学习中表现出了优越性。
2017-08-03 cs.CV
LAMP: Language-Assisted Motion Planning for Controllable Video Generation
Koç University(科奇大学);University College London(伦敦大学学院);Hacettepe University(哈斯特帕大学);Adobe Research(Adobe研究院)
LAMP通过大语言模型生成3D轨迹,实现基于自然语言的视频生成,提升运动可控性和用户意图对齐。
2026-09-09 cs.CV
Beyond Flicker: Detecting Kinematic Inconsistencies for Generalizable Deepfake Video Detection
本文提出合成视频生成方法,通过引入微妙的运动不一致来训练模型,从而提升深度伪造视频检测的泛化能力。
2026-04-10 cs.CV
Text2LIVE: Text-Driven Layered Image and Video Editing
Weizmann Institute of Science(魏茨曼科学研究所);NVIDIA Research(英伟达研究院)
我们提出了一种zero-shot的方法,文本驱动的外观操纵自然图像和视频。给定输入图像或视频和目标文本提示,我们的目标是编辑现有对象的外观(例如,对象的纹理)或用视觉效果增强场景(例如,烟,火)以语义上有意义的方式。我们使用从单个输入(图像或视频和目标文本提示)中提取的训练样本的内部数据集训练生成器,同时利用外部预训练的CLIP模型来建立我们的损失。我们的关键思想不是直接生成编辑后的输出,而是生成一个编辑层(颜色+不透明度),该层在原始输入上合成。这使我们能够约束生成过程,并通过直接应用于编辑层的新颖的文本驱动损失来保持对原始输入的高保真度。我们的方法既不依赖于预先训练的生成器,也不需要用户提供的编辑掩码。我们展示了对各种对象和场景的高分辨率自然图像和视频进行本地化的语义编辑。
2022-05-25 cs.CV
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
现实世界中的说话脸往往伴随着自然的头部运动。然而,大多数现有的说话人脸视频生成方法仅考虑具有固定头部姿势的面部动画。在本文中,我们通过提出一个深度神经网络模型来解决这个问题,该模型将源人的音频信号A和目标人的非常短的视频V作为输入,并输出具有个性化头部姿势(利用V中的视觉信息),表情和嘴唇同步(通过考虑A和V)的合成的高质量说话面部视频。在我们的工作中最具挑战性的问题是,自然的姿势往往会导致在平面内和平面外的头部旋转,这使得合成的说话人脸视频远离现实。为了解决这一挑战,我们重建3D人脸动画,并重新渲染成合成帧。为了将这些帧调整为具有平滑背景过渡的逼真帧,我们提出了一种新的内存增强GAN模块。通过首先基于公开可用的数据集训练一般映射,并使用目标人的输入短视频微调映射,我们开发了一种有效的策略,仅需要少量帧(约300帧)来学习包括头部姿势在内的个性化谈话行为。广泛的实验和两个用户研究表明,我们的方法可以生成高质量的(即,个性化的头部运动、表情和良好的嘴唇同步)说话的面部视频,这自然地看起来比最先进的方法具有更明显的头部运动效果。
2020-03-05 cs.CV cs.GR
Talking-head Generation with Rhythmic Head Motion
University of Rochester(罗切斯特大学);OPPO US Research Center(OPPO美国研究中心)
当人们发表演讲时,他们自然地移动头部,这种有节奏的头部运动传达了韵律信息。然而,在自然移动头部的同时生成唇同步视频是具有挑战性的。虽然非常成功,现有的作品要么生成静止的talkingface视频或依赖于地标/视频帧作为稀疏/密集映射指导来生成头部运动,这导致不切实际或不可控的视频合成。为了克服这些限制,我们提出了一个3D感知的生成网络,以及一个混合嵌入模块和一个非线性合成模块。通过明确地建模头部运动和面部表情,仔细地操纵3D动画,并动态地嵌入参考图像,我们的方法实现了可控的,照片般逼真的,时间上连贯的说话头部视频与自然的头部运动。在几个标准基准上的实验表明,我们的方法在定量和定性比较方面都比最先进的方法取得了更好的结果。该代码可在https://github.com/ lelechen 63/Talking-head-Generation-with-Rhythmic-Head-Motion上获得。
2020-07-16 cs.CV cs.GR
Data-driven Head Motion Generation through Natural Gaze-Head Coordination
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
提出首个数据驱动方法,通过自动提取自然注视和头部运动,利用条件变分自编码器生成与注视相关的头部运动,并应用于注视控制的视频生成。
2026-05-25 cs.CV cs.HC
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
Character AI;Yale University(耶鲁大学)
该研究提出音视频生成统一范式Ovi,通过双DiT模块分块跨模态融合实现音视频同步生成,在大规模数据上训练后可产出带自然语音和匹配音效的电影级视频片段。
2025-09-30 cs.CV cs.MM cs.SD
Zero-shot Natural Language Video Localization
GIST(韩国科学技术院);UC Berkeley Vision AI Lab, AI Center, NCSOFT(加州大学伯克利分校视觉人工智能实验室、人工智能中心、NCSOFT公司)
理解视频以使用自然语言定位时刻通常需要与语言查询配对的大型昂贵的注释视频区域。为了消除标注成本,我们首次尝试以zero-shot方式训练自然语言视频定位模型。受无监督图像描述设置的启发,我们只需要随机文本语料库,未标记的视频集合和现成的对象检测器来训练模型。利用不成对的数据,我们提出了产生伪监督的候选时间区域和相应的查询语句,并开发了一个简单的NLVL模型与伪监督训练。我们的实证验证表明,所提出的伪监督方法优于几个基线方法和一些方法使用更强的监督Charades-STA和ActivityNet-Captions。
2021-08-29 cs.AI cs.CL cs.CV
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology(华中科技大学);Xidian University(西安电子科技大学)
自然语言视频定位是视觉-语言理解领域的一个重要课题,它不仅需要深入理解计算机视觉和自然语言这两个方面,更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题,这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究,但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此,本文的目的是全面调查的对抗鲁棒性NLVL模型,从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标,我们提出了一种新的对抗攻击范式,称为同义词感知的对抗攻击NLVL(SNEAK),它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从给定自然语言(NL)用户查询的视频中检测定制的时刻和亮点是一个重要但未充分研究的主题。朝着这一方向努力的挑战之一是缺乏附加说明的数据。为了解决这个问题,我们提出了基于查询的视频亮点(QVHIGHLIGHTS)数据集。它由超过10,000个YouTube视频组成,涵盖广泛的主题,从生活方式vlog视频中的日常活动和旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释有:(1)人类书写的自由形式NL查询,(2)视频中的相关时刻w.r.t.查询,以及(3)所有查询相关剪辑的五点标度显著性分数。这种全面的注释使我们能够开发和评估系统,检测相关的时刻,以及突出的亮点,为多样化,灵活的用户查询。我们还提出了一个强大的基线,这个任务,矩DETR,一个Transformer的编码器-解码器模型,认为时刻检索作为一个直接集预测问题,提取的视频和查询表示作为输入和预测时刻坐标和显着性分数端到端。虽然我们的模型没有利用任何人类先验知识,但我们表明,与精心设计的架构相比,它具有竞争力。通过使用ASR字幕的弱监督预训练,MomentDETR大大优于以前的方法。最后,我们提出了几个消融和可视化的Moment-DETR。数据和代码可在https://github.com/jayleicn/moment_detr上公开获取
2021-11-29 cs.AI cs.CL cs.CV
Finding Moments in Video Collections Using Natural Language
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague(布拉格捷克理工大学捷克信息学、机器人与控制论研究所);Adobe Research(Adobe研究院)
我们介绍了检索相关的视频时刻从一个大型语料库的未修剪,未分割的视频给定的自然语言查询的任务。我们的任务带来了独特的挑战,因为系统必须有效地识别相关视频并定位视频中的相关时刻。为了解决这些挑战,我们提出了时空对齐与语言(STAL),一个模型,表示一个视频时刻作为一组区域内的一系列短视频剪辑和对齐的自然语言查询时刻的区域。我们的对齐成本使用对称平方倒角距离比较可变长度的语言和视频特征,这允许对视频时刻进行有效的索引和检索。此外,与仅从整个视频时刻提取聚合特征的方法相比,将语言特征与视频时刻内的区域对齐允许更精细的对齐。我们评估我们的方法,最近提出的两个数据集的时间本地化的时刻,在视频与自然语言(DiDeMo和Charades-STA)扩展到我们的视频语料库时刻检索设置。我们表明,我们的STAL重新排名模型在我们提出的任务的所有数据集的所有标准上都优于最近提出的Moment Context Network,平均召回率的相对增益为37% - 118%,中位数排名的相对增益高达30%。此外,我们的方法实现了超过130倍的检索速度和8倍的索引大小与1 M的视频语料库在近似设置。
2022-02-23 cs.CL cs.CV
Video as Natural Augmentation: Towards Unified AI-Generated Image and Video Detection
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Shenzhen Loop Area Institute(深圳河套学院)
本研究针对AI生成内容检测中跨模态差距的问题,提出VINA框架,通过联合训练图像和视频数据,利用视频帧作为自然增强,并引入跨模态监督对比目标,实现统一的AI生成内容检测,提升鲁棒性和迁移性。
2026-05-21 cs.AI cs.CV
Commonsense for Zero-Shot Natural Language Video Localization
Virginia Tech(弗吉尼亚理工大学);University of Illinois at Urbana - Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对零样本自然语言视频定位中伪查询与视频缺乏锚定的问题,提出融合常识推理的CORONET框架,通过GCN编码常识、交叉注意力增强表征,在基准数据集上显著优于现有基线。
2024-02-01 cs.AI cs.CL cs.CV
Span-based Localizing Network for Natural Language Video Localization
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究所)
自然语言视频定位是在给定的视频和文本查询的情况下,从视频中找到与查询语义对应的匹配跨度。现有的解决方案将NLVL制定为排名任务并应用多模态匹配架构,或者制定为回归任务以直接回归目标视频跨度。在这项工作中,我们解决NLVL任务与跨度为基础的QA方法,将输入视频作为文本通道。我们提出了一个视频跨度本地化网络(VSLNet),在标准的跨度为基础的QA框架,以解决NLVL。拟议的VSLNet解决NLVL和跨度为基础的QA之间的差异,通过一个简单而有效的查询引导突出显示(QGH)的战略。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。通过在三个基准数据集上的大量实验,我们表明,所提出的VSLNet优于最先进的方法;采用基于跨度的QA框架是解决NLVL的一个有前途的方向。
2020-06-14 cs.CL cs.CV
A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity
The Weizmann Institute of Science(魏茨曼科学研究所)
从fMRI大脑记录重建自然视频是非常具有挑战性的,主要有两个原因:(i)由于fMRI数据采集很困难,我们只有有限数量的监督样本,这不足以覆盖自然视频的巨大空间;(ii)fMRI记录的时间分辨率远低于自然视频的帧速率。在本文中,我们提出了一种自监督的自然电影重建方法。通过在编码-解码自然视频上使用周期一致性,我们可以:(i)利用训练视频的完整帧速率,而不仅仅限于与fMRI记录相对应的剪辑;(ii)利用受试者从未在fMRI机器内看到的大量外部自然视频。这些使得能够将适用的训练数据增加几个数量级,将自然视频先验以及时间相干性引入解码网络。我们的方法明显优于竞争的方法,因为那些训练只在有限的监督数据。我们进一步引入了一个新的和简单的时间先验的自然视频,它-当折叠到我们的fMRI解码器进一步-允许我们重建视频在一个更高的帧速率(HFR)高达x8的原始fMRI采样率。
2022-06-10 cs.AI cs.CV cs.LG
Translating Videos to Natural Language Using Deep Recurrent Neural Networks
UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
解决视觉符号接地问题一直是人工智能的目标。随着最近在静态图像中自然语言深度学习方面的突破,该领域似乎正在向这一目标迈进。在本文中,我们提出使用具有卷积和递归结构的统一深度神经网络将视频直接翻译为句子。描述的视频数据集是稀缺的,大多数现有的方法已被应用到玩具领域与一个小词汇的可能的话。通过从120万多张带有类别标签的图像和10万多张带有标题的图像中转移知识,我们的方法能够创建具有大词汇量的开放域视频的句子描述。我们比较我们的方法与最近的工作,使用语言生成指标,主语,动词和宾语的预测准确性,和人的评价。
2015-04-30 cs.CL cs.CV
Localizing Moments in Video with Natural Language
Adobe Research(Adobe 研究院);UC Berkeley(加州大学伯克利分校);INRIA(法国国家信息与自动化研究所)
我们考虑从给定自然语言文本描述的视频中检索特定的时间片段或时刻。设计用于用自然语言检索整个视频剪辑的方法确定视频中发生了什么,但不确定何时发生。为了解决这个问题,我们提出的时刻上下文网络(MCN),有效地本地化视频中的自然语言查询整合本地和全球视频功能随着时间的推移。训练我们的MCN模型的一个关键障碍是,当前的视频数据集不包括成对的本地化视频片段和引用表达式,或者唯一标识相应时刻的文本描述。因此,我们收集了独特的可描述时刻(DiDeMo)数据集,该数据集由10,000多个未经编辑的个人视频组成,这些视频在不同的视觉环境中具有成对的本地化视频片段和引用表达式。我们证明MCN的性能优于几种基线方法,并相信我们的初步结果以及DiDeMo的发布将激发人们对使用自然语言本地化视频时刻的进一步研究。
2017-08-04 cs.CV
Learning Video Representations without Natural Videos
ShanghaiTech University(上海科技大学);Meta AI;University of California, Berkeley(加州大学伯克利分校)
本文提出用合成视频和自然图像替代自然视频进行预训练,通过递进式生成数据集建模运动等属性,使VideoMAE在UCF101上弥合97.2%的性能差距,并在HMDB51及多数分布外数据集上优于自然视频预训练模型。
2024-11-16 cs.CV
Localizing Moments in Video with Temporal Language
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在语言和视频理解的交叉点上,通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务,如图像中的自然语言对象检索,但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型,明确的原因在视频中的不同的时间段,并表明,时间上下文是重要的本地化短语,其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言,我们收集了新的TEMPoral推理视频和语言(TEMPO)数据集。我们的数据集由两部分组成:一个是包含真实视频和模板句子的数据集(TEMPO -模板语言),它允许对时间语言进行受控研究,另一个是由人类注释的时间句子组成的人类语言数据集(TEMPO -人类语言)。
2018-09-05 cs.CL cs.CV
Natural Language Video Localization: A Revisit in Span-based Question Answering Framework
Institute of High Performance Computing, A*STAR(高性能计算研究院(新加坡科技研究局));School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Institute of Infocomm Research, A*STAR(信息通信研究院(新加坡科技研究局))
自然语言视频定位(NLVL)的目的是从语义上对应于文本查询的未修剪视频中定位目标时刻。现有的方法主要从计算机视觉的角度解决NLVL问题,将其公式化为排名,锚或回归任务。这些方法在长视频上本地化时遭受大的性能下降。在这项工作中,我们从一个新的角度来解决NLVL,即,基于跨度的问答(QA),通过将输入视频视为文本段落。我们提出了一个视频跨度本地化网络(VSLNet),顶部的标准跨度为基础的QA框架(命名为VSLBase),以解决NLVL。VSLNet通过简单而有效的查询引导突出显示(QGH)策略解决了NLVL和基于跨度的QA之间的差异。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。为了解决长视频的性能下降,我们进一步扩展VSLNet的VSLNet-L通过应用多尺度分割和拼接策略。VSLNet-L首先将未修剪的视频分割成短片段;然后,它预测哪个片段包含目标时刻并抑制其他片段的重要性。最后,剪辑片段连接,具有不同的置信度,以准确地定位目标时刻。在三个基准数据集上的大量实验表明,所提出的VSLNet和VSLNet-L优于最先进的方法; VSLNet-L解决了长视频性能下降的问题。我们的研究表明,基于跨度的QA框架是解决NLVL问题的有效策略。
2021-03-02 cs.CL cs.CV
Video Moment Retrieval via Natural Language Queries
在本文中,我们提出了一种新的视频矩检索(VMR)的方法,实现了最先进的(SOTA)性能的R@1度量和超过SOTA的高IoU度量(R@1,IoU=0.7)。首先,我们提出了一个多头自我注意力机制,并进一步的交叉注意力计划捕获视频/查询交互和远程查询依赖从视频上下文。基于注意力的方法可以在任意位置进行帧到查询的交互和查询到帧的交互,并且多头设置确保了对复杂依赖关系的充分理解。我们的模型具有简单的架构,可以在维护的同时实现更快的训练和推理。其次,我们还提出了使用多任务训练目标,包括时刻分割任务,开始/结束分布预测和开始/结束位置回归任务。我们已经验证了,开始/结束预测是嘈杂的,由于注释者的分歧和联合训练与时刻分割任务可以提供更丰富的信息,因为目标剪辑内的帧也被用作积极的训练样本。第三,我们建议使用早期融合的方法,它实现了更好的性能,在推理时间的成本。然而,对于我们的模型来说,推理时间不会成为问题,因为我们的模型具有简单的架构,可以进行有效的训练和推理。
2020-09-10 cs.AI cs.CL cs.CV
Video (language) modeling: a baseline for generative models of natural videos
Facebook AI Research(脸书人工智能研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
我们提出了一个强大的基线模型,用于使用视频数据进行无监督特征学习。通过学习预测丢失的帧或从输入视频序列中推断未来的帧,该模型发现了空间和时间相关性,这对于表示复杂的变形和运动模式是有用的。我们提出的模型在很大程度上是从语言建模文献中借来的,并通过将图像块的空间量化到一个大的字典中来适应视觉领域。我们展示了填充和生成任务的方法。这是第一次,我们表明,在自然视频上训练后,这样的模型可以预测短视频序列上的非平凡运动。
2016-05-04 cs.CV cs.LG
Learning video embedding space with Natural Language Supervision
本文提出一种两阶段方法,利用预训练CNN提取视频帧特征并结合CLIP模型编码视觉特征与文本,将视频嵌入空间映射至自然语言,在UCF101和HMDB51数据集上达到SOTA。
2023-04-08 cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们解决了一个新的任务,即弱监督的时空接地视频中的自然句子。具体来说,给定一个自然句子和一个视频,我们在视频中定位一个时空管,它在语义上对应于给定的句子,在训练过程中不依赖任何时空注释。首先,从视频中提取一组时空管,称为实例。然后,我们编码这些实例和句子使用我们提出的专注的交互器,可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失,一种新的多样性损失被引入到训练所提出的专注的交互器,以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外,我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集,作为我们任务的基准。大量的实验结果表明,我们的模型优于基线方法。
2019-06-06 cs.CV
Read, Watch, and Move: Reinforcement Learning for Temporally Grounding Natural Language Descriptions in Videos
Baidu Inc.(百度公司);Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
视频接地的任务,即在时间上定位视频中的自然语言描述,在理解视频中起着重要的作用。现有的研究采用了在整个视频上滑动窗口或在预分割的视频中对所有可能的剪辑句子对进行详尽排名的策略,这不可避免地会受到详尽列举的候选人的影响。为了缓解这个问题,我们制定了这个任务作为一个问题的顺序决策,通过学习的代理,逐步规范其政策的基础上的时间接地边界。具体来说,我们提出了一个基于强化学习的框架,通过多任务学习进行改进,并且通过在训练过程中考虑额外的监督边界信息,显示出稳定的性能增益。我们提出的框架在ActivityNet'18 DenseCaption数据集和Charades-STA数据集上实现了最先进的性能,同时每个视频只观察10个或更少的剪辑。
2019-01-21 cs.CV
Long-Term Prediction of Natural Video Sequences with Robust Video Predictors
本研究针对高维自然视频长期预测中不确定性累积的难题,通过结合深度感知与不确定性重建损失、注意力跳跃连接及误差鲁棒性优化,构建RoViPs实现了高质量短期预测与长时逼真视频生成。
2023-08-21 cs.CV cs.LG
Grounding Degradations in Natural Language for All-In-One Video Restoration
Huawei Technologies, Canada(华为技术有限公司,加拿大);ECE Department, University of Alberta, Canada(阿尔伯塔大学电子工程系,加拿大)
本文提出一种基于自然语言基础模型引导的一体化视频复原框架,无需退化先验且推理无额外开销,并构建多退化与复合退化基准,取得最优性能。
2025-07-20 cs.AI cs.CV cs.LG
Learning Transferable Spatiotemporal Representations from Natural Script Knowledge
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Applied Research Center (ARC), Tencent PCG(腾讯平台与内容事业群应用研究中心)
近年来,大规模视频数据的预训练已经成为学习可转移时空表示的常用方法。尽管取得了一些进展,但现有的方法大多限于高度策划的数据集(例如,K400),并表现出不令人满意的开箱即用的表示。我们认为,这是由于事实上,他们只捕捉像素级的知识,而不是时空语义,这阻碍了进一步的进展,视频理解。受图像-文本预训练的巨大成功的启发(例如,CLIP),我们迈出了第一步,利用语言语义来促进可转移的时空表示学习。我们引入了一个新的借口任务,转向视频成绩单排序(TVTS),排序洗牌ASR脚本出席学习视频表示。我们不依赖于描述性的字幕,而是纯粹从视频中学习,即,利用自然转录的语音知识来随时间提供有噪声但有用的语义。我们的方法强制视觉模型将随着时间的推移所发生的事情置于上下文中,以便它可以重新组织叙事文本,并可以无缝地应用于现实世界中的大规模未经策划的视频数据。我们的方法在不同的基准上展示了强大的开箱即用的时空表示,例如,通过线性探测,在SSV 2上比VideoMAE提高+13.6%。该代码可在https://github.com/TencentARC/TVTS上获得。
2023-03-12 cs.AI cs.CV