Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
在深度学习时代,由于视频的时空复杂性和连续性,高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模,这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中,我们发现,最近出现的模式隐式神经表示(INR),编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR,我们提出了动态感知隐式生成对抗网络(DIGAN),一种新的生成对抗网络的视频生成。具体来说,我们介绍了(a)一个基于INR的视频生成器,通过不同地操纵空间和时间坐标来提高运动动态性,以及(b)一个运动跟踪器,可以有效地识别不自然的运动,而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性,以及多个有趣的属性,例如,长视频合成、视频外推和非自回归视频生成。例如,DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%,并且可以在128 x128分辨率的128帧视频上进行训练,比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
VidPanos: Generative Panoramic Videos from Casual Panning Videos
University of Washington(华盛顿大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校);Weitzmann Institute of Science(魏茨曼科学研究所)
该研究将随手拍摄的平移视频全景合成建模为时空外绘问题,通过把生成式视频模型嵌入完整系统,生成与输入等长且时空一致的广角全景视频。
2024-10-27 cs.CV cs.GR
VideoMaMa: Mask-Guided Video Matting via Generative Prior
Korea University(韩国大学);Adobe Research(Adobe研究);KAIST AI(韩国科学技术院人工智能)
VideoMaMa通过生成先验和分割提示,实现从粗糙掩码到精确磨皮的转换,并构建大规模伪标签数据集提升视频磨皮研究
2026-01-20 cs.AI cs.CV
Generative Video Bi-flow
University College London(伦敦大学学院)
提出一种生成式视频模型,利用双线性目标结合直接帧映射与噪声去累积误差,实现更快的无条件视频生成。
2025-08-08 cs.CV cs.GR
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University(西北大学);Allstate Insurance Company(好事达保险公司)
本文提出 RL-V2V-GAN,结合策略梯度、ConvLSTM 与细粒度时空 GAN,实现无需成对输入的无监督条件视频到视频合成,并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
VideoPhy: Evaluating Physical Commonsense for Video Generation
University of California Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文提出 VideoPhy 基准,通过材料相互作用提示评估文本到视频模型的物理常识能力,发现现有模型表现不佳,并引入自动评估器 VideoCon-Physics。
2024-10-03 cs.AI cs.CV cs.LG
GeneVA: A Dataset of Human Annotations for Generative Text to Video Artifacts
New York University(纽约大学)
针对文本生成视频中的时空伪影问题,提出大规模人工标注数据集GeneVA,用于基准测试和提升生成视频质量。
2025-09-10 cs.CV
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering(信息技术与电气工程学院);The University of Queensland(昆士兰大学)
本文提出了一种基于音频的语音视频生成的简单方法:给定一段音频,我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络(GAN),它以剪切语音音频输入为条件,在生成器和搜索器中使用卷积门递归单元(GRU)。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练,我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器,并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明,短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google(谷歌);UC Merced(加州大学默塞德分校)
本文从视频生成视角构建多任务多模态模型,提出高保真潜在表示与掩码多任务Transformer,实现语言模型超越扩散模型及视频分词器优于标准编解码器,并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.(Preferred Networks 公司)
在本文中,我们提出了一个生成模型,时间生成对抗网络(TGAN),它可以学习未标记视频的语义表示,并能够生成视频。与现有的基于生成对抗网络(GAN)的方法不同,这些方法使用由3D去卷积层组成的单个生成器生成视频,我们的模型利用了两种不同类型的生成器:时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量,每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题,我们采用了最近提出的Wasserstein GAN模型,并提出了一种新的方法,以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Generative Neural Video Compression via Video Diffusion Prior
School of Information and Communication Engineering, Communication University of China(信息与通信工程学院,通信大学);School of Computer Science, Peking University(计算机学院,北京大学)
GNVC-VD通过结合视频扩散先验和序列级去噪,实现了高效的生成神经视频压缩,显著减少了闪烁伪影并提升了感知质量。
2026-02-23 cs.CV
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
VGMShield: Mitigating Misuse of Video Generative Models
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VGMShield,通过虚假视频检测、来源追溯和向查询图像添加不可见扰动的预防方法,构建覆盖生成全生命周期的多方位缓解方案,在七个开源模型上实现超过90%的检测与追溯准确率。
2025-07-04 cs.AI cs.CR cs.CV
In-Video Instructions: Visual Signals as Generative Control
National University of Singapore(新加坡国立大学)
本研究提出通过视频中嵌入的视觉信号作为指令,实现可控的图像到视频生成,通过空间感知的指令分配提升多对象场景下的生成可靠性。
2025-11-24 cs.AI cs.CV
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University(哥伦比亚大学);University of Connecticut(康涅狄格大学);NEC Laboratories America, Inc.(NEC美国实验室)
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务,因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题,但很少有方法能够有效地捕获正常的时空模式。此外,现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此,我们提出了基于卷积Transformer的双鉴别器生成对抗网络(CT-D2 GAN)来执行无监督的视频异常检测。具体来说,我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分,即,卷积编码器,用于捕获输入视频剪辑的空间信息;时间自注意模块,用于编码时间动态;以及卷积解码器,用于整合时空特征并预测未来帧。接下来,一个基于双阈值的对抗性训练过程,它联合考虑了图像阈值,可以保持局部一致性在帧级和视频阈值,可以强制执行的时间动态的全局一致性,以提高未来帧的预测。最后,利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究,UCSD Ped 2,CUHK Avenue和上海理工大学校园,证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Mannheim(曼海姆大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(蒂宾根大学)
针对开源 T2V 扩散模型难以生成长时动态视频的问题,本文提出 VSTAR,通过 LLM 视频概要提示与时间注意力正则化在推理阶段增强动态控制。
2025-03-18 cs.AI cs.CV cs.LG
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology(佐治亚理工学院)
我们介绍了新的问题,预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模,这在全球范围内影响头戴式摄像机视频分析。为此,我们提出了一种新的深度生成模型--Ego GAN,它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示,使用生成对抗网络(GAN)生成未来的头部运动,然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究,以验证我们的方法的设计选择。此外,我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割,并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression
University of Science and Technology of China(中国科学技术大学);DAMO Academy in Alibaba Group(阿里巴巴集团达摩院)
近年来,监控视频在保障公共安全和日常生活中的应用得到了迅速发展,它经常对视频序列中的目标进行检测和识别。传统的视频编码框架通过分块运动补偿去除视频中的时间冗余,缺乏对视频固有结构信息的提取和利用。在本文中,我们弄清楚这个问题,通过解开监控视频到一个全局的时空特征(内存)的结构组的图片(GoP)和骨架的每帧(线索)。通过将GoP内部的帧顺序地馈送到递归神经网络中来获得记忆,描述GoP内部出现的对象的外观。当骨架由姿势估计器计算时,它被视为回忆记忆的线索。此外,一个注意力机制,以获得外观和骨架之间的关系。最后,我们使用生成对抗网络来重建每一帧。实验结果表明,该方法能有效地生成基于外观和骨架的真实感重建图像,与最新的视频压缩标准H.265相比,在监控视频上具有更高的压缩性能。
2020-05-06 cs.CV cs.LG eess.IV
T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models
UCAS(中国科学院大学);Tsinghua University(清华大学);Institute for AI(人工智能研究院);Tsinghua-Bosch Joint ML Center(清华-博世联合机器学习中心);THBI Lab(THBI实验室);BNRist Center(BNRist中心);RealAI
本文提出T2VSafetyBench基准,通过12个安全维度和多来源恶意提示评估文本到视频模型,揭示模型安全差异、GPT-4评估有效性及可用性与安全性的权衡。
2024-09-08 cs.AI cs.CL cs.CR
Generative Video Diffusion for Unseen Novel Semantic Video Moment Retrieval
Queen Mary University of London(伦敦玛丽女王大学);Sony AI(索尼人工智能公司);Adobe Research(奥多比研究院);WICT, Peking University(北京大学信息科学技术学院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对现有视频片段检索方法泛化到新语义需目标域视频数据的问题,提出FVE细粒度视频编辑框架,借助生成式视频扩散和混合选择机制扩充训练数据,提升模型对新语义查询的泛化能力。
2025-02-21 cs.CV
Dense-Prior-Guided Generative Video Compression
本文提出可控生成视频压缩方法,通过多视觉条件引导生成细节,兼顾信号保真度与感知质量。
2026-09-22 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
From Covert Hiding to Visual Editing: Robust Generative Video Steganography
Fudan University(复旦大学)
本文提出鲁棒生成式视频隐写网络RoGVS,通过在视频编辑过程中修改语义特征嵌入秘密信息,在面部视频数据集上实验证明其在鲁棒性和容量上优于现有技术。
2024-01-01 cs.CV
Ink3D: Sculpting 3D Assets with Extremely Complex Textures via Video Generative Models
ZGCA & ZGCI(ZGCA 和 ZGCI);Microsoft Research(微软研究院);Zhejiang University(浙江大学);HKUST(香港科技大学)
提出Ink3D框架,利用大规模视频生成模型合成复杂纹理,通过OrbitPainter生成密集轨道扫描视频,并用TextureOptimizer进行神经烘焙以生成一致纹理。
2026-07-02 cs.CV
TrajectoryMover: Generative Movement of Object Trajectories in Videos
KTH Royal Institute of Technology(皇家理工学院);Adobe Research(Adobe研究)
本文提出TrajectoryMover,一种生成视频中物体轨迹运动的方法,通过生成大规模合成配对视频数据和细调的视频生成器,实现了物体轨迹的生成性移动。
2026-09-09 cs.CV
T-GVC: Trajectory-Guided Generative Video Coding at Ultra-Low Bitrates
针对现有生成式视频编码在超低比特率场景下的领域局限、文本依赖及运动细节缺失问题,提出T-GVC框架,通过轨迹引导连接运动跟踪与语义理解,实现更低比特率下更优重建效果与运动控制,优于传统及神经编解码器。
2025-11-11 cs.CV cs.MM
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Microelectronics, Tsinghua University(清华大学微电子研究所);Chinese Academy of Sciences Artificial Intelligence Research(中国科学院人工智能研究院)
本文提出了一种新的视频生成模型,特别是尝试处理从文本描述生成视频的问题,即,合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务,由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题,我们提出了一种递归解卷积生成对抗网络(RD-GAN),它包括一个递归解卷积网络(RDN)作为生成器和一个3D卷积神经网络(3D-CNN)作为神经网络。RDN是传统递归神经网络的去卷积版本,它可以很好地建模生成的视频帧的长距离时间依赖性,并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练,以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务,包括传统的视频生成,条件视频生成,视频预测和视频分类,并证明其有效性,实现良好的性能。
2020-08-13 cs.CV
Revealing Microscopic Objects in Fluorescence Live Imaging by Video-to-video Translation Based on A Spatial-temporal Generative Adversarial Network
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);School of Life Sciences(生命科学学院)
针对荧光显微镜因标记有限而难以同时观察多种微观物体的问题,提出基于时空生成对抗网络(STGAN)的视频到视频转换方法,模拟物体发育过程以揭示时空关系,实验证明其能有效缓解光谱冲突,实现多物体同时可视化。
2025-02-22 cs.CV eess.IV
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
基于深度学习的视觉到声音生成系统本质上需要开发,特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中,我们引入了一个新的任务,指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列,从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集,以使用FoleyGAN进行训练,并通过人类调查评估我们的合成声音,该调查显示出值得注意的(平均81%)视听同步性能。与其他基线模型和视听数据集相比,我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
FREGAN : an application of generative adversarial networks in enhancing the frame rate of videos
GLA University(GLA大学)
数字视频是单个帧的集合,当流式传输视频时,场景利用每个帧的时间片。高刷新率和高帧速率是所有高技术应用的需求。由于高刷新率,视频中的动作跟踪变得更容易,游戏应用中的运动变得更平滑。它提供了更快的响应,因为屏幕上显示的每个帧之间的时间更短。FREGAN(帧速率增强生成对抗网络)模型已经被提出,其基于过去帧的序列来预测视频序列的未来帧。在本文中,我们研究了GAN模型,并提出了FREGAN的帧速率的视频增强。我们利用Huber损失作为一个损失函数在建议的FREGAN。它在超分辨率方面提供了出色的结果,我们试图在帧速率增强的应用中实现这种性能。在标准数据集(UCF101和RFree500)上验证了该模型的有效性。实验结果表明,该模型具有34.94的峰值信噪比(PSNR)和0.95的结构相似性指数(SSIM)。
2021-11-01 cs.CV cs.LG eess.IV
INR-V: A Continuous Representation Space for Video-based Generative Tasks
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
提出INR-V视频表示网络,利用隐式神经表示和超网络学习连续视频表示空间,在视频插值、生成、反演和修复等任务上显著优于基线。
2023-04-03 cs.CV
Video Content Swapping Using GAN
Carnegie Mellon University(卡内基梅隆大学)
视频生成是计算机视觉中一个有趣的问题。深度生成模型在数据增强、动画特效、AR/VR等领域有着广泛的应用,随着深度学习技术的发展,人们提出了许多深度生成模型来解决这一问题。这些深度生成模型可以在线利用所有未标记的图像和视频,因为它可以以无监督的方式学习深度特征表示。这些模型还可以生成不同类型的图像,具有很大的视觉应用价值。然而,生成视频将更具挑战性,因为我们不仅需要建模视频中对象的外观,还需要建模它们的时间运动。在这项工作中,我们将把视频中的任何帧分解为内容和姿势。我们首先使用预先训练的人体姿势检测从视频中提取姿势信息,并使用生成模型基于内容代码和姿势代码合成视频。
2021-11-21 cs.CV cs.LG
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET(国立罗萨里奥大学-阿根廷国家科学与技术研究理事会)
在这项工作中,我们提出了一种对抗性训练算法,该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络(GAN)的标准算法进行一些修改,并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型,这些视频呈现不同的人说话或移动头部:VidTIMIT和YouTube Faces数据集。我们发现,我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性,这些属性不会随着短视频序列而改变。对于所考虑的数据集,这是所生成的面部的身份。另一个子空间控制运动属性,这些属性被观察到沿着短视频变化。我们观察到,这些运动属性是面部表情,头部方向,嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持,所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)(国家科学研究院(INRS-EMT))
在这项工作中,我们介绍了一个两步的框架生成建模的时态数据。具体而言,生成对抗网络(GANs)设置用于生成移动对象的合成场景。为此,我们提出了一个两步训练方案,其中:首先训练静态帧的生成器。然后,训练一个递归模型,目标是为先前训练的帧生成器提供一系列输入,从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而,为了避免GANs中已知的训练不稳定性,使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明,通过采用这种方法,经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形,从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
提出GenDDS方法,利用SDXL、ControlNet和Hotshot-XL构建视频生成流水线,基于KITTI数据集生成高质量且多样化的自动驾驶视频场景,为自动驾驶系统训练和仿真验证提供新途径。
2024-08-28 cs.AI cs.CV
VideoGuard: Protecting Video Content from Unauthorized Editing
针对视频内容易被生成模型恶意编辑的问题,提出VideoGuard方法,通过联合帧优化和运动信息融合生成微扰,有效保护视频,性能优于基线。
2025-08-05 cs.AI cs.CV
CatPortrait: Taming Video Generative Models for Portrait Animation via In-context Conditioning
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);University of Science and Technology of China(中国科学技术大学)
本文提出CatPortrait框架,通过3D人脸引导作为上下文条件,在保留预训练图像转视频模型先验的前提下实现可控人像动画,支持视频与音频驱动,实验显示其效果具竞争力或更优。
2026-10-14 cs.CV
GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization
University of Amsterdam(阿姆斯特丹大学);BBC Research and Development(BBC研发部)
传统的视频摘要方法生成固定的视频表示,而不管用户的兴趣。因此,这样的方法限制了用户在内容搜索和探索场景中的期望。多模态视频摘要是用来解决这个问题的方法之一。当使用多模态视频摘要来帮助视频探索时,基于文本的查询被认为是视频摘要生成的主要驱动因素之一,因为它是用户定义的。因此,对基于文本的查询和视频进行有效的编码对于多模态视频摘要的任务都是重要的。在这项工作中,提出了一种新的方法,使用专门的注意力网络和上下文的单词表示来解决这个任务。该模型包括一个上下文视频摘要控制器,多模态注意力机制,一个交互式注意力网络,和一个视频摘要生成器。通过对现有多模态视频摘要基准的评价,实验结果表明,与现有方法相比,该模型的准确率提高了+5.88%,F1分数提高了+4.06%。
2021-04-26 cs.AI cs.CL cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Monash University(莫纳什大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室)
针对现有AI生成视频多为短镜头、难形成连贯长视频的问题,提出短到长视频扩散模型SEINE,通过随机掩码结合文本控制生成创意转场,可扩展至多任务,实验验证效果优于现有方法,助力故事级长视频创作。
2023-11-06 cs.CV
MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model
The University of Tokyo(东京大学);Tencent AI Lab(腾讯人工智能实验室)
该研究提出MOFA-Video可控图像动画方法,通过设计域感知运动场适配器,基于稀疏控制条件生成稠密运动流并结合图像多尺度引导特征,在冻结图像到视频扩散模型中实现多信号、多域协同的高质量可控视频生成。
2024-07-11 cs.AI cs.CV
Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks
Tencent AI Lab(腾讯人工智能实验室);University of Rochester(罗切斯特大学)
在户外拍照,我们能预测不久的将来吗?云在天空中如何移动?我们通过提出一种基于生成对抗网络(GAN)的两阶段方法来生成逼真的高分辨率延时视频来解决这个问题。给定第一帧,我们的模型学习生成长期的未来帧。第一阶段为每个帧生成真实内容的视频。第二阶段通过强制第一阶段生成的视频在运动动态方面更接近真实视频来细化第一阶段生成的视频。为了进一步鼓励生动的运动在最终生成的视频,革兰氏矩阵被用来更精确地建模的运动。我们建立了一个大规模的时间推移数据集,并在这个新的数据集上测试我们的方法。使用我们的模型,我们能够生成逼真的视频高达$128\times 128$分辨率为32帧。定量和定性的实验结果表明,我们的模型优于国家的最先进的模型。
2018-03-30 cs.CV
Factorized Video Autoencoders for Efficient Generative Modelling
Google(谷歌);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
针对潜变量模型应用于视频等高维数据时训练推理效率低的问题,提出四平面分解潜空间的自编码器,适配多种LDM条件生成任务,兼顾高保真重建与速度、内存性能提升。
2025-06-11 cs.CV
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing
Meta Reality Labs(Meta现实实验室);Carnegie Mellon University(卡内基梅隆大学);Meta AI
本文提出EditCtrl,通过局部和全局控制模块实现高效视频修复,提升编辑质量和计算效率,支持多区域编辑和内容传播。
2026-04-01 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology(北京理工大学);Big Data Research Center, University of Electronic Science and Technology of China(电子科技大学大数据研究中心)
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务,视频往往是无标签的,注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频,而不是人工注释。然而,由于域转移和异构特征表示的问题,在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中,我们提出了一种新的方法,称为分层生成对抗网络(HiGAN),以增强视频中的识别(即,目标域)通过从图像转移知识(即,源域)。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习,我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明,与现有的领域自适应方法相比,该方法是有效的.
2018-05-11 cs.CV
Video Generative Adversarial Networks: A Review
University of New South Wales(新南威尔士大学);Princess Nourah bint Abdulrahman University(诺拉·本特·阿卜杜勒拉赫曼公主大学)
随着媒体、教育和娱乐等多个领域对内容创作领域的兴趣日益浓厚,使用AI算法生成图像、视频、音频和文本等内容的论文越来越多。生成对抗网络(GANs)是一种很有前途的模型,它可以合成与真实数据样本相似的数据样本。虽然GANs模型的变化,一般来说,已经在一定程度上涵盖了几个调查文件,据我们所知,这是第一个调查文件,审查国家的最先进的视频GANs模型。本文首先将GANs综述论文分为一般GANs综述论文、图像GANs综述论文和特殊领域GANs综述论文,如异常检测、医学成像或网络安全。然后,本文总结了GANs框架的主要改进,这些框架最初不是为视频域开发的,但已被多种视频GANs变体采用。然后,根据条件的存在或不存在,在两个主要部分下提供视频GANs模型的全面回顾。然后,条件模型根据条件的类型进一步分组为音频、文本、视频和图像。本文最后强调了当前视频GANs模型的主要挑战和局限性。补充材料中提供了数据集、应用的损失函数和评估指标的全面列表。
2020-11-04 cs.CV cs.LG eess.IV
Sparse2Dense: A Keypoint-driven Generative Framework for Human Video Compression and Vertex Prediction
Fudan University(复旦大学);DAMO Academy, Alibaba Group(阿里达摩院);Hupan Lab(华潘实验室);City University of Hong Kong(香港城市大学)
本文提出关键点驱动的生成框架 Sparse2Dense,以稀疏三维关键点实现超低码率人体视频压缩、稠密运动生成及精确顶点预测,并验证其优于多种编解码器的综合性能。
2025-09-27 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm(高通公司)
提出无需训练的SNM-VFI框架,结合预训练光流与视频扩散模型,用对称非线性运动模型引导生成过程,经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina(约阿尼纳大学);Information Technologies Institute, CERTH(CERTH信息技术研究所)
在这项工作中,我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络,该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的,其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果,计算与一个新提出的度量,衡量着色一致性的帧序列。
2019-05-08 cs.CV
Generative Omnimatte: Learning to Decompose Video into Layers
Google DeepMind(谷歌DeepMind);University of Maryland College Park(马里兰大学学院公园分校);Weizmann Institute of Science(魏茨曼科学研究所)
针对现有omnimatte视频分层方法依赖静态背景、姿态深度估计且无法补全动态遮挡区域的问题,提出基于视频扩散模型的生成式分层分解框架,经小数据集微调后可在无额外信息的情况下实现高质量视频分层与编辑。
2025-03-24 cs.CV
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务,从单图像超分辨率GAN基础模型出发探索改进技术,发现时间平滑、LSTM层和时间损失函数效果最佳,整合后PSNR和SSIM较基线分别提升11.97%和8%,为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
Position: Next-Generation Game Engines Should Be Built on Interactive Generative Video
HKU(香港大学);HKUST(香港理工大学);Kuaishou Technology(快手科技)
提出将交互式生成视频(IGV)作为生成式游戏引擎(GGE)的基础,利用其高质量内容合成与物理感知等优势,并构建核心模块框架与L0-L4成熟度路线图,旨在重塑AI时代的游戏创作与体验。
2026-11-02 cs.CV
Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
目前迫切需要一种有效的视频分类方法,通过少量的样本。通过生成对抗网络(GAN)生成样本可以有效地缓解样本不足的问题,但由于复杂的动作和多变的视点难以模拟,典型类别的视频生成还有待探索。本文提出了一种基于动态图像的时间段网络时间流生成式数据增强方法。动态图像将视频的运动信息压缩成静止图像,去除背景等干扰因素。因此,使用GAN更容易生成具有分类运动信息的图像。我们利用生成的动态图像来增强特征,并实现正则化,从而达到视频增强的效果。为了解决生成图像质量参差不齐的问题,本文提出了一种自同步选择(Self-Paced Selection,SPS)方法,自动选择高质量的生成样本加入到网络训练中。我们的方法在两个基准数据集HMDB 51和UCF 101上进行了验证。实验结果表明,该方法在样本不足和样本不平衡的情况下,能够提高视频分类的准确率。
2019-09-16 cs.CV