In-Video Instructions: Visual Signals as Generative Control
National University of Singapore(新加坡国立大学)
本研究提出通过视频中嵌入的视觉信号作为指令,实现可控的图像到视频生成,通过空间感知的指令分配提升多对象场景下的生成可靠性。
2025-11-24 cs.AI cs.CV
VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models
GenAI, Meta(Meta GenAI部门);University of Oxford(牛津大学)
本文提出VFusion3D,利用预训练视频扩散模型生成大规模合成多视图数据,训练前馈3D生成模型,实现单图秒级生成3D资产,性能超越现有最先进模型。
2024-07-18 cs.CV cs.GR cs.LG
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
GeneVA: A Dataset of Human Annotations for Generative Text to Video Artifacts
New York University(纽约大学)
针对文本生成视频中的时空伪影问题,提出大规模人工标注数据集GeneVA,用于基准测试和提升生成视频质量。
2025-09-10 cs.CV
VideoPDE: Unified Generative PDE Solving via Video Inpainting Diffusion Models
University of Michigan(密歇根大学)
本研究提出VideoPDE框架,将偏微分方程求解重构为广义视频修复问题,基于Transformer架构与像素空间分层视频扩散模型,实现正/逆、全/部分观测等多类PDE任务的统一求解,性能优于现有最优基线。
2025-06-17 cs.AI cs.CV cs.LG
Generative Neural Video Compression via Video Diffusion Prior
School of Information and Communication Engineering, Communication University of China(信息与通信工程学院,通信大学);School of Computer Science, Peking University(计算机学院,北京大学)
GNVC-VD通过结合视频扩散先验和序列级去噪,实现了高效的生成神经视频压缩,显著减少了闪烁伪影并提升了感知质量。
2026-02-23 cs.CV
REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder
Adobe Research(奥多比研究院);Northeastern University(东北大学)
REGEN提出用编码器-生成器框架替代传统编码器-解码器,以DiT从紧凑潜在空间合成缺失细节,实现高达32倍时间压缩比,并验证其在文本到视频生成中的高效性与鲁棒性。
2025-03-11 cs.AI cs.CV cs.LG
GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
提出GenDDS方法,利用SDXL、ControlNet和Hotshot-XL构建视频生成流水线,基于KITTI数据集生成高质量且多样化的自动驾驶视频场景,为自动驾驶系统训练和仿真验证提供新途径。
2024-08-28 cs.AI cs.CV
VideoGuard: Protecting Video Content from Unauthorized Editing
针对视频内容易被生成模型恶意编辑的问题,提出VideoGuard方法,通过联合帧优化和运动信息融合生成微扰,有效保护视频,性能优于基线。
2025-08-05 cs.AI cs.CV
MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model
The University of Tokyo(东京大学);Tencent AI Lab(腾讯人工智能实验室)
该研究提出MOFA-Video可控图像动画方法,通过设计域感知运动场适配器,基于稀疏控制条件生成稠密运动流并结合图像多尺度引导特征,在冻结图像到视频扩散模型中实现多信号、多域协同的高质量可控视频生成。
2024-07-11 cs.AI cs.CV
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology(佐治亚理工学院)
我们介绍了新的问题,预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模,这在全球范围内影响头戴式摄像机视频分析。为此,我们提出了一种新的深度生成模型--Ego GAN,它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示,使用生成对抗网络(GAN)生成未来的头部运动,然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究,以验证我们的方法的设计选择。此外,我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割,并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
ActionParty: Multi-Subject Action Binding in Generative Video Games
Snap Research(Snap研究院);University of Oxford(牛津大学);University of Toronto(多伦多大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出ActionParty,一种可控制多主体的生成视频游戏世界模型,通过引入主体状态标记和空间偏置机制,提升动作关联准确性与身份一致性。
2026-08-03 cs.AI cs.CV cs.LG
Generative Video Diffusion for Unseen Novel Semantic Video Moment Retrieval
Queen Mary University of London(伦敦玛丽女王大学);Sony AI(索尼人工智能公司);Adobe Research(奥多比研究院);WICT, Peking University(北京大学信息科学技术学院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对现有视频片段检索方法泛化到新语义需目标域视频数据的问题,提出FVE细粒度视频编辑框架,借助生成式视频扩散和混合选择机制扩充训练数据,提升模型对新语义查询的泛化能力。
2025-02-21 cs.CV
Dense-Prior-Guided Generative Video Compression
本文提出可控生成视频压缩方法,通过多视觉条件引导生成细节,兼顾信号保真度与感知质量。
2026-09-22 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
From Covert Hiding to Visual Editing: Robust Generative Video Steganography
Fudan University(复旦大学)
本文提出鲁棒生成式视频隐写网络RoGVS,通过在视频编辑过程中修改语义特征嵌入秘密信息,在面部视频数据集上实验证明其在鲁棒性和容量上优于现有技术。
2024-01-01 cs.CV
Ink3D: Sculpting 3D Assets with Extremely Complex Textures via Video Generative Models
ZGCA & ZGCI(ZGCA 和 ZGCI);Microsoft Research(微软研究院);Zhejiang University(浙江大学);HKUST(香港科技大学)
提出Ink3D框架,利用大规模视频生成模型合成复杂纹理,通过OrbitPainter生成密集轨道扫描视频,并用TextureOptimizer进行神经烘焙以生成一致纹理。
2026-07-02 cs.CV
TrajectoryMover: Generative Movement of Object Trajectories in Videos
KTH Royal Institute of Technology(皇家理工学院);Adobe Research(Adobe研究)
本文提出TrajectoryMover,一种生成视频中物体轨迹运动的方法,通过生成大规模合成配对视频数据和细调的视频生成器,实现了物体轨迹的生成性移动。
2026-09-09 cs.CV
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Microelectronics, Tsinghua University(清华大学微电子研究所);Chinese Academy of Sciences Artificial Intelligence Research(中国科学院人工智能研究院)
本文提出了一种新的视频生成模型,特别是尝试处理从文本描述生成视频的问题,即,合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务,由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题,我们提出了一种递归解卷积生成对抗网络(RD-GAN),它包括一个递归解卷积网络(RDN)作为生成器和一个3D卷积神经网络(3D-CNN)作为神经网络。RDN是传统递归神经网络的去卷积版本,它可以很好地建模生成的视频帧的长距离时间依赖性,并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练,以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务,包括传统的视频生成,条件视频生成,视频预测和视频分类,并证明其有效性,实现良好的性能。
2020-08-13 cs.CV
INR-V: A Continuous Representation Space for Video-based Generative Tasks
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
提出INR-V视频表示网络,利用隐式神经表示和超网络学习连续视频表示空间,在视频插值、生成、反演和修复等任务上显著优于基线。
2023-04-03 cs.CV
CatPortrait: Taming Video Generative Models for Portrait Animation via In-context Conditioning
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);University of Science and Technology of China(中国科学技术大学)
本文提出CatPortrait框架,通过3D人脸引导作为上下文条件,在保留预训练图像转视频模型先验的前提下实现可控人像动画,支持视频与音频驱动,实验显示其效果具竞争力或更优。
2026-10-14 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Monash University(莫纳什大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室)
针对现有AI生成视频多为短镜头、难形成连贯长视频的问题,提出短到长视频扩散模型SEINE,通过随机掩码结合文本控制生成创意转场,可扩展至多任务,实验验证效果优于现有方法,助力故事级长视频创作。
2023-11-06 cs.CV
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering(信息技术与电气工程学院);The University of Queensland(昆士兰大学)
本文提出了一种基于音频的语音视频生成的简单方法:给定一段音频,我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络(GAN),它以剪切语音音频输入为条件,在生成器和搜索器中使用卷积门递归单元(GRU)。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练,我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器,并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明,短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
T-GVC: Trajectory-Guided Generative Video Coding at Ultra-Low Bitrates
针对现有生成式视频编码在超低比特率场景下的领域局限、文本依赖及运动细节缺失问题,提出T-GVC框架,通过轨迹引导连接运动跟踪与语义理解,实现更低比特率下更优重建效果与运动控制,优于传统及神经编解码器。
2025-11-11 cs.CV cs.MM
Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks
Tencent AI Lab(腾讯人工智能实验室);University of Rochester(罗切斯特大学)
在户外拍照,我们能预测不久的将来吗?云在天空中如何移动?我们通过提出一种基于生成对抗网络(GAN)的两阶段方法来生成逼真的高分辨率延时视频来解决这个问题。给定第一帧,我们的模型学习生成长期的未来帧。第一阶段为每个帧生成真实内容的视频。第二阶段通过强制第一阶段生成的视频在运动动态方面更接近真实视频来细化第一阶段生成的视频。为了进一步鼓励生动的运动在最终生成的视频,革兰氏矩阵被用来更精确地建模的运动。我们建立了一个大规模的时间推移数据集,并在这个新的数据集上测试我们的方法。使用我们的模型,我们能够生成逼真的视频高达$128\times 128$分辨率为32帧。定量和定性的实验结果表明,我们的模型优于国家的最先进的模型。
2018-03-30 cs.CV
Revealing Microscopic Objects in Fluorescence Live Imaging by Video-to-video Translation Based on A Spatial-temporal Generative Adversarial Network
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);School of Life Sciences(生命科学学院)
针对荧光显微镜因标记有限而难以同时观察多种微观物体的问题,提出基于时空生成对抗网络(STGAN)的视频到视频转换方法,模拟物体发育过程以揭示时空关系,实验证明其能有效缓解光谱冲突,实现多物体同时可视化。
2025-02-22 cs.CV eess.IV
Factorized Video Autoencoders for Efficient Generative Modelling
Google(谷歌);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
针对潜变量模型应用于视频等高维数据时训练推理效率低的问题,提出四平面分解潜空间的自编码器,适配多种LDM条件生成任务,兼顾高保真重建与速度、内存性能提升。
2025-06-11 cs.CV
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing
Meta Reality Labs(Meta现实实验室);Carnegie Mellon University(卡内基梅隆大学);Meta AI
本文提出EditCtrl,通过局部和全局控制模块实现高效视频修复,提升编辑质量和计算效率,支持多区域编辑和内容传播。
2026-04-01 cs.CV
Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
在深度学习时代,由于视频的时空复杂性和连续性,高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模,这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中,我们发现,最近出现的模式隐式神经表示(INR),编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR,我们提出了动态感知隐式生成对抗网络(DIGAN),一种新的生成对抗网络的视频生成。具体来说,我们介绍了(a)一个基于INR的视频生成器,通过不同地操纵空间和时间坐标来提高运动动态性,以及(b)一个运动跟踪器,可以有效地识别不自然的运动,而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性,以及多个有趣的属性,例如,长视频合成、视频外推和非自回归视频生成。例如,DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%,并且可以在128 x128分辨率的128帧视频上进行训练,比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology(北京理工大学);Big Data Research Center, University of Electronic Science and Technology of China(电子科技大学大数据研究中心)
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务,视频往往是无标签的,注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频,而不是人工注释。然而,由于域转移和异构特征表示的问题,在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中,我们提出了一种新的方法,称为分层生成对抗网络(HiGAN),以增强视频中的识别(即,目标域)通过从图像转移知识(即,源域)。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习,我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明,与现有的领域自适应方法相比,该方法是有效的.
2018-05-11 cs.CV
CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting
Simon Fraser University(西蒙菲莎大学);Institut Polytechnique de Paris(巴黎综合理工学院)
该研究提出基于Cosmos3-Nano的CosmosAlign框架,通过两阶段LoRA适配与推理优化,在AI City Challenge 2026 Track 5基准中获76.49分排名第一,实现了高质量交通视频预测。
2026-08-11 cs.AI cs.CL cs.CV
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google(谷歌);UC Merced(加州大学默塞德分校)
本文从视频生成视角构建多任务多模态模型,提出高保真潜在表示与掩码多任务Transformer,实现语言模型超越扩散模型及视频分词器优于标准编解码器,并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
VideoPhy: Evaluating Physical Commonsense for Video Generation
University of California Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文提出 VideoPhy 基准,通过材料相互作用提示评估文本到视频模型的物理常识能力,发现现有模型表现不佳,并引入自动评估器 VideoCon-Physics。
2024-10-03 cs.AI cs.CV cs.LG
Sparse2Dense: A Keypoint-driven Generative Framework for Human Video Compression and Vertex Prediction
Fudan University(复旦大学);DAMO Academy, Alibaba Group(阿里达摩院);Hupan Lab(华潘实验室);City University of Hong Kong(香港城市大学)
本文提出关键点驱动的生成框架 Sparse2Dense,以稀疏三维关键点实现超低码率人体视频压缩、稠密运动生成及精确顶点预测,并验证其优于多种编解码器的综合性能。
2025-09-27 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm(高通公司)
提出无需训练的SNM-VFI框架,结合预训练光流与视频扩散模型,用对称非线性运动模型引导生成过程,经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina(约阿尼纳大学);Information Technologies Institute, CERTH(CERTH信息技术研究所)
在这项工作中,我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络,该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的,其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果,计算与一个新提出的度量,衡量着色一致性的帧序列。
2019-05-08 cs.CV
Generative Omnimatte: Learning to Decompose Video into Layers
Google DeepMind(谷歌DeepMind);University of Maryland College Park(马里兰大学学院公园分校);Weizmann Institute of Science(魏茨曼科学研究所)
针对现有omnimatte视频分层方法依赖静态背景、姿态深度估计且无法补全动态遮挡区域的问题,提出基于视频扩散模型的生成式分层分解框架,经小数据集微调后可在无额外信息的情况下实现高质量视频分层与编辑。
2025-03-24 cs.CV
VGMShield: Mitigating Misuse of Video Generative Models
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VGMShield,通过虚假视频检测、来源追溯和向查询图像添加不可见扰动的预防方法,构建覆盖生成全生命周期的多方位缓解方案,在七个开源模型上实现超过90%的检测与追溯准确率。
2025-07-04 cs.AI cs.CR cs.CV
Position: Next-Generation Game Engines Should Be Built on Interactive Generative Video
HKU(香港大学);HKUST(香港理工大学);Kuaishou Technology(快手科技)
提出将交互式生成视频(IGV)作为生成式游戏引擎(GGE)的基础,利用其高质量内容合成与物理感知等优势,并构建核心模块框架与L0-L4成熟度路线图,旨在重塑AI时代的游戏创作与体验。
2026-11-02 cs.CV
Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
目前迫切需要一种有效的视频分类方法,通过少量的样本。通过生成对抗网络(GAN)生成样本可以有效地缓解样本不足的问题,但由于复杂的动作和多变的视点难以模拟,典型类别的视频生成还有待探索。本文提出了一种基于动态图像的时间段网络时间流生成式数据增强方法。动态图像将视频的运动信息压缩成静止图像,去除背景等干扰因素。因此,使用GAN更容易生成具有分类运动信息的图像。我们利用生成的动态图像来增强特征,并实现正则化,从而达到视频增强的效果。为了解决生成图像质量参差不齐的问题,本文提出了一种自同步选择(Self-Paced Selection,SPS)方法,自动选择高质量的生成样本加入到网络训练中。我们的方法在两个基准数据集HMDB 51和UCF 101上进行了验证。实验结果表明,该方法在样本不足和样本不平衡的情况下,能够提高视频分类的准确率。
2019-09-16 cs.CV
GenDeF: Learning Generative Deformation Field for Video Generation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);HKUST(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 GenDeF,利用生成式形变场形变静态图像来渲染视频,以复用图像先验、实现运动正则化及内容运动解耦,并在三个基准上验证其优势。
2023-12-07 cs.CV
ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
Zhejiang University(浙江大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);CUHK(香港中文大学);HUST(华中科技大学)
ReCamMaster利用预训练文本到视频模型的生成能力,通过简单视频条件机制和虚幻引擎5构建的多相机同步数据集,实现单视频的相机轨迹控制重渲染,显著优于现有方法。
2025-07-09 cs.CV
Deep Convolutional Generative Adversarial Networks Based Flame Detection in Video
Bilkent University(比尔肯特大学);Istanbul Technical University(伊斯坦布尔技术大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
实时火焰检测是基于视频的监控系统的关键。我们提出了一种基于视觉的方法来检测火焰使用深度卷积生成对抗神经网络(DCGANs)。许多现有的使用卷积神经网络的监督学习方法不考虑时间信息,并且需要大量的标记数据。为了有一个强大的表示序列和没有火焰,我们提出了一个两阶段的训练DCGAN利用时空火焰的演变。我们的训练框架包括DCGAN与真实的时空图像,即时间切片图像和噪声向量的常规训练,并分别使用没有生成器的时间火焰图像来训练时间序列。实验结果表明,该方法能有效地检测出视频中的火焰,且误报率可以忽略不计。
2019-02-05 cs.CV
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University(西北大学);Allstate Insurance Company(好事达保险公司)
本文提出 RL-V2V-GAN,结合策略梯度、ConvLSTM 与细粒度时空 GAN,实现无需成对输入的无监督条件视频到视频合成,并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
MAGVIT: Masked Generative Video Transformer
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
提出MAGVIT模型,通过3D tokenizer和掩码视频token建模方法,用单一模型高效处理多种视频合成任务,在生成质量和推理速度上显著优于现有方法。
2023-04-05 cs.CV
Generative Video Propagation
Adobe Research(奥多比研究院);The Hong Kong University of Science and Technology(香港科技大学);SmartMore(世茂);The Chinese University of Hong Kong(香港中文大学)
本文提出生成式视频传播框架 GenProp,通过选择性内容编码与图像到视频生成模型统一处理视频编辑、插入、移除和跟踪任务,并在多种视频任务上取得领先性能。
2024-12-27 cs.CV
InMoDeGAN: Interpretable Motion Decomposition Generative Adversarial Network for Video Generation
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学)
在这项工作中,我们引入了一个无条件的视频生成模型,InMoDeGAN,目标是(a)生成高质量的视频,以及(b)允许潜在空间的解释。对于后者,我们强调解释和操纵运动。为此,我们将运动分解为语义子空间,这允许控制生成的样本。我们根据提出的线性运动分解设计InMoDeGAN生成器的架构,该分解假设运动可以由字典表示,相关向量在潜在空间中形成正交基。基中的每个向量表示语义子空间。此外,时间金字塔鉴别器分析不同时间分辨率的视频。广泛的定量和定性分析表明,我们的模型在VoxCeleb 2-mini和BAIR机器人数据集w.r.t.视频质量与(a)有关。对于(b),我们给出了实验结果,证实了分解的子空间是可解释的,而且,生成的运动是可控的。
2021-01-08 cs.CV
FullDiT: Multi-Task Video Generative Foundation Model with Full Attention
Kuaishou Technology(快手科技);The Chinese University of Hong Kong(香港中文大学)
FullDiT通过统一全注意力机制融合多条件,解决视频生成中适配器冲突与参数冗余,实现多任务视频生成并达到最先进性能。
2025-03-25 cs.CV
Dimension-Reduction Attack! Video Generative Models are Experts on Controllable Image Synthesis
Zhejiang University(浙江大学);Kunbyte AI;Ant Group(蚂蚁集团);Hangzhou Normal University(杭州师范大学)
提出DRA-Ctrl范式,通过知识压缩与任务适应将视频生成模型降维应用于可控图像合成,利用长程建模与注意力掩码机制,在多种图像生成任务上优于直接训练的图像模型。
2025-05-29 cs.CV
Generative AI for Video Trailer Synthesis: From Extractive Heuristics to Autoregressive Creativity
Google LLC(谷歌有限责任公司)
本文综述了自动视频预告片生成领域从启发式提取到深度生成合成的转变,探讨了自回归Transformer、LLM协同流程和文本到视频基础模型等生成技术,并讨论了高保真神经合成的伦理挑战。
2026-04-03 cs.AI cs.CV cs.HC
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务,从单图像超分辨率GAN基础模型出发探索改进技术,发现时间平滑、LSTM层和时间损失函数效果最佳,整合后PSNR和SSIM较基线分别提升11.97%和8%,为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University(哥伦比亚大学);University of Connecticut(康涅狄格大学);NEC Laboratories America, Inc.(NEC美国实验室)
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务,因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题,但很少有方法能够有效地捕获正常的时空模式。此外,现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此,我们提出了基于卷积Transformer的双鉴别器生成对抗网络(CT-D2 GAN)来执行无监督的视频异常检测。具体来说,我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分,即,卷积编码器,用于捕获输入视频剪辑的空间信息;时间自注意模块,用于编码时间动态;以及卷积解码器,用于整合时空特征并预测未来帧。接下来,一个基于双阈值的对抗性训练过程,它联合考虑了图像阈值,可以保持局部一致性在帧级和视频阈值,可以强制执行的时间动态的全局一致性,以提高未来帧的预测。最后,利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究,UCSD Ped 2,CUHK Avenue和上海理工大学校园,证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG