MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis
Cranberry-Lemon University(蔓越莓柠檬大学)
针对现有角色视频合成依赖大量微调或复杂3D建模、可及性与实时性不足的问题,提出无需调优的模块化框架MovieCharacter,整合开源模型与成熟技术,提升了合成的效率、可及性与适配性。
2025-01-13 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
FloVD: Optical Flow Meets Video Diffusion Model for Enhanced Camera-Controlled Video Synthesis
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
FloVD提出利用光流表示相机与物体运动,实现无需相机参数的详细相机控制,并通过两阶段流程(光流生成与流条件视频合成)在精确控制下生成自然物体运动。
2025-03-25 cs.CV
AADiff: Audio-Aligned Video Synthesis with Text-to-Image Diffusion
Seoul National University(首尔国立大学);NAVER(NAVER公司)
本文提出一种新颖的T2V框架AADiff,通过引入音频信号控制时间动态,结合基于音频的区域编辑和信号平滑技术,使现成T2I扩散模型生成音频对齐视频,有效平衡了时间灵活性与连贯性。
2023-05-23 cs.AI cs.CV
Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild
University of Washington(华盛顿大学)
给定一个人的“野外”视频,我们重建视频中的人的动画模型。输出模型可以通过学习的控件以任何身体姿势渲染到任何相机视图,而无需显式的3D网格重建。我们方法的核心是使用在输入视频上训练的深度网络重建的体积3D人体表示,从而实现新颖的姿势/视图合成。我们的方法是基于GAN的图像到图像转换的一个进步,因为它允许通过内部3D表示为任何姿势和相机进行图像合成,同时它不需要像基于网格的学习那样使用预先装配的模型或地面真实网格进行训练。实验验证了设计选择,并在合成数据和不同人进行不受约束的活动(例如跳舞或打网球)的真实视频上产生结果。最后,我们展示了运动重定位和子弹时间渲染与学习模型。
2020-12-23 cs.CV cs.GR
SpatialDreamer: Self-supervised Stereo Video Synthesis from Monocular Input
Alibaba Group(阿里巴巴集团);Sun Yat-sen University(中山大学)
提出基于视频扩散模型的自监督立体视频合成范式SpatialDreamer,通过DVG模块生成成对数据,结合RefinerNet与一致性控制模块实现时空一致性,性能优于现有基准。
2025-04-27 cs.AI cs.CV
Neural 3D Video Synthesis from Multi-view Video
University of Southern California(南加州大学);Reality Labs Research(现实实验室研究部);Meta
我们提出了一种新的3D视频合成方法,能够表示多视图视频记录的动态现实世界的场景在一个紧凑的,但表现力的表示,使高质量的视图合成和运动插值。我们的方法将静态神经辐射场的高质量和紧凑性带到了一个新的方向:无模型的动态设置。在我们的方法的核心是一个新的时间条件下的神经辐射场,表示场景动态使用一组紧凑的潜在代码。我们能够显着提高训练速度和感知质量的生成图像的一种新的分层训练方案结合射线重要性采样。我们学习的表示是非常紧凑的,能够表示18个摄像头的10秒30 FPS多视图视频记录,模型大小仅为28MB。我们证明了我们的方法可以在超过1K的分辨率下渲染高保真广角新颖的视图,即使是复杂和动态的场景。我们进行了广泛的定性和定量评估,表明我们的方法优于最先进的方法。项目网站:www.example.com。
2022-05-03 cs.CV cs.GR
DiffSynth: Latent In-Iteration Deflickering for Realistic Video Synthesis
School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);School of Information, Xiamen University(厦门大学信息学院);Alibaba Group(阿里巴巴集团)
本文提出 DiffSynth,通过潜在迭代内去闪烁框架和 patch blending 算法将图像扩散模型改造为视频合成流程,有效抑制闪烁并提升视频一致性,适用于多种视频合成任务。
2023-08-10 cs.CV cs.MM
Few-shot Video-to-Video Synthesis
NVIDIA Corporation(英伟达公司)
视频到视频合成(vid2vid)的目的是将输入的语义视频(如人体姿势或分割蒙版的视频)转换为输出的真实感视频。虽然vid 2vid的最新技术已经取得了显着进步,但现有方法有两个主要局限性。首先,他们是数据饥渴。训练需要目标人类主体或场景的许多图像。其次,学习模型的泛化能力有限。pose to human vid2vid模型只能合成训练集中单个人的姿势。它不会推广到不在训练集中的其他人。为了解决这些局限性,我们提出了一个Few-Shot vid2vid框架,该框架通过利用测试时目标的几个示例图像来学习合成以前看不见的主题或场景的视频。我们的模型通过一个新的网络权重生成模块,利用注意力机制实现了这种Few-Shot泛化能力。我们使用几个大规模的视频数据集,包括人类舞蹈视频,说话的头视频和街景视频进行了广泛的实验验证与强基线的比较。实验结果验证了所提出的框架在解决现有的vid2vid方法的两个局限性的有效性。
2019-10-28 cs.CV cs.GR cs.LG
Exo2EgoSyn: Unlocking Foundation Video Generation Models for Exocentric-to-Egocentric Video Synthesis
Exo2EgoSyn通过三个模块实现从第三人称视角生成高保真内视图视频,提升跨视角视频合成能力。
2026-09-16 cs.CV
Video synthesis of human upper body with realistic face
Clouminds;Beihang University(北京航空航天大学)
本文提出了一种基于生成对抗学习的人体上半身视频合成方法,以生成与源视频中人体的身体运动、面部表情和姿势一致的目标人的上半身视频。我们使用上半身关键点,面部动作单元和姿势作为源视频和目标视频之间的中间表示。该方法不直接将源视频转换为目标视频,而是先将源视频中人物的面部动作单元和姿态映射到目标视频中人物的面部特征点,然后将归一化的上身关键点和生成的面部特征点进行时空平滑处理,生成相应的目标视频图像。实验结果证明了该方法的有效性。
2019-09-12 cs.CV
Concat-ID: Towards Universal Identity-Preserving Video Synthesis
Gaoling School of AI, Renmin University of China(中国人民大学人工智能学院);Tsinghua University(清华大学);Zhipu AI(智谱AI)
Concat-ID 提出一种无需额外模块、仅靠 3D 自注意力融合图像特征与视频潜变量的身份保持视频生成框架,并通过跨视频配对与多阶段训练在单/多身份及多主体场景中取得领先效果。
2025-07-02 cs.AI cs.CV
One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
NVIDIA Corporation(英伟达公司)
我们提出了一个神经说话头视频合成模型,并展示了其应用于视频会议。我们的模型学习使用包含目标人的外观的源图像和指示输出中的运动的驾驶视频来合成说话的头部视频。我们的运动是基于一种新的关键点表示,其中的身份特定的和运动相关的信息被分解unsupervisedly。广泛的实验验证表明,我们的模型在基准数据集上优于竞争方法。此外,我们紧凑的关键点表示使视频会议系统能够实现与商业H.264标准相同的视觉质量,同时仅使用十分之一的带宽。此外,我们展示了我们的关键点表示允许用户在合成过程中旋转头部,这对于模拟面对面的视频会议体验非常有用。
2021-04-02 cs.CV
LumièreNet: Lecture Video Synthesis from Audio
Udacity(优达学城)
我们介绍了LumièreNet,这是一个简单的,模块化的,完全基于深度学习的架构,它可以从讲师的任何长度的新音频叙述中合成高质量的全姿势头像演讲视频。与以前的作品不同,LumièreNet完全由可训练的神经网络模块组成,通过(中间)估计的基于姿势的紧凑和抽象潜码来学习从音频到视频的映射函数。我们的视频演示可在[22]和[23]中找到。
2019-07-04 cs.CV cs.LG eess.AS
Multimodal Cinematic Video Synthesis Using Text-to-Image and Audio Generation Models
Computer Science Engineering(计算机科学与工程);Hindustan Institute of Technology and Science(印度恒河理工学院与科学研究院)
本研究提出一种多模态电影级视频合成方法,整合Stable Diffusion、GPT-2及混合音频流水线,结合五场景框架与后期处理等技术,在视觉质量、叙事连贯性与效率上表现优异,推动文本生成视频在多领域的应用。
2025-04-06 cs.AI cs.CL cs.CV
Video-to-Video Translation for Visual Speech Synthesis
Imperial College London(帝国理工学院)
尽管在庆祝生成对抗网络(GANs)进步的图像到图像翻译方面取得了显着的成功,但视频域翻译的尝试非常有限。我们研究视频到视频翻译的任务,在视觉语音生成的背景下,其目标是将任何口语单词的输入视频转换为不同单词的输出视频。这是一个多领域的翻译,其中每个单词形成一个域的视频说出这个词。最先进的图像到图像翻译模型(StarGAN)对这种设置的适应性不足,词汇量很大。相反,我们建议使用单词的字符编码,并设计一种新的基于字符的GANs架构,用于视频到视频的翻译,称为视觉语音GAN(ViSpGAN)。我们是第一个演示视频到视频翻译的500个单词的词汇。
2019-05-28 cs.CV
Ctrl-VI: Controllable Video Synthesis via Variational Inference
Stanford University(斯坦福大学);Harvard University(哈佛大学)
Ctrl-VI提出一种基于变分推断的视频合成方法,通过多骨干网络组合分布和逐步KL散度最小化,实现对指定元素的高可控性,同时保持未指定元素的多样性,实验证明其优于现有方法。
2025-10-16 cs.AI cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced(加州大学默塞德分校);Meta;NVIDIA(英伟达);Google Research(谷歌研究院)
提出 MCDiff 条件扩散模型,利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成,并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
FlowZero: Zero-Shot Text-to-Video Synthesis with LLM-Driven Dynamic Scene Syntax
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
提出FlowZero框架,结合LLM与图像扩散模型,通过生成动态场景语法指导视频生成,并引入迭代自优化和运动动力学增强连贯性,实现零样本高质量文本到视频合成。
2023-11-27 cs.AI cs.CV
Stochastic Image-to-Video Synthesis using cINNs
Heidelberg University(海德堡大学);Ryerson University(瑞尔森大学);Vector Institute for AI(Vector人工智能研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心)
视频理解需要一个模型来学习静态场景内容及其动态之间的特征相互作用:给定一幅图像,模型必须能够预测所描绘场景的未来进展,相反,视频应该根据其静态图像内容和初始帧中不存在的所有剩余特征来解释。这自然暗示视频域与静态内容以及残余信息之间的双射映射。与常见的随机图像到视频合成相比,这样的模型不仅仅生成推进初始图像的任意视频。给定此图像,它在采样时提供残差向量和具有随机结果的视频之间的一对一映射。该方法自然使用条件可逆神经网络(cINN)来实现,该cINN可以通过独立地对静态和其他视频特征进行建模来解释视频,从而为受控视频合成奠定基础。四个不同的视频数据集上的实验证明了我们的方法在合成结果的质量和多样性方面的有效性。我们的项目页面可以在https://bit.ly/3t66bnU上找到。
2021-06-17 cs.CV
World-Consistent Video-to-Video Synthesis
NVIDIA(英伟达)
视频到视频合成(vid 2 vid)旨在将高级语义输入转换为照片级视频。虽然现有的vid 2 vid方法可以实现短期的时间一致性,但它们无法确保长期的一致性。这是因为他们缺乏对正在渲染的3D世界的了解,并且仅基于过去的几帧来生成每个帧。为了解决这个问题,我们引入了一个新的vid 2 vid框架,有效地利用所有过去生成的帧在渲染过程中。这是通过将迄今为止渲染的3D世界浓缩为当前帧的物理基础估计来实现的,我们称之为指导图像。我们进一步提出了一种新的神经网络架构,以利用存储在引导图像中的信息。在几个具有挑战性的数据集上进行的大量实验结果验证了我们的方法在实现世界一致性方面的有效性-输出视频在整个渲染的3D世界中是一致的。https://nvlabs.github.io/wc-vid2vid/
2020-07-16 cs.CV
Translation-based Video-to-Video Synthesis
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文是一篇关于基于翻译的视频合成(TVS)的综述,梳理了该领域最新进展,分析了各类方法的原理、优缺点、适用场景及未来方向,重点关注帧间闪烁伪影与不一致性的解决策略。
2024-04-03 cs.CV cs.LG eess.IV
DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);NVIDIA(英伟达)
我们提出了DreamPose,一种基于扩散的方法,用于从静态图像生成动画时尚视频。给定图像和人体姿势序列,我们的方法合成包含人体和织物运动的视频。为了实现这一目标,我们将预训练的文本到图像模型(稳定扩散)转换为姿势和图像引导的视频合成模型,使用一种新的微调策略,一组架构变化来支持添加的调节信号,以及鼓励时间一致性的技术。我们对来自UBC Fashion数据集的一系列时尚视频进行了微调。我们在各种服装风格和姿势上评估了我们的方法,并证明我们的方法在时尚视频动画上产生了最先进的结果。视频结果可在我们的项目页面上找到。
2023-10-30 cs.CV
NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出了一个统一的多模态预训练模型,称为NÜWA,可以生成新的或操纵现有的视觉数据(即,图像和视频)用于各种视觉合成任务。为了在不同的应用场景下同时覆盖语言、图像和视频,设计了一个3D Transformer编解码器框架,该框架既能将视频作为3D数据处理,又能分别将文本和图像作为1D和2D数据处理。提出了一种3D近邻注意(3DNA)机制来考虑视觉数据的性质并降低计算复杂性。我们评估NÜWA的8个下游任务。与几个强大的基线相比,NÜWA在文本到图像生成、文本到视频生成、视频预测等方面取得了最先进的结果。此外,它还在文本引导的图像和视频处理任务中显示出令人惊讶的良好的零拍摄(zero-shot)功能。项目回购是https://github.com/microsoft/NUWA。
2021-11-24 cs.AI cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University(罗格斯大学);Snap Inc.(Snap公司);University of Delaware(特拉华大学)
图像和视频合成是密切相关的领域,旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展,但实现可比的视频生成结果仍然存在问题。我们提出了一个框架,利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频,而且计算效率也高出一个数量级。我们介绍了一个运动发生器,发现所需的轨迹,其中内容和运动被解开。有了这样的表示,我们的框架允许广泛的应用程序,包括内容和运动操纵。此外,我们引入了一个新的任务,我们称之为跨域视频合成,其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明,我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
Sketch Video Synthesis
University of Saarland(萨尔大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学)
针对视频素描生成中语义理解困难的问题,提出基于优化的框架,利用逐帧Bézier曲线、跨帧笔画初始化、CLIP语义损失和2D atlas网络一致性损失生成具有视觉抽象和时间连贯性的素描视频,并支持视频编辑与涂鸦。
2023-11-26 cs.CV cs.GR
5D Light Field Synthesis from a Monocular Video
Inha University(仁荷大学);Osaka University(大阪大学)
市售的光场相机难以捕获5D(4D +时间)光场视频。它们只能捕获静态光场图像,或者对于普通用户捕获光场视频来说过于昂贵。为了解决这个问题,我们提出了一种基于深度学习的方法,用于从单目视频合成光场视频。我们提出了一个新的合成光场视频数据集,使用UnrealCV渲染引擎渲染逼真的场景,因为没有光场数据集可用。所提出的深度学习框架将光场视频与来自正常单眼视频的子孔径图像的完整集合(9 $\times$ 9)合成。该网络由三个子网络组成,即特征提取、5D光场视频合成和时间一致性细化。实验结果表明,我们的模型可以成功地合成合成和实际场景的光场视频,并优于以前的逐帧方法定量和定性。合成光场可用于常规光场应用,即,深度估计、视点改变和重新聚焦。
2019-12-23 cs.CV
Reconstruct, Inpaint, Test-Time Finetune: Dynamic Novel-view Synthesis from Monocular Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出CogNVS模型,通过自监督学习和测试时微调,实现从单目视频动态场景生成新视角的高效方法。
2026-01-13 cs.CV
Long-Video Audio Synthesis with Multi-Agent Collaboration
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对长视频配音的语义变化、时间错位和数据缺失问题,本文提出多智能体框架 LVAS-Agent,并构建含 207 个长视频的 LVAS-Bench,实现更优的音视频对齐。
2025-03-17 cs.CV
Visual Data Synthesis via GAN for Zero-Shot Video Classification
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
视频分类中的零样本学习(Zero-Shot Learning,简称ZRL)是一个很有前途的研究方向,旨在应对视频类别爆炸式增长带来的挑战。大多数现有的方法通过学习视觉和语义空间之间的投影来利用看不见的相关性。然而,这种基于投影的范式不能充分利用数据分布中隐含的歧视性信息,并且通常遭受由“异质性差距”引起的信息退化问题。在本文中,我们提出了一个可视化的数据合成框架,通过GAN来解决这些问题。具体地说,利用语义知识和视觉分布来合成未见过类别的视频特征,并且可以利用合成的特征将视频分类问题转化为典型的有监督问题。首先,我们提出了多层次的语义推理,以促进视频特征合成,它通过特征级和标签级语义推理捕获联合视觉语义分布中隐含的判别信息。其次,我们提出了匹配感知互信息相关来克服信息退化问题,它通过互信息捕获匹配和不匹配的视觉语义对中的可见-不可见相关,为zero-shot合成过程提供鲁棒的引导信号。在4个视频数据集上的实验结果表明,该方法能显著提高zero-shot视频分类性能。
2018-04-26 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院);Google Research(谷歌研究院)
针对多场景教学视频合成中非线性时序下的视觉一致性难题,提出对比序列视频扩散方法,通过选择适配的历史场景引导去噪,实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
Shenzhen University(深圳大学);Shenzhen RayShape Medical Technology Co., Ltd(深圳瑞影医疗科技有限公司);Huizhou Central People’s Hospital(惠州市中心人民医院)
超声以其实时成像、无辐射、便携等优点被广泛应用。在临床实践中,分析和诊断通常依赖于US序列而不是单个图像来获得动态解剖信息。这对新手来说是一个挑战,因为用来自患者的足够视频进行练习在临床上是不切实际的。在本文中,我们提出了一种新的框架来合成高保真美国视频。具体地,通过基于给定驾驶视频的运动来动画化源内容图像来生成合成视频。我们的亮点有三个方面。首先,利用自监督学习和全监督学习的优点,我们提出的系统以弱监督方式进行关键点检测训练。然后,这些关键点为处理US视频中的复杂高动态运动提供重要信息。其次,我们使用双解码器来解耦内容和纹理学习,以有效地降低模型学习的难度。最后,我们采用带有GAN损失的对抗训练策略,进一步提高生成视频的清晰度,缩小真实视频与合成视频之间的差距。我们验证了我们的方法在一个大的内部骨盆数据集与高动态运动。广泛的评价指标和用户研究证明了我们所提出的方法的有效性。
2022-07-01 cs.AI cs.CV cs.LG
End-to-End Time-Lapse Video Synthesis from a Single Outdoor Image
Yonsei University(延世大学);Snap Inc.(斯纳普公司);Amazon Go(亚马逊无人便利店)
延时视频通常包含视觉上吸引人的内容,但创建起来往往困难且成本高昂。在本文中,我们提出了一个端到端的解决方案,使用深度神经网络从单个户外图像合成延时视频。我们的核心思想是训练一个条件生成对抗网络,基于现有的延时视频和图像序列的数据集。我们提出了一个多帧联合条件生成框架,以有效地学习室外场景的光照变化和一天中的时间之间的相关性。我们进一步提出了一个多域训练方案,用于从具有不同分布和缺失时间戳标签的两个数据集对我们的生成模型进行鲁棒训练。与其他延时视频合成算法相比,我们的方法使用时间戳作为控制变量,并且不需要参考视频来指导最终输出的合成。我们进行消融研究,以验证我们的算法,并与国家的最先进的技术定性和定量比较。
2019-04-01 cs.CV
Controllable Weather Synthesis and Removal with Video Diffusion Models
NVIDIA;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出WeatherWeaver视频扩散模型,无需三维建模即可在任意视频中合成和去除雨雪雾云等天气效果,并支持强度控制与类型混合,通过合成数据、生成式编辑和自动标注策略克服数据稀缺问题,性能优于现有方法。
2025-07-18 cs.CV cs.GR
Eye2Eye: A Simple Approach for Monocular-to-Stereo Video Synthesis
Google DeepMind(谷歌DeepMind);Weizmann Institute of Science(魏茨曼科学研究院);University of Michigan(密歇根大学)
提出一种将文本到视频生成器转换为视频到立体生成器的简单方法,通过直接从偏移视点合成新视图,避免传统多阶段深度估计和修复的缺陷,有效处理镜面和透明物体,实现高质量3D视频效果。
2025-04-30 cs.CV
Non-Adversarial Video Synthesis with Learned Priors
University of California, Riverside(加州大学河滨分校);IBM Research AI(IBM研究AI部门)
视频合成中的大多数现有工作都集中在使用对抗学习生成视频。尽管这些方法取得了成功,但它们通常需要输入参考帧,或者无法从给定的数据分布生成不同的视频,可以生成的视频质量几乎没有均匀性。与这些方法不同的是,我们专注于从潜在噪声向量生成视频的问题,没有任何参考输入帧。为此,我们开发了一种新的方法,通过非对抗学习联合优化输入潜在空间,递归神经网络和生成器的权重。优化输入潜在空间以及网络权重使我们能够在受控环境中生成视频,即,我们可以忠实地生成模型在学习过程中看到的所有视频以及新的未看到的视频。在三个具有挑战性和多样性的数据集上进行的大量实验充分证明,与现有的最先进的方法相比,我们的方法可以生成质量更高的视频。
2020-04-17 cs.CV eess.IV
Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning
Snap Inc.(色拉布公司);Rutgers University(罗格斯大学)
大多数有条件视频合成方法使用单一模态作为条件。这带来了很大的局限性。例如,以图像为条件的模型生成用户期望的特定运动轨迹是有问题的,因为没有提供运动信息的手段。相反,语言信息可以描述所需的运动,而不是精确地定义视频的内容。这项工作提出了一个多模式的视频生成框架,受益于文本和图像提供联合或单独。我们利用最近的进展,在量化表示的视频和应用双向Transformer与多个模态作为输入,以预测一个离散的视频表示。为了提高视频质量和一致性,我们提出了一种新的视频令牌训练与自学习和改进的掩码预测算法采样视频令牌。我们引入文本增强来提高文本表示的鲁棒性和生成视频的多样性。我们的框架可以结合各种视觉形式,如分割掩模,图纸,和部分遮挡图像。它可以生成比用于训练的序列长得多的序列。此外,我们的模型可以提取文本提示所建议的视觉信息,例如,“图像一中的物体正在向东北方向移动”,并生成相应的视频。我们对三个公共数据集和一个新收集的标记有面部属性的数据集进行了评估,在所有四个数据集上都获得了最先进的生成结果。
2022-03-04 cs.AI cs.CV cs.LG
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video Synthesis
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta GenAI(Meta生成式人工智能部门)
本文提出FlowVid,一种通过联合空间条件与光流线索并容忍光流不完美的视频到视频合成框架,支持灵活编辑,生成速度快且质量高。
2023-12-29 cs.CV cs.MM
Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis
Meta
本文提出Fairy,一种基于锚点交叉帧注意力的视频编辑扩散模型,通过数据增强策略提升时间一致性,14秒生成120帧视频,比先前方法快44倍以上,用户研究证实其质量优越。
2023-12-20 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University(科奇大学);KUIS AI Center(科奇大学智能系统中心)
提出将 SlotAdapt 扩展至视频的时间对象中心框架,通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University(北京大学);Alibaba DAMO Academy(阿里巴巴达摩院)
时间一致性对于将图像处理流水线扩展到视频域是至关重要的,这通常通过相邻帧上的基于流的扭曲误差来实施。然而,对于人类视频合成,这种方案是不太可靠的,由于源和目标视频之间的不对准,以及在准确的流量估计的困难。在本文中,我们提出了一种有效的内在时间正则化方案来缓解这些问题,其中通过帧生成器估计内在置信度图,以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径,从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器,从而产生一个强大的“INTERnet”,能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明,建议INTERnet的优越性,在几个竞争力的基线。
2020-12-11 cs.CV
EchoLVFM: One-Step Video Generation via Latent Flow Matching for Echocardiogram Synthesis
本文提出EchoLVFM框架,通过潜在空间单步生成可控的超声心动图视频,提升效率并保持视觉质量,实验证明其在单帧条件下的视频质量与专家判断准确率。
2026-03-14 cs.AI cs.CV eess.IV
Echocardiography video synthesis from end diastolic semantic map via diffusion model
University of Engineering and Technology, VNU(越南国立大学工程技术大学);VinUni-Illinois Smart Health Center, VinUni(文大-伊利诺伊智能健康中心,文大)
本研究扩展视频扩散模型,利用舒张末期语义图合成超声心动图视频,并引入空间自适应归一化增强引导,在CAMUS数据集上多项指标优于标准扩散方法。
2023-10-11 cs.CV eess.IV
Anchored Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院洛桑分校)
本文提出锚定视频生成方法,通过解耦场景构建与时间合成任务,提升文本到视频扩散模型在复杂场景生成和时间逻辑遵循上的性能。
2026-03-25 cs.CV
Future Video Synthesis with Object Motion Prediction
HKUST(香港科技大学);POSTECH(浦项科技大学)
我们提出了一种方法来预测未来的视频帧给定的连续视频帧在过去的序列。我们的方法不是直接合成图像,而是通过解耦背景场景和移动对象来理解复杂的场景动态。通过背景的非刚性变形和运动物体的仿射变换来预测场景组件未来的外观。预期的外观组合在一起,以创建一个合理的视频在未来。与其他方法相比,我们的方法具有更少的撕裂或失真伪影。在Cityscapes和KITTI数据集上的实验结果表明,我们的模型在视觉质量和准确性方面优于最先进的模型。
2020-04-15 cs.CV
VGenST-Bench: A Benchmark for Spatio-Temporal Reasoning via Active Video Synthesis
Department of Artificial Intelligence, Sungkyunkwan University(全北大学人工智能系);Department of Artificial Intelligence, Yonsei University(延世大学人工智能系)
本文提出VGenST-Bench,一个通过生成模型主动合成多样化评估场景的视频基准,旨在评估多模态大语言模型的时空推理能力,通过引入多代理流程和3x2x2视频分类体系,实现对细粒度时空理解的精准诊断。
2026-05-21 cs.AI cs.CV
VideoLCM: Video Latent Consistency Model
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学)
针对视频生成领域一致性模型研究不足的问题,提出基于潜在视频扩散模型与一致性蒸馏的VideoLCM框架,仅需4步即可高保真合成视频,为相关研究提供高效基准。
2023-12-14 cs.AI cs.CV
Boximator: Generating Rich and Controllable Motions for Video Synthesis
ByteDance Research(字节跳动研究院)
本研究提出视频合成细粒度运动控制方法Boximator,通过硬框、软框约束及自跟踪技术,以插件形式适配现有视频扩散模型,在提升视频质量的同时实现了更强的运动可控性。
2024-02-02 cs.AI cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣地亚哥分校);NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学)
动作视频是一种复杂的信号,在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战,我们建议在一个称为动作图的图形结构中表示动作,并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务(AG 2 Vid)解开运动和外观功能,并通过纳入行动的调度机制,促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估,结果表明,与基线相比,生成的视频具有更好的视觉质量和语义一致性。最后,我们的模型展示了zero-shot的能力,通过合成新的成分的学习行动。有关代码和预训练模型,请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation
University of Surrey(萨里大学)
手语数据的视觉匿名化是解决大规模数据集收集引起的隐私问题的一项重要任务。以前的匿名化技术要么显著影响了符号理解,要么需要手工劳动密集型工作。在本文中,我们正式介绍了手语视频匿名化(SLVA)的任务,作为一种自动的方法来匿名的手语视频的视觉外观,同时保留原始手语序列的意义。为了解决SLVA问题,我们提出了AnonySign,这是一种用于手语数据视觉匿名化的新方法。我们首先从源视频中提取姿势信息,以去除原始签名者的外观。接下来,我们从姿势序列中生成一个新颖外观的照片般逼真的手语视频,使用条件变分自编码器框架中的图像到图像的翻译方法。学习近似的后验风格分布,可以从中采样以合成新颖的人类外观。此外,我们提出了一种新的\textit{style loss},确保风格的一致性,在匿名的手语视频。我们评估AnonySign的SLVA任务与广泛的定量和定性实验突出现实主义和匿名性,我们的新的人类外观合成。此外,我们正式的匿名知觉研究作为评价标准的SLVA任务,并展示使用AnonySign的视频匿名保留原始的手语内容。
2021-07-23 cs.CV
SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion
Stability AI
SV3D利用潜在视频扩散模型,从单张图像生成高分辨率多视图轨道视频,并通过显式相机控制与改进的3D优化技术,实现最先进的新颖视图合成与3D重建。
2024-03-18 cs.CV
Searching Priors Makes Text-to-Video Synthesis Better
Zhejiang University(浙江大学);FABU Inc.(FABU公司);Ningbo Port(宁波港);Tencent Data Platform(腾讯数据平台);College of Software, Zhejiang University(浙江大学软件学院)
本文将T2V生成重构为基于搜索的流水线,通过检索现有视频的运动先验来微调预训练模型,在不扩大训练规模的前提下显著提升了生成视频复杂运动的真实感。
2024-06-05 cs.CV