A Framework for Video-Driven Crowd Synthesis
Inscape Corp.(Inscape公司);University of Ontario Institute of Technology(安大略理工大学)
我们提出了一个框架,视频驱动的人群合成。对从输入人群视频中提取的运动矢量进行处理以计算全局运动路径。这些路径对输入视频中观察到的主要运动进行编码。然后,这些路径被馈送到基于行为的人群模拟框架中,该框架负责合成尊重视频中观察到的运动模式的人群动画。我们的系统合成三维虚拟人群动画虚拟人沿人群模拟框架返回的轨迹。我们还提出了一个新的度量标准,用于比较合成人群和样本人群之间的“视觉相似性”。我们展示了所提出的方法在不同的设置下收集的人群视频。
2018-03-13 cs.CV
Cross-identity Video Motion Retargeting with Joint Transformation and Synthesis
The Pennsylvania State University(宾夕法尼亚州立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的双分支变换合成网络(TS-Net),视频运动重定向。给定一个主题视频和一个驾驶视频,TS-Net可以产生一个新的合理的视频与主题视频的主题外观和驾驶视频的运动模式。TS-Net由一个基于扭曲的转换分支和一个无扭曲的合成分支组成。双分支的新颖设计结合了基于变形网格的变换和无扭曲生成的优点,以更好地保持身份和对合成视频中的遮挡的鲁棒性。在变换分支中还引入了掩码相似度模块,以减少计算开销。在人脸和舞蹈数据集上的实验结果表明,TS-Net在视频运动重定向方面比几种最先进的模型及其单分支变体具有更好的性能。我们的代码可在https://github.com/nihaomiao/WACV23_TSNet上获得。
2022-10-02 cs.CV
DBMovi-GS: Dynamic View Synthesis from Blurry Monocular Video via Sparse-Controlled Gaussian Splatting
Interdisciplinary Program in Neuroscience(神经科学跨学科项目);IPAI;AIIS, Seoul National University(首尔国立大学人工智能研究所)
针对模糊单目视频动态视图合成难题,提出DBMovi-GS方法,通过生成密集3D高斯恢复清晰度并重建动态场景3D几何,在动态模糊场景下实现鲁棒的新视图合成性能。
2025-06-26 cs.CV
Neighbor Correspondence Matching for Flow-based Video Frame Synthesis
University of Science and Technology of China(中国科学技术大学);Microsoft Research China(微软亚洲研究院)
视频帧合成是视频处理中的一项重要技术,它包括内插和外推两部分,可以应用于各种场景。然而,大多数现有方法不能很好地处理小对象或大运动,特别是在高分辨率视频(例如4K视频)中。为了消除这种限制,我们引入了一个邻居对应匹配(NCM)算法,基于流的帧合成。由于当前帧在视频帧合成中不可用,因此以与当前帧无关的方式执行NCM以在每个像素的时空邻域中建立多尺度对应。基于NCM强大的运动表示能力,我们进一步提出了估计中间流的帧合成在一个异构的粗到细的计划。具体而言,粗尺度模块被设计为利用相邻对应来捕获大的运动,而细尺度模块在计算上更有效以加速估计过程。这两个模块都是逐步训练的,以消除训练数据集和真实世界视频之间的分辨率差距。实验结果表明,NCM在几个基准测试中达到了最先进的性能。此外,NCM还可以应用于各种实际场景,如视频压缩,以获得更好的性能。
2022-07-14 cs.CV
One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
NVIDIA Corporation(英伟达公司)
我们提出了一个神经说话头视频合成模型,并展示了其应用于视频会议。我们的模型学习使用包含目标人的外观的源图像和指示输出中的运动的驾驶视频来合成说话的头部视频。我们的运动是基于一种新的关键点表示,其中的身份特定的和运动相关的信息被分解unsupervisedly。广泛的实验验证表明,我们的模型在基准数据集上优于竞争方法。此外,我们紧凑的关键点表示使视频会议系统能够实现与商业H.264标准相同的视觉质量,同时仅使用十分之一的带宽。此外,我们展示了我们的关键点表示允许用户在合成过程中旋转头部,这对于模拟面对面的视频会议体验非常有用。
2021-04-02 cs.CV
ConvTransformer: A Convolutional Transformer Network for Video Frame Synthesis
Southeast University(东南大学)
深度卷积神经网络(CNN)是功能强大的模型,在困难的计算机视觉任务上取得了出色的性能。虽然CNN在大的标记训练样本可用时表现良好,但由于对象变形和移动,场景照明变化以及摄像机在视频序列中移动,它们在视频帧合成方面表现不佳。在本文中,我们提出了一种新颖的和通用的端到端架构,称为卷积Transformer或ConvTransformer,用于视频帧序列学习和视频帧合成。ConvTransformer的核心成分是建议的注意力层,即,多头卷积自注意层,学习视频序列的顺序依赖性。ConvTransformer使用构建在多头卷积自注意层上的编码器对输入帧之间的顺序依赖进行编码,然后解码器对目标合成帧与输入帧之间的长期依赖进行解码。视频未来帧外推任务的实验表明,ConvTransformer在质量上更优越,同时与基于卷积LSTM(ConvLSTM)的最新方法相比更具并行性。据我们所知,这是第一次提出ConvTransformer架构并应用于视频帧合成。
2021-06-01 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research(奥多比研究院);Boston University(波士顿大学);Adobe Inc(奥多比公司)
帧内插是一种重要的视频处理技术,可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进,但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中,因为它们要么在计算上过于苛刻,要么在高分辨率下失败。相比之下,我们提出了一种深度学习方法,该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多,特别是对于多帧内插,而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Video-to-Video Translation for Visual Speech Synthesis
Imperial College London(帝国理工学院)
尽管在庆祝生成对抗网络(GANs)进步的图像到图像翻译方面取得了显着的成功,但视频域翻译的尝试非常有限。我们研究视频到视频翻译的任务,在视觉语音生成的背景下,其目标是将任何口语单词的输入视频转换为不同单词的输出视频。这是一个多领域的翻译,其中每个单词形成一个域的视频说出这个词。最先进的图像到图像翻译模型(StarGAN)对这种设置的适应性不足,词汇量很大。相反,我们建议使用单词的字符编码,并设计一种新的基于字符的GANs架构,用于视频到视频的翻译,称为视觉语音GAN(ViSpGAN)。我们是第一个演示视频到视频翻译的500个单词的词汇。
2019-05-28 cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced(加州大学默塞德分校);Meta;NVIDIA(英伟达);Google Research(谷歌研究院)
提出 MCDiff 条件扩散模型,利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成,并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
Stochastic Image-to-Video Synthesis using cINNs
Heidelberg University(海德堡大学);Ryerson University(瑞尔森大学);Vector Institute for AI(Vector人工智能研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心)
视频理解需要一个模型来学习静态场景内容及其动态之间的特征相互作用:给定一幅图像,模型必须能够预测所描绘场景的未来进展,相反,视频应该根据其静态图像内容和初始帧中不存在的所有剩余特征来解释。这自然暗示视频域与静态内容以及残余信息之间的双射映射。与常见的随机图像到视频合成相比,这样的模型不仅仅生成推进初始图像的任意视频。给定此图像,它在采样时提供残差向量和具有随机结果的视频之间的一对一映射。该方法自然使用条件可逆神经网络(cINN)来实现,该cINN可以通过独立地对静态和其他视频特征进行建模来解释视频,从而为受控视频合成奠定基础。四个不同的视频数据集上的实验证明了我们的方法在合成结果的质量和多样性方面的有效性。我们的项目页面可以在https://bit.ly/3t66bnU上找到。
2021-06-17 cs.CV
World-Consistent Video-to-Video Synthesis
NVIDIA(英伟达)
视频到视频合成(vid 2 vid)旨在将高级语义输入转换为照片级视频。虽然现有的vid 2 vid方法可以实现短期的时间一致性,但它们无法确保长期的一致性。这是因为他们缺乏对正在渲染的3D世界的了解,并且仅基于过去的几帧来生成每个帧。为了解决这个问题,我们引入了一个新的vid 2 vid框架,有效地利用所有过去生成的帧在渲染过程中。这是通过将迄今为止渲染的3D世界浓缩为当前帧的物理基础估计来实现的,我们称之为指导图像。我们进一步提出了一种新的神经网络架构,以利用存储在引导图像中的信息。在几个具有挑战性的数据集上进行的大量实验结果验证了我们的方法在实现世界一致性方面的有效性-输出视频在整个渲染的3D世界中是一致的。https://nvlabs.github.io/wc-vid2vid/
2020-07-16 cs.CV
DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);NVIDIA(英伟达)
我们提出了DreamPose,一种基于扩散的方法,用于从静态图像生成动画时尚视频。给定图像和人体姿势序列,我们的方法合成包含人体和织物运动的视频。为了实现这一目标,我们将预训练的文本到图像模型(稳定扩散)转换为姿势和图像引导的视频合成模型,使用一种新的微调策略,一组架构变化来支持添加的调节信号,以及鼓励时间一致性的技术。我们对来自UBC Fashion数据集的一系列时尚视频进行了微调。我们在各种服装风格和姿势上评估了我们的方法,并证明我们的方法在时尚视频动画上产生了最先进的结果。视频结果可在我们的项目页面上找到。
2023-10-30 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University(罗格斯大学);Snap Inc.(Snap公司);University of Delaware(特拉华大学)
图像和视频合成是密切相关的领域,旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展,但实现可比的视频生成结果仍然存在问题。我们提出了一个框架,利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频,而且计算效率也高出一个数量级。我们介绍了一个运动发生器,发现所需的轨迹,其中内容和运动被解开。有了这样的表示,我们的框架允许广泛的应用程序,包括内容和运动操纵。此外,我们引入了一个新的任务,我们称之为跨域视频合成,其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明,我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
5D Light Field Synthesis from a Monocular Video
Inha University(仁荷大学);Osaka University(大阪大学)
市售的光场相机难以捕获5D(4D +时间)光场视频。它们只能捕获静态光场图像,或者对于普通用户捕获光场视频来说过于昂贵。为了解决这个问题,我们提出了一种基于深度学习的方法,用于从单目视频合成光场视频。我们提出了一个新的合成光场视频数据集,使用UnrealCV渲染引擎渲染逼真的场景,因为没有光场数据集可用。所提出的深度学习框架将光场视频与来自正常单眼视频的子孔径图像的完整集合(9 $\times$ 9)合成。该网络由三个子网络组成,即特征提取、5D光场视频合成和时间一致性细化。实验结果表明,我们的模型可以成功地合成合成和实际场景的光场视频,并优于以前的逐帧方法定量和定性。合成光场可用于常规光场应用,即,深度估计、视点改变和重新聚焦。
2019-12-23 cs.CV
Reconstruct, Inpaint, Test-Time Finetune: Dynamic Novel-view Synthesis from Monocular Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出CogNVS模型,通过自监督学习和测试时微调,实现从单目视频动态场景生成新视角的高效方法。
2026-01-13 cs.CV
Long-Video Audio Synthesis with Multi-Agent Collaboration
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对长视频配音的语义变化、时间错位和数据缺失问题,本文提出多智能体框架 LVAS-Agent,并构建含 207 个长视频的 LVAS-Bench,实现更优的音视频对齐。
2025-03-17 cs.CV
Dynamic View Synthesis from Dynamic Monocular Video
Virginia Tech(弗吉尼亚理工大学);Facebook(脸书)
我们提出了一种算法,用于在任意视点和任意输入时间步长下生成动态场景的单目视频的新视图。我们的工作建立在神经隐式表示的最新进展,并使用连续和可微函数建模的时变结构和场景的外观。我们联合训练时不变的静态NeRF和时变的动态NeRF,并学习如何以无监督的方式混合结果。然而,从单个视频中学习这个隐式函数是高度不适定的(有无限多个与输入视频匹配的解)。为了解决模糊性,我们引入正则化损失,以鼓励一个更物理上合理的解决方案。我们展示了大量的定量和定性结果的动态视图合成随便捕捉的视频。
2021-05-13 cs.CV
Visual Data Synthesis via GAN for Zero-Shot Video Classification
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
视频分类中的零样本学习(Zero-Shot Learning,简称ZRL)是一个很有前途的研究方向,旨在应对视频类别爆炸式增长带来的挑战。大多数现有的方法通过学习视觉和语义空间之间的投影来利用看不见的相关性。然而,这种基于投影的范式不能充分利用数据分布中隐含的歧视性信息,并且通常遭受由“异质性差距”引起的信息退化问题。在本文中,我们提出了一个可视化的数据合成框架,通过GAN来解决这些问题。具体地说,利用语义知识和视觉分布来合成未见过类别的视频特征,并且可以利用合成的特征将视频分类问题转化为典型的有监督问题。首先,我们提出了多层次的语义推理,以促进视频特征合成,它通过特征级和标签级语义推理捕获联合视觉语义分布中隐含的判别信息。其次,我们提出了匹配感知互信息相关来克服信息退化问题,它通过互信息捕获匹配和不匹配的视觉语义对中的可见-不可见相关,为zero-shot合成过程提供鲁棒的引导信号。在4个视频数据集上的实验结果表明,该方法能显著提高zero-shot视频分类性能。
2018-04-26 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院);Google Research(谷歌研究院)
针对多场景教学视频合成中非线性时序下的视觉一致性难题,提出对比序列视频扩散方法,通过选择适配的历史场景引导去噪,实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
End-to-End Time-Lapse Video Synthesis from a Single Outdoor Image
Yonsei University(延世大学);Snap Inc.(斯纳普公司);Amazon Go(亚马逊无人便利店)
延时视频通常包含视觉上吸引人的内容,但创建起来往往困难且成本高昂。在本文中,我们提出了一个端到端的解决方案,使用深度神经网络从单个户外图像合成延时视频。我们的核心思想是训练一个条件生成对抗网络,基于现有的延时视频和图像序列的数据集。我们提出了一个多帧联合条件生成框架,以有效地学习室外场景的光照变化和一天中的时间之间的相关性。我们进一步提出了一个多域训练方案,用于从具有不同分布和缺失时间戳标签的两个数据集对我们的生成模型进行鲁棒训练。与其他延时视频合成算法相比,我们的方法使用时间戳作为控制变量,并且不需要参考视频来指导最终输出的合成。我们进行消融研究,以验证我们的算法,并与国家的最先进的技术定性和定量比较。
2019-04-01 cs.CV
Eye2Eye: A Simple Approach for Monocular-to-Stereo Video Synthesis
Google DeepMind(谷歌DeepMind);Weizmann Institute of Science(魏茨曼科学研究院);University of Michigan(密歇根大学)
提出一种将文本到视频生成器转换为视频到立体生成器的简单方法,通过直接从偏移视点合成新视图,避免传统多阶段深度估计和修复的缺陷,有效处理镜面和透明物体,实现高质量3D视频效果。
2025-04-30 cs.CV
Self-Supervised Equivariant Scene Synthesis from Video
NYU(纽约大学);NVidia(英伟达);Technical University of Berlin(柏林工业大学);Google(谷歌)
我们提出了一个自我监督的框架来学习场景表示从视频自动划定为背景,人物,和他们的动画。我们的方法利用了移动字符是等变的,相对于他们的跨帧的变换和背景是恒定的,相对于相同的变换。经过训练后,我们可以实时的操纵图像编码,以创建所描绘的组件的不可见组合。据我们所知,我们是第一个对可解释的背景、角色和动画进行无监督提取和合成的方法。我们在三个数据集上展示了结果:移动MNIST背景,2D视频游戏精灵和时尚建模。
2021-02-01 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis
Meta
本文提出Fairy,一种基于锚点交叉帧注意力的视频编辑扩散模型,通过数据增强策略提升时间一致性,14秒生成120帧视频,比先前方法快44倍以上,用户研究证实其质量优越。
2023-12-20 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University(科奇大学);KUIS AI Center(科奇大学智能系统中心)
提出将 SlotAdapt 扩展至视频的时间对象中心框架,通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University(北京大学);Alibaba DAMO Academy(阿里巴巴达摩院)
时间一致性对于将图像处理流水线扩展到视频域是至关重要的,这通常通过相邻帧上的基于流的扭曲误差来实施。然而,对于人类视频合成,这种方案是不太可靠的,由于源和目标视频之间的不对准,以及在准确的流量估计的困难。在本文中,我们提出了一种有效的内在时间正则化方案来缓解这些问题,其中通过帧生成器估计内在置信度图,以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径,从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器,从而产生一个强大的“INTERnet”,能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明,建议INTERnet的优越性,在几个竞争力的基线。
2020-12-11 cs.CV
Anchored Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院洛桑分校)
本文提出锚定视频生成方法,通过解耦场景构建与时间合成任务,提升文本到视频扩散模型在复杂场景生成和时间逻辑遵循上的性能。
2026-03-25 cs.CV
Future Video Synthesis with Object Motion Prediction
HKUST(香港科技大学);POSTECH(浦项科技大学)
我们提出了一种方法来预测未来的视频帧给定的连续视频帧在过去的序列。我们的方法不是直接合成图像,而是通过解耦背景场景和移动对象来理解复杂的场景动态。通过背景的非刚性变形和运动物体的仿射变换来预测场景组件未来的外观。预期的外观组合在一起,以创建一个合理的视频在未来。与其他方法相比,我们的方法具有更少的撕裂或失真伪影。在Cityscapes和KITTI数据集上的实验结果表明,我们的模型在视觉质量和准确性方面优于最先进的模型。
2020-04-15 cs.CV
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation
University of Surrey(萨里大学)
手语数据的视觉匿名化是解决大规模数据集收集引起的隐私问题的一项重要任务。以前的匿名化技术要么显著影响了符号理解,要么需要手工劳动密集型工作。在本文中,我们正式介绍了手语视频匿名化(SLVA)的任务,作为一种自动的方法来匿名的手语视频的视觉外观,同时保留原始手语序列的意义。为了解决SLVA问题,我们提出了AnonySign,这是一种用于手语数据视觉匿名化的新方法。我们首先从源视频中提取姿势信息,以去除原始签名者的外观。接下来,我们从姿势序列中生成一个新颖外观的照片般逼真的手语视频,使用条件变分自编码器框架中的图像到图像的翻译方法。学习近似的后验风格分布,可以从中采样以合成新颖的人类外观。此外,我们提出了一种新的\textit{style loss},确保风格的一致性,在匿名的手语视频。我们评估AnonySign的SLVA任务与广泛的定量和定性实验突出现实主义和匿名性,我们的新的人类外观合成。此外,我们正式的匿名知觉研究作为评价标准的SLVA任务,并展示使用AnonySign的视频匿名保留原始的手语内容。
2021-07-23 cs.CV
Diffusion Priors for Dynamic View Synthesis from Monocular Videos
Snap Research(Snap研究院);KAUST(阿卜杜拉国王科技大学)
本文针对单目视频动态新视角合成中运动与结构难以区分及不可见区域难以生成的问题,提出先微调RGB-D扩散模型再蒸馏至动态与静态NeRF组成的4D表示的方法,实现了几何一致性与场景身份保持。
2024-01-10 cs.CV
SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion
Stability AI
SV3D利用潜在视频扩散模型,从单张图像生成高分辨率多视图轨道视频,并通过显式相机控制与改进的3D优化技术,实现最先进的新颖视图合成与3D重建。
2024-03-18 cs.CV
Searching Priors Makes Text-to-Video Synthesis Better
Zhejiang University(浙江大学);FABU Inc.(FABU公司);Ningbo Port(宁波港);Tencent Data Platform(腾讯数据平台);College of Software, Zhejiang University(浙江大学软件学院)
本文将T2V生成重构为基于搜索的流水线,通过检索现有视频的运动先验来微调预训练模型,在不扩大训练规模的前提下显著提升了生成视频复杂运动的真实感。
2024-06-05 cs.CV
Cosh-DiT: Co-Speech Gesture Video Synthesis via Hybrid Audio-Visual Diffusion Transformers
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Baidu(百度);Tokyo Institute of Technology(东京工业大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
本文提出 Cosh-DiT 混合音视频 Diffusion Transformer 框架,通过离散音频到动作扩散与连续动作到视频扩散,实现与语音节奏同步的逼真协同语音手势视频生成。
2025-03-13 cs.CV
Physics-based Human Motion Estimation and Synthesis from Videos
University of Toronto(多伦多大学);Vector Institute(向量研究所);Nvidia(英伟达)
人体运动合成是机器人图形学、游戏和仿真环境中的一个重要问题。现有的方法需要精确的运动捕捉数据进行训练,这是昂贵的获得。相反,我们提出了一个框架,用于直接从单目RGB视频中训练物理上合理的人体运动生成模型,这些视频更广泛地可用。在我们的方法的核心是一种新的优化配方,纠正不完美的基于图像的姿态估计,通过强制执行物理约束和原因,在一个可微的方式接触。这种优化产生校正的3D姿态和运动,以及它们相应的接触力。结果表明,我们的物理校正的运动显着优于以前的工作姿势估计。然后,我们可以使用这些来训练生成模型来合成未来的运动。我们证明了定性和定量改进的运动估计,合成质量和物理可扩展性,通过我们的方法在人类3.6米数据集~ \cite{h36m_pami}相比,以前的运动学和物理为基础的方法。通过从视频中学习运动合成,我们的方法为大规模,逼真和多样化的运动合成铺平了道路。项目页面:\url{https://nv-tlabs.github.io/publication/iccv_2021_physics/}
2022-08-11 cs.CV
NOVA: Sparse Control, Dense Synthesis for Pair-Free Video Editing
Nanjing University(南京大学);University of Chinese Academy of Sciences(中国科学院大学);WeChat, Tencent(微信、腾讯);The University of Hong Kong(香港大学)
NOVA提出了一种无配对视频编辑框架,通过稀疏控制与密集合成提升编辑保真度和时间一致性。
2026-03-03 cs.CV
ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);Future Network of Intelligence Institute, CUHK-Shenzhen, China(CUHK-深圳智能网络研究院)
本文提出通过图像优先合成方法,结合预训练图像模型与SMPL-X运动引导,生成高质量且时间一致的视频,同时释放人类数据集与辅助模型。
2026-04-21 cs.CV
A Maximum A Posteriori Estimation Framework for Robust High Dynamic Range Video Synthesis
Pennsylvania State University(宾夕法尼亚州立大学);Pukyong National University(釜庆国立大学)
从多个低动态范围(LDR)曝光合成高动态范围(HDR)图像继续被积极地研究。由于潜在的成本效益,对HDR视频合成的扩展是当前显著感兴趣的主题。对于HDR视频,严格的实际挑战以视频帧之间的对象的准确对应性估计的形式呈现。特别地,由不良曝光和变化的强度导致的数据丢失使得传统的光流方法非常不准确。我们避免了精确的对应估计,提出了一种统计方法,通过最大后验(MAP)估计,并在适当的统计假设和先验和模型的选择,我们减少了它的目标帧的前景和背景的解决方案的优化问题。我们通过秩最小化获得背景,并通过一种新的多尺度自适应核回归技术来估计前景,该技术通过求解无约束优化问题来隐式地捕获局部结构和时间运动。在真实和合成数据集上的大量实验结果表明,在主观和客观评估下,我们的算法比当前最先进的方法更能够提供高质量的HDR视频。此外,一个彻底的复杂性分析表明,我们的算法实现了更好的复杂性和性能的权衡比传统的方法。
2016-12-08 cs.CV
LARNet: Latent Action Representation for Human Action Synthesis
IIT Kanpur(印度理工学院坎普尔分校)
我们提出了LARNet,一种新的端到端的方法,用于生成人类动作视频。一个联合的生成模型的外观和动态合成视频是非常具有挑战性的,因此最近的作品在视频合成提出了分解这两个因素。然而,这些方法需要驾驶视频来对视频动态进行建模。在这项工作中,我们提出了一种生成方法,它在潜在空间中显式学习动作动态,避免了在推理过程中需要驾驶视频。所产生的动作动态集成的外观使用一个经常性的层次结构,诱导运动在不同的尺度上集中在粗糙以及精细的动作细节。此外,我们提出了一种新的混合对抗损失函数,旨在提高合成视频的时间相干性。我们评估所提出的方法在四个真实世界的人类行动数据集,证明所提出的方法在产生人类行动的有效性。代码可在https://github.com/aayushjr/larnet获得。
2021-10-27 cs.CV
WALDO: Future Video Synthesis using Object Layer Decomposition and Parametric Flow Prediction
Inria(法国国家信息与自动化研究所);New York University(纽约大学)
WALDO通过对象层分解和参数化流预测,将视频合成分解为层发现、变换预测和区域扭曲,在多个基准上显著超越现有技术。
2023-08-29 cs.CV
Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructions
BJTU(北京工业大学);UT Austin(德克萨斯大学奥斯汀分校);HKUST(香港科技大学);Stanford University(斯坦福大学);XMU(厦门大学);SBU(雪城大学);USC(南加州大学);NVIDIA(英伟达)
本文提出M3arsSynth和MarsGen,通过物理准确的3D重建生成逼真的火星视频,提升任务模拟与机器人训练的可视化效果。
2025-12-05 cs.CV
LEO: Generative Latent Image Animator for Human Video Synthesis
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Monash University(莫纳什大学);Inria(法国国家信息与自动化研究所)
提出LEO框架,通过光流图和LMDM实现外观与运动解耦,显著提升人体视频合成的时空一致性,并支持无限长视频合成与内容保持编辑。
2024-11-12 cs.CV
FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
FastSTAR通过时空令牌修剪和部分更新机制,实现高效视频生成,在保持质量的同时提升处理速度。
2026-03-07 cs.CV
Geometry-guided Online 3D Video Synthesis with Multi-View Temporal Consistency
KAIST(韩国科学技术院);Meta
提出一种几何引导的在线视频视角合成方法,利用全局几何和深度细化实现多视角与时间一致性,兼顾高效与高质量。
2025-05-25 cs.CV
ExVideo: Extending Video Diffusion Models via Parameter-Efficient Post-Tuning
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
针对现有视频扩散模型受算力限制仅能生成短视频的问题,提出参数高效后调优方法ExVideo,通过对3D卷积、时序注意力等架构设计扩展策略,在低训练成本下将Stable Video Diffusion的生成帧数提升至5倍且不损失泛化性。
2024-06-20 cs.CV
Pseudo-Generalized Dynamic View Synthesis from a Video
Apple(苹果公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文探讨从单目视频进行泛化动态新视角合成的可行性,提出无需场景特定外观优化的伪泛化方法,证明在几何与时间一致的深度估计下可优于部分场景特定方法。
2024-02-20 cs.CV
ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Jilin University(吉林大学)
本文提出纯图像适应框架,通过两阶段LoRA策略提升视频扩散模型生成超高清视频的能力,无需视频训练数据,在VBench基准上超越现有最佳模型。
2026-03-24 cs.CV
MoReGen: Multi-Agent Motion-Reasoning Engine for Code-based Text-to-Video Synthesis
Northeastern University(东北大学);University of Oxford(牛津大学);Microsoft Research(微软研究院)
MoReGen通过整合多智能体大语言模型、物理模拟器和渲染器,实现了基于代码领域的文本到视频合成,强调物理精度和运动一致性,为生成符合物理原理的视频提供了一种新的方法。
2025-12-10 cs.CV
MV-Performer: Taming Video Diffusion Model for Faithful and Synchronized Multi-view Performer Synthesis
Great Bay University(大亚湾大学);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能化重点实验室)
MV-Performer利用相机相关法线图和融合多视角信息的视频扩散模型,从单目全身捕捉实现同步360度新视角视频合成,在三个数据集上达到最先进性能。
2025-10-08 cs.CV
Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所);ASUS Intelligent Cloud Services(华硕智能云服务)
在计算机视觉中,生成具有内容和运动变化的视频是一项具有挑战性的任务。虽然GAN的最新发展允许从潜在表示生成视频,但是生成具有感兴趣的运动模式的特定内容的视频并不容易。在本文中,我们提出了双运动传输GAN(Dual-MT GAN),它以图像和视频数据作为输入,同时学习解纠缠的内容和运动表示。我们的Dual-MTGAN能够执行确定性运动传输和随机运动生成。基于给定的图像,前者保留输入内容并转移从另一个视频序列中观察到的运动模式,而后者直接基于输入图像产生具有合理但多样的运动模式的视频。所提出的模型以端到端的方式进行训练,而不需要利用预定义的运动特征,如姿势或面部标志。我们的定量和定性结果将证实我们的模型在解决这种条件图像到视频任务的有效性和鲁棒性。
2021-02-26 cs.CV
MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
本文提出MIMO框架,通过单目深度提升与空间分解编码,统一实现人物、运动和场景可控的人物视频合成,并支持任意人物、新颖3D运动及真实场景交互。
2025-06-11 cs.CV
Encapsulated Composition of Text-to-Image and Text-to-Video Models for High-Quality Video Synthesis
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算);South China University of Technology(华南理工大学)
本文提出无需训练的封装式视频合成器EVS,通过将T2V时序先验封装进T2I生成过程,组合两类模型以提升视频画质与运动平滑性,并实现1.6至4.5倍推理加速。
2025-07-18 cs.CV
SmoothVideo: Smooth Video Synthesis with Noise Constraints on Diffusion Models for One-shot Video Tuning
Zhejiang University(浙江大学);FABU Inc.(FABU公司);Tencent(腾讯)
针对一次性视频调优中视频不连贯问题,提出跨帧噪声约束损失以平滑潜在表示,并引入新评估指标,显著提升生成视频的一致性和平滑度。
2024-02-06 cs.CV
SG2VID: Scene Graphs Enable Fine-Grained Control for Video Synthesis
Technical University Darmstadt(达姆施塔特技术大学);Universitätsmedizin der Johannes Gutenberg-Universität Mainz(美因茨约翰尼斯·古滕贝格大学医学中心);Carl Zeiss AG(蔡司股份公司)
该研究提出基于扩散模型的SG2VID视频生成框架,利用场景图实现手术视频的精准合成与细粒度人工控制,在多类手术数据集上性能优于现有方法,可用于数据增强提升下游任务性能,还能生成罕见术中异常场景视频。
2025-06-13 cs.CV