MEVG: Multi-event Video Generation with Text-to-Video Models
Korea University(高丽大学);NVIDIA(英伟达)
本文提出MEVG方法,利用预训练文本到视频扩散模型,通过最后一帧感知扩散和提示生成器,实现无需微调的多事件视频生成,并在时序连贯性和语义上优于现有模型。
2024-07-16 cs.CV
The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective
Keio University(庆应义塾大学);The University of Tokyo(东京大学)
本文从叙事视角研究文本生成视频任务,指出现有模型仅关注单场景视觉元素、缺乏叙事能力的局限,提出了视频叙事维度的评估框架并探讨未来方向。
2024-05-13 cs.CV
Towards A Better Metric for Text-to-Video Generation
ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Show Lab;Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文针对现有文本到视频生成评估指标在时间维度分析上的不足,提出融合文本-视频对齐度与视频质量两项准则的T2VScore指标,并构建含2543个人工评判的TVGE数据集验证其优越性。
2024-01-15 cs.CV
Text2Performer: Text-Driven Human Video Generation
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出Text2Performer,通过分解式人体表示和连续VQ-diffuser从文本生成具有关节动作的高质量人体视频,并贡献Fashion-Text2Video数据集。
2023-04-17 cs.CV
Text-Video Multi-Grained Integration for Video Moment Montage
Kuaishou Technology(快手科技)
针对短视频手动编辑效率低的问题,提出文本-视频多粒度融合方法TV-MGI,实现视频与脚本的全局及细粒度对齐,同时构建专用大规模数据集MSSD,实验验证其效果优于基线方法。
2024-12-12 cs.CV
Encapsulated Composition of Text-to-Image and Text-to-Video Models for High-Quality Video Synthesis
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算);South China University of Technology(华南理工大学)
本文提出无需训练的封装式视频合成器EVS,通过将T2V时序先验封装进T2I生成过程,组合两类模型以提升视频画质与运动平滑性,并实现1.6至4.5倍推理加速。
2025-07-18 cs.CV
Grid Diffusion Models for Text-to-Video Generation
本文提出一种无需时间维度和大型文本-视频数据集的网格扩散模型,将视频表示为网格图像,以固定GPU内存生成高质量视频,并可复用图像方法,在定量和定性评估中优于现有方法。
2024-12-30 cs.CV
Gen-L-Video: Multi-Text to Long Video Generation via Temporal Co-Denoising
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
Gen-L-Video提出一种无需额外训练的时序协同去噪范式,将现成短视频扩散模型扩展至多文本条件的长视频生成与编辑,支持数百帧和多样语义片段,并验证了其有效性。
2023-05-29 cs.CV
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
National University of Singapore(新加坡国立大学);Tencent PCG(腾讯平台与内容事业群)
为了复制文本到图像(T2 I)生成的成功,最近的工作采用大规模视频数据集来训练文本到视频(T2 V)生成器。尽管他们有希望的结果,这样的范例是计算昂贵的。在这项工作中,我们提出了一个新的T2 V生成设置$\unicode{x2014}$单次视频调谐,其中只有一个文本视频对。我们的模型是建立在最先进的T2 I扩散模型上的,这些模型是在大量图像数据上预先训练的。我们提出两个关键意见:1)T2 I模型可以生成表示动词术语的静态图像; 2)扩展T2 I模型以同时生成多个图像,表现出令人惊讶的良好内容一致性。为了进一步学习连续运动,我们引入了Tune-A-Video,它涉及一个定制的时空注意力机制和一个有效的一次性调谐策略。在推理方面,我们采用DDIM反演为采样提供结构指导。大量的定性和数值实验表明,我们的方法在各种应用程序的显着能力。
2023-03-17 cs.CV
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Microelectronics, Tsinghua University(清华大学微电子研究所);Chinese Academy of Sciences Artificial Intelligence Research(中国科学院人工智能研究院)
本文提出了一种新的视频生成模型,特别是尝试处理从文本描述生成视频的问题,即,合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务,由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题,我们提出了一种递归解卷积生成对抗网络(RD-GAN),它包括一个递归解卷积网络(RDN)作为生成器和一个3D卷积神经网络(3D-CNN)作为神经网络。RDN是传统递归神经网络的去卷积版本,它可以很好地建模生成的视频帧的长距离时间依赖性,并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练,以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务,包括传统的视频生成,条件视频生成,视频预测和视频分类,并证明其有效性,实现良好的性能。
2020-08-13 cs.CV
GODIVA: Generating Open-DomaIn Videos from nAtural Descriptions
Microsoft Research Asia(微软亚洲研究院);Duke University(杜克大学)
从文本生成视频是一项具有挑战性的任务,因为它对训练的计算要求很高,并且有无限可能的答案用于评估。现有的工作通常在简单或小的数据集上进行实验,其中泛化能力非常有限。在这项工作中,我们提出了GODIVA,一个开放域的文本到视频预训练模型,可以使用三维稀疏注意力机制以自回归的方式从文本生成视频。我们在Howto100M上预训练我们的模型,Howto100M是一个大规模的文本视频数据集,包含超过1.36亿个文本视频对。实验表明,GODIVA不仅可以对下游的视频生成任务进行微调,而且对不可见文本具有良好的zero-shot能力。我们还提出了一个新的度量称为相对匹配(RM)自动评估视频生成质量。列出了一些挑战,并讨论了未来的工作。
2021-04-30 cs.CV
TiVGAN: Text to Image to Video Generation with Step-by-Step Evolutionary Generator
Korea Advanced Institute of Science and Technology(韩国科学技术院)
技术的进步已经导致可以创建所需的视觉多媒体的方法的发展。特别地,使用深度学习的图像生成已经在不同领域被广泛研究。相比之下,视频生成,特别是有条件输入,仍然是一个具有挑战性和较少探索的领域。为了缩小这一差距,我们的目标是训练我们的模型,以产生一个视频对应于一个给定的文本描述。我们提出了一个新的训练框架,文本到图像到视频生成对抗网络(TiVGAN),它逐帧进化,最终产生一个完整长度的视频。在第一阶段,我们专注于创建高质量的单个视频帧,同时学习文本和图像之间的关系。随着步骤的进行,我们的模型会在更多的连续帧上逐渐训练。这种逐步的学习过程有助于稳定训练,并能够基于条件文本描述创建高分辨率视频。在不同数据集上的定性和定量实验结果证明了该方法的有效性。
2021-06-28 cs.CV
Mimir: Improving Video Diffusion Models for Precise Text Understanding
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对视频扩散模型文本理解有限的问题,提出Mimir框架,通过token融合器协调文本编码器与大语言模型(LLMs)输出,利用LLMs优势提升文本理解,生成高质量视频,尤其在短字幕和动态变化场景表现出色。
2024-12-04 cs.CV
Text2LIVE: Text-Driven Layered Image and Video Editing
Weizmann Institute of Science(魏茨曼科学研究所);NVIDIA Research(英伟达研究院)
我们提出了一种zero-shot的方法,文本驱动的外观操纵自然图像和视频。给定输入图像或视频和目标文本提示,我们的目标是编辑现有对象的外观(例如,对象的纹理)或用视觉效果增强场景(例如,烟,火)以语义上有意义的方式。我们使用从单个输入(图像或视频和目标文本提示)中提取的训练样本的内部数据集训练生成器,同时利用外部预训练的CLIP模型来建立我们的损失。我们的关键思想不是直接生成编辑后的输出,而是生成一个编辑层(颜色+不透明度),该层在原始输入上合成。这使我们能够约束生成过程,并通过直接应用于编辑层的新颖的文本驱动损失来保持对原始输入的高保真度。我们的方法既不依赖于预先训练的生成器,也不需要用户提供的编辑掩码。我们展示了对各种对象和场景的高分辨率自然图像和视频进行本地化的语义编辑。
2022-05-25 cs.CV
STRIVE: Scene Text Replacement In Videos
NEC Laboratories, America(美国NEC实验室);Palo Alto Research Center(帕洛阿尔托研究中心);Amazon(亚马逊);Stanford University(斯坦福大学)
我们提出了使用深度风格转移和学习的光度变换来替换视频中的场景文本。在静态图像文本替换的最新进展的基础上,我们提出了在保留原始视频的外观和运动特征的同时改变文本的扩展。与静态图像文本替换的问题相比,我们的方法解决了视频引入的额外挑战,即由变化的照明引起的效果,运动模糊,相机对象姿态随时间的不同变化,以及时间一致性的保持。我们把这个问题分成三个步骤。首先,使用时空变换器网络将所有帧中的文本归一化为正面姿势。其次,使用最先进的静止图像文本替换方法在单个参考帧中替换文本。最后,使用一种新颖的学习图像变换网络将新文本从参考帧转移到剩余帧,该网络以时间一致的方式捕获照明和模糊效果。在合成和具有挑战性的真实视频上的结果显示了逼真的文本传输,具有竞争力的定量和定性性能,以及相对于替代方案的优越推理速度。我们介绍了新的合成和现实世界的数据集与配对的文本对象。据我们所知,这是深度视频文本替代的第一次尝试。
2021-09-06 cs.CV
UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control
University of Michigan(密歇根大学);University of Virginia(弗吉尼亚大学)
UniCtrl是一种免训练的即插即用方法,通过跨帧自注意力控制、运动注入和时空同步,提升文本到视频扩散模型的时空一致性和运动多样性。
2024-11-10 cs.CV
ViMix-14M: A Curated Multi-Source Video-Text Dataset with Long-Form, High-Quality Captions and Crawl-Free Access
Johns Hopkins University(约翰霍普金斯大学)
ViMix-14M是一个经过精心整理的多源视频-文本数据集,提供无爬虫访问、高质量描述和长形式文本,用于提升视频生成和多模态任务的性能。
2025-11-23 cs.CV
VideoTetris: Towards Compositional Text-to-Video Generation
Peking University(北京大学);Kuaishou Technology(快手科技)
针对复杂长视频生成中多对象及数量动态变化的挑战,提出VideoTetris框架,通过时空组合扩散和增强型视频数据预处理及参考帧注意力机制,实现高质量的组合式文本到视频生成。
2024-10-14 cs.CV
T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本研究首次针对组合式文本生成视频展开系统研究,提出涵盖7类组合维度、含1400条文本提示的基准T2V-CompBench,设计三类评估指标并验证其有效性,经多模型基准测试发现当前模型在该任务上仍具挑战,为后续研究提供参考。
2025-01-15 cs.CV
Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation
Meta Superintelligence Labs(Meta超智能实验室);Purdue University(普渡大学)
研究文本到视频生成中数据分布和字幕质量对模型的影响,通过移动字母表测试平台进行对照实验,发现视频内容分布、字幕质量很关键,无分类器引导等可部分恢复模型,为相关模型开发提供参考。
2026-07-22 cs.CV
LOVE: Benchmarking and Evaluating Text-to-Video Generation and Video-to-Text Interpretation
Institute of Image Communication and Network Engineering(图像通信与网络工程研究所);MoE Key Lab of Artificial Intelligence(人工智能MoE重点实验室);AI Institute(人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
该研究构建了含大规模人工标注的AIGV评估基准AIGVE-60K,提出基于LMM的多维度评估指标LOVE,在自身基准及其他同类基准上均表现优异。
2025-05-17 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University(麦吉尔大学);The Chinese University of Hong Kong(香港中文大学)
FastVideoEdit利用一致性模型的自一致性特性,实现零样本高效文本到视频编辑,无需反演或额外条件提取,在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
Enhanced Video Text Editing with Trajectory-Aligned Glyph Rendering
South China University of Technology(华南理工大学);The Chinese University of Hong Kong(香港中文大学);Huawei(华为)
针对视频扩散模型生成文本笔画错误的问题,提出轨迹对齐字形渲染与深度归一化识别器监督,构建VTEdit基准,实现高文本准确率与背景保持。
2026-10-07 cs.CV
Content-Rich AIGC Video Quality Assessment via Intricate Text Alignment and Motion-Aware Consistency
Peking University(北京大学);PengCheng Laboratory(鹏城实验室)
本文提出CRAVE评估器,通过多粒度文本-时间融合和混合运动保真度建模解决Sora时代内容丰富的AIGC视频质量评估问题,并构建CRAVE-DB基准,在多个VQA基准上取得与人类感知高度一致的结果。
2025-02-06 cs.CV
POS: A Prompts Optimization Suite for Augmenting Text-to-Video Generation
Institution1(机构1);Institution2(机构2)
本文提出免训练提示优化套件POS,通过最优噪声逼近器和语义保持重写器分别优化噪声与文本提示,从而显著提升文本到视频生成质量。
2024-06-10 cs.CV
Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation
提出混合模型Show-1,结合基于像素和潜在空间的扩散模型进行文本到视频生成,实现精确文本对齐与高效率,达到最先进性能。
2025-05-30 cs.CV
Video Text Preservation with Synthetic Text-Rich Videos
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出利用T2I生成富文本图像、I2V动画化后微调Wan2.1的轻量级合成监督方法,在不改架构的情况下提升视频中短文本可读性与时间一致性。
2025-11-04 cs.AI cs.CV
Phenaki: Variable Length Video Generation From Open Domain Textual Description
Google Brain(谷歌大脑);University of Michigan(密歇根大学);University College London(伦敦大学学院)
我们提出了Phenaki,一个模型能够逼真的视频合成,给出了一系列的文本提示。从文本生成视频是特别具有挑战性的,由于计算成本,有限的高质量文本视频数据和视频的可变长度。为了解决这些问题,我们引入了一种新的模型来学习视频表示,该模型将视频压缩为离散令牌的小表示。这个tokenizer在时间上使用因果注意力,这使得它可以处理可变长度的视频。为了从文本中生成视频令牌,我们使用了一个双向掩码Transformer,它以预先计算的文本令牌为条件。生成的视频令牌随后被去令牌化以创建实际的视频。为了解决数据问题,我们演示了如何在大型图像-文本对语料库以及少量视频-文本示例上进行联合训练,从而实现超出视频数据集中可用内容的泛化。与以前的视频生成方法相比,Phenaki可以在开放域中生成任意长视频,条件是一系列提示(即时间变量文本或故事)。据我们所知,这是第一次论文研究从时间变量提示生成视频。此外,与每帧基线相比,所提出的视频编码器-解码器计算每个视频更少的令牌,但导致更好的时空一致性。
2022-10-05 cs.AI cs.CV
A Recipe for Scaling up Text-to-Video Generation with Text-free Videos
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出TF-T2V框架,通过分离文本解码与时间建模,利用无文本视频扩展训练数据,提升文本到视频生成性能,并验证了可扩展性与泛化性。
2023-12-25 cs.AI cs.CV
Unlearning Concepts from Text-to-Video Diffusion Models
针对文本到视频扩散模型难以去除受版权或不安全概念的问题,本文提出迁移文本到图像模型文本编码器的少样本概念遗忘能力,以低成本在约100秒内实现有效遗忘。
2025-08-28 cs.CV cs.LG
VideoGen: A Reference-Guided Latent Diffusion Approach for High Definition Text-to-Video Generation
Baidu Inc.(百度公司)
提出VideoGen,利用文本到图像模型生成的参考图像引导级联潜在扩散模块,结合时间上采样与增强视频解码器,实现高保真、强时间一致性的高清文本到视频生成,达到SOTA。
2023-09-07 cs.CV cs.MM
Make-A-Video: Text-to-Video Generation without Text-Video Data
Meta AI;University of Rochester(罗切斯特大学)
我们提出了Make-A-Video -一种直接将文本到图像(T2 I)生成的巨大进展转化为文本到视频(T2 V)的方法。我们的直觉很简单:从成对的文本图像数据中了解世界是什么样子以及如何描述它,并从无人监督的视频片段中了解世界如何移动。Make-A-Video具有三个优点:(1)它加速了T2 V模型的训练(它不需要从头开始学习视觉和多模态表示),(2)它不需要配对的文本视频数据,以及(3)生成的视频继承了广阔的(美学,幻想等的多样性)。今天的图像生成模型。我们设计了一种简单而有效的方法来构建T2 I模型与新颖而有效的时空模块。首先,我们分解完整的时间U-网络和注意力张量,并在空间和时间上近似它们。其次,我们设计了一个时空流水线,以产生高分辨率和帧速率的视频与视频解码器,插值模型和两个超分辨率模型,可以使各种应用程序,除了T2 V。在所有方面,空间和时间分辨率,对文本的忠实性和质量,Make-A-Video在文本到视频生成方面设置了新的最先进的技术,这是由定性和定量措施决定的。
2022-09-29 cs.AI cs.CV cs.LG
FIFA: Unified Faithfulness Evaluation Framework for Text-to-Video and Video-to-Text Generation
University of Texas at Dallas(德克萨斯大学达拉斯分校);Adobe Research(Adobe研究院)
针对视频多模态大模型在视频到文本和文本到视频任务中的幻觉问题,提出统一评估框架FIFA,通过提取事实、构建时空语义依赖图并利用VideoQA验证,配合Post-Correction修正,实现与人类判断更一致的评估并提升事实一致性。
2025-07-09 cs.CL cs.CV cs.GR
Text2Video: Text-driven Talking-head Video Synthesis with Personalized Phoneme-Pose Dictionary
Baidu Research(百度研究院)
随着深度学习技术的发展,从音频或文本中自动生成视频已经成为一个新兴的、有前途的研究课题。在本文中,我们提出了一种新的方法来合成视频从文本。该方法构建音素-姿势词典并训练生成对抗网络(GAN)以从内插音素姿势生成视频。与音频驱动的视频生成算法相比,该方法具有以下优点:1)只需要音频驱动方法所需训练数据的一小部分; 2)更灵活,不受说话人变化的影响; 3)显著减少了预处理、训练和推理时间。我们进行了大量的实验,比较所提出的方法与国家的最先进的说话的脸生成方法的基准数据集和我们自己的数据集。实验结果证明了该方法的有效性和优越性。
2022-01-22 cs.CV eess.IV
Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models
Carnegie Mellon University(卡内基梅隆大学)
提出一种结合零样本文本到视频生成与ControlNet的方法,通过草图帧插值实现高质量、高一致性的视频生成,并提供完整资源包。
2023-05-10 cs.AI cs.CV
Shape-aware Text-driven Layered Video Editing
University of Maryland, College Park(马里兰大学帕克分校)
时间一致性对于视频编辑应用是必不可少的。现有的工作分层表示的视频允许传播编辑一致的每一帧。然而,这些方法,只能编辑对象的外观,而不是对象的形状变化,由于使用一个固定的UV映射字段的纹理图谱的限制。我们提出了一个形状感知,文本驱动的视频编辑方法来应对这一挑战。为了处理视频编辑中的形状变化,我们首先将输入和编辑的关键帧之间的变形场传播到所有帧。然后,我们利用预先训练的文本条件扩散模型作为指导,以改善形状失真和完成看不见的区域。实验结果表明,我们的方法可以实现形状感知一致的视频编辑,并与国家的最先进的媲美。
2023-01-30 cs.CV eess.IV
SteerVTE: Seamless Video Text Editing with Style and Glyph Control
Peking University(北京大学)
提出SteerVTE框架,通过风格编码器和双粒度字形编码器控制冻结视频扩散模型,结合字形感知空间焦点损失和三阶段渐进训练,实现精确、连贯的视频文本编辑。
2026-10-26 cs.AI cs.CV
Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer
UCAS(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所)
本文提出Style-A-Video,一种零样本视频风格化方法,利用生成式预训练Transformer和图像潜扩散模型,通过改进引导条件、采样优化和时间一致性模块,实现文本控制的视频风格迁移,在保持内容的同时降低资源消耗。
2023-05-09 cs.CV cs.MM
VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR)(新加坡科技研究局(A*STAR)信息通信研究院)
提出VG-TVP框架,利用LLM、视频字幕和扩散模型,通过FoC及双向桥接生成多模态程序计划,并在新数据集Daily-PP上超越单模态基线。
2024-12-16 cs.CV cs.MM
Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara(加州大学圣巴巴拉分校);Meta;NEC Laboratories America(NEC美国实验室)
在给定前几个静态帧的情况下生成视频是具有挑战性的,因为它预期具有时间相干性的合理的未来帧。除了视频预测之外,从上一帧倒回或在头部和尾部之间填充的能力也至关重要,但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果,因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发,我们引入了一个新的任务,文本引导的视频完成(TVC),它要求模型生成一个视频从部分帧的指导下的指令。然后,我们提出了多模式屏蔽视频生成(MMVG)来解决这个TVC任务。在训练过程中,MMVG将视频帧离散化为视觉令牌,并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时,单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况,包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG,包括自我中心,动画和游戏。大量的实验结果表明,MMVG是有效的,在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations
UC Santa Barbara(加州大学圣巴巴拉分校);NVIDIA(英伟达公司)
针对现有视频生成模型可控性不足的问题,提出基于blob视频表示的BlobGEN-Vid框架,通过掩码3D注意力、文本嵌入插值等模块实现多物体运动与外观的精准控制,在多个基准上布局可控性达SOTA,结合LLM时组合准确性优于专有生成器。
2025-01-13 cs.AI cs.CV
Inference-Time Concept Suppression and Video-Centric Evaluation for Text-to-Video Models
University of Science and Technology of China(中国科学技术大学)
研究文本到视频模型中可控去除目标概念的问题,提出无训练推理时框架SIRUS,通过定位目标相关提示证据抑制目标表达,引入视频导向评估框架,在多个概念上实验表现出色,能在不同骨干上泛化。
2026-07-17 cs.CV cs.LG
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院)
大规模预训练的Transformers已经在文本(GPT-3)和文本到图像(DALL-E和CogView)生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战:潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中,我们提出了9 B参数Transformer CogVideo,通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略,以更好地对齐文本和视频片段。作为(可能)第一个开源的大规模预训练文本到视频模型,CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations
Salesforce AI Research(Salesforce AI研究院)
本文提出xGen-VideoSyn-1文本到视频生成模型,通过VidVAE时空压缩、分治合并策略和扩散Transformer,结合超1300万高质量视频-文本对训练,实现端到端生成超过14秒720p视频。
2024-08-31 cs.AI cs.CV
SweetTok: Semantic-Aware Spatial-Temporal Tokenizer for Compact Video Discretization
Kuaishou Technology(快手科技)
SweetTok通过解耦空间与时间查询及运动增强语言码本实现紧凑视频离散化,显著提升重建和生成性能并支持少样本识别。
2025-03-11 cs.AI cs.CV
Vidu: a Highly Consistent, Dynamic and Skilled Text-to-Video Generator with Diffusion Models
Tsinghua University(清华大学);ShengShu(生数科技)
本文提出文本到视频扩散模型 Vidu,以 U-ViT 为主干,可单次生成长达 16 秒的 1080p 高连贯动态视频,并在多种可控生成任务中展现潜力。
2024-05-07 cs.CV cs.LG
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University(Chung-Ang大学图像系);Graphics AI Lab, NCSOFT(NCSOFT图形AI实验室);Department of Computer Science, University of Seoul(首尔大学计算机科学系)
提出VideoTex框架,利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题,通过结构级UV扩散策略提升遮挡区域生成质量,实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
RichSpace: Enriching Text-to-Video Prompt Space via Text Embedding Interpolation
Zhejiang University(浙江大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
针对文本到视频生成模型在复杂特征视频上的局限,提出通过嵌入空间插值选择最优文本嵌入的新方法,并利用垂足嵌入和余弦相似度识别最优插值,有效提升了生成性能。
2025-02-02 cs.AI cs.CL cs.CV
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University(肯特州立大学)
本文综述了AI文生图与文生视频生成模型,涵盖数据预处理、神经网络类型、评估指标,并讨论挑战与未来方向,指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning
针对现有文本到视频生成方法质量不足、运动一致性差的问题,提出可控扩散模型Control-A-Video,通过首帧条件、运动先验注入及ST-ReFL算法优化,实现了更优的可控视频生成效果。
2024-08-12 cs.AI cs.CV cs.LG
Sounding Video Generator: A Unified Framework for Text-guided Sounding Video Generation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对现有视频生成方法忽略音频的问题,提出统一框架SVG,通过SVG-VQGAN、跨模态注意力及Transformer解码器实现文本引导的有声视频生成,还构建了AudioSetCap数据集,实验验证其性能优于现有方法。
2023-03-29 cs.AI cs.CV cs.MM
Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning
Meta
本文提出Emu Video文本到视频模型,通过文本生成图像、再由文本与图像生成视频的两阶段分解,并结合调整噪声调度与多阶段训练,直接生成高质量高分辨率视频,人工评估显著优于现有研究与商业方案。
2024-08-02 cs.AI cs.CV cs.GR
CelebV-Text: A Large-Scale Facial Text-Video Dataset
University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
文本驱动的生成模型在视频生成和编辑中蓬勃发展。然而,由于缺乏包含高质量视频和高度相关文本的合适数据集,以人脸为中心的文本到视频生成仍然是一个挑战。本文介绍了CelebV-Text,一个大规模,多样化,高质量的面部文本-视频对数据集,以促进面部文本到视频生成任务的研究。CelebV-Text包含70,000个具有不同视觉内容的野外人脸视频片段,每个片段与使用所提出的半自动文本生成策略生成的20个文本配对。所提供的文本是高质量的,精确地描述了静态和动态属性。通过对视频、文本和文本-视频相关性的综合统计分析,证明了CelebV-Text优于其他数据集。CelebV-Text的有效性和潜力通过广泛的自我评估进一步显示。一个基准构建具有代表性的方法来标准化的面部文本到视频生成任务的评价。所有数据和模型都是公开的。
2023-03-26 cs.CV
ClearText-Video: A Large-Scale Text-Centric Video Dataset Bridging Video Restoration and Scene-Text Enhancement
OPPO US AI Center(OPPO美国人工智能中心);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California San Diego(加利福尼亚大学圣迭戈分校)
研究团队推出ClearText-Video数据集,评估发现视觉增强未必提升文本推理,仅OCR管道远逊于多模态推理,为相关系统提供基础。
2026-09-01 cs.CV