Vidu：基于扩散模型的高一致性、动态且技艺精湛的文本到视频生成器
Vidu: a Highly Consistent, Dynamic and Skilled Text-to-Video Generator with Diffusion Models
AI总结：
本文提出文本到视频扩散模型 Vidu，以 U-ViT 为主干，可单次生成长达 16 秒的 1080p 高连贯动态视频，并在多种可控生成任务中展现潜力。
摘要：
我们介绍 Vidu，这是一款高性能文本到视频生成器，能够在单次生成中产出最长 16 秒的 1080p 视频。Vidu 是以 U-ViT 为主干的扩散模型，这释放了其可扩展性以及处理长视频的能力。Vidu 展现出很强的连贯性和动态性，能够生成写实与富有想象力的视频，并理解部分专业摄影技巧，可与 Sora——已报道的最强大文本到视频生成器——相媲美。最后，我们在其他可控视频生成任务上开展了初步实验，包括 canny-to-video（边缘到视频）生成、视频预测和主体驱动生成，结果展现出良好前景。
英文摘要：
We introduce Vidu, a high-performance text-to-video generator that is capable of producing 1080p videos up to 16 seconds in a single generation. Vidu is a diffusion model with U-ViT as its backbone, which unlocks the scalability and the capability for handling long videos. Vidu exhibits strong coherence and dynamism, and is capable of generating both realistic and imaginative videos, as well as understanding some professional photography techniques, on par with Sora -- the most powerful reported text-to-video generator. Finally, we perform initial experiments on other controllable video generation, including canny-to-video generation, video prediction and subject-driven generation, which demonstrate promising results.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
