Vlogger：让你的梦想成为一部视频博客
Vlogger: Make Your Dream A Vlog
AI总结：
Vlogger 利用 LLM 作为导演，将长 vlog 生成分解为编剧、演员、拍摄制作和配音四个阶段，并提出视频扩散模型 ShowMaker 增强时空连贯性，实现超过 5 分钟的高连贯 vlog 生成。
摘要：
在这项工作中，我们提出了 Vlogger，一个通用的 AI 系统，用于根据用户描述生成分钟级视频博客（即 vlog）。与只有几秒钟的短视频不同，vlog 通常包含具有多样化场景的复杂故事情节，这对大多数现有视频生成方法来说具有挑战性。为了突破这一瓶颈，我们的 Vlogger 巧妙地利用大语言模型（LLM）作为导演，并将 vlog 的长视频生成任务分解为四个关键阶段，在这些阶段中我们调用各种基础模型来扮演 vlog 专业人士的关键角色，包括（1）Script（编剧）、（2）Actor（演员）、（3）ShowMaker（拍摄制作器）和（4）Voicer（配音员）。通过这种模仿人类的设计，我们的 Vlogger 可以通过自上而下的规划与自下而上的拍摄之间的可解释协作来生成 vlog。此外，我们引入了一种新颖的视频扩散模型 ShowMaker，它在我们的 Vlogger 中充当摄像师，用于生成每个拍摄场景的视频片段。通过将 Script 和 Actor 作为文本和视觉提示加以关注，它可以有效增强片段中的时空连贯性。此外，我们为 ShowMaker 设计了一种简洁的混合训练范式，提升其同时进行 T2V 生成和预测的能力。最后，大量实验表明，我们的方法在零样本 T2V 生成和预测任务上达到了最先进的性能。更重要的是，Vlogger 可以从开放世界描述中生成超过 5 分钟的 vlog，而不会损失剧本和演员方面的视频连贯性。代码和模型均可在 https://github.com/zhuangshaobin/Vlogger 获取。
英文摘要：
In this work, we present Vlogger, a generic AI system for generating a minute-level video blog (i.e., vlog) of user descriptions. Different from short videos with a few seconds, vlog often contains a complex storyline with diversified scenes, which is challenging for most existing video generation approaches. To break through this bottleneck, our Vlogger smartly leverages Large Language Model (LLM) as Director and decomposes a long video generation task of vlog into four key stages, where we invoke various foundation models to play the critical roles of vlog professionals, including (1) Script, (2) Actor, (3) ShowMaker, and (4) Voicer. With such a design of mimicking human beings, our Vlogger can generate vlogs through explainable cooperation of top-down planning and bottom-up shooting. Moreover, we introduce a novel video diffusion model, ShowMaker, which serves as a videographer in our Vlogger for generating the video snippet of each shooting scene. By incorporating Script and Actor attentively as textual and visual prompts, it can effectively enhance spatial-temporal coherence in the snippet. Besides, we design a concise mixed training paradigm for ShowMaker, boosting its capacity for both T2V generation and prediction. Finally, the extensive experiments show that our method achieves state-of-the-art performance on zero-shot T2V generation and prediction tasks. More importantly, Vlogger can generate over 5-minute vlogs from open-world descriptions, without loss of video coherence on script and actor. The code and model is all available at https://github.com/zhuangshaobin/Vlogger.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
