StableVideo：文本驱动的一致性感知扩散视频编辑
StableVideo: Text-driven Consistency-aware Diffusion Video Editing
AI总结：
针对扩散模型编辑视频时对象外观时序不一致的问题，本文提出帧间传播机制并构建文本驱动框架 StableVideo，显著提升了视频编辑的一致性与效果。
摘要：
基于扩散的方法能够生成逼真的图像和视频，但它们在编辑视频中已有对象的同时难以保持其外观随时间的一致性。这阻碍了扩散模型在实际场景中应用于自然视频编辑。本文中，我们通过向现有文本驱动的扩散模型引入时间依赖性来解决该问题，使其能够为被编辑对象生成一致的外观。具体而言，我们开发了一种用于扩散视频编辑的新型帧间传播机制，该机制利用分层表示的概念，将外观信息从一帧传播到下一帧。随后，我们基于该机制构建了一个文本驱动的视频编辑框架，即 StableVideo，可实现一致性感知的视频编辑。大量实验证明了我们方法强大的编辑能力。与最先进的视频编辑方法相比，我们的方法在定性和定量结果上均表现更优。我们的代码可在 https://github.com/rese1f/StableVideo 获取。
英文摘要：
Diffusion-based methods can generate realistic images and videos, but they struggle to edit existing objects in a video while preserving their appearance over time. This prevents diffusion models from being applied to natural video editing in practical scenarios. In this paper, we tackle this problem by introducing temporal dependency to existing text-driven diffusion models, which allows them to generate consistent appearance for the edited objects. Specifically, we develop a novel inter-frame propagation mechanism for diffusion video editing, which leverages the concept of layered representations to propagate the appearance information from one frame to the next. We then build up a text-driven video editing framework based on this mechanism, namely StableVideo, which can achieve consistency-aware video editing. Extensive experiments demonstrate the strong editing capability of our approach. Compared with state-of-the-art video editing methods, our approach shows superior qualitative and quantitative results. Our code is available at \href{https://github.com/rese1f/StableVideo}{this https URL}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
