arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2309.16496cs.CV

CCEdit：基于扩散模型的创意可控视频编辑

CCEdit: Creative and Controllable Video Editing via Diffusion Models

University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）

Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出基于扩散模型的三叉网络视频编辑框架 CCEdit，通过结构与外观分支实现精确可控编辑，并构建 BalanceCC 数据集，用户研究证明其优于八种现有方法。

摘要：

本文提出 CCEdit，这是一个基于扩散模型的通用生成式视频编辑框架。该方法采用新颖的三叉网络结构，将结构控制与外观控制分离，从而确保精确且富有创意的编辑能力。我们利用基础的 ControlNet 架构，在编辑过程中保持视频的结构完整性。额外外观分支的引入，使用户能够对编辑后的关键帧进行细粒度控制。这两个侧分支通过可学习的时间层，无缝集成到构建于现有文本到图像（T2I）生成模型之上的主分支中。该框架的多功能性体现在结构表征和个性化 T2I 模型的多样化选择，以及提供编辑后关键帧的可选方式。为便于全面评估，我们引入 BalanceCC 基准数据集，其中包含 100 个视频，每个视频配有 4 个目标提示。我们通过大量用户研究，将 CCEdit 与八种最先进的视频编辑方法进行比较。结果表明，CCEdit 相比所有其他方法都具有显著优势。

英文摘要：

In this paper, we present CCEdit, a versatile generative video editing framework based on diffusion models. Our approach employs a novel trident network structure that separates structure and appearance control, ensuring precise and creative editing capabilities. Utilizing the foundational ControlNet architecture, we maintain the structural integrity of the video during editing. The incorporation of an additional appearance branch enables users to exert fine-grained control over the edited key frame. These two side branches seamlessly integrate into the main branch, which is constructed upon existing text-to-image (T2I) generation models, through learnable temporal layers. The versatility of our framework is demonstrated through a diverse range of choices in both structure representations and personalized T2I models, as well as the option to provide the edited key frame. To facilitate comprehensive evaluation, we introduce the BalanceCC benchmark dataset, comprising 100 videos and 4 target prompts for each video. Our extensive user studies compare CCEdit with eight state-of-the-art video editing methods. The outcomes demonstrate CCEdit's substantial superiority over all other methods.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑