RFDM: 基于残差流扩散模型的高效因果视频编辑
RFDM: Residual Flow Diffusion Model for Efficient Causal Video Editing
AI总结：
RFDM通过残差流扩散模型实现高效因果视频编辑，超越I2I方法并竞争于全时空视频生成模型。
摘要：
指令式视频编辑通过仅使用文本提示对输入视频进行编辑，实现了直观的自然语言控制。尽管进展迅速，但大多数方法仍需要固定长度的输入和大量计算。同时，自回归视频生成能够实现高效的可变长度合成，但尚未被充分探索用于视频编辑。我们引入了一个因果、高效的视频编辑模型，能够逐帧编辑可变长度的视频。为了提高效率，我们从二维图像到图像（I2I）扩散模型出发，通过将编辑在时间步t上对模型在t-1处的预测进行条件化，将其适应于视频到视频（V2V）编辑。为了利用视频的时序冗余性，我们提出了一种新的I2I扩散前向过程公式，鼓励模型预测目标输出与前一预测之间的残差。我们称其为残差流扩散模型（RFDM），该模型将去噪过程集中在连续帧之间的变化上。此外，我们提出了一个新的基准测试，能够更有效地对编辑任务中的最先进方法进行排序。在配对视频数据上训练用于全局/局部风格迁移和物体移除，RFDM超越了基于I2I的方法，并与完全时空（3D）V2V模型竞争，同时在计算上与图像模型相匹配，并且输入视频长度独立扩展。更多内容请参见：https://smsd75.github.io/RFDM_page/
英文摘要：
Instructional video editing applies edits to an input video using only text prompts, enabling intuitive natural-language control. Despite rapid progress, most methods still require fixed-length inputs and substantial compute. Meanwhile, autoregressive video generation enables efficient variable-length synthesis, yet remains under-explored for video editing. We introduce a causal, efficient video editing model that edits variable-length videos frame by frame. For efficiency, we start from a 2D image-to-image (I2I) diffusion model and adapt it to video-to-video (V2V) editing by conditioning the edit at time step t on the model's prediction at t-1. To leverage videos' temporal redundancy, we propose a new I2I diffusion forward process formulation that encourages the model to predict the residual between the target output and the previous prediction. We call this Residual Flow Diffusion Model (RFDM), which focuses the denoising process on changes between consecutive frames. Moreover, we propose a new benchmark that better ranks state-of-the-art methods for editing tasks. Trained on paired video data for global/local style transfer and object removal, RFDM surpasses I2I-based methods and competes with fully spatiotemporal (3D) V2V models, while matching the compute of image models and scaling independently of input video length. More content can be found in: https://smsd75.github.io/RFDM_page/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
