通过因子化扩散蒸馏进行视频编辑
Video Editing via Factorized Diffusion Distillation
AI总结：
本文提出Emu Video Edit (EVE)模型，通过分别训练图像与视频适配器并附加至文生图模型，引入无监督的Factorized Diffusion Distillation过程联合蒸馏知识，在无需监督数据下实现精确单帧编辑与时序一致的视频编辑新SOTA。
摘要：
我们介绍了Emu Video Edit (EVE)，这是一个在不依赖任何监督视频编辑数据的情况下，在视频编辑领域确立了新的state-of-the art的模型。为了开发EVE，我们分别训练了一个图像编辑适配器和一个视频生成适配器，并将两者附加到同一个文本到图像模型上。然后，为了使适配器对齐以进行视频编辑，我们引入了一种新的无监督蒸馏过程，Factorized Diffusion Distillation。该过程在没有任何监督数据的情况下，同时从一个或多个教师模型中蒸馏知识。我们利用这一过程，通过联合蒸馏知识来教导EVE编辑视频，以（i）从图像编辑适配器精确编辑每个单独的帧，以及（ii）使用视频生成适配器确保编辑帧之间的时间一致性。最后，为了展示我们的方法在解锁其他能力方面的潜力，我们对齐了额外的适配器组合
英文摘要：
We introduce Emu Video Edit (EVE), a model that establishes a new state-of-the art in video editing without relying on any supervised video editing data. To develop EVE we separately train an image editing adapter and a video generation adapter, and attach both to the same text-to-image model. Then, to align the adapters towards video editing we introduce a new unsupervised distillation procedure, Factorized Diffusion Distillation. This procedure distills knowledge from one or more teachers simultaneously, without any supervised data. We utilize this procedure to teach EVE to edit videos by jointly distilling knowledge to (i) precisely edit each individual frame from the image editing adapter, and (ii) ensure temporal consistency among the edited frames using the video generation adapter. Finally, to demonstrate the potential of our approach in unlocking other capabilities, we align additional combinations of adapters
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
