EasyV2V: 一种高质量的基于指令的视频编辑框架
EasyV2V: A High-quality Instruction-based Video Editing Framework
AI总结：
EasyV2V通过简化设计和灵活输入实现高质量视频编辑，超越现有系统。
摘要：
尽管图像编辑技术已经迅速发展，但视频编辑仍处于较少探索的阶段，面临着一致性、控制和泛化方面的挑战。我们研究了数据、架构和控制的设计空间，并引入了EasyV2V，一种简单而有效的基于指令的视频编辑框架。在数据方面，我们通过将现有专家与快速逆向结合来构建多样化的视频对，通过单帧监督和具有共享仿射运动的伪对将图像编辑对提升为视频，通过密集字幕片段挖掘视频对，并添加过渡监督以教授编辑如何展开。在模型方面，我们发现预训练的文本到视频模型具有编辑能力，这促使我们采用简化设计。简单的序列拼接用于条件，并通过轻量LoRA微调足以训练出一个强大的模型。在控制方面，我们通过单一掩码机制统一了时空控制，并支持可选参考图像。总体而言，EasyV2V可以灵活地处理多种输入，例如视频+文本、视频+掩码+文本、视频+掩码+参考+文本，并实现了最先进的视频编辑结果，超越了同时期和商业系统。项目页面：https://snap-research.github.io/easyv2v/
英文摘要：
While image editing has advanced rapidly, video editing remains less explored, facing challenges in consistency, control, and generalization. We study the design space of data, architecture, and control, and introduce \emph{EasyV2V}, a simple and effective framework for instruction-based video editing. On the data side, we compose existing experts with fast inverses to build diverse video pairs, lift image edit pairs into videos via single-frame supervision and pseudo pairs with shared affine motion, mine dense-captioned clips for video pairs, and add transition supervision to teach how edits unfold. On the model side, we observe that pretrained text-to-video models possess editing capability, motivating a simplified design. Simple sequence concatenation for conditioning with light LoRA fine-tuning suffices to train a strong model. For control, we unify spatiotemporal control via a single mask mechanism and support optional reference images. Overall, EasyV2V works with flexible inputs, e.g., video+text, video+mask+text, video+mask+reference+text, and achieves state-of-the-art video editing results, surpassing concurrent and commercial systems. Project page: https://snap-research.github.io/easyv2v/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
