RealCraft：将注意力控制作为零样本一致性视频编辑的工具
RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing
AI总结：
本文提出RealCraft，一种基于注意力控制的零样本真实世界视频编辑方法，通过替换交叉注意力注入新特征并放松编辑对象的空间-时间注意力，在直接使用Stable Diffusion且无需额外信息的情况下，实现了长达64帧的局部形状级、时间一致且无需参数的视频编辑。
摘要：
尽管大规模文本到图像生成模型在合成高质量图像方面展现出令人鼓舞的性能，但将这些模型直接应用于图像编辑仍然是一个重大挑战。由于增加了时间维度，这一挑战在视频编辑中进一步放大。对于真实世界视频的编辑尤其如此，因为它需要在跨帧保持稳定结构布局的同时，执行局部编辑而不破坏现有内容。在本文中，我们提出了RealCraft，一种基于注意力控制的零样本真实世界视频编辑方法。通过将交叉注意力替换为新特征注入，并放松编辑对象的空间-时间注意力，我们实现了局部形状级编辑，并增强了时间一致性。我们的模型直接使用Stable Diffusion，无需额外信息即可运行。我们在一系列视频中展示了所提出的零样本基于注意力控制的方法，证明了在长达64帧的视频中能够实现形状级、时间一致且无需参数的编辑。
英文摘要：
Even though large-scale text-to-image generative models show promising performance in synthesizing high-quality images, applying these models directly to image editing remains a significant challenge. This challenge is further amplified in video editing due to the additional dimension of time. This is especially the case for editing real-world videos as it necessitates maintaining a stable structural layout across frames while executing localized edits without disrupting the existing content. In this paper, we propose RealCraft, an attention-control-based method for zero-shot real-world video editing. By swapping cross-attention for new feature injection and relaxing spatial-temporal attention of the editing object, we achieve localized shape-wise edit along with enhanced temporal consistency. Our model directly uses Stable Diffusion and operates without the need for additional information. We showcase the proposed zero-shot attention-control-based method across a range of videos, demonstrating shape-wise, time-consistent and parameter-free editing in videos of up to 64 frames.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
