GenVideo：使用T2I扩散模型的一次性目标图像与形状感知视频编辑
GenVideo: One-shot Target-image and Shape Aware Video Editing using T2I Diffusion Models
AI总结：
针对文本提示表达能力有限及目标物体形状大小差异导致编辑不准的问题，提出GenVideo方法，利用目标图像感知的T2I模型及新颖掩码和噪声校正策略，实现形状变化下的时间一致视频编辑。
摘要：
基于扩散模型的视频编辑方法若仅依赖文本提示进行编辑，会受到文本提示表达能力的限制。因此，引入参考目标图像作为视觉引导以实现对编辑的精确控制变得可取。此外，当目标图像中物体的形状和大小与源物体不同时，大多数现有方法难以准确编辑视频。为应对这些挑战，我们提出了“GenVideo”，利用目标图像感知的T2I模型进行视频编辑。我们的方法处理具有不同形状和大小的目标物体的编辑，同时通过我们新颖的目标和形状感知的InvEdit掩码保持编辑的时间一致性。此外，我们在推理过程中提出了一种新颖的目标图像感知的潜在噪声校正策略，以提高编辑的时间一致性。实验分析表明，GenVideo能够有效处理现有方法失败的具有不同形状物体的编辑。
英文摘要：
Video editing methods based on diffusion models that rely solely on a text prompt for the edit are hindered by the limited expressive power of text prompts. Thus, incorporating a reference target image as a visual guide becomes desirable for precise control over edit. Also, most existing methods struggle to accurately edit a video when the shape and size of the object in the target image differ from the source object. To address these challenges, we propose "GenVideo" for editing videos leveraging target-image aware T2I models. Our approach handles edits with target objects of varying shapes and sizes while maintaining the temporal consistency of the edit using our novel target and shape aware InvEdit masks. Further, we propose a novel target-image aware latent noise correction strategy during inference to improve the temporal consistency of the edits. Experimental analyses indicate that GenVideo can effectively handle edits with objects of varying shapes, where existing approaches fail.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
