MDP:一种通过操纵扩散路径进行文本引导图像编辑的通用框架
MDP: A Generalized Framework for Text-Guided Image Editing by Manipulating the Diffusion Path
AI总结:
本文提出MDP框架,通过系统分析扩散网络方程,确定了5种扩散路径操纵方式,并发现通过操纵预测噪声可实现比以往更高质量的局部和全局图像编辑。
摘要:
使用扩散的图像生成可以通过多种方式进行控制。在本文中,我们系统地分析了现代生成扩散网络的方程,提出了一个名为MDP的框架,用于解释合适操纵的设计空间。我们确定了5种不同的操纵,包括中间潜在表示、条件嵌入、交叉注意力图、引导和预测噪声。我们分析了这些操纵的相应参数及操纵时间表。我们表明,一些先前的编辑方法可以很好地融入我们的框架。特别是,我们确定了一种特定配置作为通过操纵预测噪声的新型控制方式,与先前的工作相比,它能够针对各种局部和全局编辑执行更高质量的编辑。
英文摘要:
Image generation using diffusion can be controlled in multiple ways. In this paper, we systematically analyze the equations of modern generative diffusion networks to propose a framework, called MDP, that explains the design space of suitable manipulations. We identify 5 different manipulations, including intermediate latent, conditional embedding, cross attention maps, guidance, and predicted noise. We analyze the corresponding parameters of these manipulations and the manipulation schedule. We show that some previous editing methods fit nicely into our framework. Particularly, we identified one specific configuration as a new type of control by manipulating the predicted noise, which can perform higher-quality edits than previous work for a variety of local and global edits.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。