用于可控合成的可编辑图像元素
Editable Image Elements for Controllable Synthesis
AI总结：
提出一种将图像编码为可编辑“image elements”的表示方法，通过diffusion model解码实现重建与直观的空间编辑，有效支持物体缩放、重排、移除等多种图像编辑任务。
摘要：
Diffusion models在文本引导的合成任务中取得了显著进展。然而，编辑用户提供的图像仍然具有挑战性，因为diffusion models的高维噪声输入空间并不自然适合图像反演或空间编辑。在这项工作中，我们提出了一种图像表示方法，该方法能够促进使用diffusion model对输入图像进行空间编辑。具体而言，我们学习将输入编码为“image elements”，这些元素能够忠实地重建输入图像。用户可以直观地编辑这些元素，并由diffusion model将其解码为逼真的图像。我们展示了我们的表示方法在各种图像编辑任务上的有效性，例如物体缩放、重排、拖拽、去遮挡、移除、变体生成以及图像合成。项目页面：https://jitengmu.github.io/Editable_Image_Elements/
英文摘要：
Diffusion models have made significant advances in text-guided synthesis tasks. However, editing user-provided images remains challenging, as the high dimensional noise input space of diffusion models is not naturally suited for image inversion or spatial editing. In this work, we propose an image representation that promotes spatial editing of input images using a diffusion model. Concretely, we learn to encode an input into "image elements" that can faithfully reconstruct an input image. These elements can be intuitively edited by a user, and are decoded by a diffusion model into realistic images. We show the effectiveness of our representation on various image editing tasks, such as object resizing, rearrangement, dragging, de-occlusion, removal, variation, and image composition. Project page: https://jitengmu.github.io/Editable_Image_Elements/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
