使用扩散模型通过逐像素引导进行细粒度图像编辑
Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models
AI总结：
本文提出一种基于扩散模型的逐像素引导图像编辑框架，通过少量标注训练像素分类器并利用用户操作的分割图实现细粒度可控编辑，在质量和速度上优于GAN方法。
摘要：
我们的目标是开发适用于实际应用的细粒度真实图像编辑方法。在本文中，我们首先总结了这类方法的四个需求，并提出了一种新颖的基于扩散的图像编辑框架，该框架通过逐像素引导来满足这些需求。具体来说，我们使用少量标注数据训练像素分类器，然后推断目标图像的分割图。用户随后操作该分割图，以指示图像将如何被编辑。我们利用预训练的扩散模型，在逐像素引导下生成与用户意图一致的编辑图像。所提出的引导方法与其他技术的有效结合，能够在保持编辑区域外部不变的同时实现高度可控的编辑，从而满足我们的需求。实验结果表明，我们的方法在编辑质量和速度上均优于基于GAN的方法。
英文摘要：
Our goal is to develop fine-grained real-image editing methods suitable for real-world applications. In this paper, we first summarize four requirements for these methods and propose a novel diffusion-based image editing framework with pixel-wise guidance that satisfies these requirements. Specifically, we train pixel-classifiers with a few annotated data and then infer the segmentation map of a target image. Users then manipulate the map to instruct how the image will be edited. We utilize a pre-trained diffusion model to generate edited images aligned with the user's intention with pixel-wise guidance. The effective combination of proposed guidance and other techniques enables highly controllable editing with preserving the outside of the edited area, which results in meeting our requirements. The experimental results demonstrate that our proposal outperforms the GAN-based method for editing quality and speed.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
