arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2305.03382cs.CV
收藏

通过扩散模型中初始图像编辑实现引导式图像合成

Guided Image Synthesis via Initial Image Editing in Diffusion Model

The University of Tokyo（东京大学）；CyberAgent, Inc.（CyberAgent公司）

Jiafeng Mao, Xueting Wang, Kiyoharu Aizawa

备注：
ACM MM 23
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究提出通过操纵扩散模型初始噪声控制图像生成的新方向，发现初始潜空间像素块的生成偏好由数值决定，移动对应像素块可实现区域可控生成，在布局到图像生成任务上达到最优性能。

摘要：

扩散模型具备通过对纯高斯噪声图像进行去噪以生成高质量图像的能力。以往研究主要聚焦于通过调整去噪过程来提升图像生成的可控性，而我们提出了一种全新的方向：通过操纵初始噪声来控制生成的图像。我们在Stable Diffusion（稳定扩散模型）上开展的实验表明，初始潜空间图像中的像素块具有生成特定内容的偏好，修改这些像素块能够显著影响生成的图像。具体而言，我们发现修改初始图像的一部分会影响生成图像的对应区域，而不会影响其他区域，这一特性对重绘任务十分有用。此外，我们还发现像素块的生成偏好主要由其数值而非位置决定。通过将具有生成用户期望内容倾向的像素块移动到用户指定区域，我们的方法在布局到图像生成任务上取得了state-of-the-art（当前最优）的性能。我们的研究结果凸显了初始图像操纵在控制生成图像方面的灵活性与强大能力。项目页面：https://ut-mao.github.io/swap.github.io/

英文摘要：

Diffusion models have the ability to generate high quality images by denoising pure Gaussian noise images. While previous research has primarily focused on improving the control of image generation through adjusting the denoising process, we propose a novel direction of manipulating the initial noise to control the generated image. Through experiments on stable diffusion, we show that blocks of pixels in the initial latent images have a preference for generating specific content, and that modifying these blocks can significantly influence the generated image. In particular, we show that modifying a part of the initial image affects the corresponding region of the generated image while leaving other regions unaffected, which is useful for repainting tasks. Furthermore, we find that the generation preferences of pixel blocks are primarily determined by their values, rather than their position. By moving pixel blocks with a tendency to generate user-desired content to user-specified regions, our approach achieves state-of-the-art performance in layout-to-image generation. Our results highlight the flexibility and power of initial image manipulation in controlling the generated image. Project Page: https://ut-mao.github.io/swap.github.io/

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑