基于扩散模型的条件图像编辑：通过带引导的优化推理实现
Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance
AI总结：
提出一种基于预训练扩散模型的免训练文本驱动图像翻译方法，通过结合CLIP相似度和结构距离的表示引导优化反向过程潜在变量，在保持源图像结构的同时实现高保真目标图像生成。
摘要：
我们提出了一种简单但有效的免训练方法，用于基于预训练文本到图像扩散模型的文本驱动图像到图像翻译。我们的目标是生成符合目标任务的图像，同时保留源图像的结构和背景。为此，我们通过结合两个目标来推导表示引导：基于CLIP分数最大化与目标提示的相似度，以及最小化与源潜在变量的结构距离。该引导提高了生成的目标图像对给定目标提示的保真度，同时保持了源图像的结构完整性。为了结合表示引导组件，我们利用该引导优化扩散模型反向过程的目标潜在变量。实验结果表明，当与预训练的Stable Diffusion模型结合时，我们的方法在各种任务上取得了出色的图像到图像翻译性能。
英文摘要：
We present a simple but effective training-free approach for text-driven image-to-image translation based on a pretrained text-to-image diffusion model. Our goal is to generate an image that aligns with the target task while preserving the structure and background of a source image. To this end, we derive the representation guidance with a combination of two objectives: maximizing the similarity to the target prompt based on the CLIP score and minimizing the structural distance to the source latent variable. This guidance improves the fidelity of the generated target image to the given target prompt while maintaining the structure integrity of the source image. To incorporate the representation guidance component, we optimize the target latent variable of diffusion model's reverse process with the guidance. Experimental results demonstrate that our method achieves outstanding image-to-image translation performance on various tasks when combined with the pretrained Stable Diffusion model.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
