基于扩散的图像编辑中由小波引导的文本反演加速
Wavelet-Guided Acceleration of Text Inversion in Diffusion-Based Image Editing
AI总结：
针对 NTI 图像编辑耗时过长的问题，提出利用小波频率特征确定文本优化终点的 WaveOpt-Estimator，并结合 NPI 初始化，在保持编辑质量的同时将平均耗时降低 80% 以上。
摘要：
在图像编辑领域，Null-text Inversion（NTI，空文本反演）通过在 DDIM 采样过程中优化空嵌入，在保留原始图像结构的同时实现细粒度编辑。然而，NTI 过程非常耗时，每张图像需要两分钟以上。为解决这一问题，我们提出一种创新方法，在保持 NTI 原则的同时加速图像编辑过程。我们提出 WaveOpt-Estimator，它根据频率特征确定文本优化终点。利用小波变换分析识别图像的频率特征，我们可以将文本优化限制在 DDIM 采样过程中的特定时间步。通过采用 Negative-Prompt Inversion（NPI，负提示反演）思想，表示原始图像的目标提示被用作优化的初始文本值。该方法保持了与 NTI 相当的性能，同时与 NTI 方法相比将平均编辑时间减少了 80% 以上。我们的方法为基于扩散模型的高效、高质量图像编辑提供了一种有前景的途径。
英文摘要：
In the field of image editing, Null-text Inversion (NTI) enables fine-grained editing while preserving the structure of the original image by optimizing null embeddings during the DDIM sampling process. However, the NTI process is time-consuming, taking more than two minutes per image. To address this, we introduce an innovative method that maintains the principles of the NTI while accelerating the image editing process. We propose the WaveOpt-Estimator, which determines the text optimization endpoint based on frequency characteristics. Utilizing wavelet transform analysis to identify the image's frequency characteristics, we can limit text optimization to specific timesteps during the DDIM sampling process. By adopting the Negative-Prompt Inversion (NPI) concept, a target prompt representing the original image serves as the initial text value for optimization. This approach maintains performance comparable to NTI while reducing the average editing time by over 80% compared to the NTI method. Our method presents a promising approach for efficient, high-quality image editing based on diffusion models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
