在扩散模型中使用 h-space 进行免训练内容注入
Training-free Content Injection using h-space in Diffusion Models
AI总结：
本文提出一种基于扩散模型 U-Net 瓶颈特征 h-space 的免训练图像内容注入方法，通过逐步混合瓶颈特征并校准跳跃连接实现，无需优化或外部网络监督。
摘要：
扩散模型（DMs）能在各种领域合成高质量图像。然而，由于对生成过程中的中间变量缺乏严格研究，控制其生成过程仍然不清晰。最近，人们发现 U-Net 的瓶颈特征，即 $h$-space，能够传达生成图像的语义。这使得在 DMs 中能够进行类似 StyleCLIP 的潜变量编辑。在本文中，我们探索了 $h$-space 在属性编辑之外的进一步用途，并引入了一种方法，通过在生成过程中结合两幅图像的特征，将一幅图像的内容注入到另一幅图像中。简而言之，在给定另一幅图像原始生成过程的情况下，1）我们通过适当的归一化逐步混合内容的瓶颈特征，2）我们校准跳跃连接以匹配注入的内容。与 custom-diffusion 方法不同，我们的方法不需要耗时的优化或微调。相反，我们的方法在前馈生成过程中操纵中间特征。此外，我们的方法不需要外部网络的监督。代码可在 https://curryjung.github.io/InjectFusion/ 获取。
英文摘要：
Diffusion models (DMs) synthesize high-quality images in various domains. However, controlling their generative process is still hazy because the intermediate variables in the process are not rigorously studied. Recently, the bottleneck feature of the U-Net, namely $h$-space, is found to convey the semantics of the resulting image. It enables StyleCLIP-like latent editing within DMs. In this paper, we explore further usage of $h$-space beyond attribute editing, and introduce a method to inject the content of one image into another image by combining their features in the generative processes. Briefly, given the original generative process of the other image, 1) we gradually blend the bottleneck feature of the content with proper normalization, and 2) we calibrate the skip connections to match the injected content. Unlike custom-diffusion approaches, our method does not require time-consuming optimization or fine-tuning. Instead, our method manipulates intermediate features within a feed-forward generative process. Furthermore, our method does not require supervision from external networks. The code is available at https://curryjung.github.io/InjectFusion/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
