分层扩散自编码器与解耦图像编辑
Hierarchical Diffusion Autoencoders and Disentangled Image Manipulation
AI总结：
针对扩散模型潜空间语义表示单一、缺乏层次的问题，提出HDAE分层潜空间编码与截断特征解耦编辑方法，在重建、风格混合等多任务中验证有效。
摘要：
扩散模型在图像合成方面已取得令人瞩目的视觉质量。然而，如何解释和操控扩散模型的潜空间尚未得到广泛探索。先前的扩散自编码器工作将语义表示编码为一个语义潜码，这无法反映丰富的细节信息和内在的特征层次结构。为缓解这些局限，我们提出分层扩散自编码器（Hierarchical Diffusion Autoencoders，HDAE），它为扩散模型的潜空间利用了从细粒度到抽象、从低层到高层的特征层次。HDAE的分层潜空间本质上编码了不同抽象层级的语义，并提供更全面的语义表示。此外，我们提出一种基于截断特征的方法，用于解耦图像编辑。我们通过在图像重建、风格混合、可控插值、保留细节且解耦的图像编辑，以及多模态语义图像合成上的大量实验和应用，证明了所提方法的有效性。
英文摘要：
Diffusion models have attained impressive visual quality for image synthesis. However, how to interpret and manipulate the latent space of diffusion models has not been extensively explored. Prior work diffusion autoencoders encode the semantic representations into a semantic latent code, which fails to reflect the rich information of details and the intrinsic feature hierarchy. To mitigate those limitations, we propose Hierarchical Diffusion Autoencoders (HDAE) that exploit the fine-grained-to-abstract and lowlevel-to-high-level feature hierarchy for the latent space of diffusion models. The hierarchical latent space of HDAE inherently encodes different abstract levels of semantics and provides more comprehensive semantic representations. In addition, we propose a truncated-feature-based approach for disentangled image manipulation. We demonstrate the effectiveness of our proposed approach with extensive experiments and applications on image reconstruction, style mixing, controllable interpolation, detail-preserving and disentangled image manipulation, and multi-modal semantic image synthesis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
