使用扩散模型探索基于风格的GAN中的属性变化
Exploring Attribute Variations in Style-based GANs using Diffusion Models
AI总结：
本文提出“多样化属性编辑”任务，利用预训练GAN的解耦潜在空间训练DDPM学习编辑潜在分布，在有限计算资源下实现每个属性的多种合理编辑，并验证了其在人脸属性及3D编辑中的有效性。
摘要：
现有的属性编辑方法将语义属性视为二元的，导致每个属性只能进行一次编辑。然而，眼镜、微笑或发型等属性展现出极大的多样性。在这项工作中，我们通过建模属性编辑的多维特性，提出了“多样化属性编辑”任务。这使得用户能够为每个属性生成多种合理的编辑。我们利用预训练GAN的解耦潜在空间，并训练去噪扩散概率模型（DDPM）来学习多样化编辑的潜在分布。具体而言，我们通过嵌入具有单一属性变化的图像对来获取编辑潜在方向数据集，并在该数据集上训练DDPM。这产生了能够实现多样化属性编辑的潜在子空间。在高度压缩的潜在空间中应用扩散，使我们能够在有限的计算资源内对丰富的编辑分布进行建模。通过在多个数据集上进行的大量定性和定量实验，我们证明了我们的方法在多样化属性编辑方面的有效性。我们还展示了该方法应用于各种人脸属性3D编辑的结果。
英文摘要：
Existing attribute editing methods treat semantic attributes as binary, resulting in a single edit per attribute. However, attributes such as eyeglasses, smiles, or hairstyles exhibit a vast range of diversity. In this work, we formulate the task of \textit{diverse attribute editing} by modeling the multidimensional nature of attribute edits. This enables users to generate multiple plausible edits per attribute. We capitalize on disentangled latent spaces of pretrained GANs and train a Denoising Diffusion Probabilistic Model (DDPM) to learn the latent distribution for diverse edits. Specifically, we train DDPM over a dataset of edit latent directions obtained by embedding image pairs with a single attribute change. This leads to latent subspaces that enable diverse attribute editing. Applying diffusion in the highly compressed latent space allows us to model rich distributions of edits within limited computational resources. Through extensive qualitative and quantitative experiments conducted across a range of datasets, we demonstrate the effectiveness of our approach for diverse attribute editing. We also showcase the results of our method applied for 3D editing of various face attributes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
