用于多模态人脸图像生成的扩散驱动 GAN 反演
Diffusion-driven GAN Inversion for Multi-Modal Face Image Generation
AI总结：
提出扩散驱动的 GAN 反演框架，通过映射与风格调制网络融合扩散模型多模态特征，实现文本和结构条件下的真实感2D、多视图及3D人脸生成。
摘要：
我们提出了一种新的多模态人脸图像生成方法，可将文本提示以及语义掩码或涂鸦图等视觉输入转换为照片级真实的人脸图像。为此，我们结合了生成对抗网络（GAN）与扩散模型（DM）的优势，将 DM 中的多模态特征引入预训练 GAN 的潜空间。我们提出了一个简单的映射网络和一个风格调制网络，用于连接两个模型，并将特征图和注意力图中有意义的表示转换为潜码。借助 GAN 反演，估计出的潜码可用于生成 2D 或具备 3D 感知的人脸图像。我们进一步提出了一种多步训练策略，将文本和结构表示反映到生成图像中。我们提出的网络能够生成逼真的 2D、多视图和风格化人脸图像，并且这些图像与输入高度一致。我们使用预训练的 2D 和 3D GAN 验证了该方法，结果优于现有方法。项目页面位于 https://github.com/1211sh/Diffusion-driven_GAN-Inversion/。
英文摘要：
We present a new multi-modal face image generation method that converts a text prompt and a visual input, such as a semantic mask or scribble map, into a photo-realistic face image. To do this, we combine the strengths of Generative Adversarial networks (GANs) and diffusion models (DMs) by employing the multi-modal features in the DM into the latent space of the pre-trained GANs. We present a simple mapping and a style modulation network to link two models and convert meaningful representations in feature maps and attention maps into latent codes. With GAN inversion, the estimated latent codes can be used to generate 2D or 3D-aware facial images. We further present a multi-step training strategy that reflects textual and structural representations into the generated image. Our proposed network produces realistic 2D, multi-view, and stylized face images, which align well with inputs. We validate our method by using pre-trained 2D and 3D GANs, and our results outperform existing methods. Our project page is available at https://github.com/1211sh/Diffusion-driven_GAN-Inversion/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
