再探用于真实图像编辑的GAN逆映射潜在空间
Revisiting Latent Space of GAN Inversion for Real Image Editing
AI总结：
针对GAN逆映射中重建质量与编辑质量的权衡难题，研究提出结合StyleGAN中间特征$\u2131$空间与扩展先验$\fancyscript{Z}^{+}$的组合空间，在保障重建效果的同时降低编辑失真，可替代常用的$\fancyscript{W}$系列潜在空间。
摘要：
对StyleGAN系列潜在空间与GAN逆映射的研究已展现出出色的真实图像编辑效果，但重建质量与编辑质量之间的权衡仍是一个待解决的问题。本研究重新审视StyleGAN的超球面先验空间$\u2131$，将其与高性能潜在空间结合，构建出既能精准逆映射真实图像、又能维持编辑后图像质量的组合空间。具体而言，我们提出$\u2131/\fancyscript{Z}^{+}$空间，它包含两个子空间：一是StyleGAN中间特征图对应的$\u2131$空间，可实现精准重建；二是扩展的StyleGAN先验$\fancyscript{Z}^{+}$空间，可保障高编辑质量。我们将真实图像投影到所提空间中得到逆映射编码，随后沿$\fancyscript{Z}^{+}$空间移动编码，即可在不牺牲图像质量的前提下完成语义编辑。综合实验表明，$\fancyscript{Z}^{+}$可替代最常用的$\fancyscript{W}$、$\fancyscript{W}^{+}$与$\fancyscript{S}$空间，同时保持重建质量，降低编辑后图像的失真程度。
英文摘要：
The exploration of the latent space in StyleGANs and GAN inversion exemplify impressive real-world image editing, yet the trade-off between reconstruction quality and editing quality remains an open problem. In this study, we revisit StyleGANs' hyperspherical prior $\mathcal{Z}$ and combine it with highly capable latent spaces to build combined spaces that faithfully invert real images while maintaining the quality of edited images. More specifically, we propose $\mathcal{F}/\mathcal{Z}^{+}$ space consisting of two subspaces: $\mathcal{F}$ space of an intermediate feature map of StyleGANs enabling faithful reconstruction and $\mathcal{Z}^{+}$ space of an extended StyleGAN prior supporting high editing quality. We project the real images into the proposed space to obtain the inverted codes, by which we then move along $\mathcal{Z}^{+}$, enabling semantic editing without sacrificing image quality. Comprehensive experiments show that $\mathcal{Z}^{+}$ can replace the most commonly-used $\mathcal{W}$, $\mathcal{W}^{+}$, and $\mathcal{S}$ spaces while preserving reconstruction quality, resulting in reduced distortion of edited images.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
