arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2306.00241cs.CV

利用 StyleGAN 先验潜在空间平衡真实图像编辑中 GAN 反演的重建与编辑质量

Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space

The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)

Kai Katsumata, Duc Minh Vo, Bei Liu, Hideki Nakayama

AI总结:

本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演,在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑,显著降低编辑失真。

摘要:

对 StyleGAN 潜在空间的探索以及 GAN 反演展示了令人印象深刻的真实世界图像编辑效果,但重建质量与编辑质量之间的权衡仍是一个尚未解决的问题。本研究重新审视 StyleGAN 的超球面先验 $\mathcal{Z}$ 和 $\mathcal{Z}^+$,并将其整合到具有代表性的 GAN 反演方法中,以提升编辑质量。除了高保真重建之外,这些扩展还借助 StyleGAN 先验实现了精细复杂的编辑质量。我们将真实图像投影到所提出的空间中以获得反演编码,随后沿 $\mathcal{Z}^+$ 移动,从而在不牺牲图像质量的情况下实现语义编辑。大量实验表明,$\mathcal{Z}^+$ 可以替代最常用的 $\mathcal{W}$、$\mathcal{W}^+$ 和 $\mathcal{S}$ 空间,同时保持重建质量,并减少编辑图像的失真。

英文摘要:

The exploration of the latent space in StyleGANs and GAN inversion exemplify impressive real-world image editing, yet the trade-off between reconstruction quality and editing quality remains an open problem. In this study, we revisit StyleGANs' hyperspherical prior $\mathcal{Z}$ and $\mathcal{Z}^+$ and integrate them into seminal GAN inversion methods to improve editing quality. Besides faithful reconstruction, our extensions achieve sophisticated editing quality with the aid of the StyleGAN prior. We project the real images into the proposed space to obtain the inverted codes, by which we then move along $\mathcal{Z}^{+}$, enabling semantic editing without sacrificing image quality. Comprehensive experiments show that $\mathcal{Z}^{+}$ can replace the most commonly-used $\mathcal{W}$, $\mathcal{W}^{+}$, and $\mathcal{S}$ spaces while preserving reconstruction quality, resulting in reduced distortion of edited images.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑