arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2403.14186cs.CVcs.AIcs.GR

StyleCineGAN:使用预训练StyleGAN的风景动态图生成

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

KAIST(韩国科学技术院);Visual Media Lab(视觉媒体实验室)

Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

AI总结:

提出一种利用预训练StyleGAN深度特征空间进行GAN反演和动态图生成的方法,通过多尺度深度特征扭曲(MSDFW)生成高分辨率且具有合理循环动画的风景动态图。

摘要:

我们提出了一种方法,能够使用预训练的StyleGAN从静态风景图像自动生成动态图。受近期无条件视频生成成功的启发,我们利用强大的预训练图像生成器来合成高质量动态图。与以往主要利用预训练StyleGAN潜空间的方法不同,我们的方法利用其深度特征空间进行GAN反演和动态图生成。具体而言,我们提出了多尺度深度特征扭曲(MSDFW),在不同分辨率下对预训练StyleGAN的中间特征进行扭曲。通过使用MSDFW,生成的动态图具有高分辨率并展现出合理的循环动画。我们通过用户研究以及与最先进的动态图生成方法和使用预训练StyleGAN的视频生成方法的定量比较,证明了我们方法的优越性。

英文摘要:

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑