arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2305.16759cs.CVcs.GR

StyleHumanCLIP:面向 StyleGAN-Human 的文本引导服装操控

StyleHumanCLIP: Text-guided Garment Manipulation for StyleGAN-Human

University of Tsukuba(筑波大学)

Takato Yoshikawa, Yuki Endo, Yoshihiro Kanamori

AI总结:

本文提出 StyleHumanCLIP 框架,通过基于注意力机制的潜码映射器和推理时特征空间掩码,实现对 StyleGAN-Human 中服装的文本引导解耦控制,优于现有方法。

摘要:

本文研究 StyleGAN 的文本引导控制,用于编辑全身人体图像中的服装。现有基于 StyleGAN 的方法难以处理服装、体型和姿态的丰富多样性。我们提出一个基于注意力机制的潜码映射器框架,实现文本引导的全身人体图像合成,比现有映射器能对 StyleGAN 进行更解耦的控制。我们的潜码映射器采用注意力机制,在文本引导下自适应地操控不同 StyleGAN 层上的各个潜码。此外,我们在推理时引入特征空间掩码,以避免文本输入导致的不必要变化。定量和定性评估表明,与现有方法相比,我们的方法能更忠实地按给定文本控制生成图像。

英文摘要:

This paper tackles text-guided control of StyleGAN for editing garments in full-body human images. Existing StyleGAN-based methods suffer from handling the rich diversity of garments and body shapes and poses. We propose a framework for text-guided full-body human image synthesis via an attention-based latent code mapper, which enables more disentangled control of StyleGAN than existing mappers. Our latent code mapper adopts an attention mechanism that adaptively manipulates individual latent codes on different StyleGAN layers under text guidance. In addition, we introduce feature-space masking at inference time to avoid unwanted changes caused by text inputs. Our quantitative and qualitative evaluations reveal that our method can control generated images more faithfully to given texts than existing methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑