通过空间对齐实现任意文本驱动的图像编辑
Towards Arbitrary Text-driven Image Manipulation via Space Alignment
AI总结：
本文提出TMSA框架，通过空间对齐模块将CLIP与StyleGAN的语义区域对齐，使文本输入能直接驱动StyleGAN空间中的语义偏移，实现无需额外优化的任意文本驱动实时图像编辑。
摘要：
最近的GAN反演方法已经能够成功地将真实图像输入反演为StyleGAN中相应的可编辑潜码。通过与语言-视觉模型（CLIP）结合，一些文本驱动的图像编辑方法被提出。然而，这些方法需要额外成本来对特定图像或新的属性编辑模式执行优化。为了实现更高效的编辑方法，我们提出了一种新的通过空间对齐的文本驱动图像编辑框架（TMSA）。空间对齐模块旨在对齐CLIP和StyleGAN空间中相同的语义区域。然后，文本输入可以直接进入StyleGAN空间，并用于根据文本描述寻找语义偏移。该框架可以支持任意图像编辑模式而无需额外成本。我们的工作为用户提供了一个接口，可以根据文本输入控制给定图像的属性，并实时获得结果。大量实验证明了我们相对于先前工作的优越性能。
英文摘要：
The recent GAN inversion methods have been able to successfully invert the real image input to the corresponding editable latent code in StyleGAN. By combining with the language-vision model (CLIP), some text-driven image manipulation methods are proposed. However, these methods require extra costs to perform optimization for a certain image or a new attribute editing mode. To achieve a more efficient editing method, we propose a new Text-driven image Manipulation framework via Space Alignment (TMSA). The Space Alignment module aims to align the same semantic regions in CLIP and StyleGAN spaces. Then, the text input can be directly accessed into the StyleGAN space and be used to find the semantic shift according to the text description. The framework can support arbitrary image editing mode without additional cost. Our work provides the user with an interface to control the attributes of a given image according to text input and get the result in real time. Ex tensive experiments demonstrate our superior performance over prior works.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
