TexSliders：基于扩散模型的CLIP空间纹理编辑
TexSliders: Diffusion-Based Texture Editing in CLIP Space
AI总结：
本文提出TexSliders方法，通过操纵CLIP图像嵌入而非注意力图来实现基于扩散模型的纹理编辑，仅用自然语言提示即可生成保持身份特征的任意编辑滑块，无需标注数据。
摘要：
生成模型已经使得利用自然语言进行直观的图像创建和操作成为可能。特别是，扩散模型最近在自然图像编辑方面展现出了显著的效果。在这项工作中，我们提出将扩散技术应用于纹理编辑，纹理是一类特殊的图像，是三维内容创建流程中不可或缺的组成部分。我们分析了现有的编辑方法，并表明它们不能直接应用于纹理，因为它们共同的底层方法——操纵注意力图——不适合纹理领域。为了解决这一问题，我们提出了一种新方法，改为操纵CLIP图像嵌入来条件化扩散生成过程。我们使用简单的文本提示（例如，从“旧木材”到“新木材”）来定义编辑方向，并利用纹理先验将这些方向映射到CLIP图像嵌入空间，采用基于采样的方法在CLIP空间中给出保持身份特征的方向。为了进一步改善身份保持效果，我们将这些方向投影到一个CLIP子空间，该子空间最小化由纠缠的纹理属性引起的身份变化。我们的编辑流程仅使用自然语言提示即可创建任意滑块，无需任何真实标注数据。
英文摘要：
Generative models have enabled intuitive image creation and manipulation using natural language. In particular, diffusion models have recently shown remarkable results for natural image editing. In this work, we propose to apply diffusion techniques to edit textures, a specific class of images that are an essential part of 3D content creation pipelines. We analyze existing editing methods and show that they are not directly applicable to textures, since their common underlying approach, manipulating attention maps, is unsuitable for the texture domain. To address this, we propose a novel approach that instead manipulates CLIP image embeddings to condition the diffusion generation. We define editing directions using simple text prompts (e.g., "aged wood" to "new wood") and map these to CLIP image embedding space using a texture prior, with a sampling-based approach that gives us identity-preserving directions in CLIP space. To further improve identity preservation, we project these directions to a CLIP subspace that minimizes identity variations resulting from entangled texture attributes. Our editing pipeline facilitates the creation of arbitrary sliders using natural language prompts only, with no ground-truth annotated data necessary.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
