arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2405.08210cs.CV

Infinite Texture:文本引导的高分辨率扩散纹理合成

Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis

University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)

Yifan Wang, Aleksander Holynski, Brian L. Curless, Steven M. Seitz

AI总结:

本研究提出Infinite Texture方法,通过单纹理微调扩散模型结合分数聚合策略,实现单GPU上文本引导的任意分辨率纹理生成,效果优于现有方法,可应用于3D渲染与纹理迁移。

摘要:

我们提出了Infinite Texture,一种可根据文本提示生成任意大纹理图像的方法。我们的方法在单张纹理上微调扩散模型,学习将该统计分布嵌入到模型的输出域中。我们使用一个纹理样本块启动该微调过程,该样本块可选择由DALL-E 2这类文本生成图像模型生成。生成阶段,我们通过分数聚合策略调用经微调的扩散模型,在单块GPU上生成任意分辨率的输出纹理图像。我们将本方法合成的纹理与现有基于块的纹理合成方法及深度学习纹理合成方法做了对比。我们还展示了生成的纹理在3D渲染和纹理迁移中的两项应用。

英文摘要:

We present Infinite Texture, a method for generating arbitrarily large texture images from a text prompt. Our approach fine-tunes a diffusion model on a single texture, and learns to embed that statistical distribution in the output domain of the model. We seed this fine-tuning process with a sample texture patch, which can be optionally generated from a text-to-image model like DALL-E 2. At generation time, our fine-tuned diffusion model is used through a score aggregation strategy to generate output texture images of arbitrary resolution on a single GPU. We compare synthesized textures from our method to existing work in patch-based and deep learning texture synthesis methods. We also showcase two applications of our generated textures in 3D rendering and texture transfer.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑