纹理空间材质扩散
Texture Space Material Diffusion
- NVIDIA（英伟达）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
提出一种完全在纹理空间中运行的材质生成方法，通过微调视频扩散Transformer，利用图像到纹理空间的投影实现任意几何下的高质量材质生成与重建，支持8K分辨率及多视图输入，达到最先进水平。
AI中文摘要：
我们提出了一种完全在纹理空间中为3D对象生成高质量材质的方法。我们微调了一个视频扩散Transformer，用于文本引导的材质生成、多视图材质生成以及材质放大。我们的关键洞察是利用从图像空间到纹理空间的已知投影，使扩散过程能够泛化到任意几何形状和纹理参数化。这种方法还避免了视频和多视图扩散模型中固有的视图一致性问题。由于纹理空间是二维的，我们可以复用预训练视频扩散模型的强大先验。我们将该方法应用于在未知光照下拍摄的姿势照片的高质量材质重建，以及文本和图像引导的材质生成。我们的方法可以扩展到高分辨率（8K）、100多个输入视图以及神经材质表示。在定量和定性评估中，我们展示了在材质生成和重建方面的最先进结果。
英文摘要：
We present a method for generating high quality materials for 3D objects entirely in texture space. We finetune a video diffusion transformer for text-guided material generation, multi-view material generation, and material upscaling. Our key insight is to use the known projection from image space to texture space, enabling the diffusion process to generalize across arbitrary geometries and texture parameterizations. This approach also avoids the view consistency issues inherent in video and multi-view diffusion models. Because texture space is two dimensional, we can reuse the strong priors of pretrained video diffusion models. We apply our method to high quality material reconstruction from posed photos captured under unknown lighting, as well as to text- and image guided material generation. Our method can scale to high resolutions (8K), 100+ input views, and neural material representations. In quantitative and qualitative evaluations we show state-of-the-art results for material generation and reconstruction.
