UVMap-ID：一种可控且个性化的 UV Map 生成模型
UVMap-ID: A Controllable and Personalized UV Map Generative Model
AI总结：
本文提出 UVMap-ID，通过微调集成人脸融合模块的文本到图像扩散模型，并利用带文本与 Face ID 标注的小规模属性均衡数据集，实现可控、个性化的人物 UV Map 生成与多维质量评估。
摘要：
近年来，扩散模型在根据给定文本提示合成逼真的二维人物图像方面取得了显著进展。在此基础上，研究人员已将二维文本到图像扩散模型扩展到三维领域，用于生成人物纹理（UV Maps）。然而，关于 UV Map 生成模型的一些重要问题仍未解决，即如何为任意给定的人脸图像生成个性化纹理图，以及如何定义和评估这些生成纹理图的质量。为解决上述问题，我们提出了一种新方法 UVMap-ID，这是一个可控且个性化的 UV Map 生成模型。不同于传统的二维大规模训练方法，我们建议微调一个预训练的文本到图像扩散模型，并将其与人脸融合模块集成，以实现身份驱动的定制化生成。为支持该微调策略，我们引入了一个小规模、属性均衡的训练数据集，其中包含带有文本标签和 Face ID 的高质量纹理。此外，我们还提出了若干指标，用于评估纹理的多个方面。最后，定量和定性分析均证明了我们的方法在可控、个性化 UV Map 生成方面的有效性。代码已通过 https://github.com/twowwj/UVMap-ID 公开发布。
英文摘要：
Recently, diffusion models have made significant strides in synthesizing realistic 2D human images based on provided text prompts. Building upon this, researchers have extended 2D text-to-image diffusion models into the 3D domain for generating human textures (UV Maps). However, some important problems about UV Map Generative models are still not solved, i.e., how to generate personalized texture maps for any given face image, and how to define and evaluate the quality of these generated texture maps. To solve the above problems, we introduce a novel method, UVMap-ID, which is a controllable and personalized UV Map generative model. Unlike traditional large-scale training methods in 2D, we propose to fine-tune a pre-trained text-to-image diffusion model which is integrated with a face fusion module for achieving ID-driven customized generation. To support the finetuning strategy, we introduce a small-scale attribute-balanced training dataset, including high-quality textures with labeled text and Face ID. Additionally, we introduce some metrics to evaluate the multiple aspects of the textures. Finally, both quantitative and qualitative analyses demonstrate the effectiveness of our method in controllable and personalized UV Map generation. Code is publicly available via https://github.com/twowwj/UVMap-ID.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
