Texture Generation on 3D Meshes with Point-UV Diffusion
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；TCL Corporate Research（TCL集团研究院）
本研究针对3D网格高质量纹理合成问题，提出Point-UV扩散的由粗到细流水线，结合点扩散与带混合条件的UV扩散，可处理任意亏格网格，生成具备3D一致性、几何兼容的高保真纹理。
2023-08-21 cs.AI cs.CV cs.GR
Learning Generative Models of Textured 3D Meshes from Real-World Images
ETH Zurich（苏黎世联邦理工学院）
微分渲染的最新进展引发了人们对从图像集合中学习纹理3D网格生成模型的兴趣。这些模型原生地解开姿势和外观，使计算机图形学中的下游应用成为可能，并提高生成模型理解图像形成概念的能力。虽然之前已经有从2D图像集合中学习此类模型的工作，但这些方法需要利用注释关键点的精细姿态估计步骤，从而将其适用性限制在少数特定数据集上。在这项工作中，我们提出了一个GAN框架生成纹理三角形网格，而不依赖于这样的注释。我们表明，我们的方法的性能与依赖于地面实况关键点的先前工作相当，更重要的是，我们通过在ImageNet的更大类别集上设置新基线来证明我们方法的通用性-关键点不可用-没有任何类特定的超参数调整。我们在https://github.com/dariopavllo/textured-3d-gan上发布代码
2021-08-17 cs.CV cs.GR cs.LG
Convolutional Generation of Textured 3D Meshes
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
虽然最近的2D图像生成模型取得了令人印象深刻的视觉效果，但它们显然缺乏执行3D推理的能力。这严重限制了对生成对象的控制程度以及此类模型的可能应用。在这项工作中，我们利用最近的进展，微分渲染弥合这一差距。我们设计了一个框架，可以生成三角形网格和相关的高分辨率纹理图，只使用2D监督从单视图的自然图像。我们工作的一个关键贡献是将网格和纹理编码为2D表示，这些表示在语义上对齐，并且可以通过2D卷积GAN轻松建模。我们证明了我们的方法在Pascal3D+ Cars和CUB上的有效性，无论是在无条件设置中，还是在模型以类标签、属性和文本为条件的设置中。最后，我们提出了一个评估方法，分别评估网格和纹理质量。
2020-10-23 cs.CV cs.GR cs.LG
Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
我们研究数据驱动的纹理建模，通过分析和合成与生成对抗网络。对于网络训练和测试，我们已经编译了一组不同的空间均匀纹理，从随机到规则。我们采用StyleGAN 3进行合成，并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析，我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理，和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序，探索潜在空间轨迹的全局和局部行为，并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation
School of Computer Science, Fudan University（复旦大学计算机科学学院）；HiDream.ai Inc.（HiDream.ai公司）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
针对NeRF类文本生成3D方法表面与纹理建模不足的问题，提出基于三角网格的DreamMesh架构，采用由粗到精的联合形变与纹理优化策略，生成的3D内容在纹理细节与几何质量上显著优于现有方法。
2024-09-11 cs.CV cs.MM
Programmable-Room: Interactive Textured 3D Room Meshes Generation Empowered by Large Language Models
Department of Electronic Engineering, Sogang University（电子工程系，ソガン大学）；Department of Electrical and Electronics Engineering, Pusan National University（电气电子工程系，釜山国立大学）
提出Programmable-Room框架，利用大语言模型和视觉编程分解任务，交互式生成和编辑3D房间网格，并通过扩散模型和双向LSTM提升纹理质量，优于现有模型。
2025-06-21 cs.AI cs.CV cs.MM
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
Ink3D: Sculpting 3D Assets with Extremely Complex Textures via Video Generative Models
ZGCA & ZGCI（ZGCA 和 ZGCI）；Microsoft Research（微软研究院）；Zhejiang University（浙江大学）；HKUST（香港科技大学）
提出Ink3D框架，利用大规模视频生成模型合成复杂纹理，通过OrbitPainter生成密集轨道扫描视频，并用TextureOptimizer进行神经烘焙以生成一致纹理。
2026-07-02 cs.CV
DTSGAN: Learning Dynamic Textures via Spatiotemporal Generative Adversarial Network
University of California San Diego（加州大学圣迭戈分校）；Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；Northern Arizona University（北亚利桑那大学）
提出时空生成对抗网络DTSGAN，通过捕捉运动与内容分布从单一动态纹理学习，并采用多尺度生成与数据更新策略避免模式崩溃，实现了高质量动态纹理与自然运动的生成。
2024-12-22 cs.CV
Texture Generation Using A Graph Generative Adversarial Network And Differentiable Rendering
The University of Arizona（亚利桑那大学）；Areté Associates（阿雷蒂联合公司）
新颖的真实感纹理合成是生成新颖场景的重要任务，包括用于3D模拟的资产生成。然而，到目前为止，这些方法主要在2D空间中生成纹理对象。如果我们依赖于2D对象生成，那么每次改变相机视点或照明时，我们都需要进行计算量很大的向前传递。最近的工作，可以在3D中生成纹理需要3D组件分割，这是昂贵的收购。在这项工作中，我们提出了一种新的条件生成架构，我们称之为图生成对抗网络（GGAN），它可以通过以无监督的方式学习对象组件信息来生成3D纹理。在这个框架中，我们不需要昂贵的前向传递，每当相机视点或照明变化时，我们不需要昂贵的3D零件信息进行训练，但模型可以泛化到看不见的3D网格并生成适当的新颖3D纹理。我们比较这种方法对国家的最先进的纹理生成方法，并证明GGAN获得显着更好的纹理生成质量（根据弗雷歇起始距离）。我们将模型源代码作为开源发布。
2023-02-08 cs.CV
Texture Deformation Based Generative Adversarial Networks for Face Editing
Institute of Computer Vision（计算机视觉研究所）；Shenzhen University（深圳大学）
尽管在图像到图像的转换和基于潜在表征的面部属性编辑和表情合成方面取得了显著的成功，但现有方法在细节的清晰度、清晰的图像转换和身份保持方面仍然存在局限性。为了解决这些问题，我们提出了一种基于纹理变形的GAN，即TDB-GAN，从原始图像中分离纹理，并根据提取的纹理转移域。该方法利用纹理来传递面部属性和表情，而不考虑对象的姿态。这导致合成的面部的形状细节和更明显的视觉效果。此外，它在训练过程中带来了更快的收敛速度。所提出的方法的有效性进行了验证，通过广泛的消融研究。我们也对我们的方法在人脸属性和表情合成上进行了定性和定量的评估。CelebA和RaFD数据集上的结果表明，基于纹理变形的GAN实现了更好的性能。
2018-12-24 cs.CV
SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion
ETH Zürich（苏黎世联邦理工学院）
SiTH将图像条件扩散模型与3D网格重建结合，通过生成背面外观并利用蒙皮网格引导恢复全身纹理，仅需500个扫描数据即可实现高精度单视图纹理人体重建。
2024-03-30 cs.CV
OMeGa: Joint Optimization of Explicit Meshes and Gaussian Splats for Robust Scene-Level Surface Reconstruction
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出 OMeGa 端到端框架，通过显式三角形网格与 2D Gaussian splats 的联合绑定优化、网格约束、单目法向监督及迭代细化，显著提升室内场景表面重建精度。
2025-09-29 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
3DGen: Triplane Latent Diffusion for Textured Mesh Generation
Meta AI
用于图像生成的潜空间扩散模型已经跨越了一个质量阈值，这使得它们能够实现大规模采用。最近，一系列的工作已经取得了进展，在3D领域复制这一成功，引入技术，如点云VAE，三平面表示，神经隐式表面和基于可微渲染的训练。我们沿着这个方向又迈出了一步，将这些发展结合在一个两步的管道中，该管道包括1）一个三平面VAE，它可以学习纹理网格的潜在表示，2）一个条件扩散模型，它生成三平面特征。这种架构首次允许在单个GPU上在几秒钟内有条件和无条件地生成多个不同类别的高质量纹理或无纹理3D网格。它大大优于以前的工作，图像条件和无条件生成网格质量以及纹理生成。此外，我们证明了我们的模型的可扩展性，以提高质量和多样性的大型数据集。我们将发布我们的代码和训练模型。
2023-03-27 cs.CV cs.GR
Text-guided High-definition Consistency Texture Model
Midea AIIC（美的人工智能研究院）
提出高清一致性纹理模型（HCTM），利用预训练深度到图像扩散模型、参数高效微调与多扩散策略，实现文本引导的三维网格高清且一致的纹理生成。
2023-05-10 cs.AI cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
我们提出了Text2Tex，一种新的方法，从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中，从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影，我们动态地将渲染视图分割成一个生成掩码，该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外，我们提出了一个自动视图序列生成方案，以确定下一个最佳的视图更新的部分纹理。大量的实验表明，我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；Tencent AI Lab（腾讯人工智能实验室）
3D感知生成对抗网络（GANs）仅使用单视图2D图像的集合来合成高保真度和多视图一致的面部图像。为了对面部属性进行细粒度的控制，最近的努力采用了3D可变形面部模型（3DMM）来显式或隐式地描述生成辐射场中的变形。显式方法提供了细粒度的表达式控制，但不能处理由头发和附件引起的拓扑变化，而隐式方法可以建模不同的拓扑，但由于变形场不受约束，泛化能力有限。我们提出了一种新的3D GAN框架，用于从非结构化2D图像中生成高质量和3D一致的面部化身的无监督学习。为了实现变形精度和拓扑灵活性，我们提出了一种三维表示称为生成纹理光栅化三平面。该方法在参数化网格模板的基础上学习生成神经纹理，然后通过光栅化将其投影到三个正交特征平面上，形成一个用于体渲染绘制的三平面特征表示。通过这种方式，我们结合了细粒度的表达控制网格引导显式变形和隐式体积表示的灵活性。我们进一步提出了具体的模块，用于建模嘴内部，这是不考虑3DMM。我们的方法通过大量的实验展示了最先进的3D感知合成质量和动画能力。此外，作为3D先验，我们的动画3D表示提升了多个应用程序，包括一次性面部化身和3D感知风格化。
2023-03-13 cs.CV
HiFiVe: High-Fidelity Vehicle Generation Leveraging Auto-Regressive 2D Generative Priors
Bosch（博世）
提出HiFiVe，一种无需训练的框架，通过施加3D几何约束锚定2D生成先验，联合增强纹理与几何，实现高保真车辆建模。
2026-06-25 cs.CV
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction
通过利用深度卷积神经网络（DCNN）的能力，已经做了大量的工作来从单个图像重建3D面部结构。在最近的作品中，纹理特征要么对应于线性纹理空间的分量，要么由自动编码器直接从野外图像中学习。在所有情况下，面部纹理重建的质量仍然不能建模面部纹理与高频细节。在本文中，我们采取了一种完全不同的方法，利用生成对抗网络（GANs）和DCNN的强大功能，从单张图像中重建面部纹理和形状。也就是说，我们利用GANs在\edit{from a large-scale 3D texture dataset}之前训练一个非常强大的面部纹理。然后，我们重新审视原始的3D变形模型（3DMMs）拟合利用非线性优化，以找到最佳的潜在参数，最好地重建测试图像，但在一个新的角度。为了对初始化具有鲁棒性并加快拟合过程，我们提出了一种新的基于自监督回归的方法。我们在真实感和身份保持3D人脸重建中表现出出色的效果，并首次实现了高频细节的面部纹理重建。
2021-05-16 cs.CV
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research（Zalando 研究院）
生成对抗网络（GANs）是最近训练数据生成模型的方法，已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量，我们创建了一个具有非常适合纹理合成任务的属性的架构，我们称之为空间GAN（SGAN）。据我们所知，这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点，这使它成为一个国家的最先进的纹理合成算法：高图像质量的生成纹理，非常高的可扩展性w.r.t.输出纹理大小，快速实时向前生成，在复杂纹理中融合多个不同源图像的能力。为了说明这些功能，我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制，它可以合成的纹理图像的类型，并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
ScribbleSense: Generative Scribble-Based Texture Editing with Intent Prediction
School of Computer Science, Beijing Institute of Technology（计算机学院，北京理工大学）
ScribbleSense通过结合多模态大语言模型和图像生成模型，实现了基于生成的涂鸦纹理编辑与意图预测，提升交互式编辑性能。
2026-01-30 cs.CV
TRIG: Toward Measuring Texture Realism in Image Generation
Futurewei Technologies（未来移动通信技术公司）
本文提出TRIG指标，采用纹理数据集预训练GAN的判别器作为主干网络，结合微调的合理性头与分布距离计算，在生成图像纹理真实度评估上比基线指标更贴合人类评分。
2026-10-14 cs.CV
3D-GIF: 3D-Controllable Object Generation via Implicit Factorized Representations
KAIST（韩国科学技术院）
虽然基于NeRF的3D感知图像生成方法能够实现视点控制，但各种3D应用仍然存在局限性。由于它们的视图依赖性和光纠缠体积表示，3D几何形状呈现出不切实际的质量，并且应该为每个所需的视点重新渲染颜色。为了将3D适用性从3D感知图像生成扩展到3D可控对象生成，我们提出了与视图无关和光解纠缠的因子分解表示，以及随机采样光条件的训练方案。我们证明了我们的方法的优越性，通过可视化的分解表示，重新点燃的图像，和纹理网格。此外，我们表明，我们的方法通过可视化和定量比较，提高了生成的几何图形的质量。据我们所知，这是第一个工作，提取无姿态的2D图像无任何额外的标签或假设的纹理网格。
2022-03-12 cs.CV
Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement
Zhejiang Gongshang University（浙江工商大学）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Kuaishou Technology（快手科技）
针对现有3D面部纹理生成方法的局限，提出渐进式潜空间优化方法，结合自监督GAN与边缘感知SDS的互增强机制，生成高质量多样化的PBR面部纹理，性能优于现有方法。
2024-04-15 cs.CV
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
Imperial College London（帝国理工学院）；University of Middlesex（密德萨斯大学）
在过去的几年里，已经做了大量的工作，通过利用深度卷积神经网络（DCNN）的力量，从单个图像重建3D面部结构。在最近的作品中，微分渲染器，以学习的面部身份特征和参数的3D变形模型的形状和纹理之间的关系。纹理特征要么对应于线性纹理空间的分量，要么由自动编码器直接从野外图像中学习。在所有情况下，面部纹理重建的质量的国家的最先进的方法仍然是不能够在高保真度的纹理建模。在本文中，我们采取了一种完全不同的方法，利用生成对抗网络（GANs）和DCNN的强大功能，从单张图像中重建面部纹理和形状。也就是说，我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后，我们重新审视了原始的3D变形模型（3DMMs）拟合方法，利用非线性优化，以找到最佳的潜在参数，最好地重建测试图像，但在一个新的角度。我们通过我们的端到端可区分框架，在预训练的深度身份特征的监督下优化参数。我们在真实感和身份保持3D人脸重建中表现出出色的效果，并首次实现了高频细节的面部纹理重建。
2019-04-06 cs.CV
NI-Tex: Non-isometric Image-based Garment Texture Generation
Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；Westlake University（西湖大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Fudan University（复旦大学）
针对非等距图像与3D服装网格间的纹理生成问题，提出结合物理模拟数据集、非等距图像编辑和迭代烘焙的框架，生成高质量PBR纹理。
2026-07-02 cs.AI cs.CV
AvatarDynamizer: From Static to Dynamic Human Avatars via Generative Dynamic Textures
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；EPFL（洛桑联邦理工学院）；VIA Research Center（VIA研究中心）
AvatarDynamizer是一种生成式方法，可将现成静态3D化身转为可控多视角一致4D化身，通过纹理空间动态嵌入实现真实表面动态，在视觉保真度上优于通用方法。
2026-08-21 cs.CV
MVPainter: Accurate and Detailed 3D Texture Generation via Multi-View Diffusion with Geometric Control
AMAP
针对3D纹理生成研究不足的问题，提出MVPainter方法，通过数据增强、ControlNet几何控制及PBR属性提取，在纹理对齐等三维度达最优效果，并开源完整流程。
2025-05-19 cs.CV
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models
CUHK-Shenzhen（香港中文大学（深圳））；NVIDIA（英伟达）；UC Merced（加州大学默塞德分校）
Tex4D提出一种零样本4D场景纹理生成方法，通过UV空间潜在聚合增强多视角一致性，并改进DDIM采样及引入参考潜在纹理解决时间一致性与模糊问题，是首个专门针对4D场景纹理生成的方法。
2025-05-03 cs.CV
Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout Constraints
Hong Kong University of Science and Technology（香港理工大学）；LightIllusion, China（中国LightIllusion公司）；Alibaba Group（阿里巴巴集团）；Simon Fraser University, Canada（加拿大Simon Fraser大学）
Ctrl-Room提出两阶段方法，通过布局生成和外观生成分离建模，实现从文本提示生成可编辑的高质量三维房间网格，并在Structured3D数据集上优于现有方法。
2025-09-24 cs.CV
Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models
Tencent PCG（腾讯平台与内容事业群）；ShanghaiTech University（上海科技大学）；Zhejiang University（浙江大学）
Paint3D提出从粗到细的生成框架，利用深度感知2D扩散模型与UV修补/UVHD模型，为3D网格生成无光照的高质量2K UV纹理，支持重光照与编辑。
2023-12-22 cs.CV
vidax: A Unified JAX Framework for Video Generative Models on Accelerator Meshes
Massachusetts Institute of Technology（麻省理工学院）
vidax是一个开源的JAX/Flax推理引擎，统一了张量和序列并行，支持多种视频生成模型，在TPU上实现高效推理，并开源作为基线。
2026-09-17 cs.CV cs.DC cs.LG
Semantic Segmentation of Textured Non-manifold 3D Meshes using Transformers
Institute of Photogrammetry and GeoInformation, Leibniz University Hannover（汉诺威莱布尼茨大学摄影测量与地理信息研究所）
本文提出一种纹理感知的Transformer模型，结合多尺度特征聚合方案，用于纹理非流形3D网格的语义分割，实验证明在SUM和文化遗产数据集上均优于现有方法。
2026-04-02 cs.CV
TexPro: Text-guided PBR Texturing with Procedural Material Modeling
Zhejiang University（浙江大学）；Pico, ByteDance Inc（字节跳动旗下Pico公司）；Communication University of Zhejiang（浙江传媒学院）
该研究提出TexPro方法，结合文生图模型与可微程序化材质建模，实现文本引导的3D网格PBR纹理生成，解决多视角图像与网格不对齐问题，性能优于现有最优方法且支持重新打光。
2025-05-18 cs.CV cs.GR
3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score Distillation
University of Chicago（芝加哥大学）；Snap Research（Snap 研究院）
本文提出3D Paintbrush，通过级联分数蒸馏（CSD）在网格上自动生成局部语义区域的纹理，同时优化定位与风格化，提升纹理细节和分辨率，适用于多种形状。
2023-11-16 cs.CV cs.GR
TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）；Argo AI（阿尔戈人工智能公司）
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制，但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁，以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点，我们开发了一个局部纹理损失，除了对抗和内容损失训练生成网络。我们进行实验，使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图，结果表明，我们提出的算法是能够生成可信的图像，是忠实于用户控制。消融研究表明，我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
Generative Escher Meshes
University of Montreal（蒙特利尔大学）；Adobe Research（奥多比研究实验室）
本文提出文本引导的全自动方法，利用可微 Orbifold Tutte Embedding 与扩散模型联合优化二维网格几何和纹理，生成可无缝平铺平面的非方形对象图块。
2024-06-17 cs.AI cs.CG cs.CV
TriTex: Learning Texture from a Single Mesh via Triplane Semantic Features
Tel Aviv University（特拉维夫大学）；NVIDIA（英伟达）
针对3D网格纹理迁移难保留源纹理外观的问题，提出TriTex方法，基于三平面架构从单带纹理网格学习体积纹理场，实现语义感知纹理迁移，在新基准上表现优于现有方法，推理更快。
2025-03-20 cs.CV cs.GR
Generative Image Inpainting with Contextual Attention
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
最近的基于深度学习的方法已经显示出对于修复图像中的大缺失区域的挑战性任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会创建与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络在明确地从遥远的空间位置借用或复制信息方面的无效性。另一方面，传统的纹理和面片合成方法特别适合于需要从周围区域借用纹理的情况。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练过程中显式地利用周围的图像特征作为参考，以进行更好的预测。该模型是一个前馈的，完全卷积神经网络，可以处理图像与多个孔在任意位置和可变大小的测试时间。在包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places 2）在内的多个数据集上的实验表明，我们提出的方法比现有方法生成更高质量的修复结果。代码，演示和模型可在：https://github.com/JiahuiYu/generative_inpainting。
2018-03-21 cs.CV cs.GR
TEXGen: a Generative Diffusion Model for Mesh Textures
The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）；VAST；Tsinghua University（清华大学）
本文提出TEXGen，一个7亿参数的扩散模型，首次实现在UV纹理空间直接以前馈方式生成高分辨率纹理贴图，支持文本和单视图图像引导，并可扩展用于纹理修复、补全与合成。
2024-11-22 cs.AI cs.CV cs.GR
Subjective and Objective Visual Quality Assessment of Textured 3D Meshes
Univ Lyon, CNRS, LIRIS（里昂大学，法国国家科学研究中心，LIRIS）；Multimedia Research Center, University of Alberta（阿尔伯塔大学多媒体研究中心）
三维模型的客观视觉质量评价是计算机图形学中的一个基本问题。质量评估指标可以指导和评估各种各样的过程，如细节创建、压缩、过滤等。大多数计算机图形资产由几何表面组成，在几何表面上可以映射几个纹理图像，使渲染更加逼真。虽然存在一些几何表面的质量评估指标，但几乎没有研究对纹理映射的3D模型进行评估。在这种情况下，我们提出了一个新的主观研究，以评估纹理网格的感知质量，基于配对比较协议。我们引入纹理和几何失真的一组5个参考模型，产生一个数据库的136个失真的模型，使用两个渲染协议进行评估。基于分析的结果，我们提出了两个新的度量纹理网格的视觉质量评估，作为优化的线性组合的准确的几何和纹理质量的测量。这些建议的感知指标优于他们的同行在与人类意见的相关性。该数据库以及相关的主观评分将在网上公开提供。
2021-02-08 cs.CV
Fast and Scalable Earth Texture Synthesis using Spatially Assembled Generative Adversarial Neural Networks
The Seoul Institute（首尔研究院）；Sandia National Laboratories（桑迪亚国家实验室）；University of Hawai’i at Mānoa（夏威夷大学马诺阿分校）
由于表征过程昂贵且耗时，具有复杂形态几何形状和组成（例如页岩和碳酸盐岩）的地球纹理通常用稀疏的现场样品表征。因此，以较低的计算代价生成任意大尺寸的具有相似拓扑结构的地质纹理已成为真实感地质材料重建的关键任务之一。最近，生成对抗神经网络（GANs）已经证明了合成输入纹理图像和创建等概率地质材料图像的潜力。然而，使用GANs框架的纹理合成通常受到计算成本和输出纹理大小的可扩展性的限制。在这项研究中，我们提出了一种空间组装的GANs（SA GANs），它可以生成任意大尺寸的输出图像，而不管训练图像的大小，并且具有计算效率。SAGANs的性能进行了评估与二维和三维（2D和3D）岩石图像样本广泛用于地球纹理的地质统计重建。我们证明了SAGAN可以生成任意大尺寸的统计实现，其连接性和结构特性与训练图像相似，并且即使在单个训练图像上也可以生成各种实现。此外，与标准GANs框架相比，计算时间得到了显着改善。
2020-11-13 cs.CV cs.LG eess.IV
StyleUV: Diverse and High-fidelity UV Map Generative Model
Seoul National University（首尔大学）；Purdue University（普渡大学）；NAVER WEBTOON
近年来，利用3DMM（3D Morphable Model）重建野外三维人脸已成为一个热门的研究方向。虽然大多数先前的工作集中在估计更鲁棒和准确的几何形状，相对较少的注意力已经支付到提高纹理模型的质量。与此同时，随着生成对抗网络（GANs）的出现，在重建逼真的2D图像方面取得了很大进展。最近的工作表明，用丰富的高质量UV贴图训练的GANs可以产生优于现有方法产生的高保真纹理。然而，获取这种高质量的UV图是困难的，因为它们的获取成本很高，需要费力的过程来细化。在这项工作中，我们提出了一种新的UV贴图生成模型，该模型可以学习生成多样化和逼真的合成UV贴图，而无需高质量的UV贴图进行训练。我们提出的框架可以单独使用野外图像（即，不需要UV贴图）。定量和定性的评价表明，我们提出的纹理模型产生更多样化和更高保真度的纹理相比，现有的方法。
2020-11-25 cs.CV cs.GR
Deep Geometric Texture Synthesis
Tel Aviv University（特拉维夫大学）
最近，用于图像生成的深度生成对抗网络发展迅速;然而，只有少量的研究集中在不规则结构的生成模型上，特别是网格。尽管如此，网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中，我们提出了一个新的框架合成几何纹理。它从局部邻域（即，局部三角形片）。它学习输入三角剖分面上的深层特征，用于细分和生成跨多个尺度的偏移，而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点（即，在法向和切向方向上），从而能够合成几何纹理，这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成，实现了一个类无关的框架，便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用，因此成为一个热门话题。与传统算法相比，目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作，如超分辨率使用生成对抗网络（SRGAN）可以有效地恢复图像的纹理细节。然而，实验证明，由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像，改进了网络结构，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练，并使用Set5，Set14，BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
Semantic Segmentation of Urban Textured Meshes Through Point Sampling
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN（法国国家地理与林业信息研究所）；ENSG（法国国立地理科学学院）；Direction Générale de l’Armement（法国武器装备总署）
纹理网格正成为一种越来越流行的表示结合了三维几何和辐射的真实场景。然而，城市网格的语义分割算法研究较少，没有充分利用所有的辐射信息。为了解决这个问题，我们采用的方法包括采样点云从纹理网格，然后使用点云语义分割算法在这个云，最后使用所获得的语义分割的初始网格。在本文中，我们研究了不同参数的影响，如采样方法，提取的云的密度，选择的特征（颜色，法线，海拔）以及在每个训练周期使用的点的数量。我们的结果优于SUM数据集上的最新技术，在OA中获得约4分，在mIoU中获得18分。
2023-02-21 cs.CV
Improving Semantic Image Segmentation via Label Fusion in Semantically Textured Meshes
Fraunhofer IOSB（弗劳恩霍夫光学、电子与精密工程研究所）
用于语义分割的模型需要大量手工标记的训练数据，这是昂贵且耗时的。为此，我们提出了一个标签融合框架，能够提高视频序列的语义像素标签在无监督的方式。我们利用一个三维网格表示的环境和融合的预测不同的帧到一个一致的表示使用语义网格纹理。使用原始的内在和外在相机参数渲染语义网格产生一组改进的语义分割图像。由于我们优化的CUDA实现，我们能够利用整个$c$维概率分布的注释在$c$类的不确定性感知的方式。我们在Scannet数据集上评估了我们的方法，在该数据集上，我们将最先进的分割网络ESANet产生的注释从$52.05 \%$提高到$58.25 \%$像素精度。我们在线发布我们的框架的源代码，以促进未来在这一领域的研究（\url{https://github.com/fferflo/semantic-meshes}）。据我们所知，这是第一个公开可用的标签融合框架的语义图像分割的基础上网格与语义纹理。
2021-11-22 cs.CV
Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文提出统一状态空间模型Mesh Mamba，结合子图嵌入与双向SSM，在新建的纹理/非纹理网格显著性数据集上实现全局上下文建模，提升跨网格类型的显著性预测性能与通用性。
2025-04-09 cs.CV
SUM Parts: Benchmarking Part-Level Semantic Segmentation of Urban Meshes
Delft University of Technology（代尔夫特理工大学）
针对城市带纹理网格部件级语义分割研究不足的问题，本文推出首个该领域大规模数据集SUM Parts，自研支持双模式的高效标注工具，并完成相关方法的基准评估。
2025-03-21 cs.CV
From Flat to Spatial: Comparison of 4 methods constructing 3D, 2 and 1/2D Models from 2D Plans with neural networks
本文比较了四种从2D图像构建3D网格的神经网络方法，评估它们在建筑设计可视化中的适用性，展示了这些技术如何简化模型创建、缩短设计周期并提升精度。
2024-07-29 cs.CV cs.ET cs.GR
Projective Urban Texturing
University of Cyprus（塞浦路斯大学）；CYENS CoE（塞浦路斯研究与创新卓越中心）；University of Leeds（利兹大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
提出了一种在沉浸式城市环境中自动生成三维城市网格纹理的方法。许多最新的管道使用扫描仪或程序建模管道捕获或合成大量的城市几何图形。这样的几何形状是复杂的和现实的，然而，为这样的大场景生成照片般逼真的纹理仍然是一个问题。我们建议生成纹理输入目标三维网格驱动的纹理风格存在于现成的数据集捕捉城市环境的全景照片。将这样的2D数据集重新定位到3D几何形状是具有挑战性的，因为照片中城市结构的基本形状、大小和布局与目标网格中的不对应。照片通常也有对象（例如，树木、车辆），这些物体甚至可能不存在于目标几何形状中。为了解决这些问题，我们提出了一种方法，称为投影城市纹理（PUT），它重新定位纹理风格从现实世界的全景图像看不见的城市网格。PUT依赖于为不成对的图像到纹理翻译而设计的神经架构的对比和对抗训练。生成的纹理存储在应用于目标3D网格几何形状的纹理图集中。为了提高纹理的一致性，PUT采用了一个迭代过程，其中纹理合成的条件是以前生成的，相邻的纹理。我们演示了生成的纹理的定量和定性评价。
2022-02-04 cs.CV
Differentiable Stereopsis: Meshes from multiple views using differentiable rendering
UC Berkeley（加州大学伯克利分校）；Meta AI
我们提出了微分立体，多视图立体视觉的方法，重建形状和纹理从几个输入视图和嘈杂的相机。我们配对传统的立体视觉和现代微分渲染，建立一个端到端的模型，预测纹理的3D网格的对象具有不同的拓扑结构和形状。我们将立体视觉视为一个优化问题，并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析，并与传统的多视图立体视觉技术和最先进的基于学习的方法进行了比较。我们展示了具有挑战性的现实世界场景的令人信服的重建，以及具有复杂形状，拓扑结构和纹理的丰富对象类型。项目网页：https://shubham-goel.github.io/ds/
2022-09-23 cs.CV
