TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
Meta;University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Maryland, College Park(马里兰大学帕克分校)
TextureDreamer提出个性化几何感知分数蒸馏(PGSD),仅用3到5张随意拍摄的图像即可将真实环境中的精细可重光照纹理迁移到任意3D物体上,显著超越此前方法。
2024-01-17 cs.CV cs.GR
Non-Stationary Texture Synthesis by Adversarial Expansion
Shenzhen University(深圳大学);Huazhong University of Science & Technology(华中科技大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
提出一种基于GAN的对抗扩展方法,通过训练全卷积生成器将纹理块空间范围扩大一倍,有效解决非平稳纹理合成中捕获大尺度结构等挑战。
2018-05-11 cs.CV cs.GR
GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
ETH Zurich(苏黎世联邦理工学院);CSEM(瑞士电子与微技术中心)
我们提出了一种新的纹理合成框架,使生成无限的,高质量的三维纹理给定的二维样本图像。受自然纹理合成最新进展的启发,我们训练深度神经模型,通过非线性组合学习到的噪声频率来生成纹理。为了实现一个高度现实的输出条件下的样本补丁,我们提出了一个新的损失函数,结合了风格转移和生成对抗网络的想法。特别地,我们训练合成网络以匹配来自一个神经网络的深层特征的Gram矩阵。此外,我们提出了两个架构的概念和外推策略,显着提高泛化性能。特别是,我们通过学习缩放和偏置隐藏的激活,将模型输入和条件注入隐藏的网络层。定量和定性评估的一组不同的范例激励我们的设计决策,并表明我们的系统性能优于以前的最先进的状态。最后,我们进行了用户研究,确认我们的框架的好处。
2020-06-30 cs.CV cs.GR
Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis
University of Michigan(密歇根大学);Adobe Research(奥多比研究院)
本文提出U型注意力视觉Transformer,通过分层沙漏主干网络在单次推理中实现通用纹理合成,兼顾全局结构与微观细节,并在随机和结构化纹理上取得更强的2倍合成效果。
2024-08-08 cs.CV cs.GR eess.IV
RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models
NCSOFT(NCsoft公司);Korea University(高丽大学);Chung-Ang University(中央大学)
本文提出RoCoTex方法,利用SDXL和多个ControlNet扩散模型,结合对称视角合成、区域提示、纹理混合与软修复技术,解决文本到纹理生成中的视角不一致、接缝和网格错位问题,实验证明其优于现有方法。
2024-09-30 cs.CV cs.GR
ProcTex: Consistent and Interactive Text-to-texture Synthesis for Part-based Procedural Models
Brown University(布朗大学)
本文提出ProcTex系统,通过模板纹理合成、稠密对应迁移、新型对应网络及部件级UV生成,为基于部件的程序化模型形状族提供一致、实时且可交互编辑的文本到纹理合成。
2025-10-03 cs.GR eess.IV
AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis
NVIDIA(英伟达);Simon Fraser University(西蒙弗雷泽大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们解决了3D形状的纹理表示的问题,具有挑战性和未充分探索的任务,纹理传输和合成。以前的作品要么应用球形纹理映射,这可能会导致大的失真,或使用连续的纹理字段,产生光滑的输出缺乏细节。我们认为,传统的方式表示纹理的图像和链接到一个三维网格通过UV映射是更可取的,因为合成2D图像是一个很好的研究问题。我们提出了AUV-Net,它通过将不同3D形状的相应语义部分映射到UV空间中的相同位置,来学习将3D表面嵌入到2D对齐的UV空间中。因此,纹理跨对象对齐,并且因此可以通过图像的生成模型容易地合成。纹理对齐是在一个简单而有效的纹理对齐模块,从传统的线性子空间学习作品的灵感,在无监督的方式学习。学习的UV映射和对齐的纹理表示使各种应用程序,包括纹理传输,纹理合成,和纹理单视图3D重建。我们在多个数据集上进行实验,以证明我们的方法的有效性。项目页面:https://nv-tlabs.github.io/AUV-NET。
2022-04-06 cs.CV cs.GR cs.LG
Deep Geometric Texture Synthesis
Tel Aviv University(特拉维夫大学)
最近,用于图像生成的深度生成对抗网络发展迅速;然而,只有少量的研究集中在不规则结构的生成模型上,特别是网格。尽管如此,网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中,我们提出了一个新的框架合成几何纹理。它从局部邻域(即,局部三角形片)。它学习输入三角剖分面上的深层特征,用于细分和生成跨多个尺度的偏移,而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点(即,在法向和切向方向上),从而能够合成几何纹理,这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成,实现了一个类无关的框架,便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
Diffusion-based Holistic Texture Rectification and Synthesis
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Waseda University(早稻田大学)
针对自然图像纹理样本的遮挡与畸变,本文提出带遮挡感知潜在变换器的条件LDM框架,并通过几何变换与自由掩码生成训练数据,实现整体纹理校正与合成。
2023-09-26 cs.CV cs.GR
TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures
KAUST(阿卜杜拉国王科技大学)
我们解决的问题,纹理合成的设置中,许多输入图像,并要求大规模的输出。我们建立在最近的生成对抗网络上,并在本文中提出了两个扩展。首先,我们提出了一种算法来组合在较小分辨率上训练的GANs的输出,以产生几乎没有边界伪影的大规模合理纹理图。其次,我们提出了一个用户界面,使艺术控制。我们的定量和定性结果展示了合成的高分辨率地图的生成,包括高达数百万像素的一个例子。
2019-04-29 cs.AI cs.CV cs.GR
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);POSTECH(浦项科技大学);Institute for Convergence Research and Education in Advanced Technology, Yonsei University(延世大学尖端技术融合研究与教育学院)
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法,利用SDS在15分钟内为3D网格生成高质量PBR纹理图,有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University(Chung-Ang大学图像系);Graphics AI Lab, NCSOFT(NCSOFT图形AI实验室);Department of Computer Science, University of Seoul(首尔大学计算机科学系)
提出VideoTex框架,利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题,通过结构级UV扩散策略提升遮挡区域生成质量,实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
Perspective Texture Synthesis Based on Improved Energy Optimization
Institute of Space Technology(空间技术研究院);Pakistan Space and Upper Atmosphere Research Commission (SUPARCO)(巴基斯坦空间与上层大气研究委员会);University of Karachi(卡拉奇大学)
透视纹理合成在视频编辑、场景捕捉等领域具有重要意义,这是由于其读取和控制全局特征信息的能力。在本文中,我们提出了一种新的基于实例的,特别是基于能量优化的算法,合成透视纹理。能量优化技术是一种基于像素的方法,因此它是耗时的。我们从两个方面进行了改进,以达到更快的合成速度和更高的质量。首先,我们改变这种基于像素的技术,用一个小补丁代替像素计算。其次,我们提出了一种新的技术,以加快搜索最近的邻居在能量优化。利用k-均值聚类技术建立搜索树,加快搜索速度.因此,我们利用主成分分析(PCA)技术来减少输入向量的维数。高质量的结果证明了我们的方法是可行的。此外,我们提出的算法需要更短的时间相对于其他类似的方法。
2020-06-21 cs.CV cs.GR
SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps
SEDDI(SEDDI 公司);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
我们提出了一种能够从单个输入样本自动生成可平铺纹理图的方法。与大多数现有的方法,只专注于解决综合问题,我们的工作解决这两个问题,合成和平铺性,同时。我们的关键思想是认识到,在使用对抗扩展技术训练的生成网络中平铺潜在空间会在接缝交叉点处产生连续性输出,然后可以通过裁剪中心区域将其转换为可平铺图像。由于不是潜在空间的每个值都能有效地产生高质量的输出,因此我们利用该值作为感知误差度量,能够在采样过程中识别无伪影的纹理。此外,与以前的工作相比,深度纹理合成,我们的模型的设计和优化工作与多层纹理表示,使纹理组成的多个地图,如纹理,法线等,我们广泛测试我们的设计选择的网络架构,损失函数和采样参数。我们定性和定量地表明,我们的方法优于以前的方法,适用于不同类型的纹理。
2022-01-13 cs.CV cs.GR cs.LG
By-Example Synthesis of Vector Textures
Carleton University(卡尔顿大学)
本文提出一种从单个栅格示例合成任意大小矢量纹理的新方法,通过分割提取纹理基元、聚类、邻域描述符及梯度场调整,实现高质量合成,并用感知度量评估。
2025-01-23 cs.CV cs.GR
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix;University of Virginia(弗吉尼亚大学)
最近,已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法(例如Gatys等人[2015,2016])。这些方法是令人兴奋的,因为它们在某些情况下可以创建具有最先进质量的结果。然而,在本文中,我们表明这些方法也有纹理质量,稳定性,必要的参数调整,并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线,以改善这些问题。我们首先给出了一个数学解释的来源,在许多以前的方法不稳定性。然后,我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量,改善内容和样式的分离,并提供艺术控制,如按数字绘制。我们证明,我们的方法提供了更好的质量,收敛在更少的迭代,和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
提出DyNCA框架,基于NCA模型实现实时、可控的动态纹理合成,支持无限长任意尺寸视频,性能提升2-4个数量级,并提供运动速度、方向和画笔等实时控制功能。
2023-03-30 cs.CV cs.GR cs.LG
Neural Texture Splatting: Expressive 3D Gaussian Splatting for View Synthesis, Geometry, and Dynamic Reconstruction
ETH Zurich(苏黎世联邦理工学院)
本文提出神经纹理散射方法,通过全局神经场提升3D高斯散射在视图合成、几何和动态重建中的性能。
2025-11-24 cs.CV cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
CaPa: Carve-n-Paint Synthesis for Efficient 4K Textured Mesh Generation
NC Research(NC研究院)
针对现有3D生成算法多视角不一致、速度慢、保真度低等问题,提出两阶段CaPa框架,解耦几何生成与纹理合成,结合空间解耦注意力和3D感知遮挡修复,可30秒内生成高保真4K带纹理3D资产,性能优于现有方法。
2025-01-16 cs.CV cs.GR
On Demand Solid Texture Synthesis Using Deep 3D Networks
Polytechnique Montréal(蒙特利尔综合理工学院);Normandie Univ.(诺曼底大学);UniCaen(卡昂大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心);GREYC(GREYC实验室);Institut Denis Poisson(德尼·泊松研究所);Université d’Orléans(奥尔良大学);Université de Tours(图尔大学)
本文介绍了一种新的方法,按需体积纹理合成的基础上的深度学习框架,允许生成高质量的3D数据的交互速率。基于纹理的一些示例图像,训练生成网络来合成任意大小的实体纹理的相干部分,这些相干部分沿着某些方向再现示例的视觉特征。为了应对GPU上的高分辨率和3D处理所固有的内存限制和计算复杂性,在训练阶段仅生成称为“切片”的2D纹理。这些合成纹理通过基于预先训练的深度网络的感知损失函数与示例图像进行比较。所提出的网络非常轻(小于100k参数),因此它只需要可持续的训练(即几个小时),并且能够在单个GPU上非常快速地生成(对于$256^3$体素,大约一秒)。与空间种子PRNG集成,所提出的生成器网络直接返回给定一组3D坐标的RGB值。合成的体积具有良好的视觉效果,至少相当于最先进的基于补丁的方法。它们自然是无缝拼接的,可以完全并行生成。
2020-01-13 cs.GR cs.LG eess.IV
NeRF-Texture: Synthesizing Neural Radiance Field Textures
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);VAST;ARC Lab, Tencent PCG(腾讯PCG ARC实验室);School of Computer Science & Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
针对真实世界含3D介观结构纹理难以用2D方法建模的问题,提出NeRF-Texture方法,通过解耦介观结构与基础形状、潜在特征块匹配及聚类约束,实现平面和曲面的高质量NeRF纹理合成。
2024-12-13 cs.CV cs.GR
TexTile: A Differentiable Metric for Texture Tileability
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);SEDDI
提出 TexTile,一种基于二分类器的可微度量,通过架构修改与数据增强准确量化纹理可平铺性,可集成至现有合成方法并客观评估其性能。
2024-03-19 cs.AI cs.CV cs.GR
Volumetric Temporal Texture Synthesis for Smoke Stylization using Neural Cellular Automata
针对3D体积烟雾艺术风格化时空一致性难、资源受限的问题,提出体积神经细胞自动机(VNCA)模型,实现实时多视角一致风格化与时间连贯过渡,训练时间减少超一个数量级,且可扩展至网格风格化。
2025-02-05 cs.GR eess.IV
Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
艺术图像的自动生成是一个具有挑战性的课题,吸引了许多研究兴趣。以前的方法要么是专门设计的形状合成或专注于纹理转移。在本文中,我们提出了一种新的模型,AGIS-Net,转移形状和纹理风格在一个阶段,只有一些风格化的样本。为了实现这一目标,我们首先通过使用两个编码器来解开内容和样式的表示,确保多内容和多样式的生成。然后,我们利用两个协同工作的解码器,同时产生的形状的图像和纹理图像。此外,我们引入了一个局部纹理细化损失,以进一步提高合成纹理的质量。通过这种方式,我们的一阶段模型比其他多阶段堆叠方法更有效。为了验证该方法的有效性和可扩展性,我们还提出了一个包含各种形状和纹理风格的中文汉字图像的大规模数据集,该数据集由35个专业设计的艺术字体(7,326个字符)和2,460个合成艺术字体(639个字符)绘制而成。在英文和中文艺术图像数据集上的大量实验表明,与其他最先进的方法相比,我们的模型在生成高质量的风格化图像方面具有优越性。
2020-05-19 cs.CV cs.GR
Generating Non-Stationary Textures using Self-Rectification
Shenzhen University(深圳大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
针对基于示例的非平稳纹理合成难题,提出结合用户编辑初值与自校正的两步法,借助预训练扩散网络和自注意力机制对齐纹理,性能优于现有前沿方法。
2024-01-30 cs.CV cs.GR cs.LG
3D PixBrush: Image-Guided Local Texture Synthesis
University of Chicago(芝加哥大学);Decart AI
3D PixBrush提出一种无需用户输入即可在3D网格上自动定位并合成参考图像局部纹理的方法,通过定位调制图像引导改进分数蒸馏采样,实现全局一致且局部精确的图像驱动编辑。
2025-07-04 cs.CV cs.GR
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization
可控人物图像生成的目标是生成具有所需属性(如给定姿势、布料纹理或发型)的逼真人物图像。然而,源图像和目标图像之间的大的空间未对准使得标准的图像到图像转换架构不适合于该任务。大多数最先进的方法专注于全局姿态转移任务的对齐。然而,它们无法处理特定区域的纹理转移任务,特别是对于具有复杂纹理的人物图像。为了解决这个问题,我们提出了一种新的空间自适应扭曲归一化(SAWN),它集成了一个学习的流场扭曲调制参数。它使我们能够有效地调整人的空间自适应风格与姿势特征。此外,我们提出了一种新的自训练部分替换(STPR)策略来细化纹理转移任务的模型,提高了生成的衣服的质量和非目标区域的保留能力。我们在广泛使用的DeepFashion数据集上的实验结果表明,与姿势转移和纹理转移任务的最新方法相比,所提出的方法有了显着的改进。该代码可在https://github.com/zhangqianhui/Sawn上获得。
2023-01-10 cs.CV cs.GR
InsTex: Indoor Scenes Stylized Texture Synthesis
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Alibaba-NTU Singapore Joint Research Institute, Nanyang Technological University(阿里巴巴-南洋理工大学新加坡联合研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出两阶段架构InsTex,利用深度到图像扩散先验在由粗到细流程中为3D室内场景生成高质量、风格一致的纹理,支持文本与视觉提示,在视觉质量和定量指标上达到SOTA。
2025-01-22 cs.CV cs.GR cs.LG
TM-NET: Deep Generative Networks for Textured Meshes
我们介绍了TM-NET,一种新的深度生成模型,用于以部分感知的方式合成纹理网格。一旦经过训练,该网络可以从头开始生成新的纹理网格,或者预测给定3D网格的纹理,而无需图像指导。该方法可以为同一网格零件生成合理的、多样的纹理,同时通过条件生成实现了同一形状零件之间的纹理兼容性。具体来说,我们的方法为各个形状部分生成纹理贴图,每个形状部分都是一个可变形的盒子,从而生成具有最小失真的自然UV贴图。该网络分别嵌入部分几何(通过PartVAE)和部分纹理(通过TextureVAE)到各自的潜在空间,以便于学习纹理概率分布的几何条件。我们引入了一个条件自回归模型的纹理生成,它可以条件的部分几何形状和纹理已经生成的其他部分,以实现纹理的兼容性。为了产生高频纹理细节,我们的TextureVAE通过基于字典的矢量量化在高维潜在空间中操作。我们还利用纹理中的相似性作为一种有效的手段来建模复杂的形状结构,包括拓扑细节。大量的实验证明了我们的网络生成的纹理和几何形状的可扩展性,质量和多样性,同时避免了新颖视图合成方法常见的不一致问题。
2021-06-09 cs.GR
Seamless Satellite-image Synthesis
University of Leeds(利兹大学)
我们介绍了无缝卫星图像合成(SSS),这是一种新的神经架构,可以从地图数据中创建尺度和空间连续的卫星纹理。虽然2D地图数据便宜且易于合成,但精确的卫星图像价格昂贵,而且往往无法获得或过时。我们的方法生成无缝纹理在任意大的空间范围是一致的,通过尺度空间。为了克服图像到图像转换方法中的瓦片大小限制,SSS学习以语义上有意义的方式移除瓦片图像之间的接缝。比例空间的连续性是通过以样式和制图数据为条件的网络层次来实现的。我们的定性和定量评估表明,我们的系统在几个关键领域的国家的最先进的改进。我们展示了纹理程序生成地图和交互式卫星图像处理的应用。
2021-11-05 cs.CV cs.GR
BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Tencent PCG(腾讯平台与内容事业群)
BakedAvatar提出一种将神经场烘焙为多层网格与静态纹理的实时头部化身合成方法,通过三阶段管线在保持高质量的同时大幅降低推理时间,支持交互式视图合成与表情姿态编辑。
2023-11-28 cs.CV cs.GR
Mesh Neural Cellular Automata
EPFL(瑞士联邦理工学院);Google Research(谷歌研究)
MeshNCA是一种无需UV映射即可实时生成高质量3D动态纹理的神经元细胞自动机方法,通过多模态监督和用户交互实现了纹理合成的泛化能力。
2024-05-16 cs.AI cs.CV cs.GR
Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction
NVIDIA(英伟达);Università della Svizzera italiana(瑞士意大利语区大学)
本文提出神经谐波纹理,通过虚拟框架锚定潜在特征向量,实现高效实时视图合成,融合原始体与神经场方法,提升高频细节建模能力。
2026-07-10 cs.AI cs.CV cs.GR