Texture Synthesis with Recurrent Variational Auto-Encoder
我们提出了一种用于纹理合成的递归变分自动编码器。一种新的损失函数，FLTBNK，用于训练的纹理合成器。它是旋转和部分颜色不变的损失函数。与L2损失不同，FLTBNK明确地对像素之间的颜色强度的相关性进行建模。我们的纹理合成器生成相邻的瓦片来扩展样本纹理，并使用可描述纹理数据集（DTD）中的各种纹理模式进行评估。我们进行定量和定性实验与各种损失函数，以评估我们提出的损失函数（FLTBNK）的性能-一个小型的人类主题研究用于定性评价。
2017-12-23 cs.CV
NIFTY: a Non-Local Image Flow Matching for Texture Synthesis
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC（诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC）
本文提出NIFTY，一种结合扩散模型思想与经典图像块优化的非参数流匹配纹理合成框架，无需神经网络训练，有效缓解初始化差和视觉伪影问题，实验证明其优于代表性方法。
2025-09-26 cs.CV cs.LG
AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis
NVIDIA（英伟达）；Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在本文中，我们解决了3D形状的纹理表示的问题，具有挑战性和未充分探索的任务，纹理传输和合成。以前的作品要么应用球形纹理映射，这可能会导致大的失真，或使用连续的纹理字段，产生光滑的输出缺乏细节。我们认为，传统的方式表示纹理的图像和链接到一个三维网格通过UV映射是更可取的，因为合成2D图像是一个很好的研究问题。我们提出了AUV-Net，它通过将不同3D形状的相应语义部分映射到UV空间中的相同位置，来学习将3D表面嵌入到2D对齐的UV空间中。因此，纹理跨对象对齐，并且因此可以通过图像的生成模型容易地合成。纹理对齐是在一个简单而有效的纹理对齐模块，从传统的线性子空间学习作品的灵感，在无监督的方式学习。学习的UV映射和对齐的纹理表示使各种应用程序，包括纹理传输，纹理合成，和纹理单视图3D重建。我们在多个数据集上进行实验，以证明我们的方法的有效性。项目页面：https://nv-tlabs.github.io/AUV-NET。
2022-04-06 cs.CV cs.GR cs.LG
CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading
HSE University（俄罗斯莫斯科高等经济大学）；Yandex Research（Yandex研究）
CasTex通过级联扩散模型实现文本到纹理合成，采用显式纹理参数化提升生成质量，优于现有优化方法。
2026-01-13 cs.CV
NITES: A Non-Parametric Interpretable Texture Synthesis Method
University of Southern California（南加州大学）
本文提出了一种非参数可解释纹理合成方法，称为NITES方法。虽然目前可以通过深度神经网络实现视觉上令人愉悦的纹理的自动合成，但是相关的生成模型在数学上是难以处理的，并且它们的训练需要较高的计算成本。NITES提供了一种新的纹理合成解决方案来解决这些缺点。NITES在数学上是透明的，在训练和推理方面是高效的。输入是单个示例性纹理图像。NITES方法从输入中裁剪出纹理块，并分析这些纹理块的统计特性，以获得它们的联合空间-光谱表示。然后，样本的概率分布的联合空间-频谱空间的特点。最后，可以自动生成视觉上类似于示例性纹理图像的许多纹理图像。实验结果表明，所生成的纹理图像的质量和效率的建议NITES方法的训练和推理时间方面的优越性。
2020-09-02 cs.CV
Texture synthesis via projection onto multiscale, multilayer statistics
Michigan State University（密歇根州立大学）
提出了一种基于多尺度、多层特征提取器的纹理合成模型。在模型中，纹理由一组从不同层、尺度和方向的ReLU小波系数计算的统计数据表示。通过迭代投影算法匹配目标统计信息来合成新图像。我们解释了在我们的模型中使用的不同类型的预定义的小波滤波器的必要性和多层结构的图像合成的优点。我们通过生成高质量纹理的样本并提供对纹理图像深度表示的见解来展示我们模型的强大功能。
2021-05-22 cs.CV
Deep Geometric Texture Synthesis
Tel Aviv University（特拉维夫大学）
最近，用于图像生成的深度生成对抗网络发展迅速;然而，只有少量的研究集中在不规则结构的生成模型上，特别是网格。尽管如此，网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中，我们提出了一个新的框架合成几何纹理。它从局部邻域（即，局部三角形片）。它学习输入三角剖分面上的深层特征，用于细分和生成跨多个尺度的偏移，而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点（即，在法向和切向方向上），从而能够合成几何纹理，这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成，实现了一个类无关的框架，便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
Two-Stream Convolutional Networks for Dynamic Texture Synthesis
York University（约克大学）；Ryerson University（瑞尔森大学）
本文介绍了一种用于动态纹理合成的双流模型。我们的模型基于预训练的卷积网络（ConvNets），该网络针对两个独立的任务：（i）对象识别，以及（ii）光流预测。给定一个输入动态纹理，来自对象识别ConvNet的滤波器响应的统计数据封装了输入纹理的每帧外观，而来自光流ConvNet的滤波器响应的统计数据对其动态进行建模。为了生成一个新的纹理，随机初始化的输入序列进行优化，以匹配每个流的示例纹理的特征统计。受最近图像风格转移工作的启发，并启用双流模型，我们还应用合成方法将一个纹理的纹理外观与另一个纹理的动态相结合，生成全新的动态纹理。我们表明，我们的方法产生新的，高质量的样本，匹配输入纹理的逐帧外观和时间演变。最后，我们定量评估我们的纹理合成方法与彻底的用户研究。
2018-04-12 cs.CV
Dynamic Texture Synthesis by Incorporating Long-range Spatial and Temporal Correlations
University of Southern California, Los Angeles, USA
动态纹理合成的主要挑战在于如何保持合成视频的时空一致性。现有的动态纹理合成模型的主要缺点是不能很好地处理长距离纹理相关性和运动信息。为了解决这个问题，我们纳入了一个新的损失术语，称为移位革兰氏损失，以捕获参考纹理视频的结构和长程相关性。此外，我们引入了一个帧采样策略，利用跨多帧的长周期运动。这两种新技术的应用扩展了现有纹理合成模型的应用范围。也就是说，他们不仅可以合成均匀的，而且结构化的动态纹理图案。彻底的实验结果表明，我们提出的动态纹理合成模型提供了最先进的视觉性能。
2021-04-14 cs.AI cs.CV
Deep Tiling: Texture Tile Synthesis Using a Deep Learning Approach
University of Ioannina（约阿尼纳大学）
纹理是计算机图形学中的一个基本过程。利用纹理来增强3D场景的可视化结果。在许多情况下，纹理图像不能覆盖大的3D模型表面，因为其分辨率小。常规技术，如重复、镜像重复或边缘夹持，不能产生视觉上可接受的结果。基于深度学习的纹理合成已被证明在这种情况下非常有效。所有尝试创建更大分辨率纹理的深度纹理合成方法都受到GPU内存资源的限制。在本文中，我们提出了一种新的方法来基于示例的纹理合成，通过使用一个强大的深度学习过程来创建类似于输入纹理的结构组件的任意分辨率的瓦片。以这种方式，我们的方法是首先少得多的内存限制，由于一个小尺寸的新的纹理瓦片合成和合并与原始纹理的事实，其次可以很容易地产生一个大的纹理丢失的部分。
2021-03-14 cs.CV cs.GR
Super-resolution Using Constrained Deep Texture Synthesis
Brown University（布朗大学）；Georgia Institute of Technology（佐治亚理工学院）
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功，并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成，以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究提出Infinite Texture方法，通过单纹理微调扩散模型结合分数聚合策略，实现单GPU上文本引导的任意分辨率纹理生成，效果优于现有方法，可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
Diversified Texture Synthesis with Feed-forward Networks
University of California, Merced（加利福尼亚大学默塞德分校）；Adobe Research（Adobe研究院）
近年来，基于深度判别和生成模型的纹理合成方法取得了可喜的成果。然而，现有的基于前馈的方法权衡了通用性和效率，其存在许多问题，例如缺乏通用性（即，每个纹理建立一个网络），缺乏多样性（即，总是产生视觉上相同的输出）和次优性（即，产生不太令人满意的视觉效果）。在这项工作中，我们专注于解决这些问题，改进纹理合成。我们提出了一个深度生成前馈网络，它可以在一个网络中有效地合成多个纹理，并在它们之间进行有意义的插值。同时，一套重要的技术被引入，以实现更好的收敛性和多样性。通过大量的实验，我们证明了所提出的模型和技术的有效性，用于合成大量的纹理，并显示其应用与风格化。
2017-03-05 cs.CV
Co-occurrence Based Texture Synthesis
Tel Aviv University（特拉维夫大学）；Cornell Tech, Cornell University（康奈尔科技学院，康奈尔大学）
随着图像生成技术的成熟，人们对易于理解和直观操作的可解释表示越来越感兴趣。在这项工作中，我们转向共现统计，长期以来一直用于纹理分析，学习一个可控的纹理合成模型。我们提出了一个完全卷积的生成对抗网络，以共现统计为条件，生成任意大的图像，同时对纹理外观进行局部可解释的控制。为了鼓励对输入条件的保真度，我们引入了一种新的可微同现损失，它以端到端的方式无缝集成到我们的框架中。我们证明，我们的解决方案提供了一个稳定的，直观的和可解释的纹理合成，它可以用来生成一个光滑的纹理变形之间的纹理合成的潜在表示。我们进一步展示了一个交互式纹理工具，它允许用户直接使用同现值来调整合成纹理图像的局部特征。
2020-07-22 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）；Argo AI（阿尔戈人工智能公司）
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制，但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁，以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点，我们开发了一个局部纹理损失，除了对抗和内容损失训练生成网络。我们进行实验，使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图，结果表明，我们提出的算法是能够生成可信的图像，是忠实于用户控制。消融研究表明，我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
Texture Synthesis Using Shallow Convolutional Networks with Random Filters
University of Tübingen（蒂宾根大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
在这里，我们证明随机浅层卷积神经网络（CNN）的特征空间可以作为自然纹理的令人惊讶的良好模型。来自相同纹理的面片始终被分类为比来自不同纹理的面片更相似。从模型合成的样本捕获的尺度上的空间相关性比感受野的大小大得多，有时甚至竞争对手或超过感知质量的最先进的纹理模型（但显示较少的变化）。参数化纹理合成的当前技术水平依赖于在自然图像上训练的深度CNN的多层特征空间。我们的研究结果表明，这种优化的多层特征空间是不必要的纹理建模。相反，更简单的浅层和卷积网络可以作为新的纹理合成算法的基础。
2016-05-31 cs.CV
Generalized Rectifier Wavelet Covariance Models For Texture Synthesis
ENS, PSL University（巴黎高等师范学院，巴黎文理研究大学）；Université de Toulouse, INP, IRIT（图卢兹大学，图卢兹国立综合理工学院，图卢兹信息学研究所）；Collège de France（法兰西公学院）；Flatiron Institute（弗莱提荣研究所）
用于纹理合成的最大熵模型是根据依赖于卷积神经网络（CNN）定义的图像表示的统计来构建的。这种表示捕捉纹理图像中丰富的结构，在这方面优于基于小波的表示。然而，与神经网络相反，小波提供了有意义的表示，因为已知它们可以检测图像中多个尺度的结构（例如边缘）。在这项工作中，我们提出了一个家庭的统计数据建立在非线性小波表示，可以被视为一个特定的实例，一层CNN，使用广义整流器非线性。这些统计数据显着提高了以前的经典小波模型的视觉质量，并允许一个国家的最先进的模型，灰度和彩色纹理产生类似的质量合成。
2022-03-14 cs.CV cs.LG eess.IV
Long Range Constraints for Neural Texture Synthesis Using Sliced Wasserstein Loss
Michigan State University（密歇根州立大学）
针对神经纹理合成中长距离约束依赖正则化项或空间标签的问题，提出基于 Sliced Wasserstein Loss 的多尺度纹理合成方法，无需空间标签即可有效捕捉长距离约束。
2024-02-09 cs.CV
Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter
NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）
用于纹理合成的传统CNN由一系列（去）卷积和上/下采样层组成，其中每个层都在本地操作，并且缺乏捕获纹理合成所需的长期结构依赖性的能力。因此，它们通常只是简单地放大输入纹理，而不是执行合理的合成。作为一种妥协，许多最近的方法通过在相同的单个（或固定的一组）纹理图像上进行训练和测试来牺牲可推广性，从而导致对不可见图像的巨大重新训练时间成本。在这项工作中，基于传统纹理合成中的组装/缝合操作类似于转置卷积操作的发现，我们提出了一种新的使用转置卷积操作的方法。具体来说，我们直接将输入纹理的整个编码特征图作为转置卷积滤波器，并将捕获自相关信息的特征的自相似性图作为转置卷积的输入。这样的设计允许我们的框架，一旦训练，是可推广的，以执行合成看不见的纹理与一个单一的前向通过在近实时。我们的方法实现了国家的最先进的纹理合成质量的基础上，各种指标。虽然自相似性有助于保持输入纹理的规则结构模式，但我们的框架还可以将不规则输入纹理的随机噪声映射而不是自相似性映射作为转置卷积输入。它允许获得更多样化的结果，并通过在单次通过中直接采样大噪声贴图来生成任意大的纹理输出。
2020-07-14 cs.CV cs.GR
A geometrically aware auto-encoder for multi-texture synthesis
LTCI, Télécom Paris, IP Paris（巴黎电信学院LTCI实验室，巴黎理工学院）；ONERA, Université Paris Saclay（巴黎萨克雷大学，法国航空航天研究院）
本文提出一种用于多纹理合成的几何感知自编码器，通过紧凑编码器与自适应周期性内容生成器将纹理表示与空间组织解耦，在视觉质量与纹理指标上优于现有前馈方法。
2023-06-29 cs.AI cs.CV
SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps
SEDDI（SEDDI 公司）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
我们提出了一种能够从单个输入样本自动生成可平铺纹理图的方法。与大多数现有的方法，只专注于解决综合问题，我们的工作解决这两个问题，合成和平铺性，同时。我们的关键思想是认识到，在使用对抗扩展技术训练的生成网络中平铺潜在空间会在接缝交叉点处产生连续性输出，然后可以通过裁剪中心区域将其转换为可平铺图像。由于不是潜在空间的每个值都能有效地产生高质量的输出，因此我们利用该值作为感知误差度量，能够在采样过程中识别无伪影的纹理。此外，与以前的工作相比，深度纹理合成，我们的模型的设计和优化工作与多层纹理表示，使纹理组成的多个地图，如纹理，法线等，我们广泛测试我们的设计选择的网络架构，损失函数和采样参数。我们定性和定量地表明，我们的方法优于以前的方法，适用于不同类型的纹理。
2022-01-13 cs.CV cs.GR cs.LG
Towards Universal Texture Synthesis by Combining Texton Broadcasting with Noise Injection in StyleGAN-2
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
本文在 StyleGAN-2 中引入多尺度纹理基元广播与噪声注入以实现通用纹理合成，并构建高分辨率纹理数据集，实验表明其生成质量优于现有方法。
2022-03-08 cs.CV
Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis
University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
本文提出U型注意力视觉Transformer，通过分层沙漏主干网络在单次推理中实现通用纹理合成，兼顾全局结构与微观细节，并在随机和结构化纹理上取得更强的2倍合成效果。
2024-08-08 cs.CV cs.GR eess.IV
Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints
Telecom-ParisTech（巴黎高等电信学院）；Wuhan University（武汉大学）
本文提出了一个显着的改进，使用卷积神经网络（CNN）的纹理图像的合成，利用傅立叶频谱的结果的约束。更准确地说，纹理合成被视为一个约束优化问题，约束条件的傅立叶频谱和CNN学习的统计特征。与现有的方法相比，所提出的方法继承了以前的CNN方法的能力，描绘局部结构和精细尺度的细节，并在同一时间产生连贯的大尺度结构，即使在准周期图像的情况下。这是在没有额外计算成本的情况下完成的。各种图像上的合成实验显示出明显的改善相比，最近的最先进的方法只依赖于CNN的约束。
2016-05-19 cs.CV
Texture Networks: Feed-forward Synthesis of Textures and Stylized Images
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex（扬德克斯）；University of Oxford（牛津大学）
Gatys等人最近证明，深度网络可以从单个纹理示例中生成美丽的纹理和风格化的图像。然而，他们的方法需要一个缓慢且消耗内存的优化过程。我们在这里提出了一种替代方法，将计算负担转移到学习阶段。给定一个纹理的例子，我们的方法训练紧凑的前馈卷积网络来生成任意大小的相同纹理的多个样本，并将艺术风格从给定图像转移到任何其他图像。由此产生的网络是非常轻的重量，并可以生成质量媲美Gatys等人的纹理，但要快上几百倍更一般地说，我们的方法突出了生成前馈模型的功能和灵活性，该模型使用复杂且富有表现力的损失函数进行训练。
2016-03-10 cs.CV
Texture Mixer: A Network for Controllable Synthesis and Interpolation of Texture
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Adobe Research（Adobe研究院）；University of Virginia（弗吉尼亚大学）
本文讨论了视觉纹理的插值问题。我们制定了这个问题，要求（1）的例子可控性和（2）现实和光滑的插值之间的任意数量的纹理样本。为了解决这个问题，我们提出了一个神经网络训练同时重建任务和生成任务，它可以投影纹理的例子到一个潜在的空间，他们可以线性插值和投影回图像域，从而确保直观的控制和现实的结果。根据一套全面的指标和用户研究，我们的方法优于许多基线。我们进一步展示了几个应用程序的基础上，我们的技术，其中包括纹理刷，纹理溶解，和动物杂交。
2019-04-16 cs.CV
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance（康斯坦茨应用技术大学）
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中，我们提出了使用卷积神经网络（CNN）的图像修补的大区域的高分辨率纹理。由于有限的计算资源，用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离，这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展，我们提出了基于块的图像修补的CNN，能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域，通常超过高分辨率图像的可比方法的质量。对于参考补丁查找，我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）
提出DyNCA框架，基于NCA模型实现实时、可控的动态纹理合成，支持无限长任意尺寸视频，性能提升2-4个数量级，并提供运动速度、方向和画笔等实时控制功能。
2023-03-30 cs.CV cs.GR cs.LG
Texture Synthesis Guided Deep Hashing for Texture Image Retrieval
Nanyang Technological University（南洋理工大学）；Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
随着互联网上的图像和视频的大规模爆炸，已经开发了有效的哈希方法来促进相似图像的存储器和时间有效检索。然而，没有现有的作品使用哈希来解决纹理图像检索主要是因为缺乏足够大的纹理图像数据库。我们的工作通过开发一种新颖的深度学习架构来解决这个问题，该架构为输入纹理图像生成二进制哈希码。为此，我们首先预训练纹理合成网络（TSN），该网络将纹理补丁作为输入，并通过注入更新的纹理内容来输出纹理的放大视图。因此，这意味着TSN在其中间层中对学习的纹理特定信息进行编码。在下一阶段，第二个网络使用通道注意力从TSN的中间层收集多尺度特征表示，以渐进的方式将它们组合成密集的连续表示，最终在个体和成对标签信息的帮助下将其转换为二进制哈希码。新的放大纹理块也有助于数据增强，以缓解纹理数据不足的问题，并用于训练网络的第二阶段。三个公开的纹理图像检索数据集上的实验表明，我们的纹理合成引导哈希方法优于当前国家的最先进的方法。
2019-06-05 cs.CV
InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
A survey of exemplar-based texture synthesis
Universitat Pompeu Fabra（庞培法布拉大学）；École normale supérieure Paris-Saclay（巴黎萨克雷高等师范学校）
基于样本的纹理合成是从输入样本生成任意大小的新纹理图像的过程，并且这些新纹理图像在感知上与样本等价。两种主要的方法是基于几何学的方法和补丁重排方法。在第一类中，纹理的特征在于统计签名;然后，以该签名为条件的随机采样产生真正不同的纹理图像。第二个类归结为一个聪明的“复制-粘贴”过程，它将样本的大区域缝合在一起。混合方法试图将两种方法的思想结合起来，以避免它们的障碍。最近的方法，使用卷积神经网络适合这种分类，一些是统计和其他执行补丁重新安排在特征空间。他们在各种纹理上产生令人印象深刻的合成。然而，我们发现大多数真实的纹理是在多个尺度上组织的，在粗尺度上显示出全局结构，在细尺度上显示出高度变化的细节。因此，当面对大的自然图像的纹理的国家的最先进的方法的结果迅速退化，和建模它们的问题仍然是敞开的。
2017-11-24 cs.CV
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
Meta；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Maryland, College Park（马里兰大学帕克分校）
TextureDreamer提出个性化几何感知分数蒸馏（PGSD），仅用3到5张随意拍摄的图像即可将真实环境中的精细可重光照纹理迁移到任意3D物体上，显著超越此前方法。
2024-01-17 cs.CV cs.GR
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
SceneTex提出一种基于深度到图像扩散先验的室内场景纹理合成方法，通过多分辨率纹理场和交叉注意力解码器在RGB空间中优化生成高质量且风格一致的纹理，在3D-FRONT场景上显著优于已有方法。
2023-11-28 cs.CV
High resolution neural texture synthesis with long range constraints
Université Paris-Saclay（巴黎-萨克雷大学）；LTCI, Télécom Paris, Institut polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
纹理合成领域在过去的几年里取得了重要的进展，最显著的是通过使用卷积神经网络。然而，神经合成方法仍然难以再现大规模结构，特别是具有高分辨率纹理的结构。为了解决这个问题，我们首先介绍了一个简单的多分辨率框架，有效地占长距离依赖。然后，我们表明，额外的统计约束，进一步提高再现纹理具有很强的规律性。这可以通过约束神经网络的Gram矩阵和图像的功率谱来实现。或者，可以仅约束网络的特征的自相关性，而放弃格拉姆矩阵约束。在实验部分，所提出的方法进行了广泛的测试，并与其他方法相比，无论是在一个无监督的方式，并通过用户研究。实验表明，高分辨率纹理的多尺度方案的利益和利益相结合，它与规则纹理的附加约束。
2020-08-04 cs.CV
Non-Stationary Texture Synthesis by Adversarial Expansion
Shenzhen University（深圳大学）；Huazhong University of Science & Technology（华中科技大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
提出一种基于GAN的对抗扩展方法，通过训练全卷积生成器将纹理块空间范围扩大一倍，有效解决非平稳纹理合成中捕获大尺度结构等挑战。
2018-05-11 cs.CV cs.GR
GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
ETH Zurich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）
我们提出了一种新的纹理合成框架，使生成无限的，高质量的三维纹理给定的二维样本图像。受自然纹理合成最新进展的启发，我们训练深度神经模型，通过非线性组合学习到的噪声频率来生成纹理。为了实现一个高度现实的输出条件下的样本补丁，我们提出了一个新的损失函数，结合了风格转移和生成对抗网络的想法。特别地，我们训练合成网络以匹配来自一个神经网络的深层特征的Gram矩阵。此外，我们提出了两个架构的概念和外推策略，显着提高泛化性能。特别是，我们通过学习缩放和偏置隐藏的激活，将模型输入和条件注入隐藏的网络层。定量和定性评估的一组不同的范例激励我们的设计决策，并表明我们的系统性能优于以前的最先进的状态。最后，我们进行了用户研究，确认我们的框架的好处。
2020-06-30 cs.CV cs.GR
Conditional Generative ConvNets for Exemplar-based Texture Synthesis
Wuhan University（武汉大学）；Paris Descartes University（巴黎笛卡尔大学）
基于样本的纹理合成的目标是生成与给定样本在视觉上相似的纹理图像。最近，通过依赖于在大规模图像数据集上预训练的卷积神经网络（ConvNets）的方法，已经报道了有希望的结果。然而，这些方法在合成具有非局部结构的图像纹理和扩展到动态或声音纹理方面存在困难。在本文中，我们提出了一个条件生成ConvNet（cgCNN）模型，它结合了深度统计和生成ConvNet（gCNN）模型的概率框架。给定一个纹理样本，cgCNN模型使用ConvNet的深度统计定义一个条件分布，并通过从条件分布中采样来合成新的纹理。与以前的深度纹理模型相比，所提出的cgCNN不依赖于预先训练的ConvNets，而是学习每个输入样本的ConvNets的权重。因此，cgCNN模型可以以统一的方式合成高质量的动态，声音和图像纹理。我们还探讨了我们的模型和其他纹理模型之间的理论联系。进一步的研究表明，cgCNN模型可以很容易地推广到纹理扩展和修复。大量的实验表明，我们的模型可以实现更好的或至少可比的结果比国家的最先进的方法。
2019-12-17 cs.CV
Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex；University of Oxford（牛津大学）
Gatys等人最近的工作，他通过卷积神经网络滤波器的统计特性来表征图像的风格，重新点燃了人们对纹理生成和图像风格化问题的兴趣。虽然他们的图像生成技术使用了一个缓慢的优化过程，但最近几位作者提出学习生成器神经网络，它可以在一次快速向前传递中产生类似的输出。虽然生成器网络很有前途，但与优化生成相比，它们在视觉质量和多样性方面仍然较差。在这项工作中，我们以两种重要的方式推进它们。首先，我们引入了一个实例规范化模块来取代批量归一化，从而显著提高了图像风格化的质量。其次，我们通过引入一种新的学习公式来提高多样性，该公式鼓励生成器从Julesz纹理集合中无偏地采样，Julesz纹理集合是由某些滤波器响应表征的所有图像的等价类。这两项改进使前馈纹理合成和图像风格化更接近于通过优化生成的质量，同时保留了速度优势。
2017-11-06 cs.CV
EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
单图像超分辨率是从单个低分辨率输入推断高分辨率图像的任务。传统上，用于该任务的算法的性能是使用逐像素重建测量来测量的，例如峰值信噪比（PSNR），其已被证明与人类对图像质量的感知相关性很差。因此，最小化这些度量的算法往往会产生过度平滑的图像，这些图像缺乏高频纹理，尽管产生高PSNR值，但看起来不自然。我们提出了一种自动纹理合成的新应用，结合感知损失，专注于创建逼真的纹理，而不是在训练过程中优化地面真实图像的像素精确再现。通过在对抗训练环境中使用前馈全卷积神经网络，我们在高放大倍率下实现了图像质量的显著提升。大量的数据集上的实验表明，我们的方法的有效性，产生国家的最先进的结果在定量和定性基准。
2017-07-30 cs.AI cs.CV stat.ML
Patch-based Texture Synthesis for Image Inpainting
图像修补是图像处理和视觉中的一项重要任务。在本文中，我们开发了一个通用的方法，基于块的图像修补合成新的纹理从现有的。提出了一种新的框架来寻找多个最优的候选块，并在此过程中生成新的纹理块。我们形成它作为一个优化问题，确定潜在的补丁合成从粗到细的方式。我们使用的纹理描述符作为线索，在搜索匹配补丁从已知的区域。为了确保结构忠实于原始图像，几何约束度量被正式定义，直接应用于补丁合成过程。我们广泛地进行了我们的实验上广泛的测试图像上的各种场景和内容，通过任意指定的目标区域的推断，然后使用现有的评价指标，以验证其纹理的一致性和结构的一致性。我们的研究结果表明，高精度和理想的输出，可以潜在地用于许多应用：对象去除，背景减除，和图像检索。
2016-05-05 cs.CV
Texture Image Synthesis Using Spatial GAN Based on Vision Transformers
Shiraz University（设拉子大学）
本文提出ViT-SGAN混合模型，将视觉Transformer与空间GAN融合，并通过在自注意力机制中引入纹理描述符来提升纹理合成质量，在多个指标上优于现有最先进模型。
2025-05-07 cs.AI cs.CV
Enhancing Texture Generation with High-Fidelity Using Advanced Texture Priors
MetaApp AI Research（MetaApp AI研究院）；Zhengzhou University（郑州大学）；Beijing Institute of Technology（北京理工大学）；Beijing University of Technology（北京工业大学）；Northeastern University（东北大学）
针对现有3D纹理生成在用户简化模型后出现走样模糊、高分辨率合成有噪声且保真度不足的问题，提出结合初始粗糙纹理的高保真纹理修复与自监督背景噪声平滑技术，实验证明其高分辨率纹理恢复效果优于现有方案。
2024-03-08 cs.CV
RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models
NCSOFT（NCsoft公司）；Korea University（高丽大学）；Chung-Ang University（中央大学）
本文提出RoCoTex方法，利用SDXL和多个ControlNet扩散模型，结合对称视角合成、区域提示、纹理混合与软修复技术，解决文本到纹理生成中的视角不一致、接缝和网格错位问题，实验证明其优于现有方法。
2024-09-30 cs.CV cs.GR
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
我们提出了Text2Tex，一种新的方法，从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中，从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影，我们动态地将渲染视图分割成一个生成掩码，该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外，我们提出了一个自动视图序列生成方案，以确定下一个最佳的视图更新的部分纹理。大量的实验表明，我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis
Tencent Hunyuan（腾讯混元）；ShanghaiTech University（上海科技大学）
RomanTex提出一种结合三维感知旋转位置嵌入的多注意力网络，通过解耦特性和几何相关CFG机制，实现高质量、一致的多视图纹理合成，达到最先进水平。
2025-03-24 cs.CV
Learning in a Single Domain for Non-Stationary Multi-Texture Synthesis
Huazhong University of Science and Technology（华中科技大学）；Baidu Inc.（百度公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种多尺度生成器与类别特定训练策略，首次实现单模型合成多种非平稳纹理，并设计客观评估指标，实验证明性能优越且高效。
2023-09-06 cs.CV
TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures
KAUST（阿卜杜拉国王科技大学）
我们解决的问题，纹理合成的设置中，许多输入图像，并要求大规模的输出。我们建立在最近的生成对抗网络上，并在本文中提出了两个扩展。首先，我们提出了一种算法来组合在较小分辨率上训练的GANs的输出，以产生几乎没有边界伪影的大规模合理纹理图。其次，我们提出了一个用户界面，使艺术控制。我们的定量和定性结果展示了合成的高分辨率地图的生成，包括高达数百万像素的一个例子。
2019-04-29 cs.AI cs.CV cs.GR
A Sliced Wasserstein Loss for Neural Texture Synthesis
Unity Technologies（Unity科技）
我们解决了基于从针对对象识别优化的卷积神经网络（例如VGG-19）的特征激活中提取的统计数据来计算纹理损失的问题。基本的数学问题是特征空间中两个分布之间的距离的度量。格拉姆矩阵损失是这个问题的普遍近似，但它受到几个缺点。我们的目标是推广切片Wasserstein距离作为它的替代。它在理论上得到了证明，实用，实现简单，并通过优化或训练生成神经网络实现了视觉上优越的纹理合成结果。
2021-03-11 cs.CV
Stochastic Geometry Models for Texture Synthesis of Machined Metallic Surfaces: Sandblasting and Milling
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
针对表面缺陷检测训练数据不足的问题，基于表面形貌测量开发了喷砂与铣削金属表面的随机几何纹理合成模型，为构建数字孪生提供支持。
2024-03-20 cs.CE cs.CV
Neural Texture Extraction and Distribution for Controllable Person Image Synthesis
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Tencent America（腾讯美国）；Advanced Institute of Information Technology, Peking University（北京大学高等信息科学技术研究院）
我们处理可控的人的图像合成任务，其目的是重新渲染一个人从一个参考图像，明确控制身体姿势和外观。观察到的人的图像是高度结构化的，我们建议通过提取和分配参考图像的语义实体生成所需的图像。为了实现这一目标，一个神经纹理提取和分布操作的基础上的双重注意。该操作首先从参考特征图中提取语义神经纹理。然后，它分布提取的神经纹理根据空间分布从目标姿态学习。我们的模型经过训练，可以预测任意姿势的人类图像，这鼓励它提取代表不同语义实体外观的无纠缠和表达性神经纹理。解纠缠表示进一步实现显式外观控制。不同参考图像的神经纹理可以被融合以控制感兴趣区域的外观。实验比较表明了该模型的优越性。代码可在https://github.com/RenYurui/Neural-Texture-Extraction-Distribution上获得。
2022-04-13 cs.AI cs.CV
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；POSTECH（浦项科技大学）；Institute for Convergence Research and Education in Advanced Technology, Yonsei University（延世大学尖端技术融合研究与教育学院）
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法，利用SDS在15分钟内为3D网格生成高质量PBR纹理图，有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University（Chung-Ang大学图像系）；Graphics AI Lab, NCSOFT（NCSOFT图形AI实验室）；Department of Computer Science, University of Seoul（首尔大学计算机科学系）
提出VideoTex框架，利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题，通过结构级UV扩散策略提升遮挡区域生成质量，实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
Carton dataset synthesis method for domain shift based on foreground texture decoupling and replacement
Huazhong University of Science and Technology（华中科技大学）
在工业应用中快速部署目标检测模型的一个主要障碍是缺乏大型注释数据集。我们目前已经提出了Sacked Carton Dataset（SCD），其中包含来自三个场景的纸箱图像，例如综合医药物流公司（CPLC），电子商务物流公司（ECLC），水果市场（FM）。然而，由于域转移，SCD中的三个场景之一训练的模型在应用于其余场景时具有较差的泛化能力。为了解决这个问题，提出了一种新的图像合成方法，用目标数据集的纹理代替源数据集的前景纹理。我们的方法可以保持前景对象和背景的上下文关系不变，大大增加了目标数据集。我们首先提出一个表面分割算法，以实现纹理解耦的每个实例。其次，提出了一种保持实例遮挡和截断关系不变的轮廓重建算法。最后，利用高斯融合算法将源数据集的前景纹理替换为目标数据集的纹理。对于目标域，新的图像合成方法可以在RetinaNet上将AP提高至少4.3%~6.5%，在Faster R-CNN上提高3.4%~6.8%。代码可在https://github.com/hustgetlijun/RCAN上获得。
2021-04-26 cs.CV
