TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校);Argo AI(阿尔戈人工智能公司)
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制,但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁,以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点,我们开发了一个局部纹理损失,除了对抗和内容损失训练生成网络。我们进行实验,使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图,结果表明,我们提出的算法是能够生成可信的图像,是忠实于用户控制。消融研究表明,我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
Order-Independent Texture Synthesis
基于搜索的纹理合成算法对纹理样本的生成顺序很敏感,不同的合成顺序会产生不同的纹理。不幸的是,大多数多边形光栅化器和光线跟踪器不能保证曲面的采样顺序。为了避免这个问题,纹理是预先合成在某一最大分辨率和渲染使用纹理映射。我们描述了一种基于搜索的纹理合成算法,其中可以以任意顺序生成样本,但所得到的纹理保持一致。我们的算法的关键是一个金字塔表示,其中每个纹理样本只依赖于一个固定数量的相邻样本在金字塔的每一级。金字塔的底部(粗)层由噪声图像组成,该噪声图像很小并且是预定的。当渲染器请求采样时,它所依赖的所有采样都会立即生成。使用这种方法,可以以任何顺序生成样本。为了使算法的效率,我们建议存储纹理样本和它们的依赖在一个金字塔缓存。虽然前几个采样的生成代价很高,但有大量的重用,因此后续采样的代价更低。幸运的是,大多数渲染算法都表现出良好的一致性,因此缓存重用率很高。
2014-06-28 cs.GR
Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校)
用于纹理合成的传统CNN由一系列(去)卷积和上/下采样层组成,其中每个层都在本地操作,并且缺乏捕获纹理合成所需的长期结构依赖性的能力。因此,它们通常只是简单地放大输入纹理,而不是执行合理的合成。作为一种妥协,许多最近的方法通过在相同的单个(或固定的一组)纹理图像上进行训练和测试来牺牲可推广性,从而导致对不可见图像的巨大重新训练时间成本。在这项工作中,基于传统纹理合成中的组装/缝合操作类似于转置卷积操作的发现,我们提出了一种新的使用转置卷积操作的方法。具体来说,我们直接将输入纹理的整个编码特征图作为转置卷积滤波器,并将捕获自相关信息的特征的自相似性图作为转置卷积的输入。这样的设计允许我们的框架,一旦训练,是可推广的,以执行合成看不见的纹理与一个单一的前向通过在近实时。我们的方法实现了国家的最先进的纹理合成质量的基础上,各种指标。虽然自相似性有助于保持输入纹理的规则结构模式,但我们的框架还可以将不规则输入纹理的随机噪声映射而不是自相似性映射作为转置卷积输入。它允许获得更多样化的结果,并通过在单次通过中直接采样大噪声贴图来生成任意大的纹理输出。
2020-07-14 cs.CV cs.GR
Surface-aware Mesh Texture Synthesis with Pre-trained 2D CNNs
针对现有基于学习的网格纹理合成方法的缺陷,提出一种利用适配3D网格的预训练2D CNN的表面感知方法,实现高质量一致纹理合成,效果优于现有最优方法。
2024-03-11 cs.GR
SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps
SEDDI(SEDDI 公司);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
我们提出了一种能够从单个输入样本自动生成可平铺纹理图的方法。与大多数现有的方法,只专注于解决综合问题,我们的工作解决这两个问题,合成和平铺性,同时。我们的关键思想是认识到,在使用对抗扩展技术训练的生成网络中平铺潜在空间会在接缝交叉点处产生连续性输出,然后可以通过裁剪中心区域将其转换为可平铺图像。由于不是潜在空间的每个值都能有效地产生高质量的输出,因此我们利用该值作为感知误差度量,能够在采样过程中识别无伪影的纹理。此外,与以前的工作相比,深度纹理合成,我们的模型的设计和优化工作与多层纹理表示,使纹理组成的多个地图,如纹理,法线等,我们广泛测试我们的设计选择的网络架构,损失函数和采样参数。我们定性和定量地表明,我们的方法优于以前的方法,适用于不同类型的纹理。
2022-01-13 cs.CV cs.GR cs.LG
DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
提出DyNCA框架,基于NCA模型实现实时、可控的动态纹理合成,支持无限长任意尺寸视频,性能提升2-4个数量级,并提供运动速度、方向和画笔等实时控制功能。
2023-03-30 cs.CV cs.GR cs.LG
Innovative Non-parametric Texture Synthesis via Patch Permutations
在这项工作中,我们提出了一种非参数纹理合成算法,能够产生似是而非的图像,而无需复制大瓷砖的样本。我们专注于一个简单的合成算法,在那里我们探索两个补丁匹配算法;众所周知的双向相似性(BS)措施和启发式,发现附近的排列使用熵正则化的最优运输(OT)问题的解决方案。创新的合成是用一个小的补丁大小,其中全球可扩展性依赖于匹配的质量。对于OT,更少的熵正则化也意味着接近排列和更合理的图像。我们研究合成图像的瓦片地图,表明它们确实是输入的新叠加,并且包含很少或没有逐字副本。将合成结果与统计方法(即随机卷积网络)进行比较。我们的结论是,只使用输入图像的简单算法可以很好地合成纹理,并呼吁在未来的算法设计更温和的方法。
2018-01-14 cs.GR
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
Meta;University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Maryland, College Park(马里兰大学帕克分校)
TextureDreamer提出个性化几何感知分数蒸馏(PGSD),仅用3到5张随意拍摄的图像即可将真实环境中的精细可重光照纹理迁移到任意3D物体上,显著超越此前方法。
2024-01-17 cs.CV cs.GR
Non-Stationary Texture Synthesis by Adversarial Expansion
Shenzhen University(深圳大学);Huazhong University of Science & Technology(华中科技大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
提出一种基于GAN的对抗扩展方法,通过训练全卷积生成器将纹理块空间范围扩大一倍,有效解决非平稳纹理合成中捕获大尺度结构等挑战。
2018-05-11 cs.CV cs.GR
GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
ETH Zurich(苏黎世联邦理工学院);CSEM(瑞士电子与微技术中心)
我们提出了一种新的纹理合成框架,使生成无限的,高质量的三维纹理给定的二维样本图像。受自然纹理合成最新进展的启发,我们训练深度神经模型,通过非线性组合学习到的噪声频率来生成纹理。为了实现一个高度现实的输出条件下的样本补丁,我们提出了一个新的损失函数,结合了风格转移和生成对抗网络的想法。特别地,我们训练合成网络以匹配来自一个神经网络的深层特征的Gram矩阵。此外,我们提出了两个架构的概念和外推策略,显着提高泛化性能。特别是,我们通过学习缩放和偏置隐藏的激活,将模型输入和条件注入隐藏的网络层。定量和定性评估的一组不同的范例激励我们的设计决策,并表明我们的系统性能优于以前的最先进的状态。最后,我们进行了用户研究,确认我们的框架的好处。
2020-06-30 cs.CV cs.GR
RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models
NCSOFT(NCsoft公司);Korea University(高丽大学);Chung-Ang University(中央大学)
本文提出RoCoTex方法,利用SDXL和多个ControlNet扩散模型,结合对称视角合成、区域提示、纹理混合与软修复技术,解决文本到纹理生成中的视角不一致、接缝和网格错位问题,实验证明其优于现有方法。
2024-09-30 cs.CV cs.GR
TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures
KAUST(阿卜杜拉国王科技大学)
我们解决的问题,纹理合成的设置中,许多输入图像,并要求大规模的输出。我们建立在最近的生成对抗网络上,并在本文中提出了两个扩展。首先,我们提出了一种算法来组合在较小分辨率上训练的GANs的输出,以产生几乎没有边界伪影的大规模合理纹理图。其次,我们提出了一个用户界面,使艺术控制。我们的定量和定性结果展示了合成的高分辨率地图的生成,包括高达数百万像素的一个例子。
2019-04-29 cs.AI cs.CV cs.GR
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);POSTECH(浦项科技大学);Institute for Convergence Research and Education in Advanced Technology, Yonsei University(延世大学尖端技术融合研究与教育学院)
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法,利用SDS在15分钟内为3D网格生成高质量PBR纹理图,有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University(Chung-Ang大学图像系);Graphics AI Lab, NCSOFT(NCSOFT图形AI实验室);Department of Computer Science, University of Seoul(首尔大学计算机科学系)
提出VideoTex框架,利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题,通过结构级UV扩散策略提升遮挡区域生成质量,实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
Diffusion-based Holistic Texture Rectification and Synthesis
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Waseda University(早稻田大学)
针对自然图像纹理样本的遮挡与畸变,本文提出带遮挡感知潜在变换器的条件LDM框架,并通过几何变换与自由掩码生成训练数据,实现整体纹理校正与合成。
2023-09-26 cs.CV cs.GR
Volumetric Temporal Texture Synthesis for Smoke Stylization using Neural Cellular Automata
针对3D体积烟雾艺术风格化时空一致性难、资源受限的问题,提出体积神经细胞自动机(VNCA)模型,实现实时多视角一致风格化与时间连贯过渡,训练时间减少超一个数量级,且可扩展至网格风格化。
2025-02-05 cs.GR eess.IV
TexTile: A Differentiable Metric for Texture Tileability
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);SEDDI
提出 TexTile,一种基于二分类器的可微度量,通过架构修改与数据增强准确量化纹理可平铺性,可集成至现有合成方法并客观评估其性能。
2024-03-19 cs.AI cs.CV cs.GR
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix;University of Virginia(弗吉尼亚大学)
最近,已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法(例如Gatys等人[2015,2016])。这些方法是令人兴奋的,因为它们在某些情况下可以创建具有最先进质量的结果。然而,在本文中,我们表明这些方法也有纹理质量,稳定性,必要的参数调整,并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线,以改善这些问题。我们首先给出了一个数学解释的来源,在许多以前的方法不稳定性。然后,我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量,改善内容和样式的分离,并提供艺术控制,如按数字绘制。我们证明,我们的方法提供了更好的质量,收敛在更少的迭代,和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
Generating Non-Stationary Textures using Self-Rectification
Shenzhen University(深圳大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
针对基于示例的非平稳纹理合成难题,提出结合用户编辑初值与自校正的两步法,借助预训练扩散网络和自注意力机制对齐纹理,性能优于现有前沿方法。
2024-01-30 cs.CV cs.GR cs.LG
Perspective Texture Synthesis Based on Improved Energy Optimization
Institute of Space Technology(空间技术研究院);Pakistan Space and Upper Atmosphere Research Commission (SUPARCO)(巴基斯坦空间与上层大气研究委员会);University of Karachi(卡拉奇大学)
透视纹理合成在视频编辑、场景捕捉等领域具有重要意义,这是由于其读取和控制全局特征信息的能力。在本文中,我们提出了一种新的基于实例的,特别是基于能量优化的算法,合成透视纹理。能量优化技术是一种基于像素的方法,因此它是耗时的。我们从两个方面进行了改进,以达到更快的合成速度和更高的质量。首先,我们改变这种基于像素的技术,用一个小补丁代替像素计算。其次,我们提出了一种新的技术,以加快搜索最近的邻居在能量优化。利用k-均值聚类技术建立搜索树,加快搜索速度.因此,我们利用主成分分析(PCA)技术来减少输入向量的维数。高质量的结果证明了我们的方法是可行的。此外,我们提出的算法需要更短的时间相对于其他类似的方法。
2020-06-21 cs.CV cs.GR
InsTex: Indoor Scenes Stylized Texture Synthesis
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Alibaba-NTU Singapore Joint Research Institute, Nanyang Technological University(阿里巴巴-南洋理工大学新加坡联合研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出两阶段架构InsTex,利用深度到图像扩散先验在由粗到细流程中为3D室内场景生成高质量、风格一致的纹理,支持文本与视觉提示,在视觉质量和定量指标上达到SOTA。
2025-01-22 cs.CV cs.GR cs.LG
By-Example Synthesis of Vector Textures
Carleton University(卡尔顿大学)
本文提出一种从单个栅格示例合成任意大小矢量纹理的新方法,通过分割提取纹理基元、聚类、邻域描述符及梯度场调整,实现高质量合成,并用感知度量评估。
2025-01-23 cs.CV cs.GR
Neural Texture Splatting: Expressive 3D Gaussian Splatting for View Synthesis, Geometry, and Dynamic Reconstruction
ETH Zurich(苏黎世联邦理工学院)
本文提出神经纹理散射方法,通过全局神经场提升3D高斯散射在视图合成、几何和动态重建中的性能。
2025-11-24 cs.CV cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
CaPa: Carve-n-Paint Synthesis for Efficient 4K Textured Mesh Generation
NC Research(NC研究院)
针对现有3D生成算法多视角不一致、速度慢、保真度低等问题,提出两阶段CaPa框架,解耦几何生成与纹理合成,结合空间解耦注意力和3D感知遮挡修复,可30秒内生成高保真4K带纹理3D资产,性能优于现有方法。
2025-01-16 cs.CV cs.GR
NeRF-Texture: Synthesizing Neural Radiance Field Textures
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);VAST;ARC Lab, Tencent PCG(腾讯PCG ARC实验室);School of Computer Science & Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
针对真实世界含3D介观结构纹理难以用2D方法建模的问题,提出NeRF-Texture方法,通过解耦介观结构与基础形状、潜在特征块匹配及聚类约束,实现平面和曲面的高质量NeRF纹理合成。
2024-12-13 cs.CV cs.GR
Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
艺术图像的自动生成是一个具有挑战性的课题,吸引了许多研究兴趣。以前的方法要么是专门设计的形状合成或专注于纹理转移。在本文中,我们提出了一种新的模型,AGIS-Net,转移形状和纹理风格在一个阶段,只有一些风格化的样本。为了实现这一目标,我们首先通过使用两个编码器来解开内容和样式的表示,确保多内容和多样式的生成。然后,我们利用两个协同工作的解码器,同时产生的形状的图像和纹理图像。此外,我们引入了一个局部纹理细化损失,以进一步提高合成纹理的质量。通过这种方式,我们的一阶段模型比其他多阶段堆叠方法更有效。为了验证该方法的有效性和可扩展性,我们还提出了一个包含各种形状和纹理风格的中文汉字图像的大规模数据集,该数据集由35个专业设计的艺术字体(7,326个字符)和2,460个合成艺术字体(639个字符)绘制而成。在英文和中文艺术图像数据集上的大量实验表明,与其他最先进的方法相比,我们的模型在生成高质量的风格化图像方面具有优越性。
2020-05-19 cs.CV cs.GR
3D PixBrush: Image-Guided Local Texture Synthesis
University of Chicago(芝加哥大学);Decart AI
3D PixBrush提出一种无需用户输入即可在3D网格上自动定位并合成参考图像局部纹理的方法,通过定位调制图像引导改进分数蒸馏采样,实现全局一致且局部精确的图像驱动编辑。
2025-07-04 cs.CV cs.GR
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization
可控人物图像生成的目标是生成具有所需属性(如给定姿势、布料纹理或发型)的逼真人物图像。然而,源图像和目标图像之间的大的空间未对准使得标准的图像到图像转换架构不适合于该任务。大多数最先进的方法专注于全局姿态转移任务的对齐。然而,它们无法处理特定区域的纹理转移任务,特别是对于具有复杂纹理的人物图像。为了解决这个问题,我们提出了一种新的空间自适应扭曲归一化(SAWN),它集成了一个学习的流场扭曲调制参数。它使我们能够有效地调整人的空间自适应风格与姿势特征。此外,我们提出了一种新的自训练部分替换(STPR)策略来细化纹理转移任务的模型,提高了生成的衣服的质量和非目标区域的保留能力。我们在广泛使用的DeepFashion数据集上的实验结果表明,与姿势转移和纹理转移任务的最新方法相比,所提出的方法有了显着的改进。该代码可在https://github.com/zhangqianhui/Sawn上获得。
2023-01-10 cs.CV cs.GR
Automatic inference of a anatomically meaningful solid wood texture from a single photograph
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Berufsakademie Sachsen(萨克森职业学院)
针对现有木材外观模型无法自动匹配样本、难重建解剖学体积信息的问题,提出基于弯曲Gabor滤波器的年轮检测初始化方案与相位损失函数,实现实木纹理的自动推断,适用于多类木材。
2025-10-02 cs.GR
LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis
NVIDIA(英伟达公司)
提出LATTE3D方法,通过可扩展架构和3D感知扩散先验、形状正则化及模型初始化,在大型提示词集上实现快速高质量的3D生成,单次前向传播生成精细纹理网格,耗时400毫秒。
2024-03-22 cs.AI cs.CV cs.GR
Seamless Satellite-image Synthesis
University of Leeds(利兹大学)
我们介绍了无缝卫星图像合成(SSS),这是一种新的神经架构,可以从地图数据中创建尺度和空间连续的卫星纹理。虽然2D地图数据便宜且易于合成,但精确的卫星图像价格昂贵,而且往往无法获得或过时。我们的方法生成无缝纹理在任意大的空间范围是一致的,通过尺度空间。为了克服图像到图像转换方法中的瓦片大小限制,SSS学习以语义上有意义的方式移除瓦片图像之间的接缝。比例空间的连续性是通过以样式和制图数据为条件的网络层次来实现的。我们的定性和定量评估表明,我们的系统在几个关键领域的国家的最先进的改进。我们展示了纹理程序生成地图和交互式卫星图像处理的应用。
2021-11-05 cs.CV cs.GR
BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Tencent PCG(腾讯平台与内容事业群)
BakedAvatar提出一种将神经场烘焙为多层网格与静态纹理的实时头部化身合成方法,通过三阶段管线在保持高质量的同时大幅降低推理时间,支持交互式视图合成与表情姿态编辑。
2023-11-28 cs.CV cs.GR