Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
我们研究数据驱动的纹理建模，通过分析和合成与生成对抗网络。对于网络训练和测试，我们已经编译了一组不同的空间均匀纹理，从随机到规则。我们采用StyleGAN 3进行合成，并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析，我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理，和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序，探索潜在空间轨迹的全局和局部行为，并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading
HSE University（俄罗斯莫斯科高等经济大学）；Yandex Research（Yandex研究）
CasTex通过级联扩散模型实现文本到纹理合成，采用显式纹理参数化提升生成质量，优于现有优化方法。
2026-01-13 cs.CV
Texture synthesis via projection onto multiscale, multilayer statistics
Michigan State University（密歇根州立大学）
提出了一种基于多尺度、多层特征提取器的纹理合成模型。在模型中，纹理由一组从不同层、尺度和方向的ReLU小波系数计算的统计数据表示。通过迭代投影算法匹配目标统计信息来合成新图像。我们解释了在我们的模型中使用的不同类型的预定义的小波滤波器的必要性和多层结构的图像合成的优点。我们通过生成高质量纹理的样本并提供对纹理图像深度表示的见解来展示我们模型的强大功能。
2021-05-22 cs.CV
Two-Stream Convolutional Networks for Dynamic Texture Synthesis
York University（约克大学）；Ryerson University（瑞尔森大学）
本文介绍了一种用于动态纹理合成的双流模型。我们的模型基于预训练的卷积网络（ConvNets），该网络针对两个独立的任务：（i）对象识别，以及（ii）光流预测。给定一个输入动态纹理，来自对象识别ConvNet的滤波器响应的统计数据封装了输入纹理的每帧外观，而来自光流ConvNet的滤波器响应的统计数据对其动态进行建模。为了生成一个新的纹理，随机初始化的输入序列进行优化，以匹配每个流的示例纹理的特征统计。受最近图像风格转移工作的启发，并启用双流模型，我们还应用合成方法将一个纹理的纹理外观与另一个纹理的动态相结合，生成全新的动态纹理。我们表明，我们的方法产生新的，高质量的样本，匹配输入纹理的逐帧外观和时间演变。最后，我们定量评估我们的纹理合成方法与彻底的用户研究。
2018-04-12 cs.CV
Geometric Style Transfer
University of Bath（巴斯大学）；Nankai University（南开大学）
神经风格转移（NST），其中输入图像被渲染成另一图像的风格，近年来已经成为一个相当大的进展的主题。在这段时间里，研究一直被颜色和纹理的转移方面所主导，但这些因素只是风格的一个组成部分。风格的其他因素包括构图，使用的投影系统，以及艺术家扭曲和弯曲物体的方式。我们的贡献是引入一个神经架构，支持几何风格的转移。不像最近在这方面的工作，我们是独一无二的一般，因为我们不受语义内容的限制。这种新的架构在传输纹理风格的网络之前运行，使我们能够将纹理传输到扭曲的图像。这种形式的网络支持第二个新颖性：我们扩展了NST输入范式。用户可以像通常那样输入内容/样式对，或者他们可以选择输入内容/纹理样式/几何样式三元组。这三个图像输入范例将风格分为两个部分，因此为我们可以产生的输出提供了更大的通用性。我们提供用户研究，显示我们的输出的质量，并量化的几何风格转移到风格识别的重要性。
2020-07-10 cs.CV
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究提出Infinite Texture方法，通过单纹理微调扩散模型结合分数聚合策略，实现单GPU上文本引导的任意分辨率纹理生成，效果优于现有方法，可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
AvatarTex: High-Fidelity Facial Texture Reconstruction from Single-Image Stylized Avatars
SSE, CUHKSZ（CUHKSZ 信息学院）；FNii, CUHKSZ（CUHKSZ 信息学院）
AvatarTex提出三阶段扩散到GAN流水线，结合扩散模型的纹理多样性与GAN的UV拓扑一致性，并引入含2万张多风格UV纹理的TexHub数据集，实现从单张图像进行高保真风格化面部纹理重建。
2025-11-10 cs.CV
Co-occurrence Based Texture Synthesis
Tel Aviv University（特拉维夫大学）；Cornell Tech, Cornell University（康奈尔科技学院，康奈尔大学）
随着图像生成技术的成熟，人们对易于理解和直观操作的可解释表示越来越感兴趣。在这项工作中，我们转向共现统计，长期以来一直用于纹理分析，学习一个可控的纹理合成模型。我们提出了一个完全卷积的生成对抗网络，以共现统计为条件，生成任意大的图像，同时对纹理外观进行局部可解释的控制。为了鼓励对输入条件的保真度，我们引入了一种新的可微同现损失，它以端到端的方式无缝集成到我们的框架中。我们证明，我们的解决方案提供了一个稳定的，直观的和可解释的纹理合成，它可以用来生成一个光滑的纹理变形之间的纹理合成的潜在表示。我们进一步展示了一个交互式纹理工具，它允许用户直接使用同现值来调整合成纹理图像的局部特征。
2020-07-22 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
StyleCity: Large-Scale 3D Urban Scenes Stylization
The Hong Kong University of Science and Technology（香港科技大学）
StyleCity是首个视觉与文本驱动的3D城市场景纹理风格化系统，通过神经纹理场和扩散模型实现语义感知风格化及360度天空生成，支持任意分辨率烘焙，显著简化虚拟制作流程。
2024-07-16 cs.CV
Abstraction in Style: Beyond Texture and Color
Shenzhen University（深圳大学）；Visual Computing Research Center (VCC), College of Computer Science and Software Engineering (CSSE)（视觉计算研究中心（VCC），计算机科学与软件工程学院）；Peking University（北京大学）
提出Abstraction in Style (AiS)框架，将结构抽象与视觉风格分离，通过中间抽象代理实现几何保真度放松，从而支持更广泛的非真实感风格迁移。
2026-10-28 cs.CV
StyleTex: Style Image-Guided Texture Generation for 3D Models
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Zhejiang University（浙江大学）
针对3D纹理生成中风格内容难完全解耦、生成结果难与参考风格及文本对齐的问题，提出StyleTex框架，通过CLIP嵌入正交投影解耦风格内容，结合交叉注意力注入与负提示策略，生成兼具参考风格、文本匹配度与网格细节的纹理，性能显著优于基线。
2024-11-01 cs.CV cs.GR
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance（康斯坦茨应用技术大学）
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中，我们提出了使用卷积神经网络（CNN）的图像修补的大区域的高分辨率纹理。由于有限的计算资源，用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离，这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展，我们提出了基于块的图像修补的CNN，能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域，通常超过高分辨率图像的可比方法的质量。对于参考补丁查找，我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
3D Face Arbitrary Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
三维人脸的风格转换越来越受到人们的关注。然而，以前的方法主要使用艺术面孔的图像进行风格转移，而忽略了任意风格的图像，如抽象画。为了解决这个问题，我们提出了一种新的方法，即人脸引导的双重风格迁移（FDST）。首先，FDST采用3D解耦模块来分离面部几何形状和纹理。在此基础上提出了一种人脸几何风格融合策略。随后，我们设计了一个基于优化的纹理DDSG机制，可以指导风格转移的两个风格图像。除了正常风格的图像输入，DDSG可以利用原始人脸输入作为另一种风格的输入作为人脸先验。通过这种方法，可以获得高质量的人脸任意风格的传输结果。此外，FDST可以应用于许多下游任务，包括区域可控的风格转移，高保真人脸纹理重建，大姿态人脸重建和艺术人脸重建。综合定量和定性的结果表明，我们的方法可以达到相当的性能。所有源代码和预训练的权重将向公众发布。
2023-03-14 cs.CV
InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
GenText: Unsupervised Artistic Text Generation via Decoupled Font and Texture Manipulation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
艺术文本自动生成是一个新兴的课题，由于其广泛的应用而受到越来越多的关注。艺术文本可以分为三个组成部分，内容，字体和纹理，分别。现有的艺术文本生成模型通常只关注对上述组件中某一方面的操作，这对于可控的通用艺术文本生成来说是一个次优的解决方案。为了解决这个问题，我们提出了一种新的方法，即GenText，实现一般的艺术文本风格的转移，通过可分离地迁移字体和纹理风格从不同的源图像的目标图像在一个无监督的方式。具体来说，我们目前的工作将三个不同的阶段，风格化，去风格化和字体传输，分别到一个统一的平台，一个强大的编码器网络和两个独立的风格生成器网络，一个用于字体传输，另一个用于风格化和去风格化。去风格化阶段首先提取字体参考图像的字体风格，然后字体转换阶段生成具有期望字体风格的目标内容。最后，风格化阶段相对于参考图像中的纹理样式渲染所得到的字体图像。此外，考虑到配对的艺术文本图像的数据采集的困难，我们的模型是在无监督的设置下设计的，其中所有阶段都可以有效地从未配对的数据进行优化。定性和定量的结果进行艺术文本基准，这表明我们提出的模型的优越性能。带有模型的代码将在未来公开提供。
2022-07-20 cs.CV
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Qihoo 360 Artificial Intelligence Institute（奇虎360人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
文体综合是近年来文体研究的热点，但对文体综合的双重问题“文体分离”却鲜有研究。在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设，采用S3-GAN建立流形与特征向量空间之间的映射，实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像，就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明，S3-GAN具有同时进行风格分离和合成的能力，可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
SuperStyleNet: Deep Image Synthesis with Superpixel Based Style Encoder
Sungkyunkwan University（成均馆大学）；University of Edinburgh（爱丁堡大学）；Xidian University（西安电子科技大学）
用于图像合成的现有方法利用基于卷积和池化层的堆栈的样式编码器来从输入图像生成样式代码。然而，编码矢量不一定包含相应图像的局部信息，因为小尺度对象往往通过这种缩小过程被“冲走”。在本文中，我们提出了基于超像素的风格编码器的深度图像合成，称为SuperStyleNet。首先，我们直接提取的风格代码从原始图像的超像素的基础上考虑局部对象。其次，我们恢复空间关系的矢量化的风格代码的基础上图形分析。因此，所提出的网络实现了高质量的图像合成，通过映射到语义标签的风格代码。实验结果表明，该方法优于国家的最先进的视觉质量和定量测量。此外，我们还通过调整样式代码来实现精细的空间样式编辑。
2021-12-17 cs.CV
Photo-realistic Facial Texture Transfer
Rutgers University（罗格斯大学）
近年来，通过使用卷积神经网络，风格转移方法取得了显著的成功。然而，这些方法中的许多集中于艺术风格转移，对输出图像外观几乎没有约束。我们解决了具有挑战性的问题，从一个风格的脸图像到内容的脸图像，在真实感的方式，而不改变原来的内容图像的身份。我们的面部纹理传输框架（FaceTex）通过一种新型的面部语义正则化来增强MRF-CNN的先前工作，该正则化包含面部先验正则化，平滑地抑制面部细观结构（例如眼睛、鼻子和嘴巴）周围的变化，以及面部结构损失函数，该函数隐含地保留了面部结构，以便可以在不改变原始身份的情况下传输面部纹理。我们在人脸图像上展示了结果，并将我们的方法与最近的最先进的方法进行了比较。我们的研究结果表明，由于能够保持原始人脸图像的身份优越的纹理转移。
2017-06-14 cs.CV
Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex；University of Oxford（牛津大学）
Gatys等人最近的工作，他通过卷积神经网络滤波器的统计特性来表征图像的风格，重新点燃了人们对纹理生成和图像风格化问题的兴趣。虽然他们的图像生成技术使用了一个缓慢的优化过程，但最近几位作者提出学习生成器神经网络，它可以在一次快速向前传递中产生类似的输出。虽然生成器网络很有前途，但与优化生成相比，它们在视觉质量和多样性方面仍然较差。在这项工作中，我们以两种重要的方式推进它们。首先，我们引入了一个实例规范化模块来取代批量归一化，从而显著提高了图像风格化的质量。其次，我们通过引入一种新的学习公式来提高多样性，该公式鼓励生成器从Julesz纹理集合中无偏地采样，Julesz纹理集合是由某些滤波器响应表征的所有图像的等价类。这两项改进使前馈纹理合成和图像风格化更接近于通过优化生成的质量，同时保留了速度优势。
2017-11-06 cs.CV
Towards Intelligent Design: A Self-driven Framework for Collocated Clothing Synthesis Leveraging Fashion Styles and Textures
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）
本文提出ST-Net，一种利用自监督学习从风格与纹理属性外推兼容规则、无需成对服装即可合成搭配服装的生成对抗网络，并构建大规模数据集，实验证明其在视觉真实性和时尚兼容性上超越现有基线。
2025-01-23 cs.CV
Patch-based Texture Synthesis for Image Inpainting
图像修补是图像处理和视觉中的一项重要任务。在本文中，我们开发了一个通用的方法，基于块的图像修补合成新的纹理从现有的。提出了一种新的框架来寻找多个最优的候选块，并在此过程中生成新的纹理块。我们形成它作为一个优化问题，确定潜在的补丁合成从粗到细的方式。我们使用的纹理描述符作为线索，在搜索匹配补丁从已知的区域。为了确保结构忠实于原始图像，几何约束度量被正式定义，直接应用于补丁合成过程。我们广泛地进行了我们的实验上广泛的测试图像上的各种场景和内容，通过任意指定的目标区域的推断，然后使用现有的评价指标，以验证其纹理的一致性和结构的一致性。我们的研究结果表明，高精度和理想的输出，可以潜在地用于许多应用：对象去除，背景减除，和图像检索。
2016-05-05 cs.CV
3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation
NTNU（台湾师范大学）；NTUST（台湾科技大学）
本文提出3D-GANTex方法，利用StyleGAN隐空间生成多视角人脸，并结合3DDFA与3DMM从单张图像估计高质量三维人脸网格和高分辨率纹理，缓解单视角重建的病态性问题。
2024-10-21 cs.CV
CTGAN: Semantic-guided Conditional Texture Generator for 3D Shapes
National Taiwan University（台湾大学）；National Tsing Hua University（国立清华大学）；University of Maryland College Park（马里兰大学学院公园分校）
提出CTGAN，利用StyleGAN解耦特性与粗到细编码器，为3D形状生成与视角一致且尊重语义的高质量纹理，在条件与无条件设置下均达最先进性能。
2024-02-08 cs.CV
PARASOL: Parametric Style Control for Diffusion Image Synthesis
University of Surrey（萨里大学）；Adobe Research（奥多比研究中心）
PARASOL 提出一种多模态潜扩散模型，通过联合内容与细粒度风格嵌入及解耦引导，实现图像视觉风格的参数化精细控制，并支持生成式搜索中的意图匹配。
2024-05-02 cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
我们提出了Text2Tex，一种新的方法，从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中，从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影，我们动态地将渲染视图分割成一个生成掩码，该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外，我们提出了一个自动视图序列生成方案，以确定下一个最佳的视图更新的部分纹理。大量的实验表明，我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Jigsaw3D: Disentangled 3D Style Transfer via Patch Shuffling and Masking
Huawei, Media Innovation Lab（华为媒体创新实验室）；Huazhong University of Science & Technology（华中科技大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出Jigsaw3D流水线，通过拼图操作解耦风格与内容，利用多视图扩散模型实现快速且视图一致的3D风格迁移，显著降低延迟并支持多种泛化应用。
2025-10-12 cs.CV
Semantic Image Translation for Repairing the Texture Defects of Building Models
Southwest Jiaotong University（西南交通大学）
提出一种规律感知的多域语义图像翻译方法，结合频率信息、角点图与SEAN块，修复建筑模型纹理缺陷并合成结构化立面纹理，实验证明其优于现有方法。
2023-04-01 cs.CV
Example-Guided Style Consistent Image Synthesis from Semantic Labeling
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Bath（巴斯大学）
示例引导的图像合成旨在从语义标签图和指示风格的示例性图像合成图像。我们在这个问题中使用的“风格”一词是指图像的隐含特征，例如：在肖像中，“风格”包括性别，种族身份，年龄，发型;在全身照片中，它包括服装;在街景中，它指的是天气和一天中的时间等等。在这些情况下，语义标签图指示面部表情、全身姿势或场景分割。我们提出了一个解决方案的例子引导的图像合成问题，使用条件生成对抗网络与风格一致性。我们的主要贡献是：（i）一种新的风格一致性检验，以确定是否一对图像是一致的风格;（ii）自适应语义一致性损失;和（iii）一个训练数据采样策略，合成风格一致的结果的范例。
2019-06-28 cs.CV
RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis
Tencent Hunyuan（腾讯混元）；ShanghaiTech University（上海科技大学）
RomanTex提出一种结合三维感知旋转位置嵌入的多注意力网络，通过解耦特性和几何相关CFG机制，实现高质量、一致的多视图纹理合成，达到最先进水平。
2025-03-24 cs.CV
Free-Lunch Color-Texture Disentanglement for Stylized Image Generation
Harbin Institute of Technology, China（哈尔滨工业大学）；VCIP, CS, Nankai University, China（南开大学）；Computer Vision Center, Spain（西班牙计算机视觉中心）；Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学）；Program of Computer Science, City University of Hong Kong (Dongguan), China（香港城市大学（东莞）计算机科学系）；City University of Hong Kong, HK SAR, China（香港城市大学）
本文提出无需调优的SADis方法，通过分离颜色-纹理嵌入提升风格化图像生成的精度与定制能力。
2025-12-12 cs.CV
Region-controlled Style Transfer
针对图像风格迁移无法控制内容图像不同区域纹理强度的问题，提出一种基于梯度关系和损失函数约束区域风格强度的训练方法，并引入保留语义关系的新颖特征融合方法，实验证明其有效。
2023-10-24 cs.CV
Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Research Center on Fictitious Economy and Data Science（虚拟经济与数据科学研究中心）
本文提出了一种新颖的卡通纹理显著性采样器（CTSS）模块，通过在对抗学习中引入纹理显著性自适应注意力机制，在局部显著区域进行区域级对抗学习，仅使用基本对抗损失即可有效增强高分辨率图像的卡通化效果。
2024-02-18 cs.CV
Retinex-guided Channel-grouping based Patch Swap for Arbitrary Style Transfer
Xidian University（西安电子科技大学）；The Pengcheng Lab（鹏城实验室）
本文提出 Retinex 引导的通道分组块交换方法，将风格特征分为表面与纹理通道并引入互补融合与多尺度生成，以提升任意风格迁移的纹理一致性与内容保真度。
2023-09-19 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出并验证了一个框架，利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现，解开的内容和风格表示可以用来指导图像生成器，采用它们作为草图到图像生成器，而无需（重新）训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法，包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明，这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力，而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
Line Artist: A Multiple Style Sketch to Painting Synthesis Scheme
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
画一幅美丽的画是许多人从小的梦想。在本文中，我们提出了一种新的方案，线艺术家，合成艺术风格的绘画与写意素描图像，利用深度学习和先进的算法的力量。我们的方案包括三个模型。草图图像提取（SIE）模型被应用于生成训练数据。它包括平滑现实图像和铅笔素描提取。详细图像合成（DIS）模型训练条件生成对抗网络以生成详细的真实世界信息。自适应加权艺术风格转移（AWAST）模型能够使用VGG19网络和PageRank算法将多种风格的图像与内容相结合。然后通过优化迭代生成吸引人的艺术图像。实验在Kaggle Cats数据集和牛津建筑数据集上进行。我们的合成结果被证明是艺术，美丽和强大的。
2018-03-18 cs.CV
Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成，采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
GarmentPainter: Efficient 3D Garment Texture Synthesis with Character-Guided Diffusion Model
Baidu Inc.（百度公司）；TeleAI
GarmentPainter通过基于字符引导的扩散模型，实现了高效且高质量的3D服装纹理合成，提升了纹理生成的灵活性和一致性。
2026-03-09 cs.CV
AnomalyPainter: Vision-Language-Diffusion Synergy for Zero-Shot Realistic and Diverse Industrial Anomaly Synthesis
Xiamen University（厦门大学）；INSPUR DIGI ENT.（浪潮数字企业）
AnomalyPainter通过协同视觉语言大模型、潜在扩散模型和Tex-9K纹理库，实现零样本工业异常合成，在真实性、多样性和泛化性上优于现有方法。
2025-03-11 cs.CV
Style-Guided Inference of Transformer for High-resolution Image Synthesis
NCSOFT（NCSoft公司）
Transformer非常适合于自回归图像合成，它递归地从过去的值预测离散值以组成完整的图像。特别地，结合矢量量化的隐表示，最先进的自回归Transformer显示逼真的高分辨率图像。然而，从离散概率分布中对潜在代码进行采样使得输出不可预测。因此，它需要产生大量的不同的样本，以获得所需的输出。为了减轻重复生成大量样本的过程，在本文中，我们建议将所需的输出（样式图像）作为附加条件，而无需重新训练Transformer。为此，我们的方法将风格转换为概率约束，以重新平衡先验，从而指定目标分布而不是原始先验。因此，从重新平衡先验中生成的样本具有与参考样式相似的样式。在实践中，我们可以选择一个图像或一类图像作为附加条件。在我们的定性评估中，我们发现大多数输出的风格与输入风格相似。
2022-10-11 cs.CV
SLOGAN: Handwriting Style Synthesis for Arbitrary-Length and Out-of-Vocabulary Text
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
训练鲁棒的文本识别器迫切需要大量的标记数据。然而，收集不同风格的笔迹数据以及庞大的词典是相当昂贵的。虽然数据合成是一种很有前途的方法来缓解数据饥饿，手写合成的两个关键问题，即风格表示和内容嵌入，仍然没有解决。为此，我们提出了一种新的方法，可以合成参数化和可控的手写风格的任意长度和词汇表外的文本的基础上生成的对抗网络（GAN），称为SLOGAN。具体来说，我们提出了一个风格银行参数化的具体手写风格作为潜在的向量，这是输入到一个发电机作为风格先验，以实现相应的手写风格。风格库的训练只需要源图像的作者识别，而不需要属性注释。此外，我们通过提供容易获得的打印样式图像来嵌入文本内容，从而可以通过改变输入的打印图像来灵活地实现内容的多样性。最后，生成器由双鉴别器指导，以处理作为单独字符和一系列草书连接出现的手写特征。我们的方法可以合成的话，不包括在训练词汇和各种新的风格。大量的实验表明，高质量的文本图像具有很大的风格多样性和丰富的词汇可以合成使用我们的方法，从而提高了识别器的鲁棒性。
2022-02-23 cs.CV
TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）；Argo AI（阿尔戈人工智能公司）
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制，但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁，以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点，我们开发了一个局部纹理损失，除了对抗和内容损失训练生成网络。我们进行实验，使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图，结果表明，我们提出的算法是能够生成可信的图像，是忠实于用户控制。消融研究表明，我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research（Zalando 研究院）
生成对抗网络（GANs）是最近训练数据生成模型的方法，已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量，我们创建了一个具有非常适合纹理合成任务的属性的架构，我们称之为空间GAN（SGAN）。据我们所知，这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点，这使它成为一个国家的最先进的纹理合成算法：高图像质量的生成纹理，非常高的可扩展性w.r.t.输出纹理大小，快速实时向前生成，在复杂纹理中融合多个不同源图像的能力。为了说明这些功能，我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制，它可以合成的纹理图像的类型，并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
Improved Style Transfer by Respecting Inter-layer Correlations
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
流行的一系列样式转换方法通过控制特征栈的早期层中的值的均值和协方差来将样式应用于内容图像。这不足以在空间尺度上传递具有强结构的样式，例如，长曲线上的点的纹理。本文表明，控制层间的相关性产生明显的改进风格转移方法。我们通过计算跨层，而不是层内，克矩阵来实现这种控制。我们发现，（a）跨层gram矩阵足以控制层内统计。层间相关性改善了风格传递和纹理合成。该文件显示了大量的例子，“硬”的真正的风格转移问题（例如，长规模和层次模式）;（b）一个快速的近似风格转移方法可以控制跨层的克矩阵;（c）我们证明，乘法，而不是添加剂的风格和内容损失，结果在非常好的风格转移。乘性损失产生了对边界的明显强调，并意味着可以消除一个超参数。
2018-01-05 cs.CV
Exemplar-Based 3D Portrait Stylization
City University of Hong Kong（香港城市大学）；University of Southern California（南加利福尼亚大学）；Snap Inc.（Snap公司）
基于范例的肖像风格化具有广泛的吸引力和高度的期望。尽管最近取得了成功，但它仍然具有挑战性，特别是在考虑纹理和几何风格时。在本文中，我们提出了第一个框架一次性三维肖像风格转移，它可以生成三维人脸模型与几何夸张和纹理风格化，同时保持身份从原始内容。它只需要一个任意样式的图像，而不是一个特定样式的训练样本的大集合，提供完全参数化和分离的几何和纹理输出，并使进一步的图形应用与3D表示。该框架包括两个阶段。在第一个几何风格转换阶段，我们使用面部标志平移来捕获粗糙的几何风格，并引导密集的3D人脸几何形状的变形。在第二个纹理风格转换阶段，我们专注于执行风格转换上的规范纹理，采用可微分渲染器优化纹理在多视图框架。实验结果表明，我们的方法取得了良好的效果，不同的艺术风格，并优于现有的方法。我们还通过各种2D和3D图形应用程序证明了我们的方法的优点。项目页面是https://halfjoe.github.io/projs/3DPS/index.html。
2021-04-29 cs.CV cs.GR
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix；University of Virginia（弗吉尼亚大学）
最近，已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法（例如Gatys等人[2015，2016]）。这些方法是令人兴奋的，因为它们在某些情况下可以创建具有最先进质量的结果。然而，在本文中，我们表明这些方法也有纹理质量，稳定性，必要的参数调整，并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线，以改善这些问题。我们首先给出了一个数学解释的来源，在许多以前的方法不稳定性。然后，我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量，改善内容和样式的分离，并提供艺术控制，如按数字绘制。我们证明，我们的方法提供了更好的质量，收敛在更少的迭代，和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
GLocal: Global Graph Reasoning and Local Structure Transfer for Person Image Generation
在本文中，我们专注于人的形象生成，即在各种条件下生成人的形象，例如，损坏的纹理或不同的姿势。为了解决这个任务中的纹理遮挡和大的姿势错位，以前的作品只是使用相应的区域的风格来推断遮挡区域，并依赖于逐点对齐来重新组织上下文纹理信息，缺乏全局相关的能力区域明智的风格代码，并保持本地结构的源。为了解决这些问题，我们提出了一个GLocal框架，通过全局推理不同语义区域之间的风格相关性来改善遮挡感知的纹理估计，该框架也可以用于恢复纹理修复中的损坏图像。为了保持图像的局部结构信息，我们进一步提取源图像的局部结构，并通过局部结构转移在生成的图像中恢复它。我们对我们的方法进行了基准测试，以充分表征其在DeepFashion数据集上的性能，并提出了广泛的消融研究，突出了我们方法的新颖性。
2021-12-01 cs.CV
Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Adobe Research（Adobe 研究院）
将艺术风格转移到日常照片中已经成为学术界和工业界非常流行的任务。最近，离线训练已经取代了在线迭代优化，实现了近乎实时的风格化。然而，当这些风格化网络直接应用于高分辨率图像时，局部区域的风格往往与所需的艺术风格不太相似。这是因为转移过程无法捕获小而复杂的纹理并保持艺术品的正确纹理比例。在这里，我们提出了一个多模态卷积神经网络，它考虑到颜色和亮度通道的忠实表示，并进行风格化分层与多个损失的增加规模。与最先进的网络相比，我们的网络还可以通过进行更复杂的离线训练来近乎实时地执行风格迁移。通过使用几种模态在多个尺度上正确处理风格和纹理线索，我们不仅可以传递大尺度的、明显的风格线索，还可以传递微妙的、精致的风格线索。也就是说，我们的计划可以产生的结果，是视觉上令人愉快的，更类似于多种所需的艺术风格的颜色和纹理线索在多个尺度。
2017-04-11 cs.AI cs.CV
CLIPstyler: Image Style Transfer with a Single Text Condition
KAIST（韩国科学技术院）
现有的神经风格传递方法需要参考风格图像来将风格图像的纹理信息传递到内容图像。然而，在许多实际情况下，用户可能没有参考样式图像，但仍然有兴趣通过想象来转移样式。为了处理这样的应用程序，我们提出了一个新的框架，使一个风格转移“没有”的风格图像，但只有所需的风格的文本描述。使用CLIP的预先训练的文本图像嵌入模型，我们演示了仅使用单个文本条件的内容图像风格的调制。具体来说，我们提出了一个补丁明智的文本图像匹配损失与多视图增强现实纹理转移。大量的实验结果证实了成功的图像风格转移与现实的纹理，反映语义查询文本。
2022-03-19 cs.CL cs.CV eess.IV
Non-Stationary Texture Synthesis by Adversarial Expansion
Shenzhen University（深圳大学）；Huazhong University of Science & Technology（华中科技大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
提出一种基于GAN的对抗扩展方法，通过训练全卷积生成器将纹理块空间范围扩大一倍，有效解决非平稳纹理合成中捕获大尺度结构等挑战。
2018-05-11 cs.CV cs.GR
GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
ETH Zurich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）
我们提出了一种新的纹理合成框架，使生成无限的，高质量的三维纹理给定的二维样本图像。受自然纹理合成最新进展的启发，我们训练深度神经模型，通过非线性组合学习到的噪声频率来生成纹理。为了实现一个高度现实的输出条件下的样本补丁，我们提出了一个新的损失函数，结合了风格转移和生成对抗网络的想法。特别地，我们训练合成网络以匹配来自一个神经网络的深层特征的Gram矩阵。此外，我们提出了两个架构的概念和外推策略，显着提高泛化性能。特别是，我们通过学习缩放和偏置隐藏的激活，将模型输入和条件注入隐藏的网络层。定量和定性评估的一组不同的范例激励我们的设计决策，并表明我们的系统性能优于以前的最先进的状态。最后，我们进行了用户研究，确认我们的框架的好处。
2020-06-30 cs.CV cs.GR
Texture Image Synthesis Using Spatial GAN Based on Vision Transformers
Shiraz University（设拉子大学）
本文提出ViT-SGAN混合模型，将视觉Transformer与空间GAN融合，并通过在自注意力机制中引入纹理描述符来提升纹理合成质量，在多个指标上优于现有最先进模型。
2025-05-07 cs.AI cs.CV
Dual Pipeline Style Transfer with Input Distribution Differentiation
Guilin University of Electronic Technology（桂林电子科技大学）
该研究发现训练数据分布差异化是消除纹理表征的关键，提出输入分布差异化训练策略，让噪声分布负责纹理生成、平滑分布负责颜色平滑迁移，推理时用平滑输入彻底消除颜色迁移的纹理与伪影。
2023-11-09 cs.CV eess.IV
Deformable Style Transfer
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of Chicago（芝加哥大学）
几何图形和纹理都是视觉样式的基本方面。然而，现有的风格转换方法主要集中在纹理上，几乎完全忽略了几何。我们提出了可变形的风格转移（DST），一个基于优化的方法，联合风格化的内容图像的纹理和几何形状，以更好地匹配一个风格的图像。与以前的几何感知风格化方法不同，我们的方法既不限于特定的领域（如人脸），也不需要匹配的样式/内容对的训练集。我们展示了我们的方法在一组不同的内容和风格的图像，包括肖像，动物，物体，场景和绘画。代码已在https://github.com/sunniesuhyoung/DST上公开发布。
2020-07-20 cs.CV cs.GR cs.LG
