Style Mixer: Semantic-aware Multi-Style Transfer Network
City University of Hong Kong（香港城市大学）
近年来的神经风格迁移框架在单风格迁移（SST）中获得了惊人的视觉质量和灵活性，但在多风格迁移（MST）中却鲜有人关注。多风格迁移是指将多种风格同时迁移到同一幅图像上。与SST相比，MST具有创造更多样化和视觉上令人愉悦的风格化结果的潜力。在本文中，我们提出了第一个MST框架，自动将多种风格到一个结果的基础上区域语义。我们首先通过引入一个新的多层次特征融合模块和补丁注意模块来改进现有的SST骨干网络，以实现更好的语义对应，并保留更丰富的风格细节。对于MST，我们设计了一个概念上简单而有效的基于区域的风格融合模块插入到主干中。它基于语义匹配为内容区域分配相应的样式，然后将多个样式无缝组合在一起。综合评价表明，我们的框架优于现有的SST和MST的作品。
2019-10-29 cs.CV
Improved Style Transfer by Respecting Inter-layer Correlations
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
流行的一系列样式转换方法通过控制特征栈的早期层中的值的均值和协方差来将样式应用于内容图像。这不足以在空间尺度上传递具有强结构的样式，例如，长曲线上的点的纹理。本文表明，控制层间的相关性产生明显的改进风格转移方法。我们通过计算跨层，而不是层内，克矩阵来实现这种控制。我们发现，（a）跨层gram矩阵足以控制层内统计。层间相关性改善了风格传递和纹理合成。该文件显示了大量的例子，“硬”的真正的风格转移问题（例如，长规模和层次模式）;（b）一个快速的近似风格转移方法可以控制跨层的克矩阵;（c）我们证明，乘法，而不是添加剂的风格和内容损失，结果在非常好的风格转移。乘性损失产生了对边界的明显强调，并意味着可以消除一个超参数。
2018-01-05 cs.CV
Language-Driven Image Style Transfer
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
尽管有很好的效果，风格转移，这需要提前准备的风格图像，可能会导致缺乏创造力和可访问性。另一方面，遵循人类指令是执行艺术风格转移的最自然的方式，可以显着提高视觉效果应用的可控性。我们引入了一个新的任务，语言驱动的艺术风格转移（LDAST），操纵的内容图像的风格，由文本指导。我们提出了对比语言视觉艺术家（CLVA），学习提取视觉语义的风格指令，并完成LDAST的补丁明智的风格识别。该方法考虑了语言与风格图像或传输结果之间的相关性，以联合嵌入风格指令。CLVA进一步比较内容图像和风格指令的对比对，以提高相互关联性。来自相同内容图像的结果可以保持一致的内容结构。此外，它们应该从包含类似视觉语义的样式指令中呈现类似的样式模式。实验结果表明，我们的CLVA是有效的，并取得了良好的LDAST传输效果。
2022-07-17 cs.CV
Style Decomposition for Improved Neural Style Transfer
School of Informatics（信息学院）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
通用神经风格转换（NST）方法能够通过（几乎）实时的特征变换以风格不可知的方式执行任意风格的风格转换。尽管他们的单峰参数化样式建模方法已被证明足以从相对简单的图像中转移单一样式，但它们通常无法有效地处理更复杂的样式，产生显著的伪影，以及降低风格化图像中合成纹理的质量。为了克服这些局限性，在本文中，我们提出了一种新的通用NST方法，分别对存在于给定样式图像（或样式图像集合）中的每个子样式进行建模。这允许更好地对同一样式图像内的细微样式差异进行建模，然后使用最适当的子样式（或不同子样式的混合）来对内容图像进行样式化。所提出的方法的能力是：a）使用存在于一个样式图像中的子样式来执行宽范围的不同样式化，同时给予用户适当地混合不同子样式的能力，b）自动地将最适当的子样式匹配到内容图像的不同语义区域，改进现有的现有技术水平的通用NST方法，以及c）从图像集合中检测和转移子样式。
2018-11-30 cs.CV
Pluggable Style Representation Learning for Multi-Style Transfer
The Shenzhen Campus of Sun Yat-Sen University, Sun Yat-Sen University（中山大学深圳校区，中山大学）；Aviation University of Air Force（空军航空大学）
本文提出一种解耦风格建模与迁移的多风格迁移框架，通过紧凑风格表示和可插拔风格表示网络，在不增加推理开销的情况下高效适应多种风格，达到最先进性能。
2025-03-26 cs.CV
Arbitrary Handwriting Image Style Transfer
提出了一种通过风格迁移来模仿手写体风格的方法。提出了一种基于条件生成对抗网络（cGAN）的手写体风格迁移神经网络模型。本文在GAN的基础上对损失函数进行了改进。与其他笔迹模仿方法相比，笔迹风格迁移的效果和效率都有显著提高。实验结果表明，生成的汉字形状清晰，实验数据分析表明，生成对抗网络在笔迹风格迁移方面表现出良好的性能。生成的文本图像更接近真实笔迹，在笔迹模仿方面取得了较好的效果。
2022-03-31 cs.CV
3D Face Arbitrary Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
三维人脸的风格转换越来越受到人们的关注。然而，以前的方法主要使用艺术面孔的图像进行风格转移，而忽略了任意风格的图像，如抽象画。为了解决这个问题，我们提出了一种新的方法，即人脸引导的双重风格迁移（FDST）。首先，FDST采用3D解耦模块来分离面部几何形状和纹理。在此基础上提出了一种人脸几何风格融合策略。随后，我们设计了一个基于优化的纹理DDSG机制，可以指导风格转移的两个风格图像。除了正常风格的图像输入，DDSG可以利用原始人脸输入作为另一种风格的输入作为人脸先验。通过这种方法，可以获得高质量的人脸任意风格的传输结果。此外，FDST可以应用于许多下游任务，包括区域可控的风格转移，高保真人脸纹理重建，大姿态人脸重建和艺术人脸重建。综合定量和定性的结果表明，我们的方法可以达到相当的性能。所有源代码和预训练的权重将向公众发布。
2023-03-14 cs.CV
Neural Comic Style Transfer: Case Study
Warsaw University of Technology（华沙理工大学）
Gatys等人的工作[1]最近展示了一种神经风格算法，可以生成具有另一幅图像风格的图像。一些进一步的工作介绍了各种改进的概括，质量和效率，但他们中的每一个主要集中在风格，如绘画，抽象图像或照片写实风格。在本文中，我们提出了一个比较国家的最先进的风格转移方法，以应付转移不同的图像上的各种漫画风格。我们选择了自适应实例规范化[11]和通用风格转移[16]模型的不同组合，并在定性和定量分析方面对它们进行了比较，以发现它们的优点和缺点。最后，我们提出了一项调查的结果，超过100人，旨在验证评估结果在现实生活中的应用程序的漫画风格转移。
2018-09-11 cs.CV
StyleRemix: An Interpretable Representation for Neural Image Style Transfer
Y-tech；Kwai（Kwai（快手））
多风格迁移（Multi-Style Transfer，MST）旨在捕捉不同风格的高级视觉词汇，并将这些词汇表达在一个联合模型中，以迁移每种特定的风格。最近，基于风格嵌入学习（SEL）的方法表示每一种风格与一组明确的参数来执行MST任务。然而，大多数现有的SEL方法要么学习具有许多独立参数的显式样式表示，要么学习相对黑盒的样式表示，这使得它们难以控制风格化的结果。在本文中，我们概述了一种新的MST模型，StyleRemix，companies和显式集成多种风格到一个网络。通过将不同的风格分解到相同的基础上，StyleRemix在具有一维系数的连续向量空间中表示特定的风格。通过可解释的样式表示，StyleRemix不仅支持样式可视化任务，还允许在平滑的样式嵌入空间中混合样式的多种方式。大量的实验表明，与最先进的SEL方法相比，StyleRemix在各种MST任务上的有效性。
2019-03-25 cs.CV
DeepObjStyle: Deep Object-based Photo Style Transfer
Indian Institute of Technology Gandhinagar（甘地讷格尔印度理工学院）
风格转移的主要挑战之一是在输出图像和输入（风格和内容）图像之间进行适当的图像特征监督。一个有效的策略是在样式对象和内容图像之间定义一个对象映射。然而，当在样式和内容图像中存在不同类型和数量的语义对象时，这样的映射不能很好地建立。它还导致样式传输输出中的内容不匹配，这可能会降低结果的视觉质量。我们提出了一种基于对象的风格转换方法，称为DeepObjStyle，用于训练数据独立框架中的风格监督。DeepObjStyle保留了对象的语义，并在样式和内容图像具有图像特征不匹配的挑战性场景中实现了更好的样式转换。我们还执行包含单词云的图像的样式传输，以证明DeepObjStyle能够实现适当的图像特征监督。我们使用定量比较和用户研究来验证结果。
2020-12-11 cs.CV
Content Aware Neural Style Transfer
本文提出了一种基于内容感知的风格转换算法，该算法使用预先训练好的神经网络对内容相似的绘画和照片进行风格转换，取得了比以往工作更好的效果。此外，数值实验表明，神经网络不能完全分离风格模式和内容信息。
2016-01-18 cs.CV
Style Transfer With Adaptation to the Central Objects of the Scene
SAS（赛仕软件）
风格转换是指将一幅图像的某些内容转换成另一幅图像的风格，例如将一张全家福照片转换成某位著名画家的绘画风格。经典的风格转换算法的缺点是它将风格统一地施加在内容图像的各个部分上，这会干扰内容图像上的中心对象，例如人脸或文本，并且使它们无法识别。本文提出了一种新的风格转换算法，该算法自动检测内容图像上的中心对象，生成空间重要性掩码，并不均匀地施加风格：中心对象被风格化较少以保持其可识别性，图像的其他部分被风格化以保持风格。三种方法的自动中央目标检测提出和评价定性和通过用户评价研究。这两个比较表明，更高的质量的风格化相比，经典的风格转移方法。
2019-06-04 cs.CV
CAMS: Color-Aware Multi-Style Transfer
York University（约克大学）；École de technologie supérieure (ÉTS)（高等技术学院（ÉTS））
图像风格转移的目的是操纵源图像或“内容”图像的外观，以共享与目标“风格”图像相似的纹理和颜色。理想情况下，样式转换操作还应该保留源图像的语义内容。一种常用的帮助转换样式的方法是基于Gram矩阵优化。基于Gram矩阵的优化的一个问题是它没有考虑颜色和它们的样式之间的相关性。具体来说，某些纹理或结构应该与特定的颜色相关联。当目标样式图像呈现多个样式类型时，这尤其具有挑战性。在这项工作中，我们提出了一种颜色感知的多风格传输方法，产生美观的结果，同时保留风格和生成的图像之间的风格颜色相关性。我们通过引入一个简单但有效的修改经典的基于克矩阵的风格传递优化实现了这一预期的结果。我们的方法的一个很好的特点是，它使用户能够手动选择目标样式和内容图像之间的颜色关联，以获得更大的传输灵活性。我们通过几个定性比较验证了我们的方法，包括一项有30名参与者的用户研究。与以前的工作相比，我们的方法是简单的，易于实现，并实现视觉上有吸引力的结果时，针对具有多种风格的图像。源代码可在https://github.com/mahmoudnafifi/color-aware-style-transfer上获得。
2021-09-04 cs.CV
ITstyler: Image-optimized Text-based Style Transfer
Tsinghua University（清华大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）
基于文本的风格迁移是一个新兴的研究课题，它利用文本信息代替风格图像来指导风格迁移过程，极大地扩展了风格迁移的应用场景。然而，以前的方法需要额外的时间来优化或文本图像配对数据，导致有效性有限。在这项工作中，我们实现了一个数据高效的基于文本的风格传输方法，不需要在推理阶段的优化。具体来说，我们将文本输入转换到预先训练好的VGG网络的样式空间，以实现更有效的样式交换。我们还利用CLIP的多模态嵌入空间来学习仅与图像数据集的文本到样式映射。我们的方法可以实时传输任意新样式的文本输入，并合成高质量的艺术图像。
2023-01-26 cs.CV
Computational Decomposition of Style for Controllable and Enhanced Style Transfer
Shanghai Jiao Tong University（上海交通大学）
卷积神经网络（CNN）在艺术图像的生成中具有强大的神经风格转换功能。然而，仍然缺乏对艺术风格的感性成分的计算分析。与以往的研究不同，本文基于CNN产生的特征图，系统地研究了文本风格的特征。首先，我们不仅使用基于频谱的方法，包括快速傅立叶变换（FFT），离散余弦变换（DCT），而且还使用潜在变量模型，如主成分分析（PCA），独立成分分析（ICA），计算风格分解成基本元素。然后，风格的分解归纳出各种控制风格元素的方法，这些方法可以作为模块嵌入到最先进的风格转换算法中。这种风格的分解带来了几个好处。它使不同的艺术风格的计算编码，我们的风格基础与类似的风格聚类在一起，因此它有助于混合或干预的风格基础上的风格从一个以上的风格，使复合风格或新的风格可以产生产生风格的图像。实验结果表明，该方法不仅对绘画风格的转换，而且对草图风格的转换，这表明可能的应用在图片到草图的问题。
2018-11-24 cs.CV
SCAdapter: Content-Style Disentanglement for Diffusion Style Transfer
LY Corporation（LY公司）
SCAdapter通过CLIP图像空间实现内容与风格的解耦，提升扩散模型在逼真图像迁移中的效果和效率。
2025-12-15 cs.CV
Style Transfer by Relaxed Optimal Transport and Self-Similarity
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Chicago（芝加哥大学）
样式传递算法努力使用一个图像的样式来呈现另一个图像的内容。我们提出了一种新的基于优化的风格转换算法-基于松弛最优传输和自相似性的风格转换算法（STROTSS）。我们扩展了我们的方法，允许用户指定的点到点或区域到区域的风格图像和输出之间的视觉相似性的控制。这样的引导可以用于实现特定的视觉效果或校正由不受约束的风格转换所造成的错误。为了定量地比较我们的方法，以前的工作，我们进行了大规模的用户研究，旨在评估风格转移算法的设置之间的风格-内容的权衡。我们的研究结果表明，对于任何所需的内容保存水平，我们的方法提供了更高质量的风格化比以前的工作。代码可在https://github.com/nkolkin13/STROTSS上获得
2019-10-09 cs.CV
Inversion-Free Video Style Transfer with Trajectory Reset Attention Control and Content-Style Bridging
Nanjing University（南京大学）
本文提出轨迹重置注意力控制TRAC与风格介质概念，构建免调优框架，在降低计算成本的同时实现图像和视频的高质量、内容保持的风格迁移。
2025-03-10 cs.CV
Preserving Color in Neural Artistic Style Transfer
U. Tübingen（图宾根大学）；Adobe Research（奥多比研究院）
本文介绍了神经艺术风格转移算法（Gatys等人）的扩展。原始算法将图像变换为具有另一给定图像的风格。例如，一张照片可以被转换成一幅名画的风格。在这里，我们解决了原始方法的一个潜在缺点：算法转移了原始绘画的颜色，这可能会以不受欢迎的方式改变场景的外观。我们描述了简单的线性方法转移风格，同时保持颜色。
2016-06-19 cs.CV
Geometric Style Transfer
University of Bath（巴斯大学）；Nankai University（南开大学）
神经风格转移（NST），其中输入图像被渲染成另一图像的风格，近年来已经成为一个相当大的进展的主题。在这段时间里，研究一直被颜色和纹理的转移方面所主导，但这些因素只是风格的一个组成部分。风格的其他因素包括构图，使用的投影系统，以及艺术家扭曲和弯曲物体的方式。我们的贡献是引入一个神经架构，支持几何风格的转移。不像最近在这方面的工作，我们是独一无二的一般，因为我们不受语义内容的限制。这种新的架构在传输纹理风格的网络之前运行，使我们能够将纹理传输到扭曲的图像。这种形式的网络支持第二个新颖性：我们扩展了NST输入范式。用户可以像通常那样输入内容/样式对，或者他们可以选择输入内容/纹理样式/几何样式三元组。这三个图像输入范例将风格分为两个部分，因此为我们可以产生的输出提供了更大的通用性。我们提供用户研究，显示我们的输出的质量，并量化的几何风格转移到风格识别的重要性。
2020-07-10 cs.CV
Separating Style and Content for Generalized Style Transfer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
近年来，神经风格迁移引起了人们的广泛关注。然而，大多数现有的方法的目的是显式地建模不同风格之间的转换，因此，学习的模型是不可推广到新的风格。本文尝试将风格和内容的表示分离，提出了一个由风格编码器、内容编码器、混合器和解码器组成的广义风格传输网络。样式编码器和内容编码器分别用于从样式参考图像和内容参考图像中提取样式和内容因子。混合器采用双线性模型将上述两个因素结合起来，最后将其送入解码器以生成具有目标风格和内容的图像。为了分离样式特征和内容特征，我们利用给定图像的样式和内容的条件依赖性。在训练过程中，编码器网络学习从两组有限大小的参考图像中提取样式和内容，一组具有共享样式，另一组具有共享内容。这种学习框架允许在多种风格之间同时进行风格迁移，可以被视为一种特殊的“多任务”学习场景。编码器被期望捕获不同样式和内容的底层特征，这些特征可推广到新的样式和内容。为了验证，我们将所提出的算法应用于中文字体转换问题。大量的字符生成实验结果表明，我们的方法的有效性和鲁棒性。
2018-09-23 cs.CV
LEAST: "Local" text-conditioned image style transfer
Adobe（奥多比公司）；Media and Data Science Research (MDSR)（媒体与数据科学研究（MDSR））
针对现有文本条件方法难以精确执行局部风格迁移且易破坏内容结构的问题，本文提出端到端流程 LEAST，以对齐用户意图，并通过定量与定性实验验证其有效性。
2025-01-03 cs.CV
Interactive Multi-level Stroke Control for Neural Style Transfer
Digital Masterpieces GmbH（Digital Masterpieces 有限公司）
我们提出了StyleTune，一个移动应用程序的交互式多层次控制的神经风格转移，促进风格元素的创造性调整，并实现高输出保真度。与当前的移动神经风格转移应用程序相比，StyleTune支持用户在全局和局部级别上调整风格元素的大小和方向，例如笔触和纹理补丁。为此，我们提出了一种新的中风自适应前馈式传输网络，使控制中风的大小和强度，并允许更大范围的编辑比目前的方法。对于额外的控制级别，我们提出了一种利用CNN的旋转方差进行笔划方向调整的网络不可知方法。为了实现高输出保真度，我们进一步增加了基于补丁的风格转移方法，使用户能够获得超过20兆像素的输出分辨率。我们的方法使用户能够创建许多新的结果，这些结果是当前移动神经风格转移应用程序无法实现的。
2021-06-25 cs.CV
Gated-GAN: Adversarial Gated Networks for Multi-Collection Style Transfer
Shanghai Jiao Tong University（上海交通大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
风格转换描述了将图像语义内容呈现为不同的艺术风格。最近，生成对抗网络（GANs）已经成为一种有效的风格转移方法，通过对抗训练生成器来合成令人信服的伪造品。然而，传统的GAN存在模式坍塌问题，导致训练不稳定，并且使得风格转换质量难以保证。此外，GAN生成器只兼容一种风格，因此必须训练一系列GANs，为用户提供选择，以转移多种风格。在本文中，我们专注于解决这些挑战和限制，以提高风格转移。我们提出了对抗性门控网络（门控GAN）在一个模型中传输多种风格。生成网络有三个模块：编码器、门控Transformer和解码器。通过使输入图像通过选通Transformer的不同分支，可以实现不同的风格。为了稳定训练，编码器和解码器被组合为自动编码器来重建输入图像。判别网络用于区分输入图像是风格化图像还是真实图像。使用辅助分类器来识别传输图像的风格类别，从而帮助生成网络生成多种风格的图像。此外，Gated GAN还可以通过研究从艺术家或流派那里学到的风格来探索新的风格。我们的大量实验证明了所提出的多风格传输模型的稳定性和有效性。
2019-04-04 cs.CV
StyleBank: An Explicit Representation for Neural Image Style Transfer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了StyleBank，它由多个卷积滤波器组组成，每个滤波器组显式表示一种风格，用于神经图像风格传输。为了将图像转换为特定风格，相应的滤波器组在由单个自动编码器产生的中间特征嵌入之上操作。StyleBank和自动编码器是联合学习的，其中学习以这样的方式进行，即由于显式滤波器组表示引入的灵活性，自动编码器不编码任何样式信息。它还使我们能够进行增量学习，通过在保持自动编码器固定的同时学习新的滤波器组来添加新的图像风格。明确的样式表示以及灵活的网络设计使我们不仅可以在图像级别上融合样式，还可以在区域级别上融合样式。我们的方法是第一个风格迁移网络，链接到传统的纹理基元映射方法，从而提供了新的理解神经风格迁移。我们的方法很容易训练，实时运行，并产生的结果，质量更好，或至少与现有的方法相比。
2017-03-28 cs.CV
Arbitrary Style Transfer with Deep Feature Reshuffle
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
本文介绍了一种新的方法，置换特征图的空间位置）的样式图像的任意样式转换。我们从理论上证明，我们的新的风格损失的基础上重新洗牌连接全局和局部风格损失分别使用的参数和非参数神经风格转移方法。这个简单的想法可以有效地解决现有风格转换方法中的挑战性问题。一方面，与神经参数化方法相比，它可以避免局部风格模式的失真，并允许语义级的迁移。另一方面，与神经非参数方法相比，它可以保持全局相似的外观风格图像，并避免冲洗伪影。基于提出的损失，我们还提出了一个渐进的特征域优化方法。实验结果表明，该方法适用于多种风格的文本，并且比现有方法具有更好的质量。
2018-06-20 cs.CV
MorphoStyle: Motion Style Transfer with Morphology Control
University of Edinburgh（爱丁堡大学）
MorphoStyle提出一种基于FSQ-VAE的形状感知运动风格迁移框架，通过对比风格编码、文本引导路由和低秩调制实现形状与风格解耦，在基准上优于现有方法。
2026-09-15 cs.CV
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer
Sungkyunkwan University（成均馆大学）
提出一种基于预训练大规模扩散模型的免训练风格迁移方法，通过替换自注意力层的键值并引入查询保留、温度缩放和AdaIN技术，在保留内容的同时实现高质量风格迁移，超越现有最先进方法。
2024-03-20 cs.CV
Arbitrary Style Transfer with Style-Attentional Networks
Artificial Intelligence Research Institute, Korea（韩国人工智能研究院）
任意风格转换的目的是将内容图像与图像的风格合成，以创建以前从未见过的第三个图像。最近的任意风格传输算法发现，它具有挑战性的内容结构和风格模式的平衡。此外，由于基于补丁的机制，同时维护全局和局部样式模式是困难的。在本文中，我们介绍了一种新的风格注意力网络（SANet），有效地和灵活地整合当地的风格模式，根据内容图像的语义空间分布。一个新的身份损失函数和多层次的特征嵌入，使我们的SANet和解码器，以保持尽可能多的内容结构，同时丰富的风格模式。实验结果表明，我们的算法合成的风格化的图像在实时的质量比那些产生的国家的最先进的算法。
2019-05-23 cs.CV
Learning Linear Transformations for Fast Arbitrary Style Transfer
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
给定随机的一对图像，任意风格转移方法从参考图像提取感觉，以基于另一内容图像的外观来合成输出。最近的任意风格转移方法通过内容图像特征与变换矩阵之间的乘法将二阶统计量从参考图像转移到内容图像上，所述变换矩阵是利用预定算法从特征计算的。这些算法要么需要计算上昂贵的操作，或无法建模的特征协方差和合成图像中产生的文物。在这些方法的基础上，本文从理论上推导了变换矩阵的形式，并提出了一种任意类型的传递方法，该方法通过前馈网络学习变换矩阵。我们的算法是高效的，但允许灵活的组合多层次的风格，同时保持在风格传输过程中的内容亲和力。我们证明了我们的方法在四个任务上的有效性：艺术风格转移，视频和照片般逼真的风格转移以及领域自适应，包括与最先进的方法进行比较。
2018-08-14 cs.CV
Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion
University of Maryland, College Park（马里兰大学帕克分校）；Snap Inc.（Snap公司）
本文提出跨模态GAN反演方法，将图像和文本等多模态风格输入统一为风格表示，实现多模态引导图像风格迁移，并在TIST和MMIST任务上取得最先进性能。
2023-12-04 cs.CV
HyperNST: Hyper-Networks for Neural Style Transfer
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出HyperNST;一种神经风格转换（NST）技术，用于图像的艺术风格化，基于超网络和StyleGAN 2架构。我们的贡献是一种新的方法，诱导风格转移参数化的度量空间，预先训练的基于风格的视觉搜索（SBVS）。我们第一次表明，这样的空间可用于驱动NST，使应用程序和插值的SBVS系统的风格。技术贡献是一个超网络，它预测在各种艺术内容（肖像）上预训练的StyleGAN 2的权重更新，使用面部区域的语义图在每个区域的基础上定制风格参数化。我们展示了HyperNST在保留我们的风格化内容的同时保持良好的风格传输性能的同时，在内容保存方面超越了最先进的水平。
2022-08-09 cs.CV
Uncorrelated Feature Encoding for Faster Image Style Transfer
Yeungnam University（岭南大学）；Kakaocorp（Kakao公司）
最近的快速风格转移方法使用预先训练的卷积神经网络作为特征编码器和感知损失网络。虽然预训练的网络用于产生有效表示图像的风格和内容的感受野的响应，但它不是针对图像风格转移而优化的，而是针对图像分类而优化的。此外，它还需要一个耗时的和相关性考虑的图像风格转移的特征对齐过程，因为它的通道间的相关性。在本文中，我们提出了一种端到端的学习方法，优化的编码器/解码器网络的风格转移的目的，以及减轻考虑通道间的相关性的特征对齐的复杂性。我们使用不相关损失，即，不同编码器通道响应之间的总相关系数，以及训练风格传递网络的风格和内容损失。这使得编码器网络被训练以生成通道间不相关的特征，并被优化用于图像风格传输的任务，该任务仅通过轻量和不相关的特征对齐过程来保持图像风格的质量。此外，我们的方法大大减少了编码特征的冗余通道，这导致了网络结构的有效规模和更快的前向处理速度。我们的方法也可以应用到级联网络方案的多尺度风格转移，并允许用户控制的风格强度，通过使用内容风格的权衡参数。
2018-07-04 cs.CV
Deep Photo Style Transfer
Cornell University（康奈尔大学）；Adobe（Adobe公司）
本文介绍了一种深度学习的摄影风格迁移方法，该方法可以处理各种各样的图像内容，同时忠实地迁移参考风格。我们的方法建立在最近的绘画转移工作的基础上，通过考虑神经网络的不同层，将风格与图像内容分开。然而，照原样，该方法不适合于照片级真实感风格转移。即使当输入和参考图像都是照片时，输出仍然表现出让人联想到绘画的失真。我们的贡献是约束从输入到输出的变换是局部仿射的颜色空间，并表示为一个自定义的完全可微的能量项的约束。我们表明，这种方法成功地抑制了失真，并产生令人满意的逼真的风格转让在各种各样的情况下，包括转让的一天中的时间，天气，季节和艺术编辑。
2017-04-11 cs.CV
Multimodal Style Transfer via Graph Cuts
Northeastern University（东北大学）；Adobe Research（奥多比研究院）；ByteDance AI Lab（字节跳动人工智能实验室）
在最近的神经风格转移方法中广泛使用的一个假设是，图像风格可以通过Gram或协方差矩阵等深层特征的全局静态来描述。替代方法通过将它们分解成局部像素或神经补丁来表示样式。尽管最近的进展，大多数现有的方法处理的语义模式的风格形象统一，导致不愉快的结果复杂的风格。本文介绍了一种更灵活、更通用的风格转换技术：多模式风格转换（MST）。MST显式地考虑内容和样式图像中语义模式的匹配。具体来说，风格图像特征被聚类成子风格组件，其与局部内容特征下的图割公式相匹配。训练一个重建网络来传输每个子样式并渲染最终的风格化结果。我们还推广了MST，以改进现有的一些方法。大量的实验表明，卓越的有效性，鲁棒性和灵活性的MST。
2020-01-07 cs.CV
Multi-style Generative Network for Real-time Transfer
Rutgers University（罗格斯大学）
尽管在风格转换方面取得了快速的进展，但是现有的使用前馈生成网络进行多风格或任意风格转换的方法通常在图像质量和模型灵活性方面受到损害。我们发现，这是从根本上很难实现全面的风格建模使用1维风格嵌入。基于此，我们引入了CoMatch层，它可以学习将二阶特征统计与目标风格相匹配。通过CoMatch层，我们构建了一个多风格生成网络（MSG-Net），它具有实时的【形】性能。我们还采用了一种特定的上采样卷积策略，避免了分数步长卷积造成的棋盘状伪影。与最先进的方法相比，我们的方法实现了卓越的图像质量。提出的MSG-Net作为一种通用的实时的【形】样式传输方法，与大多数现有技术兼容，包括内容样式插值，颜色保持，空间控制和画笔笔画大小控制。MSG-Net是第一个以纯粹的前馈方式实现风格传输的实时的【形】画笔大小控制的产品。我们为Torch、PyTorch和MXNet框架提供的实现和预训练模型将公开提供。
2017-11-16 cs.CV
ArtAdapter: Text-to-Image Style Transfer using Multi-Level Style Encoder and Explicit Adaptation
PicCollage（拼贴画（PicCollage））；CardinalBlue
本文提出ArtAdapter框架，通过多级风格编码器、显式自适应机制与辅助内容适配器，实现高保真且与文本对齐的T2I风格迁移，有效分离内容与风格，并利用快速微调增强零样本表示，超越现有最先进方法。
2024-03-26 cs.CV
Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）
Zero-shot艺术风格转换是一个重要的图像合成问题，旨在将任意风格的图像转换为内容图像。然而，现有方法中的泛化和效率之间的权衡阻碍了高质量的实时zero-shot风格的传输。在本文中，我们解决了这个难题，并提出了一个高效而有效的Avatar-Net，使视觉上合理的多尺度传输任意风格。我们的方法的关键成分是一个风格装饰，使内容功能的语义对齐的风格特征从任意的风格图像，这不仅整体上匹配他们的特征分布，但也保留详细的风格模式的装饰功能。通过将该模块嵌入到融合多尺度风格抽象的图像重建网络中，Avatar-Net在一次前馈中为任何风格图像呈现多尺度风格化。通过多种风格融合、视频风格化等一系列应用，验证了该方法在生成高质量风格化图像方面的有效性和高效性。
2018-05-22 cs.CV
Style-Aware Normalized Loss for Improving Arbitrary Style Transfer
USC Information Sciences Institute（南加州大学信息科学研究所）；Amazon Alexa Natural Understanding（亚马逊Alexa自然理解部门）
神经风格迁移（NST）已经从单一风格迅速发展到无限风格模型，也称为任意风格迁移（AST）。虽然吸引人的结果已被广泛报道的文献中，我们的经验研究四个著名的AST方法（GoogleMagenta，AdaIN，LinearTransfer，和SANet）显示，超过50%的时间，AST风格化的图像是不可接受的人类用户，通常是由于下或过度风格化。我们系统地研究了这种不平衡的风格可移植性（IST）的原因，并提出了一个简单而有效的解决方案，以减轻这个问题。我们的研究表明，IST问题与传统的AST风格损失有关，并揭示了根本原因是训练样本的权重相等，而不管其对应的风格图像的属性如何，这使模型偏向于某些风格。通过研究AST型损失的理论界，我们提出了一种新的损失，在很大程度上克服了IST。理论分析和实验结果验证了我们的损失的有效性，超过80%的风格欺骗率和98%的相对较高的偏好，在人类的评价。
2021-04-18 cs.CV
Selective Style Transfer for Text
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文探讨了意象风格转换在文本保持原有透明度方面的可能性。对不同文本域（场景文本、机器打印文本和手写文本）和跨模态的结果表明，这是可行的，并开辟了不同的研究路线。此外，两种架构的选择性风格转移，这意味着转移的风格只需要的图像像素，提出了。最后，场景文本选择性样式转移被评估为一种数据增强技术，以扩展场景文本检测数据集，从而提高文本检测器的性能。我们对所描述的模型的实现是公开的。
2019-06-04 cs.CV
Region-controlled Style Transfer
针对图像风格迁移无法控制内容图像不同区域纹理强度的问题，提出一种基于梯度关系和损失函数约束区域风格强度的训练方法，并引入保留语义关系的新颖特征融合方法，实验证明其有效。
2023-10-24 cs.CV
SEM-CS: Semantic CLIPStyler for Text-Based Image Style Transfer
Ashoka University（阿育王大学）；The LNM Institute of Information Technology（LNM信息技术学院）
针对 CLIPStyler 风格溢出和过度风格化导致语义丢失的问题，本文提出 Sem-CS，通过前景/背景分割及对应全局损失实现语义可控的文本图像风格迁移，并在多项指标上表现更优。
2023-03-11 cs.CV
StyleSplat: 3D Object Style Transfer with Gaussian Splatting
Carnegie Mellon University（卡内基梅隆大学）
针对现有3D风格迁移速度慢、难定位到特定物体的问题，提出轻量方法StyleSplat，基于3D高斯泼溅实现场景内多物体的定制化局部风格迁移，提升3D创作的可控性。
2024-07-12 cs.CV
A Method for Arbitrary Instance Style Transfer
Lionsgate Entertainment Corp.（狮门娱乐公司）；University of Southern California（南加州大学）
合成不同图像的风格和内容以形成视觉上连贯的图像的能力在诸如风格绘画、设计原型、图像编辑和增强现实的各种应用中具有很大的前景。然而，图像风格转移中的大多数作品都集中在将一个图像的风格转移到另一个图像的整体上，并且只有极少数作品试验了将风格转移到另一个图像的实例的方法。研究人员已经提出了一些方法来规避将样式转移到任意形状的实例的困难。在本文中，我们提出了一种拓扑启发算法，称为向前拉伸，通过将实例转换为张量表示来解决这个问题，这使我们能够直接将样式转移到这个实例本身。前向拉伸将像素映射到特定位置并在像素之间插值以将实例转换为张量。该算法允许我们引入一种方法来将任意样式转换为任意形状的实例。我们在本文中展示了我们的方法的结果。
2019-12-13 cs.CV
StyleStudio: Text-Driven Style Transfer with Selective Control of Style Elements
Westlake University（西湖大学）；Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出StyleStudio，通过跨模态AdaIN、基于风格的分类器自由引导和教师模型三种策略，解决文本驱动风格迁移中的过拟合、控制受限和文本不对齐问题，显著提升迁移质量与对齐度，且无需微调即可集成。
2025-03-27 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University（衡阳师范学院）；Cardiff University（卡迪夫大学）
本文提出了一种自动图像合成方法，将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时，风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像，忽略其语义布局，并且破坏传递结果。为了减少或避免这种影响，我们提出了一种新的方法，自动分割的对象，并提取其软语义面具的风格和内容的图像，以保持结构的内容图像，同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分，对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移，该框架结合了生成马尔可夫随机场（MRF）模型。各种图像上的结果表明，我们的方法优于最新的技术。
2017-08-31 cs.CV
Domain-Specific Mappings for Generative Adversarial Style Transfer
National Taiwan University（国立台湾大学）
样式转换生成的图像的内容来自一个图像，而样式来自另一个图像。图像到图像的翻译方法与解纠缠表示已被证明是有效的两个图像类别之间的风格转移。然而，以前的方法往往假设一个共享的域不变的内容空间，这可能会损害内容表示能力。为了解决这个问题，本文利用域特定的映射重新映射潜在的功能在共享内容空间域特定的内容空间。通过这种方式，可以更正确地编码图像以进行样式传输。实验表明，该方法优于以前的风格转移方法，特别是在具有挑战性的情况下，将需要图像之间的语义对应关系。代码和结果可在https://acht7111020.github.io/DSMAP-demo/上获得。
2020-08-05 cs.CV
Line Search-Based Feature Transformation for Fast, Stable, and Tunable Content-Style Control in Photorealistic Style Transfer
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
真实感风格转换是在将一个图像的内容调整为以另一个图像的风格显示时合成具有真实感外观的图像的任务。现代模型通常嵌入一个转换，该转换融合了描述内容图像和样式图像的特征，然后将所得特征解码为风格化图像。我们引入了一个通用的转换，它可以控制保留多少内容和注入的样式的强度之间的平衡。我们提供了第一个实验，展示了现有转换在不同样式传输模型中的性能，并展示了我们的转换如何在快速运行、产生一致合理的结果以及控制不同模型中的内容和样式之间的平衡方面表现得更好。为了支持复制我们的方法和模型，我们在https://github.com/chiutaiyin/LS-FT上共享代码。
2022-10-12 cs.CV
Improving Masked Style Transfer using Blended Partial Convolution
East Carolina University（东卡罗来纳大学）
本文提出基于部分卷积的风格迁移网络，精准应用于目标区域，并通过内部混合技术弥补区域选择的不完美，提升视觉和量化效果。
2025-08-07 cs.CV
Interactive Style Transfer: All is Your Palette
Nankai University（南开大学）
神经风格转移（NST）可以通过将参考风格转移到内容图像来创建令人印象深刻的艺术作品。目前的图像到图像的NST方法缺乏细粒度的控制，这往往是艺术编辑的需求。为了缓解这一限制，我们提出了一个类似绘画的交互式风格转移（IST）的方法，通过该方法，用户可以交互式地创建一个和谐的风格的图像。我们的IST方法可以作为画笔，从任何地方蘸取样式，然后绘制到目标内容图像的任何区域。为了确定动作范围，我们制定了一个流体模拟算法，该算法将样式作为画笔交互位置周围的颜料，并根据相似性图在样式或内容图像中扩散。我们的IST方法扩展了NST的创造性维度。通过浸渍和绘画，即使使用一种风格的图像也可以产生成千上万的引人注目的作品。演示视频可在补充文件或http://mmcheng.net/ist中找到。
2022-03-25 cs.CV
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
风格转换是图像合成任务，它将一个图像的风格应用于另一个图像，同时保留内容。在统计方法中，自适应实例归一化（AdaIN）通过归一化特征的均值和方差，对源图像进行白化处理，并应用目标图像的风格。然而，为每个实例计算特征统计会忽略特征之间的内在关系，因此很难在适应单个训练数据集的同时学习全局样式。在本文中，我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络，称为图实例规范化（GrIN）。该算法通过考虑实例之间共享的相似信息，使风格转移方法更加鲁棒。此外，这个简单的模块也适用于其他任务，如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
Self-Contained Stylization via Steganography for Reverse and Serial Style Transfer
National Chiao Tung University（国立交通大学）
风格转移被广泛应用于赋予现实世界的图像一个新的艺术面貌。然而，给定一个风格化的图像，尝试使用典型的风格转换方法去风格化或将其再次转换为另一种风格通常会导致伪像或不期望的结果。我们意识到这些问题的根源在于原始图像和其风格化输出之间的内容不一致。因此，在本文中，我们提出了保持输入图像的内容信息的风格转移过程中的权力的隐写术，提出了两种方法：一个两阶段的模型和一个端到端的模型。我们进行了大量的实验，成功地验证了我们的模型的能力，在这两个模型中，他们不仅能够生成与典型的风格转移方法产生的质量相媲美的风格化图像，而且还有效地消除了在重建原始输入的风格化图像，以及执行多次的风格转移系列的文物。
2020-01-09 cs.CV
Neural Style Transfer for Point Clouds
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所）
如何编辑或转换点云的几何或颜色属性？在这项研究中，我们提出了一个神经风格转移点云的方法，使我们能够转移的几何或颜色的风格从一个点云独立或同时到另一个。这种传输是通过操纵从彩色点云的预先训练的基于PointNet的分类网络中提取的内容表示和基于Gram的样式表示来实现的。由于基于Gram-based的风格表示是不变的点的数量或顺序，相同的方法可以被扩展到转换从图像中提取的风格的点云的颜色表达，通过仅仅处理图像作为一组像素。实验结果表明，所提出的方法的能力，从一个图像或点云的风格转移到另一个点云的单个对象，甚至是室内场景。
2019-03-14 cs.CV
InfoStyler: Disentanglement Information Bottleneck for Artistic Style Transfer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出 InfoStyler，通过信息瓶颈与跨域重构策略实现内容与风格特征的清晰解耦，有效平衡艺术风格迁移中的内容保持与风格丰富度。
2023-07-30 cs.CV
