CLIPstyler: Image Style Transfer with a Single Text Condition
KAIST（韩国科学技术院）
现有的神经风格传递方法需要参考风格图像来将风格图像的纹理信息传递到内容图像。然而，在许多实际情况下，用户可能没有参考样式图像，但仍然有兴趣通过想象来转移样式。为了处理这样的应用程序，我们提出了一个新的框架，使一个风格转移“没有”的风格图像，但只有所需的风格的文本描述。使用CLIP的预先训练的文本图像嵌入模型，我们演示了仅使用单个文本条件的内容图像风格的调制。具体来说，我们提出了一个补丁明智的文本图像匹配损失与多视图增强现实纹理转移。大量的实验结果证实了成功的图像风格转移与现实的纹理，反映语义查询文本。
2022-03-19 cs.CL cs.CV eess.IV
Name Your Style: An Arbitrary Artist-aware Image Style Transfer
Caritas Institute of Higher Education（明爱高等教育学院）；The Hong Kong Polytechnic University（香港理工大学）；École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）
针对传统图像风格迁移需参考风格图像灵活性不足的问题，提出文本驱动的TxST方法，结合CLIP对比训练与交叉注意力模块，实现任意艺术家风格迁移，性能优于现有最优方法。
2024-12-07 cs.CV eess.IV
Edge Enhanced Image Style Transfer via Transformers
Sichuan Normal University（四川师范大学）
近年来，图像风格的任意性迁移越来越受到人们的关注.给定一对内容和风格图像，风格化的图像希望保留前者的内容，同时捕捉后者的风格模式。然而，很难同时保持内容细节和风格特征之间的平衡。为了使图像具有足够的风格模式，内容细节可能会被破坏，有时图像的对象不能被清楚地区分。为此，我们提出了一种新的基于变换的方法命名为STT的图像风格转移和边缘损失，可以明显地增强内容细节，以避免产生模糊的结果，过度渲染的风格特征。定性和定量实验表明，STT实现了与最先进的图像风格传输方法相当的性能，同时减轻了内容泄漏问题。
2023-01-02 cs.CV eess.IV
ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows
University of Rochester（罗切斯特大学）；Baidu Research（百度研究院）；Tencent AI Lab（腾讯AI实验室）；Tencent Data Platform（腾讯数据平台）
通用样式传输会在内容图像中保留来自参考图像的样式。虽然现有的方法已经实现了最先进的风格转换性能，但它们没有意识到内容泄漏现象，即图像内容在几轮风格化过程之后可能会损坏。在本文中，我们提出了ArtFlow，以防止通用的风格传输过程中的内容泄漏。ArtFlow由可逆神经流和无偏特征传输模块组成。它支持前向和后向推理，并在投影-转移-反转方案中操作。前向推理将输入图像投影到深度特征中，而后向推理以无损和无偏的方式将深度特征重新映射回输入图像。大量实验表明，ArtFlow实现了与最先进风格传输方法相当的性能，同时避免了内容泄漏。
2021-04-09 cs.CV eess.IV
P$^2$-GAN: Efficient Style Transfer Using Single Style Image
Xi’an Jiaotong University（西安交通大学）
风格转换是一种非常有用的图像合成技术，它可以将给定的图像重新渲染成另一种艺术风格，同时保留其内容信息。生成对抗网络（GAN）是一个被广泛采用的框架，为这一任务，其更好的本地风格模式的表示能力比传统的基于语法矩阵的方法。然而，大多数先前的方法依赖于足够量的预先收集的样式图像来训练模型。本文提出了一种新的Patch Permutation GAN（P $^2$ -GAN）网络，该网络可以有效地从单个风格图像中学习笔画风格。我们使用补丁置换生成多个训练样本从给定的风格图像。设计了一种能同时对分块图像和自然图像进行无缝处理的分块图像处理器。我们还提出了一个基于局部纹理描述符的标准来定量评估风格转移质量。实验结果表明，该方法可以从单一风格的图像中生成质量更好的重渲染结果，与许多现有方法相比，计算效率有所提高。
2020-01-30 cs.CV eess.IV
NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer
Sobey Digital Technology Co., Ltd（索贝数码科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
视频真实感风格转换是生成具有与风格图像相似的真实感风格同时保持时间一致性的视频所期望的。然而，现有的方法通过逐帧进行真实感风格转换来获得风格化的视频序列，这是低效的，并且不能保证风格化视频的时间一致性。为了解决这个问题，我们使用基于神经网络的3D视频传输表（LUT）的逼真的视频传输，实现效率和效果之间的平衡。我们首先训练一个神经网络，用于在大规模数据集上生成真实感风格化的3D LUT;然后，当对特定视频进行真实感风格转换时，我们选择视频中的关键帧和风格图像作为数据源，并对神经网络进行微调;最后，我们查询由微调的神经网络生成的3D LUT以获得视频中的颜色，从而产生超快的照片级真实感风格转换，即使处理8 K视频也需要不到2毫秒每帧。实验结果表明，该方法不仅实现了任意风格图像的真实感风格转换，而且在视觉质量和一致性方面优于现有方法。项目页面：https://semchan.github.io/NLUT_Project。
2023-03-17 cs.CV eess.IV
ColoristaNet for Photorealistic Video Style Transfer
Fudan University（复旦大学）
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上，同时保持真实感。在本文中，我们认为这是在现有的算法中的摘要统计匹配方案，导致不切实际的风格化。为了避免使用流行的革兰氏损失，我们提出了一个自我监督的风格转移框架，其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式，并且样式恢复网络以监督的方式恢复图像样式。同时，针对现有特征转换方法存在的问题，提出了解耦的实例规范化方法，将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好，可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性，我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明，与现有的风格化算法相比，ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
Style Transfer Dataset: What Makes A Good Stylization?
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
本文提出一个包含10000张人工评分的风格迁移数据集，通过分析评分揭示了影响用户评价的关键因素与定量指标，并探讨了数据集构建方法，以推进风格迁移配置与评估的自动化。
2024-12-22 cs.CV eess.IV
Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate
National University of Singapore（新加坡国立大学）
针对传统风格迁移对固定图像对只能产生单一结果、缺乏个性化控制的问题，本文提出 Any-to-Any Style Transfer，结合 Segment Anything 区域分割与注意力融合，实现用户交互式的区域级风格选择与迁移，并可即插即用地增强现有方法的可控性。
2023-04-20 cs.CV eess.IV
CDST: Color Disentangled Style Transfer for Universal Style Reference Customization
ByteDance（字节跳动）
介绍CDST这种新颖高效的双流风格迁移训练范式，能分离颜色与风格，推理时免调参实现通用风格迁移，首次免调参解决带风格和内容参考的特征保留风格迁移问题，实验证明效果达最优。
2026-07-07 cs.CV
GIST: Towards Photorealistic Style Transfer via Multiscale Geometric Representations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 GIST，利用多尺度几何表示与最优传输匹配内容和风格图像的 Wavelets、Contourlets 特征，在无需训练或后处理的情况下实现照片级风格迁移并显著减少处理时间。
2024-12-03 cs.CV eess.IV
A Unified Framework for Generalizable Style Transfer: Style and Content Separation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）；Microsoft（微软）
近年来，图像风格转换引起了广泛的关注。然而，大多数现有的方法的目的是显式地建模不同风格之间的转换，因此，学习的模型是不可推广到新的风格。我们在这里提出了一个统一的风格转换框架，用于字符字体转换和神经风格转换任务，利用风格和内容分离。这种框架的一个主要优点是它对新的风格和内容的普遍性。整体框架由风格编码器、内容编码器、混合器和解码器组成。样式编码器和内容编码器用于从对应的参考图像中提取样式和内容表示。混合器集成上述两种表示并将其馈送到解码器中以生成具有目标样式和内容的图像。在训练期间，编码器网络学习从有限大小的样式/内容参考图像中提取样式和内容。这种学习框架允许在多种风格之间同时进行风格迁移，可以被视为一种特殊的“多任务”学习场景。编码器被期望捕获不同样式和内容的底层特征，这些特征可推广到新的样式和内容。在此框架下，我们设计了两个独立的网络，分别用于字符字体传输和神经风格传输。对于字符字体转换，为了分离样式特征和内容特征，我们利用给定图像的样式和内容的条件依赖性。对于神经风格传递，我们利用某些层中特征映射的统计信息来表示风格。大量的实验结果表明，所提出的方法的有效性和鲁棒性。
2018-06-13 cs.CV
Deep Learning for Breast MRI Style Transfer with Limited Training Data
Duke University（杜克大学）；Yale University（耶鲁大学）
本文提出StyleMapper，一种基于深度学习的医学图像风格迁移方法，通过模拟随机风格训练实现有限数据下的任意风格迁移，在乳腺MRI上验证了有效性，支持下游任务。
2023-01-05 cs.CV cs.LG eess.IV
Photorealistic Style Transfer for Videos
真实感风格转移是一种通过使用深度学习和优化技术将颜色从一个参考域转移到另一个域的技术。在这里，我们提出了一种技术，我们使用它来转移风格和颜色从参考图像到视频。
2018-07-01 cs.CV
Unified Style Transfer
Australian National University（澳大利亚国立大学）
目前，由于风格定义混乱，风格迁移研究缺乏一致的客观验证方法，很难对不同的风格迁移算法进行比较和评价。本文提出了一种新的方法，统一风格迁移（UST）模型。通过引入内部风格表示的生成模型，UST可以通过两种方法传输图像，即，基于图像和基于域，同时。同时，提出并论证了一种基于人类艺术感和风格分布的评估转移模型的新哲学，称为统计风格分析。通过验证艺术作品内在风格表征与艺术事实之间的一致性，为验证风格迁移模型的可行性提供了一条新的途径。此外，还讨论了AdaIN特征的自适应不变性。
2021-10-20 cs.CV
Demystifying Neural Style Transfer
Peking University（北京大学）；TuSimple（图森未来）
神经风格转移最近展示了非常令人兴奋的结果，在学术界和工业界都引起了关注。尽管取得了惊人的结果，但神经风格迁移的原理，特别是为什么Gram矩阵可以代表风格仍然不清楚。在本文中，我们提出了一种新的解释神经风格转移，将其视为一个领域自适应问题。具体地说，我们从理论上证明，匹配的特征地图的革兰氏矩阵是等效的最大平均离散（MMD）与二阶多项式核最小化。因此，我们认为，神经风格转移的本质是匹配的风格图像和生成的图像之间的特征分布。为了进一步支持我们的观点，我们尝试了其他几种分布对齐方法，并取得了令人满意的结果。我们相信这种新颖的解释将这两个重要的研究领域联系起来，并对未来的研究有所启示。
2017-07-01 cs.CV cs.LG cs.NE
Filter Style Transfer between Photos
Samsung Electronics（三星电子）
在过去的几年里，图像到图像的风格转移已经上升到神经图像处理的前沿。虽然传统方法在各种任务中取得了成功，例如图像之间的颜色和纹理传输，但没有一种方法可以有效地处理用户通过Instagram等各种平台应用的自定义滤镜效果。本文提出了一种新的风格转换概念--过滤风格转换（FST）。与传统的样式转换不同，新技术FST可以从过滤后的样式图像中提取自定义过滤样式并将其转换为内容图像。FST首先通过图像到图像的转换从过滤的参考推断原始图像。然后，它估计滤波器参数之间的差异。为了解决从参考图像重建原始图像的不适定性，我们将图像的每个像素颜色表示为类均值和偏差。此外，为了处理类内的颜色变化，我们提出了一种基于不确定性的加权最小二乘法恢复原始图像。据我们所知，FST是第一种风格的传输方法，可以在移动终端上在2 ms内传输FHD图像之间的自定义滤镜效果，而不会丢失任何文本上下文。
2020-07-15 cs.CV cs.LG eess.IV
Real-Time Style Transfer With Strength Control
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
样式转换是以另一样式图像的样式呈现内容图像的问题。在风格转换的应用中，一个自然而常见的实际任务是调整风格化的强度。Gatys等人（2016）的算法通过改变内容和风格损失的权重因子来提供这种能力，但计算效率低下。Johnson et al.（2016）引入的实时风格传输通过将图像传递到预先训练的Transformer网络，实现了任何图像的快速风格化。虽然速度很快，但这种架构无法持续调整风格强度。我们提出了一个扩展的实时风格传输，允许直接控制风格的强度在推理，仍然只需要一个单一的Transformer网络。我们进行定性和定量的实验表明，该方法是能够顺利风格化强度控制，并消除某些风格化文物出现在原来的实时的【形】风格转移方法。与其他实时的【形】风格转换算法的比较，能够调整风格化强度，表明我们的方法再现风格与更多的细节。
2019-04-18 cs.CV
Style Mixer: Semantic-aware Multi-Style Transfer Network
City University of Hong Kong（香港城市大学）
近年来的神经风格迁移框架在单风格迁移（SST）中获得了惊人的视觉质量和灵活性，但在多风格迁移（MST）中却鲜有人关注。多风格迁移是指将多种风格同时迁移到同一幅图像上。与SST相比，MST具有创造更多样化和视觉上令人愉悦的风格化结果的潜力。在本文中，我们提出了第一个MST框架，自动将多种风格到一个结果的基础上区域语义。我们首先通过引入一个新的多层次特征融合模块和补丁注意模块来改进现有的SST骨干网络，以实现更好的语义对应，并保留更丰富的风格细节。对于MST，我们设计了一个概念上简单而有效的基于区域的风格融合模块插入到主干中。它基于语义匹配为内容区域分配相应的样式，然后将多个样式无缝组合在一起。综合评价表明，我们的框架优于现有的SST和MST的作品。
2019-10-29 cs.CV
Wasserstein Style Transfer
IBM Research（IBM研究院）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了高斯最优传输的图像风格传输的编码器/解码器框架。高斯测度的最优运输具有从源分布到目标分布的封闭形式Monge映射。此外，在内容图像和样式图像之间的插值可以被看作是沃瑟斯坦几何中的测地线。使用这种见解，我们展示了如何混合不同的目标风格，使用Wasserstein重心高斯措施。由于高斯函数在Wasserstein重心下是封闭的，这允许我们进行简单的风格转换和风格混合和插值。此外，我们展示了如何混合不同的风格，可以实现使用高斯之间的其他测地线度量，如Fisher Rao度量，而运输的内容，以新的插值风格仍然与高斯OT地图。我们简单的方法允许生成新的风格化内容，在许多艺术风格之间进行插值。插值中使用的度量导致不同的风格化。
2019-05-30 cs.CV cs.LG stat.ML
Improved Style Transfer by Respecting Inter-layer Correlations
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
流行的一系列样式转换方法通过控制特征栈的早期层中的值的均值和协方差来将样式应用于内容图像。这不足以在空间尺度上传递具有强结构的样式，例如，长曲线上的点的纹理。本文表明，控制层间的相关性产生明显的改进风格转移方法。我们通过计算跨层，而不是层内，克矩阵来实现这种控制。我们发现，（a）跨层gram矩阵足以控制层内统计。层间相关性改善了风格传递和纹理合成。该文件显示了大量的例子，“硬”的真正的风格转移问题（例如，长规模和层次模式）;（b）一个快速的近似风格转移方法可以控制跨层的克矩阵;（c）我们证明，乘法，而不是添加剂的风格和内容损失，结果在非常好的风格转移。乘性损失产生了对边界的明显强调，并意味着可以消除一个超参数。
2018-01-05 cs.CV
Language-Driven Image Style Transfer
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
尽管有很好的效果，风格转移，这需要提前准备的风格图像，可能会导致缺乏创造力和可访问性。另一方面，遵循人类指令是执行艺术风格转移的最自然的方式，可以显着提高视觉效果应用的可控性。我们引入了一个新的任务，语言驱动的艺术风格转移（LDAST），操纵的内容图像的风格，由文本指导。我们提出了对比语言视觉艺术家（CLVA），学习提取视觉语义的风格指令，并完成LDAST的补丁明智的风格识别。该方法考虑了语言与风格图像或传输结果之间的相关性，以联合嵌入风格指令。CLVA进一步比较内容图像和风格指令的对比对，以提高相互关联性。来自相同内容图像的结果可以保持一致的内容结构。此外，它们应该从包含类似视觉语义的样式指令中呈现类似的样式模式。实验结果表明，我们的CLVA是有效的，并取得了良好的LDAST传输效果。
2022-07-17 cs.CV
Style Decomposition for Improved Neural Style Transfer
School of Informatics（信息学院）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
通用神经风格转换（NST）方法能够通过（几乎）实时的特征变换以风格不可知的方式执行任意风格的风格转换。尽管他们的单峰参数化样式建模方法已被证明足以从相对简单的图像中转移单一样式，但它们通常无法有效地处理更复杂的样式，产生显著的伪影，以及降低风格化图像中合成纹理的质量。为了克服这些局限性，在本文中，我们提出了一种新的通用NST方法，分别对存在于给定样式图像（或样式图像集合）中的每个子样式进行建模。这允许更好地对同一样式图像内的细微样式差异进行建模，然后使用最适当的子样式（或不同子样式的混合）来对内容图像进行样式化。所提出的方法的能力是：a）使用存在于一个样式图像中的子样式来执行宽范围的不同样式化，同时给予用户适当地混合不同子样式的能力，b）自动地将最适当的子样式匹配到内容图像的不同语义区域，改进现有的现有技术水平的通用NST方法，以及c）从图像集合中检测和转移子样式。
2018-11-30 cs.CV
Pluggable Style Representation Learning for Multi-Style Transfer
The Shenzhen Campus of Sun Yat-Sen University, Sun Yat-Sen University（中山大学深圳校区，中山大学）；Aviation University of Air Force（空军航空大学）
本文提出一种解耦风格建模与迁移的多风格迁移框架，通过紧凑风格表示和可插拔风格表示网络，在不增加推理开销的情况下高效适应多种风格，达到最先进性能。
2025-03-26 cs.CV
Arbitrary Handwriting Image Style Transfer
提出了一种通过风格迁移来模仿手写体风格的方法。提出了一种基于条件生成对抗网络（cGAN）的手写体风格迁移神经网络模型。本文在GAN的基础上对损失函数进行了改进。与其他笔迹模仿方法相比，笔迹风格迁移的效果和效率都有显著提高。实验结果表明，生成的汉字形状清晰，实验数据分析表明，生成对抗网络在笔迹风格迁移方面表现出良好的性能。生成的文本图像更接近真实笔迹，在笔迹模仿方面取得了较好的效果。
2022-03-31 cs.CV
3D Face Arbitrary Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
三维人脸的风格转换越来越受到人们的关注。然而，以前的方法主要使用艺术面孔的图像进行风格转移，而忽略了任意风格的图像，如抽象画。为了解决这个问题，我们提出了一种新的方法，即人脸引导的双重风格迁移（FDST）。首先，FDST采用3D解耦模块来分离面部几何形状和纹理。在此基础上提出了一种人脸几何风格融合策略。随后，我们设计了一个基于优化的纹理DDSG机制，可以指导风格转移的两个风格图像。除了正常风格的图像输入，DDSG可以利用原始人脸输入作为另一种风格的输入作为人脸先验。通过这种方法，可以获得高质量的人脸任意风格的传输结果。此外，FDST可以应用于许多下游任务，包括区域可控的风格转移，高保真人脸纹理重建，大姿态人脸重建和艺术人脸重建。综合定量和定性的结果表明，我们的方法可以达到相当的性能。所有源代码和预训练的权重将向公众发布。
2023-03-14 cs.CV
Neural Comic Style Transfer: Case Study
Warsaw University of Technology（华沙理工大学）
Gatys等人的工作[1]最近展示了一种神经风格算法，可以生成具有另一幅图像风格的图像。一些进一步的工作介绍了各种改进的概括，质量和效率，但他们中的每一个主要集中在风格，如绘画，抽象图像或照片写实风格。在本文中，我们提出了一个比较国家的最先进的风格转移方法，以应付转移不同的图像上的各种漫画风格。我们选择了自适应实例规范化[11]和通用风格转移[16]模型的不同组合，并在定性和定量分析方面对它们进行了比较，以发现它们的优点和缺点。最后，我们提出了一项调查的结果，超过100人，旨在验证评估结果在现实生活中的应用程序的漫画风格转移。
2018-09-11 cs.CV
StyleRemix: An Interpretable Representation for Neural Image Style Transfer
Y-tech；Kwai（Kwai（快手））
多风格迁移（Multi-Style Transfer，MST）旨在捕捉不同风格的高级视觉词汇，并将这些词汇表达在一个联合模型中，以迁移每种特定的风格。最近，基于风格嵌入学习（SEL）的方法表示每一种风格与一组明确的参数来执行MST任务。然而，大多数现有的SEL方法要么学习具有许多独立参数的显式样式表示，要么学习相对黑盒的样式表示，这使得它们难以控制风格化的结果。在本文中，我们概述了一种新的MST模型，StyleRemix，companies和显式集成多种风格到一个网络。通过将不同的风格分解到相同的基础上，StyleRemix在具有一维系数的连续向量空间中表示特定的风格。通过可解释的样式表示，StyleRemix不仅支持样式可视化任务，还允许在平滑的样式嵌入空间中混合样式的多种方式。大量的实验表明，与最先进的SEL方法相比，StyleRemix在各种MST任务上的有效性。
2019-03-25 cs.CV
DeepObjStyle: Deep Object-based Photo Style Transfer
Indian Institute of Technology Gandhinagar（甘地讷格尔印度理工学院）
风格转移的主要挑战之一是在输出图像和输入（风格和内容）图像之间进行适当的图像特征监督。一个有效的策略是在样式对象和内容图像之间定义一个对象映射。然而，当在样式和内容图像中存在不同类型和数量的语义对象时，这样的映射不能很好地建立。它还导致样式传输输出中的内容不匹配，这可能会降低结果的视觉质量。我们提出了一种基于对象的风格转换方法，称为DeepObjStyle，用于训练数据独立框架中的风格监督。DeepObjStyle保留了对象的语义，并在样式和内容图像具有图像特征不匹配的挑战性场景中实现了更好的样式转换。我们还执行包含单词云的图像的样式传输，以证明DeepObjStyle能够实现适当的图像特征监督。我们使用定量比较和用户研究来验证结果。
2020-12-11 cs.CV
Content Aware Neural Style Transfer
本文提出了一种基于内容感知的风格转换算法，该算法使用预先训练好的神经网络对内容相似的绘画和照片进行风格转换，取得了比以往工作更好的效果。此外，数值实验表明，神经网络不能完全分离风格模式和内容信息。
2016-01-18 cs.CV
Deep Image Style Transfer from Freeform Text
Georgia Institute of Technology（佐治亚理工学院）
本文通过从自由形式的用户文本输入生成风格图像来创建深度神经风格转移的新方法。语言模型和样式转换模型形成无缝管道，其可以创建与基线样式转换方法相比具有类似损失和改进质量的输出图像。在给定样式文本和描述输入的情况下，语言模型返回紧密匹配的图像，该图像然后与输入内容图像一起被传递到样式传递模型以创建最终输出。还开发了一个概念验证工具来集成这些模型，并证明了从自由形式文本转换深度图像风格的有效性。
2022-12-13 cs.CL cs.CV cs.LG
Style Transfer With Adaptation to the Central Objects of the Scene
SAS（赛仕软件）
风格转换是指将一幅图像的某些内容转换成另一幅图像的风格，例如将一张全家福照片转换成某位著名画家的绘画风格。经典的风格转换算法的缺点是它将风格统一地施加在内容图像的各个部分上，这会干扰内容图像上的中心对象，例如人脸或文本，并且使它们无法识别。本文提出了一种新的风格转换算法，该算法自动检测内容图像上的中心对象，生成空间重要性掩码，并不均匀地施加风格：中心对象被风格化较少以保持其可识别性，图像的其他部分被风格化以保持风格。三种方法的自动中央目标检测提出和评价定性和通过用户评价研究。这两个比较表明，更高的质量的风格化相比，经典的风格转移方法。
2019-06-04 cs.CV
CAMS: Color-Aware Multi-Style Transfer
York University（约克大学）；École de technologie supérieure (ÉTS)（高等技术学院（ÉTS））
图像风格转移的目的是操纵源图像或“内容”图像的外观，以共享与目标“风格”图像相似的纹理和颜色。理想情况下，样式转换操作还应该保留源图像的语义内容。一种常用的帮助转换样式的方法是基于Gram矩阵优化。基于Gram矩阵的优化的一个问题是它没有考虑颜色和它们的样式之间的相关性。具体来说，某些纹理或结构应该与特定的颜色相关联。当目标样式图像呈现多个样式类型时，这尤其具有挑战性。在这项工作中，我们提出了一种颜色感知的多风格传输方法，产生美观的结果，同时保留风格和生成的图像之间的风格颜色相关性。我们通过引入一个简单但有效的修改经典的基于克矩阵的风格传递优化实现了这一预期的结果。我们的方法的一个很好的特点是，它使用户能够手动选择目标样式和内容图像之间的颜色关联，以获得更大的传输灵活性。我们通过几个定性比较验证了我们的方法，包括一项有30名参与者的用户研究。与以前的工作相比，我们的方法是简单的，易于实现，并实现视觉上有吸引力的结果时，针对具有多种风格的图像。源代码可在https://github.com/mahmoudnafifi/color-aware-style-transfer上获得。
2021-09-04 cs.CV
ITstyler: Image-optimized Text-based Style Transfer
Tsinghua University（清华大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）
基于文本的风格迁移是一个新兴的研究课题，它利用文本信息代替风格图像来指导风格迁移过程，极大地扩展了风格迁移的应用场景。然而，以前的方法需要额外的时间来优化或文本图像配对数据，导致有效性有限。在这项工作中，我们实现了一个数据高效的基于文本的风格传输方法，不需要在推理阶段的优化。具体来说，我们将文本输入转换到预先训练好的VGG网络的样式空间，以实现更有效的样式交换。我们还利用CLIP的多模态嵌入空间来学习仅与图像数据集的文本到样式映射。我们的方法可以实时传输任意新样式的文本输入，并合成高质量的艺术图像。
2023-01-26 cs.CV
Computational Decomposition of Style for Controllable and Enhanced Style Transfer
Shanghai Jiao Tong University（上海交通大学）
卷积神经网络（CNN）在艺术图像的生成中具有强大的神经风格转换功能。然而，仍然缺乏对艺术风格的感性成分的计算分析。与以往的研究不同，本文基于CNN产生的特征图，系统地研究了文本风格的特征。首先，我们不仅使用基于频谱的方法，包括快速傅立叶变换（FFT），离散余弦变换（DCT），而且还使用潜在变量模型，如主成分分析（PCA），独立成分分析（ICA），计算风格分解成基本元素。然后，风格的分解归纳出各种控制风格元素的方法，这些方法可以作为模块嵌入到最先进的风格转换算法中。这种风格的分解带来了几个好处。它使不同的艺术风格的计算编码，我们的风格基础与类似的风格聚类在一起，因此它有助于混合或干预的风格基础上的风格从一个以上的风格，使复合风格或新的风格可以产生产生风格的图像。实验结果表明，该方法不仅对绘画风格的转换，而且对草图风格的转换，这表明可能的应用在图片到草图的问题。
2018-11-24 cs.CV
SCAdapter: Content-Style Disentanglement for Diffusion Style Transfer
LY Corporation（LY公司）
SCAdapter通过CLIP图像空间实现内容与风格的解耦，提升扩散模型在逼真图像迁移中的效果和效率。
2025-12-15 cs.CV
Iris Style Transfer: Enhancing Iris Recognition with Style Features and Privacy Preservation through Neural Style Transfer
Technical University of Munich（慕尼黑工业大学）
针对虹膜识别的鲁棒性需求与隐私担忧，该研究受神经风格迁移启发，利用虹膜风格特征提升识别准确率并抵抗变异，还提出通过神经风格迁移模糊可识别特征以保护隐私。
2025-04-14 cs.CV cs.HC
Style Transfer by Relaxed Optimal Transport and Self-Similarity
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Chicago（芝加哥大学）
样式传递算法努力使用一个图像的样式来呈现另一个图像的内容。我们提出了一种新的基于优化的风格转换算法-基于松弛最优传输和自相似性的风格转换算法（STROTSS）。我们扩展了我们的方法，允许用户指定的点到点或区域到区域的风格图像和输出之间的视觉相似性的控制。这样的引导可以用于实现特定的视觉效果或校正由不受约束的风格转换所造成的错误。为了定量地比较我们的方法，以前的工作，我们进行了大规模的用户研究，旨在评估风格转移算法的设置之间的风格-内容的权衡。我们的研究结果表明，对于任何所需的内容保存水平，我们的方法提供了更高质量的风格化比以前的工作。代码可在https://github.com/nkolkin13/STROTSS上获得
2019-10-09 cs.CV
Inversion-Free Video Style Transfer with Trajectory Reset Attention Control and Content-Style Bridging
Nanjing University（南京大学）
本文提出轨迹重置注意力控制TRAC与风格介质概念，构建免调优框架，在降低计算成本的同时实现图像和视频的高质量、内容保持的风格迁移。
2025-03-10 cs.CV
Preserving Color in Neural Artistic Style Transfer
U. Tübingen（图宾根大学）；Adobe Research（奥多比研究院）
本文介绍了神经艺术风格转移算法（Gatys等人）的扩展。原始算法将图像变换为具有另一给定图像的风格。例如，一张照片可以被转换成一幅名画的风格。在这里，我们解决了原始方法的一个潜在缺点：算法转移了原始绘画的颜色，这可能会以不受欢迎的方式改变场景的外观。我们描述了简单的线性方法转移风格，同时保持颜色。
2016-06-19 cs.CV
Geometric Style Transfer
University of Bath（巴斯大学）；Nankai University（南开大学）
神经风格转移（NST），其中输入图像被渲染成另一图像的风格，近年来已经成为一个相当大的进展的主题。在这段时间里，研究一直被颜色和纹理的转移方面所主导，但这些因素只是风格的一个组成部分。风格的其他因素包括构图，使用的投影系统，以及艺术家扭曲和弯曲物体的方式。我们的贡献是引入一个神经架构，支持几何风格的转移。不像最近在这方面的工作，我们是独一无二的一般，因为我们不受语义内容的限制。这种新的架构在传输纹理风格的网络之前运行，使我们能够将纹理传输到扭曲的图像。这种形式的网络支持第二个新颖性：我们扩展了NST输入范式。用户可以像通常那样输入内容/样式对，或者他们可以选择输入内容/纹理样式/几何样式三元组。这三个图像输入范例将风格分为两个部分，因此为我们可以产生的输出提供了更大的通用性。我们提供用户研究，显示我们的输出的质量，并量化的几何风格转移到风格识别的重要性。
2020-07-10 cs.CV
Separating Style and Content for Generalized Style Transfer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
近年来，神经风格迁移引起了人们的广泛关注。然而，大多数现有的方法的目的是显式地建模不同风格之间的转换，因此，学习的模型是不可推广到新的风格。本文尝试将风格和内容的表示分离，提出了一个由风格编码器、内容编码器、混合器和解码器组成的广义风格传输网络。样式编码器和内容编码器分别用于从样式参考图像和内容参考图像中提取样式和内容因子。混合器采用双线性模型将上述两个因素结合起来，最后将其送入解码器以生成具有目标风格和内容的图像。为了分离样式特征和内容特征，我们利用给定图像的样式和内容的条件依赖性。在训练过程中，编码器网络学习从两组有限大小的参考图像中提取样式和内容，一组具有共享样式，另一组具有共享内容。这种学习框架允许在多种风格之间同时进行风格迁移，可以被视为一种特殊的“多任务”学习场景。编码器被期望捕获不同样式和内容的底层特征，这些特征可推广到新的样式和内容。为了验证，我们将所提出的算法应用于中文字体转换问题。大量的字符生成实验结果表明，我们的方法的有效性和鲁棒性。
2018-09-23 cs.CV
LEAST: "Local" text-conditioned image style transfer
Adobe（奥多比公司）；Media and Data Science Research (MDSR)（媒体与数据科学研究（MDSR））
针对现有文本条件方法难以精确执行局部风格迁移且易破坏内容结构的问题，本文提出端到端流程 LEAST，以对齐用户意图，并通过定量与定性实验验证其有效性。
2025-01-03 cs.CV
Interactive Multi-level Stroke Control for Neural Style Transfer
Digital Masterpieces GmbH（Digital Masterpieces 有限公司）
我们提出了StyleTune，一个移动应用程序的交互式多层次控制的神经风格转移，促进风格元素的创造性调整，并实现高输出保真度。与当前的移动神经风格转移应用程序相比，StyleTune支持用户在全局和局部级别上调整风格元素的大小和方向，例如笔触和纹理补丁。为此，我们提出了一种新的中风自适应前馈式传输网络，使控制中风的大小和强度，并允许更大范围的编辑比目前的方法。对于额外的控制级别，我们提出了一种利用CNN的旋转方差进行笔划方向调整的网络不可知方法。为了实现高输出保真度，我们进一步增加了基于补丁的风格转移方法，使用户能够获得超过20兆像素的输出分辨率。我们的方法使用户能够创建许多新的结果，这些结果是当前移动神经风格转移应用程序无法实现的。
2021-06-25 cs.CV
Gated-GAN: Adversarial Gated Networks for Multi-Collection Style Transfer
Shanghai Jiao Tong University（上海交通大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
风格转换描述了将图像语义内容呈现为不同的艺术风格。最近，生成对抗网络（GANs）已经成为一种有效的风格转移方法，通过对抗训练生成器来合成令人信服的伪造品。然而，传统的GAN存在模式坍塌问题，导致训练不稳定，并且使得风格转换质量难以保证。此外，GAN生成器只兼容一种风格，因此必须训练一系列GANs，为用户提供选择，以转移多种风格。在本文中，我们专注于解决这些挑战和限制，以提高风格转移。我们提出了对抗性门控网络（门控GAN）在一个模型中传输多种风格。生成网络有三个模块：编码器、门控Transformer和解码器。通过使输入图像通过选通Transformer的不同分支，可以实现不同的风格。为了稳定训练，编码器和解码器被组合为自动编码器来重建输入图像。判别网络用于区分输入图像是风格化图像还是真实图像。使用辅助分类器来识别传输图像的风格类别，从而帮助生成网络生成多种风格的图像。此外，Gated GAN还可以通过研究从艺术家或流派那里学到的风格来探索新的风格。我们的大量实验证明了所提出的多风格传输模型的稳定性和有效性。
2019-04-04 cs.CV
StyleBank: An Explicit Representation for Neural Image Style Transfer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了StyleBank，它由多个卷积滤波器组组成，每个滤波器组显式表示一种风格，用于神经图像风格传输。为了将图像转换为特定风格，相应的滤波器组在由单个自动编码器产生的中间特征嵌入之上操作。StyleBank和自动编码器是联合学习的，其中学习以这样的方式进行，即由于显式滤波器组表示引入的灵活性，自动编码器不编码任何样式信息。它还使我们能够进行增量学习，通过在保持自动编码器固定的同时学习新的滤波器组来添加新的图像风格。明确的样式表示以及灵活的网络设计使我们不仅可以在图像级别上融合样式，还可以在区域级别上融合样式。我们的方法是第一个风格迁移网络，链接到传统的纹理基元映射方法，从而提供了新的理解神经风格迁移。我们的方法很容易训练，实时运行，并产生的结果，质量更好，或至少与现有的方法相比。
2017-03-28 cs.CV
Arbitrary Style Transfer with Deep Feature Reshuffle
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
本文介绍了一种新的方法，置换特征图的空间位置）的样式图像的任意样式转换。我们从理论上证明，我们的新的风格损失的基础上重新洗牌连接全局和局部风格损失分别使用的参数和非参数神经风格转移方法。这个简单的想法可以有效地解决现有风格转换方法中的挑战性问题。一方面，与神经参数化方法相比，它可以避免局部风格模式的失真，并允许语义级的迁移。另一方面，与神经非参数方法相比，它可以保持全局相似的外观风格图像，并避免冲洗伪影。基于提出的损失，我们还提出了一个渐进的特征域优化方法。实验结果表明，该方法适用于多种风格的文本，并且比现有方法具有更好的质量。
2018-06-20 cs.CV
Style-ERD: Responsive and Coherent Online Motion Style Transfer
University of British Columbia（不列颠哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）
运动风格转换是丰富角色动画的常用方法。运动风格转换算法通常是为离线设置而设计的，在离线设置中，运动是分段处理的。然而，对于在线动画应用，诸如来自运动捕捉的实时化身动画，运动需要以最小延迟作为流来处理。在这项工作中，我们实现了一个灵活的，高品质的运动风格转移方法，这种设置。我们提出了一种新的风格转移模型，风格ERD，以在线方式与编码器-递归-解码器结构的风格运动，以及一种新的风格，结合特征注意力和时间注意力。我们的方法将运动风格化为具有统一模型的多个目标样式。虽然我们的方法针对在线设置，但它在运动真实感和风格表现力方面优于以前的离线方法，并在运行时效率方面提供了显着的收益
2022-03-29 cs.CV cs.LG
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer
Sungkyunkwan University（成均馆大学）
提出一种基于预训练大规模扩散模型的免训练风格迁移方法，通过替换自注意力层的键值并引入查询保留、温度缩放和AdaIN技术，在保留内容的同时实现高质量风格迁移，超越现有最先进方法。
2024-03-20 cs.CV
Arbitrary Style Transfer with Style-Attentional Networks
Artificial Intelligence Research Institute, Korea（韩国人工智能研究院）
任意风格转换的目的是将内容图像与图像的风格合成，以创建以前从未见过的第三个图像。最近的任意风格传输算法发现，它具有挑战性的内容结构和风格模式的平衡。此外，由于基于补丁的机制，同时维护全局和局部样式模式是困难的。在本文中，我们介绍了一种新的风格注意力网络（SANet），有效地和灵活地整合当地的风格模式，根据内容图像的语义空间分布。一个新的身份损失函数和多层次的特征嵌入，使我们的SANet和解码器，以保持尽可能多的内容结构，同时丰富的风格模式。实验结果表明，我们的算法合成的风格化的图像在实时的质量比那些产生的国家的最先进的算法。
2019-05-23 cs.CV
Learning Linear Transformations for Fast Arbitrary Style Transfer
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
给定随机的一对图像，任意风格转移方法从参考图像提取感觉，以基于另一内容图像的外观来合成输出。最近的任意风格转移方法通过内容图像特征与变换矩阵之间的乘法将二阶统计量从参考图像转移到内容图像上，所述变换矩阵是利用预定算法从特征计算的。这些算法要么需要计算上昂贵的操作，或无法建模的特征协方差和合成图像中产生的文物。在这些方法的基础上，本文从理论上推导了变换矩阵的形式，并提出了一种任意类型的传递方法，该方法通过前馈网络学习变换矩阵。我们的算法是高效的，但允许灵活的组合多层次的风格，同时保持在风格传输过程中的内容亲和力。我们证明了我们的方法在四个任务上的有效性：艺术风格转移，视频和照片般逼真的风格转移以及领域自适应，包括与最先进的方法进行比较。
2018-08-14 cs.CV
Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion
University of Maryland, College Park（马里兰大学帕克分校）；Snap Inc.（Snap公司）
本文提出跨模态GAN反演方法，将图像和文本等多模态风格输入统一为风格表示，实现多模态引导图像风格迁移，并在TIST和MMIST任务上取得最先进性能。
2023-12-04 cs.CV
HyperNST: Hyper-Networks for Neural Style Transfer
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出HyperNST;一种神经风格转换（NST）技术，用于图像的艺术风格化，基于超网络和StyleGAN 2架构。我们的贡献是一种新的方法，诱导风格转移参数化的度量空间，预先训练的基于风格的视觉搜索（SBVS）。我们第一次表明，这样的空间可用于驱动NST，使应用程序和插值的SBVS系统的风格。技术贡献是一个超网络，它预测在各种艺术内容（肖像）上预训练的StyleGAN 2的权重更新，使用面部区域的语义图在每个区域的基础上定制风格参数化。我们展示了HyperNST在保留我们的风格化内容的同时保持良好的风格传输性能的同时，在内容保存方面超越了最先进的水平。
2022-08-09 cs.CV
Uncorrelated Feature Encoding for Faster Image Style Transfer
Yeungnam University（岭南大学）；Kakaocorp（Kakao公司）
最近的快速风格转移方法使用预先训练的卷积神经网络作为特征编码器和感知损失网络。虽然预训练的网络用于产生有效表示图像的风格和内容的感受野的响应，但它不是针对图像风格转移而优化的，而是针对图像分类而优化的。此外，它还需要一个耗时的和相关性考虑的图像风格转移的特征对齐过程，因为它的通道间的相关性。在本文中，我们提出了一种端到端的学习方法，优化的编码器/解码器网络的风格转移的目的，以及减轻考虑通道间的相关性的特征对齐的复杂性。我们使用不相关损失，即，不同编码器通道响应之间的总相关系数，以及训练风格传递网络的风格和内容损失。这使得编码器网络被训练以生成通道间不相关的特征，并被优化用于图像风格传输的任务，该任务仅通过轻量和不相关的特征对齐过程来保持图像风格的质量。此外，我们的方法大大减少了编码特征的冗余通道，这导致了网络结构的有效规模和更快的前向处理速度。我们的方法也可以应用到级联网络方案的多尺度风格转移，并允许用户控制的风格强度，通过使用内容风格的权衡参数。
2018-07-04 cs.CV
