Style Transfer with Target Feature Palette and Attention Coloring
Chung-Ang University（中央大学）
风格转换是一种在保持图像结构的同时，将图像转换成具有鲜明艺术风格的图像的技术。然而，传统的方法容易丢失图像细节，并往往在风格转移过程中产生令人不快的伪影。针对这些问题，本文提出了一种新的基于目标特征模板的艺术风格化方法，该方法能够准确地传递关键特征。具体来说，我们的方法包含两个模块，即功能调色板组成（FPC）和注意着色（AC）模块。FPC模块基于K均值聚类捕获代表性特征并产生特征目标调色板。下面的AC模块计算内容和样式图像之间的注意力映射，并基于注意力映射和目标调色板传输颜色和图案。这些模块使拟议的风格化集中在关键功能，并生成可转换的图像。因此，所提出的方法的贡献是提出了一种新的基于深度学习的风格转移方法，并提出了目标特征调色板和注意着色模块，并通过详尽的消融研究提供了对所提出的方法的深入分析和见解。定性和定量的结果表明，我们的风格化的图像表现出最先进的性能，在保持核心结构和内容图像的细节强度。
2021-11-07 cs.CV eess.IV
IntroStyle: Training-Free Introspective Style Attribution using Diffusion Features
University of California, San Diego（加州大学圣地亚哥分校）
本文提出无需训练的IntroStyle框架，仅利用扩散模型特征进行风格归因，并引入ArtSplit数据集，在WikiArt和DomainNet上大幅超越现有方法。
2025-08-05 cs.CV eess.IV
Feature-Style Encoder for Style-Based GAN Inversion
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；InterDigital R&I（交互数字研发中心）
我们提出了一种新的架构，GAN的反演，我们称之为嵌入式编码器。风格编码器是操作所获得的潜在代码的关键，而特征编码器是最佳图像重建的关键。我们的模型实现了从预训练的基于风格的GAN模型的潜在空间中精确反演真实图像，获得了比现有方法更好的感知质量和更低的重建误差。由于其编码器结构，该模型允许快速准确的图像编辑。此外，我们证明了所提出的编码器是特别适合反转和视频编辑。我们对几个基于样式的生成器进行了广泛的实验，这些生成器在不同的数据域上进行了预训练。我们提出的方法产生了最先进的结果，基于风格的GAN反演，显着优于竞争的方法。源代码可在https://github.com/InterDigitalInc/FeatureStyleEncoder上获得。
2022-02-04 cs.CV
HSI: A Holistic Style Injector for Arbitrary Style Transfer
Jilin University（吉林大学）
本文提出整体风格注入器HSI，以全局风格表示和双关系学习机制实现任意风格迁移，在保留内容的同时提升风格保真度，并通过逐元素乘法将计算复杂度从二次降为线性，效果与效率均优于现有方法。
2025-02-05 cs.CV cs.LG eess.IV
Inharmonious Region Localization with Auxiliary Style Feature
Shanghai Jiao Tong University（上海交通大学）
随着图像编辑技术的普及，用户可以创建梦幻般的合成图像，但图像质量可能会受到操纵区域和背景之间的颜色/照明差异的影响。不协调区域定位的目的是定位合成图像中的不协调区域。在这项工作中，我们试图利用辅助样式功能，以促进这一任务。具体来说，我们提出了一种新的颜色映射模块和风格特征损失提取判别风格特征包含任务相关的颜色/照明信息。基于提取的风格特征，我们还提出了一种新的风格投票模块，以指导定位不和谐的区域。此外，我们将语义信息引入到风格投票模块中，以实现进一步的改进。我们的方法在基准数据集上大大优于现有的方法。
2022-10-05 cs.CV
Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）
Zero-shot艺术风格转换是一个重要的图像合成问题，旨在将任意风格的图像转换为内容图像。然而，现有方法中的泛化和效率之间的权衡阻碍了高质量的实时zero-shot风格的传输。在本文中，我们解决了这个难题，并提出了一个高效而有效的Avatar-Net，使视觉上合理的多尺度传输任意风格。我们的方法的关键成分是一个风格装饰，使内容功能的语义对齐的风格特征从任意的风格图像，这不仅整体上匹配他们的特征分布，但也保留详细的风格模式的装饰功能。通过将该模块嵌入到融合多尺度风格抽象的图像重建网络中，Avatar-Net在一次前馈中为任何风格图像呈现多尺度风格化。通过多种风格融合、视频风格化等一系列应用，验证了该方法在生成高质量风格化图像方面的有效性和高效性。
2018-05-22 cs.CV
Arbitrary Style Transfer with Deep Feature Reshuffle
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
本文介绍了一种新的方法，置换特征图的空间位置）的样式图像的任意样式转换。我们从理论上证明，我们的新的风格损失的基础上重新洗牌连接全局和局部风格损失分别使用的参数和非参数神经风格转移方法。这个简单的想法可以有效地解决现有风格转换方法中的挑战性问题。一方面，与神经参数化方法相比，它可以避免局部风格模式的失真，并允许语义级的迁移。另一方面，与神经非参数方法相比，它可以保持全局相似的外观风格图像，并避免冲洗伪影。基于提出的损失，我们还提出了一个渐进的特征域优化方法。实验结果表明，该方法适用于多种风格的文本，并且比现有方法具有更好的质量。
2018-06-20 cs.CV
Line Search-Based Feature Transformation for Fast, Stable, and Tunable Content-Style Control in Photorealistic Style Transfer
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
真实感风格转换是在将一个图像的内容调整为以另一个图像的风格显示时合成具有真实感外观的图像的任务。现代模型通常嵌入一个转换，该转换融合了描述内容图像和样式图像的特征，然后将所得特征解码为风格化图像。我们引入了一个通用的转换，它可以控制保留多少内容和注入的样式的强度之间的平衡。我们提供了第一个实验，展示了现有转换在不同样式传输模型中的性能，并展示了我们的转换如何在快速运行、产生一致合理的结果以及控制不同模型中的内容和样式之间的平衡方面表现得更好。为了支持复制我们的方法和模型，我们在https://github.com/chiutaiyin/LS-FT上共享代码。
2022-10-12 cs.CV
Non-Parametric Style Transfer
Yeungnam University（岭南大学）
最近的任意图像风格传输的前馈神经方法主要利用编码特征映射直到其二阶统计量，即，线性变换内容图像的编码特征图以具有与目标样式特征图相同的均值和方差（或协方差）。在这项工作中，我们将二阶统计特征匹配扩展到一个一般的分布匹配的基础上的理解，即风格的图像是由感受野的响应分布。对于这种推广，首先，我们提出了一个新的特征转换层，它完全匹配的内容图像的特征地图分布到目标风格图像。其次，我们分析了最近的风格损失与我们的新的特征变换层，训练解码器网络，从变换后的特征图生成一个风格转移的图像。基于我们的实验结果，证明了我们的方法获得的风格化图像与目标风格图像更相似，在所有现有的风格措施，而不会失去内容清晰度。
2022-06-26 cs.CV
Uncorrelated Feature Encoding for Faster Image Style Transfer
Yeungnam University（岭南大学）；Kakaocorp（Kakao公司）
最近的快速风格转移方法使用预先训练的卷积神经网络作为特征编码器和感知损失网络。虽然预训练的网络用于产生有效表示图像的风格和内容的感受野的响应，但它不是针对图像风格转移而优化的，而是针对图像分类而优化的。此外，它还需要一个耗时的和相关性考虑的图像风格转移的特征对齐过程，因为它的通道间的相关性。在本文中，我们提出了一种端到端的学习方法，优化的编码器/解码器网络的风格转移的目的，以及减轻考虑通道间的相关性的特征对齐的复杂性。我们使用不相关损失，即，不同编码器通道响应之间的总相关系数，以及训练风格传递网络的风格和内容损失。这使得编码器网络被训练以生成通道间不相关的特征，并被优化用于图像风格传输的任务，该任务仅通过轻量和不相关的特征对齐过程来保持图像风格的质量。此外，我们的方法大大减少了编码特征的冗余通道，这导致了网络结构的有效规模和更快的前向处理速度。我们的方法也可以应用到级联网络方案的多尺度风格转移，并允许用户控制的风格强度，通过使用内容风格的权衡参数。
2018-07-04 cs.CV
Iris Style Transfer: Enhancing Iris Recognition with Style Features and Privacy Preservation through Neural Style Transfer
Technical University of Munich（慕尼黑工业大学）
针对虹膜识别的鲁棒性需求与隐私担忧，该研究受神经风格迁移启发，利用虹膜风格特征提升识别准确率并抵抗变异，还提出通过神经风格迁移模糊可识别特征以保护隐私。
2025-04-14 cs.CV cs.HC
Density-aware Haze Image Synthesis by Self-Supervised Content-Style Disentanglement
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
通过对抗训练进行haze图像翻译的关键过程在于将只参与haze合成的特征i.e.style特征与代表不变语义内容的特征即内容特征之间的纠缠解开。以往的方法都是在训练过程中利用内容特征对雾霾图像进行分类，从而将内容特征分离出来。然而，在本文中，我们认识到在这样的技术例程的内容风格的解开的不完整性。有缺陷的风格特征与内容信息纠缠在一起，不可避免地会导致雾霾图像的渲染效果不佳。为了解决这个问题，我们提出了一种自监督的风格回归方法，通过随机线性插值来减少风格特征中的内容信息。烧蚀实验证明了解缠的完整性及其在层次感知雾霾图像合成中的优越性。此外，生成的雾霾数据被应用于车辆检测器的测试泛化。进一步研究了雾霾对车辆检测器性能的影响，结果表明，雾霾对车辆检测器的泛化能力有明显的影响，且检测器的泛化能力下降程度与雾霾程度呈线性相关，从而验证了该方法的有效性。
2021-11-25 cs.CV cs.LG
Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）
本文提出SCIN和ICL方法优化特征对齐与风格关系理解，并引入PE替代VGG捕捉风格特征，显著提升了任意风格迁移的图像质量并有效减少伪影。
2024-04-21 cs.CV cs.LG
StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting
Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；UCAS-Terminus AI Lab, UCAS（中国科学院大学- Terminus AI实验室）
本研究提出StyleGaussian 3D风格迁移技术，基于3DGS搭配高效特征渲染策略与K近邻3D CNN，实现10fps的即时风格迁移，同时兼顾风格质量、实时渲染与严格多视角一致性。
2024-03-12 cs.CV
Rethinking and Improving the Robustness of Image Style Transfer
UC San Diego（加州大学圣迭戈分校）；Adobe Research（Adobe研究院）
对神经风格传递方法的广泛研究表明，由预训练的VGG网络提取的特征之间的相关性具有捕获图像视觉风格的显着能力。然而，令人惊讶的是，这种风格化质量并不健壮，并且在应用于更高级和轻量级的网络（例如ResNet家族中的网络）时通常会显着降低。通过对不同的网络架构进行广泛的实验，我们发现，代表VGG和ResNet之间主要架构差异的残余连接会产生小熵的特征图，这些特征图不适合风格转移。为了提高ResNet架构的鲁棒性，我们提出了一种简单而有效的解决方案，该解决方案基于增强其熵的特征激活的softmax变换。实验结果表明，这个小魔术可以大大提高风格化结果的质量，即使是随机权重的网络。这表明，用于特征提取的架构比使用学习的权重进行风格转换的任务更重要。
2021-04-08 cs.CV eess.IV
AdaAttN: Revisit Attention Mechanism in Arbitrary Neural Style Transfer
Baidu Inc.（百度公司）；Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）
快速任意神经风格迁移由于其灵活性，在各种应用中引起了学术界，工业界和艺术界的广泛关注。现有的解决方案要么是在不考虑特征分布的情况下将深度风格特征融合到深度内容特征中，要么是根据风格自适应地对深度内容特征进行归一化，使得它们的全局统计数据匹配。虽然有效，留下浅特征未被探索，并且没有局部考虑特征统计，但它们容易产生不自然的输出，具有令人不快的局部失真。为了缓解这个问题，在本文中，我们提出了一种新的注意力和规范化模块，名为自适应注意力规范化（AdaAttN），自适应地执行每点的基础上注意力规范化。具体地说，空间注意力得分是从内容和风格图像的浅层和深层特征中学习的。然后，通过将风格特征点视为所有风格特征点的注意力加权输出的分布来计算每个点的加权统计量。最后，对内容特征进行归一化，以使它们表现出与计算出的每点加权样式特征统计相同的局部特征统计。此外，一种新的局部特征损失的基础上AdaAttN，以提高局部视觉质量。我们还扩展了AdaAttN，以便在稍做修改的情况下为视频风格传输做好准备。实验表明，我们的方法实现了最先进的任意图像/视频风格的传输。代码和模型可用。
2021-08-11 cs.CV
EFANet: Exchangeable Feature Alignment Network for Arbitrary Style Transfer
Shenzhen University（深圳大学）；University of Guelph（圭尔夫大学）
风格转换一直是计算机视觉和图形学中的一个重要课题。由于Gatys等人的开创性工作首次通过在深层特征空间中进行优化来展示风格化的力量，因此有相当多的方法已经通过简单的统计匹配技术实现了实时任意风格转换。在这项工作中，我们的关键观察是，仅考虑输入风格图像中的特征用于全局深度特征统计匹配或局部补丁交换可能并不总是确保令人满意的风格转移;例如，图1.相反，我们提出了一种新的传输框架，EFANet，旨在共同分析和更好地对齐从内容和风格图像对中提取的可交换特征。以这种方式，来自样式图像的样式特征寻求与内容图像中的内容信息的最佳兼容性，从而导致更结构化的风格化结果。此外，一个新的白化损失的纯化计算的内容特征和更好地融合在特征空间中的风格。定性和定量实验证明了我们的方法的优势。
2019-12-21 cs.CV cs.GR
Universal Style Transfer via Feature Transforms
UC Merced（加州大学默塞德分校）；Adobe Research（Adobe研究院）；NVIDIA Research（NVIDIA研究院）
通用样式转换旨在将任意视觉样式转换为内容图像。现有的基于前馈的方法，虽然享受推理效率，主要是有限的，无法推广到看不见的风格或妥协的视觉质量。在本文中，我们提出了一种简单而有效的方法，可以解决这些限制，而无需对任何预定义的风格进行培训。我们的方法的关键成分是一对特征变换，白化和着色，嵌入到图像重建网络。白化和着色变换反映了内容图像的特征协方差与给定风格图像的直接匹配，这与神经风格传递中基于Gram矩阵的代价优化具有相似的精神。我们证明了我们的算法的有效性，通过生成高质量的风格化图像与最近的一些方法进行比较。我们还分析了我们的方法，通过可视化的白化功能和合成纹理，通过简单的功能着色。
2017-11-17 cs.CV
Real-Time Style Modelling of Human Locomotion via Feature-Wise Transformations and Local Motion Phases
University of Edinburgh（爱丁堡大学）；Electronic Arts（艺电公司）；Hong Kong University（香港大学）
控制角色在实时动画系统中移动的方式是具有实用应用的具有挑战性的任务。现有的样式传输系统需要访问参考内容运动剪辑，然而，在实时的【形】系统中，未来的运动内容是未知的并且易于随着用户输入而改变。在这项工作中，我们提出了一个风格建模系统，使用动画合成网络模型的运动内容的基础上，局部运动相位。一个附加的样式调制网络使用特征变换来实时的【形】调制样式。为了评估我们的方法，我们创建并发布了一个新的风格建模数据集100STYLE，其中包含100种不同风格的400多万帧风格化运动数据，这对现有系统提出了许多挑战。为了模拟这些风格，我们扩展了本地相位计算与无接触的配方。与其他实时的【形】样式建模方法相比，我们的系统在提高运动质量的同时，在样式表示方面更加鲁棒和高效。
2022-01-12 cs.AI cs.CV cs.GR
ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows
University of Rochester（罗切斯特大学）；Baidu Research（百度研究院）；Tencent AI Lab（腾讯AI实验室）；Tencent Data Platform（腾讯数据平台）
通用样式传输会在内容图像中保留来自参考图像的样式。虽然现有的方法已经实现了最先进的风格转换性能，但它们没有意识到内容泄漏现象，即图像内容在几轮风格化过程之后可能会损坏。在本文中，我们提出了ArtFlow，以防止通用的风格传输过程中的内容泄漏。ArtFlow由可逆神经流和无偏特征传输模块组成。它支持前向和后向推理，并在投影-转移-反转方案中操作。前向推理将输入图像投影到深度特征中，而后向推理以无损和无偏的方式将深度特征重新映射回输入图像。大量实验表明，ArtFlow实现了与最先进风格传输方法相当的性能，同时避免了内容泄漏。
2021-04-09 cs.CV eess.IV
Consistent Style Transfer
Wuhan University（武汉大学）
最近，已经提出了注意力任意风格转移方法来实现细粒度的结果，其操纵内容和风格特征之间的逐点相似性用于风格化。然而，基于特征点的注意力机制忽略了特征多流形分布，其中每个特征流形对应于图像中的一个语义区域。因此，一个统一的内容语义区域呈现高度不同的模式，从各种风格的语义区域，产生不一致的风格化结果与视觉工件。我们提出了渐进式注意流形对齐（PAMA）来缓解这个问题，它反复应用注意操作和空间感知插值。注意操作根据内容特征的空间分布动态地重新排列样式特征。这使得内容和样式流形在特征图上相对应。然后，空间感知插值自适应地在相应的内容和样式流形之间进行插值，以增加它们的相似性。通过逐渐对齐的内容流形的风格流形，所提出的PAMA实现了最先进的性能，同时避免了语义区域的不一致性。代码可在https://github.com/computer-vision2022/PAMA上获得。
2022-01-06 cs.CV
Region-controlled Style Transfer
针对图像风格迁移无法控制内容图像不同区域纹理强度的问题，提出一种基于梯度关系和损失函数约束区域风格强度的训练方法，并引入保留语义关系的新颖特征融合方法，实验证明其有效。
2023-10-24 cs.CV
Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对现有风格迁移方法计算成本高且易出现风格化不足或内容缺失的问题，提出仅含编码器的Puff-Net，通过纯内容与风格特征提取器实现高效且高质量的风格迁移。
2024-05-30 cs.CV
Generative Fields: Uncovering Hierarchical Feature Control for StyleGAN via Inverted Receptive Fields
本文提出生成场概念，受CNN感受野启发，利用通道级风格潜空间S实现StyleGAN分层特征的解耦控制，提出新的图像编辑流程。
2025-04-24 cs.CV
Deep Feature Rotation for Multimodal Image Style Transfer
Hanoi University of Science and Technology（河内理工大学）；University of Aizu（会津大学）；Eastern International University（东方国际大学）
近年来，风格迁移是一个备受关注的研究领域，它将图像的风格迁移到内容目标上。对风格转换的广泛研究旨在加速处理或生成高质量的风格化图像。大多数方法仅从内容和样式图像对中产生输出，而少数其他方法使用复杂的架构并且只能产生一定数量的输出。在本文中，我们提出了一种简单的方法，用于以多种方式表示风格特征，称为深度特征旋转（DFR），与更复杂的方法相比，不仅可以产生不同的输出，而且还可以实现有效的风格化。我们的方法代表了许多增强中间特征嵌入的方法，而不会消耗太多的计算费用。我们还通过可视化不同旋转权重的输出来分析我们的方法。我们的代码可在https://github.com/sonnguyen129/deep-feature-rotation上获得。
2022-02-09 cs.CV
UMFA: A photorealistic style transfer method based on U-Net and multi-layer feature aggregation
Jiangnan University（江南大学）；University of Surrey（萨里大学）
在本文中，我们提出了一个真实感风格传递网络，以强调真实感图像风格化的自然效果。一般来说，图像内容的失真和细节的缺乏是风格传递领域的两个典型问题。为此，我们设计了一个新的框架，采用U-Net结构，以保持丰富的空间线索，与多层特征聚合（MFA）的方法，同时提供的细节，在风格化处理中获得的浅层。特别地，基于密集块的编码器和解码器共同构成对称的U-Net结构，实现了有效的特征提取和图像重建。此外，在跳过连接的位置插入基于MFA和“自适应实例规范化”（AdaIN）的转换模块来实现风格化。因此，风格化图像具有真实照片的纹理，并且保留丰富的内容细节，而不引入任何掩模或后处理步骤。在公开数据集上的实验结果表明，该方法在保持较低风格损失的情况下，获得了更高的结构相似度，体现了该方法的有效性和优点。
2021-08-13 cs.CV eess.IV
A Closed-form Solution to Universal Style Transfer
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
通用风格迁移试图显式地最小化特征空间中的损失，因此它不需要在任何预定义的风格上进行训练。它通常使用VGG网络的不同层作为编码器，并训练多个解码器将特征转化为图像。因此，风格转换的效果是通过特征变换来实现的。虽然已经提出了大量的方法，但对特征变换的理论分析仍然缺乏。在本文中，我们首先提出了一个新的解释，将其视为最优运输问题。然后，我们证明了我们的配方与以前的作品，如自适应实例归一化（AdaIN）和白化和着色变换（WCT）的关系。最后，我们推导出一个封闭形式的解决方案，命名为最佳风格转移（OST）根据我们的配方，另外考虑Gatys的内容损失。相比之下，我们的解决方案可以保持更好的结构，并实现视觉上令人愉快的结果。它是简单而有效的，我们证明了它的优点，定量和定性。此外，我们希望我们的理论分析能对未来的神经风格迁移研究有所启发。代码可在https://github.com/lu-m13/OptimalStyleTransfer上获得。
2019-08-14 cs.CV eess.IV
Diversified Arbitrary Style Transfer via Deep Feature Perturbation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
图像风格转换是一个欠定问题，其中大量的解决方案可以满足相同的约束（内容和风格）。虽然已经有一些努力，以提高风格转移的多样性，通过引入一个替代的多样性损失，他们有限制的泛化，有限的多样性和可扩展性差。在本文中，我们解决了这些限制，并提出了一个简单而有效的方法，多样化的任意风格转移。我们的方法的关键思想是一种称为深度特征扰动（DFP）的操作，它使用正交随机噪声矩阵来扰动深度图像特征图，同时保持原始样式信息不变。我们的DFP操作可以很容易地集成到许多现有的WCT（白化和着色变换）为基础的方法，并使他们能够产生不同的结果，为任意风格。实验结果表明，这种无学习的通用方法可以在保持风格化质量的前提下，大大提高风格的多样性。
2020-03-20 cs.CV
Edge Enhanced Image Style Transfer via Transformers
Sichuan Normal University（四川师范大学）
近年来，图像风格的任意性迁移越来越受到人们的关注.给定一对内容和风格图像，风格化的图像希望保留前者的内容，同时捕捉后者的风格模式。然而，很难同时保持内容细节和风格特征之间的平衡。为了使图像具有足够的风格模式，内容细节可能会被破坏，有时图像的对象不能被清楚地区分。为此，我们提出了一种新的基于变换的方法命名为STT的图像风格转移和边缘损失，可以明显地增强内容细节，以避免产生模糊的结果，过度渲染的风格特征。定性和定量实验表明，STT实现了与最先进的图像风格传输方法相当的性能，同时减轻了内容泄漏问题。
2023-01-02 cs.CV eess.IV
Arbitrary Style Transfer with Structure Enhancement by Combining the Global and Local Loss
University of Macau（澳门大学）
任意风格转移通过仅使用一个训练的网络来生成结合了内容图像的结构和艺术品的艺术风格的艺术图像。该方法中使用的图像表示包括内容结构表示和风格模式表示，风格模式表示通常是预先训练好的分类网络中高层的特征表示。然而，传统的分类网络是为分类而设计的，通常集中在高层特征上，而忽略了其他特征。因此，风格化的图像将风格元素均匀地分布在整个图像中，并使整体图像结构无法识别。为了解决这个问题，我们提出了一种新的任意风格的传输方法与结构增强相结合的全局和局部损失。局部结构细节由Lapstyle表示，全局结构由图像深度控制。实验结果表明，我们的方法可以生成更高质量的图像与令人印象深刻的视觉效果，在几个常见的数据集上，与其他国家的最先进的方法相比。
2022-07-23 cs.CV eess.IV
Deep Preset: Blending and Retouching Photos with Color Style Transfer
Hosei University（法政大学）
没有摄影知识的最终用户希望美化他们的照片，使其具有类似的颜色风格，作为精心修饰的参考。然而，近年来的影像风格转换作品中对风格的定义是不恰当的。他们通常合成不良的结果，由于转移确切的颜色到错误的目的地。在肖像画等敏感案件中，情况更糟。在这项工作中，我们专注于学习低层次的图像变换，特别是颜色偏移的方法，而不是混合上下文功能，然后提出了一种新的方案，训练颜色风格的转移与地面真理。此外，我们提出了一个颜色风格转移命名为深预置。它被设计为1）将表示从具有自然颜色的内容到修饰参考的颜色变换的特征概括，然后将其混合到内容的上下文特征中，2）预测所应用的低级颜色变换方法的超参数（设置或预设），3）使风格内容具有相似的颜色风格作为参考。我们编写了一个强大的照片编辑工具Lightning，使用Flick 2K数据集中的1,200张图像和500个用户生成的带有69个设置的训练样本来生成60万个训练样本。实验结果表明，我们的深度预设优于以前的作品在颜色风格转移定量和定性。
2021-01-02 cs.CV cs.GR cs.LG
A Training-Free Style-Personalization via SVD-Based Feature Decomposition
DGIST（大邱庆北科学技术院）
本文提出了一种基于SVD特征分解的无训练风格个性化图像生成方法，通过主特征混合和结构注意力校正模块实现风格调控和结构一致性，提升生成效果与部署效率。
2025-11-21 cs.CV
Retinex-guided Channel-grouping based Patch Swap for Arbitrary Style Transfer
Xidian University（西安电子科技大学）；The Pengcheng Lab（鹏城实验室）
本文提出 Retinex 引导的通道分组块交换方法，将风格特征分为表面与纹理通道并引入互补融合与多尺度生成，以提升任意风格迁移的纹理一致性与内容保真度。
2023-09-19 cs.CV
Style-based Clustering of Visual Artworks and the Play of Neural Style-Representations
TCS Research（塔塔咨询服务研究中心）
本文针对视觉艺术品基于风格聚类这一未充分研究的问题，探索了从风格分类、风格迁移到大型语言视觉模型的多种神经特征表示，并通过定性和定量分析评估了这些聚类方法的有效性，为该领域提供了广泛框架与新见解。
2025-02-03 cs.CV cs.LG
GLStyleNet: Higher Quality Style Transfer Combining Global and Local Pyramid Features
Zhejiang University（浙江大学）
最近使用深度神经网络的研究已经在风格转移方面取得了显着的成功，特别是对于艺术和照片般逼真的图像。然而，使用全局特征相关性的方法无法捕获小的，复杂的纹理和保持正确的纹理尺度的艺术品，和基于局部补丁的方法是有缺陷的全局效果。在本文中，我们提出了一种新的特征金字塔融合神经网络，被称为GLStyleNet，它充分考虑到多尺度和多层次的金字塔功能，通过最佳聚合层在VGG网络，并执行风格转移分层与不同尺度的多个损失。该方法从损失函数约束和特征融合两个方面保留了图像的高频像素信息和低频结构信息。我们的方法不仅可以灵活地调整内容和风格之间的权衡，而且可以在全局和局部之间进行控制。与现有的方法相比，该方法不仅可以迁移大规模的、明显的风格线索，而且可以迁移细微的、精致的风格线索，显著提高了风格迁移的质量。我们证明了我们的方法的有效性肖像风格迁移，艺术风格迁移，照片写实风格迁移和中国古代绘画风格迁移任务。实验结果表明，我们的统一方法提高了图像风格的传输质量比以前的国家的最先进的方法，同时也在一定程度上加快了整个过程。我们的代码可在https://github.com/EndyWon/GLStyleNet上获得。
2018-11-18 cs.AI cs.CV
Two-Stage Peer-Regularized Feature Recombination for Arbitrary Image Style Transfer
NNAISENSE；Universita della Svizzera italiana（瑞士意大利语区大学）
本文介绍了一种神经风格传递模型，以生成一个风格化的图像条件化的一组例子描述所需的风格。所提出的解决方案即使在zero-shot设置中也能产生高质量的图像，并且允许更自由地改变内容几何形状。这是通过引入一个新的两阶段对等正则化层来实现的，该层通过自定义图卷积层在潜在空间中重组风格和内容。与绝大多数现有的解决方案相反，我们的模型不依赖于任何预先训练的网络来计算感知损失，并且由于一组新的循环损失直接在潜在空间中操作，而不是在RGB图像上操作，因此可以完全端到端地进行训练。一项广泛的消融研究证实了所提出的损失和两阶段对等正则化层的有用性，定性结果与使用单一模型的现有技术相比具有竞争力。这为更抽象和艺术化的神经图像生成场景打开了大门，同时也简化了模型的部署。
2020-04-11 cs.CV cs.LG
Z-STAR+: A Zero-shot Style Transfer Method via Adjusting Style Distribution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对风格迁移中预定义风格表示限制表达的问题，提出Z-STAR+方法，利用扩散模型潜在特征的自然分布，通过双去噪路径和交叉注意力重加权模块等，实现无需重训练的零样本风格迁移，提升效果。
2024-11-28 cs.CV
Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning
University of Rochester（罗切斯特大学）；Peking University（北京大学）；Tencent Inc.（腾讯公司）
提取有效的深层特征来表示内容和风格信息是实现通用风格转换的关键。现有算法大多采用VGG 19作为特征提取器，计算量大，不利于高分辨率图像的实时的【形】风格转换。在这项工作中，我们提出了一个轻量级的替代架构- ArtNet，这是基于GoogLeNet，后来修剪的一种新的通道修剪方法命名为零通道修剪专门设计的风格转移方法。此外，我们提出了一个理论上合理的三明治交换变换（S2）模块来传输深度特征，它可以创建一个令人愉快的整体外观和良好的局部纹理，提高内容保存能力。通过使用ArtNet和S2，我们的方法比最先进的方法快2.3到107.4倍。综合实验表明，ArtNet可以实现通用的、实时的【形】、高质量的高分辨率图像风格转换（512 × 512图像，每秒68.03帧）。
2020-06-23 cs.CV eess.IV
Parameter-Free Style Projection for Arbitrary Style Transfer
Baidu Research（百度研究院）
任意图像风格转换是一个具有挑战性的任务，其目的是在任意风格图像的基础上对内容图像进行风格化。在这个任务中，特征级的内容风格转换对于特征的正确融合起着至关重要的作用。现有的特征变换算法往往遭受损失的内容或风格的细节，非自然的笔画模式，和不稳定的训练。为了缓解这些问题，本文提出了一种新的特征级风格转换技术，命名为风格投影，无参数，快速，有效的内容风格转换。本文进一步提出了一种实时前馈模型，利用风格投影进行任意图像风格传输，其中包括一个正则化项，用于匹配输入内容和风格化输出之间的语义。大量的定性分析、定量评估和用户研究表明了所提出方法的有效性和效率。
2022-02-08 cs.CV cs.MM
A Unified Framework for Generalizable Style Transfer: Style and Content Separation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）；Microsoft（微软）
近年来，图像风格转换引起了广泛的关注。然而，大多数现有的方法的目的是显式地建模不同风格之间的转换，因此，学习的模型是不可推广到新的风格。我们在这里提出了一个统一的风格转换框架，用于字符字体转换和神经风格转换任务，利用风格和内容分离。这种框架的一个主要优点是它对新的风格和内容的普遍性。整体框架由风格编码器、内容编码器、混合器和解码器组成。样式编码器和内容编码器用于从对应的参考图像中提取样式和内容表示。混合器集成上述两种表示并将其馈送到解码器中以生成具有目标样式和内容的图像。在训练期间，编码器网络学习从有限大小的样式/内容参考图像中提取样式和内容。这种学习框架允许在多种风格之间同时进行风格迁移，可以被视为一种特殊的“多任务”学习场景。编码器被期望捕获不同样式和内容的底层特征，这些特征可推广到新的样式和内容。在此框架下，我们设计了两个独立的网络，分别用于字符字体传输和神经风格传输。对于字符字体转换，为了分离样式特征和内容特征，我们利用给定图像的样式和内容的条件依赖性。对于神经风格传递，我们利用某些层中特征映射的统计信息来表示风格。大量的实验结果表明，所提出的方法的有效性和鲁棒性。
2018-06-13 cs.CV
Two-Stream FCNs to Balance Content and Style for Style Transfer
SOKENDAI (Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））；The National Institute of Informatics（国立信息学研究所）
风格转换是将给定的图像内容以给定的风格进行渲染，它在计算机视觉的基础研究和工业应用中都有重要的作用。随着基于深度学习的方法的成功，这个问题最近被重新提出，但仍然是一个困难的任务，因为在保留内容和风格的忠实渲染之间进行权衡。事实上，内容和风格的平衡程度在评估风格化图像的质量时至关重要。在本文中，我们提出了一个端到端的双流全卷积网络（FCN），旨在平衡渲染图像的内容和风格的贡献。我们提出的网络由编码器和解码器部分组成。编码器部分利用FCN用于内容和FCN用于样式，其中两个FCN具有特征注入并且被独立地训练以保留语义内容并学习每个中的忠实样式表示。语义内容特征和风格表示特征然后自适应地连接并馈送到解码器中以生成风格转移（风格化）图像。为了训练我们提出的网络，我们采用了一个损失网络，预训练的VGG-16，计算内容损失和风格损失，这两者都是有效地用于特征注入以及特征拼接。我们密集的实验表明，我们提出的模型生成更平衡的风格化图像的内容和风格比国家的最先进的方法。此外，我们提出的网络在速度上实现了效率。
2020-05-07 cs.CV
Less is More: Masking Elements in Image Condition Features Avoids Content Leakages in Style Transfer Diffusion Models
Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对文本到图像扩散模型风格迁移中内容泄露问题，提出无需调参的图像特征元素掩盖方法，通过减少条件引导避免内容流入，经理论与多风格实验验证其有效性，提升风格迁移性能。
2025-02-11 cs.CV
Feature Proliferation -- the "Cancer" in StyleGAN and its Treatments
Cardiff University（卡迪夫大学）
本文发现StyleGAN中的特征增殖现象导致图像伪影，并提出一种细粒度的特征重缩放方法，在低层特征空间调节风险特征，相比截断技巧保留更多多样性，减少破坏性。
2023-10-13 cs.CV
Style3D: Attention-guided Multi-view Style Transfer for 3D Object Generation
Northwestern Polytechnical University（西北工业大学）
本文提出 Style3D，通过 MultiFusion Attention 对齐多视图内容与风格特征，并结合大型3D重建模型，实现无需特定训练、高效且高质量的即时3D物体风格化。
2024-12-04 cs.CV
DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer
OPPO US Research Center, InnoPeak Technology Inc（InnoPeak科技公司OPPO美国研究中心）；JD Finance America Corporation（京东金融美国公司）；University of Calgary（卡尔加里大学）；Ryerson University（瑞尔森大学）
本文提出了一种用于艺术风格转移的动态ResBlock生成对抗网络（DRB-GAN）。样式代码被建模为连接样式编码网络和样式传递网络的Dynamic ResBlocks的共享参数。在样式编码网络中，使用样式类感知的注意力机制来关注样式特征表示以生成样式代码。在风格转换网络中，设计了多个动态ResBlocks来集成风格代码和提取的CNN语义特征，然后将其馈送到空间窗口层实例归一化（SW-LIN）解码器，从而实现具有艺术风格转换的高质量合成图像。此外，设计了风格集合条件训练器，使我们的DRB-GAN模型在训练阶段具有任意风格迁移和集合风格迁移的能力。无论是任意风格传输还是集合风格传输，大量的实验都有力地证明了我们提出的DRB-GAN优于最先进的方法，并在视觉质量和效率方面表现出优越的性能。我们的源代码可以在\color{magenta}{\url{https://github.com/xuwenju123/DRB-GAN}}上找到。
2021-10-02 cs.CV eess.IV
StyleStegan: Leak-free Style Transfer Based on Feature Steganography
Fudan University（复旦大学）
针对风格迁移中的内容泄漏问题，提出基于特征隐写的无泄漏方法StyleStegan，结合神经流模型与隐写术实现无损无偏风格化及内容特征隐藏，有效缓解串行与可逆任务中的泄漏问题，SSIM指标显著提升。
2023-07-01 cs.CV cs.MM
StyleMark: A Robust Watermarking Method for Art Style Images Against Black-Box Arbitrary Style Transfer
Wuhan University（武汉大学）；Great Bay University（大湾区大学）
针对黑盒任意风格迁移导致艺术风格图像版权难以追踪的问题，提出 StyleMark 水印方法，通过多尺度嵌入、分布压缩损失与噪声微调实现 AST 后的精确风格归属。
2024-12-10 cs.CV
FAGStyle: Feature Augmentation on Geodesic Surface for Zero-shot Text-guided Diffusion Image Style Transfer
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education（教育部硅酸盐文物保护重点实验室（上海大学））
FAGStyle提出零样本文本引导扩散图像风格迁移方法，通过滑动窗口裁剪、测地曲面特征增强和预形状自相关损失，实现风格一致性与内容保持，性能优于现有方法。
2024-08-21 cs.CV
Learning Dynamic Style Kernels for Artistic Style Transfer
OPPO US Research Center（OPPO美国研究中心）；Meta Reality Lab（Meta现实实验室）；South China University of Technology（华南理工大学）
本文提出学习动态风格核实现逐像素风格迁移，通过风格对齐编码和基于内容的门控调制模块兼顾全局与局部交互，在视觉质量和效率上优于现有方法。
2023-04-14 cs.CV
3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Google（谷歌）
在计算机视觉中，将风格从一个图像转换到另一个图像是一个流行的和广泛研究的任务。然而，在3D环境中的风格转换仍然是一个很大程度上未探索的问题。据我们所知，我们提出了第一个基于学习的方法，用于基于分离的内容和风格表示的3D对象之间的风格转换。该方法可以合成点云和网格形式的新的3D形状，结合源和目标3D模型的内容和风格，生成一个新的形状，在风格上类似于目标，同时保留源内容。此外，我们扩展了我们的技术，隐式地学习所选域的多模态风格分布。通过从学习的分布中采样样式代码，我们增加了我们的模型可以赋予输入形状的样式的多样性。实验结果验证了所提出的三维风格转移方法的有效性在一些基准。我们框架的实施将在接受后发布。
2021-05-18 cs.CV cs.LG
DeepObjStyle: Deep Object-based Photo Style Transfer
Indian Institute of Technology Gandhinagar（甘地讷格尔印度理工学院）
风格转移的主要挑战之一是在输出图像和输入（风格和内容）图像之间进行适当的图像特征监督。一个有效的策略是在样式对象和内容图像之间定义一个对象映射。然而，当在样式和内容图像中存在不同类型和数量的语义对象时，这样的映射不能很好地建立。它还导致样式传输输出中的内容不匹配，这可能会降低结果的视觉质量。我们提出了一种基于对象的风格转换方法，称为DeepObjStyle，用于训练数据独立框架中的风格监督。DeepObjStyle保留了对象的语义，并在样式和内容图像具有图像特征不匹配的挑战性场景中实现了更好的样式转换。我们还执行包含单词云的图像的样式传输，以证明DeepObjStyle能够实现适当的图像特征监督。我们使用定量比较和用户研究来验证结果。
2020-12-11 cs.CV
All-to-key Attention for Arbitrary Style Transfer
Xidian University（西安电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
提出全至键注意力机制StyA2K，通过整合分布式与渐进式注意力解决全至全注意力在任意风格迁移中的模式扭曲与高复杂度问题，实现更优的语义结构保留与风格渲染。
2023-04-06 cs.CV
Separating Style and Content for Generalized Style Transfer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
近年来，神经风格迁移引起了人们的广泛关注。然而，大多数现有的方法的目的是显式地建模不同风格之间的转换，因此，学习的模型是不可推广到新的风格。本文尝试将风格和内容的表示分离，提出了一个由风格编码器、内容编码器、混合器和解码器组成的广义风格传输网络。样式编码器和内容编码器分别用于从样式参考图像和内容参考图像中提取样式和内容因子。混合器采用双线性模型将上述两个因素结合起来，最后将其送入解码器以生成具有目标风格和内容的图像。为了分离样式特征和内容特征，我们利用给定图像的样式和内容的条件依赖性。在训练过程中，编码器网络学习从两组有限大小的参考图像中提取样式和内容，一组具有共享样式，另一组具有共享内容。这种学习框架允许在多种风格之间同时进行风格迁移，可以被视为一种特殊的“多任务”学习场景。编码器被期望捕获不同样式和内容的底层特征，这些特征可推广到新的样式和内容。为了验证，我们将所提出的算法应用于中文字体转换问题。大量的字符生成实验结果表明，我们的方法的有效性和鲁棒性。
2018-09-23 cs.CV
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
风格转换是图像合成任务，它将一个图像的风格应用于另一个图像，同时保留内容。在统计方法中，自适应实例归一化（AdaIN）通过归一化特征的均值和方差，对源图像进行白化处理，并应用目标图像的风格。然而，为每个实例计算特征统计会忽略特征之间的内在关系，因此很难在适应单个训练数据集的同时学习全局样式。在本文中，我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络，称为图实例规范化（GrIN）。该算法通过考虑实例之间共享的相似信息，使风格转移方法更加鲁棒。此外，这个简单的模块也适用于其他任务，如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
