Font Representation Learning via Paired-glyph Matching
Seoul National University（首尔国立大学）
字体可以通过各种字形形式传达单词的深刻含义。如果没有排版知识，手动选择合适的字体或设计新字体是一项乏味而痛苦的任务。为了允许用户探索大量的字体样式并创建新的字体样式，已经提出了字体检索和字体样式传输方法。这些任务增加了学习高质量字体表示的需求。因此，我们提出了一种新的字体表示学习计划嵌入字体风格的潜在空间。对于字体的区别性表示，我们提出了一个基于配对匹配的字体表示学习模型，该模型将同一字体中的字形表示相互吸引，但将其他字体的字形表示推开。通过对新字体上的查询字形进行字体检索的评估，我们表明我们的字体表示学习方案比现有的字体表示学习技术具有更好的泛化性能。最后，在后续的字体风格转换和生成任务中，我们证实了迁移学习的好处。源代码可在https://github.com/junhocho/paired-glyph-matching上获得。
2022-11-20 cs.CV
Non-Parametric Style Transfer
Yeungnam University（岭南大学）
最近的任意图像风格传输的前馈神经方法主要利用编码特征映射直到其二阶统计量，即，线性变换内容图像的编码特征图以具有与目标样式特征图相同的均值和方差（或协方差）。在这项工作中，我们将二阶统计特征匹配扩展到一个一般的分布匹配的基础上的理解，即风格的图像是由感受野的响应分布。对于这种推广，首先，我们提出了一个新的特征转换层，它完全匹配的内容图像的特征地图分布到目标风格图像。其次，我们分析了最近的风格损失与我们的新的特征变换层，训练解码器网络，从变换后的特征图生成一个风格转移的图像。基于我们的实验结果，证明了我们的方法获得的风格化图像与目标风格图像更相似，在所有现有的风格措施，而不会失去内容清晰度。
2022-06-26 cs.CV
Playing Lottery Tickets in Style Transfer Models
Nanjing University（南京大学）；Cardiff University（卡迪夫大学）
风格迁移以其灵活的应用场景获得了巨大的成功，引起了学术界和产业界的广泛关注。然而，依赖于一个相当大的基于VGG的自动编码器导致现有的风格传输模型具有较高的参数复杂度，这限制了它们在资源受限的设备上的应用。与许多其他任务相比，风格迁移模型的压缩研究较少。最近，彩票假设（LTH）在寻找极其稀疏的匹配子网络方面表现出了巨大的潜力，这些子网络在孤立训练时可以达到与原始全网络相当甚至更好的性能。在这项工作中，我们第一次进行了实证研究，以验证这种可训练的匹配子网络是否也存在于风格转移模型。具体来说，我们采用两种最流行的风格转换模型，即，AdaIN和SANet作为主要的测试平台，分别代表了基于全局和局部转换的风格转换方法。我们进行了大量的实验和综合分析，并得出以下结论。(1)与固定VGG编码器相比，风格传递模型可以从整个网络一起训练中受益更多。(2)使用迭代幅度修剪，我们发现匹配的子网络在AdaIN中的稀疏度为89.2%，在SANet中的稀疏度为73.7%，这表明风格转移模型也可以玩彩票。(3)特征变换模块也应该被修剪，以获得更稀疏的模型，而不影响匹配子网络的存在和质量。(4)除AdaIN和SANet外，LST、MANET、AdaAttN和MCCNet等模型也可以玩彩票，这表明LTH可以推广到各种风格的传输模型。
2022-04-10 cs.CV eess.IV
Deep Image Style Transfer from Freeform Text
Georgia Institute of Technology（佐治亚理工学院）
本文通过从自由形式的用户文本输入生成风格图像来创建深度神经风格转移的新方法。语言模型和样式转换模型形成无缝管道，其可以创建与基线样式转换方法相比具有类似损失和改进质量的输出图像。在给定样式文本和描述输入的情况下，语言模型返回紧密匹配的图像，该图像然后与输入内容图像一起被传递到样式传递模型以创建最终输出。还开发了一个概念验证工具来集成这些模型，并证明了从自由形式文本转换深度图像风格的有效性。
2022-12-13 cs.CL cs.CV cs.LG
Masked and Adaptive Transformer for Exemplar Based Image Translation
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）
我们提出了一个新的框架，基于范例的图像翻译。近年来，针对这一问题的先进方法主要集中在建立跨领域的语义对应关系，从而以局部风格控制的方式控制图像生成。不幸的是，跨域语义匹配是具有挑战性的，并且匹配错误最终会降低生成图像的质量。为了克服这一挑战，我们一方面提高匹配的准确性，另一方面减少匹配在图像生成中的作用。为了实现前者，我们提出了一个掩蔽和自适应Transformer（MAT）学习准确的跨域对应，并执行上下文感知的特征增强。为了实现后者，我们使用的输入和全局样式代码的样本，作为补充信息，解码图像的源功能。此外，我们设计了一种新的对比风格学习方法，以获得质量区分的风格表示，这反过来又有利于高质量的图像生成。实验结果表明，我们的方法，被称为MATEBIT，表现得比国家的最先进的方法，在不同的图像翻译任务。代码可在\url{https://github.com/AiArt-HDU/MATEBIT}上获得。
2023-03-30 cs.CV
EFANet: Exchangeable Feature Alignment Network for Arbitrary Style Transfer
Shenzhen University（深圳大学）；University of Guelph（圭尔夫大学）
风格转换一直是计算机视觉和图形学中的一个重要课题。由于Gatys等人的开创性工作首次通过在深层特征空间中进行优化来展示风格化的力量，因此有相当多的方法已经通过简单的统计匹配技术实现了实时任意风格转换。在这项工作中，我们的关键观察是，仅考虑输入风格图像中的特征用于全局深度特征统计匹配或局部补丁交换可能并不总是确保令人满意的风格转移;例如，图1.相反，我们提出了一种新的传输框架，EFANet，旨在共同分析和更好地对齐从内容和风格图像对中提取的可交换特征。以这种方式，来自样式图像的样式特征寻求与内容图像中的内容信息的最佳兼容性，从而导致更结构化的风格化结果。此外，一个新的白化损失的纯化计算的内容特征和更好地融合在特征空间中的风格。定性和定量实验证明了我们的方法的优势。
2019-12-21 cs.CV cs.GR
SCFlow: Implicitly Learning Style and Content Disentanglement with Flow Models
Munich Center for Machine Learning (MCML)（慕尼黑機器學習中心）
SCFlow通过流匹配框架学习风格与内容的可逆合并，无需显式解耦监督，在合成数据集上训练后零样本泛化至ImageNet-1k和WikiArt，实现自然涌现的解耦。
2025-08-05 cs.AI cs.CV cs.LG
Deformable Style Transfer
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of Chicago（芝加哥大学）
几何图形和纹理都是视觉样式的基本方面。然而，现有的风格转换方法主要集中在纹理上，几乎完全忽略了几何。我们提出了可变形的风格转移（DST），一个基于优化的方法，联合风格化的内容图像的纹理和几何形状，以更好地匹配一个风格的图像。与以前的几何感知风格化方法不同，我们的方法既不限于特定的领域（如人脸），也不需要匹配的样式/内容对的训练集。我们展示了我们的方法在一组不同的内容和风格的图像，包括肖像，动物，物体，场景和绘画。代码已在https://github.com/sunniesuhyoung/DST上公开发布。
2020-07-20 cs.CV cs.GR cs.LG
DivSwapper: Towards Diversified Patch-based Arbitrary Style Transfer
Zhejiang University（浙江大学）
基于语法和基于补丁的方法是风格迁移的两条重要研究路线。最近的多样化的基于语法的方法已经能够产生多个和不同的风格化的输出相同的内容和风格的图像。然而，作为另一个广泛的研究兴趣，基于补丁的方法的多样性仍然是具有挑战性的，由于刻板的风格交换过程中，基于最近的补丁匹配。为了解决这个难题，在本文中，我们深入到现有的补丁为基础的方法的症结，并提出了一个通用的和有效的模块，称为DivSwapper，多样化的补丁为基础的任意风格的转移。关键的见解是使用一种基本的直觉，即具有较高激活值的神经补丁可以对多样性做出更多贡献。我们的DivSwapper是即插即用的，可以很容易地集成到现有的基于补丁和基于语法的方法中，为任意风格生成不同的结果。我们进行了理论分析和大量的实验来证明我们的方法的有效性，并与国家的最先进的算法相比，它显示出优越性的多样性，质量和效率。
2022-05-29 cs.CV cs.LG
Neural Artistic Style and Color Transfer Using Deep Learning
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of North Dakota（北达科他大学）
本文提出一种结合神经艺术风格与色彩迁移的方法，利用深度学习并采用 KL 散度定量评估多种色彩和亮度直方图匹配算法在风格到内容迁移中的表现。
2025-08-12 cs.CV cs.LG
NeAT: Neural Artistic Tracing for Beautiful Style Transfer
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
本文提出NeAT，将前馈风格迁移重新定义为图像编辑任务，通过修复“风格光晕”伪影并引入400万图像的BBST-4M数据集，在内容保留、风格匹配、泛化能力和高分辨率快速推理上达到最先进水平。
2023-04-11 cs.CV cs.LG
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Hong Kong University of Science and Technology（香港科技大学）
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
ColoristaNet for Photorealistic Video Style Transfer
Fudan University（复旦大学）
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上，同时保持真实感。在本文中，我们认为这是在现有的算法中的摘要统计匹配方案，导致不切实际的风格化。为了避免使用流行的革兰氏损失，我们提出了一个自我监督的风格转移框架，其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式，并且样式恢复网络以监督的方式恢复图像样式。同时，针对现有特征转换方法存在的问题，提出了解耦的实例规范化方法，将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好，可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性，我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明，与现有的风格化算法相比，ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields
ETH Zürich（苏黎世联邦理工学院）
本文提出 CoARF 算法，通过分割掩码与标签相关损失函数实现指定对象、组合式及语义感知的可控 3D 场景风格迁移，并引入语义感知最近邻匹配算法提升迁移质量。
2024-04-23 cs.AI cs.CV cs.GR
Demystifying Neural Style Transfer
Peking University（北京大学）；TuSimple（图森未来）
神经风格转移最近展示了非常令人兴奋的结果，在学术界和工业界都引起了关注。尽管取得了惊人的结果，但神经风格迁移的原理，特别是为什么Gram矩阵可以代表风格仍然不清楚。在本文中，我们提出了一种新的解释神经风格转移，将其视为一个领域自适应问题。具体地说，我们从理论上证明，匹配的特征地图的革兰氏矩阵是等效的最大平均离散（MMD）与二阶多项式核最小化。因此，我们认为，神经风格转移的本质是匹配的风格图像和生成的图像之间的特征分布。为了进一步支持我们的观点，我们尝试了其他几种分布对齐方法，并取得了令人满意的结果。我们相信这种新颖的解释将这两个重要的研究领域联系起来，并对未来的研究有所启示。
2017-07-01 cs.CV cs.LG cs.NE
Fast Patch-based Style Transfer of Arbitrary Style
University of British Columbia（不列颠哥伦比亚大学）
艺术风格转移是一个图像合成问题，其中图像的内容被再现为另一个的风格。最近的工作表明，通过使用预先训练的卷积神经网络的隐藏激活，可以实现视觉上吸引人的风格转移。然而，现有的方法要么应用（i）适用于任何风格图像但非常昂贵的优化过程，要么应用（ii）仅允许有限数量的训练风格的有效前馈网络。在这项工作中，我们提出了一个基于局部匹配的更简单的优化目标，它将内容结构和风格纹理结合在预训练网络的单层中。我们表明，我们的目标具有理想的属性，如更简单的优化景观，直观的参数调整，以及一致的逐帧视频性能。此外，我们使用80，000幅自然图像和80，000幅绘画来训练近似优化结果的逆网络。这导致用于艺术风格转移的过程是有效的，但也允许任意内容和风格图像。
2016-12-13 cs.CV cs.GR cs.LG
Style Mixer: Semantic-aware Multi-Style Transfer Network
City University of Hong Kong（香港城市大学）
近年来的神经风格迁移框架在单风格迁移（SST）中获得了惊人的视觉质量和灵活性，但在多风格迁移（MST）中却鲜有人关注。多风格迁移是指将多种风格同时迁移到同一幅图像上。与SST相比，MST具有创造更多样化和视觉上令人愉悦的风格化结果的潜力。在本文中，我们提出了第一个MST框架，自动将多种风格到一个结果的基础上区域语义。我们首先通过引入一个新的多层次特征融合模块和补丁注意模块来改进现有的SST骨干网络，以实现更好的语义对应，并保留更丰富的风格细节。对于MST，我们设计了一个概念上简单而有效的基于区域的风格融合模块插入到主干中。它基于语义匹配为内容区域分配相应的样式，然后将多个样式无缝组合在一起。综合评价表明，我们的框架优于现有的SST和MST的作品。
2019-10-29 cs.CV
FDWST: Fingerphoto Deblurring using Wavelet Style Transfer
West Virginia University（西弗吉尼亚大学）
提出基于小波风格迁移的指纹照片去模糊架构FDWST，结合离散小波变换在多频带进行风格迁移，大幅提升去模糊图像质量并实现0.9907的匹配准确率。
2024-07-22 cs.CV eess.IV
PolyFlow: Continuous Topology Embedding Flow Matching for Artist-style Mesh Generation
ZJU（浙江大学）；Tencent（腾讯）；THU（清华大学）；CUHK（香港中文大学）；HKUST（香港科技大学）；HKU（香港大学）
提出PolyFlow，通过连续拓扑嵌入将离散网格转换为连续顶点状态空间，结合Transformer流匹配实现并行去噪，在保持高质量拓扑的同时大幅提升生成速度。
2026-07-01 cs.CV cs.GR
HSI: A Holistic Style Injector for Arbitrary Style Transfer
Jilin University（吉林大学）
本文提出整体风格注入器HSI，以全局风格表示和双关系学习机制实现任意风格迁移，在保留内容的同时提升风格保真度，并通过逐元素乘法将计算复杂度从二次降为线性，效果与效率均优于现有方法。
2025-02-05 cs.CV cs.LG eess.IV
Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
无监督互谱立体匹配的目的是恢复给定的互谱图像对的视差，而不需要以地面真实视差或深度的形式进行任何监督。估计的深度提供了补充个体语义特征的附加信息，这可以有助于其他视觉任务，例如跟踪、识别和检测。然而，来自不同光谱带的图像之间存在较大的外观变化，这对于跨光谱立体匹配是一个挑战。现有的深度无监督立体匹配方法对外观变化敏感，并且在交叉光谱数据上表现不佳。我们提出了一种新的无监督跨光谱立体匹配框架的基础上图像到图像的翻译。首先，风格自适应网络通过周期一致性和对抗性学习在不同光谱波段上变换图像，在此期间外观变化最小化。然后，使用视图重建损失用来自相同光谱的图像对训练立体匹配网络。最后，利用估计的视差以端到端的方式监督频谱转换网络。此外，提出了一种新的风格自适应网络F-cycleGAN，以提高光谱转换的鲁棒性。我们的方法可以解决外观变化，并提高无监督的跨光谱立体匹配的鲁棒性。实验结果表明，该方法在不使用深度监督或显式语义信息的情况下取得了良好的性能。
2019-03-04 cs.CV
StyleSplat: 3D Object Style Transfer with Gaussian Splatting
Carnegie Mellon University（卡内基梅隆大学）
针对现有3D风格迁移速度慢、难定位到特定物体的问题，提出轻量方法StyleSplat，基于3D高斯泼溅实现场景内多物体的定制化局部风格迁移，提升3D创作的可控性。
2024-07-12 cs.CV
Multimodal Style Transfer via Graph Cuts
Northeastern University（东北大学）；Adobe Research（奥多比研究院）；ByteDance AI Lab（字节跳动人工智能实验室）
在最近的神经风格转移方法中广泛使用的一个假设是，图像风格可以通过Gram或协方差矩阵等深层特征的全局静态来描述。替代方法通过将它们分解成局部像素或神经补丁来表示样式。尽管最近的进展，大多数现有的方法处理的语义模式的风格形象统一，导致不愉快的结果复杂的风格。本文介绍了一种更灵活、更通用的风格转换技术：多模式风格转换（MST）。MST显式地考虑内容和样式图像中语义模式的匹配。具体来说，风格图像特征被聚类成子风格组件，其与局部内容特征下的图割公式相匹配。训练一个重建网络来传输每个子样式并渲染最终的风格化结果。我们还推广了MST，以改进现有的一些方法。大量的实验表明，卓越的有效性，鲁棒性和灵活性的MST。
2020-01-07 cs.CV
CLIPstyler: Image Style Transfer with a Single Text Condition
KAIST（韩国科学技术院）
现有的神经风格传递方法需要参考风格图像来将风格图像的纹理信息传递到内容图像。然而，在许多实际情况下，用户可能没有参考样式图像，但仍然有兴趣通过想象来转移样式。为了处理这样的应用程序，我们提出了一个新的框架，使一个风格转移“没有”的风格图像，但只有所需的风格的文本描述。使用CLIP的预先训练的文本图像嵌入模型，我们演示了仅使用单个文本条件的内容图像风格的调制。具体来说，我们提出了一个补丁明智的文本图像匹配损失与多视图增强现实纹理转移。大量的实验结果证实了成功的图像风格转移与现实的纹理，反映语义查询文本。
2022-03-19 cs.CL cs.CV eess.IV
Universal Style Transfer via Feature Transforms
UC Merced（加州大学默塞德分校）；Adobe Research（Adobe研究院）；NVIDIA Research（NVIDIA研究院）
通用样式转换旨在将任意视觉样式转换为内容图像。现有的基于前馈的方法，虽然享受推理效率，主要是有限的，无法推广到看不见的风格或妥协的视觉质量。在本文中，我们提出了一种简单而有效的方法，可以解决这些限制，而无需对任何预定义的风格进行培训。我们的方法的关键成分是一对特征变换，白化和着色，嵌入到图像重建网络。白化和着色变换反映了内容图像的特征协方差与给定风格图像的直接匹配，这与神经风格传递中基于Gram矩阵的代价优化具有相似的精神。我们证明了我们的算法的有效性，通过生成高质量的风格化图像与最近的一些方法进行比较。我们还分析了我们的方法，通过可视化的白化功能和合成纹理，通过简单的功能着色。
2017-11-17 cs.CV
Parameter-Free Style Projection for Arbitrary Style Transfer
Baidu Research（百度研究院）
任意图像风格转换是一个具有挑战性的任务，其目的是在任意风格图像的基础上对内容图像进行风格化。在这个任务中，特征级的内容风格转换对于特征的正确融合起着至关重要的作用。现有的特征变换算法往往遭受损失的内容或风格的细节，非自然的笔画模式，和不稳定的训练。为了缓解这些问题，本文提出了一种新的特征级风格转换技术，命名为风格投影，无参数，快速，有效的内容风格转换。本文进一步提出了一种实时前馈模型，利用风格投影进行任意图像风格传输，其中包括一个正则化项，用于匹配输入内容和风格化输出之间的语义。大量的定性分析、定量评估和用户研究表明了所提出方法的有效性和效率。
2022-02-08 cs.CV cs.MM
Automatic Content-Aware Color and Tone Stylization
Adobe Research（奥多比研究院）；KAIST（韩国科学技术院）
我们引入了一种新的技术，自动生成多样化的，视觉上引人注目的风格化的照片在无人监督的方式。我们通过使用大型照片集学习给定输入的风格排名并选择匹配风格的不同子集进行最终风格转移来实现这一点。我们还提出了一种新的技术，将所选样本的全局颜色和色调转移到输入照片中，同时避免了现有风格转移方法所产生的常见视觉伪影。总之，我们的风格选择和转移技术在广泛的输入照片上产生引人注目的，无伪影的结果，用户研究表明，我们的结果优于其他技术。
2015-11-12 cs.CV
Style Composition within Distinct LoRA modules for Traditional Art
Seoul National University（首尔国立大学）；Kyunghee University（庆熙大学）
提出零样本扩散流水线，通过空间掩码融合不同风格专用模型的去噪潜在表示，结合深度图条件，实现传统艺术中区域特定的多风格混合。
2025-08-05 cs.CV
StyleGallery: Training-free and Semantic-aware Personalized Style Transfer from Arbitrary Image References
StyleGallery通过语义感知和无需训练的框架，实现任意图像参考的个性化风格迁移，提升内容保留与风格化平衡能力。
2026-03-12 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
StyleQoRA: Quality-Aware Low-Rank Adaptation for Few-Shot Multi-Style Editing
SenseTime Group（秒速科技集团）；Imvision；Tianjin University（天津大学）；ACE Robotics（ACE机器人）
本文提出StyleQoRA框架，通过自适应秩确定和混合专家LoRA设计，实现少样本多风格图像编辑的高质量适应，实验表明其参数更少却性能更优。
2026-03-21 cs.CV
Diffusion-based Image Translation using Disentangled Style and Content Representation
KAIST（韩国科学技术院）
基于扩散的图像翻译以语义文本或单个目标图像为指导，实现了不局限于特定领域的灵活风格转换。不幸的是，由于扩散模型的随机性质，在反向扩散期间通常难以保持图像的原始内容。为了解决这个问题，在这里，我们提出了一种新的基于扩散的无监督图像翻译方法，使用分离的风格和内容表示。具体来说，受拼接视觉Transformer的启发，我们从ViT模型中提取多头自注意层的中间密钥，并将其用作内容保存损失。然后，通过匹配来自去噪样本和目标图像的[CLS]分类标记来执行图像引导的风格转移，而额外的CLIP损失用于文本驱动的风格转移。为了进一步加速反向扩散过程中的语义变化，我们还提出了一种新的语义发散损失和恢复策略。我们的实验结果表明，该方法优于国家的最先进的基线模型在文本引导和图像引导的翻译任务。
2023-02-01 cs.AI cs.CV cs.LG
Learning Graph Neural Networks for Image Style Transfer
The University of Sydney（悉尼大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；JD Explore Academy（京东探索研究院）；Zhejiang University City College（浙江大学城市学院）
最先进的参数化和非参数化的风格转换方法容易由于全局统计对齐而导致局部风格模式失真，或者由于补丁不匹配而导致令人不快的伪影。在本文中，我们研究了一种新的半参数神经风格转换框架，弥补了参数和非参数风格化的不足。我们的方法的核心思想是使用图神经网络（GNNs）建立准确和细粒度的内容风格对应关系。为此，我们开发了一个详细的GNN模型，内容和风格的局部补丁作为图的顶点。然后将风格转移过程建模为以可学习的方式在风格和内容节点之间传递的基于注意力的异构消息，从而在局部补丁级别上实现自适应的多对一风格-内容相关性。此外，一个精心设计的变形图卷积操作引入跨尺度的风格内容匹配。实验结果表明，所提出的半参数图像风格化方法产生了令人鼓舞的结果具有挑战性的风格模式，保持了全局外观和精致的细节。此外，通过在推理阶段控制边缘的数量，所提出的方法还触发了新的功能，如多样化的基于块的风格化与一个单一的模型。
2023-02-13 cs.CV
Personalized Scientific Figure Caption Generation: An Empirical Study on Author-Specific Writing Style Transfer
Teamreboott Inc.（Teamreboott公司）；MIRI D.I.H Inc.（MIRI D.I.H公司）
本文在第三届 SciCap 挑战赛中实证研究利用作者档案与元数据实现科学图表标题个性化，证明其可提升多模态大模型风格迁移效果，并指出风格匹配与标题质量间存在权衡。
2025-09-30 cs.CL cs.CV
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
RegionRoute: Regional Style Transfer with Diffusion Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Dolby Laboratories, Inc.（杜比实验室）
RegionRoute提出一种注意力监督的扩散框架，通过训练对齐风格标记的注意力分数与对象掩码，实现精确的区域风格迁移，提升风格应用的局部化能力。
2026-02-22 cs.CV
Retinex-guided Channel-grouping based Patch Swap for Arbitrary Style Transfer
Xidian University（西安电子科技大学）；The Pengcheng Lab（鹏城实验室）
本文提出 Retinex 引导的通道分组块交换方法，将风格特征分为表面与纹理通道并引入互补融合与多尺度生成，以提升任意风格迁移的纹理一致性与内容保真度。
2023-09-19 cs.CV
Flow Matching Reinforcement for 3D Mesh Generation via Dynamic Homing Optimization
Tencent Hunyuan（腾讯混元）；Shanghai Jiao Tong University（上海交通大学）；Communication University of China（中国传媒大学）
针对三维生成中现有强化学习方法效果有限的问题，提出前向过程强化方法动态归位优化（DHO），通过最小成本吸引匹配和时间感知动态校正引导负轨迹朝向正样本，并构建Flow3D-Pro框架，实验证明其优于现有方法。
2026-10-02 cs.CV
CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer
Google（谷歌）
本文提出 CLIP3Dstyler，通过匹配点云与文本特征并引入改进的方向性散度损失，实现无需重训练的语言引导三维任意风格迁移。
2023-05-26 cs.CV
Generating Multimodal Images with GAN: Integrating Text, Image, and Style
Northeastern University（东北大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Tsinghua University（清华大学）；Montclair State University（蒙特克莱尔州立大学）；Northern Arizona University（北亚利桑那大学）
提出一种基于 GAN 的多模态图像生成方法，通过文本、图像与风格编码模块及多重一致性损失，在多个公开数据集上显著提升生成图像的清晰度与风格一致性。
2025-01-04 cs.CV
UI-Styler: Ultrasound Image Style Transfer with Class-Aware Prompts for Cross-Device Diagnosis Using a Frozen Black-Box Inference Network
National Yang Ming Chiao Tung University（阳明交通大学）
UI-Styler通过类感知提示策略和模式匹配机制，提升超声图像跨设备诊断的准确性和性能。
2025-11-21 cs.CV
SLGAN: Style- and Latent-guided Generative Adversarial Network for Desirable Makeup Transfer and Removal
The University of Tokyo（东京大学）
当使用生成对抗网络对人脸照片进行化妆时，需要考虑五个特征。这些特征包括（1）面部组件，（2）交互式颜色调整，（3）化妆变化，（4）对姿势和表情的鲁棒性，以及（5）使用多个参考图像。已经提出了几个相关的工作，主要是使用生成对抗网络（GAN）。不幸的是，他们都没有同时解决所有五个特点。本文通过一种创新的风格和潜在引导的GAN（SL GAN）来弥补这一差距。我们提供了一种新的，感性的化妆损失和风格不变的解码器，可以转移化妆风格的基础上直方图匹配，以避免身份移位的问题。在我们的实验中，我们表明，我们的SLGAN是优于或相当于国家的最先进的方法。此外，我们表明，我们的建议可以插值面部化妆图像，以确定独特的功能，比较现有的方法，并帮助用户找到理想的化妆配置。
2020-09-24 cs.CV cs.MM
Magic Insert: Style-Aware Drag-and-Drop
Google（谷歌）
该研究形式化风格感知拖放问题，结合 LoRA 个性化、CLIP 风格注入与 Bootstrapped Domain Adaption，实现跨风格图像中物理合理的主体插入，并发布 SubjectPlop 数据集。
2024-07-02 cs.AI cs.CV cs.GR
Photo Stylistic Brush: Robust Style Transfer via Superpixel-Based Bipartite Graph
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
随着社交网络和多媒体技术的快速发展，定制的图像和视频风格化已经广泛地用于各种社交媒体应用。在本文中，我们探讨的问题，基于范例的照片风格转移，这提供了一个灵活和方便的方式来调用梦幻般的视觉印象。与以往的一些作品不同，我们的作品强调的是与照片中的一系列视觉效果相关的风格，例如颜色、色调和对比度。我们提出了一个照片风格刷，一个自动鲁棒的风格转移方法的基础上基于超像素的二分图（SuperBIG）。该算法采用两步二分图算法，将像素聚集成超像素，并找到它们之间的对应关系。在第一步中，与提取的层次特征，二分图被构造来描述像素划分产生超像素的内容相似性。在第二步中，输入/参考图像中的超像素被重新匹配以形成新的基于超像素的二分图，并且通过二分匹配生成超像素级对应。最后，细化的对应关系引导SuperBIG在去相关的颜色空间中执行变换。大量的实验结果表明，所提出的方法的有效性和鲁棒性传输各种风格的样本图像，即使是一些具有挑战性的情况下，如夜间图像。
2016-07-15 cs.CV
Differential Vector Erasure: Unified Training-Free Concept Erasure for Flow Matching Models
Jilin University（吉林大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出DVE，一种针对流匹配模型的无训练概念擦除方法，通过微分向量场实现精确概念抑制，优于现有基线。
2026-11-02 cs.CV
Cross-modal Face- and Voice-style Transfer
Sony Group Corporation（索尼集团公司）
图像到图像转换和语音转换使得能够生成新的面部图像和语音，同时分别保持一些语义，例如图像中的姿势和音频中的语言内容。它们可以在许多应用程序中帮助内容创建过程。然而，由于它们仅限于每种模态内的转换，因此匹配所生成的面部和语音的印象仍然是一个悬而未决的问题。我们提出了一个名为XFaVoT的跨模态风格转换框架，该框架联合学习四个任务：具有音频或图像指导的图像翻译和语音转换任务，这使得能够生成“与给定语音匹配的面部”和“与给定面部匹配的语音”，以及具有单个框架的模态内翻译任务。在多个数据集上的实验结果表明，XFaVoT实现了图像和语音的跨模态风格翻译，在质量，多样性和人脸-语音对应性方面优于基线。
2023-03-01 cs.CV cs.SD eess.AS
Soulstyler: Using Large Language Model to Guide Image Style Transfer for Target Object
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；Modeling and Emulation in E-Government National Engineering Laboratory（电子政务建模仿真国家工程实验室）
Soulstyler框架利用大型语言模型解析文本描述，并结合CLIP语义嵌入与局部文本-图像块匹配损失，实现对图像中特定目标对象的精准风格迁移而不影响背景。
2023-11-29 cs.AI cs.CV
Mitigating Domain Mismatch in Face Recognition Using Style Matching
尽管在公共基准测试中表现出色，但由于训练（源）和测试（目标）数据之间的域不匹配，人脸识别仍然受到影响。此外，这些域不是共享类，这使得领域自适应复杂化。由于这也是不严格遵循低密度分离原则的细粒度分类问题，因此常规的领域自适应方法不能解决这些问题。在本文中，我们将人脸识别中的域不匹配问题描述为风格不匹配问题，并提出了两种方法。首先，我们设计了一个具有人类水平判断的领域挖掘器，在训练数据中挖掘目标图像，以缓解领域差距。其次，我们从主干模型的低层特征图中提取样式表示，并将两个域的样式分布进行匹配，以找到共同的样式表示。验证和开集和闭集识别协议的评估表明，这两种方法产生了很好的改善，性能更强大，如果他们结合起来。该方法与相关工作相比具有较强的竞争力，并在实际应用中验证了其有效性.
2021-04-08 cs.CV
Style Mixing and Patchwise Prototypical Matching for One-Shot Unsupervised Domain Adaptive Semantic Segmentation
University of South Carolina（南卡罗来纳大学）
在本文中，我们解决的问题，一次性无监督领域自适应（OSUDA）的语义分割，分割器只看到一个未标记的目标图像在训练过程中。在这种情况下，传统的无监督领域自适应模型通常会失败，因为它们不能适应目标域，过度拟合一个（或几个）目标样本。为了解决这个问题，现有的OSUDA方法通常集成了一个风格转换模块，以基于未标记的目标样本执行域随机化，在训练过程中可以探索目标样本周围的多个域。然而，这样的风格转移模块依赖于附加的图像集合作为用于预训练的风格参考，并且还增加了用于领域自适应的存储器需求。在这里，我们提出了一个新的OSUDA方法，可以有效地减轻这种计算负担。具体来说，我们将几个风格混合层集成到分割器中，这些层扮演风格转换模块的角色，以在不引入任何学习参数的情况下对源图像进行风格化。此外，我们提出了一个patchwise原型匹配（PPM）方法加权考虑的重要性，在监督训练，以减轻负适应的源像素。实验结果表明，我们的方法实现了新的国家的最先进的性能在两个常用的基准领域自适应语义分割下的一次设置，是更有效的比所有比较方法。
2021-12-09 cs.CV
SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities
Institute of Imaging and Computer Vision, RWTH Aachen University（亚琛工业大学成像与计算机视觉研究所）
神经胶质瘤是最常见的原发性脑肿瘤之一，占所有病例的30%以上，并且它们由神经胶质干细胞或祖细胞发展而来。理论上，大多数脑肿瘤完全可以通过使用磁共振成像（MRI）来识别。每种MRI模式都提供了关于人脑软组织的不同信息，将所有这些信息整合起来将为胶质瘤的准确分割提供全面的数据，这对于患者的预后，诊断和确定最佳后续治疗至关重要。遗憾的是，由于各种原因，MRI易于产生伪影，这可能导致丢失一个或多个MRI模态。多年来，已经提出了各种策略来合成缺失的模态或补偿其对自动分割模型的影响。然而，这些方法通常无法对潜在的缺失信息进行建模。在本文中，我们提出了一个风格匹配的U-网（SMU-网）的MRI图像上的脑肿瘤分割。我们的联合训练方法利用内容和风格匹配机制将信息特征从全模态网络提取到缺失的模态网络中。为此，我们将全模态和缺失模态数据编码到一个潜在空间中，然后将表示空间分解为风格和内容表示。我们的风格匹配模块通过学习一个匹配函数，将信息和纹理特征从一个完整的模态路径转移到一个缺失的模态路径，从而自适应地重新校准表示空间;此外，我们的内容模块通过对互信息建模，超越了信息量较小的特征，并基于区分性语义特征重新校准表示空间。对BraTS 2018数据集的评估过程显示了显著的结果。
2022-04-06 cs.CV
Bridging the Gap in Missing Modalities: Leveraging Knowledge Distillation and Style Matching for Brain Tumor Segmentation
Hangzhou Dianzi University（杭州电子科技大学）；Tsinghua University（清华大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对医学图像中模态缺失导致的脑肿瘤分割精度不足问题，提出融合多尺度Transformer知识蒸馏、双模式Logit蒸馏与全局风格匹配的MST-KDNet，在BraTS和FeTS 2024数据集上性能优于现有方法，具备临床应用潜力。
2025-07-30 cs.CV
StyleX: A Trainable Metric for X-ray Style Distances
Siemens Healthineers（西门子医疗）；Otto-von-Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
本文提出一种基于深度学习的可训练度量StyleX，利用简单孪生学习训练编码器生成X射线图像风格表示，以量化不匹配图像对的风格距离，并与人类感知良好对齐，支持风格选择和图像流程参数优化。
2024-05-23 cs.AI cs.CV
Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）
由于发型的复杂性和微妙性，编辑发型是独特而具有挑战性的。虽然最近的方法显着改善了头发的细节，这些模型往往会产生不希望的输出时，源图像的姿态是相当不同的目标头发图像，限制了他们的现实世界的应用。HairFIT是一种姿态不变的发型转移模型，它克服了这一限制，但在保持精致的头发纹理方面仍然表现出令人不满意的质量。为了解决这些限制，我们提出了一个高性能的姿态不变发型转移模型，该模型配备了潜在优化和新提出的局部风格匹配损失。在StyleGAN2潜在空间中，我们首先探索目标头发的姿势对齐的潜在代码，并基于局部风格匹配保留详细的纹理。然后，我们的模型考虑对齐的目标头发对源的遮挡进行修补，并混合两个图像以产生最终输出。实验结果表明，我们的模型具有优势，在更大的姿势差异下转移发型和保持局部发型纹理。
2022-08-16 cs.CV
Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup Transfer
VinAI Research（VinAI研究院）；VinUniversity；Stony Brook University（石溪大学）
化妆转移是将来自参考图像的化妆风格应用于源面部的任务。现实生活中的化妆是多样和野生的，不仅包括颜色变化，而且还包括图案，如贴纸，腮红和珠宝。然而，现有的作品忽略了后者的组成部分，并局限于化妆转移到颜色的操作，只集中在轻化妆风格。在这项工作中，我们提出了一个整体化妆转移框架，可以处理所有提到的化妆组件。它包括一个改进的颜色转移分支和一个新的图案转移分支，以学习所有的化妆属性，包括颜色，形状，纹理和位置。为了训练和评估这样的系统，我们还引入了新的化妆数据集，用于真实和合成的极端化妆。实验结果表明，我们的框架实现了最先进的表现在轻和极端的化妆风格。代码可在https://github.com/VinAIResearch/CPM上获得。
2021-04-05 cs.CV
