Styleclone: Face Stylization with Diffusion Based Data Augmentation
StyleClone通过文本反转和扩散引导图像生成增强有限风格数据集，训练快速图像到图像翻译网络，在多种风格实验中提升风格化质量、保留内容且加速推理，并系统评估了增强技术影响。
2025-08-23 cs.CV
Staying True to the Origin: Continuous Image Stylization with Smooth Transitions
该研究针对图像风格化的内容保留与过渡问题，提出两阶段训练策略及风格强度感知样条插值方法，让基于DiT的模型实现精确连续的风格强度控制，生成高保真结果。
2026-08-11 cs.CV
MODIFY: Model-driven Face Stylization without Style Images
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
现有的人脸风格化方法在翻译过程中总是获取目标（风格）域的存在，这违反了隐私规则，限制了它们在现实世界系统中的适用性。为了解决这个问题，我们提出了一种新的方法称为MODel驱动的人脸风格化（MODIFY），它依赖于生成模型绕过目标图像的依赖性。简言之，MODIFY首先在目标域中训练生成模型，然后通过所提供的样式模型将源输入翻译到目标域。为了保留多模态样式信息，MODIFY进一步引入了一个额外的重映射网络，将已知的连续分布映射到编码器的嵌入空间中。在源域中的翻译期间，MODIFY在目标风格保持模型中微调编码器模块，以尽可能精确地捕获源输入的内容。我们的方法是非常简单的，并满足多功能的培训模式，面对风格化。在不同数据集上的实验结果验证了MODIFY算法在无监督人脸风格化中的有效性。
2023-03-17 cs.CV
Advancing Facial Stylization through Semantic Preservation Constraint and Pseudo-Paired Supervision
School of Electrical and Electronic Engineering（电子工程学院）；University of Shanghai Jiao Tong University（上海交通大学）
提出整合语义保留约束与伪配对监督的面部风格化方法，解决生成器语义偏移问题，实现高保真且灵活的多模态风格迁移。
2025-06-30 cs.CV
Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex；University of Oxford（牛津大学）
Gatys等人最近的工作，他通过卷积神经网络滤波器的统计特性来表征图像的风格，重新点燃了人们对纹理生成和图像风格化问题的兴趣。虽然他们的图像生成技术使用了一个缓慢的优化过程，但最近几位作者提出学习生成器神经网络，它可以在一次快速向前传递中产生类似的输出。虽然生成器网络很有前途，但与优化生成相比，它们在视觉质量和多样性方面仍然较差。在这项工作中，我们以两种重要的方式推进它们。首先，我们引入了一个实例规范化模块来取代批量归一化，从而显著提高了图像风格化的质量。其次，我们通过引入一种新的学习公式来提高多样性，该公式鼓励生成器从Julesz纹理集合中无偏地采样，Julesz纹理集合是由某些滤波器响应表征的所有图像的等价类。这两项改进使前馈纹理合成和图像风格化更接近于通过优化生成的质量，同时保留了速度优势。
2017-11-06 cs.CV
Context-Aware Text-Based Binary Image Stylization and Synthesis
Peking University（北京大学）；Institute of Computer Science and Technology（计算机科学技术研究所）
在这项工作中，我们提出了一个新的框架，基于文本的二进制图像的风格化。首先，我们的方法风格化的基于笔划的几何形状，如文本，符号和图标在目标二进制图像的基础上输入的风格图像。第二，探讨了程式化几何形状和背景图像的构成。为了完成这项任务，我们提出了保持易读性的结构和纹理转移算法，逐步缩小二进制图像和风格图像之间的视觉差异。然后，风格化之后是上下文感知的布局设计算法，其中采用无缝性和美学的线索来确定背景中形状的最佳布局。给定布局，二值图像无缝嵌入到背景下的上下文感知的边界约束下的纹理合成。根据二值图像的内容，我们的方法可以应用到许多领域。我们表明，所提出的方法是能够解决无监督的文本风格化问题，并优于国家的最先进的风格转移方法在自动艺术排版创作。此外，在视觉-文本合成、图标/符号绘制和结构引导的图像修补等多个任务上的大量实验表明了该方法的有效性。
2018-10-09 cs.CV
MagicStyle: Portrait Stylization Based on Reference Image
Honor（荣耀（品牌））
针对人像参考图像风格化中细节保留与风格迁移难兼顾的问题，提出含CSDI和FFF两阶段的MagicStyle方法，通过存储并融合自注意力特征实现风格化，经实验验证有效。
2024-09-12 cs.CV
WikiStyle+: A Multimodal Approach to Content-Style Representation Disentanglement for Artistic Image Stylization
Xidian University（西安电子科技大学）
针对现有艺术图像风格化方法依赖图像监督导致的单模态限制和解耦不彻底问题，本文构建WikiStyle+多模态数据集，提出解耦表示引导的扩散模型，实现更精细且符合参考风格艺术特征的风格化。
2025-04-12 cs.CV
Instance Normalization: The Missing Ingredient for Fast Stylization
Skoltech（斯科尔科沃科技学院）；Yandex（Yandex公司）；University of Oxford（牛津大学）
本文回顾了Ulyanov等人提出的快速风格化方法。（2016）.我们展示了如何在风格化架构的一个小的变化，结果在生成的图像显着的质量改进。这种变化仅限于将批量归一化与实例归一化交换，并在训练和测试时应用后者。所得到的方法可以用于训练高性能的实时图像生成架构。该代码将在github上提供，网址为https://github.com/DmitryUlyanov/texture_nets。全文可在arXiv：1701.02096找到。
2017-11-06 cs.CV
Instant Photorealistic Neural Radiance Fields Stylization
John Hopcroft Center for Computer Science（计算机科学约翰·霍普克罗夫特中心）；Shanghai Jiao Tong University（上海交通大学）
本文提出 Instant Neural Radiance Fields Stylization，通过拆分哈希位置编码器并在推理时结合内容与风格体素特征执行 AdaIN，实现无需额外训练、10分钟内生成多视角一致的三维场景风格化新视图。
2024-07-02 cs.CV
EmoStyle: Emotion-Driven Image Stylization
CSSE, Shenzhen University（计算机科学与工程系，深圳大学）
EmoStyle通过构建情感-内容-风格化图像数据集和情感-内容推理器，实现基于情感的图像风格化，提升情感表达与内容一致性。
2025-12-05 cs.CV
Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization
Bytedance Inc.（字节跳动公司）；The Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
针对现有基于稳定扩散的超分辨率与风格化方法像素结构保真度不足的问题，提出像素感知稳定扩散网络，通过像素感知交叉注意力等模块实现鲁棒的真实感超分与个性化风格化，效果经多任务验证。
2024-07-09 cs.CV
3D Stylization via Large Reconstruction Model
Bilkent University（比尔肯大学）；Adobe Research（Adobe研究）
本文提出一种基于大型重建模型注意力机制的3D外观风格化方法，通过注入视觉风格图像特征实现多视角一致的3D资产外观迁移，无需训练或测试时优化，显著提升效率且保持高质量。
2025-04-30 cs.CV
Non-Local Representation based Mutual Affine-Transfer Network for Photorealistic Stylization
University of Tennessee（田纳西大学）；Capital Normal University（首都师范大学）
真实感风格化旨在以自然的方式将参考照片的风格转移到内容照片上，使得风格化的图像看起来像由相机拍摄的真实照片。现有技术的方法在每个匹配的语义区域内局部地对图像进行风格化，并且倾向于跨语义对象/部分的全局颜色不一致，使得风格化的图像不太真实。为了解决这些具有挑战性的问题，我们提出了一个非本地的表示方案，约束与相互仿射传输网络（NL-MAT）。通过基于字典的分解，NL-MAT能够成功地将匹配的非局部表示和图像对的颜色信息解耦，使得图像对之间的上下文对应关系自然地被合并，这在很大程度上促进了以全局一致的方式进行局部风格传输。据我们所知，这是第一次尝试用非局部表示方案来解决真实感风格化问题，这样在风格化过程中就不需要额外的模型或语义匹配步骤。实验结果表明，该方法能够在保持内容图像的空间结构和全局色彩一致性的同时，通过局部风格转移生成真实感效果。
2021-07-06 cs.CV
DreamStyle: A Unified Framework for Video Stylization
Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
DreamStyle通过统一框架支持文本、风格图像和第一帧引导的视频风格化，提升风格一致性和视频质量。
2026-01-06 cs.CV
OmniConsistency: Learning Style-Agnostic Consistency from Paired Stylization Data
Show Lab, National University of Singapore（新加坡国立大学展示实验室）
针对扩散模型风格化中的一致性保持和风格退化问题，提出基于DiT的通用一致性插件OmniConsistency，通过上下文学习和两阶段策略，达到与GPT-4o相当的性能。
2025-05-24 cs.CV
AnyStyle: Single-Pass Multimodal Stylization for 3D Gaussian Splatting
Warsaw University of Technology（华沙技术大学）；Sano Centre for Computational Medicine（Sano计算医学中心）；Jagiellonian University（雅盖隆大学）；Microsoft（微软公司）
AnyStyle通过多模态条件化实现姿态无关的零样本风格化，支持文本和视觉输入，提升3D重建的风格可控性。
2026-07-17 cs.CV
Foreground-Aware Stylization and Consensus Pseudo-Labeling for Domain Adaptation of First-Person Hand Segmentation
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
手部分割是第一人称视觉中的一项重要任务。由于第一人称图像在不同的环境中表现出强烈的外观偏差，因此在手部分割中需要将预训练的分割模型适应新的领域。在这里，我们分别关注手部区域和背景的外观间隙。我们提出了（i）前景感知图像风格化和（ii）共识伪标记的领域自适应的手分割。我们使用目标图像作为样式，为前景和背景独立地对源图像进行样式化。为了解决风格化没有解决的领域转移，我们通过在源图像和风格化的源图像上训练的模型之间取得共识来应用谨慎的伪标签。我们验证了我们的方法领域自适应的手分割从真实和模拟图像。我们的方法在这两种情况下都达到了最先进的性能。我们还展示了具有挑战性的多目标领域自适应和领域泛化设置有前途的结果。代码可在https://github.com/ut-vision/FgSty-CPL上获得。
2022-03-27 cs.CV
Distribution Aligned Multimodal and Multi-Domain Image Stylization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）；Kuaishou Technology（快手科技）
多模态和多领域风格化是图像风格传递领域的两个重要问题。目前，很少有方法可以同时执行多模态和多领域风格化。在本文中，我们提出了一个统一的框架，多模态和多领域的风格转移的支持下，基于范例的参考和随机抽样的指导。我们的方法的关键组成部分是一个新的风格分布对齐模块，消除了各种风格域之间的显式分布差距，并降低了模式坍塌的风险。多模态的多样性是由多个图像或随机风格的代码的指导，而多域的可控性是直接通过使用一个域标签来实现。我们验证了我们提出的框架与各种不同的艺术风格和流派的绘画风格转移。定性和定量的比较与国家的最先进的方法表明，我们的方法可以生成高质量的结果，多域风格和多模态的实例与参考风格的指导或随机抽样风格。
2020-06-02 cs.CV
ZePo: Zero-Shot Portrait Stylization with Faster Sampling
SIST, ShanghaiTech University（上海科技大学SIST）；Institute of Automation, CAS（中国科学院自动化研究所）
针对现有扩散模型人像风格化方法速度慢的问题，提出无需逆扩散的ZePo框架，借助潜一致性模型特征与风格增强注意力控制，仅四步采样实现高效高保真的零样本人像风格化。
2024-08-10 cs.CV
3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation
本文提出一种无需姿态信息或显式3D表示的多视角风格化方法，通过复合目标结合外观迁移与几何保持，提升3D任务的鲁棒性。
2026-03-22 cs.CV
Leveraging Diffusion Models for Stylization using Multiple Style Images
DisneyResearch|Studios（迪士尼研究|工作室）
本文提出利用多张风格图像并结合图像提示适配器与注意力特征统计对齐，在去噪 UNet 的交叉注意力和自注意力层进行干预，以提升风格匹配质量并防止内容泄漏，在风格化任务上取得最先进结果。
2025-08-18 cs.CV
Self-Contained Stylization via Steganography for Reverse and Serial Style Transfer
National Chiao Tung University（国立交通大学）
风格转移被广泛应用于赋予现实世界的图像一个新的艺术面貌。然而，给定一个风格化的图像，尝试使用典型的风格转换方法去风格化或将其再次转换为另一种风格通常会导致伪像或不期望的结果。我们意识到这些问题的根源在于原始图像和其风格化输出之间的内容不一致。因此，在本文中，我们提出了保持输入图像的内容信息的风格转移过程中的权力的隐写术，提出了两种方法：一个两阶段的模型和一个端到端的模型。我们进行了大量的实验，成功地验证了我们的模型的能力，在这两个模型中，他们不仅能够生成与典型的风格转移方法产生的质量相媲美的风格化图像，而且还有效地消除了在重建原始输入的风格化图像，以及执行多次的风格转移系列的文物。
2020-01-09 cs.CV
InStyle: Instant Appearance Stylization of 3D Shapes
University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
GaussianBlender通过解耦潜在空间实现文本驱动的3D风格化，提供即时高保真风格化并超越传统方法。
2026-10-07 cs.CV
FreeViS: Training-free Video Stylization with Inconsistent References
Johns Hopkins University（约翰霍普金斯大学）；Adobe Research（Adobe研究院）
针对视频风格化存在的时间一致性差、训练成本高的问题，提出免训练框架FreeViS，通过整合多参考图到预训练I2V模型、结合高频补偿与光流运动线索，实现了高保真、强时间连贯的风格化效果，性能优于现有基线。
2025-10-02 cs.CV
HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出HyperStyle3D，利用超网络在单次前向传播中调控3D感知GAN生成器参数，并以CLIP提供文本引导，实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
Occlusion-robust Stylization for Drawing-based 3D Animation
School of Electrical Engineering, KAIST（电气工程学院，韩国科学技术院）
针对基于手绘的3D动画中风格化网络因训练与推理的姿态差距导致遮挡下风格质量下降的问题，提出利用光流提供抗遮挡边缘引导的OSF框架，实现单阶段推理，速度提升2.4倍、内存降低2.1倍。
2025-08-01 cs.CV cs.GR
DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations
University of Science and Technology of China（中国科学技术大学）；ByteDance Inc.（字节跳动公司）
针对现有风格迁移方法损害文本可控性的问题，提出DEADiff模型，通过风格语义解耦机制和非重建学习，实现风格化效果与文本可控性的最优平衡。
2024-03-12 cs.CV
Copy the Old or Paint Anew? An Adversarial Framework for (non-) Parametric Image Stylization
Zalando Research（扎兰多研究中心）
参数生成深度模型是照片和非照片真实感图像风格化的最新技术。然而，学习复杂的图像表示需要由大量权重参数化的计算密集型模型，这反过来又需要大型数据集才能使学习成功。基于非参数样本的生成是一种很好地从小数据集再现风格的技术，但也是计算密集型的。这些方面对于数字AI艺术家的实践来说是一个缺点：通常人们希望使用一小部分风格化图像，并且需要一个快速灵活的模型来进行实验。出于这种动机，我们的工作有以下贡献：（i）一种称为完全对抗马赛克（FAMOS）的新风格化方法，它结合了参数和非参数方法的优点;（ii）分析方法并展示其功能的多个消融和图像示例;（iii）使艺术家和机器学习研究人员能够使用和修改FAMOS的源代码。
2018-11-22 cs.CV stat.ML
Mixture of Style Experts for Diverse Image Stylization
VCIP, CS, Nankai University（南开大学计算机学院视觉与图像处理实验室）；NKIARI, Shenzhen Futian（深圳福田南开大学新一代人工智能研究院）；Tianjin University（天津大学）；vivo BlueImage Lab（vivo蓝心影像实验室）
本文提出StyleExpert框架，基于MoE模型实现语义感知的图像风格化，通过统一编码器和动态门控机制处理多层级语义风格，实验表明其在保持语义和材质细节方面优于现有方法。
2026-03-29 cs.CV
Exploring the structure of a real-time, arbitrary neural artistic stylization network
Google Brain（谷歌大脑）；MILA, Université de Montréal（蒙特利尔大学MILA）
在本文中，我们提出了一种方法，它结合了艺术风格的神经算法的灵活性与快速风格传输网络的速度，允许使用任何内容/风格图像对实时的【形】风格化。我们建立在最近的工作，利用条件实例规范化的多风格的传输网络，学习预测的条件实例规范化参数直接从一个风格的图像。该模型在大约80，000幅绘画的语料库上成功训练，并且能够推广到以前未观察到的绘画。我们证明了学习的嵌入空间是平滑的，包含丰富的结构，并以完全无监督的方式组织与绘画相关的语义信息。
2017-08-24 cs.CV
MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP
IIT Hyderabad（印度理工学院海得拉巴分校）
本文提出 MOSAIC 方法，利用 CLIP 和视觉 Transformer 实现文本引导的多对象分割与任意风格化，首次解决对象级精细风格控制问题，并通过实验证明其高质量生成与泛化能力。
2023-09-24 cs.CV eess.IV
Scene-Conditional 3D Object Stylization and Composition
University of Oxford（牛津大学）
提出一种场景条件化框架，通过可微光线追踪与扩散模型先验对3D资产纹理和光照进行优化，实现融入2D场景的风格化与逼真组合。
2025-05-01 cs.CV
Real-Time Style Transfer With Strength Control
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
样式转换是以另一样式图像的样式呈现内容图像的问题。在风格转换的应用中，一个自然而常见的实际任务是调整风格化的强度。Gatys等人（2016）的算法通过改变内容和风格损失的权重因子来提供这种能力，但计算效率低下。Johnson et al.（2016）引入的实时风格传输通过将图像传递到预先训练的Transformer网络，实现了任何图像的快速风格化。虽然速度很快，但这种架构无法持续调整风格强度。我们提出了一个扩展的实时风格传输，允许直接控制风格的强度在推理，仍然只需要一个单一的Transformer网络。我们进行定性和定量的实验表明，该方法是能够顺利风格化强度控制，并消除某些风格化文物出现在原来的实时的【形】风格转移方法。与其他实时的【形】风格转换算法的比较，能够调整风格化强度，表明我们的方法再现风格与更多的细节。
2019-04-18 cs.CV
Context-Preserving Two-Stage Video Domain Translation for Portrait Stylization
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
本文针对人像风格化在视频域中时间不连贯的问题，提出一种上下文保持的两阶段视频转换框架，在保持源视频上下文的同时实现实时风格化，每帧仅需0.011秒且参数量仅5.6M。
2023-05-30 cs.CV
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting
ShanghaiTech University（上海科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出免训练框架 Portrait Diffusion，利用扩散模型注意力融合与 Chain-of-Painting 渐进重绘，实现无需微调的细致人脸风格化。
2023-12-03 cs.CV
ZDySS -- Zero-Shot Dynamic Scene Stylization using Gaussian Splatting
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technion（以色列理工学院）；Nvidia（英伟达公司）
针对动态场景示例风格化的时空一致性与风格泛化难题，提出基于 Gaussian Splatting 的零样本框架 ZDySS，通过在 Gaussian 特征向量上执行风格迁移提升跨帧一致性，并在真实场景中优于现有基线。
2025-01-07 cs.CV
PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping
Zhejiang University（浙江大学）；Nanjing University of Science and Technology（南京理工大学）
提出PNeSM框架，通过将3D场景外观映射到2D风格模式空间并利用基于提示的风格化算法，实现无需重新训练的任意风格与任意场景的迁移，在视觉质量和泛化性上超越现有方法。
2024-03-13 cs.CV
Enhancing Multi-Region Stylization with Interior-Guided Boundary Repair
International University, VNU-HCM（越南国立大学胡志明市国际大学）
提出内部引导的边界修复方法，通过内部引导传播和内向距离混合修复多区域风格化中的边界伪影，无需重训练即可集成，并在边界一致性、梯度稳定性和内部保留上优于现有方法。
2026-10-08 cs.CV
DiffArtist: Towards Structure and Appearance Controllable Image Stylization
The Hong Kong Polytechnic University（香港理工大学）
DiffArtist首次通过独立扩散过程实现对图像结构与外观风格强度的细粒度同时控制，无需训练或额外适配器，并引入多模态大语言模型评估器验证其优越的风格保真度与双重可控性。
2025-08-27 cs.CV cs.GR
DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Jilin University（吉林大学）；City University of Hong Kong (Dongguan)（香港城市大学（东莞））
针对现有3D风格化无法独立控制颜色与纹理的问题，提出免训练框架DiDE，利用潜空间通道分区实现解耦注入，在Disen3D-Bench上优于基线。
2026-10-22 cs.CV
Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab, Tencent（腾讯优图实验室）；Zhejiang University（浙江大学）
针对现有笔触渲染方法统一分块导致的边界伪影问题，提出动态预测绘画区域的组合式神经绘画框架，还引入可微距离变换损失扩展至风格迁移，在两类任务上均优于现有模型。
2023-10-10 cs.CV
One-Shot Stylization for Full-Body Human Images
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对全身人物图像风格化问题，提出一次性微调姿态引导生成器的方法，并引入骨架变形模块以保留内容并迁移艺术风格，实验验证其有效性。
2023-04-14 cs.CV cs.GR
DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Kuaishou Technology（快手科技）
本文提出 DiffStyler 双重扩散架构，通过逐步融合文本风格引导和基于内容图像的可学习噪声，控制内容与风格平衡并保留结构，实验证明其优于基线方法。
2023-12-18 cs.CV cs.GR
Balanced Image Stylization with Style Matching Score
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Agency for Science, Technology and Research (A*STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
本文提出风格匹配分数（SMS），将图像风格化建模为风格分布匹配问题，并结合渐进频谱正则化与语义感知梯度细化，在保持内容的同时实现高效、高质量的风格迁移。
2025-07-22 cs.CV cs.LG
Few-Shot Model Adaptation for Customized Facial Landmark Detection, Segmentation, Stylization and Shadow Removal
EPFL（洛桑联邦理工学院）；HKUST（香港科技大学）；Kuaishou Technology（快手科技）
尽管已经取得了出色的进展，但基于深度学习的算法的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集难以扩展。此外，由于新应用的发展，数据注释的初始定义可能并不总是满足新功能的要求。因此，对定制数据注释的需求一直很大。为了解决上述问题，我们提出了Few-Shot模型自适应（FSMA）框架，并展示了其在人脸上的几个重要任务上的潜力。FSMA首先通过使用大规模未标记数据训练对抗性自动编码器来获得鲁棒的面部图像嵌入。然后，该模型配备了特征自适应和融合层，并适应目标任务有效地使用最少量的注释图像。FSMA框架在广泛的面部图像应用中的多功能性是突出的。FSMA实现了最先进的Few-Shot特征点检测性能，并首次为Few-Shot人脸分割、风格化和人脸阴影去除任务提供了令人满意的解决方案。
2021-04-19 cs.CV
3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Snap Research（Snap 研究院）
鉴于其在移动摄影和AR / VR中的应用，视觉内容创作引起了人们极大的兴趣。风格转换和单图像3D摄影作为两个代表性的任务，到目前为止已经独立发展。在本文中，我们使两者之间的连接，并解决具有挑战性的任务，三维照片风格化-生成风格化的小说从一个单一的图像给定的任意风格的意见。我们的关键直觉是，风格转换和视图合成必须联合建模这项任务。为此，我们提出了一种深度模型，该模型从场景的点云表示中学习几何感知的内容特征以进行风格化，从而产生在各个视图中一致的高质量风格化图像。此外，我们引入了一种新的训练协议，使学习只使用2D图像。我们通过广泛的定性和定量研究证明了我们的方法的优越性，并展示了我们的方法在从2D图像资产创建3D内容的需求不断增长的情况下的关键应用。
2021-12-04 cs.CV cs.GR
Block-wise LoRA: Revisiting Fine-grained LoRA for Effective Personalization and Stylization in Text-to-Image Generation
Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）
针对文本生成图像现有高效微调方法难以兼顾有效个性化与风格化的问题，提出分块LoRA对SD不同模块细粒度微调，实现图像贴合提示、保留目标特征且符合目标风格，经实验验证有效。
2024-03-12 cs.AI cs.CV
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cardiff University（卡迪夫大学）
3D场景风格化的目的是根据给定的一组风格示例从任意新颖的视图生成场景的风格化图像，同时确保从不同视图渲染时的一致性。直接将图像或视频风格化方法应用于3D场景无法实现这种一致性。由于最近提出的神经辐射场（NeRF），我们能够表示一个3D场景中的一致的方式。一致的3D场景风格化可以有效地实现通过风格化相应的NeRF。然而，有一个显着的域之间的差距的风格的例子是2D图像和NeRF这是一个隐式的体积表示。为了解决这个问题，我们提出了一种新的相互学习框架的三维场景风格化相结合的2D图像风格化网络和NeRF融合的风格化能力的2D风格化网络与NeRF的3D一致性。我们首先预训练要风格化的3D场景的标准NeRF，并将其颜色预测模块替换为风格网络以获得风格化的NeRF。其次，通过引入一致性损失，从NeRF提取空间一致性的先验知识到2D风格化网络。我们还引入了模仿损失来监督NeRF风格模块的相互学习并微调2D风格化解码器。为了进一步使我们的模型处理2D风格化结果的模糊性，我们引入了可学习的潜在代码，这些代码服从以风格为条件的概率分布。它们被附加到训练样本中作为条件输入，以更好地学习我们新颖的风格化NeRF中的风格模块。实验结果表明，我们的方法是优于现有的方法在视觉质量和长期的一致性。
2022-05-25 cs.CV cs.GR
JoJoGAN: One Shot Face Stylization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
样式映射器将某些固定的样式应用于其输入图像（例如，将面部应用于卡通）。本文描述了一个简单的过程-- JoJoGAN --从单个样式示例学习样式映射器。JoJoGAN使用GAN反演过程和StyleGAN的样式混合属性来从单个示例样式生成大量配对数据集。然后使用配对的数据集来微调StyleGAN。然后，图像可以通过GAN反演进行样式映射，然后进行微调的StyleGAN。JoJoGAN只需要一个参考和30秒的训练时间。JoJoGAN可以成功地使用极端的风格参考（比如动物脸）。此外，可以控制使用样式的哪些方面以及应用样式的多少。定性和定量评估表明，JoJoGAN生成的高质量高分辨率图像大大优于当前最先进的图像。
2022-03-06 cs.CV
Local Content-Style Control for Diffusion-based Image Stylization
Digital Masterpieces GmbH（Digital Masterpieces 有限公司）
提出将ControlNet与IP-Adapter风格化流程中的两个条件权重从全局标量提升为逐位置空间图，实现单次生成中对内容和风格的局部、逐轴控制，无需重训练，可即插即用。
2026-10-07 cs.CV cs.GR
WISE: Whitebox Image Stylization by Example-based Learning
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Digital Masterpieces GmbH（数字杰作有限责任公司）
基于图像的艺术渲染可以使用算法图像过滤来合成各种表现风格。与基于深度学习的方法相比，这些基于几何学的滤波技术可以对高分辨率图像进行操作，是可解释的，并且可以根据各种设计方面进行参数化。然而，调整或扩展这些技术以产生新的样式通常是一项乏味且容易出错的任务，需要专业知识。我们提出了一个新的范例来缓解这个问题：实现算法图像过滤技术的微分操作，可以学习参数化对齐某些参考风格。为此，我们提出了WISE，一个基于实例的图像处理系统，可以处理多种风格化技术，如水彩，油或卡通风格化，在一个共同的框架内。通过训练全局和局部滤波器参数化的参数预测网络，我们可以同时使效果适应参考样式和图像内容，例如，来增强面部特征我们的方法可以在风格转换框架中进行优化，也可以在生成对抗设置中进行学习，以进行图像到图像的翻译。我们证明，联合训练XDoG滤波器和CNN进行后处理可以实现与最先进的基于GAN的方法相当的结果。
2022-07-29 cs.CV cs.GR
AI-Driven Stylization of 3D Environments
University of California, Berkeley（加州大学伯克利分校）
本文提出利用NeRF和3D高斯泼溅等新型表示，结合图像风格化与图像到3D生成模型，构建迭代流程将3D原始对象场景风格化为高保真场景，并展示合成结果与局限。
2024-11-09 cs.CV cs.GR
DCT-Net: Domain-Calibrated Translation for Portrait Stylization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
介绍了一种用于Few-Shot人像风格化的图像翻译架构DCT-Net。给定有限的样式范例（$\sim$ 100），新架构可以产生高质量的样式转移结果，其具有合成高保真内容的高级能力和处理复杂场景（例如，闭塞和附件）。此外，它通过一个由部分观察训练的优雅评估网络（即，程式化的头）。基于少样本学习的风格转换是具有挑战性的，因为由于仅由几个训练样本形成的有偏分布，所学习的模型可以容易地在目标域中变得过拟合。本文旨在通过采用“先校准，后翻译”的核心思想，探索局部聚焦翻译的增强全局结构来应对这一挑战。具体而言，建议的DCT-Net由三个模块组成：一个内容适配器借用强大的源照片之前校准目标样本的内容分布;一个几何扩展模块，使用仿射变换释放空间语义约束;和一个纹理翻译模块，利用校准的分布产生的样本来学习细粒度的转换。实验结果表明，该方法在头部风格化方面优于现有技术，在自适应变形的全图像平移方面也是有效的。
2022-07-06 cs.CV
