Improving Style-Content Disentanglement in Image-to-Image Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
近年来，无监督图像到图像翻译方法取得了巨大的成功。然而，可以很容易地观察到，他们的模型包含显着的纠缠，这往往会损害翻译性能。在这项工作中，我们提出了一个原则性的方法，以提高风格内容解开图像到图像的翻译。通过考虑进入每个表示的信息流，我们引入了一个额外的损失项，作为内容瓶颈。我们表明，我们的方法的结果是显着更解开比目前的方法产生的，同时进一步提高视觉质量和翻译的多样性。
2020-07-09 cs.CV cs.LG
HyperInverter: Improving StyleGAN Inversion via Hypernetwork
VinAI Research（VinAI研究院）
近年来，由于对GAN潜在空间的探索和利用，真实世界图像处理取得了惊人的进展。GAN反演是该流水线中的第一步，旨在将真实图像忠实地映射到潜码。不幸的是，大多数现有的GAN反演方法不能满足下面列出的三个要求中的至少一个：高重建质量、可编辑性和快速推理。在这项研究中，我们提出了一种新的两阶段策略，同时适合所有的要求。在第一阶段，我们训练编码器将输入图像映射到StyleGAN 2 $\mathcal{W}$ -空间，该空间被证明具有良好的可编辑性但重建质量较低。在第二阶段，我们补充重建能力在初始阶段，利用一系列的超网络恢复反演过程中丢失的信息。这两个步骤相互补充，以产生高重建质量，这要归功于超网络分支和出色的可编辑性，这是由于在$\mathcal{W}$空间中进行的反演。我们的方法完全基于编码器，从而实现了极快的推理。在两个具有挑战性的数据集上进行的大量实验证明了该方法的优越性。
2022-04-04 cs.CV
Improving style transfer in dynamic contrast enhanced MRI using a spatio-temporal approach
提出一种结合自编码器、卷积LSTM和自适应卷积的时空方法，以解决DCE-MRI风格迁移中对比增强和运动差异问题，并在两个数据集上优于现有技术。
2023-10-03 cs.CV eess.IV
Rethinking and Improving the Robustness of Image Style Transfer
UC San Diego（加州大学圣迭戈分校）；Adobe Research（Adobe研究院）
对神经风格传递方法的广泛研究表明，由预训练的VGG网络提取的特征之间的相关性具有捕获图像视觉风格的显着能力。然而，令人惊讶的是，这种风格化质量并不健壮，并且在应用于更高级和轻量级的网络（例如ResNet家族中的网络）时通常会显着降低。通过对不同的网络架构进行广泛的实验，我们发现，代表VGG和ResNet之间主要架构差异的残余连接会产生小熵的特征图，这些特征图不适合风格转移。为了提高ResNet架构的鲁棒性，我们提出了一种简单而有效的解决方案，该解决方案基于增强其熵的特征激活的softmax变换。实验结果表明，这个小魔术可以大大提高风格化结果的质量，即使是随机权重的网络。这表明，用于特征提取的架构比使用学习的权重进行风格转换的任务更重要。
2021-04-08 cs.CV eess.IV
Improving Inversion and Generation Diversity in StyleGAN using a Gaussianized Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
现代生成对抗网络能够从生活在低维学习的潜在空间中的潜在向量创建人工的、照片般真实的图像。已经证明，可以将大范围的图像投影到这个空间中，包括生成器训练的域之外的图像。然而，虽然在这种情况下，生成器再现了图像的像素和纹理，但重建的潜在向量是不稳定的，并且小的扰动会导致显着的图像失真。在这项工作中，我们建议显式地模拟潜在空间中的数据分布。我们表明，在一个简单的非线性操作，数据分布可以建模为高斯，因此表示使用足够的统计。这产生了一个简单的高斯先验，我们使用它来正则化图像到潜在空间的投影。所得到的投影位于潜在空间的更平滑且表现更好的区域中，如使用真实图像和生成图像的插值性能所示。此外，高斯模型的潜在空间中的分布，使我们能够调查在生成器输出的文物的起源，并提供了一种方法，减少这些文物，同时保持多样性的生成图像。
2020-09-14 cs.CV
Conditional Balance: Improving Multi-Conditioning Trade-Offs in Image Generation
Reichman University（里奇曼大学）；Microsoft Corporation（微软公司）
针对图像生成中内容与风格平衡难题，提出通过识别DDPM注意力层敏感性并仅向敏感层注入条件输入的方法，实现细粒度控制，提升风格化质量。
2025-08-03 cs.CV cs.GR cs.LG
Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（中国教育部机器智能与先进计算重点实验室）；Microsoft Research Asia（微软亚洲研究院）；University of Tokyo（东京大学）
我们提出了一个新的角度来实现图像合成，通过查看这个任务作为一个视觉令牌生成问题。不同于直接从单个输入合成完整图像的现有范例（例如，一个潜在的代码），新的公式能够灵活的本地操作不同的图像区域，这使得它有可能学习内容感知和细粒度的风格控制图像合成。具体地说，它将潜在标记序列作为输入来预测用于合成图像的视觉标记。在这个角度下，我们提出了一个基于令牌的生成器（即，TokenGAN）。特别地，TokenGAN输入两个语义上不同的视觉令牌，即，学习的恒定内容令牌和来自潜在空间的样式令牌。给定一系列样式令牌，TokenGAN能够通过使用Transformer的注意力机制将样式分配给内容令牌来控制图像合成。我们进行了大量的实验，并表明所提出的TokenGAN在几个广泛使用的图像合成基准上取得了最先进的结果，包括具有不同分辨率的FFHQ和LSUN CHURCH。特别是，生成器能够合成1024x1024大小的高保真图像，完全免除卷积。
2021-12-18 cs.CV
AdaAttN: Revisit Attention Mechanism in Arbitrary Neural Style Transfer
Baidu Inc.（百度公司）；Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）
快速任意神经风格迁移由于其灵活性，在各种应用中引起了学术界，工业界和艺术界的广泛关注。现有的解决方案要么是在不考虑特征分布的情况下将深度风格特征融合到深度内容特征中，要么是根据风格自适应地对深度内容特征进行归一化，使得它们的全局统计数据匹配。虽然有效，留下浅特征未被探索，并且没有局部考虑特征统计，但它们容易产生不自然的输出，具有令人不快的局部失真。为了缓解这个问题，在本文中，我们提出了一种新的注意力和规范化模块，名为自适应注意力规范化（AdaAttN），自适应地执行每点的基础上注意力规范化。具体地说，空间注意力得分是从内容和风格图像的浅层和深层特征中学习的。然后，通过将风格特征点视为所有风格特征点的注意力加权输出的分布来计算每个点的加权统计量。最后，对内容特征进行归一化，以使它们表现出与计算出的每点加权样式特征统计相同的局部特征统计。此外，一种新的局部特征损失的基础上AdaAttN，以提高局部视觉质量。我们还扩展了AdaAttN，以便在稍做修改的情况下为视频风格传输做好准备。实验表明，我们的方法实现了最先进的任意图像/视频风格的传输。代码和模型可用。
2021-08-11 cs.CV
Style Augmentation: Data Augmentation via Style Randomization
Durham University（杜伦大学）
我们引入了风格增强，这是一种基于随机风格传输的新形式的数据增强，用于提高卷积神经网络（CNN）在基于分类和回归的任务上的鲁棒性。在训练过程中，我们的风格增强会随机化纹理、对比度和颜色，同时保留形状和语义内容。这是通过调整任意样式传递网络来执行样式随机化，通过从多元正态分布中采样输入样式嵌入而不是从样式图像中推断它们来实现的。除了标准的分类实验，我们调查的影响风格增强（和数据增强一般）域转移任务。我们发现，数据增强显着提高了鲁棒性域移位，并可以作为一个简单的，域不可知的替代领域自适应。比较风格增强与七种传统增强技术的混合，我们发现它可以很容易地与它们结合起来，以提高网络性能。我们验证了我们的技术的有效性与域转移实验分类和单眼深度估计，说明了一致的改进泛化。
2019-04-12 cs.CV
Analyzing and Improving the Image Quality of StyleGAN
NVIDIA（英伟达）；Aalto University（阿尔托大学）
基于样式的GAN架构（StyleGAN）在数据驱动的无条件生成图像建模中产生最先进的结果。我们揭示和分析了它的几个特征工件，并提出了模型架构和训练方法的变化，以解决这些问题。特别是，我们重新设计了生成器规范化，重新审视渐进式增长，并正则化生成器，以鼓励从潜在代码到图像的映射中的良好调节。除了改善图像质量之外，该路径长度正则化器还产生额外的好处，即生成器变得更容易反转。这使得可以可靠地将生成的图像归属于特定网络。此外，我们可视化如何以及发电机利用其输出分辨率，并确定一个容量问题，激励我们训练更大的模型，以提高质量。总的来说，我们的改进模型重新定义了无条件图像建模的最新技术水平，无论是在现有的分布质量指标，以及感知的图像质量。
2020-03-23 cs.CV cs.LG cs.NE
Style Decomposition for Improved Neural Style Transfer
School of Informatics（信息学院）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
通用神经风格转换（NST）方法能够通过（几乎）实时的特征变换以风格不可知的方式执行任意风格的风格转换。尽管他们的单峰参数化样式建模方法已被证明足以从相对简单的图像中转移单一样式，但它们通常无法有效地处理更复杂的样式，产生显著的伪影，以及降低风格化图像中合成纹理的质量。为了克服这些局限性，在本文中，我们提出了一种新的通用NST方法，分别对存在于给定样式图像（或样式图像集合）中的每个子样式进行建模。这允许更好地对同一样式图像内的细微样式差异进行建模，然后使用最适当的子样式（或不同子样式的混合）来对内容图像进行样式化。所提出的方法的能力是：a）使用存在于一个样式图像中的子样式来执行宽范围的不同样式化，同时给予用户适当地混合不同子样式的能力，b）自动地将最适当的子样式匹配到内容图像的不同语义区域，改进现有的现有技术水平的通用NST方法，以及c）从图像集合中检测和转移子样式。
2018-11-30 cs.CV
Unsupervised Anomaly Appraisal of Cleft Faces Using a StyleGAN2-based Model Adaptation Technique
Texas A&M University（德克萨斯农工大学）；Sidra Medicine（锡德拉医学中心）；Weill Cornell Medical College（威尔康奈尔医学院）
本文提出了一种新的机器学习框架，一致地检测，定位和评价先天性唇裂畸形的人脸。我们的目标是提供一个通用的，客观的面部差异和重建手术的结果，符合人类的判断措施。所提出的方法采用具有模型自适应的StyleGAN2生成对抗网络来产生受裂缝影响的面部的归一化变换，以便允许随后使用逐像素减法方法测量畸形。该框架的完整流程包括以下步骤：图像预处理、人脸归一化、颜色变换、形态侵蚀、热图生成和异常评分。通过利用所考虑的框架的特征，提出了精细辨别解剖异常的热图。建议的框架是通过计算机模拟和调查包含人的评级进行验证。由所提出的计算机模型产生的异常分数密切相关的面部差异的人类评级，导致0.942皮尔逊的r得分。
2022-11-12 cs.CV
FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction
Nanjing University of Science and Technology（南京理工大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了一个大规模的面部UV纹理数据集，其中包含超过50，000个高质量的纹理UV贴图，具有均匀的光照，中性的表情和清洁的面部区域，这些都是在不同光照条件下渲染逼真的3D人脸模型所需的特性。该数据集源自大规模人脸图像数据集FFHQ，并借助我们的全自动和强大的UV纹理生产流水线。我们的流水线利用基于StyleGAN的面部图像编辑方法的最新进展，从单图像输入生成多视图归一化面部图像。一个精心设计的UV纹理提取，校正和完成程序，然后应用于从归一化的人脸图像产生高质量的UV地图。与现有的UV纹理数据集相比，我们的数据集具有更多样和更高质量的纹理图。我们进一步训练了一个基于GAN的纹理解码器，作为基于参数拟合的3D人脸重建的非线性纹理基础。实验表明，我们的方法提高了重建精度比国家的最先进的方法，更重要的是，产生高质量的纹理图，准备逼真的渲染。数据集、代码和预训练的纹理解码器可在https://github.com/csbhr/FFHQ-UV上公开获得。
2023-03-24 cs.CV
AnyStyle: A Single LoRA is Sufficient for Image-Guided Style Transfer
School of Artificial Intelligence, South China Normal University（华南师范大学人工智能学院）
研究图像引导风格迁移，指出基于扩散方法存在内容与风格解缠难题。提出AnyStyle框架，采用统一单适配器范式，结合无训练结构引导，提升可控性与稳定性，实验显示性能优。
2026-07-07 cs.CV
TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style Transfer
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
针对现有风格迁移方法忽略绘画过程的问题，提出两阶段统计感知变换（TSSAT）模块，通过先对齐全局统计再交换局部统计模拟人类绘画过程，并引入基于注意力的内容损失和基于图块的风格损失，显著提升了风格化效果。
2023-09-12 cs.CV
AesUST: Towards Aesthetic-Enhanced Universal Style Transfer
Zhejiang University（浙江大学）
最近的研究表明，在通用的风格转移，将任意的视觉风格的内容图像显着的成功。然而，现有的方法遭受的美学不切实际的问题，引入不和谐的模式和明显的文物，使结果很容易从真正的绘画现场。为了解决这一限制，我们提出了AesUST，一种新颖的美学增强的通用风格转移方法，可以为任意风格生成美学上更逼真和令人愉快的结果。具体来说，我们的方法引入了一个美学的学习普遍的人类愉快的美学特征，从一个大语料库的艺术家创作的绘画。然后，美学特征被纳入，以提高风格转移过程中通过一个新的美学感知的风格注意力（AesSA）模块。这样的AesSA模块使我们的AesUST能够根据风格图像的全局审美通道分布和内容图像的局部语义空间分布，高效灵活地整合风格模式。此外，我们还开发了一种新的两阶段转移训练策略，具有两个美学规则，以更有效地训练我们的模型，进一步提高风格化性能。大量的实验和用户研究表明，我们的方法合成美学更和谐和现实的结果比国家的艺术，大大缩小了与真正的艺术家创作的绘画的差距。我们的代码可在https://github.com/EndyWon/AesUST上获得。
2022-08-27 cs.CV
Improving Diffusion Models for Scene Text Editing with Dual Encoders
Adobe Research（Adobe研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出DIFFSTE，通过字符编码器和指令编码器改进预训练扩散模型，提升场景文本编辑中的文本可读性与风格控制能力，并实现字体变化、字体混合及自然语言指令的零样本泛化。
2023-04-12 cs.AI cs.CV
Layout Stroke Imitation: A Layout Guided Handwriting Stroke Generation for Style Imitation with Diffusion Model
Temple University, Philadelphia PA, USA（特拉华大学）
本文提出一种由书法风格和单词布局引导的条件扩散模型，通过多尺度注意力特征和笔画预测生成手写笔画，在风格模仿和单词间距一致性上优于现有方法。
2025-09-19 cs.CV
What Can Style Transfer and Paintings Do For Model Robustness?
Cornell University（康奈尔大学）；Delft University of Technology（代尔夫特理工大学）
提高模型鲁棒性的常用策略是通过数据增强。数据增强鼓励模型学习所需的不变性，例如对水平翻转或颜色变化的不变性。最近的工作表明，任意风格的转移可以被用作数据增强的一种形式，通过从照片创建绘画般的图像来鼓励纹理的不变性。然而，风格化的照片与艺术家创作的绘画并不完全相同。艺术家在绘画中描绘了感知上有意义的线索，以便人类能够识别场景中的显着成分，这一点在风格转换中并没有强制执行。因此，我们研究了风格转移和绘画对模型鲁棒性的影响。首先，我们研究了绘画作为基于风格化的数据增强的风格图像的作用。我们发现，即使没有绘画作为风格图像，风格转移功能也很好。其次，我们表明，从绘画中学习作为一种形式的感知数据增强可以提高模型的鲁棒性。最后，我们研究了从风格化和绘画中学习的不变性，并表明模型从这些不同形式的数据中学习不同的不变性。我们的研究结果提供了风格化如何提高模型鲁棒性的见解，并提供证据表明，艺术家创作的绘画可以成为模型鲁棒性的宝贵数据来源。
2021-05-27 cs.CV
Awesome Typography: Statistics-Based Text Effects Transfer
Peking University（北京大学）
在这项工作中，我们探讨的问题，产生梦幻般的特殊效果的排版。这是相当具有挑战性的，由于模型的差异，以说明不同的文字效果为不同的字符。为了解决这个问题，我们的核心思想是利用文本效果空间分布的高度规律性来指导合成过程。具体来说，我们的特点是程式化补丁的归一化位置和最佳尺度来描绘他们的风格元素。我们的方法首先估计这两个特征，并从统计学上推导出它们的相关性。然后将其转化为纹理变换的软约束，实现自适应多尺度纹理合成，使风格元素分布均匀。它允许我们的算法产生适合本地纹理模式和示例中的全局空间分布的艺术排版。实验结果表明，我们的方法优于传统的风格转移方法的各种文本效果。此外，我们验证了我们的算法与广泛的艺术排版库生成的有效性。
2016-12-06 cs.CV
Improved StyleGAN Embedding: Where are the Good Latents?
KAUST（阿卜杜拉国王科技大学）；Cardiff University（卡迪夫大学）；Miami University（迈阿密大学）
StyleGAN能够生成与真实照片几乎无法区分的照片级真实感图像。为给定图像找到嵌入的反向问题构成了挑战。很好地重建图像的嵌入并不总是对编辑操作鲁棒的。在本文中，我们解决的问题，找到一个嵌入，既重建图像，也支持图像编辑任务。首先，我们引入了一个新的归一化空间来分析重建的潜在码的多样性和质量。这个空间可以帮助回答好的潜在代码在潜在空间中位于何处的问题。其次，我们提出了一种改进的嵌入算法，使用一种新的正则化方法的基础上，我们的分析。最后，我们分析了不同嵌入算法的质量。我们将我们的结果与当前最先进的方法进行比较，并在重建质量和编辑质量之间实现了更好的权衡。
2021-10-15 cs.CV cs.GR
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
University of Munich（慕尼黑大学）
研究如何分离内容和风格表示，提出对比增强流匹配框架，将对比正则化融入可逆流匹配，在多个数据集实验中提升了内容和风格检索、增强嵌入簇分离及开集鲁棒性，改进了分布转移下的解缠和鲁棒性。
2026-07-15 cs.CV
Semantic Style Transfer for Enhancing Animal Facial Landmark Detection
University of Haifa（海法大学）
本文提出将语义风格迁移用于动物面部关键点检测训练，通过在裁剪面部图像上应用监督式风格迁移和数据增强，在猫面部关键点检测任务中保留98%基线精度并提升鲁棒性，且方法可推广至其他物种。
2025-05-08 cs.CV
Implicit Style-Content Separation using B-LoRA
Tel Aviv University（特拉维夫大学）；Reichman University（雷赫曼大学）
提出 B-LoRA 方法，利用 LoRA 联合训练 SDXL 中两个特定块以隐式分离图像风格与内容，显著提升风格化效果并缓解过拟合，支持多种风格化任务。
2024-09-22 cs.CV
MAST: Mask-Guided Attention Control for Training-Free Regional-Multi Style Transfer
Division of Computer Science and Artificial Intelligence, Dongguk University（计算机科学与人工智能系，东国大学）
MAST提出一种无训练框架，通过布局保留查询锚定、注意力质量分配、温度缩放和细节注入模块，实现多风格迁移中无边界伪影和结构一致性的保持。
2026-09-09 cs.AI cs.CV
Hierarchical Semantic Regularization of Latent Spaces in StyleGANs
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）；Motive Technologies, Inc（Motive技术公司）
GANs的进步使高分辨率逼真图像的生成成为可能。StyleGAN允许通过对W/W+空间中的潜在样式向量进行数学运算来对此类图像进行引人注目的属性修改，这些数学运算有效地调节了生成器的丰富层次表示。这种操作最近已经被推广到原始StyleGAN论文中的属性交换之外，包括插值。尽管StyleGAN有许多重大改进，但它们仍然被视为生成不自然的图像。生成的图像的质量取决于两个假设：（a）生成器学习的层次表示的丰富性，以及（b）风格空间的线性和平滑度。在这项工作中，我们提出了一个层次语义正则化器（HSR），它将生成器学习的层次表示与预训练网络在大量数据上学习的相应强大功能相匹配。HSR不仅提高了生成器表示，而且还提高了潜在样式空间的线性度和平滑度，从而生成了外观更自然的样式编辑图像。为了证明改进的线性，我们提出了一种新的度量-属性线性得分（ALS）。在不同的标准数据集上，感知路径长度（PPL）指标平均提高了16.19%，同时提高了属性编辑任务中属性变化的线性度，这证实了非自然图像生成的显著减少。
2022-08-07 cs.CV
Autoregressive Styled Text Image Generation, but Make it Reliable
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；Google（谷歌）
本文提出Eruku方法，通过多模态提示条件生成任务和分类器自由引导策略，改进自回归模型以生成更可靠、更忠实于文本提示的风格化文本图像。
2025-11-28 cs.CV
Improving the Transferability of Adversarial Examples with Arbitrary Style Transfer
Xidian University（西安电子科技大学）；Tianjin University（天津大学）；Huawei Singular Security Lab（华为奇安安全实验室）
针对对抗样本黑盒场景可迁移性弱的问题，提出基于任意风格迁移的STM攻击方法，通过跨域数据增强、微调网络及图像混合提升可迁移性，在ImageNet数据集上效果优于现有同类方法。
2023-08-21 cs.CR cs.CV cs.LG
StyleRetoucher: Generalized Portrait Image Retouching with GAN Priors
Monash University（莫纳什大学）；City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文提出StyleRetoucher，利用StyleGAN先验和瑕疵感知特征选择机制，实现保留面部细节的自动人像修饰，在少量样本和域外数据上均表现出强鲁棒性，性能优于现有方法。
2023-12-22 cs.CV
CleanStyle: Plug-and-Play Style Conditioning Purification for Text-to-Image Stylization
AGI Lab, Westlake University（西lake大学AGI实验室）
CleanStyle通过动态抑制风格嵌入的尾部成分，提升文本到图像风格化任务中提示保真度和视觉质量。
2026-02-24 cs.CV
iWarpGAN: Disentangling Identity and Style to Generate Synthetic Iris Images
Michigan State University（密歇根州立大学）
提出iWarpGAN，通过身份与风格解耦的两条变换路径生成具有类间和类内变化的合成虹膜图像，经标准质量指标和匹配器验证，并提升深度学习虹膜匹配器性能。
2023-08-30 cs.CV
StainFuser: Controlling Diffusion for Faster Neural Style Transfer in Multi-Gigapixel Histology Images
University of Warwick（华威大学）；Histofy Ltd（Histofy有限公司）
本研究针对组织学图像染色外观不一致问题，提出基于条件潜在扩散架构的染色归一化方法StainFuser，构建超200万张图像的SPI-2M数据集，在图像质量和下游任务性能上均优于现有方法。
2024-07-12 cs.CV cs.LG eess.IV
TextCtrl: Diffusion-based Scene Text Editing with Prior Guidance Control
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；College of Computer Science, Nankai University（南开大学计算机学院）
提出基于扩散的场景文本编辑方法TextCtrl，通过风格-结构引导和字形自适应互自注意力机制提升风格一致性与渲染准确性，并构建首个真实世界图像对数据集ScenePair验证有效性。
2024-10-14 cs.CV
Neural Preset for Color Style Transfer
City University of Hong Kong（香港城市大学）；Adobe Research（奥多比研究院）
在本文中，我们提出了一种神经预置技术，以解决现有的颜色风格转移方法的局限性，包括视觉伪影，巨大的内存需求，和缓慢的风格切换速度。我们的方法基于两个核心设计。首先，我们提出了确定性神经颜色映射（DNCM），通过图像自适应颜色映射矩阵对每个像素进行一致的操作，避免伪影，并以较小的内存占用支持高分辨率输入。其次，我们开发了一个两阶段的流水线，将任务分为颜色规范化和风格化，通过提取颜色样式作为模板并在规范化的输入图像上重用它们来实现高效的样式切换。由于成对数据集的不可用性，我们描述了如何通过自监督策略来训练神经预设。通过综合评价，证明了神经预设优于现有方法的各种优势。值得注意的是，Neural Preset可以实时实现稳定的4K颜色风格传输，而不会出现伪影。此外，我们证明了我们的训练模型可以自然地支持多种应用，而无需微调，包括低光图像增强，水下图像校正，图像去雾和图像协调。项目演示页面：https://zhkkke.github.io/NeuralPreset。
2023-03-24 cs.AI cs.CV cs.LG
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
Facebook AI；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Hong Kong（香港大学）
我们提出了StyleNeRF，这是一个3D感知的生成模型，用于具有高多视图一致性的照片级逼真的高分辨率图像合成，可以在非结构化的2D图像上进行训练。现有的方法要么不能合成具有精细细节的高分辨率图像，要么产生明显的3D不一致伪影。此外，它们中的许多缺乏对样式属性和明确的3D相机姿势的控制。StyleNeRF将神经辐射场（NeRF）集成到基于样式的生成器中，以解决上述挑战，即，提高渲染效率和3D一致性，以生成高分辨率图像。我们只执行体渲染以产生低分辨率的特征图，并逐步在2D中应用上采样来解决第一个问题。为了减轻2D上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。通过这些设计，StyleNeRF可以以交互速率合成高分辨率图像，同时保持高质量的3D一致性。StyleNeRF还可以控制相机姿势和不同级别的样式，这可以概括为不可见的视图。它还支持具有挑战性的任务，包括放大和缩小，样式混合，反转和语义编辑。
2021-10-18 cs.CV stat.ML
Crossing You in Style: Cross-modal Style Transfer from Music to Visual Arts
National Chiao Tung University（台湾交通大学）；National Tsing Hua University（台湾清华大学）；Academia Sinica（中央研究院）
音乐风格到视觉风格的迁移是创造力实践中一个具有挑战性但又重要的跨通道学习问题。它与传统的图像风格传递问题的主要区别在于风格信息是由音乐而不是图像提供的。假设音乐特征可以通过两个域之间的语义链接正确地映射到视觉内容，我们分两步解决音乐到视觉风格转移问题：音乐可视化和风格转移。音乐可视化网络利用具有条件生成对抗网络的编码器生成器架构来从音乐数据生成基于图像的音乐表示。该网络与图像风格转换方法相结合，完成风格转换过程。实验在WikiArt-IMSLP上进行，这是一个新编译的数据集，包括几十年来列出的西方音乐录音和绘画。通过利用这样的标签来学习绘画和音乐之间的语义联系，我们证明了所提出的框架可以从音乐作品中生成不同的图像风格表示，并且这些表示可以揭示同一时代的某些艺术形式。主观测试结果也强调了时代标签在提高音乐与视觉内容兼容性的感知质量方面的作用。
2020-09-17 cs.CV cs.MM
Cross Modality 3D Navigation Using Reinforcement Learning and Neural Style Transfer
Imperial College London（伦敦帝国学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
本文介绍了使用多智能体强化学习（MARL）在医学成像的3D解剖体积中进行导航。我们利用神经风格转移来创建合成计算机断层扫描（CT）代理健身房环境，并评估我们的代理对临床CT体积的泛化能力。我们的框架不需要任何标记的临床数据，并且可以轻松地与多种图像翻译技术集成，从而实现跨模态应用。此外，我们只在2D切片上调整我们的代理，从而在更困难的成像方式（如超声成像）中为3D引导开辟了道路。这是在获取标准化诊断视图平面期间为用户提供指导的重要一步，可提高诊断一致性并促进更好的病例比较。
2021-11-05 cs.CV eess.IV
Stain Style Transfer of Histopathology Images Via Structure-Preserved Generative Learning
University of Toronto（多伦多大学）；University of Alberta（阿尔伯塔大学）
计算机组织病理学图像诊断变得越来越流行和重要，其中图像被分割或分类用于疾病诊断。虽然病理学家不与幻灯片中的颜色变化作斗争，但计算解决方案通常会遇到这个关键问题。为了解决组织病理学图像中的颜色变化问题，本研究提出了两种基于生成对抗网络的染色风格转移模型，SSIM-GAN和DSCSI-GAN。通过合作的结构保存度量和反馈的辅助诊断网络在学习中，医学相关的信息所呈现的图像纹理，结构和色度对比度的功能被保留在颜色归一化的图像。特别是，我们的DSCSI-GAN模型中对彩色图像内容的智能处理有助于在由于组织物质共定位而导致染色混合的图像区域实现显着的标准化改进。对公共组织病理学图像集的广泛实验表明，我们的方法在生成更染色一致的图像，更好地保留图像中的组织学信息，并获得显着更高的学习效率方面优于现有技术。我们的python实现发布在https://github.com/hanwen0529/DSCSI-GAN上。
2020-07-24 cs.CV cs.LG eess.IV
Improving Diffusion Model Efficiency Through Patching
扩散模型是一类功能强大的生成模型，它迭代地对样本进行去噪以产生数据。虽然许多作品都集中在这个采样过程中的迭代次数，很少有集中在每次迭代的成本。我们发现，添加一个简单的ViT风格的修补转换可以大大减少扩散模型的采样时间和内存使用。我们证明我们的方法，通过分析的扩散模型的目标，并通过LSUN教会，ImageNet 256，和FFHQ 1024的实证实验。我们提供Tensorflow和Pytorch中的实现。
2022-07-09 cs.CV cs.LG
Real-Time Style Modelling of Human Locomotion via Feature-Wise Transformations and Local Motion Phases
University of Edinburgh（爱丁堡大学）；Electronic Arts（艺电公司）；Hong Kong University（香港大学）
控制角色在实时动画系统中移动的方式是具有实用应用的具有挑战性的任务。现有的样式传输系统需要访问参考内容运动剪辑，然而，在实时的【形】系统中，未来的运动内容是未知的并且易于随着用户输入而改变。在这项工作中，我们提出了一个风格建模系统，使用动画合成网络模型的运动内容的基础上，局部运动相位。一个附加的样式调制网络使用特征变换来实时的【形】调制样式。为了评估我们的方法，我们创建并发布了一个新的风格建模数据集100STYLE，其中包含100种不同风格的400多万帧风格化运动数据，这对现有系统提出了许多挑战。为了模拟这些风格，我们扩展了本地相位计算与无接触的配方。与其他实时的【形】样式建模方法相比，我们的系统在提高运动质量的同时，在样式表示方面更加鲁棒和高效。
2022-01-12 cs.AI cs.CV cs.GR
StyleDrop: Text-to-Image Generation in Any Style
Google Research（谷歌研究院）
本文提出 StyleDrop，通过少于 1% 参数的微调和反馈式迭代训练，让文本到图像模型仅凭单张参考图即可精准学习并生成任意指定风格。
2023-06-01 cs.AI cs.CV
Efficient Hair Style Transfer with Generative Adversarial Networks
University of Ege（爱琴海大学）；Syntonym；Huawei（华为）
尽管最近使用生成对抗网络（GANs）成功地实现了图像生成和风格转移，但由于人类头发在野外条件下的形状和风格可变性，头发合成和风格转移仍然具有挑战性。目前最先进的头发合成方法难以保持目标风格的全局组成，并且由于其在高分辨率肖像图像上的高运行成本而不能用于实时应用。因此，我们提出了一种新的发型转移方法，称为EHGAN，它降低了计算成本，使实时处理，同时提高了发型的转移与更好的全局结构相比，其他国家的最先进的头发合成方法。为了实现这一目标，我们训练编码器和低分辨率生成器来传输发型，然后使用预训练的超分辨率模型来提高结果的分辨率。我们利用自适应实例规范化（AdaIN）和设计我们的新的头发混合块（HBB），以获得最佳性能的生成器。EHGAN所需的时间消耗分别比最先进的EHGAN和LOHO方法少约2.7倍和超过10，000倍，同时获得比竞争对手更好的照片真实感和结构相似性。
2022-10-22 cs.CV eess.IV
Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance
KAIST（韩国科学技术院）
针对扩散图像翻译中风格转换与内容保留的权衡及高微调成本，提出非对称梯度引导扩散采样反向过程，无需额外训练即可提升文本与图像引导翻译的速度、稳定性和效果。
2023-06-07 cs.AI cs.CV cs.LG
A Tiered GAN Approach for Monet-Style Image Generation
Kent State University（肯特州立大学）；Rutgers University（罗格斯大学）；West Chester University（西切斯特大学）
针对传统GAN在艺术图像生成中存在的训练不稳定、模式崩溃等问题，提出一种结合下采样与卷积技术的分层GAN模型，可逐步生成高质量莫奈风格图像，同时优化计算效率，为艺术风格生成提供了新的可行思路。
2024-12-07 cs.AI cs.CV
Improving Fine-Grained Control via Aggregation of Multiple Diffusion Models
Sun Yat-Sen University（中山大学）；Game AI Center, Tencent（腾讯游戏AI中心）；University of Toronto（多伦多大学）
本文提出AMDM算法，通过聚合多个扩散模型实现无需训练的细粒度生成控制，提升生成质量和一致性，减少复杂数据集和模型架构设计的需求。
2026-01-28 cs.CV cs.LG
CONSTANT: Towards High-Quality One-Shot Handwriting Generation with Patch Contrastive Enhancement and Style-Aware Quantization
Viettel Artificial Intelligence and Data Services Center（越南 Viettel 人工智能与数据服务中心）；Ho Chi Minh City University of Technology（胡志明市技术大学）
CONSTANT通过补丁对比增强和风格感知量化，实现高质量单次手写生成，有效提升图像细节与风格适应性。
2026-03-08 cs.CV cs.MM
Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
基于视觉的语言理解和推理是自然语言处理（NLP）中最具挑战性的课题之一。户外视觉和语言导航（VLN）是这样一个任务，其中智能体遵循自然语言指令并在现实生活中的城市环境中导航。由于缺乏人类注释的说明，说明复杂的城市场景，户外VLN仍然是一个具有挑战性的任务来解决。本文介绍了一种多模态文本风格转换（MTST）学习方法，并利用外部多模态资源来缓解户外导航任务中的数据稀缺性。我们首先通过传输Google Maps API生成的指令样式来丰富导航数据，然后使用增强的外部户外导航数据集对导航器进行预训练。实验结果表明，我们的MTST学习方法是模型不可知的，我们的MTST方法显着优于基线模型在室外VLN任务，提高任务完成率8.7%，相对于测试集。
2021-02-04 cs.AI cs.CL cs.CV
Quality Evaluation of Arbitrary Style Transfer: Subjective Study and Objective Metric
Ningbo University（宁波大学）；Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
任意神经风格转换是一个具有重要研究价值和广泛工业应用前景的重要课题，它力求用一幅图像的风格来渲染另一幅图像的结构。为了提高风格化质量，近年来的研究主要集中在任意风格迁移方面。然而，很少有探索的AST图像的质量评价，即使它可以潜在地指导不同的算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），其中包括150个内容风格的图像对和相应的1200个风格化的图像产生的8个典型的AST算法。然后，在我们的AST-IQAD数据库上进行主观研究，获得所有风格化图像在三个主观评价上的主观评分，即，内容保存（CP）、风格相似（SR）和整体视觉（OV）。为了定量评价AST图像的质量，提出了一种基于稀疏表示的AST图像质量评价方法。在AST-IQAD上的实验结果表明了该方法的优越性。数据集和源代码将在https://github.com/Hangwei-Chen/AST-IQAD-SRQE上发布
2023-01-29 cs.CV cs.MM eess.IV
LoGANv2: Conditional Style-Based Logo Generation with Generative Adversarial Networks
Maastricht University（马斯特里赫特大学）
像logo合成这样的领域，数据具有高度的多模态性，仍然对生成对抗网络（GANs）构成挑战。最近的研究表明，渐进式训练（ProGAN）和映射网络扩展（StyleGAN）可以提高高维问题的训练稳定性，并在嵌入的潜在空间内实现更好的特征分离。然而，这些架构对网络输出的整形控制有限，这在徽标合成的情况下是不期望的特性。本文探讨了StyleGAN架构的条件扩展，其目的是首先改进以前研究的低分辨率结果，其次通过使用合成类条件来提高输出的可控性。此外，提取类条件的方法进行了探索，重点是人类的可解释性，其中的挑战在于，从本质上讲，视觉标志的特点是很难定义的事实。引入的基于条件样式的生成器架构在两个实验中对提取的类条件进行训练，并相对于无条件模型的性能进行研究。结果表明，虽然无条件模型与训练分布更接近，但高质量的条件能够将更精细的细节嵌入到潜在空间中，从而产生更多样化的输出。
2019-09-22 cs.CV cs.LG eess.IV
Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
提出风格提取扩散模型，通过风格和内容双条件机制零样本生成未见风格图像，并利用合成数据半监督训练提升了组织病理学分割性能。
2024-03-21 cs.AI cs.CV cs.LG
VarGes: Improving Variation in Co-Speech 3D Gesture Generation via StyleCLIPS
Communication University of China（中国传媒大学）；Samsung Research America（三星美国研究院）；Hainan International College, Communication University of China（中国传媒大学海南国际学院）；Beihang University（北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
针对现有共语音3D手势生成方法因数据集多样性和音频信息量受限导致的局限性，提出VarGes框架，通过整合视觉风格线索（StyleCLIPS）增强多样性，在基准数据集上优于现有方法。
2025-02-18 cs.CV
StyleGAN3: Generative Networks for Improving the Equivariance of Translation and Rotation
本研究比较StyleGAN2与两个StyleGAN3变体在FFHQ数据集上的性能，使用FID、EQ-T和EQ-R评估，发现StyleGAN3能更好改善平移和旋转等变性，对动画和视频创作有积极影响。
2024-02-06 cs.CV eess.IV
Improving Transferable Targeted Adversarial Attack via Normalized Logit Calibration and Truncated Feature Mixing
Xiamen University（厦门大学）
针对定向对抗攻击可迁移性不足的问题，本文提出归一化 logit 校准与截断特征混合两种方法，并在 ImageNet-Compatible 和 CIFAR-10 上显著提升黑盒定向攻击成功率。
2024-05-10 cs.CV
Improving Object Detection in Art Images Using Only Style Transfer
IT University of Copenhagen（哥本哈根信息技术大学）
尽管最近在使用深度学习神经网络的目标检测方面取得了进展，但这些神经网络仍然难以识别绘画和素描等艺术图像中的对象。这个挑战被称为交叉描绘问题，它部分源于神经网络优先识别物体纹理而不是形状的趋势。在本文中，我们提出并评估了一个过程，训练神经网络本地化对象-特别是人-在艺术图像。我们通过使用AdaIn风格转换修改COCO数据集中的图像来生成用于训练和验证的大型数据集。该数据集用于微调Faster R-CNN目标检测网络，然后在现有的People-Art测试数据集上进行测试。其结果是对现有技术的显著改进，并且为创建数据集以训练神经网络来处理艺术图像提供了新的方法。
2021-05-04 cs.AI cs.CV
