Improving the Latent Space of Image Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；Tencent AI Lab（腾讯人工智能实验室）
现有的神经风格迁移研究已经研究了内容和风格图像的深层特征之间的统计信息匹配，这些特征由预训练的VGG提取，并且在合成艺术图像方面取得了显着的改善。然而，在某些情况下，来自预训练编码器的特征统计可能与我们感知的视觉风格不一致。例如，不同样式的图像之间的样式距离小于相同样式的图像之间的样式距离。在这样一个不合适的潜空间中，现有方法的目标函数会朝着错误的方向优化，从而导致风格化效果不佳。此外，由预训练的编码器提取的特征中缺乏内容细节也导致内容泄漏问题。为了解决风格转换所使用的潜在空间中的这些问题，我们提出了两种对比训练方案，以获得更适合此任务的精细编码器。风格对比度损失将风格化结果拉得更接近相同的视觉风格图像，并将其推离内容图像。内容对比度损失使得编码器能够保留更多可用的细节。我们可以直接将我们的训练方案添加到一些现有的风格迁移方法中，并显着改善其结果。大量的实验结果证明了我们的方法的有效性和优越性。
2022-05-24 cs.CV
Improving Style-Content Disentanglement in Image-to-Image Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
近年来，无监督图像到图像翻译方法取得了巨大的成功。然而，可以很容易地观察到，他们的模型包含显着的纠缠，这往往会损害翻译性能。在这项工作中，我们提出了一个原则性的方法，以提高风格内容解开图像到图像的翻译。通过考虑进入每个表示的信息流，我们引入了一个额外的损失项，作为内容瓶颈。我们表明，我们的方法的结果是显着更解开比目前的方法产生的，同时进一步提高视觉质量和翻译的多样性。
2020-07-09 cs.CV cs.LG
HyperInverter: Improving StyleGAN Inversion via Hypernetwork
VinAI Research（VinAI研究院）
近年来，由于对GAN潜在空间的探索和利用，真实世界图像处理取得了惊人的进展。GAN反演是该流水线中的第一步，旨在将真实图像忠实地映射到潜码。不幸的是，大多数现有的GAN反演方法不能满足下面列出的三个要求中的至少一个：高重建质量、可编辑性和快速推理。在这项研究中，我们提出了一种新的两阶段策略，同时适合所有的要求。在第一阶段，我们训练编码器将输入图像映射到StyleGAN 2 $\mathcal{W}$ -空间，该空间被证明具有良好的可编辑性但重建质量较低。在第二阶段，我们补充重建能力在初始阶段，利用一系列的超网络恢复反演过程中丢失的信息。这两个步骤相互补充，以产生高重建质量，这要归功于超网络分支和出色的可编辑性，这是由于在$\mathcal{W}$空间中进行的反演。我们的方法完全基于编码器，从而实现了极快的推理。在两个具有挑战性的数据集上进行的大量实验证明了该方法的优越性。
2022-04-04 cs.CV
Improving style transfer in dynamic contrast enhanced MRI using a spatio-temporal approach
提出一种结合自编码器、卷积LSTM和自适应卷积的时空方法，以解决DCE-MRI风格迁移中对比增强和运动差异问题，并在两个数据集上优于现有技术。
2023-10-03 cs.CV eess.IV
Improving Inversion and Generation Diversity in StyleGAN using a Gaussianized Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
现代生成对抗网络能够从生活在低维学习的潜在空间中的潜在向量创建人工的、照片般真实的图像。已经证明，可以将大范围的图像投影到这个空间中，包括生成器训练的域之外的图像。然而，虽然在这种情况下，生成器再现了图像的像素和纹理，但重建的潜在向量是不稳定的，并且小的扰动会导致显着的图像失真。在这项工作中，我们建议显式地模拟潜在空间中的数据分布。我们表明，在一个简单的非线性操作，数据分布可以建模为高斯，因此表示使用足够的统计。这产生了一个简单的高斯先验，我们使用它来正则化图像到潜在空间的投影。所得到的投影位于潜在空间的更平滑且表现更好的区域中，如使用真实图像和生成图像的插值性能所示。此外，高斯模型的潜在空间中的分布，使我们能够调查在生成器输出的文物的起源，并提供了一种方法，减少这些文物，同时保持多样性的生成图像。
2020-09-14 cs.CV
Rethinking and Improving the Robustness of Image Style Transfer
UC San Diego（加州大学圣迭戈分校）；Adobe Research（Adobe研究院）
对神经风格传递方法的广泛研究表明，由预训练的VGG网络提取的特征之间的相关性具有捕获图像视觉风格的显着能力。然而，令人惊讶的是，这种风格化质量并不健壮，并且在应用于更高级和轻量级的网络（例如ResNet家族中的网络）时通常会显着降低。通过对不同的网络架构进行广泛的实验，我们发现，代表VGG和ResNet之间主要架构差异的残余连接会产生小熵的特征图，这些特征图不适合风格转移。为了提高ResNet架构的鲁棒性，我们提出了一种简单而有效的解决方案，该解决方案基于增强其熵的特征激活的softmax变换。实验结果表明，这个小魔术可以大大提高风格化结果的质量，即使是随机权重的网络。这表明，用于特征提取的架构比使用学习的权重进行风格转换的任务更重要。
2021-04-08 cs.CV eess.IV
Component-Aware Structure-Preserving Style Transfer for Satellite Visual Sim2Real Data Construction
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）
本文提出了一种面向组件的结构保持风格迁移框架，用于卫星视觉的合成到真实数据构建，通过提取真实图像的部件级风格代码并注入到合成图像中，从而提高标注保持的卫星视觉Sim2Real数据生成效果。
2026-08-24 cs.AI cs.CV
Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（中国教育部机器智能与先进计算重点实验室）；Microsoft Research Asia（微软亚洲研究院）；University of Tokyo（东京大学）
我们提出了一个新的角度来实现图像合成，通过查看这个任务作为一个视觉令牌生成问题。不同于直接从单个输入合成完整图像的现有范例（例如，一个潜在的代码），新的公式能够灵活的本地操作不同的图像区域，这使得它有可能学习内容感知和细粒度的风格控制图像合成。具体地说，它将潜在标记序列作为输入来预测用于合成图像的视觉标记。在这个角度下，我们提出了一个基于令牌的生成器（即，TokenGAN）。特别地，TokenGAN输入两个语义上不同的视觉令牌，即，学习的恒定内容令牌和来自潜在空间的样式令牌。给定一系列样式令牌，TokenGAN能够通过使用Transformer的注意力机制将样式分配给内容令牌来控制图像合成。我们进行了大量的实验，并表明所提出的TokenGAN在几个广泛使用的图像合成基准上取得了最先进的结果，包括具有不同分辨率的FFHQ和LSUN CHURCH。特别是，生成器能够合成1024x1024大小的高保真图像，完全免除卷积。
2021-12-18 cs.CV
Conditional Balance: Improving Multi-Conditioning Trade-Offs in Image Generation
Reichman University（里奇曼大学）；Microsoft Corporation（微软公司）
针对图像生成中内容与风格平衡难题，提出通过识别DDPM注意力层敏感性并仅向敏感层注入条件输入的方法，实现细粒度控制，提升风格化质量。
2025-08-03 cs.CV cs.GR cs.LG
Style Augmentation: Data Augmentation via Style Randomization
Durham University（杜伦大学）
我们引入了风格增强，这是一种基于随机风格传输的新形式的数据增强，用于提高卷积神经网络（CNN）在基于分类和回归的任务上的鲁棒性。在训练过程中，我们的风格增强会随机化纹理、对比度和颜色，同时保留形状和语义内容。这是通过调整任意样式传递网络来执行样式随机化，通过从多元正态分布中采样输入样式嵌入而不是从样式图像中推断它们来实现的。除了标准的分类实验，我们调查的影响风格增强（和数据增强一般）域转移任务。我们发现，数据增强显着提高了鲁棒性域移位，并可以作为一个简单的，域不可知的替代领域自适应。比较风格增强与七种传统增强技术的混合，我们发现它可以很容易地与它们结合起来，以提高网络性能。我们验证了我们的技术的有效性与域转移实验分类和单眼深度估计，说明了一致的改进泛化。
2019-04-12 cs.CV
Analyzing and Improving the Image Quality of StyleGAN
NVIDIA（英伟达）；Aalto University（阿尔托大学）
基于样式的GAN架构（StyleGAN）在数据驱动的无条件生成图像建模中产生最先进的结果。我们揭示和分析了它的几个特征工件，并提出了模型架构和训练方法的变化，以解决这些问题。特别是，我们重新设计了生成器规范化，重新审视渐进式增长，并正则化生成器，以鼓励从潜在代码到图像的映射中的良好调节。除了改善图像质量之外，该路径长度正则化器还产生额外的好处，即生成器变得更容易反转。这使得可以可靠地将生成的图像归属于特定网络。此外，我们可视化如何以及发电机利用其输出分辨率，并确定一个容量问题，激励我们训练更大的模型，以提高质量。总的来说，我们的改进模型重新定义了无条件图像建模的最新技术水平，无论是在现有的分布质量指标，以及感知的图像质量。
2020-03-23 cs.CV cs.LG cs.NE
Style Decomposition for Improved Neural Style Transfer
School of Informatics（信息学院）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
通用神经风格转换（NST）方法能够通过（几乎）实时的特征变换以风格不可知的方式执行任意风格的风格转换。尽管他们的单峰参数化样式建模方法已被证明足以从相对简单的图像中转移单一样式，但它们通常无法有效地处理更复杂的样式，产生显著的伪影，以及降低风格化图像中合成纹理的质量。为了克服这些局限性，在本文中，我们提出了一种新的通用NST方法，分别对存在于给定样式图像（或样式图像集合）中的每个子样式进行建模。这允许更好地对同一样式图像内的细微样式差异进行建模，然后使用最适当的子样式（或不同子样式的混合）来对内容图像进行样式化。所提出的方法的能力是：a）使用存在于一个样式图像中的子样式来执行宽范围的不同样式化，同时给予用户适当地混合不同子样式的能力，b）自动地将最适当的子样式匹配到内容图像的不同语义区域，改进现有的现有技术水平的通用NST方法，以及c）从图像集合中检测和转移子样式。
2018-11-30 cs.CV
Concept Removal Guidance: Evidence-Calibrated Negative Guidance for Safe Diffusion Sampling
KAIST（韩国科学技术院）；KIST（韩国科学技术院）
提出概念移除引导（CRG），一种无需训练的方法，通过从模型噪声预测中估计不良概念存在并自适应校准负引导权重，在保持良性保真度的同时降低攻击成功率。
2026-06-29 cs.CV
AnyStyle: A Single LoRA is Sufficient for Image-Guided Style Transfer
School of Artificial Intelligence, South China Normal University（华南师范大学人工智能学院）
研究图像引导风格迁移，指出基于扩散方法存在内容与风格解缠难题。提出AnyStyle框架，采用统一单适配器范式，结合无训练结构引导，提升可控性与稳定性，实验显示性能优。
2026-07-07 cs.CV
TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style Transfer
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
针对现有风格迁移方法忽略绘画过程的问题，提出两阶段统计感知变换（TSSAT）模块，通过先对齐全局统计再交换局部统计模拟人类绘画过程，并引入基于注意力的内容损失和基于图块的风格损失，显著提升了风格化效果。
2023-09-12 cs.CV
AesUST: Towards Aesthetic-Enhanced Universal Style Transfer
Zhejiang University（浙江大学）
最近的研究表明，在通用的风格转移，将任意的视觉风格的内容图像显着的成功。然而，现有的方法遭受的美学不切实际的问题，引入不和谐的模式和明显的文物，使结果很容易从真正的绘画现场。为了解决这一限制，我们提出了AesUST，一种新颖的美学增强的通用风格转移方法，可以为任意风格生成美学上更逼真和令人愉快的结果。具体来说，我们的方法引入了一个美学的学习普遍的人类愉快的美学特征，从一个大语料库的艺术家创作的绘画。然后，美学特征被纳入，以提高风格转移过程中通过一个新的美学感知的风格注意力（AesSA）模块。这样的AesSA模块使我们的AesUST能够根据风格图像的全局审美通道分布和内容图像的局部语义空间分布，高效灵活地整合风格模式。此外，我们还开发了一种新的两阶段转移训练策略，具有两个美学规则，以更有效地训练我们的模型，进一步提高风格化性能。大量的实验和用户研究表明，我们的方法合成美学更和谐和现实的结果比国家的艺术，大大缩小了与真正的艺术家创作的绘画的差距。我们的代码可在https://github.com/EndyWon/AesUST上获得。
2022-08-27 cs.CV
Layout Stroke Imitation: A Layout Guided Handwriting Stroke Generation for Style Imitation with Diffusion Model
Temple University, Philadelphia PA, USA（特拉华大学）
本文提出一种由书法风格和单词布局引导的条件扩散模型，通过多尺度注意力特征和笔画预测生成手写笔画，在风格模仿和单词间距一致性上优于现有方法。
2025-09-19 cs.CV
What Can Style Transfer and Paintings Do For Model Robustness?
Cornell University（康奈尔大学）；Delft University of Technology（代尔夫特理工大学）
提高模型鲁棒性的常用策略是通过数据增强。数据增强鼓励模型学习所需的不变性，例如对水平翻转或颜色变化的不变性。最近的工作表明，任意风格的转移可以被用作数据增强的一种形式，通过从照片创建绘画般的图像来鼓励纹理的不变性。然而，风格化的照片与艺术家创作的绘画并不完全相同。艺术家在绘画中描绘了感知上有意义的线索，以便人类能够识别场景中的显着成分，这一点在风格转换中并没有强制执行。因此，我们研究了风格转移和绘画对模型鲁棒性的影响。首先，我们研究了绘画作为基于风格化的数据增强的风格图像的作用。我们发现，即使没有绘画作为风格图像，风格转移功能也很好。其次，我们表明，从绘画中学习作为一种形式的感知数据增强可以提高模型的鲁棒性。最后，我们研究了从风格化和绘画中学习的不变性，并表明模型从这些不同形式的数据中学习不同的不变性。我们的研究结果提供了风格化如何提高模型鲁棒性的见解，并提供证据表明，艺术家创作的绘画可以成为模型鲁棒性的宝贵数据来源。
2021-05-27 cs.CV
Improving Diffusion Models for Scene Text Editing with Dual Encoders
Adobe Research（Adobe研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出DIFFSTE，通过字符编码器和指令编码器改进预训练扩散模型，提升场景文本编辑中的文本可读性与风格控制能力，并实现字体变化、字体混合及自然语言指令的零样本泛化。
2023-04-12 cs.AI cs.CV
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
University of Munich（慕尼黑大学）
研究如何分离内容和风格表示，提出对比增强流匹配框架，将对比正则化融入可逆流匹配，在多个数据集实验中提升了内容和风格检索、增强嵌入簇分离及开集鲁棒性，改进了分布转移下的解缠和鲁棒性。
2026-07-15 cs.CV
Semantic Style Transfer for Enhancing Animal Facial Landmark Detection
University of Haifa（海法大学）
本文提出将语义风格迁移用于动物面部关键点检测训练，通过在裁剪面部图像上应用监督式风格迁移和数据增强，在猫面部关键点检测任务中保留98%基线精度并提升鲁棒性，且方法可推广至其他物种。
2025-05-08 cs.CV
Implicit Style-Content Separation using B-LoRA
Tel Aviv University（特拉维夫大学）；Reichman University（雷赫曼大学）
提出 B-LoRA 方法，利用 LoRA 联合训练 SDXL 中两个特定块以隐式分离图像风格与内容，显著提升风格化效果并缓解过拟合，支持多种风格化任务。
2024-09-22 cs.CV
Hierarchical Semantic Regularization of Latent Spaces in StyleGANs
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）；Motive Technologies, Inc（Motive技术公司）
GANs的进步使高分辨率逼真图像的生成成为可能。StyleGAN允许通过对W/W+空间中的潜在样式向量进行数学运算来对此类图像进行引人注目的属性修改，这些数学运算有效地调节了生成器的丰富层次表示。这种操作最近已经被推广到原始StyleGAN论文中的属性交换之外，包括插值。尽管StyleGAN有许多重大改进，但它们仍然被视为生成不自然的图像。生成的图像的质量取决于两个假设：（a）生成器学习的层次表示的丰富性，以及（b）风格空间的线性和平滑度。在这项工作中，我们提出了一个层次语义正则化器（HSR），它将生成器学习的层次表示与预训练网络在大量数据上学习的相应强大功能相匹配。HSR不仅提高了生成器表示，而且还提高了潜在样式空间的线性度和平滑度，从而生成了外观更自然的样式编辑图像。为了证明改进的线性，我们提出了一种新的度量-属性线性得分（ALS）。在不同的标准数据集上，感知路径长度（PPL）指标平均提高了16.19%，同时提高了属性编辑任务中属性变化的线性度，这证实了非自然图像生成的显著减少。
2022-08-07 cs.CV
Autoregressive Styled Text Image Generation, but Make it Reliable
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；Google（谷歌）
本文提出Eruku方法，通过多模态提示条件生成任务和分类器自由引导策略，改进自回归模型以生成更可靠、更忠实于文本提示的风格化文本图像。
2025-11-28 cs.CV
StyleRetoucher: Generalized Portrait Image Retouching with GAN Priors
Monash University（莫纳什大学）；City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文提出StyleRetoucher，利用StyleGAN先验和瑕疵感知特征选择机制，实现保留面部细节的自动人像修饰，在少量样本和域外数据上均表现出强鲁棒性，性能优于现有方法。
2023-12-22 cs.CV
CleanStyle: Plug-and-Play Style Conditioning Purification for Text-to-Image Stylization
AGI Lab, Westlake University（西lake大学AGI实验室）
CleanStyle通过动态抑制风格嵌入的尾部成分，提升文本到图像风格化任务中提示保真度和视觉质量。
2026-02-24 cs.CV
Improving the Transferability of Adversarial Examples with Arbitrary Style Transfer
Xidian University（西安电子科技大学）；Tianjin University（天津大学）；Huawei Singular Security Lab（华为奇安安全实验室）
针对对抗样本黑盒场景可迁移性弱的问题，提出基于任意风格迁移的STM攻击方法，通过跨域数据增强、微调网络及图像混合提升可迁移性，在ImageNet数据集上效果优于现有同类方法。
2023-08-21 cs.CR cs.CV cs.LG
FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining
Fudan University（复旦大学）；StepFun；Westlake University（西湖大学）；University of Hong Kong（香港大学）
提出FreeStyle框架，利用社区LoRA作为锚点，通过两阶段课程学习（注意力级约束和频率感知RoPE调制）解决双参考生成中的内容泄露问题，并引入新基准和评估指标，实现风格对齐、内容保持与泄露抑制的平衡。
2026-06-19 cs.AI cs.CV
When Style Similarity Scores Fail: Diagnosing Raw CSD Cosine in Artist-Style Evaluation
Bochum University of Applied Sciences（博湖应用科学大学）
本文提出一种诊断方法，用于检验对比风格描述符（CSD）的原始余弦是否能作为绝对风格保真度评分。通过实验发现，CSD+方法在不同模型上均能有效减少负差距，提升评估准确性。
2026-07-07 cs.CV cs.LG
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
Facebook AI；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Hong Kong（香港大学）
我们提出了StyleNeRF，这是一个3D感知的生成模型，用于具有高多视图一致性的照片级逼真的高分辨率图像合成，可以在非结构化的2D图像上进行训练。现有的方法要么不能合成具有精细细节的高分辨率图像，要么产生明显的3D不一致伪影。此外，它们中的许多缺乏对样式属性和明确的3D相机姿势的控制。StyleNeRF将神经辐射场（NeRF）集成到基于样式的生成器中，以解决上述挑战，即，提高渲染效率和3D一致性，以生成高分辨率图像。我们只执行体渲染以产生低分辨率的特征图，并逐步在2D中应用上采样来解决第一个问题。为了减轻2D上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。通过这些设计，StyleNeRF可以以交互速率合成高分辨率图像，同时保持高质量的3D一致性。StyleNeRF还可以控制相机姿势和不同级别的样式，这可以概括为不可见的视图。它还支持具有挑战性的任务，包括放大和缩小，样式混合，反转和语义编辑。
2021-10-18 cs.CV stat.ML
Crossing You in Style: Cross-modal Style Transfer from Music to Visual Arts
National Chiao Tung University（台湾交通大学）；National Tsing Hua University（台湾清华大学）；Academia Sinica（中央研究院）
音乐风格到视觉风格的迁移是创造力实践中一个具有挑战性但又重要的跨通道学习问题。它与传统的图像风格传递问题的主要区别在于风格信息是由音乐而不是图像提供的。假设音乐特征可以通过两个域之间的语义链接正确地映射到视觉内容，我们分两步解决音乐到视觉风格转移问题：音乐可视化和风格转移。音乐可视化网络利用具有条件生成对抗网络的编码器生成器架构来从音乐数据生成基于图像的音乐表示。该网络与图像风格转换方法相结合，完成风格转换过程。实验在WikiArt-IMSLP上进行，这是一个新编译的数据集，包括几十年来列出的西方音乐录音和绘画。通过利用这样的标签来学习绘画和音乐之间的语义联系，我们证明了所提出的框架可以从音乐作品中生成不同的图像风格表示，并且这些表示可以揭示同一时代的某些艺术形式。主观测试结果也强调了时代标签在提高音乐与视觉内容兼容性的感知质量方面的作用。
2020-09-17 cs.CV cs.MM
Cross Modality 3D Navigation Using Reinforcement Learning and Neural Style Transfer
Imperial College London（伦敦帝国学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
本文介绍了使用多智能体强化学习（MARL）在医学成像的3D解剖体积中进行导航。我们利用神经风格转移来创建合成计算机断层扫描（CT）代理健身房环境，并评估我们的代理对临床CT体积的泛化能力。我们的框架不需要任何标记的临床数据，并且可以轻松地与多种图像翻译技术集成，从而实现跨模态应用。此外，我们只在2D切片上调整我们的代理，从而在更困难的成像方式（如超声成像）中为3D引导开辟了道路。这是在获取标准化诊断视图平面期间为用户提供指导的重要一步，可提高诊断一致性并促进更好的病例比较。
2021-11-05 cs.CV eess.IV
Improving Diffusion Model Efficiency Through Patching
扩散模型是一类功能强大的生成模型，它迭代地对样本进行去噪以产生数据。虽然许多作品都集中在这个采样过程中的迭代次数，很少有集中在每次迭代的成本。我们发现，添加一个简单的ViT风格的修补转换可以大大减少扩散模型的采样时间和内存使用。我们证明我们的方法，通过分析的扩散模型的目标，并通过LSUN教会，ImageNet 256，和FFHQ 1024的实证实验。我们提供Tensorflow和Pytorch中的实现。
2022-07-09 cs.CV cs.LG
StyleDrop: Text-to-Image Generation in Any Style
Google Research（谷歌研究院）
本文提出 StyleDrop，通过少于 1% 参数的微调和反馈式迭代训练，让文本到图像模型仅凭单张参考图即可精准学习并生成任意指定风格。
2023-06-01 cs.AI cs.CV
Real-Time Style Modelling of Human Locomotion via Feature-Wise Transformations and Local Motion Phases
University of Edinburgh（爱丁堡大学）；Electronic Arts（艺电公司）；Hong Kong University（香港大学）
控制角色在实时动画系统中移动的方式是具有实用应用的具有挑战性的任务。现有的样式传输系统需要访问参考内容运动剪辑，然而，在实时的【形】系统中，未来的运动内容是未知的并且易于随着用户输入而改变。在这项工作中，我们提出了一个风格建模系统，使用动画合成网络模型的运动内容的基础上，局部运动相位。一个附加的样式调制网络使用特征变换来实时的【形】调制样式。为了评估我们的方法，我们创建并发布了一个新的风格建模数据集100STYLE，其中包含100种不同风格的400多万帧风格化运动数据，这对现有系统提出了许多挑战。为了模拟这些风格，我们扩展了本地相位计算与无接触的配方。与其他实时的【形】样式建模方法相比，我们的系统在提高运动质量的同时，在样式表示方面更加鲁棒和高效。
2022-01-12 cs.AI cs.CV cs.GR
Efficient Hair Style Transfer with Generative Adversarial Networks
University of Ege（爱琴海大学）；Syntonym；Huawei（华为）
尽管最近使用生成对抗网络（GANs）成功地实现了图像生成和风格转移，但由于人类头发在野外条件下的形状和风格可变性，头发合成和风格转移仍然具有挑战性。目前最先进的头发合成方法难以保持目标风格的全局组成，并且由于其在高分辨率肖像图像上的高运行成本而不能用于实时应用。因此，我们提出了一种新的发型转移方法，称为EHGAN，它降低了计算成本，使实时处理，同时提高了发型的转移与更好的全局结构相比，其他国家的最先进的头发合成方法。为了实现这一目标，我们训练编码器和低分辨率生成器来传输发型，然后使用预训练的超分辨率模型来提高结果的分辨率。我们利用自适应实例规范化（AdaIN）和设计我们的新的头发混合块（HBB），以获得最佳性能的生成器。EHGAN所需的时间消耗分别比最先进的EHGAN和LOHO方法少约2.7倍和超过10，000倍，同时获得比竞争对手更好的照片真实感和结构相似性。
2022-10-22 cs.CV eess.IV
A Tiered GAN Approach for Monet-Style Image Generation
Kent State University（肯特州立大学）；Rutgers University（罗格斯大学）；West Chester University（西切斯特大学）
针对传统GAN在艺术图像生成中存在的训练不稳定、模式崩溃等问题，提出一种结合下采样与卷积技术的分层GAN模型，可逐步生成高质量莫奈风格图像，同时优化计算效率，为艺术风格生成提供了新的可行思路。
2024-12-07 cs.AI cs.CV
Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance
KAIST（韩国科学技术院）
针对扩散图像翻译中风格转换与内容保留的权衡及高微调成本，提出非对称梯度引导扩散采样反向过程，无需额外训练即可提升文本与图像引导翻译的速度、稳定性和效果。
2023-06-07 cs.AI cs.CV cs.LG
Improving Fine-Grained Control via Aggregation of Multiple Diffusion Models
Sun Yat-Sen University（中山大学）；Game AI Center, Tencent（腾讯游戏AI中心）；University of Toronto（多伦多大学）
本文提出AMDM算法，通过聚合多个扩散模型实现无需训练的细粒度生成控制，提升生成质量和一致性，减少复杂数据集和模型架构设计的需求。
2026-01-28 cs.CV cs.LG
Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
基于视觉的语言理解和推理是自然语言处理（NLP）中最具挑战性的课题之一。户外视觉和语言导航（VLN）是这样一个任务，其中智能体遵循自然语言指令并在现实生活中的城市环境中导航。由于缺乏人类注释的说明，说明复杂的城市场景，户外VLN仍然是一个具有挑战性的任务来解决。本文介绍了一种多模态文本风格转换（MTST）学习方法，并利用外部多模态资源来缓解户外导航任务中的数据稀缺性。我们首先通过传输Google Maps API生成的指令样式来丰富导航数据，然后使用增强的外部户外导航数据集对导航器进行预训练。实验结果表明，我们的MTST学习方法是模型不可知的，我们的MTST方法显着优于基线模型在室外VLN任务，提高任务完成率8.7%，相对于测试集。
2021-02-04 cs.AI cs.CL cs.CV
Quality Evaluation of Arbitrary Style Transfer: Subjective Study and Objective Metric
Ningbo University（宁波大学）；Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
任意神经风格转换是一个具有重要研究价值和广泛工业应用前景的重要课题，它力求用一幅图像的风格来渲染另一幅图像的结构。为了提高风格化质量，近年来的研究主要集中在任意风格迁移方面。然而，很少有探索的AST图像的质量评价，即使它可以潜在地指导不同的算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），其中包括150个内容风格的图像对和相应的1200个风格化的图像产生的8个典型的AST算法。然后，在我们的AST-IQAD数据库上进行主观研究，获得所有风格化图像在三个主观评价上的主观评分，即，内容保存（CP）、风格相似（SR）和整体视觉（OV）。为了定量评价AST图像的质量，提出了一种基于稀疏表示的AST图像质量评价方法。在AST-IQAD上的实验结果表明了该方法的优越性。数据集和源代码将在https://github.com/Hangwei-Chen/AST-IQAD-SRQE上发布
2023-01-29 cs.CV cs.MM eess.IV
VarGes: Improving Variation in Co-Speech 3D Gesture Generation via StyleCLIPS
Communication University of China（中国传媒大学）；Samsung Research America（三星美国研究院）；Hainan International College, Communication University of China（中国传媒大学海南国际学院）；Beihang University（北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
针对现有共语音3D手势生成方法因数据集多样性和音频信息量受限导致的局限性，提出VarGes框架，通过整合视觉风格线索（StyleCLIPS）增强多样性，在基准数据集上优于现有方法。
2025-02-18 cs.CV
StyleGAN3: Generative Networks for Improving the Equivariance of Translation and Rotation
本研究比较StyleGAN2与两个StyleGAN3变体在FFHQ数据集上的性能，使用FID、EQ-T和EQ-R评估，发现StyleGAN3能更好改善平移和旋转等变性，对动画和视频创作有积极影响。
2024-02-06 cs.CV eess.IV
Scale Calibrated Training: Improving Generalization of Deep Networks via Scale-Specific Normalization
Georgia Institute of Technology（佐治亚理工学院）；SenseTime Research（商汤科技研究院）
标准的卷积神经网络（CNN）在训练和测试阶段都需要一致的图像分辨率。然而，在实践中，使用较小的图像尺寸进行测试对于快速推断是必要的。我们发现，在用高分辨率图像训练的网络上对低分辨率图像进行平凡的评估会导致标准CNN架构的准确性出现灾难性的下降。我们提出了一种新的训练机制，称为尺度校准训练（SCT），它允许网络同时从各种尺度的输入中学习。通过利用SCT的优势，单个网络可以在测试时间提供相当的准确性，以响应多个测试尺度。在我们的分析中，我们惊讶地发现，香草批量归一化可以导致次优性能的SCT。因此，一种新的规范化方案，称为规模特定批量规范化配备给SCT，以取代批量归一化。实验结果表明，当测试224和128的图像尺寸时，SCT将ImageNet上单个Resnet-50的准确率分别提高了1.7%和11.5%。
2020-09-07 cs.CV cs.LG
StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition
KAIST（韩国科学技术院）
针对当前身份编码器在风格化下的脆弱性问题，提出StyleID数据集与评估框架，微调语义编码器使其与人类感知对齐，提升了身份识别的相关性与鲁棒性。
2026-04-23 cs.CV cs.GR cs.HC
Improving Transferability for Domain Adaptive Detection Transformers
Beijing Institute of Technology（北京理工大学）；Baidu VIS（百度视觉技术部）
DETR风格的检测器在域内场景中脱颖而出，但它们在域转移设置中的属性尚未得到充分探索。本文的目的是建立一个简单而有效的基线与DETR风格的检测器域移位设置的基础上的两个发现。首先，减轻主干上的域移位和解码器输出特征在获得有利的结果方面表现出色。另一方面，这两个部分中先进的域对齐方法进一步提高了性能。因此，我们提出了对象感知对齐（OAA）模块和基于最优传输的对齐（OTA）模块，以实现全面的域对齐的骨干和检测器的输出。OAA模块对齐由主干输出中的伪标签识别的前景区域，从而产生基于域不变的特征。OTA模块利用切片Wasserstein距离来最大化位置信息的保留，同时最小化解码器输出中的域间隙。我们将研究结果和对齐模块实现到我们的自适应方法中，并在域偏移设置上对DETR风格的检测器进行基准测试。不同领域自适应场景下的实验验证了该方法的有效性。
2022-08-03 cs.CV
Improving Object Detection in Art Images Using Only Style Transfer
IT University of Copenhagen（哥本哈根信息技术大学）
尽管最近在使用深度学习神经网络的目标检测方面取得了进展，但这些神经网络仍然难以识别绘画和素描等艺术图像中的对象。这个挑战被称为交叉描绘问题，它部分源于神经网络优先识别物体纹理而不是形状的趋势。在本文中，我们提出并评估了一个过程，训练神经网络本地化对象-特别是人-在艺术图像。我们通过使用AdaIn风格转换修改COCO数据集中的图像来生成用于训练和验证的大型数据集。该数据集用于微调Faster R-CNN目标检测网络，然后在现有的People-Art测试数据集上进行测试。其结果是对现有技术的显著改进，并且为创建数据集以训练神经网络来处理艺术图像提供了新的方法。
2021-05-04 cs.AI cs.CV
Improving CT Image Segmentation Accuracy Using StyleGAN Driven Data Augmentation
Stony Brook University（石溪大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
医学图像分割是医学图像分析的一个有用应用，包括检测MRI、CT等成像模式中的疾病和异常。深度学习已被证明对这一任务很有前途，但由于缺乏适当的公共注释或分割的医学数据集，因此通常准确率较低。此外，由于与需要分割的图像不同的剂量值或扫描仪属性，可用的数据集可能具有不同的纹理。本文提出了一种StyleGAN驱动的方法，通过使用类似模式的可用极小注释数据集来分割公开可用的大型医疗数据集。该方法包括增加小的分割数据集，并消除两个数据集之间的纹理差异。数据集通过六个不同的StyleGAN来增强，这些GAN是在从我们想要分割的大型非注释数据集拍摄的六个不同风格的图像上训练的。具体来说，风格转移用于增强训练数据集。因此，将训练数据集的注释与未注释数据集的纹理组合以生成新的解剖学声音图像。然后使用增强的数据集来训练U-Net分割网络，该网络在分割大型非注释数据集时显示出分割精度的显著提高。
2023-02-07 cs.CV eess.IV
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
Beihang University（北京航空航天大学）；Indian Institute of Technology（印度理工学院）
本文提出ViTok，通过整合适配器拆分、非对称损失、MIM及PHI-S平衡等修改，在多教师蒸馏中兼顾全局与密集语义，在ImageNet-1K和ADE20K上均达到或超越教师性能。
2026-10-05 cs.CV
On the Fly Neural Style Smoothing for Risk-Averse Domain Generalization
Tulane University（杜兰大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对DG分类器依赖图像风格、在风险敏感场景不可靠的问题，提出TT-NSS黑盒测试时风格平滑与可集成的NSS训练，通过多数共识和弃权机制提升未见域预测的风险规避能力。
2023-07-17 cs.CV
RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening
LG AI Research（LG AI研究院）；KAIST（韩国科学技术院）；Korea University（高丽大学）；Sogang University（西江大学）
增强深度神经网络对未知领域的泛化能力对于自动驾驶等现实世界中的安全关键型应用至关重要。为了解决这个问题，本文提出了一种新的实例选择性白化损失，以提高分割网络的鲁棒性看不见的领域。我们的方法解开了在高阶统计中编码的域特定样式和域不变内容（即，特征协方差），并且选择性地仅移除引起域移位的样式信息。如图1所示，我们的方法为（a）低光照，（b）下雨和（c）看不见的结构提供了合理的预测。这些类型的图像不包括在训练数据集中，其中基线显示出显着的性能下降，与我们的相反。该方法简单而有效，在不增加计算成本的情况下提高了各种骨干网络的鲁棒性。我们在城市场景分割进行了广泛的实验，并显示了我们的方法对现有工作的优越性。我们的代码可在https://github.com/shachoi/RobustNet上获得。
2021-03-31 cs.CV
BenchLMM: Benchmarking Cross-style Visual Capability of Large Multimodal Models
Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；Northeastern University（东北大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Zhejiang University（浙江大学）
提出 BenchLMM 基准，从艺术、传感器和应用三大类共十五种子风格评估大型多模态模型的鲁棒性，并给出无需训练的风格预测提示增强方法。
2023-12-06 cs.CV
ArtNVG: Content-Style Separated Artistic Neighboring-View Gaussian Stylization
Fudan University（复旦大学）；Shanghai University（上海大学）；Shanghai Theatre Academy（上海戏剧学院）
针对3D风格化中局部颜色纹理不一致的问题，提出基于3DGS的ArtNVG框架，通过内容-风格分离控制与注意力邻视图对齐，实现高质量风格化并超越现有方法。
2026-09-18 cs.CV
ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation
Huazhong University of Science and Technology（华中科技大学）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属协和医院）
本文提出即插即用的CNN风格Transformer（ConvFormer），通过引入池化、CSA和CFFN替代传统分词与注意力机制，有效解决医学图像分割中transformer的注意力坍塌问题并提升性能。
2023-09-09 cs.CV eess.IV
