DiTalker: A Unified DiT-based Framework for High-Quality and Speaking Styles Controllable Portrait Animation
Harbin Institute of Technology（哈尔滨工业大学）；Li Auto（利汽车）；University of New South Wales（新南威尔士大学）
提出基于DiT的统一框架DiTalker，通过风格-情感编码模块和音频-风格融合模块实现精确唇部同步与动态说话风格控制，同时优化约束以提升身份与背景细节保留。
2025-07-29 cs.CV
Say Anything with Any Style
Shanghai Jiao Tong University（上海交通大学）；Netease Fuxi AI Lab（网易伏羲AI实验室）
提出SAAS动态权重方法，利用风格码本和生成模型提取说话风格，结合残差架构与HyperStyle生成风格化说话头，在唇形同步和风格化表情上超越现有方法，并扩展至视频风格编辑。
2024-03-13 cs.CV
PTalker: Personalized Speech-Driven 3D Talking Head Animation via Style Disentanglement and Modality Alignment
College of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；Hunan University（湖南大学）；School of Electronic Information（电子信息学院）；Central South University（中南大学）
PTalker通过风格解耦和模态对齐实现个性化语音驱动的3D对话头动画，提升唇同步精度与真实感。
2025-12-27 cs.CV
Imitator: Personalized Speech-driven 3D Facial Animation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Microsoft Mixed Reality & AI Lab（微软混合现实与人工智能实验室）
语音驱动的3D人脸动画已经被广泛地研究，在游戏、角色动画、虚拟现实和远程呈现系统中具有应用。现有技术的方法使目标演员的面部拓扑结构变形以同步输入音频，而不考虑目标演员的身份特定的说话风格和面部特质，因此，导致不真实和不准确的嘴唇运动。为了解决这个问题，我们提出了模仿者，语音驱动的面部表情合成方法，它从一个短的输入视频中学习特定于身份的细节，并产生新的面部表情匹配特定于身份的说话风格和面部特质的目标演员。具体来说，我们训练一个风格不可知的Transformer上的一个大型的面部表情数据集，我们使用作为音频驱动的面部表情的先验。基于此先验，我们基于短参考视频优化特定于身份的说话风格。为了训练先验，我们引入了一种新的基于检测到的双唇辅音的损失函数，以确保合理的嘴唇闭合，从而提高所生成的表情的真实感。通过详细的实验和用户研究，我们表明，我们的方法产生时间连贯的面部表情从输入音频，同时保持说话风格的目标演员。
2022-12-30 cs.CV
Style-Preserving Lip Sync via Audio-Aware Style Reference
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Shandong Inspur Database Technology Co., Ltd.（山东 Inspur 数据库技术有限公司）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
提出音频感知风格参考方案，利用输入与参考音频关系，结合Transformer和条件潜在扩散模型，实现风格保持的精确唇形同步与高保真视频生成。
2025-06-18 cs.AI cs.CV cs.MM
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Qihoo 360 Artificial Intelligence Institute（奇虎360人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
文体综合是近年来文体研究的热点，但对文体综合的双重问题“文体分离”却鲜有研究。在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设，采用S3-GAN建立流形与特征向量空间之间的映射，实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像，就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明，S3-GAN具有同时进行风格分离和合成的能力，可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
SuperStyleNet: Deep Image Synthesis with Superpixel Based Style Encoder
Sungkyunkwan University（成均馆大学）；University of Edinburgh（爱丁堡大学）；Xidian University（西安电子科技大学）
用于图像合成的现有方法利用基于卷积和池化层的堆栈的样式编码器来从输入图像生成样式代码。然而，编码矢量不一定包含相应图像的局部信息，因为小尺度对象往往通过这种缩小过程被“冲走”。在本文中，我们提出了基于超像素的风格编码器的深度图像合成，称为SuperStyleNet。首先，我们直接提取的风格代码从原始图像的超像素的基础上考虑局部对象。其次，我们恢复空间关系的矢量化的风格代码的基础上图形分析。因此，所提出的网络实现了高质量的图像合成，通过映射到语义标签的风格代码。实验结果表明，该方法优于国家的最先进的视觉质量和定量测量。此外，我们还通过调整样式代码来实现精细的空间样式编辑。
2021-12-17 cs.CV
Audio-Driven Dubbing for User Generated Contents via Style-Aware Semi-Parametric Synthesis
SenseTime Research（商汤科技研究院）
提出一种面向UGC的音频驱动配音方法，通过风格转换网络和半参数化渲染器，在有限数据下快速适应新说话人并生成风格准确的连续视频，训练成本低且测试速度快。
2023-08-31 cs.CV
PARASOL: Parametric Style Control for Diffusion Image Synthesis
University of Surrey（萨里大学）；Adobe Research（奥多比研究中心）
PARASOL 提出一种多模态潜扩散模型，通过联合内容与细粒度风格嵌入及解耦引导，实现图像视觉风格的参数化精细控制，并支持生成式搜索中的意图匹配。
2024-05-02 cs.CV
Example-Guided Style Consistent Image Synthesis from Semantic Labeling
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Bath（巴斯大学）
示例引导的图像合成旨在从语义标签图和指示风格的示例性图像合成图像。我们在这个问题中使用的“风格”一词是指图像的隐含特征，例如：在肖像中，“风格”包括性别，种族身份，年龄，发型;在全身照片中，它包括服装;在街景中，它指的是天气和一天中的时间等等。在这些情况下，语义标签图指示面部表情、全身姿势或场景分割。我们提出了一个解决方案的例子引导的图像合成问题，使用条件生成对抗网络与风格一致性。我们的主要贡献是：（i）一种新的风格一致性检验，以确定是否一对图像是一致的风格;（ii）自适应语义一致性损失;和（iii）一个训练数据采样策略，合成风格一致的结果的范例。
2019-06-28 cs.CV
Style-Transfer via Texture-Synthesis
Google Research（谷歌研究院）
风格转移是将一种风格从一幅图像迁移到另一幅图像的内容上，合成一幅新的图像的过程。最近采用卷积神经网络（CNN）在这个问题上的工作点燃了这个领域的新的兴趣，由于获得了非常令人印象深刻的结果。有一个替代的路径来处理风格转移的任务，通过纹理合成算法的泛化。这种方法已经提出了多年，但其结果通常不如CNN的令人印象深刻。在这项工作中，我们提出了一种新的风格转移算法，扩展了Kwatra等人的纹理合成工作。（2005），同时旨在获得风格化的图像，在质量上接近CNN的。我们修改Kwatra的算法在几个关键的方式，以实现所需的传输，重点是一个一致的方式保持内容完整的选定区域，而在其他人产生幻觉和丰富的风格。所获得的结果是视觉上令人愉快的和多样的，显示出与最近的CNN风格转移算法的竞争力。该算法快速灵活，能够处理任意一对内容+风格图像。
2016-09-20 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出并验证了一个框架，利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现，解开的内容和风格表示可以用来指导图像生成器，采用它们作为草图到图像生成器，而无需（重新）训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法，包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明，这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力，而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
Line Artist: A Multiple Style Sketch to Painting Synthesis Scheme
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
画一幅美丽的画是许多人从小的梦想。在本文中，我们提出了一种新的方案，线艺术家，合成艺术风格的绘画与写意素描图像，利用深度学习和先进的算法的力量。我们的方案包括三个模型。草图图像提取（SIE）模型被应用于生成训练数据。它包括平滑现实图像和铅笔素描提取。详细图像合成（DIS）模型训练条件生成对抗网络以生成详细的真实世界信息。自适应加权艺术风格转移（AWAST）模型能够使用VGG19网络和PageRank算法将多种风格的图像与内容相结合。然后通过优化迭代生成吸引人的艺术图像。实验在Kaggle Cats数据集和牛津建筑数据集上进行。我们的合成结果被证明是艺术，美丽和强大的。
2018-03-18 cs.CV
Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成，采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
Style-Guided Inference of Transformer for High-resolution Image Synthesis
NCSOFT（NCSoft公司）
Transformer非常适合于自回归图像合成，它递归地从过去的值预测离散值以组成完整的图像。特别地，结合矢量量化的隐表示，最先进的自回归Transformer显示逼真的高分辨率图像。然而，从离散概率分布中对潜在代码进行采样使得输出不可预测。因此，它需要产生大量的不同的样本，以获得所需的输出。为了减轻重复生成大量样本的过程，在本文中，我们建议将所需的输出（样式图像）作为附加条件，而无需重新训练Transformer。为此，我们的方法将风格转换为概率约束，以重新平衡先验，从而指定目标分布而不是原始先验。因此，从重新平衡先验中生成的样本具有与参考样式相似的样式。在实践中，我们可以选择一个图像或一类图像作为附加条件。在我们的定性评估中，我们发现大多数输出的风格与输入风格相似。
2022-10-11 cs.CV
SLOGAN: Handwriting Style Synthesis for Arbitrary-Length and Out-of-Vocabulary Text
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
训练鲁棒的文本识别器迫切需要大量的标记数据。然而，收集不同风格的笔迹数据以及庞大的词典是相当昂贵的。虽然数据合成是一种很有前途的方法来缓解数据饥饿，手写合成的两个关键问题，即风格表示和内容嵌入，仍然没有解决。为此，我们提出了一种新的方法，可以合成参数化和可控的手写风格的任意长度和词汇表外的文本的基础上生成的对抗网络（GAN），称为SLOGAN。具体来说，我们提出了一个风格银行参数化的具体手写风格作为潜在的向量，这是输入到一个发电机作为风格先验，以实现相应的手写风格。风格库的训练只需要源图像的作者识别，而不需要属性注释。此外，我们通过提供容易获得的打印样式图像来嵌入文本内容，从而可以通过改变输入的打印图像来灵活地实现内容的多样性。最后，生成器由双鉴别器指导，以处理作为单独字符和一系列草书连接出现的手写特征。我们的方法可以合成的话，不包括在训练词汇和各种新的风格。大量的实验表明，高质量的文本图像具有很大的风格多样性和丰富的词汇可以合成使用我们的方法，从而提高了识别器的鲁棒性。
2022-02-23 cs.CV
Polyglot: Multilingual Style Preserving Speech-Driven Facial Animation
University of Florence（佛罗伦萨大学）；Flawless AI；Imperial College London（伦敦帝国学院）
本文提出Polyglot，一种统一的扩散架构，用于多语言语音驱动面部动画，通过结合语言和风格信息，提升动画的真实性和一致性。
2026-04-17 cs.CV
Cross Attention Based Style Distribution for Controllable Person Image Synthesis
Shanghai Key Laboratory of Multidimensional Information Processing（上海多维信息处理重点实验室）；Shanghai AI Laboratory（上海人工智能实验室）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science（统计与数据科学前沿理论及应用重点实验室）；Huazhong University of Science and Technology（华中科技大学）；East China Normal University（华东师范大学）
可控人物图像合成任务通过对身体姿势和外观的显式控制实现了广泛的应用。在本文中，我们提出了一个基于交叉注意的风格分布模块，计算之间的源语义风格和目标姿势的姿势转移。该模块有意地选择由每个语义表示的样式，并根据目标姿势来分配它们。交叉注意中的注意矩阵表达了所有语义下目标姿势和源风格之间的动态相似性。因此，它可以用来路由的颜色和纹理从源图像，并进一步约束的目标解析图，以达到更清晰的目标。同时，为了准确地编码源外观，还增加了不同语义风格之间的自注意。我们的模型的有效性进行了验证定量和定性的位姿转移和虚拟试穿任务。
2022-08-01 cs.CV
VectorPainter: Advanced Stylized Vector Graphics Synthesis Using Stroke-Style Priors
Beihang University（北航大学）
VectorPainter 提出将参考图像风格化笔触与文本描述结合，通过模仿学习矢量化方法和风格保持损失函数，实现高质量的风格化矢量图形合成。
2025-06-03 cs.CV
Face Sketch Synthesis with Style Transfer using Pyramid Column Feature
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种新的框架，基于深度神经网络的人脸素描合成从照片。模仿艺术家绘制草图的过程，我们的框架以级联的方式合成人脸草图。首先生成内容图像，该内容图像勾勒出面部的形状和关键面部特征。然后添加纹理和阴影以丰富草图的细节。我们利用一个完全的卷积神经网络（FCNN）创建的内容图像，并提出了一种风格转移方法，引入纹理和阴影的基础上新提出的金字塔列功能。实验结果表明，基于金字塔柱特征的风格转换方法不仅比传统的风格转换方法能更好地保留草图细节，而且优于传统的基于面片的风格转换方法。定量和定性评估表明，我们的框架优于其他国家的最先进的方法，也可以推广到不同的测试图像。代码可在https://github.com/chaofengc/Face-Sketch上获得
2020-09-18 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）
针对亲属人脸合成中多样性与保真度难以兼顾的问题，提出融合StyleGAN与扩散模型的StyleDiT框架，并引入关系特征引导机制，实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
Data Synthesis with Diverse Styles for Face Recognition via 3DMM-Guided Diffusion
Fudan University（复旦大学）；Tencent（腾讯）
本文提出 MorphFace，一种基于扩散模型的人脸生成器，通过 3DMM 学习细粒度风格并结合身份条件采样，解决合成数据中身份与风格多样性的权衡问题，显著提升人脸识别效能。
2025-04-01 cs.CV
MemoryTalker: Personalized Speech-Driven 3D Facial Animation via Audio-Guided Stylization
Chung-Ang University（Chung-Ang 大学）；Korea University（韩国大学）
针对语音驱动3D面部动画需额外先验的问题，提出MemoryTalker框架，仅用音频输入通过两阶段（记忆通用运动、音频引导风格化合成）实现个性化动画，实验证明其效果优于现有方法。
2025-08-25 cs.AI cs.CV
Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
Virginia Tech（弗吉尼亚理工大学）；Kuwait University（科威特大学）；Adobe Research（Adobe 研究院）；University of Maryland College Park（马里兰大学帕克分校）
我们提出了一个算法，重新渲染一个人从一个单一的图像下的任意姿态。现有的方法往往有困难的幻觉闭塞的内容照片逼真，同时保持身份和源图像中的细节。我们首先学习用人体对称性先验来修补人体表面纹理和源图像之间的对应场。修复的对应字段允许我们将从源视图提取的局部特征转移/扭曲到目标视图，即使在大的姿态变化下也是如此。使用简单的CNN解码器将扭曲的局部特征直接映射到RGB图像通常会导致可见的伪影。因此，我们扩展了StyleGAN生成器，使其将姿势作为输入（用于控制姿势），并使用扭曲的局部特征（用于控制外观）为潜在空间引入空间变化调制。我们表明，我们的方法相比，在定量评估和视觉比较的最先进的算法。
2021-09-13 cs.CV
ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
提出ArtNeRF框架，结合3D感知GAN、对比学习风格编码器与自适应风格混合模块，实现了高质量、任意风格的3D感知卡通人脸合成与实时渲染。
2024-04-26 cs.CV
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
Training-Free Style Consistent Image Synthesis with Condition and Mask Guidance in E-Commerce
Suning（苏宁）
针对电商风格一致图像生成，本文提出免训练方法，通过 QKV 层级修改、共享 KV 与注意力图掩码引导，在保持商品构图的同时提升风格一致性。
2024-09-07 cs.CV
Parametric Synthesis of Text on Stylized Backgrounds using PGGANs
Conduent Labs（Conduent实验室）；eBay
我们描述了一种新的方法，生成高分辨率的真实世界的文本图像的风格和文本内容的图像参数化描述。我们的方法将文本到图像检索技术与生成对抗网络（PGGAN）的逐步增长相结合，以实现反映特定风格的照片级逼真图像的条件生成，以及在现实世界的图像中看到的文物。我们证明了我们的方法的背景下，汽车牌照。我们评估了不同的训练图像的每种风格的保真度的影响，并证明了使用车牌识别系统生成的图像的质量。
2018-09-22 cs.CV
StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis
University of Maryland College Park（马里兰大学学院公园分校）
我们提出了一种新的方法，多模态图像到图像（I2I）的翻译。为了解决输入域和输出域之间的一对多关系，以前的工作使用复杂的训练目标来学习潜在嵌入，与生成器一起，对输出域的可变性进行建模。相比之下，我们直接对图像的风格变化进行建模，独立于图像合成任务。具体来说，我们使用一种新的代理任务来预训练一个通用风格编码器，以学习将图像从任意域嵌入到低维风格潜在空间中。学习的潜在空间介绍了几个优点，比以前的传统方法多模态I2I翻译。首先，它不依赖于目标数据集，并且可以很好地推广到多个领域。第二，它学习了一个更强大和更有表现力的潜在空间，这提高了风格捕捉和转移的保真度。所提出的风格预训练也简化了训练目标，并显着加快了训练速度。此外，我们提供了一个详细的研究不同的损失条款的多模态I2I翻译的任务的贡献，并提出了一个简单的替代VAE，使采样不受约束的潜在空间。最后，我们在六个具有挑战性的基准测试中获得了最先进的结果，其中一个简单的训练目标仅包括GAN损失和重建损失。
2021-04-14 cs.CV
Learning Layout and Style Reconfigurable GANs for Controllable Image Synthesis
North Carolina State University（北卡罗来纳州立大学）
随着最近在学习深度生成模型方面取得的显着进展，从可重构输入开发可控图像合成模型变得越来越有趣。本文重点介绍了最近出现的任务，布局到图像，学习生成模型，能够从空间布局合成照片般逼真的图像（即，配置在图像网格中的对象边界框）和样式（即，由潜在向量编码的结构和外观变化）。本文首先提出了一个直观的范例的任务，布局到掩模到图像，学习展开对象掩模给定的边界框在输入布局，以弥合输入布局和合成图像之间的差距。然后，本文提出了一种建立在生成对抗网络上的方法，用于在图像和掩模级别进行样式控制的布局到掩模到图像。对象掩码从输入布局中学习，并沿着生成器网络中的阶段迭代地细化。图像级别的样式控制与普通GANs中的相同，而对象掩码级别的样式控制通过提出的新特征归一化方案，实例敏感和布局感知归一化来实现。在实验中，所提出的方法在COCO-Stuff数据集和Visual Genome数据集上进行了测试，获得了最先进的性能。
2021-03-26 cs.CV
Style and Pose Control for Image Synthesis of Humans from a Single Monocular View
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
通过对人体姿态、形状和外观的显式控制，从单个图像中对人体进行照片级真实感的重新渲染使得能够实现广泛的应用，诸如人体外观转移、虚拟试穿、运动模仿和新颖的视图合成。虽然使用基于学习的图像生成工具（如GANs）在这方面取得了重大进展，但现有方法会产生明显的伪像，如细节模糊，身体部位和服装的不切实际的扭曲以及纹理的严重变化。因此，我们提出了一种新的方法，用于合成照片级逼真的人类图像，并对姿势和基于部分的外观进行显式控制，即，StylePoseGAN，我们扩展了一个不可控的生成器来分别接受姿势和外观的调节。我们的网络可以用人类图像以完全监督的方式进行训练，以解开姿势，外观和身体部位，并且它显着优于现有的单一图像重新渲染方法。我们的解纠缠表示开辟了进一步的应用，如服装转移，运动转移，虚拟试穿，头部（身份）交换和外观插值。与当前性能最佳的方法相比，StylePoseGAN在常见感知指标上实现了最先进的图像生成保真度，并在全面的用户研究中令人信服。
2021-02-22 cs.CV
Controlled GAN-Based Creature Synthesis via a Challenging Game Art Dataset -- Addressing the Noise-Latent Trade-Off
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的StyleGAN 2网络支持创建和编辑艺术的强大方法，包括生成随机图像，查找图像“喜欢”某些查询，以及修改内容或风格。此外，最近的进步使训练与小数据集。我们将这些方法应用于合成卡片艺术，通过在一个新的Yu-Gi-Oh数据集上进行训练。虽然StyleGAN 2的噪声输入对于良好的合成至关重要，但我们发现粗尺度噪声会干扰该数据集上的潜变量，因为两者都控制着长尺度图像效果。我们通过潜变量编辑观察到艺术中过度激进的变化，以及噪音和弱内容控制的变化。在这里，我们证明了训练一个修改后的StyleGAN 2，其中粗尺度噪声被抑制，消除了这些不必要的影响。我们获得了一个优越的FID;噪声的变化导致局部探索的风格;和身份控制显着改善。这些结果和分析为所有技能水平的数字艺术家提供了GAN辅助的艺术合成工具，可用于电影，游戏或任何创意产业的艺术构思。
2021-10-20 cs.CV
StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis
Carnegie Mellon University（卡内基梅隆大学）
使用机器学习生成适合给定文本描述的图像随着诸如CLIP图像-文本编码器模型之类的技术的发布而大大改进;然而，当前方法缺乏对要生成的图像的风格的艺术控制。我们引入StyleCLIPDraw，它增加了一个风格损失的CLIPDraw文本到绘图合成模型，以允许艺术控制的合成图纸，除了通过文本的内容控制。而执行解耦的风格转移上生成的图像只影响纹理，我们提出的耦合方法是能够捕捉到的风格，在纹理和形状，这表明绘画的风格是耦合与绘图过程本身。更多结果和我们的代码可在https://github.com/pschaldenbrand/StyleCLIPDraw上获得
2022-03-01 cs.CL cs.CV
StyleForge: Enhancing Text-to-Image Synthesis for Any Artistic Styles with Dual Binding
Dongguk University（东国大学）
StyleForge通过双重绑定技术，用少量样本实现任意艺术风格的个性化文本到图像合成，显著提升图像质量与文本对齐。
2024-07-17 cs.AI cs.CV
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
Facebook AI；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Hong Kong（香港大学）
我们提出了StyleNeRF，这是一个3D感知的生成模型，用于具有高多视图一致性的照片级逼真的高分辨率图像合成，可以在非结构化的2D图像上进行训练。现有的方法要么不能合成具有精细细节的高分辨率图像，要么产生明显的3D不一致伪影。此外，它们中的许多缺乏对样式属性和明确的3D相机姿势的控制。StyleNeRF将神经辐射场（NeRF）集成到基于样式的生成器中，以解决上述挑战，即，提高渲染效率和3D一致性，以生成高分辨率图像。我们只执行体渲染以产生低分辨率的特征图，并逐步在2D中应用上采样来解决第一个问题。为了减轻2D上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。通过这些设计，StyleNeRF可以以交互速率合成高分辨率图像，同时保持高质量的3D一致性。StyleNeRF还可以控制相机姿势和不同级别的样式，这可以概括为不可见的视图。它还支持具有挑战性的任务，包括放大和缩小，样式混合，反转和语义编辑。
2021-10-18 cs.CV stat.ML
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来，生成对抗网络（GANs）的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果，但在计算上，它们是高度复杂的。在我们的工作中，我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分，并提出了对生成器网络的更改，以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构，它的参数比StyleGAN 2少3.5倍，计算复杂度比StyleGAN 2低9.5倍，同时提供相当的质量。
2021-09-09 cs.CV eess.IV
Style Generation: Image Synthesis based on Coarsely Matched Texts
本文提出基于文本的风格生成新任务，设计两阶段生成对抗网络，利用粗略匹配文本指导图像风格化，并通过多模态风格合成模块细化风格，验证了方法有效性及实际应用潜力。
2023-09-08 cs.CV cs.MM
Referenceless User Controllable Semantic Image Synthesis
LG Electronics（LG电子）；University of Edinburgh（爱丁堡大学）；Sungkyunkwan University（成均馆大学）
针对语义图像合成中风格受参考图像限制的问题，提出RUCGAN模型，用单一颜色表示区域风格，实现无参考的用户可控合成，实验证明优于现有方法，并提供交互界面。
2023-06-18 cs.AI cs.CV
Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis
Tsinghua University（清华大学）；HiSilicon Company（海思公司）
人们说话的方式多种多样。对于同一篇演讲，不同的谈话风格表现出显着差异的面部和头部姿势的运动。例如，“激动”的风格通常说话时张大嘴巴，而“庄严”的风格则更规范，很少表现出夸张的动作。由于不同风格之间的巨大差异，有必要将说话风格纳入音频驱动的说话人脸合成框架。在本文中，我们提出了注入风格到说话的脸合成框架，通过模仿任意说话风格的特定参考视频。具体而言，我们系统地研究了我们收集的\textit{Ted-HD}数据集的谈话风格和构造风格代码作为三维变形模型~（3DMM）参数的几个统计量。之后，我们设计了一个潜在风格融合（LSF）模型，通过模仿风格码的说话风格来合成风格化的说话人脸。我们强调了我们的框架的以下新特性：（1）它不需要任何风格的注释，说话风格是在一个无监督的方式从说话视频在野外学习。(2)它可以从任意视频中模仿任意样式，并且样式代码也可以插值以生成新的样式。大量的实验表明，所提出的框架有能力合成更自然，更有表现力的说话风格相比，基线方法。
2021-10-30 cs.CV cs.GR cs.MM
Denoising Diffusion Probabilistic Models for Styled Walking Synthesis
Durham University（杜伦大学）
对于许多图形应用程序来说，为数字人生成逼真的运动是耗时的。近年来，数据驱动的运动合成方法通过深度生成模型取得了坚实的进展。这些结果提供了高质量的运动，但通常在运动风格的多样性受到影响。我们首次提出了一个框架，使用去噪扩散概率模型（DDPM）来合成风格化的人体运动，将两个任务集成到一个管道中，与传统的运动合成方法相比，增加了风格的多样性。实验结果表明，我们的系统可以生成高质量和多样化的步行运动。
2022-09-29 cs.AI cs.CV cs.GR
Image Synthesis From Reconfigurable Layout and Style
North Carolina State University（北卡罗来纳州立大学）
尽管最近在无条件和有条件图像合成方面都取得了显著的进展，但学习能够从可重新配置的空间布局（即，边界框+图像网格中的类标签）和样式（即，由潜在向量编码的结构和外观变化），特别是在高分辨率下。通过可重构，它意味着模型可以保持从给定布局到具有不同风格的多个看似合理的图像的内在一对多映射，并且对于布局和风格潜码的扰动是自适应的。在本文中，我们为生成对抗网络（称为LostGAN）提出了一种基于布局和样式的架构，可以端到端地训练该网络，以从可重新配置的布局和样式生成图像。受香草StyleGAN的启发，提出的LostGAN由两个新组件组成：（i）以弱监督的方式学习细粒度掩码映射，以弥合布局和图像之间的差距，以及（ii）在生成器中学习对象实例特定的布局感知特征归一化（ISLA-Norm），以实现多对象样式生成。在实验中，所提出的方法在COCO-Stuff数据集和Visual Genome数据集上进行了测试，获得了最先进的性能。代码和预训练模型可在\url{https://github.com/iVMCL/LostGANs}上获得。
2019-08-20 cs.CV stat.ML
Density-aware Haze Image Synthesis by Self-Supervised Content-Style Disentanglement
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
通过对抗训练进行haze图像翻译的关键过程在于将只参与haze合成的特征i.e.style特征与代表不变语义内容的特征即内容特征之间的纠缠解开。以往的方法都是在训练过程中利用内容特征对雾霾图像进行分类，从而将内容特征分离出来。然而，在本文中，我们认识到在这样的技术例程的内容风格的解开的不完整性。有缺陷的风格特征与内容信息纠缠在一起，不可避免地会导致雾霾图像的渲染效果不佳。为了解决这个问题，我们提出了一种自监督的风格回归方法，通过随机线性插值来减少风格特征中的内容信息。烧蚀实验证明了解缠的完整性及其在层次感知雾霾图像合成中的优越性。此外，生成的雾霾数据被应用于车辆检测器的测试泛化。进一步研究了雾霾对车辆检测器性能的影响，结果表明，雾霾对车辆检测器的泛化能力有明显的影响，且检测器的泛化能力下降程度与雾霾程度呈线性相关，从而验证了该方法的有效性。
2021-11-25 cs.CV cs.LG
Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech
NAVER AI Lab（NAVER人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；NAVER Cloud（NAVER云）
这项工作的目标是zero-shot文本到语音合成，说话风格和声音从面部特征学习。受人们可以想象某人的声音，当他们看着他或她的脸的自然事实的启发，我们引入了一个统一的框架内，从可见的属性，称为Face-TTS面部风格的扩散文本到语音（TTS）模型。这是第一次使用人脸图像作为条件来训练TTS模型。我们联合训练跨模型的生物识别和TTS模型，以保持说话人的身份之间的人脸图像和生成的语音段。我们还提出了一个说话人特征绑定损失，以加强在说话人嵌入空间中的生成和地面真实语音段的相似性。由于生物特征信息是直接从人脸图像中提取的，因此我们的方法不需要额外的微调步骤来生成来自看不见和听不见的扬声器的语音。我们训练和评估的LRS 3数据集，在野生的视听语料库包含背景噪音和不同的说话风格的模型。项目页面是https://facetts.github.io。
2023-02-27 cs.CV cs.LG cs.SD
SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis
University of Idaho（爱达荷大学）
现有的用于组织病理学图像合成的深度神经网络无法生成与不同器官对齐的图像样式，并且无法生成聚类细胞核的准确边界。为了解决这些问题，我们提出了一种风格引导的实例自适应归一化（SIAN）方法来合成逼真的颜色分布和纹理的组织病理学图像从不同的器官。SIAN包括语义化、风格化、实例化和转调四个阶段。前两个阶段通过使用语义映射和学习的图像风格向量来合成图像语义和风格。实例化模块集成几何和拓扑信息，生成精确的细胞核边界。我们在多器官数据集上验证了所提出的方法，广泛的实验结果表明，所提出的方法比四种最先进的方法为五个器官生成更逼真的组织病理学图像。通过将所提出的方法的合成图像合并到模型训练中，实例分割网络可以实现最先进的性能。
2023-01-24 cs.CV cs.LG eess.IV
Unifying Human Motion Synthesis and Style Transfer with Denoising Diffusion Probabilistic Models
Durham University（杜伦大学）
数字人的真实感运动生成是计算机动画和游戏的核心，但具有挑战性的一部分，因为人类的运动内容多样，风格丰富。虽然最新的深度学习方法在这一领域取得了重大进展，但它们大多将运动合成和风格操作视为两个独立的问题。这主要是由于在一个共同的表示中有效地学习解释类间行为的运动内容和解释类内行为的风格的挑战。为了解决这个问题，我们提出了一个去噪扩散概率模型解决方案风格化的运动合成。由于扩散模型具有注入随机性带来的高容量，我们可以在同一个潜伏期中表示类间运动内容和类内风格行为。这导致了一个集成的、端到端的训练管道，有助于生成最佳运动和探索内容风格的耦合潜在空间。为了实现高质量的结果，我们设计了一个多任务架构的扩散模型，战略性地产生方面的人体运动的局部指导。我们还为全球指导设计对抗性和物理性法规。我们展示了卓越的性能与定量和定性的结果，并验证了我们的多任务架构的有效性。
2022-12-16 cs.AI cs.CV cs.GR
SGDiff: A Style Guided Diffusion Model for Fashion Synthesis
The Hong Kong Polytechnic University（香港理工大学）；Laboratory for Artificial Intelligence in Design（人工智能设计实验室）
本文提出 SGDiff 风格引导扩散模型，融合图像模态与预训练文本到图像扩散模型，并构建 SG-Fashion 数据集，实现可控的类别、属性与风格时尚图像生成。
2023-08-15 cs.AI cs.CV cs.MM
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix；University of Virginia（弗吉尼亚大学）
最近，已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法（例如Gatys等人[2015，2016]）。这些方法是令人兴奋的，因为它们在某些情况下可以创建具有最先进质量的结果。然而，在本文中，我们表明这些方法也有纹理质量，稳定性，必要的参数调整，并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线，以改善这些问题。我们首先给出了一个数学解释的来源，在许多以前的方法不稳定性。然后，我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量，改善内容和样式的分离，并提供艺术控制，如按数字绘制。我们证明，我们的方法提供了更好的质量，收敛在更少的迭代，和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）
人脸素描合成在多媒体娱乐和执法领域有着广泛的应用。尽管最近在深度神经网络方面取得了进展，但由于人脸的多样性和复杂性，准确和逼真的人脸草图合成仍然是一项具有挑战性的任务。当前基于图像间距离的人脸草图合成方法在小规模数据集上经常遇到过拟合问题。为了解决这个问题，我们提出了一个端到端的面向记忆的风格传输网络（MOST-Net）的人脸草图合成，可以产生高保真的草图与有限的数据。具体来说，外部自我监督的动态记忆模块被引入到捕获的领域对齐知识的长期。通过这种方式，我们提出的模型可以获得域转移能力，通过建立持久的关系之间的面孔和相应的草图在特征层。此外，我们设计了一种新的内存细化损失（MR损失）的内存模块中的特征对齐，这提高了内存插槽的准确性，在一个无人监督的方式。在CUFS和CUFSF数据集上的大量实验表明，我们的MOST-Net达到了最先进的性能，特别是在结构相似性指数（SSIM）方面。
2022-06-08 cs.AI cs.CV
Neural Style Transfer for Synthesising a Dataset of Ancient Egyptian Hieroglyphs
The University of Auckland（奥克兰大学）
本文提出利用神经风格迁移（NST）技术处理数字字体以生成古埃及象形文字数据集，实验证明在该合成数据与照片上训练的图像分类模型性能相当，且对真实未见图像具备良好的可迁移性。
2025-04-02 cs.CL cs.CV cs.LG
Unsupervised Style and Content Separation by Minimizing Mutual Information for Speech Synthesis
Apple（苹果公司）
我们提出了一种从输入文本和以无监督方式从参考语音信号中提取的风格向量生成语音的方法，即，不需要诸如说话者信息之类的样式注释。现有的无监督方法在训练期间通过从相应的地面真实样本计算风格来生成语音，并使用解码器将风格向量与输入文本相结合。以这种方式训练模型会将内容信息泄漏到样式向量中。解码器可以使用泄漏的内容并忽略一些输入文本以最小化重建损失。在推断时，当参考语音与内容输入不匹配时，输出可能不包含输入文本的所有内容。我们将这个问题称为“内容泄漏”，我们通过对抗训练公式明确估计和最小化风格和内容之间的互信息来解决这个问题。我们称我们的方法MIST -基于互信息的风格内容分离。该方法的主要目标是保留输入内容的合成语音信号，我们衡量的字错误率（WER），并表现出显着的改进，在国家的最先进的无监督语音合成方法。
2020-03-09 cs.CV cs.IT cs.LG
Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping
KAIST（韩国科学技术院）；AITRICS
本文提出Face-StyleSpeech零样本TTS模型，通过分离人脸编码器与韵律编码器，仅从人脸图像生成自然语音，实验证明其效果优于基线方法且适用于未见过的面孔。
2024-12-28 cs.AI cs.CL cs.CV
