Landmark Assisted CycleGAN for Cartoon Face Generation
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；YouTu Lab, Tencent（腾讯优图实验室）
在本文中，我们感兴趣的是生成一个卡通的人的脸之间的真实和卡通的不成对的训练数据。这项任务的一个主要挑战是，真实和卡通人脸的结构是在两个不同的领域，其外观彼此差异很大。在没有明确对应的情况下，难以生成捕捉人的基本面部特征的高质量卡通面部。为了解决这个问题，我们提出了地标辅助CycleGAN，它利用人脸地标来定义地标一致性损失，并指导CycleGAN中的局部训练。为了加强地标的结构一致性，我们利用条件生成器和递归。我们的方法能够生成高质量的卡通脸，甚至与艺术家绘制的卡通脸无法区分，并在很大程度上提高了最先进的水平。
2019-07-02 cs.CV
Face to Cartoon Incremental Super-Resolution using Knowledge Distillation
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）；Sorbonne Centre for Artificial Intelligence, Sorbonne University Abu Dhabi（索邦大学阿布扎比分校索邦人工智能中心）
针对GAN人脸超分辨率模型适配新数据的难题，提出结合知识蒸馏的人脸到卡通增量超分辨率框架ISR-KD，经CelebA预训练、iCartoonFace增量训练，可在保留原有人脸幻视能力的同时提升卡通人脸超分辨率性能。
2024-01-27 cs.CV eess.IV
Bringing Cartoons to Life: Towards Improved Cartoon Face Detection and Recognition Systems
MNNIT Allahabad（莫蒂拉尔·尼赫鲁国家技术学院阿拉哈巴德分校）
鉴于最近深度学习在人脸检测和识别技术方面的进展，本文回答了“它们对卡通的效果如何”的问题。这是一个直到最近才被探索的领域，主要是由于大规模数据集的不可用以及传统方法的失败。我们的工作研究并扩展了上述任务的多个框架。对于人脸检测，我们结合了多任务级联卷积网络（MTCNN）架构，并将其与传统方法进行对比。对于人脸识别，我们的双重贡献包括：（i）结合Inception v3网络的特征学习能力和支持向量机（SVM）的特征识别能力的归纳迁移学习方法，（ii）提出的混合卷积神经网络（HCNN）框架，通过融合像素值和15个手动定位的面部关键点进行训练。所有的方法进行评估的卡通面孔在野生（IIIT-CFW）数据库。我们证明了HCNN模型在更大的输入变化上提供了优于Inception+SVM的稳定性，并探索了合理的架构原理。我们表明，Inception+SVM模型在卡通面孔性别识别任务上建立了最先进的F1得分。此外，我们介绍了一个小型的数据库托管位置坐标的15个点的卡通脸属于50个公众人物的IIIT-CFW数据库。
2018-07-06 cs.CV
Cross-Domain Style Mixing for Face Cartoonization
NAVER WEBTOON AI
卡通领域最近越来越受欢迎。以前的研究试图质量肖像风格化到卡通领域，然而，这构成了一个很大的挑战，因为他们没有正确地解决关键的限制，如需要大量的训练图像或缺乏支持抽象的卡通脸。最近，一种层交换方法已被用于风格化，只需要有限数量的训练图像;然而，它的用例仍然很窄，因为它继承了剩余的问题。在本文中，我们提出了一种新的方法称为跨域风格混合，它结合了两个潜在的代码从两个不同的领域。我们的方法有效地风格化的脸成多个卡通人物在不同的面部抽象层次，只使用一个单一的发电机，甚至不使用大量的训练图像。
2022-05-25 cs.CV
Cartoon Face Recognition: A Benchmark Dataset
iQIYI, Inc（爱奇艺公司）；Beihang University（北京航空航天大学）
近年来，在工业应用的强烈需求的推动下，卡通媒体越来越受到关注。作为理解这种媒体的第一步，卡通人脸识别是一个关键但较少探索的任务，提出的数据集很少。在这项工作中，我们首先提出了一个新的具有挑战性的基准数据集，由389,678图像的5,013卡通人物与身份，限界框，姿态和其他辅助属性注释。该数据集名为iCartoonFace，是目前图像识别领域中规模最大、质量最高、内容最丰富的数据集，涵盖多个事件，包括近似重复、遮挡和外观变化。此外，我们还为卡通媒体提供了两种类型的注释，即，人脸识别和人脸检测，借助半自动标记算法。为了进一步研究这一具有挑战性的数据集，我们提出了一个多任务领域自适应方法，联合利用人类和卡通领域的知识与三个判别正则化。因此，我们进行了基准分析的建议的数据集，并验证所提出的方法在卡通人脸识别任务的优越性。我们相信这种公开的可用性将在广泛的实际应用场景中吸引更多的研究关注。
2020-06-27 cs.CV
Domain-Adaptive Self-Supervised Pre-Training for Face & Body Detection in Drawings
Koç University（科奇大学）
提出结合教师—学生自监督学习与风格迁移的DASS_Detector，在少量目标域标注下实现绘画人脸与人体检测的SOTA或接近SOTA性能。
2023-04-25 cs.CV cs.LG
ACFD: Asymmetric Cartoon Face Detector
Tencent（腾讯）；Southeast University（东南大学）
卡通人脸检测是一个比人脸检测更具挑战性的任务，因为它涉及到许多困难的场景。针对卡通人脸内部差异大的特点，提出了一种非对称卡通人脸检测器ACFD。具体来说，它包括以下模块：一个新的骨干VoVNetV 3由几个不对称的一次性聚合模块（AOSA），不对称的双向特征金字塔网络（ABi-FPN），动态锚匹配策略（DAM）和相应的边缘二进制分类损失（MBC）。特别是，为了生成具有不同感受野的特征，VoVNetV 3提取多尺度金字塔特征，然后通过ABi-FPN同时融合和增强，以处理处于某些极端姿势的面部，并具有不同的长宽比。此外，DAM用于为每个面孔匹配足够的高质量锚点，MBC用于强大的辨别力。凭借这些模块的有效性，我们的ACFD在2020年iCartoon Face Challenge的检测轨道上获得了第一名，模型大小为200 MB，推理时间为50 ms/图像，并且没有任何预训练模型。
2020-07-02 cs.CV
Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation
Peking University（北京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
在本文中，我们感兴趣的是生成细粒度的卡通脸为不同的群体。我们假设这些组中的一个组由足够的训练数据组成，而其他组仅包含少量样本。虽然这些群体的卡通面孔有着相似的风格，但在不同群体中的出现仍然可以有一些特定的特征，这使得它们彼此不同。这一任务的一个主要挑战是如何在群体之间传递知识，并在只有少量样本的情况下学习群体特有的特征。为了解决这个问题，我们提出了一个两阶段的训练过程。首先，训练基本组（由足够的数据组成）的基本翻译模型。然后，给定其他组的新样本，我们通过为每个新组创建特定于组的分支来扩展基本模型。组特定分支直接更新以捕获每个组的特定外观，而其余组共享参数间接更新以保持中间特征空间的分布。通过这种方式，我们的方法是能够产生高品质的卡通脸为不同的群体。
2020-07-27 cs.CV
Graph Jigsaw Learning for Cartoon Face Recognition
Nanjing University of Science and Technology（南京理工大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
卡通人脸具有平滑的颜色区域和强调的边缘，识别卡通人脸的关键是精确地感知其稀疏和关键的形状模式。然而，这是相当困难的学习面向形状的表示与卷积神经网络（CNN）的卡通人脸识别。为了缓解这个问题，我们提出了GraphJigsaw，它在分类网络的各个阶段构建拼图，并以渐进的方式使用图卷积网络（GCN）解决拼图。由于纹理信息非常有限，解决难题需要模型发现卡通面孔的形状模式。GraphJigsaw的核心思想是通过在空间维度上随机洗牌中间卷积特征图来构建拼图，并利用GCN以自我监督的方式推理和恢复拼图片段的正确布局。所提出的GraphJigsaw避免了用解构图像训练分类模型，这些图像会引入噪声模式，并且对最终分类有害。特别地，GraphJigsaw可以在分类模型中以自上而下的方式在各个阶段合并，这有助于逐渐传播学习的形状模式。GraphJigsaw在训练过程中不依赖于任何额外的手动注释，并且在推理时没有额外的计算负担。定量和定性的实验结果都验证了我们提出的GraphJigsaw的可行性，它始终优于其他人脸识别或基于拼图的方法在两个流行的卡通人脸数据集有相当大的改进。
2021-07-14 cs.CV
JoJoGAN: One Shot Face Stylization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
样式映射器将某些固定的样式应用于其输入图像（例如，将面部应用于卡通）。本文描述了一个简单的过程-- JoJoGAN --从单个样式示例学习样式映射器。JoJoGAN使用GAN反演过程和StyleGAN的样式混合属性来从单个示例样式生成大量配对数据集。然后使用配对的数据集来微调StyleGAN。然后，图像可以通过GAN反演进行样式映射，然后进行微调的StyleGAN。JoJoGAN只需要一个参考和30秒的训练时间。JoJoGAN可以成功地使用极端的风格参考（比如动物脸）。此外，可以控制使用样式的哪些方面以及应用样式的多少。定性和定量评估表明，JoJoGAN生成的高质量高分辨率图像大大优于当前最先进的图像。
2022-03-06 cs.CV
Generating Animatable 3D Cartoon Faces from Single Portraits
University of California Berkeley（加州大学伯克利分校）；Cardiff University（卡迪夫大学）；Tsinghua University（清华大学）
本文提出从单张肖像生成可动画化3D卡通人脸的新框架，通过StyleGAN风格化、两阶段重建和语义保持绑定，在准确性、美观性和相似性上优于现有方法，并支持实时面部动画。
2023-07-04 cs.CV
Towards Multi-domain Face Landmark Detection with Synthetic Data from Diffusion model
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
针对卡通、漫画等域标注数据稀缺问题，提出两阶段扩散模型训练流程生成跨域对齐的关键点-人脸合成数据，并据此微调检测器，提升多域人脸关键点检测性能。
2024-01-24 cs.CV
High-Quality Face Caricature via Style Translation
提出一种基于GAN模型和非配对数据的高质量人脸漫画生成与投影方法，通过两步过程实现面部特征夸张与外观风格化，并有效保留身份属性和处理遮挡，展现出更高的真实感与鲁棒性。
2023-11-22 cs.CV
AutoToon: Automatic Geometric Warping for Face Cartoon Generation
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
漫画是一种夸张的艺术肖像，它放大了人脸的独特而微妙的特征。这项任务通常留给艺术家，因为事实证明，使用自动化方法很难很好地捕捉主题的独特特征。最近开发的深度端到端方法在捕捉风格和更高层次的夸张方面取得了可喜的成果。然而，漫画的一个关键部分，面部变形，对这些系统来说仍然是一个挑战。在这项工作中，我们提出了AutoToon，这是第一个有监督的深度学习方法，可以为漫画的变形组件生成高质量的变形。完全脱离风格，它可以与任何风格化方法配对，以创建不同的漫画。与现有技术相比，我们利用SENet和空间Transformer模块，并直接在艺术家扭曲场上进行训练，在扭曲之前和之后施加损耗。正如我们的用户研究所示，我们实现了吸引人的夸张，放大了面部的显著特征，同时保留了面部细节。
2020-04-06 cs.CV
Towards Device Efficient Conditional Image Generation
AI Foundation（人工智能基金会）
我们提出了一种新的算法，以减少张量计算所需的条件图像生成自动编码器，而不牺牲质量的照片般逼真的图像生成。我们的方法是设备不可知的，并且可以在通用工作站上训练自动编码器所需的大约正常时间内为给定的仅CPU的GPU计算设备优化自动编码器。我们通过一个两阶段的新策略来实现这一点，首先，我们压缩信道权重，这样，使用尽可能少的信道。然后，我们修剪几乎为零的权重激活，并微调自动编码器。为了保持图像质量，微调是通过学生-教师培训完成的，在那里我们重复使用压缩的自动编码器作为教师。我们展示了各种条件图像生成任务的性能提升：分割掩码到人脸图像，人脸图像到卡通化，最后是多个计算设备上基于CycleGAN的模型。我们进行了各种消融研究，以证明声明和设计选择的合理性，并在仅CPU的设备上实现了各种自动编码器的实时版本，同时保持图像质量，从而实现了此类自动编码器的大规模部署。
2022-10-14 cs.CV cs.GR eess.IV
MagicAnime: A Hierarchically Annotated, Multimodal and Multitasking Dataset with Benchmarks for Cartoon Animation Generation
National Centre for Computer Animation, Bournemouth University（伯恩茅斯大学计算机动画国家中心）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Department of Computer Science and Information Engineering, National Cheng Kung University（国立成功大学计算机科学与信息工程系）
针对卡通动画领域多模态数据稀缺问题，本文提出分层标注的大规模多任务数据集 MagicAnime 及 MagicAnime-Bench，并通过四类动画生成任务验证其可控生成能力。
2025-07-27 cs.CV cs.MM
AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models
The Hong Kong Polytechnic University（香港理工大学）；Caritas Institute of Higher Education（明爱专上学院）；National Cheng Kung University（国立成功大学）
动画线描图像的手工着色是卡通动画创作流程中必不可少的一个环节，是一项耗时且繁琐的工作。基于参考的线条画彩色化是一项具有挑战性的任务，它依赖于线条画和参考图像之间精确的跨域长距离依赖建模。现有的学习方法仍然利用生成对抗网络（GANs）作为其模型架构的一个关键模块。在本文中，我们提出了一种新的方法称为AnimeDiffusion使用扩散模型，自动执行动画脸部线条画着色。据我们所知，这是第一个为动漫内容创作量身定制的扩散模型。为了解决扩散模型训练消耗巨大的问题，设计了一种混合训练策略，先用无分类器引导对扩散模型进行预训练，再用图像重建引导对其进行微调。我们发现，经过几次微调，该模型显示出出色的着色性能，如图1所示。为了训练AnimeDiffusion，我们进行了一个动漫人脸线描彩色化基准数据集，其中包含31696个训练数据和579个测试数据。我们希望这个数据集可以填补没有可用的高分辨率动漫人脸数据集的彩色化方法评估的空白。通过对我们的数据集和用户研究进行的多个定量指标评估，我们证明AnimeDiffusion在动画面部线条绘制着色方面优于最先进的基于GAN的模型。我们还与专业艺术家合作，测试并将我们的AnimeDiffusion应用于他们的创作工作。我们在https://github.com/xq-meng/AnimeDiffusion上发布代码。
2023-03-20 cs.CV
Reference-Based 3D-Aware Image Editing with Triplanes
Bilkent University（比尔肯特大学）；Netflix（奈飞）；Eyeline Studios（艾莱恩工作室）
针对3D感知、高质量、基于参考的图像编辑缺乏集成框架的问题，本研究提出整合编码、自动定位、三平面特征空间解耦和融合学习的新方法，在多领域实现出色编辑效果，性能优于相关方法。
2025-04-15 cs.CV
RestorerID: Towards Tuning-Free Face Restoration with ID Preservation
Zhejiang University（浙江大学）
本文提出无需调参的扩散模型人脸修复方法 RestorerID，通过统一身份注入框架、FIR-Adapter 和自适应身份尺度调节，在 Celeb-Ref 及真实场景中实现优于现有参考引导方法的身份保留修复效果。
2024-11-21 cs.CV
Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Oregon（俄勒冈大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Picsart AI Research（Picsart人工智能研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）
StyleGAN潜在空间的解开为逼真和可控的图像编辑铺平了道路，但StyleGAN是否知道时间运动，因为它只在静态图像上训练？为了研究StyleGAN潜在空间中的运动特征，本文假设并证明了一系列有意义的，自然的，通用的小的局部运动（被称为“微运动”，诸如表情、头部移动和衰老效应）可以在从用于面部生成的常规预训练的StyleGAN-v2模型的潜在空间中提取的低秩空间中表示，在适当的“锚”的指导下，以简短的文本或视频剪辑的形式。从一幅目标人脸图像出发，利用从低秩空间解码的编辑方向，其微动特征可以简单地表示为对其潜在特征的仿射变换。也许更令人惊讶的是，这种微运动子空间，即使是从单个目标人脸中学习到的，也可以毫无痛苦地转移到其他看不见的人脸图像中，甚至是那些来自不同领域的图像（如油画，卡通和雕塑脸）。它表明，与一种类型的微运动相对应的局部特征几何形状在不同的面部主体之间是对齐的，因此StyleGAN-v2确实“秘密”地知道由该微运动引起的主体分离特征变化。我们提出了各种成功的例子，应用我们的低维微动子空间技术直接和毫不费力地操纵脸，表现出高鲁棒性，低计算开销，和令人印象深刻的域可转移性。我们的代码可在https://github.com/wuqiuche/micromotion-StyleGAN上获得。
2022-04-27 cs.CV
Structured GANs
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了生成对抗网络（GANs），其中生成的图像的对称性受到控制。这是通过生成器网络的架构获得的，而训练过程和损失保持不变。对称GANs被应用于人脸图像合成，以生成具有不同对称度的新颖人脸。我们还提出了一个无监督的人脸旋转能力，这是基于一次微调的新概念。
2020-01-15 cs.CV eess.IV
PATMAT: Person Aware Tuning of Mask-Aware Transformer for Face Inpainting
CMU（卡内基梅隆大学）
PATMAT通过参考图像锚点对掩码感知Transformer进行人体感知微调，在保留人脸身份和细节的同时减少所需参考图像数量，提升个性化人脸修复质量。
2023-04-12 cs.CV cs.LG
Training for Identity, Inference for Controllability: A Unified Approach to Tuning-Free Face Personalization
Sun Yat-sen University（中山大学）；East China Normal University（华东师范大学）；Guangdong University of Technology（广东工业大学）；The Hong Kong Polytechnic University（香港理工大学）
UniID提出了一种无需调优的面部个性化统一方法，通过整合文本嵌入和适配器方法，实现高保真身份和灵活文本可控性。
2025-12-03 cs.CV
ToonTalker: Cross-Domain Face Reenactment
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）；Ant Group（蚂蚁集团）
针对跨域人脸重演存在的域偏移、现有方法依赖配对数据的问题，提出基于transformer的无配对数据跨域重演框架，搭配类比约束训练方案，还贡献了迪士尼风格卡通数据集，性能优于对比方法。
2023-08-24 cs.CV
IP-Adapter Is All You Need: Towards Fine-Tuning-Free Diffusion-Based Talking Face Generation
Information Engineering University（信息工程大学）；Huai’an University（淮安大学）；Chongqing University of Post and Telecommunications（重庆邮电大学）；Nankai University（南开大学）
提出一种免微调范式，利用预训练的 Stable Diffusion 和 IP-Adapter，结合三个无参数组件解决身份漂移、同步误差和时间不稳定问题，在唇同步精度和视觉保真度上超越现有方法。
2026-05-28 cs.CV
FaceSnap: Enhanced ID-fidelity Network for Tuning-free Portrait Customization
Vision AI System Lab, Nanjing University, Nanjing, China（南京大学视觉人工智能系统实验室）；Research and Development Department, Wonxing Technology, Shanghai, China（Wonxing技术有限公司研发部）
FaceSnap通过引入面部属性混合器和地标预测器，实现无需微调的高保真人像定制生成。
2026-01-31 cs.CV
Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN
School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）
提出直接对辐射场密度值进行人类偏好强化学习微调，无需网格或形状先验，显著改善3D人脸几何，在74.4%的成对比较中用户偏好微调后的几何。
2026-06-26 cs.CV
IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models
Peking University（北京大学）；InsightFace；DeepGlint
提出无调优方法IDAdapter，通过结合文本与视觉注入、人脸身份损失及多参考图像混合特征，从单张人脸图像生成兼具高身份保真度与多样性的个性化肖像。
2024-03-21 cs.CV
PSTF-AttControl: Per-Subject-Tuning-Free Personalized Image Generation with Controllable Face Attributes
organization= Data Science \& Artificial Intelligence Research Institute , addressline= China Unicom , city= Beijing , postcode= 100013 , country= P.R.China
针对现有无需逐主体调优的个性化图像生成方法缺乏人脸属性精准控制的问题，提出PSTF-AttControl方法，通过三元解耦交叉注意力模块实现身份与属性信息分离，在无需单身份微调的情况下达成个性化效果与属性精准控制的平衡。
2025-10-29 cs.CV
DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images
Sungkyunkwan University（成均馆大学）
由于生成对抗网络（GAN）、自动编码器和其他人工智能技术的进步，创建“Deepfakes”等虚假图像变得更加容易。最近的研究已经引入了少样本学习，它使用少量的训练数据来更有效地产生假图像和视频。因此，生成被操纵的图像的容易性和区分这些图像的困难性可能对我们的社会造成严重威胁，例如传播虚假信息。然而，由于上述原因，检测最新人工智能技术生成的逼真假图像具有挑战性。在这项工作中，我们提出了双注意力虚假检测微调网络（DA-FDFtNet）从真实的人脸数据中检测操纵的虚假人脸图像。我们的DA-FDFtNet将预训练模型与Fine-Tune Transformer、MBblockV 3和通道注意力模块集成在一起，以提高不同类型假图像的性能和鲁棒性。特别是，微调Transformer由多个基于图像的自注意模块和下采样层组成。通道注意模块还与预训练模型连接以捕获假图像特征空间。我们使用FaceForensics++数据集和各种GAN生成的数据集对DA-FDFtNet进行了实验，结果表明我们的方法优于以前的基线模型。
2021-12-22 cs.CV
FantasyID: Face Knowledge Enhanced ID-Preserving Video Generation
AMAP, Alibaba Group（阿里巴巴集团AMAP）；Beijing University of Posts and Telecommunications（北京邮电大学）
FantasyID提出免调优框架，融合3D面部先验与多视角增强，通过层感知自适应注入特征，平衡身份保持与动态，优于现有IPT2V方法。
2025-02-19 cs.CV cs.GR
One-shot Face Sketch Synthesis in the Wild via Generative Diffusion Prior and Instruction Tuning
Guangdong University of Technology（广东工业大学）；Sun Yat-sen University（中山大学）
提出基于扩散模型和指令微调的一次性人脸素描合成方法，利用单对照片-素描样本训练，并构建OS-Sketch基准，实现真实场景下高质量素描生成。
2025-06-18 cs.CR cs.CV cs.CY
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting
ShanghaiTech University（上海科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出免训练框架 Portrait Diffusion，利用扩散模型注意力融合与 Chain-of-Painting 渐进重绘，实现无需微调的细致人脸风格化。
2023-12-03 cs.CV
Faces à la Carte: Text-to-Face Generation via Attribute Disentanglement
The University of Queensland（昆士兰大学）
文本到人脸（TTF）合成是一项具有挑战性的任务，在各种计算机视觉应用中具有巨大的潜力。由于人脸属性的多样性和高维抽象自然语言的解析，人脸的文本描述比文本到图像（TTI）合成任务更加复杂和详细。在本文中，我们提出了一个文本到人脸模型，不仅产生高分辨率（1024 x1024）的图像与文本到图像的一致性，但也输出多个不同的脸，以覆盖范围广泛的非指定的面部特征，以自然的方式。通过对多标签分类器和图像编码器进行微调，我们的模型获得了用于对从正态分布中采样的输入噪声向量进行变换的向量和图像嵌入。然后，将变换后的噪声向量馈送到预先训练的高分辨率图像生成器中，以生成具有所需面部属性的一组面部。我们将我们的模型称为TTF-HD。实验结果表明，TTF-HD生成高质量的人脸与国家的最先进的性能。
2020-09-18 cs.CV
Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
生成对抗网络（GANs）在计算机视觉、图形学和机器学习中的广泛问题上表现出出色的性能，但通常需要大量的训练数据和繁重的计算资源。为了解决这个问题，有几种方法在GAN训练中引入了迁移学习技术。然而，它们要么倾向于过拟合，要么仅限于学习小的分布偏移。在本文中，我们证明了对GANs进行简单的微调，冻结了底层的GANs表现得出奇的好。这个简单的基线FreezeD显著优于无条件和有条件GANs中使用的先前技术。我们使用StyleGAN和SNGAN投影架构在Animal Face，Anime Face，Oxford Flower，CUB-200-2011和Caltech-256数据集上展示了一致的效果。代码和结果可在https://github.com/sangwoomo/FreezeD上获得。
2020-02-28 cs.CV cs.LG stat.ML
FaceStudio: Put Your Face Everywhere in Seconds
Tencent（腾讯）
本文提出FaceStudio，通过直接前馈机制与融合风格图像、面部图像和文本提示的混合引导框架，在无需微调或多张参考图的情况下快速生成高保真身份保持人物图像。
2023-12-06 cs.AI cs.CV
FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network
Sungkyunkwan University（成均馆大学）
由于生成对抗网络（GANs）的进步，创建像“Deepfake”这样的虚假图像和视频变得更加容易。此外，最近的研究，如少样本学习，可以创建高度逼真的个性化假图像，只有几个图像。因此，Deepfake被用于各种恶意目的的威胁变得普遍，例如传播虚假图像和视频。检测这些机器生成的假图像比以往任何时候都更具挑战性。在这项工作中，我们提出了一个轻量级的强大的微调神经网络为基础的分类器架构，称为假检测微调网络（FDFtNet），它能够检测许多新的假脸图像生成模型，可以很容易地与现有的图像分类网络和微调几个数据集。与许多现有方法相比，我们的方法旨在重用流行的预训练模型，仅使用少量图像进行微调，以有效地检测假图像。我们的方法的核心是引入一个基于图像的自我注意模块，称为微调Transformer，只使用注意模块和下采样层。该模块被添加到预训练的模型中，并对一些数据进行微调，以搜索新的特征空间集来检测虚假图像。我们在基于GAN的数据集（Progressive Growing GAN）和基于Deepfake的数据集（Deepfake和Face2Face）上使用FDFtNet进行了实验，其小输入图像分辨率为64x64，使检测变得复杂。我们的FDFtNet在检测基于GANs的数据集生成的虚假图像方面达到了90.29%的整体准确率，优于最先进的技术。
2020-08-10 cs.CV
StyleYourSmile: Cross-Domain Face Retargeting Without Paired Multi-Style Data
University of Bath（巴斯大学）
StyleYourSmile通过双编码器框架和高效数据增强策略，实现无需多风格配对数据的跨域人脸重定向，提升身份保持与重定向保真度。
2025-12-01 cs.CV
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University（密歇根州立大学）；University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
本文提出Dense-Face模型，通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注，在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
On Biased Behavior of GANs for Face Verification
IIT Jodhpur（印度理工学院焦特布尔分校）
深度学习系统需要大量数据进行训练。用于训练人脸验证系统的数据集很难获得，并且容易出现隐私问题。由生成模型（如GANs）生成的合成数据可以是一个很好的替代方案。然而，我们发现从GANs生成的数据容易出现偏见和公平性问题。具体来说，在FFHQ数据集上训练的GANs在20-29岁的年龄组中显示出偏向于生成白人面孔的行为。我们还表明，合成的面孔会造成不同的影响，特别是种族属性，当用于微调人脸验证系统。
2023-01-05 cs.AI cs.CV cs.LG
MasterWeaver: Taming Editability and Face Identity for Personalized Text-to-Image Generation
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）；Tomorrow Advancing Life；Pazhou Lab Huangpu（黄埔琶洲实验室）
本文提出 MasterWeaver，一种测试时免微调的个性化文本到图像生成方法，通过编码器提取身份特征、引入编辑方向损失和面部增强数据集，在保持身份保真度的同时提升了文本可控性与可编辑性。
2024-07-28 cs.CV
High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
CUHK MMLab（香港中文大学多模态实验室）；Vivix Group Limited（Vivix集团有限公司）；Shenzhen Loop Area Institute（深圳河套学院）；CPII under InnoHK（创新香港下的CPII）
本文提出了一种ID约束的面部条件化框架，通过解耦条件注入确保身份保持并优化属性对齐，结合身份和对抗损失提升生成质量，在定性和定量评估中均优于现有方法。
2026-03-18 cs.CV
FaceScore: Benchmarking and Enhancing Face Quality in Human Generation
Shanghai Jiao Tong University（上海交通大学）；OPPO AI Center（OPPO人工智能中心）
针对扩散模型生成人脸质量低、现有指标与人类判断一致性差的问题，提出新型人脸质量指标FaceScore，可用于优化扩散模型以提升人脸生成质量。
2024-09-12 cs.CV
CSFlow: Aligning Flow Matching with Human Contrast Sensitivity
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区）
提出CSFlow加权方案，通过将人类对比敏感度函数与流匹配的迭代去噪步骤对齐，在傅里叶空间中引入软自回归结构，提升生成图像的视觉真实感，FID降低4.7%，Inception Score提升2.2%。
2026-06-07 cs.CV
Enhancing Diffusion Face Generation with Contrastive Embeddings and SegFormer Guidance
University of Surrey, UK（英国萨里大学）
本文提出在小规模 CelebAMask-HQ 数据集上评估扩散模型的人脸生成基准，主要贡献是引入 InfoNCE 损失和 SegFormer 分割编码器，显著提升了有限数据下属性引导生成的语义对齐与可控性。
2025-08-13 cs.CV
GAN Prior Embedded Network for Blind Face Restoration in the Wild
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
从严重退化的人脸图像中进行盲人脸恢复是一个非常具有挑战性的问题。由于问题的高度病态性和复杂的未知退化，直接训练深度神经网络（DNN）通常不能得到可接受的结果。现有的基于生成对抗网络（GAN）的方法可以产生更好的结果，但往往会产生过度平滑的结果。在这项工作中，我们提出了一种新的方法，首先学习一个GAN来生成高质量的人脸图像，并将其嵌入到U形DNN中作为先验解码器，然后用一组合成的低质量人脸图像来微调GAN先验嵌入的DNN。GAN块被设计为确保输入到GAN的潜在代码和噪声可以分别从DNN的深特征和浅特征生成，从而控制重构图像的全局人脸结构、局部人脸细节和背景。所提出的GAN先验嵌入式网络（GPEN）易于实现，并且可以生成视觉上照片般逼真的结果。我们的实验表明，所提出的GPEN实现显着优于国家的最先进的BFR方法的定量和定性的结果，特别是在野外严重退化的人脸图像的恢复。源代码和模型可以在https://github.com/yangxy/GPEN上找到。
2021-05-13 cs.CV
Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention
Carnegie Mellon University（卡内基梅隆大学）；INSAIT, Sofia University（索非亚大学INSAIT学院）
本文提出 PVA 并行视觉注意力机制并结合扩散模型，利用参考身份编码器特征实现个性化人脸修复，在身份保持、语言可控性和微调效率上显著优于现有方法。
2023-12-06 cs.CV cs.LG
Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
TTI-Chicago（芝加哥丰田技术研究所）；Purdue University（普渡大学）；Adobe Research（奥多比研究院）
我们提出了Fast text2StyleGAN，这是一种自然语言接口，可以将预先训练的GANs用于文本引导的人脸合成。利用对比图像预训练（CLIP）的最新进展，在训练过程中不需要文本数据。Fast text2StyleGAN是一个有条件的变分自编码器（CVAE），它在测试时为生成的图像提供额外的控制和多样性。当遇到新的文本提示时，我们的模型不需要重新训练或微调GANs或CLIP。与之前的工作相比，我们在测试时不依赖于优化，这使得我们的方法比之前的工作快了几个数量级。从经验上讲，在FFHQ数据集上，我们的方法提供了更快，更准确的生成图像的自然语言描述与不同层次的细节相比，以前的工作。
2022-09-08 cs.CV cs.LG
ToonAging: Face Re-Aging upon Artistic Portrait Style Transfer
Chung-Ang University（中央大学）；VIVE STUDIOS（VIVE工作室）；Coupang
提出一种单阶段方法，将面部再老化与艺术肖像风格迁移结合，通过融合潜在向量在单一生成步骤中实现，避免顺序处理的伪影，无需配对数据集，保持自然外观和可控性。
2024-05-28 cs.AI cs.CV cs.GR
Face0: Instantaneously Conditioning a Text-to-Image Model on a Face
Google Research（谷歌研究院）
本研究提出Face0方法，通过增强含人脸嵌入的数据集训练模型，无需优化即可在几秒内实现人脸条件的文本到图像生成，还可解决角色一致性生成问题，为缓解模型偏差提供新思路。
2023-06-11 cs.AI cs.CV cs.GR
FissionVAE: Federated Non-IID Image Generation with Latent Space and Decoder Decomposition
Swansea University（斯旺西大学）；Durham University（达勒姆大学）；Xi’Dian University（西安电子科技大学）
本文提出FissionVAE，通过解耦隐空间并为不同客户端组构建定制化解码器分支，结合层次化VAE和异构解码器架构，有效解决了联邦学习中非独立同分布数据导致的图像生成质量下降问题。
2025-05-05 cs.AI cs.CV cs.LG
Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech
NAVER AI Lab（NAVER人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；NAVER Cloud（NAVER云）
这项工作的目标是zero-shot文本到语音合成，说话风格和声音从面部特征学习。受人们可以想象某人的声音，当他们看着他或她的脸的自然事实的启发，我们引入了一个统一的框架内，从可见的属性，称为Face-TTS面部风格的扩散文本到语音（TTS）模型。这是第一次使用人脸图像作为条件来训练TTS模型。我们联合训练跨模型的生物识别和TTS模型，以保持说话人的身份之间的人脸图像和生成的语音段。我们还提出了一个说话人特征绑定损失，以加强在说话人嵌入空间中的生成和地面真实语音段的相似性。由于生物特征信息是直接从人脸图像中提取的，因此我们的方法不需要额外的微调步骤来生成来自看不见和听不见的扬声器的语音。我们训练和评估的LRS 3数据集，在野生的视听语料库包含背景噪音和不同的说话风格的模型。项目页面是https://facetts.github.io。
2023-02-27 cs.CV cs.LG cs.SD
Multi-Domain Norm-referenced Encoding Enables Data Efficient Transfer Learning of Facial Expression Recognition
International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Eberhard Karls University of Tübingen（图宾根大学）
提出基于范数参考编码的受生物学启发机制，通过结合特定领域参考向量实现跨域面部表情识别的高效迁移学习，仅需12张图像即在FERG数据集上达到92.15%准确率，超越用4.3万张图像训练的基线模型。
2023-04-05 cs.CV
Large-scale Datasets: Faces with Partial Occlusions and Pose Variations in the Wild
Wayne State University（韦恩州立大学）
人脸检测方法依赖于人脸数据集进行训练。然而，现有的人脸数据集往往是在小规模的人脸学习在约束和无约束的环境。在本文中，我们首先介绍了我们的大规模图像数据集，大规模标记人脸（LSLF）和嘈杂的大规模标记非人脸（LSLNF）。我们的LSLF数据集由大量无约束的多视图和部分遮挡的人脸组成。人脸在颜色和灰度、图像质量、图像分辨率、图像照明、图像背景、图像错觉、人脸、卡通脸、面部表情、轻微和严重的部分面部遮挡、化妆、性别、年龄和种族方面有许多变化。这些面部中的许多面部被诸如纹身、帽子、眼镜、太阳镜、手、头发、胡子、围巾、麦克风或其他物体或人的配件部分地遮挡。LSLF数据集是目前文献中最大的标记人脸图像数据集，与其他现有的标记人脸图像数据集相比，标记图像的数量和个体的数量。其次，我们介绍了我们的CrowedFaces和CrowedNonFaces图像数据集。crowedFaces和crowedNonFaces数据集包括拥挤场景中的人脸和非人脸图像。这些数据集的主要目的是为研究人员提供大量的训练样本，具有许多变化的大规模人脸学习和人脸识别任务。
2017-06-27 cs.CV
