Facial Synthesis from Visual Attributes via Sketch using Multi-Scale Generators
Johns Hopkins University（约翰霍普金斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。我们首先合成与视觉属性相对应的人脸草图，然后基于合成的草图生成人脸图像。所提出的框架基于两种不同的生成对抗网络（GANs）的组合-（1）草图生成器网络，其从输入属性合成逼真的草图，以及（2）面部生成器网络，其在面部属性的帮助下从合成的草图图像合成面部图像。大量的实验和最近的方法进行比较，以验证所提出的基于属性的两阶段人脸合成方法的有效性。
2019-12-17 cs.CV
Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
面部老化和面部年轻化分析给定的面部照片以预测人的未来外观或估计人的过去外观。为了实现这一点，关键是要保持人类身份和相应的老化进展和回归的高精度。然而，现有的方法不能同时很好地处理这两个目标。我们提出了一种新的基于生成对抗网络的方法，命名为有序回归条件多对抗自动编码器（CMAAE-OR）。它利用年龄估计技术来控制老化的准确性，并采取高层次的特征表示，以保持个性化的身份。具体地，首先通过卷积编码器将面部映射到潜在向量。然后通过去卷积生成器将潜在向量投影到以年龄为条件的面部流形上。特征向量保留了个性化的人脸特征，年龄控制了人脸的衰老和年轻化。在编码器和生成器上施加一个递归和一个有序回归，使得生成的人脸图像更加逼真，同时表现出理想的老化效果。此外，一个高层次的特征表示是用来保持个性化的身份生成的脸。在两个基准数据集上的实验表明，该方法的性能优于现有技术。
2018-04-08 cs.CV
FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability
本文提出FAAC方法，利用锚定帧和3D人脸模型条件控制，解决面部视频生成中的保真度、一致性和可编辑性问题，显著提升生成质量。
2023-12-20 cs.CV
Video synthesis of human upper body with realistic face
Clouminds；Beihang University（北京航空航天大学）
本文提出了一种基于生成对抗学习的人体上半身视频合成方法，以生成与源视频中人体的身体运动、面部表情和姿势一致的目标人的上半身视频。我们使用上半身关键点，面部动作单元和姿势作为源视频和目标视频之间的中间表示。该方法不直接将源视频转换为目标视频，而是先将源视频中人物的面部动作单元和姿态映射到目标视频中人物的面部特征点，然后将归一化的上身关键点和生成的面部特征点进行时空平滑处理，生成相应的目标视频图像。实验结果证明了该方法的有效性。
2019-09-12 cs.CV
FaceCrafter: Identity-Conditional Diffusion with Disentangled Control over Facial Pose, Expression, and Emotion
Institute of Science Tokyo（东京科学研究所）；Imperial College London（伦敦帝国学院）
FaceCrafter提出一种身份条件扩散模型，通过轻量级控制模块和正交化训练策略，在保持身份的同时独立控制面部姿态、表情与情感，提升控制精度和生成多样性。
2025-08-23 cs.CV
3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
由于面部肌肉产生的细粒度形状变化以及监督学习缺乏输入输出对，操纵面部表情是一项具有挑战性的任务。不同于以往的方法使用生成对抗网络（GAN），依赖于周期一致性损失或稀疏几何（地标）损失的表达合成，我们提出了一种新的GAN框架，利用三维密集（深度和表面法线）的信息表达操纵。然而，包含具有表情注释的RGB图像及其相应深度图的大规模数据集不可用。为此，我们建议使用现成的最先进的3D重建模型来估计深度，并在手动数据清理过程后创建大规模的RGB-Depth数据集。我们利用这个数据集通过对抗性学习来最小化新的深度一致性损失（注意，我们没有生成的面部图像的地面真实深度图）和深度分类损失上的合成数据。此外，为了提高泛化能力并降低深度参数的偏差，我们建议在框架的右侧使用一种新的置信正则化器。我们对两个公开的具有挑战性的面部表情基准进行了广泛的定量和定性评估：AffectNet和RaFD。我们的实验表明，所提出的方法优于竞争基线和现有的艺术由一个大的利润。
2020-09-30 cs.CV
eMotion-GAN: A Motion-based GAN for Photorealistic and Facial Expression Preserving Frontal View Synthesis
IMT Nord Europe, Institut Mines-Télécom, Univ. Lille（北法国电信与管理学院、矿业电信学院、里尔大学）
针对头部姿态变化导致面部表情识别性能下降的问题，提出eMotion-GAN方法，在运动域滤除头部姿态噪声运动、保留表情运动以合成保表情正面人脸，显著缩小不同姿态下的识别性能差距。
2024-04-15 cs.CV
Electromyography-Informed Facial Expression Reconstruction for Physiological-Based Synthesis and Analysis
Friedrich Schiller University Jena（弗里德里希·席勒大学耶拿分校）；Jena University Hospital（耶拿大学医院）
本文提出EIFER方法，通过结合3DMM与神经非配对图像翻译，在sEMG电极遮挡下重建面部表情，并建立表情参数与肌肉活动的双向映射，实现生理驱动的表情合成与分析。
2025-03-12 cs.CV
Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis
West Virginia University（西弗吉尼亚大学）
人脸素描照片合成是执法和数字娱乐行业中的一个重要应用，其目标是学习人脸素描图像与其对应的照片级真实感图像之间的映射。然而，配对的草图-照片训练数据的有限数量通常阻止当前框架学习草图的几何形状与其匹配的照片真实感图像之间的鲁棒映射。因此，在这项工作中，我们提出了一种方法来学习合成一个真实感的图像，从一个人脸素描在一个无监督的方式。与目前的无监督图像到图像的翻译技术相比，我们的框架利用了一种新的感知机器学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明，同时优化的人脸照片生成器网络，采用所提出的感知的纹理明智的组合，结果在合成照片的质量和识别率的显着提高。我们通过对多个基线草图照片数据集进行广泛的实验来评估所提出的网络。
2018-10-12 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis
Renmin University of China（中国人民大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Psyche AI Inc.（Psyche AI公司）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
在合成逼真的、语音驱动的说话头部视频中实现高同步提出了重大挑战。传统的生成对抗网络（GAN）难以保持一致的面部身份，而神经辐射场（NeRF）方法虽然可以解决这个问题，但通常会产生不匹配的嘴唇运动，不适当的面部表情和不稳定的头部姿势。一个逼真的会说话的头部需要主体身份、嘴唇运动、面部表情和头部姿势的同步协调。缺乏这些同步是一个根本性的缺陷，导致不现实和人为的结果。为了解决同步的关键问题，确定为“魔鬼”在创建现实的说话头，我们介绍SyncTalk。这种基于NeRF的方法有效地保持了主体身份，增强了说话头部合成的同步性和真实感。SyncTalk采用Face-Sync Controller将嘴唇运动与语音对齐，并创新地使用3D面部融合模型来捕捉准确的面部表情。我们的头部同步稳定器优化头部姿势，实现更自然的头部运动。肖像同步发生器恢复头发的细节，并融合生成的头部与躯干的无缝视觉体验。大量的实验和用户研究表明，SyncTalk在同步和真实感方面优于最先进的方法。我们建议观看补充视频：https://ziqiaopeng.github.io/synctalk
2024-04-28 cs.CV
Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data
KAIST（韩国科学技术院）
在具有公共可用数据集的面部相关应用中，合成非线性面部变化（例如，面部表情、头部姿势、照明等）在解决训练数据的缺乏方面是有帮助的。然而，实际上，甚至没有足够的数据来训练用于面部合成的生成模型。在本文中，我们提出了差分生成对抗网络（D-GAN），即使在训练数据很小的情况下，也可以进行照片级逼真的人脸合成。设计了两个判别器，保证生成器逼近人脸流形，使其能够任意表达人脸变化。实验结果表明，该方法对训练数据的数量具有较好的鲁棒性，合成的图像对提高人脸表情分类器的性能是有用的。
2017-12-29 cs.CV
High-Fidelity 3D Facial Avatar Synthesis with Controllable Fine-Grained Expressions
本文提出一种同时优化预训练3D感知GAN模型的潜在代码和驱动3DMM模型的表情代码的方法，通过双映射模块和文本引导优化实现高保真3D人脸合成与细粒度表情控制。
2026-03-16 cs.CV
Anti-Aesthetics: Protecting Facial Privacy against Customized Text-to-Image Synthesis
针对定制扩散模型带来的面部隐私泄露风险，提出层次化反美学框架，通过全局与局部反美学机制降低生成质量，有效移除身份，优于现有方法。
2025-04-23 cs.CV
Efficient Listener: Dyadic Facial Motion Synthesis via Action Diffusion
Nantes Université（南特大学）；Shanghai Jiao Tong University（上海交通大学）
针对二元对话中听者面部动作生成的实时性瓶颈，提出引入图像扩散方法的FAD模型与适配多模态输入的ELNet网络，在大幅减少99%计算时间的同时显著提升了生成性能。
2025-04-29 cs.CV cs.HC
Regression Guided Strategy to Automated Facial Beauty Optimization through Image Synthesis
University of California San Diego（加利福尼亚大学圣迭戈分校）；Fairmont Preparatory Academy（费尔蒙特预备学院）
本文提出一种回归引导策略，将面部图像投影到预训练GAN潜在空间，并用新开发的面部美感评估回归网络引导潜在点优化，实现数据驱动的自动化面部美感增强，超越现有基于规则的方法。
2025-01-01 cs.CV cs.LG
Talking Face Generation by Conditional Recurrent Adversarial Network
Samsung Research America（三星美国研究院）；IBM（国际商业机器公司）
给定一个任意的人脸图像和一个任意的语音片段，所提出的工作试图生成说话的人脸视频与准确的嘴唇同步，同时保持平滑过渡的嘴唇和面部运动在整个视频剪辑。现有的作品要么不考虑跨不同视频帧的人脸图像的时间依赖性，从而容易产生明显的/突然的面部和嘴唇运动，或者仅限于为特定的人生成说话的面部视频，从而缺乏泛化能力。我们提出了一种新的条件视频生成网络，其中音频输入被视为循环对抗网络的条件，从而将时间依赖性纳入其中，以实现嘴唇和面部运动的平滑过渡。此外，我们在视频生成的背景下部署了一个多任务对抗训练方案，以提高照片的真实感和嘴唇同步的准确性。最后，基于从音频片段中提取的音素分布信息，我们开发了一种样本选择方法，该方法在不牺牲生成视频质量的情况下有效地减小了训练数据集的大小。在受控和非受控数据集上进行的大量实验表明，与最先进的方法相比，所提出的方法在视觉质量、唇同步准确性以及唇和面部运动的平滑过渡方面具有优越性。
2019-07-25 cs.CV
Expression Conditional GAN for Facial Expression-to-Expression Translation
University of Trento（特伦托大学）；EPFL（洛桑联邦理工学院）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Huazhong University of Science and Technology（华中科技大学）；University of Oxford（牛津大学）；Texas State University（德克萨斯州立大学）
本文针对人脸表情翻译问题，提出了一种新的基于表情属性的表情条件GAN（ECGAN）。建议ECGAN是一个通用的框架，适用于不同的表情生成任务，其中特定的面部表情可以很容易地控制的条件属性标签。此外，我们引入了一种新的人脸面具损失，以减少背景变化的影响。此外，我们提出了一个完整的框架，面部表情生成和识别在野外，其中包括两个模块，即，生成和识别。最后，我们评估我们的框架上的几个公共人脸数据集，其中的主题有不同的种族，光照，遮挡，姿势，颜色，内容和背景条件。尽管这些数据集非常多样化，但定性和定量的结果都表明，我们的方法能够准确和鲁棒地生成面部表情。
2019-05-14 cs.AI cs.CV cs.LG
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）；Hefei University of Technology（合肥工业大学）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用，包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制，精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果，他们大多产生模糊的效果和各种面部组件的巨大变形，导致合成图像的不切实际的感觉。为了应对这一挑战，在这项工作中，我们建议使用的面部组成信息，以帮助合成的面部素描/照片。特别是，我们提出了一种新的合成辅助生成对抗网络（CA-GAN）的人脸照片素描合成。在CA-GAN中，我们利用成对的输入，包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外，为了将训练集中在硬生成的组件和精致的面部结构上，我们提出了一种成分重建损失。最后，我们使用堆栈CA-GAN（SCA-GAN）来进一步纠正缺陷并添加引人注目的细节。实验结果表明，我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量，大大降低了以前最好的Frechet Inception距离（FID）。此外，我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果：https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
US-GAN: On the importance of Ultimate Skip Connection for Facial Expression Synthesis
University of the Punjab（旁遮普大学）
该研究提出带终极跳跃连接的轻量US-GAN用于人脸表情合成，参数量与训练数据规模远低于现有模型，在多项指标及用户研究中表现更优。
2023-04-08 cs.CV eess.IV
Facial Demorphing from a Single Morph Using a Latent Conditional GAN
Michigan State University（密歇根州立大学）
针对现有面部去融合方法的复制问题及对融合技术泛化不足，提出在潜在空间分解单张融合图像的潜在条件GAN，实现跨技术、真实面部的高保真去融合。
2025-07-28 cs.CV
SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute
University of Science and Technology Beijing（北京科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在用于面部图像合成的生成对抗网络（GANs）中操纵潜在代码主要集中在连续属性合成（例如，年龄、姿势和情绪），而离散属性合成（如面具和眼镜）受到较少关注。直接将现有的工作应用于面部离散属性可能会导致不准确的结果。在这项工作中，我们提出了一个创新的框架，通过语义分解来解决具有挑战性的面部离散属性合成，称为SD-GAN。具体而言，我们明确地将离散属性表示分解为两个部分，即语义先验基础和偏移潜在表示。语义先验基础为在潜在空间中操作人脸表征提供了初始化方向。提出了利用三维感知语义融合网络获得的偏移潜在表示来调整先验基。此外，融合网络集成了3D嵌入，以更好地保持身份和离散属性合成。先验基和偏移潜在表示的结合使我们的方法能够合成具有离散属性的照片级真实感人脸图像。值得注意的是，我们构建了一个大型且有价值的数据集MEGN（从Google和Naver抓取的面罩和眼镜图像），以弥补现有数据集中缺乏离散属性的问题。大量的定性和定量实验证明了我们的方法的最先进的性能。我们的代码可在https://github.com/MontaEllis/SD-GAN上获取。
2022-07-12 cs.CV
F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
Zhejiang University（浙江大学）；International Design Institute of Zhejiang University（浙江大学国际设计研究院）
作为一个条件生成问题，人脸动画的目的是合成连续的人脸图像从一个单一的源图像驱动的一组条件的人脸运动。先前的工作主要将面部运动建模为具有1D或2D表示的条件（例如，动作单元、情感代码、地标），这在一些复杂场景中，例如连续生成和大姿态变换，常常导致低质量的结果。为了解决这个问题，条件应该满足两个要求，即，运动信息保持和几何连续性。为此，我们提出了一种新的表示的基础上的3D几何流，称为面部流，表示在任何姿势的人脸的自然运动。与以往的其他条件相比，所提出的面部流很好地控制了面部的连续变化。之后，为了利用人脸流进行人脸编辑，我们建立了一个合成框架，生成具有条件人脸流的连续图像。为了充分利用人脸流的运动信息，设计了一个分层条件框架，以分层的方式将从图像中提取的多尺度外观特征和从流中提取的运动特征相结合。然后，框架将多个融合特征逐步解码回图像。实验结果表明，我们的方法相比，其他国家的最先进的方法的有效性。
2022-05-13 cs.AI cs.CV
An Efficient Integration of Disentangled Attended Expression and Identity FeaturesFor Facial Expression Transfer andSynthesis
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个基于注意力的身份保持生成对抗网络（AIP-GAN），以克服身份泄漏的问题，从源图像生成的人脸图像，一个问题，遇到了跨学科的面部表情传输和合成过程。我们的关键见解是，身份保持网络应该能够解开和组成形状，外观和表情信息，有效的面部表情传输和合成。具体来说，我们的AIP-GAN的表情编码器通过使用我们的监督空间和通道注意力模块预测其面部标志来从输入源图像中解开表情信息。类似地，通过使用我们的自监督空间和通道注意力模型推断其组合的内在形状和外观图像，从输入目标图像中提取解纠缠的表情不可知的身份特征。为了利用我们两个编码器的中间层编码的表达和身份信息，我们使用交叉编码器双线性池化操作将这些特征与我们解码器的中间层学习的特征相结合。实验结果表明，我们的AIP-GAN为基础的技术有前途的性能。
2020-05-01 cs.CV
When Visible-to-Thermal Facial GAN Beats Conditional Diffusion
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；Booz Allen Hamilton（博思艾伦汉密尔顿）
本文提出 VTF-GAN，通过同时学习空间域和频率域并联合多种损失函数，在可见光到热红外人脸生成任务上超越了多个 GAN 基线及条件扩散模型 VTF-Diff。
2023-02-18 cs.AI cs.CV eess.IV
Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
Research School of Computer Science, Australian National University（澳大利亚国立大学计算机科学研究学院）
三维人脸重建是计算机视觉的一个重要应用。然而，即使是最先进的模型仍然需要正面人脸作为输入，这限制了其在野外的使用场景。类似的困境也发生在人脸识别中。新的研究旨在恢复正面的脸从一个单一的侧面姿态的人脸图像已经出现。这一领域的最新技术是基于CycleGAN的Face-Transformation生成对抗网络。这启发了我们的研究，探索了两个模型在正面面部合成中的像素变换性能，Pix 2 Pix和CycleGAN。我们在Pix 2 Pix上进行了五种不同损失函数的实验以提高其性能，然后提出了一种新的用于正面人脸合成的网络Pairwise-GAN。Pairwise-GAN使用两个并行的U型网络作为生成器，PatchGAN作为生成器。详细的超参数进行了讨论。基于面部相似性比较的定量测量，我们的结果表明，与默认Pix 2 Pix模型相比，具有L1损失、梯度差损失和身份损失的Pix 2 Pix在平均相似性上提高了2.72%。此外，在平均相似度上，Pairwise-GAN的性能比CycleGAN高5.4%，比Pix 2 Pix高9.1%。
2020-09-13 cs.CV
DiffFace: Diffusion-based Face Swapping with Facial Guidance
VIVE STUDIOS（VIVE工作室）；Korea University（高丽大学）
在本文中，我们首次提出了一个基于扩散的人脸交换框架，称为DiffFace，由训练ID条件DDPM，面部引导采样和目标保持混合组成。具体地，在训练过程中，ID条件DDPM被训练以生成具有期望身份的人脸图像。在采样过程中，我们使用现成的人脸专家模型，使模型传递源身份，同时忠实地保留目标属性。在此过程中，为了保持目标图像的背景，并获得期望的人脸交换结果，我们还提出了一个目标保持的混合策略。它帮助我们的模型在传递源面部身份的同时保持目标面部的属性不受噪声影响。此外，在没有任何重新训练的情况下，我们的模型可以灵活地应用额外的面部指导，并自适应地控制ID属性的权衡，以达到预期的结果。据我们所知，这是第一个将扩散模型应用于人脸交换任务的方法。与以前的基于GAN的方法相比，通过利用人脸交换任务的扩散模型，DiffFace实现了更好的好处，如训练稳定性，高保真度，样本的多样性和可控性。大量的实验表明，我们的DiffFace是可比的或优于国家的最先进的方法在几个标准的人脸交换基准。
2022-12-27 cs.CV
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA（英伟达）
现有的条件图像合成框架基于单个模态中的用户输入（诸如文本、分割、草图或样式参考）来生成图像。他们往往无法利用多模态用户输入时，这降低了他们的实用性。为了解决这一限制，我们提出了专家产品生成对抗网络（PoE-GAN）框架，它可以合成基于多个输入模态或其中任何子集（甚至是空集）的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案，PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外，在单峰设置中进行测试时，PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；Department of Psychology, University of Tennessee（田纳西大学心理学系）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
生成对抗网络（GANs）能够合成高质量的面部图像。尽管取得了成功，但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前，面部GANs是在不平衡的数据集上训练的，这会产生不太多样化的图像。例如，我们使用StyleGAN 3随机合成的10万张图像中，超过77%被归类为快乐，只有大约3%被归类为愤怒。当需要混合面部属性时，问题甚至变得更糟：生成的样本中只有不到1%是愤怒的女人，只有大约2%是快乐的黑人。为了解决这些问题，本文提出了一个名为GANalyzer的框架，用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成，旨在操作特定面部属性（如面部表情，年龄，性别和种族）的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠，并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
Considering Race a Problem of Transfer Learning
University of Cambridge（剑桥大学）
随着生物识别应用被用于为大的人口群体服务，各个子群体之间的性能差异问题变得越来越重要。在本文中，我们研究的情况下，我们认为种族是这样一个因素。我们特别关注两种形式的问题：面部分类和图像合成。我们采用了一种新的方法，将种族作为迁移学习的边界，用于任务（面部分类）和域（不同数据集的合成）。我们展示了一系列的技术，以提高面部分类的迁移学习;优于在目标自己的领域训练的类似模型。我们进行了一项研究，以评估经过训练进行图像合成的生成对抗网络的性能下降，在这个过程中，我们按种族为Celeb-A数据集生成了一个新的注释。这些网络只在一个种族上训练，在另一个种族上测试-证明CelebA的子集是这项任务的不同领域。
2018-12-12 cs.CV
FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
Stony Brook University（石溪大学）；Adobe Research（奥多比研究院）
提出了一种用于可控人像视频合成的神经渲染方法。体神经渲染的最新进展，如神经辐射场（NeRF），使照片级逼真的静态场景的新颖的视图合成与令人印象深刻的结果。然而，建模动态和可控的对象作为一个场景的一部分，这样的场景表示仍然是具有挑战性的。在这项工作中，我们设计了一个系统，使新的视图合成的人像视频，包括人类主体和场景背景，并通过低维的表达表示的面部表情的显式控制。我们利用3D变形人脸模型（3DMM）的表情空间来表示人类面部表情的分布，并使用它来调节NeRF体积函数。此外，我们施加了一个空间先验带来的3DMM拟合，以指导网络学习解纠缠控制的场景外观和面部动作。我们证明了我们的方法的有效性，自由视图合成的人像视频与表情控制。为了训练场景，我们的方法仅需要由移动终端捕获的主体的短视频。
2021-08-10 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）
针对亲属人脸合成中多样性与保真度难以兼顾的问题，提出融合StyleGAN与扩散模型的StyleDiT框架，并引入关系特征引导机制，实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
Face Synthesis from Visual Attributes via Sketch using Conditional VAEs and GANs
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Rutgers University（罗格斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。首先合成与视觉属性相对应的人脸草图，然后基于合成的草图重建人脸图像。提议的Attribute2Sketch2Face框架基于深度条件变分自编码器（CVAE）和生成对抗网络（GANs）的组合，由三个阶段组成：（1）使用CVAE架构从属性合成面部草图，（2）使用基于GAN的框架增强粗略草图以产生更清晰的草图，以及（3）使用另一个基于GAN的网络从草图合成人脸。通过大量的实验和与现有方法的比较，验证了所提出的基于属性的三阶段人脸合成方法的有效性。
2017-12-30 cs.CV
LaPIG: Cross-Modal Generation of Paired Thermal and Visible Facial Images
University College London（伦敦大学学院）；Xiamen University（厦门大学）
针对成对可见光与热成像人脸数据稀缺问题，提出LaPIG框架，结合LLM生成标题、ArcFace合成可见光图像及LDM翻译热成像，生成保持身份的多视角高质量成对数据，优于现有方法。
2025-09-05 cs.CV
Texture Deformation Based Generative Adversarial Networks for Face Editing
Institute of Computer Vision（计算机视觉研究所）；Shenzhen University（深圳大学）
尽管在图像到图像的转换和基于潜在表征的面部属性编辑和表情合成方面取得了显著的成功，但现有方法在细节的清晰度、清晰的图像转换和身份保持方面仍然存在局限性。为了解决这些问题，我们提出了一种基于纹理变形的GAN，即TDB-GAN，从原始图像中分离纹理，并根据提取的纹理转移域。该方法利用纹理来传递面部属性和表情，而不考虑对象的姿态。这导致合成的面部的形状细节和更明显的视觉效果。此外，它在训练过程中带来了更快的收敛速度。所提出的方法的有效性进行了验证，通过广泛的消融研究。我们也对我们的方法在人脸属性和表情合成上进行了定性和定量的评估。CelebA和RaFD数据集上的结果表明，基于纹理变形的GAN实现了更好的性能。
2018-12-24 cs.CV
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment
Sun Yat-sen University（中山大学）；Cardiff University（卡迪夫大学）
针对音频驱动面部重演中显式与隐式表征的权衡问题，提出参数化隐式人脸表征及可控高质量重演框架，通过多项技术优化提升生成效果与泛化性，实验验证其在逼真度和身份风格保真度上优于现有方法。
2023-06-13 cs.CV
Exemplar-based Generative Facial Editing
School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）
随着生成模型的不断发展，图像合成技术得到了长足的进步。本文提出了一种新的基于样本的面部编辑生成方法，其形式为区域修复。该方法首先对人脸编辑区域进行掩模，消除原始图像的像素约束，然后通过学习参考图像中的相应信息完成掩模区域，从而实现基于样本的人脸编辑。此外，我们施加的属性标签约束模型解纠缠编码，以避免不必要的信息被转移到原始图像编辑区域的样本。实验结果表明，我们的方法可以产生多样化和个性化的人脸编辑结果，并提供更多的用户控制的灵活性比几乎所有现有的方法。
2020-05-31 cs.CV
Conditional Image Generation and Manipulation for User-Specified Content
University of Amsterdam（阿姆斯特丹大学）；Dutch National Police（荷兰国家警察）
近年来，生成对抗网络（GANs）在生成越来越令人印象深刻的真实世界图像方面取得了稳步进展。为了诸如内容创建之类的目的，操纵图像生成过程是有用的。这可以通过在附加信息上调节模型来完成。然而，当条件作用于附加信息时，仍然存在大量符合特定条件作用的图像。这使得所生成的图像不太可能完全如用户所设想的那样，这对于诸如生成面部合成或库存照片的实际内容创建场景是有问题的。为了解决这个问题，我们提出了一个单一的管道文本到图像的生成和操作。在管道的第一部分中，我们介绍了textStyleGAN，这是一个以文本为条件的模型。在管道的第二部分，我们使用textStyleGAN的预训练权重来执行语义面部图像操作。该方法的工作原理是在潜在空间中寻找语义方向。我们表明，这种方法可以用来操纵面部图像的广泛的属性。最后，我们介绍了CelebTD-HQ数据集，这是CelebA-HQ的扩展，由人脸和相应的文本描述组成。
2020-05-11 cs.CV
CA-IDD: Cross-Attention Guided Identity-Conditional Diffusion for Identity-Consistent Face Swapping
School of Computing（计算学院）
本文提出CA-IDD，一种基于扩散的面部交换方法，通过多尺度交叉注意力整合 gaze、身份和面部解析，提升身份一致性和视觉真实性，实现稳定训练和精细区域控制。
2026-04-27 cs.CV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
ICE-GAN: Identity-aware and Capsule-Enhanced GAN with Graph-based Reasoning for Micro-Expression Recognition and Synthesis
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
微表情是人们真实情感和动机的反映，因此吸引了越来越多的研究者对人脸微表情自动识别的研究。短的检测窗口，微妙的面部肌肉运动和有限的训练样本使得微表情识别具有挑战性。为此，我们提出了一种新的基于图推理的身份感知和胶囊增强的生成对抗网络（ICE-GAN），引入微表情合成作为辅助任务来辅助识别。生成器生成具有可控微表情和身份感知特征的合成人脸，其长期依赖性通过图推理模块（GRM）捕获，并且该生成器检测图像真实性和表情类。我们的ICE-GAN在Micro-Expression Grand Challenge 2019（MEGC 2019）上进行了评估，与获奖者相比有显著改善（12.9%），并超过了其他最先进的方法。
2021-04-26 cs.CV
Global and Local Consistent Age Generative Adversarial Networks
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
由于人类衰老过程的复杂性和非线性变化，年龄增长/回归是一项具有挑战性的任务。许多研究表明，人脸的全局和局部特征对人脸的表示都是必不可少的，但以往的基于GAN的方法在年龄合成中主要关注全局特征。为了同时利用全局和局部人脸信息，我们提出了一个全局和局部一致的年龄生成对抗网络（GLCA-GAN）。在我们的生成器中，一个全局网络学习整个面部结构并模拟整个面部的老化趋势，而三个关键的面部补丁由三个局部网络进行进步或回归，旨在模仿关键面部子区域的细微变化。为了保留年龄属性不相关区域中的大部分细节，我们的生成器学习了剩余面部。此外，我们采用身份保持损失，以更好地保持身份信息，以及年龄保持损失，以提高年龄合成的准确性。采用像素丢失算法来保留输入人脸的细节信息。我们提出的方法在三个人脸老化数据集上进行了评估，即，CACD数据集、Morph数据集和FG-NET数据集。实验结果表明，该方法与现有方法相比具有良好的性能。
2018-01-25 cs.CV
Learning to Generate Facial Depth Maps
Department of Engineering “Enzo Ferrari”（恩佐·法拉利工程系）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；via Vivarelli 10, Modena 41125, Italy（意大利摩德纳维瓦雷利街10号，41125）
本文提出了一种基于单目亮度图像的人脸深度图估计的对抗性结构。通过遵循图像到图像的方法，我们结合了监督学习和对抗训练的优势，提出了一种条件生成对抗网络，它可以有效地学习将强度人脸图像转换为相应的深度图。利用两个公共数据集，即Biwi数据库和Pandora数据集，证明该模型生成高质量的合成深度图像，无论是在视觉外观和信息内容方面。此外，我们表明，该模型能够预测独特的面部细节，通过测试生成的深度图，通过一个深度模型训练真实的深度图的面部验证任务。
2018-05-30 cs.CV
MMoT: Mixture-of-Modality-Tokens Transformer for Composed Multimodal Conditional Image Synthesis
South China University of Technology（华南理工大学）；JD Explore Academy（京东探索研究院）；Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出MMoT模型，通过自适应融合多模态控制信号、平衡训练损失和采样引导，解决组合多模态条件图像合成中的模态协调与不平衡问题，实现高质量忠实图像生成。
2023-05-10 cs.CV
Bipartite Graph Reasoning GANs for Person Pose and Facial Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；Terminus Group（特斯联集团）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
我们提出了一种新的二分图推理生成对抗网络（BiGraphGAN）的两个具有挑战性的任务：人的姿态和面部图像合成。所提出的图形生成器由两个新的块，旨在建模的姿态姿态和姿态图像的关系，分别。具体而言，所提出的二分图推理（BGR）块旨在推理二分图中的源和目标姿态之间的长距离交叉关系，这减轻了姿态变形造成的一些挑战。此外，我们提出了一个新的互动和聚合（IA）块，以有效地更新和提高一个人的形状和外观的特征表示能力，在一个互动的方式。为了更精确地捕捉每个部分的姿态变化，我们提出了一种新的部分感知二分图推理（PBGR）块，将用二分图推理全局结构变换的任务分解为学习不同语义的身体/面部部分的不同局部变换。在两个具有挑战性的生成任务与三个公共数据集上的实验证明了所提出的方法在客观定量分数和主观视觉真实性方面的有效性。源代码和训练模型可在https://github.com/Ha0Tang/BiGraphGAN上获得。
2022-11-12 cs.AI cs.CV
FacEDiT: Talking Head Video Editing via Facial Motion Infilling
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
FacEDiT通过语音条件面部运动填充框架，实现说话人脸编辑与生成的统一，具备准确的语音对齐和强身份保持性。
2026-11-06 cs.AI cs.CV
Self-supervised Deformation Modeling for Facial Expression Editing
Stony Brook University（石溪大学）
深度生成模型的最新进展在照片级逼真的面部图像合成和编辑方面取得了令人印象深刻的结果。面部表情本质上是肌肉运动的结果。然而，现有的基于神经网络的方法通常只依赖于纹理生成来编辑表情，而在很大程度上忽略了运动信息。在这项工作中，我们提出了一种新的端到端网络，将面部编辑任务分解为两个步骤：“运动编辑”步骤和“纹理编辑”步骤。在“运动编辑”步骤中，我们通过图像变形明确地对面部运动建模，将图像扭曲成所需的表情。在“纹理编辑”步骤中，我们生成必要的纹理，如牙齿和阴影效果，以获得照片般逼真的效果。我们基于物理的任务分解系统设计允许每一步学习一个集中的任务，消除了生成纹理以产生幻觉运动的需要。我们的系统以自我监督的方式进行训练，不需要地面真实变形注释。使用动作单元[8]作为面部表情的表示，我们的方法在定性和定量评估方面提高了最先进的面部表情编辑性能。
2019-11-05 cs.CV
FaceFeat-GAN: a Two-Stage Approach for Identity-Preserving Face Synthesis
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
生成对抗网络（GANs）的进步使逼真的人脸图像合成成为可能。然而，合成保留面部身份以及每个身份内具有高多样性的面部图像仍然具有挑战性。为了解决这个问题，我们提出了一种新的生成模型Faceon-GAN，它通过使用两个阶段来提高图像质量和多样性。与现有的单阶段模型，将随机噪声直接映射到图像，我们的两阶段合成包括不同的功能生成的第一阶段和功能到图像渲染的第二阶段。生成器和鉴别器之间的竞争是精心设计的，在这两个阶段与不同的目标函数。特别地，在第一阶段，它们在特征域中竞争以合成各种面部特征而不是图像。在第二阶段，它们在图像域中竞争，以呈现包含高多样性但保留身份的照片级逼真图像。大量的实验表明，Facebook-GAN生成的图像不仅保留了身份信息，而且具有高多样性和高质量，显著优于以前的方法。
2018-12-04 cs.CV
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
利用图像生成模型的最新进展，现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像，例如，控制所生成的面部图像的形状、表情、纹理和姿态。然而，这些方法集中在2D图像生成模型，这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中，我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架，它使三维可控性所产生的人脸图像施加明确的三维条件，从三维人脸先验。其核心是一个条件生成占用字段（cGOF），有效地强制生成的脸的形状提交给一个给定的3D变形模型（3DMM）网格。为了实现对合成图像的细粒度3D人脸形状的精确控制，我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性，它能够生成高保真的人脸图像，并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Nested Scale Editing for Conditional Image Synthesis
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种图像合成方法，提供分层导航的潜在代码空间。对于少量的部分或非常低分辨率的图像，我们的方法可以在生成最接近地面真实的采样图像方面始终优于最先进的同行。我们通过独立于尺度的编辑来实现这一点，同时扩大特定尺度的多样性。尺度独立性是通过嵌套尺度解纠缠损失实现的。特定规模的多样性是通过引入渐进的多样化约束来创建的。我们通过共享共同的潜在代码来引入跨尺度的语义持久性。它们共同提供了对图像合成过程的更好控制。我们通过各种任务来评估我们所提出的方法的有效性，包括图像外绘，图像超分辨率和跨域图像翻译。
2020-06-03 cs.CV
Age-Oriented Face Synthesis with Conditional Discriminator Pool and Adversarial Triplet Loss
University of Warwick（华威大学）；Deakin University（迪肯大学）
香草生成对抗网络（GAN）通常用于生成描绘衰老和年轻面孔的逼真图像。然而，这种普通GANs在面向年龄的人脸合成任务中的性能通常受到模式坍塌问题的影响，这可能导致生成具有最小变化的人脸和较差的合成精度。此外，最近的面向年龄的人脸合成方法使用的L1或L2约束，以保持合成的脸，这隐含地限制了身份持久性的能力时，这些约束与一个平凡的加权因子。在本文中，我们提出了一种面向年龄的人脸合成任务，实现了高的合成精度与强身份持久性的能力。具体来说，为了实现高的合成精度，我们的方法解决了模式坍塌的问题与一个新的条件判别池（CDP），其中包括多个判别器，每个针对一个特定的年龄类别。为了实现强大的身份持久性能力，我们的方法使用了一种新的对抗性三重损失。这种基于三重损失的损失增加了一个排名操作，以进一步将正嵌入拉向锚嵌入，从而显著降低了特征空间中的类内方差。通过大量的实验，我们表明，我们提出的方法优于国家的最先进的方法在合成精度和身份持久性的能力，定性和定量。
2020-07-03 cs.CV
Unconstrained Facial Expression Transfer using Style-based Generator
Facebook AI（脸书人工智能研究院）
人脸表情转移与再现在人脸编辑、图像处理、合成视频等领域有着广泛的应用，是一个重要的研究课题。我们提出了一种新的方法，基于图像的面部表情转移，利用最近的风格为基础的GAN是非常有效的创建逼真的图像。给定两张人脸图像，我们的方法可以创建合理的结果，将一张图像的外观和另一张图像的表情结合起来。为了实现这一点，我们首先提出了一个基于StyleGAN的优化过程，从图像中推断出分层的风格向量，从而解开面部的不同属性。我们进一步引入了一个线性组合方案，融合了两个给定图像的风格向量，并生成一个新的面孔，结合了表情和外观的输入。我们的方法可以创建高质量的合成与准确的面部重现。与许多现有的方法不同，我们不依赖于几何注释，并且可以应用于任何身份的无约束面部图像，而无需重新训练，从而可以生成大规模的表情转移结果。
2019-12-12 cs.CV
AnyFace: Free-style Text-to-Face Synthesis and Manipulation
Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
现有的文本到图像合成方法通常仅适用于训练数据集中的单词。然而，人脸是如此的多变，以至于只能用有限的词汇来描述。因此，本文提出了第一个自由风格的文本到人脸的方法，即AnyFace，使更广泛的开放世界的应用程序，如虚拟世界，社交媒体，化妆品，取证等AnyFace有一个新的两个流框架的人脸图像合成和操纵给出任意描述的人脸。具体地，一个流执行文本到面部生成，另一个流进行面部图像重建。使用CLIP（对比图像预训练）编码器提取面部文本和图像特征。并设计了一个协作的跨模态蒸馏（CMD）模块，以对齐这两个流的语言和视觉特征。此外，一个多样化的三重损失（DT损失）的开发模型细粒度的功能和提高面部多样性。在多模态CelebA-HQ和CelebAText-HQ上进行的大量实验表明，AnyFace比最先进的方法具有显着的优势。AnyFace可以实现高质量，高分辨率和高多样性的人脸合成和操作结果，而无需对输入字幕的数量和内容进行任何限制。
2022-03-29 cs.CV
