Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification
本文提出了一种基于扩散模型的对抗性补丁生成与检测方法，通过FGSM和ViT-GPT2模型提升对抗性攻击的隐蔽性与有效性，并实现了高SSIM的检测性能。
2026-01-14 cs.AI cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
ConsistentID: Portrait Generation with Multimodal Fine-Grained Identity Preserving
Lenovo Research Group（联想研究院）；College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息技术学院）
ConsistentID 提出一种仅用单张参考图像、结合多模态面部提示生成器和面部注意力定位策略的细粒度身份保持人像生成方法，并构建了超过50万张图像的 FGID 数据集，在 MyStyle 数据集上超越现有方法且保持快速推理。
2024-12-28 cs.AI cs.CV
Identity-Consistent Expression Fields: A Disentangled Neural Radiance Field Framework for Few-Shot Facial Expression Synthesis
University of Science and Technology of Hanoi（河内科技大学）
研究针对少样本面部表情合成问题，提出ICEF框架，将静态身份辐射分量与动态表情变形分量解缠，引入身份保留正则化器，纳入置信度加权条件特征扭曲步骤，提升新表情渲染质量与身份一致性。
2026-07-21 cs.AI cs.CV
Optimal Transport-based Identity Matching for Identity-invariant Facial Expression Recognition
Inha University（仁荷大学）
身份不变的人脸表情识别一直是计算机视觉的一个具有挑战性的课题。由于传统的FER方案没有明确地解决面部表情的身份间变化，因此它们的神经网络模型仍然依赖于面部身份来操作。本文提出了量化的身份间的变化，利用对相似的表达，通过一个特定的匹配过程中探索。我们制定的身份匹配过程作为一个最优运输（OT）的问题。具体来说，为了从不同的身份中找到相似的表达对，我们将特征间的相似性定义为运输成本。然后，最优身份匹配，以找到最佳的流量与最小的运输成本进行Sinkhorn-Knopp迭代。所提出的匹配方法不仅易于插件到其他模型，而且只需要可接受的计算开销。大量的模拟证明，所提出的FER方法提高了PCC/CCC性能高达10%或更多相比，亚军野生数据集。源代码和软件演示可在https://github.com/kdhht2334/ELIM_FER上获得。
2022-09-25 cs.CV
Improving Facial Analysis and Performance Driven Animation through Disentangling Identity and Expression
École Polytechnique Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
我们提出的技术，提高性能驱动的面部动画，情感识别，面部关键点或地标预测使用学习身份不变表示。如果有足够的例子和特定身份的标签，并且变异因素得到高度控制，那么解决这些问题的既定方法可以很好地工作。然而，新个体的面部表情、情绪和关键点的标记示例很难获得，而且成本很高。在本文中，我们提高了技术的能力，以推广到新的和看不见的个人明确建模以前看到的变化有关的身份和表达。我们使用一种弱监督的方法，其中身份标签用于学习与身份相关的不同变化因素，而与表达相关的因素则不同。我们展示了这些变异源的概率建模如何允许人们学习表情的身份不变表示，然后可以用于识别归一化的各种程序，用于面部表情分析和动画控制。我们还展示了如何扩展广泛使用的主动外观模型和约束局部模型的技术，通过替换基本的点分布模型，这通常是使用主成分分析与身份表达因子分解表示。我们提出了各种各样的实验中，我们不断提高性能的情感识别，无标记性能驱动的面部动画和面部关键点跟踪。
2016-05-22 cs.CV
FRIDAY: Mitigating Unintentional Facial Identity in Deepfake Detectors Guided by Facial Recognizers
KAIST（韩国科学技术院）
针对Deepfake检测器依赖人脸身份导致跨域性能差的问题，提出FRIDAY方法，利用冻结的人脸识别器并通过面部身份衰减损失最小化特征相似度，有效消除身份影响，显著提升域内与跨域检测性能。
2024-12-19 cs.CR cs.CV
Disentangling Identity and Pose for Facial Expression Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸表情识别是一个具有挑战性的问题，因为表情成分总是与其他无关因素（如身份和头部姿势）纠缠在一起。在这项工作中，我们提出了一个身份和姿态解开面部表情识别（IPD-FER）模型，学习更多的歧视性特征表示。我们认为整体面部表征是身份、姿态和表情的结合。这三个分量使用不同的编码器进行编码。在身份编码器中，利用预先训练好的人脸识别模型，并在训练过程中将其固定下来，克服了以往对特定表情训练数据的限制，使解纠缠在野外数据集上切实可行。同时，使用相应的标签优化姿势和表情编码器。结合身份特征和姿态特征，解码器生成输入个体的中性人脸。当添加表情特征时，需要对输入图像进行重构。通过比较合成的中性图像和表情图像之间的差异，表情成分进一步从身份和姿态中解脱出来。实验结果验证了我们的方法在实验室控制和野生数据库的有效性，我们实现了最先进的识别性能。
2022-08-17 cs.CV
DynamicID: Zero-Shot Multi-ID Image Personalization with Flexible Facial Editability
Xi’an Jiaotong University（西安交通大学）；Film AI Lab, Western Movie Group（西方电影集团影视人工智能实验室）
DynamicID提出免调优框架，通过语义激活注意力和身份-运动重构器实现高保真、灵活可编辑的单/多身份个性化图像生成，并构建VariFace-10k数据集以降低数据依赖。
2025-07-21 cs.AI cs.CV
FlowFace: Semantic Flow-guided Shape-aware Face Swapping
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
在这项工作中，我们提出了一个语义流引导的两阶段框架的形状感知人脸交换，即FlowFace。与大多数以前的方法，专注于转移源内部的面部特征，但忽略面部轮廓，我们的FlowFace可以将它们两者都转移到一个目标脸，从而导致更真实的人脸交换。具体地说，我们的FlowFace由一个面部重塑网络和一个面部交换网络组成。面部重塑网络解决了源面部和目标面部之间的形状轮廓差异。它首先估计语义流（即，面部形状差异），然后用估计的语义流显式地扭曲目标面部形状。在重塑之后，面部交换网络生成表现出源面部的身份的内部面部特征。我们采用一个预先训练好的人脸掩码自编码器（MAE）从源人脸和目标人脸中提取人脸特征。与以前使用身份嵌入来保存身份信息的方法相比，我们的编码器提取的特征可以更好地捕获面部外观和身份信息。然后，我们开发了一个交叉注意融合模块，自适应地融合来自源人脸的内部人脸特征与目标人脸属性，从而更好地保持身份。大量的定量和定性实验表明，在野外的脸，我们的FlowFace优于国家的最先进的显着。
2022-12-06 cs.AI cs.CV
Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation
Black Forest Labs（黑森林实验室）
研究个性化人物图像生成中面部保真度与外观一致性权衡问题，提出双分支基线及动态平衡缩放策略DBS，由自适应时间门控和区域感知优化组成，实验表明DBS比现有基线更好，为整体身份建模提供可控框架。
2026-07-29 cs.CV
FaceSwapGuard: Safeguarding Facial Privacy from DeepFake Threats through Identity Obfuscation
Shandong University（山东大学）；Zhejiang University（浙江大学）
针对换脸技术导致的面部隐私威胁，提出黑盒防御机制FaceSwapGuard，通过向面部图像引入不可察觉扰动干扰身份编码器特征，使换脸生成的身份与原用户差异显著，将人脸匹配率从90%降至10%以下。
2025-02-15 cs.AI cs.CR cs.CV
Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation
Zhejiang University（浙江大学）
针对姿态引导角色动画中面部身份难以保持的问题，提出基于三维可变形模型的FLT关键点变换对齐方法，显著提升生成视频的身份一致性。
2025-03-18 cs.CV cs.LG
Identity-Enhanced Network for Facial Expression Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；IBM Research（IBM研究院）；The Johns Hopkins University（约翰斯·霍普金斯大学）
面部表情识别是一项具有挑战性的任务，可以说是因为大的类内变化和高类间相似性。现有方法的核心缺点是缺乏区分由情感和身份引起的外观变化的能力。在本文中，我们提出了一种新的身份增强网络（IDEnNet），以消除身份因素的负面影响，并专注于识别面部表情。采用空间融合与自约束多任务学习相结合的方法，联合学习表情表征和身份相关信息。我们在三个流行的数据集上评估了我们的方法，即Oulu-CASIA，CK+和MMI。IDEnNet持续改进基线，并在所有三个数据集上实现最佳或可比较的最新技术水平。
2018-12-11 cs.CV
AEGIS: Preserving Privacy of 3D Facial Avatars with Adversarial Perturbations
Wroclaw University of Science and Technology（波兹南科技大学）；Jagiellonian University（雅盖隆大学）
AEGIS通过对抗扰动技术，为3D人脸虚拟形象提供隐私保护，有效隐藏身份特征同时保持真实感和功能性。
2026-11-05 cs.AI cs.CV
rFaceNet: An End-to-End Network for Enhanced Physiological Signal Extraction through Identity-Specific Facial Contours
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
rFaceNet通过整合身份特定面部轮廓并利用TCU和CTFC模块，在端到端网络中增强rPPG信号提取，显著提升心率估计性能。
2024-03-17 cs.CV
TimeMachine: Fine-Grained Facial Age Editing with Identity Preservation
本文提出基于扩散的 TimeMachine 框架，通过多交叉注意力注入年龄信息并结合潜在空间年龄分类器引导，实现保持身份不变的细粒度面部年龄编辑，并构建了百万级 HFFA 数据集。
2025-08-18 cs.CV
An Efficient Integration of Disentangled Attended Expression and Identity FeaturesFor Facial Expression Transfer andSynthesis
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个基于注意力的身份保持生成对抗网络（AIP-GAN），以克服身份泄漏的问题，从源图像生成的人脸图像，一个问题，遇到了跨学科的面部表情传输和合成过程。我们的关键见解是，身份保持网络应该能够解开和组成形状，外观和表情信息，有效的面部表情传输和合成。具体来说，我们的AIP-GAN的表情编码器通过使用我们的监督空间和通道注意力模块预测其面部标志来从输入源图像中解开表情信息。类似地，通过使用我们的自监督空间和通道注意力模型推断其组合的内在形状和外观图像，从输入目标图像中提取解纠缠的表情不可知的身份特征。为了利用我们两个编码器的中间层编码的表达和身份信息，我们使用交叉编码器双线性池化操作将这些特征与我们解码器的中间层学习的特征相结合。实验结果表明，我们的AIP-GAN为基础的技术有前途的性能。
2020-05-01 cs.CV
All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network
University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个统一的架构称为传输编辑和识别生成对抗网络（TER-GAN），可以使用：1。将面部表情从一个身份转移到另一个身份，称为面部表情转移（FET），2.将给定图像的表情转换为目标表情，同时保留图像的身份，称为面部表情编辑（FEE），以及3.识别人脸图像的面部表情，称为面部表情识别（FER）。在TER-GAN中，我们结合了生成模型的功能来生成合成图像，同时在重建过程中学习有关输入图像的重要信息。更具体地，在TER-GAN中使用两个编码器来对来自两个输入图像的身份和表情信息进行编码，并且由TER-GAN的解码器部分生成合成表情图像。为了改进特征解纠缠和提取过程，我们还引入了一种新的表达一致性损失和身份一致性损失，利用额外的表达和身份信息从生成的图像。实验结果表明，该方法可用于高效的面部表情传输，面部表情编辑和面部表情识别。为了评估所提出的技术，并将我们的结果与最先进的方法进行比较，我们使用Oulu-CASIA数据集进行实验。
2019-11-16 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
用于面部表情识别（FER）的表示通常包含表情信息以及其他变化，如身份和照明。在本文中，我们提出了一种新的解纠缠的表情学习-生成对抗网络（DE-GAN），明确地解开面部表情表示身份信息。在该通过重构方法的学习中，通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类，改进了表情图像重构和表情表示学习的分离过程。然后，使用简单的分类器，如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库（CK+，MMI，Oulu-CASIA）上进行的。实验结果表明，所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
Identity-Consistent Video Generation under Large Facial-Angle Variations
Tsinghua University（清华大学）；Baidu Inc., China（百度公司）；University of Bristol（布里斯托大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Mv²ID框架，通过区域遮蔽训练策略和参考解耦RoPE机制，解决大角度变化下的身份一致性与自然运动平衡问题，并构建大规模数据集和评估指标。
2026-03-22 cs.CV
Learning Facial Representations from the Cycle-consistency of Face
National Yang Ming Chiao Tung University（国立阳明交通大学）
面孔在许多方面表现出很大的差异，如身份，表情，姿势和面部造型。因此，从人脸图像中分离和提取这些特征是一个很大的挑战，特别是在无监督的方式。在这项工作中，我们引入了周期一致性的面部特征作为自由监督信号，学习面部表示从未标记的面部图像。通过叠加人脸运动周期一致性和身份周期一致性约束来实现学习。人脸运动周期一致性的主要思想是，给定一张有表情的人脸，我们可以通过去除人脸运动来对中性人脸进行去表情，并进一步进行重新表情以重建回原始人脸。身份循环一致性的主要思想是通过特征重规范化来剥夺给定的中性面孔的身份，从而实现去身份化为中性面孔，以及通过向中性面孔添加个人属性来实现重新身份化为中性面孔。在训练时，我们的模型学习解开两个不同的面部表示，以用于执行周期一致的面部重建。在测试时，我们使用线性协议计划评估面部表征的各种任务，包括面部表情识别和头部姿态回归。我们还可以直接将学习的面部表示应用于人识别，额化和图像到图像的翻译。我们的实验表明，我们的方法的结果是有竞争力的与现有的方法，展示了丰富和独特的信息嵌入在解开表示。代码可在https://github.com/JiaRenChang/FaceCycle上获得。
2021-08-07 cs.CV
FaceCrafter: Identity-Conditional Diffusion with Disentangled Control over Facial Pose, Expression, and Emotion
Institute of Science Tokyo（东京科学研究所）；Imperial College London（伦敦帝国学院）
FaceCrafter提出一种身份条件扩散模型，通过轻量级控制模块和正交化训练策略，在保持身份的同时独立控制面部姿态、表情与情感，提升控制精度和生成多样性。
2025-08-23 cs.CV
CraftGraffiti: Exploring Human Identity with Custom Graffiti Art via Facial-Preserving Diffusion Models
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
CraftGraffiti通过面部保留扩散模型生成具有身份一致性的涂鸦艺术，结合风格迁移与面部一致性机制，提升艺术创作的可识别性与审美价值。
2026-04-11 cs.CV
Identity-Preserving Realistic Talking Face Generation
TCS Research and Innovation（塔塔咨询服务公司研究与创新部）
语音驱动的面部动画对于各种应用都很有用，例如远程呈现，聊天机器人等。具有逼真面部动画的必要属性是1）视听同步（2）目标个体的身份保留（3）合理的嘴部运动（4）自然眨眼的存在。现有的方法主要解决视听唇同步，和最近的作品很少有解决的合成的整体视频真实感的自然眨眼。在本文中，我们提出了一种从语音中保存身份的真实面部动画的方法。我们首先使用DeepSpeech功能从音频中生成与人无关的面部地标，以实现对不同声音，口音等的不变性。为了增加真实感，我们使用无监督学习在面部地标上施加眨眼，并将与人无关的地标重新定位为特定于人的地标，以保留与身份相关的面部结构，这有助于生成目标身份的合理嘴巴形状。最后，我们使用LSGAN从个人特定的面部标志生成面部纹理，使用注意力机制，有助于保持身份相关的纹理。我们提出的方法与目前最先进的方法进行了广泛的比较，证明了唇同步精度，图像重建质量，清晰度和身份保护方面的显着改善。一项用户研究还显示，我们的动画效果比最先进的方法更逼真。据我们所知，这是语音驱动的2D面部动画，同时解决所有上述属性的现实语音驱动的面部动画的第一个工作。
2020-05-25 cs.CV
SwinIFS: Landmark Guided Swin Transformer For Identity Preserving Face Super Resolution
King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学）；The University of Western Australia（西澳大学）；The University of Canberra（堪培拉大学）；The University of Regina（里贾纳大学）
研究针对面部超分辨率难题，提出SwinIFS框架，将面部地标热图融入输入，用Swin Transformer主干捕获信息，在CelebA基准实验中展现优异性能，能在多方面平衡，适用于面部相关实际应用。
2026-07-14 cs.AI cs.CV
Monocular Identity-Conditioned Facial Reflectance Reconstruction
Shanghai Jiao Tong University（上海交通大学）；AI Institute（AI研究院）
本文提出ID2Reflectance框架，通过图像空间反射率先验、多域码本融合和身份条件化交换模块，仅用有限反射率数据即可从单张图像重建高质量人脸反射率，并在自然场景中达到最先进性能。
2024-03-30 cs.CV
IP-FaceDiff: Identity-Preserving Facial Video Editing with Diffusion
Indian Institute Of Technology Madras（印度马德拉斯理工学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
针对现有人脸视频编辑模型质量差、成本高、身份保持难及灵活性不足的问题，提出IP-FaceDiff框架，微调预训练T2I扩散模型，实现高质量文本驱动编辑，减时80%且保持身份与时间一致性，性能优于现有技术。
2025-01-13 cs.CV
BeyondFacial: Identity-Preserving Personalized Generation Beyond Facial Close-ups
DIDS, NUDT, China（国防科技大学）；TJU, China（天津大学）；Unit 32010 of the Chinese PLA（中国解放军第三二零一零单位）
本文提出了一种突破面部特写限制的IPPG方法，通过双线推断和身份自适应融合策略，提升身份保真度和场景语义生成能力。
2025-11-21 cs.CV
Mutual Information Regularized Identity-aware Facial ExpressionRecognition in Compressed Video
Harvard University（哈佛大学）；John Hopkins University（约翰·霍普金斯大学）；The Hong Kong Polytechnic University（香港理工大学）
如何提取有效的、对身份特征具有不变性的表情表示是人脸表情识别中的一个长期难题。大多数以前的方法处理序列的RGB图像，而我们认为，现成的和有价值的表达相关的肌肉运动已经嵌入到压缩格式。在本文中，我们的目标是探索在压缩视频域中消除主体间变化的面部表情表示。在高达两个数量级的压缩域中，我们可以显式地从残留帧中推断出表情，并可能使用预先训练的人脸识别网络从I帧中提取身份因子。通过强制它们的边缘独立性，期望表达式特征对于表达式更纯并且对身份转移具有鲁棒性。具体而言，我们提出了一种新的合作极小极小博弈的互信息（MI）最小化的潜在空间。我们不需要身份标签或来自同一个人的多个表达样本来进行身份消除。此外，当顶点框架在数据集中被注释时，可以进一步添加互补约束以正则化特征级游戏。在测试中，只需要压缩的残差帧来实现表情预测。我们的解决方案可以实现可比或更好的性能比最近的解码图像为基础的方法在典型的FER基准约3倍的推理速度。
2021-06-05 cs.AI cs.CV cs.MM
Deep Identity-aware Transfer of Facial Attributes
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文提出了一种用于面部属性的身份感知传输（DIAT）的深度卷积网络模型。给定源输入图像和参考属性，DIAT旨在生成具有参考属性并且与输入图像保持相同或相似身份的面部图像。一般来说，我们的模型由一个面具网络和属性转换网络协同工作，以产生一个照片般真实的面部图像与参考属性。考虑到参考属性可能只与图像的某些部分相关，引入掩码网络以避免对属性无关区域的错误编辑。然后采用估计的掩模将输入图像和变换后的图像进行组合，以产生转移结果。对于变换网络和掩码网络的联合训练，我们结合了对抗属性损失，身份感知自适应感知损失和基于VGG-FACE的身份损失。此外，提出了一种去噪网络用于感知正则化以抑制传输结果中的伪影，同时引入属性比率正则化来约束属性相关区域的大小。我们的DIAT可以为几个代表性的面部属性转移任务提供统一的解决方案，例如，表情转移、附件移除、年龄进展和性别转移，并且可以扩展用于其他面部增强任务，例如面部幻觉。实验结果验证了该方法的有效性。即使对于身份相关属性（例如，性别），我们的DIAT可以通过改变属性获得视觉上令人印象深刻的结果，同时保留大多数身份识别功能。
2018-12-06 cs.CV
Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
HKUST（香港科技大学）
针对复杂运动导致说话人头部视频生成出现遮挡伪影和细节退化的问题，本文提出 MCNet，利用全局面部元记忆库与隐式身份查询补偿源特征，并在 VoxCeleb1 和 CelebV 上取得优于现有方法的结果。
2023-08-18 cs.AI cs.CV
Face inpainting with Identity Preserving Latent Diffusion Models
Institute for Systems and Robotics（系统与机器人研究所）
本文提出ID-ControlNet，利用潜在扩散模型实现面部修复，通过身份嵌入保持身份一致性，实验表明其在CelebA-HQ等数据集上优于传统方法，接近最先进的身份感知方法。
2026-05-15 cs.CV
Cartoonish sketch-based face editing in videos using identity deformation transfer
Rutgers University（罗格斯大学）；Binghamton University（宾汉姆顿大学）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
我们解决了使用手绘草图在视频中对面部进行夸张变形的问题，例如放大形状或修改眼睛或嘴巴的位置。这个任务被制定为一个三维人脸模型重建和变形问题。我们首先从视频中恢复面部身份和表情，通过拟合每个帧的面部变形模型。同时，从输入草图中识别用户的编辑意图，作为一组面部修改。然后提出了一种新的身份变形算法，将这些面部变形从2D空间直接转换到3D面部身份，同时保持面部表情。在用于进一步细化3D面部模型的可选阶段之后，这些变化被传播到具有修改的身份的整个视频。用户研究和实验结果表明，我们的素描框架可以帮助用户有效地编辑视频中的面部身份，同时确保高一致性和保真度。
2019-01-26 cs.CV
Representation Learning and Identity Adversarial Training for Facial Behavior Understanding
Utrecht University（乌得勒支大学）
本文提出Face9M大规模面部数据集与身份对抗训练方法FMAE-IAT，通过预训练掩码自编码器并抑制身份捷径学习，在多个AU检测基准上取得新的最先进性能。
2025-05-08 cs.CV
Facial Action Units Detection Aided by Global-Local Expression Embedding
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Hebei Agricultural University（河北农业大学）；University of Houston（休斯顿大学）；University of Technology Sydney（悉尼科技大学）
由于面部动作单元（AU）注释需要领域专业知识，因此常见的AU数据集仅包含有限数量的主题。因此，AU检测的一个关键挑战是解决身份过拟合。我们发现，AU和面部表情是高度相关的，现有的面部表情数据集通常包含大量的身份。在本文中，我们的目标是利用没有AU标签的表达数据集，以促进AU检测。具体来说，我们开发了一种新的AU检测框架的辅助下，全球本地面部表情嵌入，被称为GLEE-Net。我们的GLEE-Net由三个分支组成，用于提取用于AU检测的身份无关的表达特征。我们引入了一个全局分支，用于对整体面部表情进行建模，同时消除身份的影响。我们还设计了一个局部分支，专注于特定的局部人脸区域。全局和局部分支的组合输出首先在表达式数据集上进行预训练，作为身份无关的表达式嵌入，然后在AU数据集上进行微调。因此，我们大大缓解了有限身份的问题。此外，我们引入了一个三维全球分支，通过三维人脸重建提取表情系数，以巩固二维AU描述。最后，一个基于transformer的多标签分类器融合所有的表示AU检测。大量的实验表明，我们的方法显着优于国家的最先进的广泛使用的DISFA，BP 4D和BP 4D+数据集。
2022-10-25 cs.AI cs.CV
Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Faculty Of Sciences（理学院）
提出FEV-GAN，基于时空卷积GAN，采用双图像编码器提取身份和空间特征，生成六种基本面部表情视频，有效提升图像质量和身份保持能力。
2022-10-20 cs.CV
Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection
School of Computer Science；Engineering, Sun Yat-sen University Guangzhou China；State Key Laboratory of Mathematical Engineering；Engineering, Sun Yat-sen University
针对面部隐私保护需求，提出基于扩散模型的对抗性身份操纵方法DiffAIM，在潜空间迭代注入梯度引导并加结构正则，生成自然且高迁移性的对抗人脸，黑盒攻击效果和视觉质量均优于现有方法，且对商业FR API有效。
2025-07-30 cs.CV
InstaFace: Identity-Preserving Facial Editing with Single Image Inference
University of Technology Sydney（悉尼科技大学）；Shandong University of Science and Technology（山东科技大学）
本文提出InstaFace，一种基于扩散的单图像面部编辑框架，通过3DMM条件引导网络和面部识别与视觉语言模型特征嵌入，在保持身份、背景及细节的同时实现逼真且可控的面部编辑。
2025-03-07 cs.CV
LBFTI: Layer-Based Facial Template Inversion for Identity-Preserving Fine-Grained Face Reconstruction
College of Cyber Security, Jinan University（济南大学网络安全学院）
本文提出LBFTI方法，通过分解面部为前景、中景和背景三层，利用专用生成器和三阶段训练策略实现身份保持的细粒度面部重建，实验表明其在机器认证和人类感知相似性上均优于现有方法。
2026-04-20 cs.CV
Imitator: Personalized Speech-driven 3D Facial Animation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Microsoft Mixed Reality & AI Lab（微软混合现实与人工智能实验室）
语音驱动的3D人脸动画已经被广泛地研究，在游戏、角色动画、虚拟现实和远程呈现系统中具有应用。现有技术的方法使目标演员的面部拓扑结构变形以同步输入音频，而不考虑目标演员的身份特定的说话风格和面部特质，因此，导致不真实和不准确的嘴唇运动。为了解决这个问题，我们提出了模仿者，语音驱动的面部表情合成方法，它从一个短的输入视频中学习特定于身份的细节，并产生新的面部表情匹配特定于身份的说话风格和面部特质的目标演员。具体来说，我们训练一个风格不可知的Transformer上的一个大型的面部表情数据集，我们使用作为音频驱动的面部表情的先验。基于此先验，我们基于短参考视频优化特定于身份的说话风格。为了训练先验，我们引入了一种新的基于检测到的双唇辅音的损失函数，以确保合理的嘴唇闭合，从而提高所生成的表情的真实感。通过详细的实验和用户研究，我们表明，我们的方法产生时间连贯的面部表情从输入音频，同时保持说话风格的目标演员。
2022-12-30 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Diff-ID: Identity Consistent Facial Image Generation and Morphing via Diffusion Models
University of Surrey（萨里大学）；Jiangnan University（江南大学）
研究针对面部图像合成中高分辨率下身份保持难题，提出Diff-ID框架，通过自定义数据集、集成嵌入及新损失函数实现，实验表明其在身份-真实感权衡上表现出色，还展示了基于DDIM的变形管道，强调联合评估身份保持与真实感。
2026-07-29 cs.CV
High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
CUHK MMLab（香港中文大学多模态实验室）；Vivix Group Limited（Vivix集团有限公司）；Shenzhen Loop Area Institute（深圳河套学院）；CPII under InnoHK（创新香港下的CPII）
本文提出了一种ID约束的面部条件化框架，通过解耦条件注入确保身份保持并优化属性对齐，结合身份和对抗损失提升生成质量，在定性和定量评估中均优于现有方法。
2026-03-18 cs.CV
Investigating Identity Signals in Conversational Facial Dynamics via Disentangled Expression Features
1 Department of Computational Linguistics, University of Zurich , Zurich, Switzerland 2 UZH Digital Society Initiative 3 Idiap Research Institute, Martigny, Switzerland 4 \'E cole Polytechnique F \'e d \'e rale de Lausanne (EPFL), Lausanne, Switzerland
本研究利用 FLAME 模型解耦面部形状与表情动态，发现在 CANDOR 数据集上仅靠表情动态即可高准确率识别个体身份，并提出 DNR 指标证实形状估计稳定性影响识别效果。
2025-10-13 cs.CV
DiffMagicFace: Identity Consistent Facial Editing of Real Videos
Tsinghua University（清华大学）
本文提出DiffMagicFace框架，通过整合文本和图像控制模型，实现视频中人脸编辑时保持身份一致性和内容一致性，无需依赖视频数据集，效果在视觉和量化指标上均优于现有方法。
2026-04-15 cs.CV
Synthesizing Normalized Faces from Facial Identity Features
Google, Inc.（谷歌公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一种方法，用于合成一个人的脸的正面，中性表情图像给定的输入面部照片。这是通过学习从面部识别网络中提取的特征生成面部标志和纹理来实现的。与以前的方法不同，我们的编码特征向量在很大程度上是不变的照明，姿势和面部表情。利用这种不变性，我们训练我们的解码器网络只使用正面，中性表情的照片。由于这些照片对齐良好，我们可以将它们分解为稀疏的地标点和对齐的纹理贴图。然后，解码器独立地预测地标和纹理，并使用可微分的图像扭曲操作将它们组合起来。生成的图像可以用于许多应用，例如分析面部属性、曝光和白平衡调整或创建3D化身。
2017-10-17 cs.CV stat.ML
Face Super-Resolution Guided by 3D Facial Priors
Technische Universität München（慕尼黑工业大学）；IIE, CAS（中国科学院信息工程研究所）；Harbin Institute of Technology（哈尔滨工业大学）；NJUST（南京理工大学）；Tencent AI Lab（腾讯AI实验室）；Peng Cheng Laboratory（鹏城实验室）
现有技术的面部超分辨率方法采用深度卷积神经网络来通过探索局部外观知识来学习低分辨率和高分辨率面部图案之间的映射。然而，这些方法中的大多数没有很好地利用面部结构和身份信息，并且难以处理表现出大的姿态变化的面部图像。在本文中，我们提出了一种新的人脸超分辨率方法，明确地结合三维人脸先验知识，抓住尖锐的面部结构。我们的工作是第一个探索基于融合面部属性的参数描述的3D变形知识（例如，身份、面部表情、纹理、照明和面部姿势）。此外，先验可以很容易地被纳入任何网络，并在提高性能和加快收敛速度是非常有效的。首先，建立3D人脸渲染分支，获取面部显著结构的3D先验信息和身份知识。其次，空间注意力模块用于更好地利用该分层信息（即，强度相似性、3D面部结构和身份内容）用于超分辨率问题。大量的实验表明，所提出的3D先验实现优于国家的最先进的面部超分辨率的结果。
2020-07-18 cs.AI cs.CV cs.LG
EmojiDiff: Advanced Facial Expression Control with High Identity Preservation in Portrait Generation
Terminal Technology Department, Alipay, Ant Group（蚂蚁集团支付宝终端技术部）
EmojiDiff通过解耦训练和微调方法，实现了高精度面部表情控制与高保真身份保持的端到端肖像生成解决方案。
2025-12-08 cs.CV
Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算与人工智能学院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对面部美化中身份易损失的问题，提出NNSG-Diffusion，利用最近邻参考人脸构建三维深度与轮廓引导并控制Stable Diffusion，实现更保身份的美学增强。
2025-03-18 cs.CV
EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion
ByteDance（字节跳动）
针对身份保持视频生成中的伪影和相似度低问题，提出EchoVideo，通过图像-文本融合模块和两阶段训练策略，实现高质量、高保真且可控的视频生成。
2025-02-27 cs.CV
Arc2Morph: Identity-Preserving Facial Morphing with Arc2Face
Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
Arc2Morph基于Arc2Face提出的新方法，通过深度学习技术在面部变形攻击检测中实现了与传统关键点方法相当的性能，有效保持身份信息。
2026-02-18 cs.CR cs.CV
BEACON: Behavior and Appearance Control for Subject-Specific Video Generation
LIVIA, École de technologie supérieure（LIVIA，蒙特利尔高等技术学院）；CentraleSupélec, Université Paris-Saclay（巴黎中央理工-高等电力学院，巴黎-萨克雷大学）；Inria, Université Côte d’Azur（法国国家信息与自动化研究所，蔚蓝海岸大学）
BEACON通过解耦视觉身份与表达行为，利用参考图像和参考视频双信号条件生成，在MEAD和RAVDESS上以少量微调提升面部表现力并保持身份。
2026-09-15 cs.AI cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
人脸再现是一种流行的人脸动画方法，其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人，或者面部结构非常相似，则这些模型的性能最好。然而，如果身份不同，则驱动面部结构泄漏到输出，从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN（FACEGAN），它通过动作单元（AU）表示从驾驶面部传输面部运动。与面部标志不同，AU独立于面部结构，防止身份泄露。此外，AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域，以优化输出质量。广泛的定量和定性比较表明，在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
