Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning
提出通用音频辅助人脸视频修复网络GAVN，利用时间与身份互补学习，结合音频和关键点，在压缩伪影去除、去模糊和超分辨率上超越现有方法。
2025-08-06 cs.CV cs.MM cs.SD
Generate Identity-Preserving Faces by Generative Adversarial Networks
Tsinghua University（清华大学）
生成身份保持人脸的目的是在给定目标人脸图像的情况下生成保持同一身份的各种人脸图像。虽然近年来已经开发了相当多的生成模型，但同时获得高质量的面部图像并保持身份仍然具有挑战性。在这里，我们提出了一个引人注目的方法，使用生成对抗网络（GAN）。具体来说，我们利用训练好的GAN生成器来生成可信的人脸，并利用FaceNet作为身份相似性检验器来确保身份。实验结果表明，我们的方法是合格的，以生成高质量的可信和身份保持的人脸。此外，我们的方法提供了一个通用的框架，可以实现以各种方式结合不同的人脸生成器和身份相似性识别。
2017-06-25 cs.CV
Password-conditioned Anonymization and Deanonymization with Face Identity Transformers
Stanford University（斯坦福大学）；UC Davis（加州大学戴维斯分校）；ShanghaiTech（上海科技大学）；Stony Brook University（石溪大学）
摄像机在我们的日常生活中非常普遍，并使许多基于计算机视觉技术的有用系统成为可能，例如用于服务应用的智能摄像机和家用机器人。然而，由于所捕获的图像/视频可能包含隐私敏感信息（例如，面部识别）。我们提出了一种新的人脸身份Transformer，它能够自动的照片逼真的基于密码的匿名化，以及去匿名化的人脸出现在视觉数据。我们的面部身份Transformer经过训练，可以（1）在匿名化后删除面部身份信息，（2）在给定正确密码时恢复原始面部，以及（3）在给定错误密码时返回错误的-但照片般逼真的-面部。大量的实验表明，我们的方法使多模态密码条件下的脸匿名化和deanonymizations，而不牺牲隐私相比，现有的匿名化方法。
2020-09-30 cs.CV cs.LG eess.IV
Disentangled Face Identity Representations for joint 3D Face Recognition and Expression Neutralisation
University of Luxembourg（卢森堡大学）；Artec3D（Artec3D公司）
在本文中，我们提出了一种新的基于深度学习的方法，用于从富有表现力的3D人脸中分离人脸身份表示。给定一个3D人脸，我们的方法不仅提取一个解开的身份表示，但也产生一个现实的3D人脸与中性的表达，同时预测其身份。该网络由三个部分组成：（1）一个图卷积自动编码器（GCA），用于将3D人脸编码为潜在表示;（2）一个生成对抗网络（GAN），用于将表情人脸的潜在表示转换为中性人脸的潜在表示;（3）一个身份识别子网络，利用中性化的潜在表示进行3D人脸识别。整个网络以端到端的方式进行训练。在三个公开数据集上进行的实验表明了该方法的有效性。
2021-04-20 cs.CV
Face Liveness Detection Based on Client Identity Using Siamese Network
Beijing Institute of Technology（北京理工大学）
人脸活体检测是人脸识别应用的必要前提。以往的人脸活体检测方法通常在人脸识别之前训练一个二元分类器来区分假人脸和真人脸。在以前的人脸活性检测方法中没有利用客户端身份信息。然而，在实际人脸识别应用中，人脸欺骗攻击往往针对特定的客户端，而客户端的身份信息可以为人脸活性检测提供有用的线索。本文提出了一种基于客户身份的人脸活性检测方法。我们在人脸识别之后检测人脸活性，而不是在人脸识别之前，也就是说，我们检测人脸活性与客户端的身份信息。我们用图像对训练一个暹罗网络。每个图像对由两个真实人脸图像或一个真实人脸图像和一个假人脸图像组成。每对中的面部图像来自同一客户端。给定一张测试人脸图像，首先通过人脸识别系统对人脸图像进行识别，然后检索出被识别客户的真实人脸图像，以帮助人脸活性检测。实验结果证明了该方法的有效性。
2019-03-13 cs.CV
Super-Identity Convolutional Neural Network for Face Hallucination
National Taiwan University（国立台湾大学）；SenseTime Group Limited（商汤集团有限公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Tencent AI Lab（腾讯人工智能实验室）
人脸幻觉是一种超分辨人脸图像的生成任务，而人类对人脸的感知严重依赖于身份信息。然而，以前的面孔幻觉方法在很大程度上忽略了面部身份恢复。本文提出了超身份卷积神经网络（SICNN）来恢复身份信息，以生成接近真实身份的人脸。具体来说，我们定义了一个超身份损失来衡量超球身份度量空间内的幻觉脸和其对应的高分辨率脸之间的身份差异。然而，直接使用这种损失将导致动态域发散问题，这是由高分辨率域和幻觉域之间的大裕度引起的。为了克服这一挑战，我们提出了一个域集成的训练方法，通过构建一个强大的身份度量，从这两个领域的面孔。广泛的实验评估表明，所提出的SICNN实现了卓越的视觉质量，在一个具有挑战性的任务，以超分辨率12 $\times$ 14面与8 $\times$放大因子的国家的最先进的方法。此外，SICNN显着提高了超低分辨率人脸的可识别性。
2018-11-06 cs.CV
Towards Open-Set Identity Preserving Face Synthesis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
我们提出了一个基于生成对抗网络的框架来解开人脸的身份和属性，这样我们就可以方便地重新组合不同的身份和属性，在开放域中的身份保持人脸合成。以前的身份保持人脸合成过程在很大程度上局限于合成已经在训练数据集中的已知身份的人脸。为了合成具有训练数据集之外的身份的面部，我们的框架需要该主体的一个输入图像来产生身份向量，并且需要任何其他输入面部图像来提取捕获的属性向量，例如，姿势、情感、照明，甚至背景。然后，我们重新组合的身份向量和属性向量合成一个新的面孔的主题与提取的属性。我们提出的框架不需要以任何方式注释面部的属性。它使用非对称损失函数进行训练，以更好地保持身份并稳定训练过程。它还可以有效地利用大量未标记的训练人脸图像，以进一步提高未在标记的训练人脸数据集中呈现的对象的合成人脸的保真度。我们的实验证明了所提出的框架的有效性。我们还介绍了它在更广泛的应用中的使用，包括人脸正面化，人脸属性变形和人脸对抗性示例检测。
2018-08-09 cs.CV
CFA-Net: Controllable Face Anonymization Network with Identity Representation Manipulation
CRIPAC & NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室与智能感知与计算研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，人脸数据的去身份化越来越受到人们的关注。在许多计算机视觉任务中，重要的是保护人们的身份，同时保持数据的实用性。我们提出了一个可控的人脸匿名化网络（CFA-Net），一种新的方法，可以匿名的图像和视频中的给定的面孔的身份，基于一个发电机，可以解开其他图像内容的人脸身份。我们通过在生成器的身份表示空间中操作身份向量来达到可控的人脸匿名化的目的。通过该方法可以生成各种匿名人脸，并保持与原始图像内容的高度相似性。定量和定性的结果表明，我们的方法的视觉质量和匿名化的有效性优于文献模型。
2021-10-10 cs.CV
Convolutional Network for Attribute-driven and Identity-preserving Human Face Generation
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文重点研究从特定属性生成人脸图片的问题。然而，现有的基于CNN的人脸生成模型要么忽略了所生成的人脸的身份，要么不能保持参考人脸图像的身份。在这里，我们解决这个问题，从优化的角度来看，并提出了一个优化模型，以生成具有给定属性的人脸，同时保持身份的参考图像。属性可以从属性引导图像中获得，也可以通过调整参考图像的属性特征来获得。使用深度卷积网络“VGG-Face”，损失在卷积特征图上定义。然后，我们应用梯度下降算法来解决这个优化问题。实验结果验证了该方法在属性驱动和身份保持的人脸生成中的有效性。
2016-08-23 cs.CV
CA-IDD: Cross-Attention Guided Identity-Conditional Diffusion for Identity-Consistent Face Swapping
School of Computing（计算学院）
本文提出CA-IDD，一种基于扩散的面部交换方法，通过多尺度交叉注意力整合 gaze、身份和面部解析，提升身份一致性和视觉真实性，实现稳定训练和精细区域控制。
2026-04-27 cs.CV
How Old Are You? Face Age Translation with Identity Preservation Using GANs
Cloudminds（达闼科技）
我们提出了一个新的框架，以产生不同年龄的图像，同时保留身份信息，这是被称为人脸老化。与最近流行的利用生成对抗网络（GANs）应用程序的人脸老化网络不同，我们的方法不是简单地将年轻的人脸转移到旧的人脸上。相反，我们使用边缘图作为中间表示，首先提取年轻面孔的边缘图，采用基于CycleGAN的网络将其转换为旧面孔的边缘图，然后采用另一个基于pix2pixHD的网络将合成的边缘图与身份信息连接起来转换为旧面孔。这样，我们的方法可以生成更真实的传输图像，同时确保人脸身份信息得到很好的保留，并生成的图像的表观年龄是准确的适当。实验结果表明，该方法是可行的人脸年龄翻译。
2019-09-11 cs.CV
Deep Convolutional Neural Networks in the Face of Caricature: Identity and Image Revealed
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Maryland（马里兰大学）；University of Siegen（锡根大学）
真实世界的人脸识别需要能够在多个可变图像中感知单个人脸的独特特征。灵长类动物的视觉系统解决了图像不变性的问题，使用级联的神经元将面部图像转换为面部身份的分类表示。深度卷积神经网络（DCNN）也可以创建可推广的面部表示，但使用的是模拟神经元的级联。DCNN表示可以在多维“面空间”中进行检查，身份和图像参数通过它们在定义空间的轴上的投影进行量化。我们研究了在这个空间中的观点，照明，性别和身份的组织。我们发现，该网络创建了一个高度有组织的，分层嵌套的，人脸相似性结构，其中有关人脸身份和成像特征的信息共存。自然图像的变化被容纳在这个层次结构中，面部身份嵌套在性别下，照明嵌套在身份下，视点嵌套在照明下。为了检验身份，我们对人脸进行了漫画化，发现网络识别的准确性随着漫画水平的提高而提高，并且模仿人类的感知，一张脸的漫画化扭曲“类似于”其真实的对应物。漫画通过将身份从面部空间中的其他身份移开并最小化照明和视点的影响来提高性能。深度网络产生人脸表示，解决了广义人脸识别中长期存在的计算问题。他们还提供了一个统一的理论框架，用于协调几十年来的行为和神经结果，这些结果强调图像或物体/面孔的表征，而不理解神经代码如何无缝地适应两者。
2018-12-28 cs.CV
Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；KIT Campus Transfer GmbH (KCT)（KIT校园转移公司）；Istanbul Technical University（伊斯坦布尔技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种评估说话面部生成中身份泄露的系统方法，通过三种测试设置和衍生指标量化泄露问题，并探讨参考图像选择对泄露的影响。
2026-02-10 cs.CV eess.IV
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
针对大遮挡和冲突文本引导下人脸修复的身份保留难题，提出级联扩散框架ReSem-Face，在CelebAHQ-IDI-5等数据集上验证其身份保留修复及文本编辑质量优于基线。
2026-08-06 cs.CV
DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation
University of Science and Technology of China（中国科学技术大学）；ByteDance Inc.（字节跳动公司）
本文提出了一种免优化的面部身份保持图像生成方法DreamIdentity，通过多尺度面部特征编码器和自增强可编辑性学习，在保持模型可编辑性的同时实现高效的身份保持图像生成。
2023-07-01 cs.CV
FaceFeat-GAN: a Two-Stage Approach for Identity-Preserving Face Synthesis
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
生成对抗网络（GANs）的进步使逼真的人脸图像合成成为可能。然而，合成保留面部身份以及每个身份内具有高多样性的面部图像仍然具有挑战性。为了解决这个问题，我们提出了一种新的生成模型Faceon-GAN，它通过使用两个阶段来提高图像质量和多样性。与现有的单阶段模型，将随机噪声直接映射到图像，我们的两阶段合成包括不同的功能生成的第一阶段和功能到图像渲染的第二阶段。生成器和鉴别器之间的竞争是精心设计的，在这两个阶段与不同的目标函数。特别地，在第一阶段，它们在特征域中竞争以合成各种面部特征而不是图像。在第二阶段，它们在图像域中竞争，以呈现包含高多样性但保留身份的照片级逼真图像。大量的实验表明，Facebook-GAN生成的图像不仅保留了身份信息，而且具有高多样性和高质量，显著优于以前的方法。
2018-12-04 cs.CV
Face inpainting with Identity Preserving Latent Diffusion Models
Institute for Systems and Robotics（系统与机器人研究所）
本文提出ID-ControlNet，利用潜在扩散模型实现面部修复，通过身份嵌入保持身份一致性，实验表明其在CelebA-HQ等数据集上优于传统方法，接近最先进的身份感知方法。
2026-05-15 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性，个人身份信息的安全和隐私成为前所未有的挑战。与此同时，先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此，重要的是要使用人脸图像，同时仔细考虑保护人们的身份。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指生成另一张具有相似外观和相同背景的图像，而真实身份被隐藏。虽然已经做出了广泛的努力，但现有的人脸去识别技术要么在照片真实性方面不足，要么无法很好地平衡隐私和实用性。在本文中，我们专注于解决这些挑战，以提高人脸去识别。我们提出了IdentityDP，这是一个将数据驱动的深度神经网络与差分隐私（DP）机制相结合的人脸匿名化框架。该框架包括三个阶段：面部表征解纠缠，$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息，保持显着的视觉相似性，并生成高质量的图像，可用于身份不可知的计算机视觉任务，如检测，跟踪等，与以往的方法不同，我们可以调整隐私和实用性的平衡，通过隐私预算根据实际需求，并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
BlendFace: Re-designing Identity Encoders for Face-Swapping
The University of Tokyo（东京大学）；CyberAgent AI Lab（CyberAgent人工智能实验室）
针对换脸任务中现有身份编码器存在身份-属性纠缠的问题，提出新型身份编码器BlendFace，通过在混合人脸图像上训练减轻属性偏差，在保持量化性能的同时提升解耦效果。
2023-07-20 cs.CV
Fine-grained Identity Preserving Landmark Synthesis for Face Reenactment
Fudan University（复旦大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
最近的人脸重建工作受到粗糙参考地标的限制，导致身份保持性能不令人满意，由于操纵的地标和从真实的人采样的地标之间的分布差距。为了解决这个问题，我们提出了一个细粒度的身份保持地标引导的人脸重现方法。所提出的方法有两个新颖之处。首先，一个地标合成网络，旨在生成更细粒度的地标面与更多的细节。该网络细化操作的标志，并产生一个平滑的，逐渐变化的人脸标志序列具有良好的身份保持能力。其次，设计了几种新颖的损失函数，包括合成人脸的身份保持损失、前景/背景掩模损失以及边界损失，旨在合成清晰锐利的高质量人脸。实验在我们自己收集的BeautySelfie和公共VoxCeleb 1数据集上进行。所提出的定性和定量的结果表明，我们的方法可以重现细粒度的更高质量的脸与良好的ID保留外观细节，更少的文物和更清晰的边界比国家的最先进的作品。代码将被发布用于复制。
2021-10-12 cs.CV
Cross-resolution Face Recognition via Identity-Preserving Network and Knowledge Distillation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种结合跨分辨率知识蒸馏与身份保持网络WaveResNet的方法，通过关注低频分量和模拟真实退化，提升低分辨率人脸识别性能。
2023-09-05 cs.CV eess.IV
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
University of Twente（特文特大学）
提出FLUXSynID框架，通过生成包含14,889个身份的高分辨率合成人脸数据集，支持自定义属性分布并提供证件照与活体图像，解决了现有方法缺乏身份属性细粒度控制的问题，促进了生物特征研究。
2025-07-16 cs.CV
Private Face Recognition Training Dataset Publication via Identity-Decoupled and Geometry-Preserving Face Distillation
该研究针对私密人脸识别训练数据集发布的身份悖论，提出Private Face Distillation框架，通过身份解耦和几何保留实现隐私保护，在IJB-C监控任务上提升识别性能并降低源身份可关联性。
2026-07-31 cs.AI cs.CV
Region-Aware Face Swapping
Zhejiang University（浙江大学）；Bytedance（字节跳动）
本文提出了一种新的区域感知人脸交换（RAFSwap）网络，以实现身份一致的和谐的高分辨率人脸生成在局部-全局的方式：\textbf{1)}本地面部区域感知（FRA）分支增加本地身份相关的功能，通过引入Transformer有效地模型错位跨尺度语义交互。\textbf{2)}全局源自适应（SFA）分支进一步补充全局身份相关线索以用于生成身份一致的交换面部。此外，我们提出了一个\textit{Face Mask Predictor}（FMP）模块结合StyleGAN 2预测身份相关的软面具在一个无监督的方式，更实用的和谐的高分辨率的人脸生成。大量的实验定性和定量地证明了我们的方法的优越性，产生更多的身份一致的高分辨率交换的脸SOTA方法，\eg，获得96.70 ID检索优于SOTA MegaFS的5.87 $\uparrow$。
2022-03-18 cs.CV
Adversarial Identity Injection for Semantic Face Image Synthesis
University of Parma（帕尔马大学）；University of Bologna（博洛尼亚大学）
针对语义人脸图像合成中身份保留不足的问题，提出融合身份、风格与语义特征的交叉注意力SIS架构，兼具身份保留与人脸识别对抗攻击能力。
2024-04-16 cs.CV
Identity-preserving Face Recovery from Portraits
Australian National University（澳大利亚国立大学）；Data61/CSIRO（数据61/联邦科学与工业研究组织）
从艺术肖像中恢复潜在的真实感人脸有助于人类感知和面部分析。然而，恢复过程中，可以保持身份是具有挑战性的，因为真实的面孔的细节可能会扭曲或失去风格化的图像。在本文中，我们提出了一个新的身份保持人脸恢复从肖像（IFRP）恢复潜在的真实感人脸未对齐风格化的肖像。我们的IFRP方法由两个部分组成：风格去除网络（SRN）和判别网络（DN）。SRN被设计成将风格化图像的特征图转换为对应的真实感人脸的特征图。通过将空间Transformer网络嵌入到SRN中，该方法可以自动补偿风格化人脸的错位，并输出对齐的真实人脸图像。DN的作用是强制恢复的人脸与真实人脸相似。为了确保身份保护，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的VGG网络中提取的恢复的和地面真实的面孔的特征。我们评估我们的方法上的大规模合成数据集的真实和风格化的人脸对，并达到最先进的结果。此外，我们的方法可以从以前看不见的风格化的肖像，原始绘画和人类绘制的草图恢复逼真的面孔。
2018-02-05 cs.CV
Human Face as human single identity
Manchester Metropolitan University（曼彻斯特城市大学）
人脸作为一种物理的人的识别，通过人脸算法将人脸转化为简单的文本数字，作为人的主键码，可以作为计算机识别人的唯一身份。人脸作为人类的单一身份将通过建立一个巨大的世界中心人脸数据库来实现，在这个数据库中，世界各地的人脸将不时地、一代又一代地被记录下来。建筑物数据库将分为人脸图像数据库和人脸输出代码，人脸图像数据库将保存人脸图像，人脸输出代码将保存人脸图像与人脸算法的转换。作为一种改进，简洁的人脸输出代码库将使人脸搜索过程变得更快。人脸交易作为一种无卡交易，可以使人不需要自己的卡进行交易，并以办公自动化和银行系统为例进行实现架构。作为补充，嫌疑人人脸数据库可以通过在世界范围内进行监视和搜索来扩展以打击犯罪和恐怖主义。
2014-04-08 cs.CV
Identity-preserving Face Recovery from Stylized Portraits
Data61/CSIRO（联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
给定一幅艺术肖像，恢复保留主体身份的潜在照片级真实面部是具有挑战性的，因为面部细节在艺术肖像中经常被扭曲或完全丢失。我们开发了一种保留身份的肖像人脸恢复（IFRP）方法，该方法利用了风格去除网络（SRN）和判别网络（DN）。我们的SRN，由一个自动编码器与残留块嵌入跳过连接，被设计为将特征图的风格化图像的特征图的相应的照片级真实感的脸。由于空间Transformer网络（STNN），SRN自动补偿风格化肖像的未对齐，以输出对齐的逼真人脸图像。为了确保身份保留，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的FaceNet网络中提取的恢复的和地面真实的面孔的特征。DN具有多个卷积层和全连接层，其作用是强制恢复的人脸与真实人脸相似。因此，我们可以从未对齐的肖像中恢复高质量的照片级真实感人脸，同时保留图像中人脸的身份。通过对大规模合成数据集和手绘草图数据集进行广泛的评估，我们证明了我们的方法实现了卓越的人脸恢复，并达到了最先进的结果。此外，我们的方法可以恢复逼真的脸从看不见的风格化的肖像，艺术绘画，手绘草图。
2019-04-07 cs.CV
Collaborative Face Experts Fusion in Video Generation: Boosting Identity Consistency Across Large Face Poses
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；National University of Singapore（新加坡国立大学）
本文提出协作面部专家融合方法，通过动态融合身份、语义和细节专家信号，提升大姿态下视频生成的身份一致性，并构建了大规模姿态标注数据集。
2025-12-05 cs.CV
Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control
Fudan University（复旦大学）；China University of Petroleum（中国石油大学）
人脸图像修复的目的是对受损区域内的缺失像素进行合理预测。大多数现有的方法依赖于从大数据集中学习人脸图像分布的生成模型，这会产生不可控的结果，特别是大规模缺失区域。为了引入强控制的人脸修复，我们提出了一种新的参考引导的人脸修复方法，填补了大规模的缺失区域的身份和纹理控制的参考人脸图像的指导。然而，在施加两个控制信号的情况下生成高质量的结果是具有挑战性的。为了解决这个问题，我们提出了一个双重控制的一级框架，将参考图像分为两个层次的灵活控制：高层次的身份信息和低层次的纹理信息，其中身份信息的数字的形状的脸和纹理信息描绘的组件感知纹理。为了合成高质量的结果，我们设计了两个新的模块，称为半AdaIN和明智的风格注入器（CWSI）注入两种控制信息到修复处理。我们的方法产生逼真的结果与身份和纹理控制忠实于参考图像。据我们所知，这是第一个同时应用身份和组件级控制的人脸修复，以保证更精确和可控的结果。代码可在https://github.com/WuyangLuo/RefFaceInpainting上获得
2023-03-13 cs.CV
High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
CUHK MMLab（香港中文大学多模态实验室）；Vivix Group Limited（Vivix集团有限公司）；Shenzhen Loop Area Institute（深圳河套学院）；CPII under InnoHK（创新香港下的CPII）
本文提出了一种ID约束的面部条件化框架，通过解耦条件注入确保身份保持并优化属性对齐，结合身份和对抗损失提升生成质量，在定性和定量评估中均优于现有方法。
2026-03-18 cs.CV
FaceMe: Robust Blind Face Restoration with Personal Identification
Nankai University（南开大学）；Samsung Research, China, Beijing (SRC-B)（三星研究院中国北京（SRC-B））；Samsung Electronics（三星电子）；NKIARI（南开大学人工智能研究院）
本文提出基于扩散模型的 FaceMe，利用身份编码器从单张或少量参考图像提取身份特征以引导复原，实现高质量、身份一致且无需微调的鲁棒盲人脸复原。
2025-01-10 cs.CV
FaceLinkGen: A Re-evaluation of Identity Leakage in Privacy-Preserving Face Recognition and Face Anonymization Systems Using Simple Distillation
University of British Columbia（不列颠哥伦比亚大学）
本文提出FaceLinkGen攻击方法，通过直接从保护模板中提取身份信息和生成面部，揭示了隐私保护评估中像素失真指标与真实隐私之间的结构性差距。
2026-10-01 cs.CV
Multi Scale Identity-Preserving Image-to-Image Translation Network for Low-Resolution Face Recognition
University of Western Ontario（西安大略大学）
最先进的深度神经网络模型已经在受控的高分辨率人脸图像上达到了近乎完美的人脸识别准确率。然而，当用非常低分辨率的人脸图像进行测试时，它们的性能急剧下降。这在监控系统中尤其重要，因为低分辨率的探测图像将与高分辨率的图库图像相匹配。超分辨率技术旨在从低分辨率对应物产生高分辨率面部图像。虽然它们能够重建视觉上吸引人的图像，但与身份相关的信息没有保留。在这里，我们提出了一种身份保护的端到端图像到图像翻译深度神经网络，它能够将非常低分辨率的人脸超分辨率地解析为高分辨率的人脸，同时保留身份相关信息。我们通过训练一个非常深的卷积编码器-解码器网络来实现这一点，该网络在相应的层之间具有对称的收缩路径。该网络在多尺度低分辨率条件下结合重建和身份保留丢失进行训练。对我们提出的模型进行的广泛的定量评估表明，它在自然和人工低分辨率人脸数据集甚至看不见的身份上的性能优于竞争性的超分辨率和低分辨率人脸识别方法。
2022-07-03 cs.CV
Show and Polish: Reference-Guided Identity Preservation in Face Video Restoration
Zhejiang University（浙江大学）
针对严重退化下人脸视频修复难以保持身份特征的问题，提出IP-FVR方法，利用参考图像和解耦交叉注意力提供身份条件，并结合反馈学习与指数混合策略解决片段内和片段间的身份漂移，显著提升了修复质量与身份一致性。
2025-07-14 cs.CV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology（国立屏东科技大学）；National Tsing Hua University（国立清华大学）；National Institute of Informatics（国立信息学研究所）
尽管生成对抗网络（GANs）可以从低分辨率（LR）人脸中产生逼真的高分辨率（HR）人脸，但它们不能保证保留幻觉HR人脸的身份，使HR人脸难以识别。为了解决这个问题，我们提出了一个暹罗GAN（SiGAN）重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上，所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数，不仅实现了真实感人脸重建，而且保证了重建信息对身份识别有用。实验结果表明，SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs，同时实现了照片级真实感重建。此外，对于未包括在训练中的未知身份的输入LR面部，SiGAN仍然可以做得很好。
2018-07-22 cs.CV
CodeFormer++: Blind Face Restoration Using Deformable Registration and Deep Metric Learning
针对现有盲人脸复原方法视觉质量与身份保真度难以兼顾的问题，提出CodeFormer++框架，通过分解任务、可变形配准、纹理引导网络及深度度量学习实现高质量身份保留人脸复原，性能优于现有方法。
2025-10-06 cs.CV
Beyond Inference Intervention: Identity-Decoupled Diffusion for Face Anonymization
School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）；School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息学院）
针对现有扩散人脸匿名化依赖推理干预导致属性纠缠、保真度低的问题，提出训练为核心的ID²Face框架，通过身份解耦潜空间与正交映射实现高质量匿名化，性能优于现有方法。
2025-10-28 cs.CV
This Face Does Not Exist ... But It Might Be Yours! Identity Leakage in Generative Models
University of Notre Dame（圣母大学）
生成对抗网络（GANs）能够生成“不存在”的物体的高分辨率照片级逼真图像。“这些合成图像很难被检测为假的。然而，这些生成模型被训练的方式暗示了从所提供的训练数据泄漏信息的可能性，特别是在合成面部的上下文中。本文提出的实验表明，人脸图像中的身份信息可以从训练语料库流入合成样本，而不会在构建或使用现有模型时发生任何对抗性行为。这提出了与隐私相关的问题，但也激发了对（a）面部流形在特征空间中的特征和（b）如何创建生成模型的讨论，这些模型不会无意中泄露其图像用于训练的真实主体的身份信息。我们使用了五种不同的人脸匹配器（face_recognition，FaceNet，ArcFace，SphereFace和Neurotechnology MegaMatcher）和StyleGAN 2合成模型，并表明这种身份泄漏确实存在于某些方法中，但不是所有方法。那么，我们能说这些合成的面孔真的不存在吗？数据库的真实和合成生成的面孔，本文允许完全复制的结果在这项工作中讨论。
2020-12-10 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect（Hyperconnect公司）
当目标身份和驾驶员身份之间存在不匹配时，面部再现的结果质量会严重下降，特别是在Few-Shot设置中。身份保留问题是最常见的失败模式，其中模型丢失了目标的详细信息，导致有缺陷的输出。这个问题有几个潜在的来源，例如由于身份不匹配导致的驾驶员身份泄露，或者处理看不见的大姿势。为了克服这些问题，我们引入了解决上述问题的组件：图像注意力块，目标特征对齐和地标Transformer。通过参加和扭曲的相关功能，拟议的架构，称为MarioNETte，产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外，地标Transformer通过地标解纠缠隔离表达式几何，极大地简化了身份保存问题。进行了全面的实验，以验证所提出的框架可以生成高度逼真的面孔，优于所有其他基线，即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
Cartoonish sketch-based face editing in videos using identity deformation transfer
Rutgers University（罗格斯大学）；Binghamton University（宾汉姆顿大学）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
我们解决了使用手绘草图在视频中对面部进行夸张变形的问题，例如放大形状或修改眼睛或嘴巴的位置。这个任务被制定为一个三维人脸模型重建和变形问题。我们首先从视频中恢复面部身份和表情，通过拟合每个帧的面部变形模型。同时，从输入草图中识别用户的编辑意图，作为一组面部修改。然后提出了一种新的身份变形算法，将这些面部变形从2D空间直接转换到3D面部身份，同时保持面部表情。在用于进一步细化3D面部模型的可选阶段之后，这些变化被传播到具有修改的身份的整个视频。用户研究和实验结果表明，我们的素描框架可以帮助用户有效地编辑视频中的面部身份，同时确保高一致性和保真度。
2019-01-26 cs.CV
Training face verification models from generated face identity data
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等电子工程工程师学院）；CNRS（法国国家科学研究中心）；Safran（赛峰集团）
机器学习工具正变得越来越强大和广泛使用。不幸的是，试图从机器学习中使用的数据集中发现信息的成员攻击有可能限制数据共享。在本文中，我们考虑一种方法来增加数据集的隐私保护，适用于人脸识别。使用辅助人脸识别模型，我们建立在StyleGAN生成对抗网络上，并向其提供结合两个不同子代码的潜在代码，一个编码视觉身份因素，另一个编码非身份因素。通过在图像生成过程中独立地改变这些向量，我们创建了一组虚构的面部身份的合成数据。我们使用这个数据集来训练人脸识别模型。与最先进的人脸验证相比，模型性能下降。当测试与一个简单的成员攻击我们的模型提供了良好的隐私保护，但模型的性能下降相比，国家的最先进的人脸验证。我们发现，添加少量私有数据大大提高了我们模型的性能，这凸显了使用合成数据来训练机器学习模型的局限性。
2021-08-02 cs.CV
DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder
College of Cyber Security, Jinan University（暨南大学网络空间安全学院）；University of Macau（澳门大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电机与电子工程学院）
本文提出 DeepFake 身份恢复方案 DFREC，通过身份分割、源身份重建和目标身份重建模块，从伪造图像中恢复源与目标人脸，提升身份可追溯性并降低攻击风险。
2025-03-05 cs.CV
MagnifyMe: Aiding Cross Resolution Face Recognition via Identity Aware Synthesis
IIIT-Delhi（德里印度理工学院）
通过超分辨率或图像合成来增强低分辨率图像以进行跨分辨率人脸识别已经得到了很好的研究。已经探索了若干图像处理和机器学习范例来解决该问题。在这项研究中，我们提出了通过深度稀疏表示合成算法，用于从低分辨率输入图像合成高分辨率人脸图像。该算法学习高分辨率和低分辨率图库图像的多级稀疏表示，以及身份感知字典和两种表示之间的转换函数，用于人脸识别场景。以低分辨率的测试数据作为输入，使用身份感知字典和变换合成高分辨率的测试图像，然后将其用于人脸识别。所提出的SDSR算法的性能进行了评估四个数据库，包括一个真实世界的数据集。实验结果和现有的七种算法的比较表明，该算法的人脸识别和图像质量的措施方面的有效性。
2018-02-22 cs.CV
Mask-Free Audio-driven Talking Face Generation for Enhanced Visual Quality and Identity Preservation
Karlsruhe Institute of Technology（卡尔斯鲁厄大学）；Istanbul Technical University（伊斯坦布尔技术大学）；Carnegie Mellon University（卡内基梅隆大学）
针对音频驱动说话人脸生成中掩码导致信息丢失及身份参考引入偏差的问题，提出基于标志点的无掩码两步方法，在LRS2和HDTF上验证其视觉质量与身份保持效果。
2025-07-28 cs.CV
Learning Robust 3D Face Reconstruction and Discriminative Identity Representation
University of Electronic Science and Technology of China（电子科技大学）
从一幅二维图像重建三维人脸是计算机视觉中一个非常重要的课题。然而，目前的重建方法通常是不敏感的人脸身份和过于敏感的面部姿态，这可能会导致类似的三维几何形状的不同身份的脸，或获得不同的形状相同的身份与不同的姿态。当这些方法实际应用时，它们的3D估计要么对于同一主题的不同照片是可变的，要么是过度正则化和通用的，以区分人脸身份。在本文中，我们提出了一个强大的解决方案来解决这个问题，精心设计了一种新的连体卷积神经网络（SCNN）。具体来说，对于同一类的同一个体的3D可变形人脸模型（3DMM）参数，我们采用对比度损失来扩大类间距离，同时减少输出3DMM参数的类内距离。我们还提出了一个身份损失，以保持同一个人在特征空间中的身份信息。通过这两个损失的训练，我们的SCNN可以学习对人脸身份更具鉴别力和对姿势变体更具概括性的表示。在挑战数据库300 W-LP和AFLW 2000 -3D上的实验结果表明了该方法的有效性。
2019-05-16 cs.CV
Face Translation between Images and Videos using Identity-aware CycleGAN
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；VISICS, KU Leuven（鲁汶大学VISICS）
本文提出了一种新的图像和视频之间的非成对人脸转换问题，可应用于人脸视频的预测和增强。在这个问题中存在两个主要的技术挑战：1）设计一个鲁棒的静态图像和动态视频之间的翻译模型，以及2）在图像-视频翻译期间保持面部身份。为了解决这两个问题，我们通过利用图像-视频翻译模型和身份保留模型，将最先进的图像-图像翻译网络（周期一致性对抗网络）推广到图像-视频/视频-图像翻译环境。特别地，我们将最先进的Wasserstein GAN技术应用于图像-视频翻译的设置以实现更好的收敛，同时我们引入了人脸验证器以确保身份。标准图像/视频人脸数据集上的实验表明，该模型在定性和定量评价方面的有效性。
2017-12-04 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文提出 IDiff-Face，利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸，在 LFW 上达到 98.00% 准确率，显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Face Time Traveller : Travel Through Ages Without Losing Identity
Sony Research India（索尼印度研究实验室）；IIIT Hyderabad（Hyderabad 研究学院）
FaceTT通过基于扩散的框架实现高保真身份一致的年龄变换，引入了Face-Attribute-Aware Prompt Refinement策略、无调优的Angular Inversion方法和自适应注意力控制机制，提升了年龄变换的精度和稳定性。
2026-02-26 cs.CV
FaceAnonyMixer: Cancelable Faces via Identity Consistent Latent Space Mixing
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Waterloo（滑铁卢大学）；Michigan State University（密歇根州立大学）
FaceAnonyMixer提出一种利用预训练生成模型潜在空间混合的可撤销人脸生成框架，通过不可逆混合真实与合成潜在代码并优化多目标损失，实现高识别精度与强隐私保护，在商业API上提升超11%。
2025-08-07 cs.CV
ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition
National University of Singapore（新加坡国立大学）；Tencent Youtu Lab（腾讯优图实验室）
针对扩散式合成人脸识别难以泛化到真实人脸的问题，提出ID$^3$模型，通过身份保持损失与调整梯度向量场上的采样算法兼顾类间、类内多样性和身份一致性，并在五个基准上验证优势。
2024-10-24 cs.CV
Safeguarding Facial Identity against Diffusion-based Face Swapping via Cascading Pathway Disruption
MoE Key Laboratory of Information Technology, Sun Yat-sen University, Guangzhou, China（信息科技教育部重点实验室，中山大学，广州，中国）；State Key Laboratory of Mathematical Engineering and Advanced Computing, Zhengzhou, China（数学工程与先进计算国家重点实验室，郑州，中国）
VoidFace通过级联路径破坏技术，有效防御基于扩散模型的面部交换攻击，提升身份安全性。
2026-01-21 cs.CV
Identity Preserving Face Completion for Large Ocular Region Occlusion
University of Kentucky（肯塔基大学）；University of Southern California（南加州大学）；Harbin Institute of Technology（哈尔滨工业大学）；Hangzhou Normal University（杭州师范大学）
我们提出了一种新的深度学习方法来合成完整的人脸图像，在存在大的眼部区域遮挡。这是由于最近VR/AR显示器的激增阻碍了面对面的交流。与现有的人脸修复方法无法控制合成的内容，只能处理正面人脸姿态不同，该方法能够在保持身份的同时，忠实地恢复各种头部姿态下丢失的内容。我们的方法的核心是一种新的生成网络，具有专用的约束条件来规范合成过程。为了保持身份，我们的网络采用目标身份的任意无遮挡图像来推断丢失的内容，并将其高级CNN特征作为身份，然后正则化生成器的搜索空间。由于输入参考图像可能具有不同的姿态，因此进一步采用姿态映射和新的姿态映射来监督隐式姿态变换的学习。我们的方法是能够产生连贯的面部修复与一致的身份在视频与头部运动的大变化。合成和真实数据的实验表明，我们的方法大大优于国家的最先进的方法在合成质量和鲁棒性。
2018-07-23 cs.CV
FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping
Berge Consulting（贝格咨询公司）；Halmstad University（哈姆斯塔德大学）
在这项工作中，我们提出了一个新的单阶段的方法，主题不可知的人脸交换和身份转移，命名为FaceDancer。我们有两个主要的贡献：自适应特征融合注意力（AFFA）和解释特征相似性正则化（IFSR）。AFFA模块嵌入在解码器中，自适应地学习融合属性特征和以身份信息为条件的特征，而不需要任何额外的面部分割过程。在IFSR中，我们利用身份编码器中的中间特征来保留目标面部中的重要属性，如头部姿势，面部表情，照明和遮挡，同时仍然以高保真度传输源面部的身份。我们在各种数据集上进行了广泛的定量和定性实验，结果表明，所提出的FaceDancer在身份转移方面优于其他最先进的网络，同时比以前的大多数方法具有更好的姿态保持能力。
2022-10-21 cs.CV
