OCFR 2022: Competition on Occluded Face Recognition From Synthetically Generated Structure-Aware Occlusions
INESC TEC（国家科学与工程计算技术研究所（INESC TEC））；University of Porto（波尔图大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）；CDTA Centre de Développement des Technologies Avancées（先进技术发展中心CDTA）；ESI Ecole Nationale Supérieure d’Informatique（国立高等计算机学院ESI）；SiMiT Lab（SiMiT实验室）
这项工作总结了2022年国际生物识别联合会议（IJCB 2022）所接受的IJCB遮挡人脸识别竞赛2022（IJCB-OCFR-2022）。OCFR-2022吸引了来自学术界的3个参与团队。最终，提交了六份有效的参赛作品，然后由组织者进行评估。举办这项比赛是为了解决严重面部遮挡情况下的面部识别挑战。参与者可以自由使用任何训练数据，测试数据由组织者通过使用众所周知的数据集合成遮挡面部图像的部分来构建。所提交的解决方案具有创新性，与所考虑的基线相比，表现非常有竞争力。本次比赛的主要成果是一个具有挑战性的，现实的，多样化的，公开的遮挡人脸识别基准与定义良好的评估协议。
2022-08-15 cs.CV cs.LG
Face Manifold: Manifold Learning for Synthetic Face Generation
University of Tehran（德黑兰大学）
脸是我们与周围世界交流的最重要的东西之一。它也形成了我们的身份和表达。人脸结构估计是计算机视觉的一项基本任务，在人脸识别和医疗手术等不同领域都有应用。最近，深度学习技术在从平面图像进行3D人脸重建方面取得了显著的成果。这些技术的主要挑战是对大型3D人脸数据集的迫切需求。通常，这个挑战是由合成人脸生成处理。然而，合成数据集遭受不可能的面孔的存在。在这里，我们提出了一个人脸流形学习方法的合成多样的人脸数据集生成。首先，将人脸结构分为形状组和表情组。然后，利用完全卷积的自动编码器网络来处理不可能的人脸，同时保持数据集的多样性。仿真结果表明，该方法能够对严重受损的人脸图像进行去噪。所生成的数据集的多样性进行了定性和定量评估，并与现有的方法进行比较。实验表明，我们的流形学习方法优于最先进的方法显着。
2019-10-04 cs.CV
Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face Presentation Attack Detection
MUST（澳门科技大学）；Mininglamp Academy of Sciences, Mininglamp Technology（明略科技集团明略科学院）；NLPR, CASIA, UCAS（中国科学院自动化研究所模式识别国家重点实验室，中国科学院大学）；CVC, UB（巴塞罗那大学计算机视觉中心）；Baidu Research（百度研究院）；Westlake University（西湖大学）；University of Oulu（奥卢大学）
人脸呈现攻击检测（PAD）对于保护人脸识别系统免受高保真面具攻击至关重要。大多数现有的3D面罩PAD基准具有几个缺点：1）面罩身份、传感器类型和视频总数有限; 2）面罩的低保真度质量。基本的深度模型和远程光电容积脉搏波（rPPG）方法在这些基准测试中取得了可接受的性能，但仍远未满足实际场景的需求。为了弥合与现实世界应用的差距，我们引入了一个大规模的高保真掩码数据集，即CASIA-SURF HiFiMask（简称HiFiMask）。具体而言，通过7种新型传感器，从75个主题记录了225个逼真面具的总计54，600个视频。结合数据集，我们提出了一个新的对比上下文感知学习框架，即CCL。CCL是一种用于监督PAD任务的新训练方法，它能够通过准确地利用丰富的上下文（例如，主题，面具材料和照明）之间的对活的脸和高保真面具攻击。在HiFiMask和另外三个3D掩模数据集上的广泛实验评估证明了我们方法的有效性。
2021-04-13 cs.CV
SIG: A Synthetic Identity Generation Pipeline for Generating Evaluation Datasets for Face Recognition
Southern Methodist University（南卫理公会大学）
针对人脸识别评估数据集伦理采集难、成本高的问题，提出可控制属性的合成身份生成流水线SIG，并发布均衡开源数据集ControlFace10k，验证了其用于算法评估与偏见分析的有效性。
2024-09-17 cs.CV cs.LG
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文提出 IDiff-Face，利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸，在 LFW 上达到 98.00% 准确率，显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Benchmarking Algorithmic Bias in Face Recognition: An Experimental Approach Using Synthetic Faces and Human Evaluation
Rice University（莱斯大学）；California Institute of Technology（加州理工学院）；AWS（亚马逊云科技）
本文提出一种基于神经生成合成人脸和人类评估的实验方法，通过独立操纵属性来因果性测量人脸识别系统的种族与性别偏见，并验证了三个研究级模型对黑人和东亚人群准确率较低。
2023-08-10 cs.CV
Mitigating Longitudinal Performance Degradation in Child Face Recognition Using Synthetic Data
Clarkson University（克拉克逊大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文通过合成数据增强微调，有效缓解儿童面部识别中的纵向性能退化问题，降低错误率，提升身份持续性。
2026-01-04 cs.CV
Synthetic Data for Face Recognition: Current State and Future Prospects
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）；School of Engineering, Universidad Autonoma de Madrid（马德里自治大学工程学院）；Department of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系）
针对人脸识别中真实生物特征数据的法律伦理争议与数据需求问题，梳理合成人脸数据的用例分类、相关模型进展，分析其应用挑战并展望未来方向。
2023-05-01 cs.CV
HyperFace: Generating Synthetic Face Recognition Datasets by Exploring Face Embedding Hypersphere
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出HyperFace方法，将合成人脸数据集生成形式化为超球面嵌入空间的打包优化问题，通过梯度下降优化嵌入并利用条件生成器合成图像，训练出的人脸识别模型在合成数据集上达到SOTA性能。
2025-03-02 cs.CV
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
University of Twente（特文特大学）
提出FLUXSynID框架，通过生成包含14,889个身份的高分辨率合成人脸数据集，支持自定义属性分布并提供证件照与活体图像，解决了现有方法缺乏身份属性细粒度控制的问题，促进了生物特征研究。
2025-07-16 cs.CV
If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces
University of Cagliari（卡利亚里大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文研究利用合成人脸数据训练人脸识别模型以减少对真实数据的依赖，通过对比实验分析合成与真实数据组合及数据增强技术的效果，发现组合数据集并配合适当增强技术能显著提升验证准确率。
2024-04-26 cs.CV
On the use of automatically generated synthetic image datasets for benchmarking face recognition
Idiap Research Institute（IDIAP研究所）
大规模人脸数据集的可用性一直是人脸识别进展的关键。然而，由于许可问题或版权侵权，一些数据集不再可用（例如MS-Celeb-1 M）。生成对抗网络（GANs）的最新进展，合成逼真的人脸图像，提供了一条用合成数据集取代真实数据集的途径，既可以训练也可以对人脸识别（FR）系统进行基准测试。本文提出的工作提供了一个基准FR系统使用合成数据集的研究。首先，我们介绍了所提出的方法来生成一个合成数据集，而不需要人为干预，通过利用具有多个受控变异因素的StyleGAN 2模型的潜在结构。然后，我们确认（i）生成的合成身份不是来自GAN的训练数据集的数据主体，这在具有10 K+身份的合成数据集上进行了验证;（ii）合成数据集上的基准测试结果是一个很好的替代，通常提供与真实数据集上的基准测试类似的出错率和系统排名。
2021-06-08 cs.CV
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）；University of Exeter（埃克塞特大学）
针对现有合成人脸训练人脸识别模型判别质量不足、性能下降的问题，提出基于扩散模型的CemiFace方法，生成与身份中心不同相似度的半难人脸样本，实验证明其训练性能具备竞争力。
2024-10-30 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel（巴塞尔大学）；Department of Mathematics and Computer Science（数学与计算机科学系）
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而，带注释的大型数据集的集合不能很好地扩展，并且对数据质量的控制随着数据集的大小而降低。在这项工作中，我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是，我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像，并完全控制图像变化，例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中，我们观察到以下现象：1）训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好，即使没有数据集自适应。4)使用合成数据进行预训练，然后使用真实世界的图像进行微调，可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此，我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV
SREFI: Synthesis of Realistic Example Face Images
University of Notre Dame（圣母大学）；FaceTec, Inc.（FaceTec公司）
在本文中，我们提出了一种新的人脸合成方法，可以生成任意数量的合成图像的真实和合成的身份。因此，使用这种方法，可以在所表示的身份数量和每个身份的图像数量方面扩展面部图像数据集，而没有来自从网络下载图像的身份标记和隐私并发症。为了测量合成人脸图像和身份的视觉保真度和唯一性，我们对人类参与者和在260万真实人脸图像数据集上预训练的CNN进行了人脸匹配实验。为了评估这些合成人脸的稳定性，我们用包含近20万张合成人脸的增强数据集训练了一个CNN模型。我们使用这个经过训练的CNN的快照来识别极具挑战性的正面（真实）人脸图像。实验表明，使用增强的人脸进行训练提高了CNN的人脸识别性能。
2017-04-25 cs.CV
SFace: Privacy-friendly and Accurate Face Recognition using Synthetic Data
TU Darmstadt（达姆施塔特工业大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）
最近文献中提出的深度人脸识别模型利用大规模公共数据集（如MS-Celeb-1 M和VGGFace 2）来训练非常深的神经网络，在主流基准测试中实现了最先进的性能。最近，许多这样的数据集，例如，MS-Celeb-1 M和VGGFace 2由于可信的隐私和道德问题而被撤回。这促使这项工作提出并调查使用隐私友好的综合生成的人脸数据集训练人脸识别模型的可行性。为此，我们利用类条件生成对抗网络来生成类标记的合成人脸图像，即SFace。为了解决隐私方面使用这样的数据训练人脸识别模型，我们提供了广泛的评价实验的身份之间的关系的合成数据集和原始的真实数据集用于训练生成模型。我们报告的评估证明，将真实数据集的身份与合成数据集中具有相同类别标签的身份相关联几乎是不可能的。我们还建议使用三种不同的学习策略，多类分类，无标签知识转移，以及多类分类和知识转移的组合学习，在我们的隐私友好的数据集SFace上训练人脸识别。对五个真实人脸基准测试的评估结果表明，隐私友好的合成数据集具有很高的潜力，可用于训练人脸识别模型，例如，使用多类分类的LFW验证准确率为91.87%，使用组合学习策略的验证准确率为99.13%。
2022-06-21 cs.CV
Face Recognition Using Synthetic Face Data
Datagen（Datagen公司）
本文提出利用计算机图形学管线生成的合成人脸数据训练人脸识别模型，在多个基准上取得媲美真实数据训练的效果，并探究了类内方差因素及人脸部件变化对模型性能的影响。
2023-05-17 cs.CV
Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CASIA（中国科学院自动化研究所脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
面部正面化是指从给定的轮廓合成面部的正面视图的过程。由于自遮挡和外观失真在野外，这是非常具有挑战性的恢复忠实的结果，并保留纹理细节在一个高分辨率。本文提出了一种高保真姿态不变模型（HF-PIM），以产生摄影和身份保持的结果。HF-PIM通过一种新颖的纹理扭曲过程对轮廓进行正面化，并利用密集的对应字段来绑定2D和3D表面空间。我们将变形的先决条件分解为稠密对应场估计和面部纹理图恢复，这两个问题都可以通过深度网络很好地解决。与那些依赖于3D数据的重建方法不同，我们还提出了对抗残差字典学习（ARDL）来监督人脸纹理图的恢复。在受控和非受控环境下的详尽实验表明，该方法不仅提高了姿态不变人脸识别的性能，而且显着提高了高分辨率的正面化外观。
2018-10-06 cs.CV
Synthetic Data for the Mitigation of Demographic Biases in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；secunet Security Networks AG（secunet安全网络股份公司）；Hochschule Darmstadt（达姆施塔特应用科学大学）
本研究提出用GANDiffFace框架生成的人口分布可控的合成数据微调存在偏差的人脸识别系统，经多数据集、多系统及多指标验证，证实合成数据可有效缓解人脸识别中的人口统计学偏差。
2024-02-02 cs.CV
Unsupervised Face Recognition using Unlabeled Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
在过去的几年里，人脸识别的主要研究创新集中在使用多类分类损失的变化在大规模身份标记数据集上训练深度神经网络。然而，由于隐私和道德问题的增加，这些数据集中的许多数据集被其创建者撤回。最近，隐私友好的合成数据已被提出作为隐私敏感的真实数据的替代方案，以符合隐私法规并确保人脸识别研究的连续性。本文提出了一种基于无标记合成数据的无监督人脸识别模型（USynthFace）。我们提出的USynthFace学习最大化同一合成实例的两个增强图像之间的相似性。我们通过大量的几何和颜色变换以及基于GAN的增强来实现这一点，这些增强有助于USynthFace模型训练。我们还对USynthFace的不同组成部分进行了大量的实证研究。通过所提出的一组增强操作，我们证明了我们的USynthFace在使用未标记的合成数据实现相对较高的识别精度方面的有效性。
2022-11-14 cs.CV
Synthetic to Authentic: Transferring Realism to 3D Face Renderings for Boosting Face Recognition
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）；Université de Lausanne (UNIL)（洛桑大学）
针对合成3D人脸训练的人脸识别系统性能不及真实数据训练模型的问题，本文利用图像到图像翻译技术向3D渲染人脸迁移真实感，有效提升了模型在真实基准上的表现，为合成数据落地应用提供新思路。
2024-12-13 cs.CV
Synthetic Face Ageing: Evaluation, Analysis and Facilitation of Age-Robust Facial Recognition Algorithms
College of Science and Engineering, University of Galway（戈尔韦大学科学与工程学院）；FotoNation
本研究通过评估合成老化方法并利用合成与真实老化数据训练人脸识别模型，证明合成年龄数据可使模型在40年年龄差测试中识别率提升3.33%，从而促进年龄鲁棒人脸识别系统的发展。
2024-06-10 cs.CV
Enhancing Domain Diversity in Synthetic Data Face Recognition with Dataset Fusion
Idiap Research Institute（Idiap研究机构）
针对单一生成器合成人脸数据易引入模型特定伪影的问题，本文提出融合两个架构不同的最先进合成数据集，以增强域多样性并正则化训练，从而在多个标准人脸识别基准上取得更优性能。
2025-07-22 cs.CV
IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation
Fraunhofer IGD（弗劳恩霍夫图像识别研究所）；Department of Computer Science, TU Darmstadt（图腾大学计算机科学系）
IDperturb通过角度扰动提升合成人脸生成的多样性，从而提高FR模型的性能和泛化能力。
2026-08-07 cs.CV
SynthASpoof: Developing Face Presentation Attack Detection Based on Privacy-friendly Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
本文提出首个基于合成数据的大规模人脸呈现攻击检测数据集SynthASpoof，并验证其用于开发PAD的可行性，同时结合MixStyle域泛化工具提升性能，展示了合成数据补充真实训练数据以增强PAD表现的潜力。
2023-04-11 cs.CV
Bias and Diversity in Synthetic-based Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
本研究探究合成人脸识别数据集的多样性及生成模型训练数据分布对合成数据的影响，对比合成与真实数据训练的人脸识别模型偏差，发现合成数据分布与训练数据相似，两类模型偏差表现相近，但身份内属性一致性低有助于降偏差。
2023-11-07 cs.CV
Face Beneath the Ink: Synthetic Data and Tattoo Removal with Application to Face Recognition
Hochschule Darmstadt（达姆施塔特应用技术大学）
分析人脸的系统近年来有了显著的改进，目前已用于许多应用场景。然而，这些系统已被发现受到面部改变如纹身的负面影响。为了更好地理解和减轻面部分析系统中面部纹身的影响，需要有纹身和没有纹身的个人的图像的大型数据集。为此，我们提出了一个自动添加逼真的纹身到面部图像的生成器。此外，我们通过使用基于深度学习的模型从面部图像中去除纹身来证明生成的可行性。实验结果表明，它是可能的，从真实图像中删除的面部纹身，而不降低图像的质量。此外，我们表明，在提取和比较面部特征之前，使用所提出的基于深度学习的纹身去除可以提高面部识别的准确性。
2022-05-06 cs.CV
SDFR: Synthetic Data for Face Recognition Competition
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）；University of Bologna（博洛尼亚大学）；Fraunhofer Institute for Computer Graphics Research (IGD)（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）；Universidad de Alicante（阿利坎特大学）；Facephi Biometria SA（Facephi生物识别公司）；Federal University of Paraná (UFPR)（巴拉那联邦大学）；Federal Institute of Mato Grosso (IFMT)（马托格罗索联邦学院）；unico - idTech（unico - 身份技术公司）；Universidad Autonoma de Madrid (UAM)（马德里自治大学）；Università degli Studi di Cagliari (UNICA)（卡利亚里大学）
本文总结了SDFR竞赛，该竞赛研究使用合成数据训练人脸识别模型，通过两个任务评估参赛者在固定骨干和自由配置下的方法，并在七个基准数据集上报告性能、偏差评估及未来方向。
2024-04-09 cs.CV
Generating Photo-Realistic Training Data to Improve Face Recognition Accuracy
School of Engineering and Technology（工程与技术学院）；University of Hertfordshire（赫特福德大学）；GBG plc（GBG集团）
在本文中，我们研究了使用合成数据来增强人脸数据集的可行性。特别是，我们提出了一种新的生成对抗网络（GAN），可以从非身份相关的属性解开身份相关的属性。这是通过训练一个嵌入网络来完成的，该网络将离散的身份标签映射到遵循简单先验分布的身份潜在空间，并训练一个以该分布的样本为条件的GAN。我们提出的GAN允许我们通过生成训练集中主体的合成图像和不在训练集中的新主体的合成图像来增强人脸数据集。通过使用GAN训练的最新进展，我们证明了我们的模型生成的合成图像是照片般逼真的，并且与仅使用真实图像训练的模型相比，使用增强数据集进行训练确实可以提高人脸识别模型的准确性。
2018-10-31 cs.CV cs.LG stat.ML
On the Applicability of Synthetic Data for Face Recognition
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
人脸验证在各种应用中越来越受到关注，包括集成人脸识别机制的欧洲出入境系统。与此同时，生物鉴别技术的迅速发展要求进行广泛的性能测试，以防止旅行者因其人口背景而受到歧视性待遇。然而，作为边境管制的一部分而收集的人脸图像的使用受到《欧洲一般数据保护法》的限制，只能出于其原始目的而处理。因此，本文研究了使用StyleGAN和StyleGAN 2生成的合成人脸图像的适用性，以弥补公开可用的大规模测试数据的迫切缺乏。具体而言，利用两种基于深度学习的（SER-FIQ，FaceQnet v1）和一种基于标准的（ISO/IEC TR 29794-5）人脸图像质量评估算法来比较合成人脸图像与从FRGC数据集提取的真实人脸图像的适用性。最后，基于冒名顶替者分数分布和效用分数分布的分析，我们的实验揭示了StyleGAN与StyleGAN 2之间的差异可以忽略不计，并且与真实人脸图像相比也存在微小的差异。
2021-04-06 cs.CR cs.CV
Benchmarking Face Recognition without Real Faces
University of Luxembourg（卢森堡大学）
探讨合成数据集能否取代真实基准用于人脸识别评估，用24个预训练模型对12个合成数据集与7个真实基准测试，发现MorphFace和Vec2Face表现突出，结果表明精心构建的合成数据集可支持可靠比较评估，推动领域向全合成且隐私保护流程发展。
2026-07-17 cs.AI cs.CV
3D High-Fidelity Mask Face Presentation Attack Detection Challenge
MUST（澳门科技大学）；Mininglamp Academy of Sciences, Mininglamp Technology（明略科技研究院，明略科技）；University of Oulu（奥卢大学）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；SAI, UCAS（中国科学院大学人工智能学院）；ChaLearn；CVC, UB（巴塞罗那大学计算机视觉中心）；INAOE（国家天体物理、光学和电子学研究所）；CINVESTAV（研究与高级研究中心）；CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新中心）；Baidu Research（百度研究院）
3D面具对人脸识别系统的威胁日益严重，受到研究人员的广泛关注。为了便于算法的研究，收集了大规模高保真掩码数据集，即CASIA-SURF HiFiMask（简称HiFiMask）。具体地说，它包括在7种新型传感器下记录的来自75个主题的225个真实面具的总共54，600个视频。基于此数据集和协议3，该协议评估了算法在开集场景下的区分能力和泛化能力，我们组织了3D高保真面具人脸呈现攻击检测挑战赛，以推动基于3D面具的攻击检测研究。它吸引了195支球队进入开发阶段，共有18支球队获得决赛资格。所有的结果都经过了组织团队的验证和重新运行，并将结果用于最终排名。本文概述了挑战，包括所使用的数据集的介绍，协议的定义，评估标准的计算，以及比赛结果的总结和公布。最后，重点介绍和分析了本次大赛的排名靠前的算法、结论总结以及本次大赛为掩码攻击检测提供的研究思路。
2021-08-16 cs.CV
Time flies by: Analyzing the Impact of Face Ageing on the Recognition Performance with Synthetic Data
NTNU（挪威科技大学）；h-da（达姆施塔特应用科学大学）
合成图像合成的巨大进步使得能够生成高分辨率和照片写实主义的面部图像。在生物识别应用中，使用合成数据的主要动机是解决公开可用的生物识别数据的短缺，同时在处理此类敏感信息时降低隐私风险。这些优点是利用在这项工作中，通过模拟人脸老化与最近的面部年龄修改算法，以产生交配样本，从而研究老化的影响，对性能的开源生物识别系统。此外，使用真实数据集来评估短期老化的影响，将生物识别性能与合成域进行比较。主要研究结果表明，1-5年的短期老化对一般识别性能的影响很小。然而，正确验证长期年龄差异超过20岁的配对面孔仍然是一个重大挑战，需要进一步调查。
2022-08-17 cs.AI cs.CV
Second FRCSyn-onGoing: Winning Solutions and Post-Challenge Analysis to Improve Face Recognition with Synthetic Data
第二次FRCSyn-onGoing挑战旨在通过合成数据改进面部识别，探索其在解决人口偏见、领域适应和严苛场景下的性能限制等方面的应用。
2025-03-10 cs.AI cs.CV cs.CY
Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap
Idiap Research Institute（伊迪亚普研究所）
本文针对有限数据下的低分辨率人脸识别问题，研究多种合成数据生成策略，发现合成与真实数据存在域差距，简单插值增强紧凑骨干网络的合成方式效果最优，且生成方法需在真实LR数据上验证。
2026-08-10 cs.CV
QuantFace: Towards Lightweight Face Recognition by Synthetic Data Low-bit Quantization
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
基于深度学习的人脸识别模型遵循深度神经网络的共同趋势，利用具有高计算成本的全精度浮点网络。在受计算需求约束的用例中部署此类网络通常是不可行的，因为全精度模型需要大量内存。以前的紧凑型人脸识别方法提出设计特殊的紧凑型架构，并使用真实的训练数据从头开始训练它们，由于隐私问题，这可能在真实世界的场景中不可用。在这项工作中，我们提出了QuantFace解决方案的基础上，低比特精度格式模型量化。QuantFace降低了现有人脸识别模型所需的计算成本，而无需设计特定的架构或访问真实的训练数据。QuantFace将隐私友好的合成人脸数据引入量化过程，以减轻潜在的隐私问题和与真实训练数据的可访问性相关的问题。通过对七个基准测试和四个网络架构进行广泛的评估实验，我们证明QuantFace可以成功地将模型大小减少到5倍，同时在很大程度上保持全精度模型的验证性能，而无需访问真实的训练数据集。
2022-06-21 cs.CV
UIFace: Unleashing Inherent Model Capabilities to Enhance Intra-Class Diversity in Synthetic Face Recognition
Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）
针对合成人脸识别中上下文过拟合导致类内多样性不足的问题，提出UIFace框架，通过双上下文扩散模型与两阶段采样策略，结合注意力注入模块，在减少训练数据和合成数据集规模的情况下显著提升识别性能。
2025-02-27 cs.CV
Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
该研究利用大规模属性分类器（MAC）为四个真实和合成人脸数据集创建标注，通过Kullback-Leibler散度分析属性分布差异，发现真实样本能解释合成分布，但反之不成立。
2024-04-23 cs.CV
Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data
CVPR 2024第二届挑战赛探讨合成数据在人脸识别中的应用，旨在解决隐私、偏见和泛化能力等技术限制，通过新子任务推动面部生成方法的发展。
2024-04-16 cs.AI cs.CV cs.CY
SteerFace: Debiasing Synthetic Face Generation via Adaptive Residue Perturbation
Fudan University（复旦大学）；Youtu Lab, Tencent（腾讯优图实验室）；WeChat Pay Lab33, Tencent（腾讯微信支付实验室33）
针对合成人脸数据与真实数据分布存在视觉倾向差异的问题，提出SteerFace框架，通过将身份嵌入向随机正交方向扰动作为正则化项，抑制生成器对非身份视觉线索的依赖，从而缩小合成-真实差距。
2026-05-29 cs.CV
Investigation of Accuracy and Bias in Face Recognition Trained with Synthetic Data
Idiap Research Institute（伊迪亚普研究所）
本文构建 FairFaceGen 合成人脸数据集，系统比较不同生成器与身份增强方法对人脸识别准确率及种族偏差的影响，为公平FR系统提供构建指南。
2025-07-28 cs.AI cs.CV
Pose Impact Estimation on Face Recognition using 3D-Aware Synthetic Data with Application to Quality Assessment
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Hochschule Darmstadt (h-da)（达姆施塔特应用技术大学）
本文构建3D感知合成姿态数据集Syn-YawPitch，量化俯仰角对人脸识别的影响，并提出符合ISO标准的轻量可解释姿态质量预测器。
2023-12-06 cs.CV cs.HC
S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image
InterDigital R&I（InterDigital研发创新中心）
我们提出了一种新的人脸重建方法，能够重建详细的人脸几何形状，空间变化的人脸反射率从一个单一的单目图像。我们的工作建立在基于DNN的自动编码器的最新进展之上，该编码器具有可微分的光线追踪图像形成，以自我监督的方式进行训练。虽然提供了基于学习的方法和实时重建的优势，后一种方法缺乏保真度。在这项工作中，我们实现了，第一次，高保真人脸重建仅使用自监督学习。我们新颖的从粗到细的深度架构使我们能够以高计算速度解决使用单个图像将面部反射与几何结构解耦的挑战性问题。与最先进的方法相比，我们的方法实现了更具视觉吸引力的重建。
2022-04-05 cs.CV cs.GR cs.LG
Generation of Non-Deterministic Synthetic Face Datasets Guided by Identity Priors
NBL - Norwegian Biometrics Laboratory, NTNU（挪威生物特征实验室，挪威科技大学）
通过人脸识别实现高度安全的应用（如过境）需要通过大规模数据进行广泛的生物识别性能测试。然而，使用真实的面部图像引起了对隐私的担忧，因为法律不允许图像用于最初意图之外的其他目的。使用人脸数据的代表性和子集也会导致不必要的人口统计偏见，并导致数据集的不平衡。克服这些问题的一个可能的解决方案是用合成生成的样本替换真实的人脸图像。虽然生成合成图像已经受益于计算机视觉的最新进展，但是生成类似于真实世界变化的相同合成身份的多个样本仍然没有解决，即，交配样本。本文提出了一种利用StyleGAN的结构良好的潜在空间生成匹配人脸图像的非确定性方法。匹配样本是通过操作潜在向量生成的，更准确地说，我们利用主成分分析（PCA）来定义潜在空间中有语义意义的方向，并使用预训练的人脸识别系统控制原始样本和匹配样本之间的相似性。我们创建了一个新的合成人脸图像数据集（SymFace），由77，034个样本组成，其中包括25，919个合成ID。通过我们的分析，使用完善的人脸图像质量指标，我们展示了模仿真实生物特征数据特征的合成样本的生物特征质量的差异。其分析和结果表明使用所提出的方法创建的合成样本作为替代真实生物特征数据的可行替代方案。
2021-12-07 cs.CV cs.LG
Balancing Fidelity, Utility, and Privacy in Synthetic Cardiac MRI Generation: A Comparative Study
University of Peradeniya, Sri Lanka（斯里兰卡大学）；University of Maryland, College Park, USA（美国马里兰大学 College Park 分校）；Tulane University School of Medicine, USA（美国 Tulane 大学医学院）；Simula Research Laboratory, Norway（挪威 Simula 研究实验室）；SimulaMet, Norway（挪威 SimulaMet）
本研究比较了三种生成模型在合成心脏MRI中的性能，发现DDPM在保真度、实用性和隐私保护之间达到最佳平衡，而FM在隐私方面表现突出但性能略低。
2026-03-04 cs.CV cs.LG
FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
Microsoft Research（微软研究院）；Peking University（北京大学）
在这项工作中，我们提出了一种新的两阶段框架，称为FaceShifter，高保真度和遮挡感知人脸交换。与许多现有的人脸交换工程，利用只有有限的信息，从目标图像合成交换的脸，我们的框架，在其第一阶段，生成交换的脸，在高保真度，利用和整合的目标属性彻底和自适应。我们提出了一种新的属性编码器提取多层次的目标人脸属性，和一个新的发电机精心设计的自适应注意力去规范化（AAD）层自适应集成的身份和属性的人脸合成。为了解决具有挑战性的面部遮挡，我们附加了第二阶段，包括一个新的启发式错误确认细化网络（HEAR-Net）。它被训练成以自我监督的方式恢复异常区域，而无需任何手动注释。对野生面孔的大量实验表明，与其他最先进的方法相比，我们的人脸交换结果不仅在感知上更具吸引力，而且更好地保持了身份。
2020-09-15 cs.CV
Self-Supervised Adaptation of High-Fidelity Face Models for Monocular Performance Tracking
University of Minnesota（明尼苏达大学）；Facebook Reality Labs（Facebook现实实验室）
数据采集和人脸建模技术的改进使我们能够创建高保真逼真的人脸模型。然而，驱动这些逼真的人脸模型需要特殊的输入数据，例如3D网格和展开的纹理。此外，这些面部模型期望在受控实验室环境下获得干净的输入数据，这与在野外收集的数据非常不同。所有这些限制使得在商品相机的跟踪中使用高保真模型具有挑战性。在本文中，我们提出了一个自我监督的领域自适应方法，使动画的高保真人脸模型从商品相机。我们的方法首先通过训练一个新的网络来规避对特殊输入数据的要求，该网络可以直接从单个2D图像驱动人脸模型。然后，我们克服了实验室和不受控制的环境之间的域不匹配，通过执行基于“连续帧纹理一致性”的自监督领域自适应的假设，即人脸的外观在连续帧上是一致的，避免了建模新的环境，如照明或背景的必要性。实验表明，我们能够驱动一个高保真的人脸模型来执行复杂的面部运动从手机摄像头，而不需要任何标记的数据从新的域。
2019-07-25 cs.CV
Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets
Nanyang Technological University（南洋理工大学）
本文对遮挡感知人脸分割的数据集进行了全面的分析，这是一项对许多下游应用至关重要的任务。这些数据集的收集和注释是耗时和劳动密集型的。虽然在合成数据生成方面已经做出了一些努力，但数据的自然方面仍然较少探索。在我们的研究中，我们提出了两种遮挡生成技术，自然遮挡生成（NatOcc），用于生成高质量的自然合成遮挡面;和随机遮挡生成（RandOcc），一种更通用的合成遮挡数据生成方法。我们经验表明，这两种方法的有效性和鲁棒性，即使是看不见的遮挡。为了便于模型评估，我们提出了两个高分辨率的真实世界的遮挡人脸数据集与细粒度的注释，RealOcc和RealOcc-Wild，具有仔细的对齐预处理和在野外设置的鲁棒性测试。我们进一步对新引入的细分基准进行全面分析，为未来探索提供见解。
2022-05-12 cs.CV cs.LG
HiFi-Portrait: Zero-shot Identity-preserved Portrait Generation with High-fidelity Multi-face Fusion
Nanjing University（南京大学）；Dalian University of Technology（大连理工大学）；Nanjing University of Information Science and Technology（南京信息科技大学）
HiFi-Portrait通过高保真多脸融合技术实现零样本身份保留肖像生成，提升了面部相似性和可控性，同时兼容SDXL工作。
2025-12-16 cs.CV
FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping
Berge Consulting（贝格咨询公司）；Halmstad University（哈姆斯塔德大学）
在这项工作中，我们提出了一个新的单阶段的方法，主题不可知的人脸交换和身份转移，命名为FaceDancer。我们有两个主要的贡献：自适应特征融合注意力（AFFA）和解释特征相似性正则化（IFSR）。AFFA模块嵌入在解码器中，自适应地学习融合属性特征和以身份信息为条件的特征，而不需要任何额外的面部分割过程。在IFSR中，我们利用身份编码器中的中间特征来保留目标面部中的重要属性，如头部姿势，面部表情，照明和遮挡，同时仍然以高保真度传输源面部的身份。我们在各种数据集上进行了广泛的定量和定性实验，结果表明，所提出的FaceDancer在身份转移方面优于其他最先进的网络，同时比以前的大多数方法具有更好的姿态保持能力。
2022-10-21 cs.CV
Improving Face Detection Performance with 3D-Rendered Synthetic Data
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）
在本文中，我们提供了一个合成数据生成器的方法，完全控制，多方面的变化的基础上，一个新的三维人脸数据集（3DU脸）。我们定制了合成数据集，以解决特定类型的变化（比例，姿态，遮挡，模糊等），并系统地研究了不同变化对人脸检测性能的影响。我们研究这些因素是否以及如何有助于更好的人脸检测性能。我们在各种人脸数据集（MAFA，UFDD和Wider Face）上验证了我们针对不同人脸检测器（Faster RCNN，SSH和HR）的合成数据增强。
2019-11-27 cs.CV
High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
CUHK MMLab（香港中文大学多模态实验室）；Vivix Group Limited（Vivix集团有限公司）；Shenzhen Loop Area Institute（深圳河套学院）；CPII under InnoHK（创新香港下的CPII）
本文提出了一种ID约束的面部条件化框架，通过解耦条件注入确保身份保持并优化属性对齐，结合身份和对抗损失提升生成质量，在定性和定量评估中均优于现有方法。
2026-03-18 cs.CV
Knowing the Distance: Understanding the Gap Between Synthetic and Real Data For Face Parsing
Datagen（Datagen公司）
使用合成数据训练计算机视觉算法已变得越来越流行，因为它的成本效益，可扩展性和提供准确的多模态标签的能力。虽然最近的研究表明，当仅在合成数据上训练网络时，结果令人印象深刻，但合成数据和真实数据之间仍然存在性能差距，这通常归因于缺乏真实感。本研究的目的是调查的差距更详细的面孔解析任务。我们区分了三种类型的差距：分布差距，标签差距，和照相现实主义差距。研究结果表明，分配差距是造成绩效差距的最大因素，占绩效差距的50%以上。通过解决这一差距并考虑标签差距，我们证明了在合成数据上训练的模型与在类似数量的真实数据上训练的模型取得了相当的结果。这表明，合成数据是真实数据的一种可行的替代方法，特别是当真实数据有限或难以获得时。我们的研究强调了合成数据集中内容多样性的重要性，并挑战了以下观点：照片真实感差距是影响在合成数据上训练的计算机视觉模型性能的最关键因素。
2023-03-27 cs.CV cs.LG
FACE: A Face-based Autoregressive Representation for High-Fidelity and Efficient Mesh Generation
CASIA；UCAS；VAST；KAUST
FACE提出了一种基于面的自回归表示方法，通过在面级别生成网格，显著提高3D网格生成的效率和保真度。
2026-03-03 cs.CV
