Synthetic Data for Face Recognition: Current State and Future Prospects
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）；School of Engineering, Universidad Autonoma de Madrid（马德里自治大学工程学院）；Department of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系）
针对人脸识别中真实生物特征数据的法律伦理争议与数据需求问题，梳理合成人脸数据的用例分类、相关模型进展，分析其应用挑战并展望未来方向。
2023-05-01 cs.CV
HyperFace: Generating Synthetic Face Recognition Datasets by Exploring Face Embedding Hypersphere
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出HyperFace方法，将合成人脸数据集生成形式化为超球面嵌入空间的打包优化问题，通过梯度下降优化嵌入并利用条件生成器合成图像，训练出的人脸识别模型在合成数据集上达到SOTA性能。
2025-03-02 cs.CV
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
University of Twente（特文特大学）
提出FLUXSynID框架，通过生成包含14,889个身份的高分辨率合成人脸数据集，支持自定义属性分布并提供证件照与活体图像，解决了现有方法缺乏身份属性细粒度控制的问题，促进了生物特征研究。
2025-07-16 cs.CV
If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces
University of Cagliari（卡利亚里大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文研究利用合成人脸数据训练人脸识别模型以减少对真实数据的依赖，通过对比实验分析合成与真实数据组合及数据增强技术的效果，发现组合数据集并配合适当增强技术能显著提升验证准确率。
2024-04-26 cs.CV
On the use of automatically generated synthetic image datasets for benchmarking face recognition
Idiap Research Institute（IDIAP研究所）
大规模人脸数据集的可用性一直是人脸识别进展的关键。然而，由于许可问题或版权侵权，一些数据集不再可用（例如MS-Celeb-1 M）。生成对抗网络（GANs）的最新进展，合成逼真的人脸图像，提供了一条用合成数据集取代真实数据集的途径，既可以训练也可以对人脸识别（FR）系统进行基准测试。本文提出的工作提供了一个基准FR系统使用合成数据集的研究。首先，我们介绍了所提出的方法来生成一个合成数据集，而不需要人为干预，通过利用具有多个受控变异因素的StyleGAN 2模型的潜在结构。然后，我们确认（i）生成的合成身份不是来自GAN的训练数据集的数据主体，这在具有10 K+身份的合成数据集上进行了验证;（ii）合成数据集上的基准测试结果是一个很好的替代，通常提供与真实数据集上的基准测试类似的出错率和系统排名。
2021-06-08 cs.CV
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）；University of Exeter（埃克塞特大学）
针对现有合成人脸训练人脸识别模型判别质量不足、性能下降的问题，提出基于扩散模型的CemiFace方法，生成与身份中心不同相似度的半难人脸样本，实验证明其训练性能具备竞争力。
2024-10-30 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel（巴塞尔大学）；Department of Mathematics and Computer Science（数学与计算机科学系）
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而，带注释的大型数据集的集合不能很好地扩展，并且对数据质量的控制随着数据集的大小而降低。在这项工作中，我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是，我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像，并完全控制图像变化，例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中，我们观察到以下现象：1）训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好，即使没有数据集自适应。4)使用合成数据进行预训练，然后使用真实世界的图像进行微调，可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此，我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV
SREFI: Synthesis of Realistic Example Face Images
University of Notre Dame（圣母大学）；FaceTec, Inc.（FaceTec公司）
在本文中，我们提出了一种新的人脸合成方法，可以生成任意数量的合成图像的真实和合成的身份。因此，使用这种方法，可以在所表示的身份数量和每个身份的图像数量方面扩展面部图像数据集，而没有来自从网络下载图像的身份标记和隐私并发症。为了测量合成人脸图像和身份的视觉保真度和唯一性，我们对人类参与者和在260万真实人脸图像数据集上预训练的CNN进行了人脸匹配实验。为了评估这些合成人脸的稳定性，我们用包含近20万张合成人脸的增强数据集训练了一个CNN模型。我们使用这个经过训练的CNN的快照来识别极具挑战性的正面（真实）人脸图像。实验表明，使用增强的人脸进行训练提高了CNN的人脸识别性能。
2017-04-25 cs.CV
SFace: Privacy-friendly and Accurate Face Recognition using Synthetic Data
TU Darmstadt（达姆施塔特工业大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）
最近文献中提出的深度人脸识别模型利用大规模公共数据集（如MS-Celeb-1 M和VGGFace 2）来训练非常深的神经网络，在主流基准测试中实现了最先进的性能。最近，许多这样的数据集，例如，MS-Celeb-1 M和VGGFace 2由于可信的隐私和道德问题而被撤回。这促使这项工作提出并调查使用隐私友好的综合生成的人脸数据集训练人脸识别模型的可行性。为此，我们利用类条件生成对抗网络来生成类标记的合成人脸图像，即SFace。为了解决隐私方面使用这样的数据训练人脸识别模型，我们提供了广泛的评价实验的身份之间的关系的合成数据集和原始的真实数据集用于训练生成模型。我们报告的评估证明，将真实数据集的身份与合成数据集中具有相同类别标签的身份相关联几乎是不可能的。我们还建议使用三种不同的学习策略，多类分类，无标签知识转移，以及多类分类和知识转移的组合学习，在我们的隐私友好的数据集SFace上训练人脸识别。对五个真实人脸基准测试的评估结果表明，隐私友好的合成数据集具有很高的潜力，可用于训练人脸识别模型，例如，使用多类分类的LFW验证准确率为91.87%，使用组合学习策略的验证准确率为99.13%。
2022-06-21 cs.CV
Face Recognition Using Synthetic Face Data
Datagen（Datagen公司）
本文提出利用计算机图形学管线生成的合成人脸数据训练人脸识别模型，在多个基准上取得媲美真实数据训练的效果，并探究了类内方差因素及人脸部件变化对模型性能的影响。
2023-05-17 cs.CV
Synthetic Data for the Mitigation of Demographic Biases in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；secunet Security Networks AG（secunet安全网络股份公司）；Hochschule Darmstadt（达姆施塔特应用科学大学）
本研究提出用GANDiffFace框架生成的人口分布可控的合成数据微调存在偏差的人脸识别系统，经多数据集、多系统及多指标验证，证实合成数据可有效缓解人脸识别中的人口统计学偏差。
2024-02-02 cs.CV
Unsupervised Face Recognition using Unlabeled Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
在过去的几年里，人脸识别的主要研究创新集中在使用多类分类损失的变化在大规模身份标记数据集上训练深度神经网络。然而，由于隐私和道德问题的增加，这些数据集中的许多数据集被其创建者撤回。最近，隐私友好的合成数据已被提出作为隐私敏感的真实数据的替代方案，以符合隐私法规并确保人脸识别研究的连续性。本文提出了一种基于无标记合成数据的无监督人脸识别模型（USynthFace）。我们提出的USynthFace学习最大化同一合成实例的两个增强图像之间的相似性。我们通过大量的几何和颜色变换以及基于GAN的增强来实现这一点，这些增强有助于USynthFace模型训练。我们还对USynthFace的不同组成部分进行了大量的实证研究。通过所提出的一组增强操作，我们证明了我们的USynthFace在使用未标记的合成数据实现相对较高的识别精度方面的有效性。
2022-11-14 cs.CV
Synthetic to Authentic: Transferring Realism to 3D Face Renderings for Boosting Face Recognition
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）；Université de Lausanne (UNIL)（洛桑大学）
针对合成3D人脸训练的人脸识别系统性能不及真实数据训练模型的问题，本文利用图像到图像翻译技术向3D渲染人脸迁移真实感，有效提升了模型在真实基准上的表现，为合成数据落地应用提供新思路。
2024-12-13 cs.CV
Synthetic Face Ageing: Evaluation, Analysis and Facilitation of Age-Robust Facial Recognition Algorithms
College of Science and Engineering, University of Galway（戈尔韦大学科学与工程学院）；FotoNation
本研究通过评估合成老化方法并利用合成与真实老化数据训练人脸识别模型，证明合成年龄数据可使模型在40年年龄差测试中识别率提升3.33%，从而促进年龄鲁棒人脸识别系统的发展。
2024-06-10 cs.CV
Enhancing Domain Diversity in Synthetic Data Face Recognition with Dataset Fusion
Idiap Research Institute（Idiap研究机构）
针对单一生成器合成人脸数据易引入模型特定伪影的问题，本文提出融合两个架构不同的最先进合成数据集，以增强域多样性并正则化训练，从而在多个标准人脸识别基准上取得更优性能。
2025-07-22 cs.CV
IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation
Fraunhofer IGD（弗劳恩霍夫图像识别研究所）；Department of Computer Science, TU Darmstadt（图腾大学计算机科学系）
IDperturb通过角度扰动提升合成人脸生成的多样性，从而提高FR模型的性能和泛化能力。
2026-08-07 cs.CV
SynthASpoof: Developing Face Presentation Attack Detection Based on Privacy-friendly Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
本文提出首个基于合成数据的大规模人脸呈现攻击检测数据集SynthASpoof，并验证其用于开发PAD的可行性，同时结合MixStyle域泛化工具提升性能，展示了合成数据补充真实训练数据以增强PAD表现的潜力。
2023-04-11 cs.CV
Bias and Diversity in Synthetic-based Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
本研究探究合成人脸识别数据集的多样性及生成模型训练数据分布对合成数据的影响，对比合成与真实数据训练的人脸识别模型偏差，发现合成数据分布与训练数据相似，两类模型偏差表现相近，但身份内属性一致性低有助于降偏差。
2023-11-07 cs.CV
Face Beneath the Ink: Synthetic Data and Tattoo Removal with Application to Face Recognition
Hochschule Darmstadt（达姆施塔特应用技术大学）
分析人脸的系统近年来有了显著的改进，目前已用于许多应用场景。然而，这些系统已被发现受到面部改变如纹身的负面影响。为了更好地理解和减轻面部分析系统中面部纹身的影响，需要有纹身和没有纹身的个人的图像的大型数据集。为此，我们提出了一个自动添加逼真的纹身到面部图像的生成器。此外，我们通过使用基于深度学习的模型从面部图像中去除纹身来证明生成的可行性。实验结果表明，它是可能的，从真实图像中删除的面部纹身，而不降低图像的质量。此外，我们表明，在提取和比较面部特征之前，使用所提出的基于深度学习的纹身去除可以提高面部识别的准确性。
2022-05-06 cs.CV
SDFR: Synthetic Data for Face Recognition Competition
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）；University of Bologna（博洛尼亚大学）；Fraunhofer Institute for Computer Graphics Research (IGD)（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）；Universidad de Alicante（阿利坎特大学）；Facephi Biometria SA（Facephi生物识别公司）；Federal University of Paraná (UFPR)（巴拉那联邦大学）；Federal Institute of Mato Grosso (IFMT)（马托格罗索联邦学院）；unico - idTech（unico - 身份技术公司）；Universidad Autonoma de Madrid (UAM)（马德里自治大学）；Università degli Studi di Cagliari (UNICA)（卡利亚里大学）
本文总结了SDFR竞赛，该竞赛研究使用合成数据训练人脸识别模型，通过两个任务评估参赛者在固定骨干和自由配置下的方法，并在七个基准数据集上报告性能、偏差评估及未来方向。
2024-04-09 cs.CV
Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap
Idiap Research Institute（伊迪亚普研究所）
本文针对有限数据下的低分辨率人脸识别问题，研究多种合成数据生成策略，发现合成与真实数据存在域差距，简单插值增强紧凑骨干网络的合成方式效果最优，且生成方法需在真实LR数据上验证。
2026-08-10 cs.CV
Automatic Face Recognition from Video
Trinity College（三一学院）
这项工作的目的是自动识别人脸的视频序列中的一个现实的，无约束的设置，其中照明条件是极端的，大大改变，视点和用户的运动模式有很大的变化，视频输入是低质量的。在焦点的中心是人脸外观流形：这篇论文提出了一个显着的进步，他们的理解和应用领域的人脸识别。两个主要贡献是通用形状照明流形识别算法和各向异性流形空间聚类。通用形状照明流形上获得的真实世界条件下的大型数据语料库进行评估，其性能大大超过了国家的最先进的方法在文献中，最好的商业软件。经验评估的各向异性流形空间聚类的一个流行的情景喜剧也描述了良好的初步结果。
2015-04-21 cs.CV
QuantFace: Towards Lightweight Face Recognition by Synthetic Data Low-bit Quantization
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
基于深度学习的人脸识别模型遵循深度神经网络的共同趋势，利用具有高计算成本的全精度浮点网络。在受计算需求约束的用例中部署此类网络通常是不可行的，因为全精度模型需要大量内存。以前的紧凑型人脸识别方法提出设计特殊的紧凑型架构，并使用真实的训练数据从头开始训练它们，由于隐私问题，这可能在真实世界的场景中不可用。在这项工作中，我们提出了QuantFace解决方案的基础上，低比特精度格式模型量化。QuantFace降低了现有人脸识别模型所需的计算成本，而无需设计特定的架构或访问真实的训练数据。QuantFace将隐私友好的合成人脸数据引入量化过程，以减轻潜在的隐私问题和与真实训练数据的可访问性相关的问题。通过对七个基准测试和四个网络架构进行广泛的评估实验，我们证明QuantFace可以成功地将模型大小减少到5倍，同时在很大程度上保持全精度模型的验证性能，而无需访问真实的训练数据集。
2022-06-21 cs.CV
UIFace: Unleashing Inherent Model Capabilities to Enhance Intra-Class Diversity in Synthetic Face Recognition
Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）
针对合成人脸识别中上下文过拟合导致类内多样性不足的问题，提出UIFace框架，通过双上下文扩散模型与两阶段采样策略，结合注意力注入模块，在减少训练数据和合成数据集规模的情况下显著提升识别性能。
2025-02-27 cs.CV
Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
该研究利用大规模属性分类器（MAC）为四个真实和合成人脸数据集创建标注，通过Kullback-Leibler散度分析属性分布差异，发现真实样本能解释合成分布，但反之不成立。
2024-04-23 cs.CV
SteerFace: Debiasing Synthetic Face Generation via Adaptive Residue Perturbation
Fudan University（复旦大学）；Youtu Lab, Tencent（腾讯优图实验室）；WeChat Pay Lab33, Tencent（腾讯微信支付实验室33）
针对合成人脸数据与真实数据分布存在视觉倾向差异的问题，提出SteerFace框架，通过将身份嵌入向随机正交方向扰动作为正则化项，抑制生成器对非身份视觉线索的依赖，从而缩小合成-真实差距。
2026-05-29 cs.CV
On the Use of Synthetic Data for Threshold Calibration in Face Recognition: Performance and Security Implications for Border Control Systems
Faculty of Information Technology and Electrical Engineering, University of Oulu（奥卢大学信息技术与电气工程学院）
研究合成数据用于边境控制系统人脸识别阈值校准，分析合成与真实数据集分数分布对齐及校准阈值跨域转移性，发现合成数据在受控环境可近似校准，但在无约束条件下不可靠，校准结果依赖数据集，高安全部署需真实数据验证调整。
2026-07-29 cs.CV
Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models
Idiap Research Institute（伊迪亚普研究所）
针对合成人脸数据真实感不足导致人脸识别模型性能差的问题，提出Digi2Real框架，结合图形管线的可控性与人脸基础模型的真实感增强技术，生成高质量合成数据，显著提升人脸识别性能。
2025-01-14 cs.CV
GANDiffFace: Controllable Generation of Synthetic Datasets for Face Recognition with Realistic Variations
Universidad Autonoma de Madrid（马德里自治大学）；secunet Security Networks AG（secunet安全网络股份公司）；Hochschule Darmstadt（达姆施塔特应用技术大学）
本文提出GANDiffFace框架，结合GAN与扩散模型生成具有真实类内变化和可控人口分布的人脸识别合成数据集，实验表明其分数分布接近VGG2和IJB-C等真实数据集。
2023-05-31 cs.CV
The Impact of Balancing Real and Synthetic Data on Accuracy and Fairness in Face Recognition
University of Cagliari（卡利亚里大学）
本文研究真实与合成数据的人口统计学平衡对人脸识别准确性和公平性的影响，发现扩散模型生成的合成数据能有效提升准确性，但预训练生成方法产生的平衡数据对公平性改善甚微。
2024-09-04 cs.CV
DigiFace-1M: 1 Million Digital Face Images for Face Recognition
University of Cambridge（剑桥大学）；Microsoft（微软）
最先进的人脸识别模型显示出令人印象深刻的准确性，在野生标签人脸（LFW）数据集上达到了99.8%以上。这些模型是在大规模数据集上训练的，这些数据集包含从互联网上收集的数百万张真实人脸图像。网络抓取的人脸图像有严重的偏见（在种族，照明，化妆等方面），并且经常包含标签噪音。更重要的是，人脸图像是在没有明确同意的情况下收集的，这引发了伦理问题。为了避免这样的问题，我们引入了一个大规模的人脸识别合成数据集，通过使用计算机图形管道渲染数字人脸。我们首先证明，积极的数据增强可以显着减少合成到真实域的差距。在完全控制渲染管道的情况下，我们还研究了每个属性（例如，面部姿势、附件和纹理的变化）影响准确性。与最近在GAN生成的合成人脸上训练的SynFace相比，我们将LFW的出错率降低了52.5%（准确率从91.93%降低到96.17%）。通过在少量的真实人脸图像上对网络进行微调，我们可以在征得同意的情况下合理地获得这些图像，从而实现与在数百万真实人脸图像上训练的方法相当的准确性。
2022-10-05 cs.CV
On the Applicability of Synthetic Data for Face Recognition
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
人脸验证在各种应用中越来越受到关注，包括集成人脸识别机制的欧洲出入境系统。与此同时，生物鉴别技术的迅速发展要求进行广泛的性能测试，以防止旅行者因其人口背景而受到歧视性待遇。然而，作为边境管制的一部分而收集的人脸图像的使用受到《欧洲一般数据保护法》的限制，只能出于其原始目的而处理。因此，本文研究了使用StyleGAN和StyleGAN 2生成的合成人脸图像的适用性，以弥补公开可用的大规模测试数据的迫切缺乏。具体而言，利用两种基于深度学习的（SER-FIQ，FaceQnet v1）和一种基于标准的（ISO/IEC TR 29794-5）人脸图像质量评估算法来比较合成人脸图像与从FRGC数据集提取的真实人脸图像的适用性。最后，基于冒名顶替者分数分布和效用分数分布的分析，我们的实验揭示了StyleGAN与StyleGAN 2之间的差异可以忽略不计，并且与真实人脸图像相比也存在微小的差异。
2021-04-06 cs.CR cs.CV
Benchmarking Face Recognition without Real Faces
University of Luxembourg（卢森堡大学）
探讨合成数据集能否取代真实基准用于人脸识别评估，用24个预训练模型对12个合成数据集与7个真实基准测试，发现MorphFace和Vec2Face表现突出，结果表明精心构建的合成数据集可支持可靠比较评估，推动领域向全合成且隐私保护流程发展。
2026-07-17 cs.AI cs.CV
SynThermFace: Amplifying Limited Paired Data for Visible-Thermal Face Recognition via Synthetic Data Generation
Idiap Research Institute（伊迪亚普研究所）；University of Lausanne (UNIL)（洛桑大学）
SynThermFace利用扩散模型将有限的真实可见光-热成像配对数据扩展为大规模合成配对数据，在训练阶段生成数据并适应预训练模型，从而提升跨光谱人脸识别性能，无需测试时图像转换。
2026-09-10 cs.CV
FRCSyn Challenge at WACV 2024:Face Recognition Challenge in the Era of Synthetic Data
Universidad Autonoma de Madrid（马德里自治大学）；Michigan State University（密歇根州立大学）；Hochschule Darmstadt（达姆施塔特应用技术大学）；IIE, CAS（中国科学院自动化研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）；MAIS, CASIA（中国科学院自动化研究所多模态人工智能系统实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；CAIR, HKISI, CAS（中国科学院香港中文大学深圳先进集成技术研究所）；LENS, Inc.（LENS公司）；Federal University of Paraná（巴拉那联邦大学）；Federal Institute of Mato Grosso（马托格罗索联邦学院）；unico - idTech（unico - idTech公司）；Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文介绍WACV 2024上首个合成数据人脸识别挑战赛（FRCSyn），旨在利用合成数据解决隐私、偏见、泛化及复杂场景下的性能问题，其成果和基准推动了人脸识别技术的发展。
2023-11-17 cs.CV
VariFace: Fair and Diverse Synthetic Dataset Generation for Face Recognition
Sony Group Corporation（索尼集团公司）；Sony R&D Center China（索尼中国研发中心）
针对现有合成人脸数据集多样性不足、性能不及真实数据集的问题，提出基于扩散的两阶段流水线VariFace，通过三种方法优化标签、提升多样性并平衡权衡，所生成数据集在公平性和性能上超越现有合成方法，甚至部分超过真实数据集。
2025-04-17 cs.CV cs.LG
Domain-Specific Face Synthesis for Video Face Recognition from a Single Sample Per Person
École de technologie supérieure, Université du Québec（魁北克大学高等技术学院）
静止到视频FR系统的性能可能显著下降，因为在多个视频摄像机上的不受约束的操作域（OD）中捕获的面部与在具有静止摄像机的登记域（ED）中的受控条件下捕获的面部相比具有不同的底层数据分布。当个人使用单个参考仍然登记到系统中时，尤其如此。为了提高这些系统的鲁棒性，可以通过基于原始静止图像生成合成面部来增强参考集。然而，在不知道OD的情况下，必须生成许多合成图像以考虑所有可能的捕获条件。因此，FR系统可能需要复杂的实现，并且在对许多不太相关的图像进行训练时产生较低的准确度。本文介绍了一种特定领域的人脸合成算法（DSFS），利用代表类内变化信息，从OD。在操作之前，通过在捕获的条件空间中聚类来选择来自OD中出现的未知人员的面部的紧凑集合。这些人脸图像的特定领域的变化被投射到参考剧照通过集成基于图像的人脸重光照技术内的3D重建框架。在与OD相关的捕获条件下，生成类似于感兴趣的个体的合成面部的紧凑集合。在基于稀疏表示分类的特定实现中，采用利用DSFS生成的合成面部来形成考虑结构化稀疏性的跨域字典。实验结果表明，使用所提出的DSFS方法来增强FR系统的参考图库集，与现有技术的方法相比，可以提供更高水平的准确性，其计算复杂性仅适度增加。
2018-10-01 cs.CV
Have I Seen You? Embedding Behavior Signals Synthetic Face Dataset Membership
University of Luxembourg（卢森堡大学）
该研究针对合成人脸数据集开展数据集级成员推断攻击，在多模型多数据集实验中实现高成功率，揭示合成数据仍保留真实训练数据痕迹，需更强隐私泄漏缓解措施。
2026-08-03 cs.AI cs.CV cs.LG
Domain Generalization via Ensemble Stacking for Face Presentation Attack Detection
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
本文针对人脸呈现攻击检测的跨域泛化难题，提出结合alpha合成与视频蒸馏生成合成数据、并利用堆叠集成学习训练基模型与元模型的方法，在多个基准数据集上取得较低HTER。
2023-09-16 cs.CV
A high fidelity synthetic face framework for computer vision
Microsoft（微软）
人脸分析是计算机视觉的核心应用之一，其任务范围包括地标对齐、头部姿态估计、表情识别和人脸识别等。然而，构建可靠的方法需要耗时的数据汇集，并且通常需要更耗时的手动注释，这可能是不可靠的。在我们的工作中，我们提出合成这样的面部数据，包括地面实况注释，这几乎是不可能通过手动注释获得的一致性和规模可能通过使用合成数据。我们使用参数化的人脸模型和手工制作的资产，使我们能够生成具有前所未有的质量和多样性（不同的形状，纹理，表情，姿势，灯光和头发）的训练数据。
2020-07-16 cs.CV cs.LG
Time flies by: Analyzing the Impact of Face Ageing on the Recognition Performance with Synthetic Data
NTNU（挪威科技大学）；h-da（达姆施塔特应用科学大学）
合成图像合成的巨大进步使得能够生成高分辨率和照片写实主义的面部图像。在生物识别应用中，使用合成数据的主要动机是解决公开可用的生物识别数据的短缺，同时在处理此类敏感信息时降低隐私风险。这些优点是利用在这项工作中，通过模拟人脸老化与最近的面部年龄修改算法，以产生交配样本，从而研究老化的影响，对性能的开源生物识别系统。此外，使用真实数据集来评估短期老化的影响，将生物识别性能与合成域进行比较。主要研究结果表明，1-5年的短期老化对一般识别性能的影响很小。然而，正确验证长期年龄差异超过20岁的配对面孔仍然是一个重大挑战，需要进一步调查。
2022-08-17 cs.AI cs.CV
Discrete Point-wise Attack Is Not Enough: Generalized Manifold Adversarial Attack for Face Recognition
Eastern Institute for Advanced Study（东方理工高等研究院）
针对点式对抗攻击泛化差易防御的问题，提出广义流形对抗攻击（GMAA），通过将攻击目标从单点扩展至多点并利用连续表情流形，结合双重监督机制，显著提升了对抗样本的泛化能力、攻击效果与视觉质量。
2023-04-08 cs.CV
NegFaceDiff: The Power of Negative Context in Identity-Conditioned Diffusion for Synthetic Face Generation
Fraunhofer IGD（弗劳恩霍夫研究所）；TU Darmstadt（图宾根大学）
本文提出NegFaceDiff，一种将负条件纳入身份条件扩散过程的新型采样方法，通过引导模型远离不需要的特征来增强身份分离并保持类内一致性，显著提升了生成数据的身份一致性与可分性，使在多个基准上训练的人脸识别系统性能更优。
2025-08-13 cs.CV
Learning Descriptors Invariance Through Equivalence Relations Within Manifold: A New Approach to Expression Invariant 3D Face Recognition
Umm Al-Qura University（乌姆·库拉大学）
本文提出了一种独特的方法的二分法之间的有用的和不利的变化的关键点描述符，即身份和表达的描述符（特征）空间的变化。描述符的变化是从训练样本中学习的。基于训练数据的标签，建立描述符之间的等价关系。这两种类型的描述符的变化表示的描述符流形中嵌入的图形。不变识别，然后进行图搜索问题。设计了一种适用于该结构下的启发式图搜索算法。该方法在FRGC v2.0、博斯普鲁斯海峡和3D TEC数据集上进行了测试。它已被证明可以提高识别性能，特别是在表情变化的情况下，提高了相当大的幅度。
2020-05-11 cs.CV
A Comparative Study on Synthetic Facial Data Generation Techniques for Face Recognition
Department of Informatics, Federal University of Paraná（帕拉那联邦大学信息学院）；IFMT, Pontes e Lacerda（Pontes e Lacerda 工业技术学院）；UFMG（伯南布哥大学）；Unico IDTech（Unico IDTech 公司）
本研究比较了不同合成面部数据生成技术在人脸识别中的有效性，评估了多个数据集上的性能，指出合成数据在捕捉现实变化方面的潜力及进一步研究的必要性。
2025-12-05 cs.CV
Cross Euclidean-to-Riemannian Metric Learning with Application to Face Recognition from Video
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology（计算技术研究所）；Swiss Federal Institute of Technology（瑞士联邦理工学院）
黎曼流形已被广泛用于视频表示的视觉分类任务，包括基于视频的人脸识别。成功主要来自学习判别黎曼度量编码的非线性几何的基本黎曼流形。在本文中，我们提出了一种新的度量学习框架，用于学习欧氏空间和黎曼流形上的距离度量，以融合一个视频中人脸的平均外观和模式变化。所提出的度量学习框架可以处理基于视频的人脸识别的三个典型任务：Video-to-Still、Still-to-Video和Video-to-Video设置。为了实现这个新的框架，通过利用典型的黎曼几何的内核嵌入，我们映射到一个共同的欧氏空间和黎曼流形的源欧氏空间，每个通过相应的高维再生核希尔伯特空间（RKHS）。通过这种映射，学习两个源异构空间之间的交叉视图度量的问题可以表示为学习目标公共欧几里得空间中的单视图欧几里得距离度量。通过使用共享标签学习异构数据上的信息，公共空间中的判别度量提高了视频中的人脸识别。在四个具有挑战性的视频人脸数据库上进行的大量实验表明，该框架在三个经典的基于视频的人脸识别任务中具有明显的优势。
2017-01-06 cs.CV
IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data
介绍IJCB 2026上的AFMFR竞赛，含全数据和有限数据两个赛道，用IDPERTURB生成训练数据，基于多种基准评估。结果显示合成训练数据适配CLIP模型有改进，全数据赛道全量微调领先，有限数据条件下秩稳定的LoRA适配最有效。
2026-07-28 cs.CV
On Recognizing Occluded Faces in the Wild
Faculty of Computer and Informatics, Dept. of Computer Engineering（计算机与信息学院，计算机工程系）
由于遮挡引起的人脸外观变化一直是人脸识别系统面临的主要挑战之一。为了便于在这一领域的进一步研究，这是必要的和重要的，有闭塞的脸数据集收集从现实世界中，合成生成的闭塞的脸不能代表问题的性质。在本文中，我们提出了真实世界被遮挡的人脸（ROF）数据集，其中包含由于太阳镜而导致的上脸遮挡和由于面具而导致的下脸遮挡。我们提出了两个评估协议，这个数据集。在数据集上进行的基准实验表明，无论深度人脸表示模型有多强大，当在真实世界的遮挡人脸上进行测试时，它们的性能都会显着下降。据观察，性能下降是少得多的模型进行测试时，合成生成的遮挡面。ROF数据集和相关的评估方案可在以下链接https://github.com/ekremerakin/RealWorldOccludedFaces上公开获得。
2021-09-11 cs.CV
Investigation of Accuracy and Bias in Face Recognition Trained with Synthetic Data
Idiap Research Institute（伊迪亚普研究所）
本文构建 FairFaceGen 合成人脸数据集，系统比较不同生成器与身份增强方法对人脸识别准确率及种族偏差的影响，为公平FR系统提供构建指南。
2025-07-28 cs.AI cs.CV
Dataset Augmentation for Pose and Lighting Invariant Face Recognition
Vision Systems, Inc.（视觉系统公司）；Systems and Technology Research（系统与技术研究院）
现代人脸识别系统的性能取决于它们所训练的数据集。大多数数据集在很大程度上偏向于具有良好照明条件的“近正面”视图，对不符合这些标准的图像的识别性能产生负面影响。所提出的方法演示了如何使用具有模拟姿势和照明条件的半合成图像来增强基线训练集以增加姿势和照明可变性。半合成图像是使用快速和鲁棒的3-d形状估计和渲染流水线生成的，其中包括完整的头部和背景。研究了在不修改网络本身的结构的情况下将半合成渲染并入现有技术的基于深度神经网络的识别系统的训练过程中的各种方法。使用最先进的识别管道作为基线，在具有挑战性的IJB-A识别数据集上呈现定量结果。
2017-04-14 cs.CV
OCFR 2022: Competition on Occluded Face Recognition From Synthetically Generated Structure-Aware Occlusions
INESC TEC（国家科学与工程计算技术研究所（INESC TEC））；University of Porto（波尔图大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）；CDTA Centre de Développement des Technologies Avancées（先进技术发展中心CDTA）；ESI Ecole Nationale Supérieure d’Informatique（国立高等计算机学院ESI）；SiMiT Lab（SiMiT实验室）
这项工作总结了2022年国际生物识别联合会议（IJCB 2022）所接受的IJCB遮挡人脸识别竞赛2022（IJCB-OCFR-2022）。OCFR-2022吸引了来自学术界的3个参与团队。最终，提交了六份有效的参赛作品，然后由组织者进行评估。举办这项比赛是为了解决严重面部遮挡情况下的面部识别挑战。参与者可以自由使用任何训练数据，测试数据由组织者通过使用众所周知的数据集合成遮挡面部图像的部分来构建。所提交的解决方案具有创新性，与所考虑的基线相比，表现非常有竞争力。本次比赛的主要成果是一个具有挑战性的，现实的，多样化的，公开的遮挡人脸识别基准与定义良好的评估协议。
2022-08-15 cs.CV cs.LG
Face Morphing Attack Detection Using Privacy-Aware Training Data
University of Ljubljana（卢布尔雅那大学）；Faculty of Electrical Engineering（电气工程学院）；Faculty of Computer and Information Science（计算机与信息科学学院）
变形人脸的图像对基于人脸识别的安全系统构成了严重威胁，因为它们可以被用来非法验证具有单个变形图像的多个人的身份。现代检测算法学会使用真实个体的真实图像来识别这种变形攻击。这种方法引起了各种隐私问题，并限制了公开可用的训练数据的量。在本文中，我们探讨了只在不存在的人及其各自的变形的面孔上训练的检测算法的有效性。为此，使用合成数据训练两种专用算法，然后在三个真实世界数据集上进行评估，即：FRLL-形态、FERET-形态和FRGC-形态。我们的研究结果表明，合成的人脸图像可以成功地用于检测算法的训练过程中，以及推广到现实世界的场景。
2022-07-02 cs.CV
SIG: A Synthetic Identity Generation Pipeline for Generating Evaluation Datasets for Face Recognition
Southern Methodist University（南卫理公会大学）
针对人脸识别评估数据集伦理采集难、成本高的问题，提出可控制属性的合成身份生成流水线SIG，并发布均衡开源数据集ControlFace10k，验证了其用于算法评估与偏见分析的有效性。
2024-09-17 cs.CV cs.LG
Pose Impact Estimation on Face Recognition using 3D-Aware Synthetic Data with Application to Quality Assessment
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Hochschule Darmstadt (h-da)（达姆施塔特应用技术大学）
本文构建3D感知合成姿态数据集Syn-YawPitch，量化俯仰角对人脸识别的影响，并提出符合ISO标准的轻量可解释姿态质量预测器。
2023-12-06 cs.CV cs.HC
