Improving Face Detection Performance with 3D-Rendered Synthetic Data
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum)
在本文中,我们提供了一个合成数据生成器的方法,完全控制,多方面的变化的基础上,一个新的三维人脸数据集(3DU脸)。我们定制了合成数据集,以解决特定类型的变化(比例,姿态,遮挡,模糊等),并系统地研究了不同变化对人脸检测性能的影响。我们研究这些因素是否以及如何有助于更好的人脸检测性能。我们在各种人脸数据集(MAFA,UFDD和Wider Face)上验证了我们针对不同人脸检测器(Faster RCNN,SSH和HR)的合成数据增强。
2019-11-27 cs.CV
Have I Seen You? Embedding Behavior Signals Synthetic Face Dataset Membership
University of Luxembourg(卢森堡大学)
该研究针对合成人脸数据集开展数据集级成员推断攻击,在多模型多数据集实验中实现高成功率,揭示合成数据仍保留真实训练数据痕迹,需更强隐私泄漏缓解措施。
2026-08-03 cs.AI cs.CV cs.LG
Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?
University of Basel(巴塞尔大学)
众所周知,用于人脸识别和人脸地标检测的深度学习方法在现代训练数据集中存在偏差。在这项工作中,我们建议使用合成人脸图像来减少数据集偏差对这些任务的负面影响。使用3D变形人脸模型,我们生成大量的合成人脸图像,完全控制面部形状和颜色,姿势,照明和背景。通过一系列实验,我们通过使用合成面孔进行预训练,广泛测试了引发深度网络的效果。我们观察到人脸识别和面部地标检测任务的以下积极影响:1)使用合成人脸图像的启动在所有基准测试中一致地提高了性能,因为它减少了训练数据中偏差的负面影响。2)减少数据集偏差损害的传统方法,如数据增强和迁移学习,不如使用合成人脸进行训练有效。3)使用合成数据,我们可以将真实世界数据集的大小减少75%用于人脸识别,并将其减少50%用于面部地标检测,同时保持性能。因此,提供了一种手段,将数据汇集过程集中在数量较少但质量较高的数据上。
2019-06-23 cs.CV
SynMorph: Generating Synthetic Face Morphing Dataset with Mated Samples
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Darmstadt University of Applied Sciences (HDA)(达姆施塔特应用科学大学)
针对人脸变形攻击检测领域大规模公开数据集匮乏的问题,提出生成含2450个身份、超10万样本的SynMorph合成数据集,经评估其质量与攻击潜力优于现有SOTA合成数据集,且可用于训练检测算法。
2025-03-22 cs.AI cs.CV cs.LG
Investigation of Accuracy and Bias in Face Recognition Trained with Synthetic Data
Idiap Research Institute(伊迪亚普研究所)
本文构建 FairFaceGen 合成人脸数据集,系统比较不同生成器与身份增强方法对人脸识别准确率及种族偏差的影响,为公平FR系统提供构建指南。
2025-07-28 cs.AI cs.CV
A Study of the Human Perception of Synthetic Faces
University of Notre Dame(圣母大学);Kitware, Inc.(Kitware公司);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
人脸合成技术的进步已经引起了人们对虚假使用合成人脸的警惕。合成身份能有效地用来愚弄人类观察者吗?在本文中,我们介绍了人类对使用不同策略生成的合成人脸的感知的研究,包括最先进的基于深度学习的GAN模型。这是第一次严格研究基于心理学实验技术的合成人脸生成技术的有效性。我们回答了一些重要的问题,比如基于GAN和更传统的基于图像处理的技术多久会让人类观察者感到困惑,以及合成人脸图像中是否存在微妙的线索,使人类在无需寻找明显线索的情况下将其视为假货?为了回答这些问题,我们用不同来源的人脸图像进行了一系列大规模的众包行为实验。结果表明,在几种不同的情况下,人类无法区分合成人脸和真实人脸。这一发现对许多不同的应用程序有着重要的意义,这些应用程序将人脸图像呈现给人类用户。
2021-11-08 cs.CV
SynFace: Face Recognition with Synthetic Data
JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);Tencent Data Platform(腾讯数据平台)
随着最近深度神经网络的成功,人脸识别取得了显着进展。然而,收集大规模的真实世界的人脸识别训练数据已被证明是具有挑战性的,特别是由于标签噪声和隐私问题。同时,现有的人脸识别数据集通常是从网络图像中收集的,缺乏对属性的详细注释(例如,姿态和表情),因此不同属性对人脸识别的影响研究得很少。在本文中,我们解决了上述问题,在人脸识别使用合成人脸图像,即,SynFace具体来说,我们首先探讨了最近使用合成和真实人脸图像训练的最先进的人脸识别模型之间的性能差距。然后,我们分析了性能差距背后的根本原因,例如,差的类内变化和合成和真实人脸图像之间的域间隙。受此启发,我们设计了具有身份混淆(IM)和域混淆(DM)的SynFace,以缓解上述性能差距,展示了合成数据在人脸识别中的巨大潜力。此外,通过可控的人脸合成模型,我们可以很容易地管理合成人脸生成的不同因素,包括姿态,表情,光照,身份的数量和每个身份的样本。因此,我们也对合成人脸图像进行了系统的实证分析,为如何有效地利用合成数据进行人脸识别提供了一些见解。
2021-12-03 cs.CV
Face Manifold: Manifold Learning for Synthetic Face Generation
University of Tehran(德黑兰大学)
脸是我们与周围世界交流的最重要的东西之一。它也形成了我们的身份和表达。人脸结构估计是计算机视觉的一项基本任务,在人脸识别和医疗手术等不同领域都有应用。最近,深度学习技术在从平面图像进行3D人脸重建方面取得了显著的成果。这些技术的主要挑战是对大型3D人脸数据集的迫切需求。通常,这个挑战是由合成人脸生成处理。然而,合成数据集遭受不可能的面孔的存在。在这里,我们提出了一个人脸流形学习方法的合成多样的人脸数据集生成。首先,将人脸结构分为形状组和表情组。然后,利用完全卷积的自动编码器网络来处理不可能的人脸,同时保持数据集的多样性。仿真结果表明,该方法能够对严重受损的人脸图像进行去噪。所生成的数据集的多样性进行了定性和定量评估,并与现有的方法进行比较。实验表明,我们的流形学习方法优于最先进的方法显着。
2019-10-04 cs.CV
SynthDistill: Face Recognition with Knowledge Distillation from Synthetic Data
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
针对轻量级人脸识别模型训练依赖大规模标注数据和性能差距问题,提出SynthDistill框架,利用合成数据蒸馏教师模型知识,采用动态采样策略,在LFW上达99.52%准确率,显著缩小真实与合成数据训练差距。
2023-08-28 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
本文提出 IDiff-Face,利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸,在 LFW 上达到 98.00% 准确率,显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Benchmarking Algorithmic Bias in Face Recognition: An Experimental Approach Using Synthetic Faces and Human Evaluation
Rice University(莱斯大学);California Institute of Technology(加州理工学院);AWS(亚马逊云科技)
本文提出一种基于神经生成合成人脸和人类评估的实验方法,通过独立操纵属性来因果性测量人脸识别系统的种族与性别偏见,并验证了三个研究级模型对黑人和东亚人群准确率较低。
2023-08-10 cs.CV
Mitigating Longitudinal Performance Degradation in Child Face Recognition Using Synthetic Data
Clarkson University(克拉克逊大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文通过合成数据增强微调,有效缓解儿童面部识别中的纵向性能退化问题,降低错误率,提升身份持续性。
2026-01-04 cs.CV
Synthetic Data for Face Recognition: Current State and Future Prospects
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);Faculty of Electrical Engineering, University of Ljubljana(卢布尔雅那大学电气工程学院);School of Engineering, Universidad Autonoma de Madrid(马德里自治大学工程学院);Department of Computer Science, TU Darmstadt(达姆施塔特工业大学计算机科学系)
针对人脸识别中真实生物特征数据的法律伦理争议与数据需求问题,梳理合成人脸数据的用例分类、相关模型进展,分析其应用挑战并展望未来方向。
2023-05-01 cs.CV
HyperFace: Generating Synthetic Face Recognition Datasets by Exploring Face Embedding Hypersphere
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
本文提出HyperFace方法,将合成人脸数据集生成形式化为超球面嵌入空间的打包优化问题,通过梯度下降优化嵌入并利用条件生成器合成图像,训练出的人脸识别模型在合成数据集上达到SOTA性能。
2025-03-02 cs.CV
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
University of Twente(特文特大学)
提出FLUXSynID框架,通过生成包含14,889个身份的高分辨率合成人脸数据集,支持自定义属性分布并提供证件照与活体图像,解决了现有方法缺乏身份属性细粒度控制的问题,促进了生物特征研究。
2025-07-16 cs.CV
Model Discrepancy Learning: Synthetic Faces Detection Based on Multi-Reconstruction
East China University of Science and Technology(华东理工大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文提出基于多重重建的合成人脸检测方法,利用不同生成模型的重建差异区分真实、GAN和DM生成图像,并构建亚洲合成人脸数据集ASFD,实验证明该方法具有优异性能和鲁棒性。
2025-04-10 cs.CV
Improving Synthetically Generated Image Detection in Cross-Concept Settings
Information Technologies Institute, CERTH(希腊研究与技术中心信息技术研究所);Czech Technical University in Prague(布拉格捷克理工大学)
针对合成图像检测器跨概念泛化不足的问题,本文提出依据概率质量估计模型的质量评分筛选逼真生成图像进行训练,并在 StyleGAN2 与 Latent Diffusion 上验证其性能提升。
2023-04-24 cs.AI cs.CV
If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces
University of Cagliari(卡利亚里大学);Fraunhofer Institute for Computer Graphics Research(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
本文研究利用合成人脸数据训练人脸识别模型以减少对真实数据的依赖,通过对比实验分析合成与真实数据组合及数据增强技术的效果,发现组合数据集并配合适当增强技术能显著提升验证准确率。
2024-04-26 cs.CV
On the use of automatically generated synthetic image datasets for benchmarking face recognition
Idiap Research Institute(IDIAP研究所)
大规模人脸数据集的可用性一直是人脸识别进展的关键。然而,由于许可问题或版权侵权,一些数据集不再可用(例如MS-Celeb-1 M)。生成对抗网络(GANs)的最新进展,合成逼真的人脸图像,提供了一条用合成数据集取代真实数据集的途径,既可以训练也可以对人脸识别(FR)系统进行基准测试。本文提出的工作提供了一个基准FR系统使用合成数据集的研究。首先,我们介绍了所提出的方法来生成一个合成数据集,而不需要人为干预,通过利用具有多个受控变异因素的StyleGAN 2模型的潜在结构。然后,我们确认(i)生成的合成身份不是来自GAN的训练数据集的数据主体,这在具有10 K+身份的合成数据集上进行了验证;(ii)合成数据集上的基准测试结果是一个很好的替代,通常提供与真实数据集上的基准测试类似的出错率和系统排名。
2021-06-08 cs.CV
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Microsoft(微软)
我们证明了在野外单独使用合成数据进行与面部相关的计算机视觉是可能的。社区长期以来一直享受着将训练数据与图形合成的好处,但真实数据和合成数据之间的领域差距仍然是一个问题,特别是对于人脸。研究人员试图通过数据混合、领域自适应和领域对抗训练来弥合这一差距,但我们证明了有可能以最小的领域差距合成数据,因此在合成数据上训练的模型可以推广到真实的野外数据集。我们描述了如何将程序生成的参数化3D人脸模型与全面的手工制作资源库相结合,以前所未有的真实感和多样性呈现训练图像。我们训练机器学习系统来完成与人脸相关的任务,如地标定位和人脸解析,这表明合成数据既可以在准确性上与真实数据相匹配,也可以开辟新的方法,使人工标记成为不可能。
2021-10-05 cs.CV
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
Queen Mary University of London(伦敦玛丽女王大学);University of Exeter(埃克塞特大学)
针对现有合成人脸训练人脸识别模型判别质量不足、性能下降的问题,提出基于扩散模型的CemiFace方法,生成与身份中心不同相似度的半难人脸样本,实验证明其训练性能具备竞争力。
2024-10-30 cs.CV
Balanced Face Dataset: Guiding StyleGAN to Generate Labeled Synthetic Face Image Dataset for Underrepresented Group
AIMS-AMMI(非洲数学科学研究所-非洲数学科学研究所(AMMI))
本文提出通过控制 StyleGAN 生成过程创建平衡的合成人脸数据集,以缓解代表性不足群体带来的机器学习偏见,并为下游任务提供标注。
2023-08-07 cs.AI cs.CV cs.LG
Quadruplet Loss For Improving the Robustness to Face Morphing Attacks
本文提出一种新颖的四元组损失函数,通过特定采样人脸四元组并结合变形图像训练网络,有效提升人脸识别系统对变形攻击的鲁棒性。
2024-02-22 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel(巴塞尔大学);Department of Mathematics and Computer Science(数学与计算机科学系)
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而,带注释的大型数据集的集合不能很好地扩展,并且对数据质量的控制随着数据集的大小而降低。在这项工作中,我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是,我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像,并完全控制图像变化,例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中,我们观察到以下现象:1)训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好,即使没有数据集自适应。4)使用合成数据进行预训练,然后使用真实世界的图像进行微调,可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此,我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV
SREFI: Synthesis of Realistic Example Face Images
University of Notre Dame(圣母大学);FaceTec, Inc.(FaceTec公司)
在本文中,我们提出了一种新的人脸合成方法,可以生成任意数量的合成图像的真实和合成的身份。因此,使用这种方法,可以在所表示的身份数量和每个身份的图像数量方面扩展面部图像数据集,而没有来自从网络下载图像的身份标记和隐私并发症。为了测量合成人脸图像和身份的视觉保真度和唯一性,我们对人类参与者和在260万真实人脸图像数据集上预训练的CNN进行了人脸匹配实验。为了评估这些合成人脸的稳定性,我们用包含近20万张合成人脸的增强数据集训练了一个CNN模型。我们使用这个经过训练的CNN的快照来识别极具挑战性的正面(真实)人脸图像。实验表明,使用增强的人脸进行训练提高了CNN的人脸识别性能。
2017-04-25 cs.CV
SFace: Privacy-friendly and Accurate Face Recognition using Synthetic Data
TU Darmstadt(达姆施塔特工业大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所)
最近文献中提出的深度人脸识别模型利用大规模公共数据集(如MS-Celeb-1 M和VGGFace 2)来训练非常深的神经网络,在主流基准测试中实现了最先进的性能。最近,许多这样的数据集,例如,MS-Celeb-1 M和VGGFace 2由于可信的隐私和道德问题而被撤回。这促使这项工作提出并调查使用隐私友好的综合生成的人脸数据集训练人脸识别模型的可行性。为此,我们利用类条件生成对抗网络来生成类标记的合成人脸图像,即SFace。为了解决隐私方面使用这样的数据训练人脸识别模型,我们提供了广泛的评价实验的身份之间的关系的合成数据集和原始的真实数据集用于训练生成模型。我们报告的评估证明,将真实数据集的身份与合成数据集中具有相同类别标签的身份相关联几乎是不可能的。我们还建议使用三种不同的学习策略,多类分类,无标签知识转移,以及多类分类和知识转移的组合学习,在我们的隐私友好的数据集SFace上训练人脸识别。对五个真实人脸基准测试的评估结果表明,隐私友好的合成数据集具有很高的潜力,可用于训练人脸识别模型,例如,使用多类分类的LFW验证准确率为91.87%,使用组合学习策略的验证准确率为99.13%。
2022-06-21 cs.CV
Face Recognition Using Synthetic Face Data
Datagen(Datagen公司)
本文提出利用计算机图形学管线生成的合成人脸数据训练人脸识别模型,在多个基准上取得媲美真实数据训练的效果,并探究了类内方差因素及人脸部件变化对模型性能的影响。
2023-05-17 cs.CV
TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces
Federal University of Paraná(巴拉那联邦大学);Federal Institute of Mato Grosso(马托格罗索联邦学院);unico - idTech
本文提出TCDiff模型,通过结合2D与3D人脸约束改进真实到合成人脸的风格迁移,在保持类内高方差的同时增强身份一致性,并在多个真实人脸基准上优于现有合成数据集。
2024-09-05 cs.CV
Identity-driven Three-Player Generative Adversarial Network for Synthetic-based Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);TU Darmstadt(达姆施塔特工业大学)
针对人脸识别数据集的隐私问题,提出身份驱动的三人GAN框架IDnet,生成高身份区分度的合成人脸,在人脸识别基准测试中优于现有GAN类方法,效果与渲染法相当。
2023-04-30 cs.CV
Towards Inclusive Face Recognition Through Synthetic Ethnicity Alteration
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉巴伊国家技术学院);Norwegian University of Science and Technology(挪威科技大学);State University of New York Polytechnic Institute(纽约州立大学理工学院)
本文构建涵盖亚洲人、黑人和印度人的平衡人脸数据集,利用GAN图像转换与流形学习进行合成族裔改变,并通过ITA、FIQA及四种FRS评估其在缓解偏见中的作用。
2024-05-07 cs.AI cs.CV
Synthetic Face Datasets Generation via Latent Space Exploration from Brownian Identity Diffusion
Idiap Research Institute, Martigny, Switzerland;\' E cole Polytechnique F\' e d\' e rale de Lausanne (EPFL), Lausanne, Switzerland
针对人脸识别训练数据的隐私与多样性问题,本文提出受布朗运动启发的潜空间身份采样方法及 Langevin、Dispersion、DisCo 三种算法,生成无泄漏且性能优于 GAN 数据集的大规模合成人脸数据。
2025-06-06 cs.CV
Synthetic Data for the Mitigation of Demographic Biases in Face Recognition
Universidad Autonoma de Madrid(马德里自治大学);secunet Security Networks AG(secunet安全网络股份公司);Hochschule Darmstadt(达姆施塔特应用科学大学)
本研究提出用GANDiffFace框架生成的人口分布可控的合成数据微调存在偏差的人脸识别系统,经多数据集、多系统及多指标验证,证实合成数据可有效缓解人脸识别中的人口统计学偏差。
2024-02-02 cs.CV
Unsupervised Face Recognition using Unlabeled Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
在过去的几年里,人脸识别的主要研究创新集中在使用多类分类损失的变化在大规模身份标记数据集上训练深度神经网络。然而,由于隐私和道德问题的增加,这些数据集中的许多数据集被其创建者撤回。最近,隐私友好的合成数据已被提出作为隐私敏感的真实数据的替代方案,以符合隐私法规并确保人脸识别研究的连续性。本文提出了一种基于无标记合成数据的无监督人脸识别模型(USynthFace)。我们提出的USynthFace学习最大化同一合成实例的两个增强图像之间的相似性。我们通过大量的几何和颜色变换以及基于GAN的增强来实现这一点,这些增强有助于USynthFace模型训练。我们还对USynthFace的不同组成部分进行了大量的实证研究。通过所提出的一组增强操作,我们证明了我们的USynthFace在使用未标记的合成数据实现相对较高的识别精度方面的有效性。
2022-11-14 cs.CV
More Real than Real: A Study on Human Visual Perception of Synthetic Faces
University of Trento(特伦托大学);University of Innsbruck(因斯布鲁克大学);Université Catholique de Louvain(鲁汶天主教大学)
深度假货在过去几年变得非常流行,这也要归功于它们越来越逼真。因此,有必要衡量人类的能力,区分真实和合成的人脸图像时,面对尖端的创作技术。我们描述了我们进行的感知实验的设计和结果,其中广泛而多样化的志愿者群体暴露于由最先进的生成对抗网络(即PG-GAN,StyleGAN,StyleGAN 2)生成的合成人脸图像。实验结果揭示了我们应该如何强烈地质疑我们人类区分真实面孔与通过现代人工智能生成的合成面孔的能力。
2021-10-20 cs.CV cs.CY
Improving Post-Earthquake Crack Detection using Semi-Synthetic Generated Images
Department of Electrical, Computer and Biomedical Engineering, University of Pavia(电气、计算机与生物医学工程系,帕维亚大学);EUCENTRE Foundation, European Centre for Training and Research in Earthquake Engineering(欧洲地震工程培训与研究中心基金会)
本研究提出一种利用参数化元标注在3D结构模型上生成半合成裂缝图像的数据增强技术,实验证明结合真实与半合成图像训练能显著提升震后裂缝检测系统的性能。
2024-12-06 cs.AI cs.CV
Synthetic to Authentic: Transferring Realism to 3D Face Renderings for Boosting Face Recognition
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Idiap Research Institute(Idiap研究所);Université de Lausanne (UNIL)(洛桑大学)
针对合成3D人脸训练的人脸识别系统性能不及真实数据训练模型的问题,本文利用图像到图像翻译技术向3D渲染人脸迁移真实感,有效提升了模型在真实基准上的表现,为合成数据落地应用提供新思路。
2024-12-13 cs.CV
Generation of Non-Deterministic Synthetic Face Datasets Guided by Identity Priors
NBL - Norwegian Biometrics Laboratory, NTNU(挪威生物特征实验室,挪威科技大学)
通过人脸识别实现高度安全的应用(如过境)需要通过大规模数据进行广泛的生物识别性能测试。然而,使用真实的面部图像引起了对隐私的担忧,因为法律不允许图像用于最初意图之外的其他目的。使用人脸数据的代表性和子集也会导致不必要的人口统计偏见,并导致数据集的不平衡。克服这些问题的一个可能的解决方案是用合成生成的样本替换真实的人脸图像。虽然生成合成图像已经受益于计算机视觉的最新进展,但是生成类似于真实世界变化的相同合成身份的多个样本仍然没有解决,即,交配样本。本文提出了一种利用StyleGAN的结构良好的潜在空间生成匹配人脸图像的非确定性方法。匹配样本是通过操作潜在向量生成的,更准确地说,我们利用主成分分析(PCA)来定义潜在空间中有语义意义的方向,并使用预训练的人脸识别系统控制原始样本和匹配样本之间的相似性。我们创建了一个新的合成人脸图像数据集(SymFace),由77,034个样本组成,其中包括25,919个合成ID。通过我们的分析,使用完善的人脸图像质量指标,我们展示了模仿真实生物特征数据特征的合成样本的生物特征质量的差异。其分析和结果表明使用所提出的方法创建的合成样本作为替代真实生物特征数据的可行替代方案。
2021-12-07 cs.CV cs.LG
Synthetic Face Ageing: Evaluation, Analysis and Facilitation of Age-Robust Facial Recognition Algorithms
College of Science and Engineering, University of Galway(戈尔韦大学科学与工程学院);FotoNation
本研究通过评估合成老化方法并利用合成与真实老化数据训练人脸识别模型,证明合成年龄数据可使模型在40年年龄差测试中识别率提升3.33%,从而促进年龄鲁棒人脸识别系统的发展。
2024-06-10 cs.CV
Enhancing Domain Diversity in Synthetic Data Face Recognition with Dataset Fusion
Idiap Research Institute(Idiap研究机构)
针对单一生成器合成人脸数据易引入模型特定伪影的问题,本文提出融合两个架构不同的最先进合成数据集,以增强域多样性并正则化训练,从而在多个标准人脸识别基准上取得更优性能。
2025-07-22 cs.CV
IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation
Fraunhofer IGD(弗劳恩霍夫图像识别研究所);Department of Computer Science, TU Darmstadt(图腾大学计算机科学系)
IDperturb通过角度扰动提升合成人脸生成的多样性,从而提高FR模型的性能和泛化能力。
2026-08-07 cs.CV
SynthASpoof: Developing Face Presentation Attack Detection Based on Privacy-friendly Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);TU Darmstadt(达姆施塔特工业大学)
本文提出首个基于合成数据的大规模人脸呈现攻击检测数据集SynthASpoof,并验证其用于开发PAD的可行性,同时结合MixStyle域泛化工具提升性能,展示了合成数据补充真实训练数据以增强PAD表现的潜力。
2023-04-11 cs.CV
Bias and Diversity in Synthetic-based Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
本研究探究合成人脸识别数据集的多样性及生成模型训练数据分布对合成数据的影响,对比合成与真实数据训练的人脸识别模型偏差,发现合成数据分布与训练数据相似,两类模型偏差表现相近,但身份内属性一致性低有助于降偏差。
2023-11-07 cs.CV
Improving Depression estimation from facial videos with face alignment, training optimization and scheduling
University of Oulu(奥卢大学);VTT Technical Research Centre of Finland(芬兰VTT技术研究中心)
深度学习模型在使用基于视频的面部表情识别抑郁状态方面显示出了很好的效果。虽然成功的模型通常利用3D-CNN或视频蒸馏技术,但在实验中使用预训练,数据增强,预处理和优化技术的不同使用使得很难进行公平的架构比较。相反,我们建议通过使用两种特定的人脸对齐方法和改进的数据增强、优化和调度技术来增强基于ResNet-50的两个简单模型,这些模型仅使用静态空间信息。我们在基准数据集上的广泛实验获得了与单流的复杂时空模型相似的结果,而两个不同流的分数级融合优于最先进的方法。我们的研究结果表明,预处理和训练过程中的特定修改会导致模型性能的显著差异,并可能隐藏最初归因于使用不同神经网络架构的实际差异。
2022-12-13 cs.AI cs.CV
Improving Shadow Suppression for Illumination Robust Face Recognition
Ecole Centrale de Lyon(里昂中央理工学院);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
2D人脸分析技术,如人脸地标,人脸识别和人脸验证,是合理地依赖于照明条件,通常是不受控制的和不可预测的,在现实世界中。因此,照明鲁棒的预处理方法仍然是可靠的人脸分析的一个重大挑战。本文提出了一种改进光照归一化的新方法,通过建立反映皮肤表面、光源和摄像机传感器之间相互作用的反射率模型,详细阐述了人脸颜色外观的形成过程。具体地,所提出的照明处理流水线使得能够在对数色度空间中生成色度本征图像(CII),其对照明变化是鲁棒的。此外,作为最流行的方法的优点,照片逼真的彩色人脸图像随后重建,消除了各种各样的阴影,同时保留的颜色信息和身份的细节。在不同场景和不同人脸数据库下的实验结果表明,该方法在处理光照变化(包括软硬阴影)的人脸识别中是有效的。
2017-10-13 cs.CV
Face Beneath the Ink: Synthetic Data and Tattoo Removal with Application to Face Recognition
Hochschule Darmstadt(达姆施塔特应用技术大学)
分析人脸的系统近年来有了显著的改进,目前已用于许多应用场景。然而,这些系统已被发现受到面部改变如纹身的负面影响。为了更好地理解和减轻面部分析系统中面部纹身的影响,需要有纹身和没有纹身的个人的图像的大型数据集。为此,我们提出了一个自动添加逼真的纹身到面部图像的生成器。此外,我们通过使用基于深度学习的模型从面部图像中去除纹身来证明生成的可行性。实验结果表明,它是可能的,从真实图像中删除的面部纹身,而不降低图像的质量。此外,我们表明,在提取和比较面部特征之前,使用所提出的基于深度学习的纹身去除可以提高面部识别的准确性。
2022-05-06 cs.CV
SASMU: boost the performance of generalized recognition model using synthetic face dataset
oToBrite Electronics, Inc.(oToBrite电子公司);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对合成人脸数据训练中的隐私与域差距问题,本文提出结合空间数据增强和频谱混合的 SASMU 方法,无需真实数据微调即可在多个人脸识别基准上达到先进性能。
2023-06-02 cs.CV
Towards Multi-domain Face Landmark Detection with Synthetic Data from Diffusion model
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对卡通、漫画等域标注数据稀缺问题,提出两阶段扩散模型训练流程生成跨域对齐的关键点-人脸合成数据,并据此微调检测器,提升多域人脸关键点检测性能。
2026-11-10 cs.CV
How Knowledge Distillation Mitigates the Synthetic Gap in Fair Face Recognition
INESC TEC;Faculty of Engineering of the University of Porto(波尔图大学工程学院);Faculty of Electrical Engineering and Computer Science, University of Maribor(马里博尔大学电气工程与计算机科学学院)
本文提出利用知识蒸馏将真实数据训练的教师模型知识迁移到学生模型,以缓解人脸识别中合成数据与真实数据的性能差距,并通过33个模型的实验证明该方法能提升各民族的准确率并降低偏差。
2024-08-30 cs.CV
Multi-Channel Cross Modal Detection of Synthetic Face Images
Hochschule Darmstadt(达姆施塔特应用科学大学);Idiap Research Institute(Idiap研究所)
本文提出一种多通道跨模态架构,结合频率与可见光谱信息并采用Cross Modal Focal Loss,用于检测完全合成人脸图像,实验表明其性能优于使用Binary Cross Entropy训练的相关架构。
2024-12-29 cs.CV
SDFR: Synthetic Data for Face Recognition Competition
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学);University of Bologna(博洛尼亚大学);Fraunhofer Institute for Computer Graphics Research (IGD)(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学);Universidad de Alicante(阿利坎特大学);Facephi Biometria SA(Facephi生物识别公司);Federal University of Paraná (UFPR)(巴拉那联邦大学);Federal Institute of Mato Grosso (IFMT)(马托格罗索联邦学院);unico - idTech(unico - 身份技术公司);Universidad Autonoma de Madrid (UAM)(马德里自治大学);Università degli Studi di Cagliari (UNICA)(卡利亚里大学)
本文总结了SDFR竞赛,该竞赛研究使用合成数据训练人脸识别模型,通过两个任务评估参赛者在固定骨干和自由配置下的方法,并在七个基准数据集上报告性能、偏差评估及未来方向。
2024-04-09 cs.CV
On the Applicability of Synthetic Data for Face Recognition
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
人脸验证在各种应用中越来越受到关注,包括集成人脸识别机制的欧洲出入境系统。与此同时,生物鉴别技术的迅速发展要求进行广泛的性能测试,以防止旅行者因其人口背景而受到歧视性待遇。然而,作为边境管制的一部分而收集的人脸图像的使用受到《欧洲一般数据保护法》的限制,只能出于其原始目的而处理。因此,本文研究了使用StyleGAN和StyleGAN 2生成的合成人脸图像的适用性,以弥补公开可用的大规模测试数据的迫切缺乏。具体而言,利用两种基于深度学习的(SER-FIQ,FaceQnet v1)和一种基于标准的(ISO/IEC TR 29794-5)人脸图像质量评估算法来比较合成人脸图像与从FRGC数据集提取的真实人脸图像的适用性。最后,基于冒名顶替者分数分布和效用分数分布的分析,我们的实验揭示了StyleGAN与StyleGAN 2之间的差异可以忽略不计,并且与真实人脸图像相比也存在微小的差异。
2021-04-06 cs.CR cs.CV
VariFace: Fair and Diverse Synthetic Dataset Generation for Face Recognition
Sony Group Corporation(索尼集团公司);Sony R&D Center China(索尼中国研发中心)
针对现有合成人脸数据集多样性不足、性能不及真实数据集的问题,提出基于扩散的两阶段流水线VariFace,通过三种方法优化标签、提升多样性并平衡权衡,所生成数据集在公平性和性能上超越现有合成方法,甚至部分超过真实数据集。
2025-04-17 cs.CV cs.LG
Improving the JPEG-resistance of Adversarial Attacks on Face Recognition by Interpolation Smoothing
Huazhong University of Science and Technology(华中科技大学)
针对 JPEG 压缩削弱人脸识别对抗样本的问题,提出在迭代攻击中通过缩小与恢复插值平滑扰动、抑制高频信号,从而提升对抗样本的 JPEG 抗性。
2024-02-26 cs.CV
This Face Does Not Exist ... But It Might Be Yours! Identity Leakage in Generative Models
University of Notre Dame(圣母大学)
生成对抗网络(GANs)能够生成“不存在”的物体的高分辨率照片级逼真图像。“这些合成图像很难被检测为假的。然而,这些生成模型被训练的方式暗示了从所提供的训练数据泄漏信息的可能性,特别是在合成面部的上下文中。本文提出的实验表明,人脸图像中的身份信息可以从训练语料库流入合成样本,而不会在构建或使用现有模型时发生任何对抗性行为。这提出了与隐私相关的问题,但也激发了对(a)面部流形在特征空间中的特征和(b)如何创建生成模型的讨论,这些模型不会无意中泄露其图像用于训练的真实主体的身份信息。我们使用了五种不同的人脸匹配器(face_recognition,FaceNet,ArcFace,SphereFace和Neurotechnology MegaMatcher)和StyleGAN 2合成模型,并表明这种身份泄漏确实存在于某些方法中,但不是所有方法。那么,我们能说这些合成的面孔真的不存在吗?数据库的真实和合成生成的面孔,本文允许完全复制的结果在这项工作中讨论。
2020-12-10 cs.CV