Synthetic Face Datasets Generation via Latent Space Exploration from Brownian Identity Diffusion
Idiap Research Institute, Martigny, Switzerland;\' E cole Polytechnique F\' e d\' e rale de Lausanne (EPFL), Lausanne, Switzerland
针对人脸识别训练数据的隐私与多样性问题,本文提出受布朗运动启发的潜空间身份采样方法及 Langevin、Dispersion、DisCo 三种算法,生成无泄漏且性能优于 GAN 数据集的大规模合成人脸数据。
2025-06-06 cs.CV
Towards Multi-domain Face Landmark Detection with Synthetic Data from Diffusion model
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对卡通、漫画等域标注数据稀缺问题,提出两阶段扩散模型训练流程生成跨域对齐的关键点-人脸合成数据,并据此微调检测器,提升多域人脸关键点检测性能。
2026-11-10 cs.CV
This Face Does Not Exist ... But It Might Be Yours! Identity Leakage in Generative Models
University of Notre Dame(圣母大学)
生成对抗网络(GANs)能够生成“不存在”的物体的高分辨率照片级逼真图像。“这些合成图像很难被检测为假的。然而,这些生成模型被训练的方式暗示了从所提供的训练数据泄漏信息的可能性,特别是在合成面部的上下文中。本文提出的实验表明,人脸图像中的身份信息可以从训练语料库流入合成样本,而不会在构建或使用现有模型时发生任何对抗性行为。这提出了与隐私相关的问题,但也激发了对(a)面部流形在特征空间中的特征和(b)如何创建生成模型的讨论,这些模型不会无意中泄露其图像用于训练的真实主体的身份信息。我们使用了五种不同的人脸匹配器(face_recognition,FaceNet,ArcFace,SphereFace和Neurotechnology MegaMatcher)和StyleGAN 2合成模型,并表明这种身份泄漏确实存在于某些方法中,但不是所有方法。那么,我们能说这些合成的面孔真的不存在吗?数据库的真实和合成生成的面孔,本文允许完全复制的结果在这项工作中讨论。
2020-12-10 cs.CV
Cross-Domain Face Synthesis using a Controllable GAN
École de technologie supérieure(高等技术学院)
应用于视频监控的人脸识别(FR)系统的性能已被证明是通过合成人脸生成增强设计数据时,以提高。例如,对于成对匹配器(例如,深连体网络),其通常依赖于每个个体具有一个静止图像的参考图库。然而,在源域中生成合成图像可能由于域移位w.r.t.目标域。此外,尽管出现了用于真实合成生成的生成对抗网络(GANs),但通常难以控制生成合成人脸的条件。在本文中,跨域人脸合成方法,提出了一种新的可控GAN(C-GAN)集成。它采用了现成的三维人脸模型作为模拟器来生成各种姿态下的人脸图像。模拟的图像和噪声被输入到C-GAN进行真实感细化,该C-GAN采用额外的对抗游戏作为第三玩家,以保留细化图像的身份和特定面部属性。这允许在控制GAN输出以在期望的姿态条件下生成面部的同时生成反映目标域中的捕捉条件的真实合成面部图像。实验使用来自Chokepoint和COX-S2 V数据集的视频以及用于FR的深度暹罗网络进行,每个人具有单个参考静止。结果表明,所提出的方法可以提供更高的精度水平相比,目前国家的最先进的方法,合成数据增强。
2019-10-31 cs.CV
Detection of Synthetic Face Images: Accuracy, Robustness, Generalization
Faculty of Electrical Engineering, \ Technical University in Prague, Czech Republic
本文研究了合成人脸图像的检测,构建了FF5数据集,发现简单模型在特定生成器上表现优异且能定位局部篡改,但易受对抗攻击且难以泛化至未见生成器,即便是SOTA方法也面临此问题。
2025-09-16 cs.CV
Data-Agnostic Face Image Synthesis Detection Using Bayesian CNNs
University of Warwick(华威大学)
本文提出一种基于异常检测框架的与数据无关的人脸图像合成检测方法,仅需真实数据学习推理并利用后验概率判断样本真伪,实验证明其性能与需合成数据训练的SOTA方法相当。
2024-01-08 cs.CV
ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition
National University of Singapore(新加坡国立大学);Tencent Youtu Lab(腾讯优图实验室)
针对扩散式合成人脸识别难以泛化到真实人脸的问题,提出ID$^3$模型,通过身份保持损失与调整梯度向量场上的采样算法兼顾类间、类内多样性和身份一致性,并在五个基准上验证优势。
2024-10-24 cs.CV
SDFD: Building a Versatile Synthetic Face Image Dataset with Diverse Attributes
本研究提出SDFD方法,通过整合人口统计、生物特征及非永久性特征的系统化提示词策略,引导文本到图像模型生成高质量、高多样性的合成人脸图像数据集,在更小规模下实现了与现有数据集同等或更高的图像分类挑战性。
2024-04-29 cs.CV
The Value of AI Guidance in Human Examination of Synthetically-Generated Faces
University of Notre Dame(圣母大学)
人脸图像合成的发展已经超过了人类可以有效地区分真实人脸和合成生成的人脸的程度。最近开发的合成人脸图像检测器拥有“优于人类”的辨别能力,特别是在模型的训练过程中由人类感知智能指导的那些。在本文中,我们研究这些人为指导的合成人脸检测器是否可以帮助非专家的人类操作员在合成图像检测的任务相比,没有人的指导下训练的模型。我们进行了一项大规模的实验,有超过1,560名受试者对图像显示的是真实的还是合成的人脸进行分类,并对支持他们决策的区域进行注释。总共收集了3,780个独特面部图像中的56,015个注释。所有受试者首先检查没有任何AI支持的样本,然后是给定(a)AI的决定(“合成”或“真实”),(b)说明模型认为其决定显着的类别激活图,或(c)AI的决定和AI的显着图的样本。合成面孔是用六个现代生成对抗网络生成的。这个实验中有趣的观察结果包括:(1)与传统上使用交叉熵损失训练的模型相比,人工指导训练的模型为人类检查人脸图像提供了更好的支持,(2)呈现给人类的二进制决策比显着图提供了更好的支持,(3)理解AI的准确性有助于人类增加对给定模型的信任,从而提高其整体准确性。这项工作表明,尽管由机器支持的人类实现了比随机更好的合成人脸检测准确性,但为人类提供人工智能支持和建立信任的方式是决定人类-人工智能串联高效率的关键因素。
2022-08-22 cs.AI cs.CV
More Real than Real: A Study on Human Visual Perception of Synthetic Faces
University of Trento(特伦托大学);University of Innsbruck(因斯布鲁克大学);Université Catholique de Louvain(鲁汶天主教大学)
深度假货在过去几年变得非常流行,这也要归功于它们越来越逼真。因此,有必要衡量人类的能力,区分真实和合成的人脸图像时,面对尖端的创作技术。我们描述了我们进行的感知实验的设计和结果,其中广泛而多样化的志愿者群体暴露于由最先进的生成对抗网络(即PG-GAN,StyleGAN,StyleGAN 2)生成的合成人脸图像。实验结果揭示了我们应该如何强烈地质疑我们人类区分真实面孔与通过现代人工智能生成的合成面孔的能力。
2021-10-20 cs.CV cs.CY
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);IWR, University of Heidelberg(海德堡大学科学计算跨学科中心);Manchester Metropolitan University(曼彻斯特城市大学);IMLA, Offenburg University(奥芬堡大学机器学习与分析研究所)
人脸图像处理是一个生成任务,其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而,目前的方法要么专注于纯粹的风格转移,或翻译的预定义的属性集与有限的交互性。为了解决这个问题,我们提出了FacialGAN,这是一个新颖的框架,可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时,将目标图像的各种风格转移到源图像。然后,我们将分割掩模的几何信息,以提供一个细粒度的面部属性的操作。最后,提出了一种多目标学习策略,以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验,以CelebAMask-HQ作为语义掩码标签,显示了我们的模型在风格转换,属性操作,多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性,我们提供了一个交互式开源工具来执行面部操作,以及模型的Pytorch实现。
2021-10-18 cs.CV
Training face verification models from generated face identity data
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂高等电子工程工程师学院);CNRS(法国国家科学研究中心);Safran(赛峰集团)
机器学习工具正变得越来越强大和广泛使用。不幸的是,试图从机器学习中使用的数据集中发现信息的成员攻击有可能限制数据共享。在本文中,我们考虑一种方法来增加数据集的隐私保护,适用于人脸识别。使用辅助人脸识别模型,我们建立在StyleGAN生成对抗网络上,并向其提供结合两个不同子代码的潜在代码,一个编码视觉身份因素,另一个编码非身份因素。通过在图像生成过程中独立地改变这些向量,我们创建了一组虚构的面部身份的合成数据。我们使用这个数据集来训练人脸识别模型。与最先进的人脸验证相比,模型性能下降。当测试与一个简单的成员攻击我们的模型提供了良好的隐私保护,但模型的性能下降相比,国家的最先进的人脸验证。我们发现,添加少量私有数据大大提高了我们模型的性能,这凸显了使用合成数据来训练机器学习模型的局限性。
2021-08-02 cs.CV
Fast Face Image Synthesis with Minimal Training
University of Notre Dame(圣母大学)
我们提出了一种算法来生成真实和合成身份(不存在的人)的真实人脸图像,具有不同的面部偏航,形状和分辨率。合成图像可用于增强数据集以训练CNN或作为生物识别验证实验的大规模干扰集,而无需任何隐私问题。此外,执法部门可以利用这项技术来训练法医专家识别人脸。我们的方法从真实身份的多个人脸图像池中抽取人脸组件,以生成合成纹理。然后,一个真正的三维头部模型兼容生成的纹理被用来渲染它在不同的面部偏航变换。我们进行了多个定量实验,以评估我们的合成过程在CNN训练及其潜在的用途,以生成分心人脸图像的有效性。此外,我们比较我们的方法与流行的GAN模型的视觉质量和执行时间。
2018-11-19 cs.CV
IRIS-GAN: Staged Specialist Detection of Deepfake Faces
Departamento de Física Teórica, Universitat de València, Burjassot, Spain(瓦伦西亚大学理论物理系,瓦伦西亚大学,西班牙Burjassot);Instituto de Física Corpuscular (IFIC), CSIC–Universitat de València, Valencia, Spain(物理微观粒子研究所(IFIC),西班牙-瓦伦西亚大学,瓦伦西亚,西班牙)
提出IRIS-GAN,一种通过分阶段暴露于不同GAN族来训练的专业伪造人脸检测器,在跨生成器迁移下实现高检测率,并通过Grad-CAM分析揭示生成器依赖的空间响应模式。
2026-06-03 cs.CV
Towards Unsupervised Blind Face Restoration using Diffusion Prior
University of Toronto(多伦多大学);Samsung AI Center Toronto(三星人工智能中心多伦多分部);Vector Institute for AI(向量人工智能研究院)
本文提出一种无监督盲人脸恢复方法,仅利用未知退化的输入图像,借助预训练扩散模型生成伪目标来微调恢复模型,在保持内容一致性的同时提升感知质量,并在合成与真实数据集上达到最先进水平。
2024-11-24 cs.CV
A Comparative Study of Image-to-Image Translation Using GANs for Synthetic Child Race Data
University of Galway(戈尔韦大学);Xperi Corporation(Xperi公司)
该研究针对儿童人脸数据种族多样性不足问题,将种族视为风格,比较pix2pix、CycleGAN和CUT三种图像到图像转换方法,验证了合成多样化儿童种族数据的可行性。
2023-08-08 cs.CV
Learn to synthesize and synthesize to learn
Ecole Polytechnique Féderale de Lausanne(洛桑联邦理工学院);Istanbul Technical University(伊斯坦布尔技术大学);University Hospital Center (CHUV)(大学医院中心(CHUV));University of Lausanne(洛桑大学)
属性引导的人脸图像合成的目的是操纵人脸图像上的属性。用于图像到图像转换的大多数现有方法可以使用单个属性在任何两个图像域之间执行固定转换,或者需要具有每个对象的感兴趣属性的训练数据。因此,这些方法只能为每对图像域训练一个特定的模型,这限制了它们处理两个以上域的能力。这些方法的另一个缺点是,它们经常遭受模式坍塌的共同问题,这降低了所生成的图像的质量。为了克服这些缺点,我们提出了属性引导的人脸图像生成方法,使用一个单一的模型,这是能够合成多个照片般真实的人脸图像的条件下的属性的兴趣。此外,我们采用建议的模型,以增加模拟人脸图像的真实感,同时保持人脸特征。与现有的模型相比,我们的方法生成的合成人脸图像在几个人脸数据集上呈现出良好的真实感质量。最后,我们证明了生成的人脸图像可以用于合成数据增强,并提高用于面部表情识别的分类器的性能。
2019-05-01 cs.CV
Progressive Semantic-Aware Style Transformation for Blind Face Restoration
The University of Hong Kong(香港大学);Harbin Institute of Technology(哈尔滨工业大学);DAMO Academy Alibaba Group(阿里巴巴达摩院);Peking University(北京大学);The Hong Kong Polytechnic University(香港理工大学)
人脸恢复是人脸图像处理中的一个重要问题,近年来得到了广泛的研究。然而,以前的作品往往无法产生合理的高质量(HQ)的结果,为现实世界的低质量(LQ)的人脸图像。在本文中,我们提出了一个新的渐进式语义感知的风格转换框架,命名为PSFR-GAN,人脸恢复。具体来说,而不是使用编码器-解码器框架,如以前的方法,我们制定的恢复LQ人脸图像作为一个多尺度渐进式恢复过程,通过语义感知的风格变换。给定一对LQ人脸图像及其对应的解析图,首先生成输入的多尺度金字塔,然后以语义感知的风格转换方式,从粗到细逐步调制不同尺度的特征。与以前的网络相比,所提出的PSFR-GAN充分利用了来自不同尺度的输入对的语义(解析图)和像素(LQ图像)空间信息。此外,我们还引入了一个语义感知的风格损失,它计算每个语义区域的特征风格损失,以改善人脸纹理的细节。最后,我们预训练了一个人脸解析网络,该网络可以从真实世界的LQ人脸图像中生成像样的解析图。实验结果表明,我们的模型与合成数据训练,不仅可以产生更真实的高分辨率的结果,合成LQ输入,但也更好地推广到自然LQ人脸图像相比,最先进的方法。代码可在https://github.com/chaofengc/PSFRGAN上获得。
2021-03-21 cs.CV
Improving face generation quality and prompt following with synthetic captions
Imperial College London(帝国理工学院)
针对扩散模型生成人脸时提示遵循度低、图像真实性差的问题,提出无需训练的外貌描述生成流水线,用其生成25万条合成字幕微调扩散模型,显著提升了人脸生成质量与提示遵循度,并公开相关资源。
2024-05-17 cs.CV cs.LG
FaceKit: a Toolkit for Interpretable Facial Phenotyping, Synthetic Image Generation and Privacy Analysis in Rare Diseases
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心);Havard Westlake School(哈佛西湖学校);University Hospital Bonn(波恩大学医院);Rheinische Friedrich-Wilhelms-Universitat Bonn(波恩大学);Harvard Medical School(哈佛医学院)
FaceKit是一个从正面面部照片进行定量面部表型分析、合成图像生成和隐私评估的工具包,通过提取120个形态学特征和z分数,为罕见病诊断和基因型-表型研究提供客观支持。
2026-10-08 cs.CV q-bio.QM
Pain in 3D: Generating Controllable Synthetic Faces for Automated Pain Assessment
Vector Institute(向量研究所);KITE Research Institute(KITE研究机构);University Health Network(大学健康网络);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Department of Medical Imaging, University of Toronto(多伦多大学医学成像系);Institute of Biomedical Engineering, University of Toronto(多伦多大学生物医学工程研究所)
研究针对面部表情自动疼痛评估面临的数据稀缺等问题,提出3DPain数据集及三阶段框架合成多视图面部,还引入ViTPain框架,为可推广的自动疼痛评估建立了可控、多样且基于临床的基础。
2026-07-22 cs.CV cs.LG
High Fidelity Synthetic Face Generation for Rosacea Skin Condition from Limited Data
Dublin City University(都柏林城市大学)
与大多数深度学习应用程序类似,使用计算机视觉和深度学习诊断皮肤病通常需要大量数据。然而,由于隐私问题,获得特定类型的面部皮肤状况的足够数据可能是困难的。因此,像酒渣鼻这样的疾病在计算机辅助诊断中往往研究不足。面部皮肤状况数据的有限性导致了对计算机辅助诊断的替代方法的研究。近年来,生成对抗网络(GANs),主要是StyleGANs的变体,在生成合成面部图像方面表现出了很好的效果。在这项研究中,第一次,一个小的数据集酒渣鼻与300全脸图像被用来进一步调查的可能性,产生合成数据。初步实验表明,如何微调模型和不同的实验设置显着影响酒渣鼻功能的保真度。结果表明,$R_1$正则化强度有助于实现高保真的细节。此外,这项研究提出了由专家皮肤科医生和非专业参与者合成/生成的面部的定性评价。使用几个验证指标进行定量评价。此外,一些限制和未来的发展方向进行了讨论。代码和生成的数据集可从以下网址获得:\url{https://github.com/thinkercache/stylegan2-ada-pytorch}
2023-03-08 cs.CV cs.LG eess.IV
Towards Inclusive Face Recognition Through Synthetic Ethnicity Alteration
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉巴伊国家技术学院);Norwegian University of Science and Technology(挪威科技大学);State University of New York Polytechnic Institute(纽约州立大学理工学院)
本文构建涵盖亚洲人、黑人和印度人的平衡人脸数据集,利用GAN图像转换与流形学习进行合成族裔改变,并通过ITA、FIQA及四种FRS评估其在缓解偏见中的作用。
2024-05-07 cs.AI cs.CV
Happy Young Women, Grumpy Old Men? Emotion-Driven Demographic Biases in Synthetic Face Generation
University of Oulu(奥卢大学);ELLIS Alicante(阿利坎特ELLIS)
本研究系统审计了文本到图像模型在情绪提示下生成人脸的人口统计偏见,发现模型过度代表年轻面孔和白人特征,负面情绪提示加剧了特定群体的缺失,并降低了感知吸引力。
2026-10-19 cs.AI cs.CV cs.CY
Generative Adversarial Networks for anonymous Acneic face dataset generation
Université Paris-Est Créteil(巴黎东克雷泰伊大学);Lebanese University(黎巴嫩大学)
众所周知,如果用于训练过程和测试过程的数据集满足某些特定要求,则任何分类模型的性能都是有效的。换句话说,数据集的大小越大,平衡和代表性越强,人们就越可以信任所提出的模型的有效性,从而获得的结果。不幸的是,大尺寸的匿名数据集在生物医学应用中通常不公开,特别是那些处理病理人脸图像的数据集。这种担忧使得使用基于深度学习的方法具有挑战性,并且难以复制或验证一些已发表的结果。在本文中,我们提出了一种有效的方法来生成一个现实的匿名合成数据集的人脸与属性的痤疮疾病对应的三个严重程度(即轻度,中度和严重)。因此,考虑在不同级别训练的特定层次结构的基于StyleGAN的算法。为了评估所提出的方案的性能,我们考虑了一个基于CNN的分类系统,使用生成的合成痤疮面部图像进行训练,并使用真实的面部图像进行测试。因此,我们表明,使用InceptionResNetv2实现了97.6%的准确性。因此,这项工作允许科学界将生成的合成数据集用于任何数据处理应用程序,而不受法律或伦理问题的限制。此外,该方法还可以扩展到需要生成合成医学图像的其他应用。我们可以让科学界访问代码和生成的数据集。
2022-11-08 cs.AI cs.CV
Real, fake and synthetic faces -- does the coin have three sides?
American University of Sharjah(沙迦美国大学);Flinders University(弗林德斯大学)
本文通过八种深度学习模型和图像属性分析,发现 ViT Patch-16 在区分真实、深度伪造与合成人脸时表现最佳,证明这三类图像确为不同类别。
2024-04-02 cs.AI cs.CV
On Biased Behavior of GANs for Face Verification
IIT Jodhpur(印度理工学院焦特布尔分校)
深度学习系统需要大量数据进行训练。用于训练人脸验证系统的数据集很难获得,并且容易出现隐私问题。由生成模型(如GANs)生成的合成数据可以是一个很好的替代方案。然而,我们发现从GANs生成的数据容易出现偏见和公平性问题。具体来说,在FFHQ数据集上训练的GANs在20-29岁的年龄组中显示出偏向于生成白人面孔的行为。我们还表明,合成的面孔会造成不同的影响,特别是种族属性,当用于微调人脸验证系统。
2023-01-05 cs.AI cs.CV cs.LG
Enhancing AI Face Realism: Cost-Efficient Quality Improvement in Distilled Diffusion Models with a Fully Synthetic Dataset
Department of Artificial Intelligence, Wroclaw University of Science and Technology(人工智能系,波兹南技术大学)
本研究提出用合成成对数据集训练图像转换头,将蒸馏扩散模型输出精炼至基线模型水平,在保持人像真实感的同时最多降低82%计算成本。
2025-05-08 cs.AI cs.CV
SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces
Yale University(耶鲁大学);Adobe Research(奥多比研究院)
该研究提出 SynthLight 扩散模型,将肖像重光照视为重新渲染问题,借助合成三维人脸数据、多任务训练和无分类器引导采样,在真实照片上实现身份保持且逼真的光照效果。
2025-01-16 cs.CV cs.GR
Proto-LeakNet: Towards Signal-Leak Aware Attribution in Synthetic Human Face Imagery
Department of Mathematics and Computer Science(数学与计算机科学系);University of Catania(卡塔尼亚大学)
提出Proto-LeakNet,利用扩散模型中的信号泄漏痕迹,结合闭集分类与密度开集评估,实现可解释的生成器归因,在闭集上训练后对未见生成器也有效。
2026-06-12 cs.AI cs.CV
Generating Synthetic Data via Augmentations for Improved Facial Resemblance in DreamBooth and InstantID
University of Tuebingen(图宾根大学);LOOKOUT University of Tuebingen(LOOKOUT 图宾根大学)
本文比较经典增强与 InstantID 生成式增强对 DreamBooth 和 InstantID 人脸个性化效果的影响,提出 FaceDistance 度量,并通过实验和用户研究证明生成式增强在平衡真实图像时能更好保持人脸相似度。
2025-07-17 cs.AI cs.CV
Enhanced 3DMM Attribute Control via Synthetic Dataset Creation Pipeline
Purdue University(普渡大学);NAVER WEBTOON
虽然通过生成对抗网络(GANs)对2D图像的面部属性操作由于其许多实际用途而在计算机视觉和图形学中变得常见,但对3D属性操作的研究相对不发达。现有的3D属性操作方法是有限的,因为相同的语义变化应用于每个3D面。开发更好的3D属性控制方法的关键挑战是缺乏成对的训练数据,其中一个属性被改变而其他属性保持固定-例如,一对3D面孔,其中一个是男性,另一个是女性,但所有其他属性(如种族和表情)都是相同的。为了克服这一挑战,我们设计了一个新的管道,通过利用GANs的力量来生成成对的3D人脸。在此管道之上,我们提出了一个增强的非线性3D条件属性控制器,与现有方法相比,该控制器提高了3D属性控制的精度和多样性。我们通过定量和定性评估证明了我们的数据集创建管道的有效性和我们的条件属性控制器的优越性能。
2020-12-11 cs.CV cs.GR
When Algorithms Play Favorites: Lookism in the Generation and Perception of Faces
ISIA Lab - Université de Mons, IRIDIA Lab - Université Libre de Bruxelles(ISIA实验室-蒙斯大学,IRIDIA实验室-布鲁塞尔自由大学);ISIA Lab - Université de Mons(ISIA实验室-蒙斯大学)
本文通过13,200张合成人脸实验,揭示了文本到图像系统将外貌与智力等无关特质关联、性别分类模型对低吸引力非白人女性错误率更高的算法外貌歧视问题,引发数字身份系统公平性担忧。
2025-05-20 cs.AI cs.CV cs.LG
CONFIG: Controllable Neural Face Image Generation
Microsoft(微软公司)
近年来,我们对真实自然图像(尤其是人脸)进行采样的能力突飞猛进,但我们对生成过程进行微调控制的能力却落后了。如果这项新技术要找到实际用途,我们需要对生成网络实现一定程度的控制,在不牺牲真实感的情况下,与计算机图形学和角色动画中的控制水平相当。为此,我们提出了ConfigNet,一个神经人脸模型,它允许以语义上有意义的方式控制输出图像的各个方面,这是迈向精细可控神经渲染的重要一步。ConfigNet在真实人脸图像以及合成人脸渲染上进行训练。我们的新方法使用合成数据将潜在空间分解为与传统渲染管道的输入相对应的元素,分离诸如头部姿势,面部表情,发型,照明等方面,以及在真实数据中很难注释的许多其他方面。真实图像在没有标签的情况下呈现给网络,扩展了生成图像的多样性并鼓励真实感。最后,我们提出了一个评估标准,使用属性检测网络结合用户研究,并展示了最先进的个人控制输出图像中的属性。
2020-10-19 cs.CV cs.LG
CNN Detection of GAN-Generated Face Images based on Cross-Band Co-occurrences Analysis
Department of Information Engineering, University of Siena(锡耶纳大学信息工程系);University of Siena(锡耶纳大学)
上一代GAN模型允许生成在视觉上与自然图像无法区分的合成图像,这就需要开发区分假图像和自然图像的工具,从而有助于保持数字图像的可信度。虽然现代GAN模型可以生成非常高质量的图像,没有可见的空间伪影,但重建颜色通道之间的一致关系更加困难。在本文中,我们提出了一种通过利用光谱带之间的不一致性来区分GAN生成的自然图像的方法,特别关注合成人脸图像的生成。具体来说,除了空间同现矩阵之外,我们还使用跨频带同现矩阵作为CNN模型的输入,该模型经过训练以区分真实和合成人脸。我们的实验结果证实了我们的方法优于类似的检测技术的基础上带内空间同现只的优点。性能增益在针对后处理(如几何变换、滤波和对比度操作)的鲁棒性方面特别显著。
2020-10-02 cs.CR cs.CV cs.LG
On Applicability of Synthetic Datasets for Facial Expression Recognition
Department of Computer Engineering, Istanbul Technical University(伊斯坦布尔技术大学计算机工程系);Department of Informatics, University of Zurich(苏黎世大学信息学系);Division of Engineering, NYU Abu Dhabi(纽约大学阿布扎克分校工程系)
本文研究了合成数据集在面部表情识别中的应用,提出三种隐私保护策略来构建平衡的数据集,并通过实验验证了合成数据在缓解类别不平衡和隐私限制方面的有效性。
2026-05-17 cs.CV
Evolutionary latent space search for driving human portrait generation
Universidad de la República(共和国大学);ITIS Software, Universidad de Málaga(马拉加大学ITIS软件研究所)
提出了一种基于生成对抗网络潜在空间探索的合成人像进化生成方法。这个想法是产生不同的人脸图像非常类似于一个给定的目标肖像。该方法应用StyleGAN2进行肖像生成,FaceNet进行人脸相似性评估。进化搜索基于探索StyleGAN2的实数编码潜在空间。在合成图像和真实图像上的主要结果表明,所提出的方法产生准确和多样的解决方案,代表现实的人的肖像。该研究有助于提高人脸识别系统的安全性。
2022-05-19 cs.AI cs.CV cs.LG
Unveiling Synthetic Faces: How Synthetic Datasets Can Expose Real Identities
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
针对合成人脸数据集的隐私风险,该研究提出成员推理攻击方法,验证6个主流合成人脸识别数据集均存在真实训练数据泄露问题,为合规合成人脸数据集研究提供参考。
2024-10-31 cs.CV
Improving Face Detection Performance with 3D-Rendered Synthetic Data
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum)
在本文中,我们提供了一个合成数据生成器的方法,完全控制,多方面的变化的基础上,一个新的三维人脸数据集(3DU脸)。我们定制了合成数据集,以解决特定类型的变化(比例,姿态,遮挡,模糊等),并系统地研究了不同变化对人脸检测性能的影响。我们研究这些因素是否以及如何有助于更好的人脸检测性能。我们在各种人脸数据集(MAFA,UFDD和Wider Face)上验证了我们针对不同人脸检测器(Faster RCNN,SSH和HR)的合成数据增强。
2019-11-27 cs.CV
Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?
University of Basel(巴塞尔大学)
众所周知,用于人脸识别和人脸地标检测的深度学习方法在现代训练数据集中存在偏差。在这项工作中,我们建议使用合成人脸图像来减少数据集偏差对这些任务的负面影响。使用3D变形人脸模型,我们生成大量的合成人脸图像,完全控制面部形状和颜色,姿势,照明和背景。通过一系列实验,我们通过使用合成面孔进行预训练,广泛测试了引发深度网络的效果。我们观察到人脸识别和面部地标检测任务的以下积极影响:1)使用合成人脸图像的启动在所有基准测试中一致地提高了性能,因为它减少了训练数据中偏差的负面影响。2)减少数据集偏差损害的传统方法,如数据增强和迁移学习,不如使用合成人脸进行训练有效。3)使用合成数据,我们可以将真实世界数据集的大小减少75%用于人脸识别,并将其减少50%用于面部地标检测,同时保持性能。因此,提供了一种手段,将数据汇集过程集中在数量较少但质量较高的数据上。
2019-06-23 cs.CV
SynFace: Face Recognition with Synthetic Data
JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);Tencent Data Platform(腾讯数据平台)
随着最近深度神经网络的成功,人脸识别取得了显着进展。然而,收集大规模的真实世界的人脸识别训练数据已被证明是具有挑战性的,特别是由于标签噪声和隐私问题。同时,现有的人脸识别数据集通常是从网络图像中收集的,缺乏对属性的详细注释(例如,姿态和表情),因此不同属性对人脸识别的影响研究得很少。在本文中,我们解决了上述问题,在人脸识别使用合成人脸图像,即,SynFace具体来说,我们首先探讨了最近使用合成和真实人脸图像训练的最先进的人脸识别模型之间的性能差距。然后,我们分析了性能差距背后的根本原因,例如,差的类内变化和合成和真实人脸图像之间的域间隙。受此启发,我们设计了具有身份混淆(IM)和域混淆(DM)的SynFace,以缓解上述性能差距,展示了合成数据在人脸识别中的巨大潜力。此外,通过可控的人脸合成模型,我们可以很容易地管理合成人脸生成的不同因素,包括姿态,表情,光照,身份的数量和每个身份的样本。因此,我们也对合成人脸图像进行了系统的实证分析,为如何有效地利用合成数据进行人脸识别提供了一些见解。
2021-12-03 cs.CV
Face Manifold: Manifold Learning for Synthetic Face Generation
University of Tehran(德黑兰大学)
脸是我们与周围世界交流的最重要的东西之一。它也形成了我们的身份和表达。人脸结构估计是计算机视觉的一项基本任务,在人脸识别和医疗手术等不同领域都有应用。最近,深度学习技术在从平面图像进行3D人脸重建方面取得了显著的成果。这些技术的主要挑战是对大型3D人脸数据集的迫切需求。通常,这个挑战是由合成人脸生成处理。然而,合成数据集遭受不可能的面孔的存在。在这里,我们提出了一个人脸流形学习方法的合成多样的人脸数据集生成。首先,将人脸结构分为形状组和表情组。然后,利用完全卷积的自动编码器网络来处理不可能的人脸,同时保持数据集的多样性。仿真结果表明,该方法能够对严重受损的人脸图像进行去噪。所生成的数据集的多样性进行了定性和定量评估,并与现有的方法进行比较。实验表明,我们的流形学习方法优于最先进的方法显着。
2019-10-04 cs.CV
SynthDistill: Face Recognition with Knowledge Distillation from Synthetic Data
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
针对轻量级人脸识别模型训练依赖大规模标注数据和性能差距问题,提出SynthDistill框架,利用合成数据蒸馏教师模型知识,采用动态采样策略,在LFW上达99.52%准确率,显著缩小真实与合成数据训练差距。
2023-08-28 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
本文提出 IDiff-Face,利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸,在 LFW 上达到 98.00% 准确率,显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Benchmarking Algorithmic Bias in Face Recognition: An Experimental Approach Using Synthetic Faces and Human Evaluation
Rice University(莱斯大学);California Institute of Technology(加州理工学院);AWS(亚马逊云科技)
本文提出一种基于神经生成合成人脸和人类评估的实验方法,通过独立操纵属性来因果性测量人脸识别系统的种族与性别偏见,并验证了三个研究级模型对黑人和东亚人群准确率较低。
2023-08-10 cs.CV
Mitigating Longitudinal Performance Degradation in Child Face Recognition Using Synthetic Data
Clarkson University(克拉克逊大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文通过合成数据增强微调,有效缓解儿童面部识别中的纵向性能退化问题,降低错误率,提升身份持续性。
2026-01-04 cs.CV
Synthetic Data for Face Recognition: Current State and Future Prospects
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);Faculty of Electrical Engineering, University of Ljubljana(卢布尔雅那大学电气工程学院);School of Engineering, Universidad Autonoma de Madrid(马德里自治大学工程学院);Department of Computer Science, TU Darmstadt(达姆施塔特工业大学计算机科学系)
针对人脸识别中真实生物特征数据的法律伦理争议与数据需求问题,梳理合成人脸数据的用例分类、相关模型进展,分析其应用挑战并展望未来方向。
2023-05-01 cs.CV
HyperFace: Generating Synthetic Face Recognition Datasets by Exploring Face Embedding Hypersphere
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
本文提出HyperFace方法,将合成人脸数据集生成形式化为超球面嵌入空间的打包优化问题,通过梯度下降优化嵌入并利用条件生成器合成图像,训练出的人脸识别模型在合成数据集上达到SOTA性能。
2025-03-02 cs.CV
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
University of Twente(特文特大学)
提出FLUXSynID框架,通过生成包含14,889个身份的高分辨率合成人脸数据集,支持自定义属性分布并提供证件照与活体图像,解决了现有方法缺乏身份属性细粒度控制的问题,促进了生物特征研究。
2025-07-16 cs.CV
If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces
University of Cagliari(卡利亚里大学);Fraunhofer Institute for Computer Graphics Research(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
本文研究利用合成人脸数据训练人脸识别模型以减少对真实数据的依赖,通过对比实验分析合成与真实数据组合及数据增强技术的效果,发现组合数据集并配合适当增强技术能显著提升验证准确率。
2024-04-26 cs.CV
On the use of automatically generated synthetic image datasets for benchmarking face recognition
Idiap Research Institute(IDIAP研究所)
大规模人脸数据集的可用性一直是人脸识别进展的关键。然而,由于许可问题或版权侵权,一些数据集不再可用(例如MS-Celeb-1 M)。生成对抗网络(GANs)的最新进展,合成逼真的人脸图像,提供了一条用合成数据集取代真实数据集的途径,既可以训练也可以对人脸识别(FR)系统进行基准测试。本文提出的工作提供了一个基准FR系统使用合成数据集的研究。首先,我们介绍了所提出的方法来生成一个合成数据集,而不需要人为干预,通过利用具有多个受控变异因素的StyleGAN 2模型的潜在结构。然后,我们确认(i)生成的合成身份不是来自GAN的训练数据集的数据主体,这在具有10 K+身份的合成数据集上进行了验证;(ii)合成数据集上的基准测试结果是一个很好的替代,通常提供与真实数据集上的基准测试类似的出错率和系统排名。
2021-06-08 cs.CV
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Microsoft(微软)
我们证明了在野外单独使用合成数据进行与面部相关的计算机视觉是可能的。社区长期以来一直享受着将训练数据与图形合成的好处,但真实数据和合成数据之间的领域差距仍然是一个问题,特别是对于人脸。研究人员试图通过数据混合、领域自适应和领域对抗训练来弥合这一差距,但我们证明了有可能以最小的领域差距合成数据,因此在合成数据上训练的模型可以推广到真实的野外数据集。我们描述了如何将程序生成的参数化3D人脸模型与全面的手工制作资源库相结合,以前所未有的真实感和多样性呈现训练图像。我们训练机器学习系统来完成与人脸相关的任务,如地标定位和人脸解析,这表明合成数据既可以在准确性上与真实数据相匹配,也可以开辟新的方法,使人工标记成为不可能。
2021-10-05 cs.CV
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
Queen Mary University of London(伦敦玛丽女王大学);University of Exeter(埃克塞特大学)
针对现有合成人脸训练人脸识别模型判别质量不足、性能下降的问题,提出基于扩散模型的CemiFace方法,生成与身份中心不同相似度的半难人脸样本,实验证明其训练性能具备竞争力。
2024-10-30 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel(巴塞尔大学);Department of Mathematics and Computer Science(数学与计算机科学系)
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而,带注释的大型数据集的集合不能很好地扩展,并且对数据质量的控制随着数据集的大小而降低。在这项工作中,我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是,我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像,并完全控制图像变化,例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中,我们观察到以下现象:1)训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好,即使没有数据集自适应。4)使用合成数据进行预训练,然后使用真实世界的图像进行微调,可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此,我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV