Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data
KAIST(韩国科学技术院)
在具有公共可用数据集的面部相关应用中,合成非线性面部变化(例如,面部表情、头部姿势、照明等)在解决训练数据的缺乏方面是有帮助的。然而,实际上,甚至没有足够的数据来训练用于面部合成的生成模型。在本文中,我们提出了差分生成对抗网络(D-GAN),即使在训练数据很小的情况下,也可以进行照片级逼真的人脸合成。设计了两个判别器,保证生成器逼近人脸流形,使其能够任意表达人脸变化。实验结果表明,该方法对训练数据的数量具有较好的鲁棒性,合成的图像对提高人脸表情分类器的性能是有用的。
2017-12-29 cs.CV
Face De-occlusion using 3D Morphable Model and Generative Adversarial Network
Inha University(仁荷大学)
近几十年来,三维形变模型(3DMM)被广泛应用于基于图像的真实感三维人脸重建。然而,人脸图像往往会受到眼镜、口罩、手等非人脸物体的严重遮挡。这样的物体阻碍了地标和阴影信息的正确捕获。因此,重建的3D人脸模型是很难重用。本文提出了一种基于三维数字万用表和生成对抗网络的去遮挡人脸图像恢复新方法。我们利用3DMM之前提出的对抗性网络,并结合全局和局部对抗性卷积神经网络来学习人脸去遮挡模型。3DMM不仅作为几何先验,而且还提出了用于局部重构的人脸区域。实验结果证实了该算法在去除各种头部姿态和光照条件下具有挑战性的遮挡类型时的有效性和鲁棒性。此外,所提出的方法重建正确的三维人脸模型与去遮挡的纹理。
2019-09-06 cs.CV
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research(商汤科技研究院);Centre for Perceptual and Interactive Intelligence Limited(感知与交互智能中心有限公司)
利用图像生成模型的最新进展,现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像,例如,控制所生成的面部图像的形状、表情、纹理和姿态。然而,这些方法集中在2D图像生成模型,这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中,我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架,它使三维可控性所产生的人脸图像施加明确的三维条件,从三维人脸先验。其核心是一个条件生成占用字段(cGOF),有效地强制生成的脸的形状提交给一个给定的3D变形模型(3DMM)网格。为了实现对合成图像的细粒度3D人脸形状的精确控制,我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性,它能够生成高保真的人脸图像,并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Face Images as Jigsaw Puzzles: Compositional Perception of Human Faces for Machines Using Generative Adversarial Networks
Carleton University(卡尔顿大学)
人机交互(HRI)的一个重要目标是让机器实现接近人类水平的人脸感知。机器学习和人类智能之间的一个重要区别是缺乏组合性。本文介绍了一种新的方案,使生成对抗网络能够学习由更小部分组成的人脸图像的分布。这导致更灵活的机器面感知和更容易推广到外部训练样本。我们证明,该模型是能够产生逼真的高品质的人脸图像,通过生成和拼凑的部分。此外,我们证明了该模型学习面部部位及其分布之间的关系。因此,特定面部部分在所生成的面部图像之间是可互换的。
2021-03-10 cs.CV cs.LG
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
我们提出了VoLux-GAN,这是一个生成框架,可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法,可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射,漫反射和镜面反射照明的贡献。此外,我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是,我们提出了一个数据增强技术,利用最新的进展,在单一图像的肖像重新照明,以执行一致的几何形状,反射,漫射和镜面反射组件。多个实验和与其他生成框架的比较表明,我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University(湖南大学);Changsha University of Science and Technology(长沙理工大学)
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法,但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络(FD-GAN)来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像(包含罪犯的身份)和存储在电子护照系统中的变形图像(包含罪犯和共犯的身份),FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
Facke: a Survey on Generative Models for Face Swapping
Shanghai Jiaotong University(上海交通大学)
在这项工作中,我们研究了主流神经生成模型在交换面孔这一任务上的性能。我们已经在CVAE、CGAN、CVAE-GAN和条件扩散模型上进行了实验。现有的经过精细训练的模型已经成功地产生了肉眼无法区分的假面孔(Facke),并实现了高客观指标。我们对它们进行了比较,分析了它们的优缺点,并提出了一些有前途的技巧,虽然它们不适用于这项任务。
2022-06-22 cs.AI cs.CV
FTGAN: A Fully-trained Generative Adversarial Networks for Text to Face Generation
Sichuan University(四川大学)
作为文本到图像合成的一个子领域,文本到人脸生成在公共安全领域有着巨大的潜力。由于缺乏数据集,几乎没有相关的研究集中在文本到人脸合成。在本文中,我们提出了一个完全训练的生成对抗网络(FTGAN),它同时训练文本编码器和图像解码器,以实现细粒度的文本到人脸生成。FTGAN采用一种新型的经过充分训练的生成网络,可以合成更高质量的图像,并促使FTGAN的输出与输入句子更相关。此外,我们还构建了一个名为SCU-Text 2face的数据集,用于文本到人脸的合成。通过大量的实验,FTGAN在提高生成图像的质量和与输入描述的相似性方面显示了其优越性。拟议的FTGAN优于先前的最新技术水平,将CUB数据集上报告的最佳Inception Score提高到4.63。在SCU-text 2face上,我们提出的FTGAN仅基于输入描述生成的人脸图像与地面真实值的相似度平均为59%,这为文本到人脸合成设定了基线。
2019-04-11 cs.CV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology(国立屏东科技大学);National Tsing Hua University(国立清华大学);National Institute of Informatics(国立信息学研究所)
尽管生成对抗网络(GANs)可以从低分辨率(LR)人脸中产生逼真的高分辨率(HR)人脸,但它们不能保证保留幻觉HR人脸的身份,使HR人脸难以识别。为了解决这个问题,我们提出了一个暹罗GAN(SiGAN)重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上,所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数,不仅实现了真实感人脸重建,而且保证了重建信息对身份识别有用。实验结果表明,SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs,同时实现了照片级真实感重建。此外,对于未包括在训练中的未知身份的输入LR面部,SiGAN仍然可以做得很好。
2018-07-22 cs.CV
Towards Real-World Blind Face Restoration with Generative Facial Prior
Applied Research Center (ARC), Tencent PCG(腾讯平台与内容事业群应用研究中心)
盲人脸恢复通常依赖于人脸先验信息,如人脸几何先验信息或参考先验信息,以恢复真实可靠的细节。然而,非常低质量的输入不能提供准确的几何先验,而高质量的参考是不可访问的,限制了在现实世界中的应用场景。在这项工作中,我们提出了GFP-GAN GAN,它利用封装在预训练的人脸GAN中的丰富多样的先验知识进行盲人脸恢复。该生成面部先验(GFP)通过新颖的通道分割空间特征变换层被纳入面部恢复过程,这使得我们的方法能够实现真实性和保真度的良好平衡。得益于强大的生成面部先验和精细设计,我们的GFP-GAN只需一次向前传递就可以联合恢复面部细节并增强颜色,而GAN反演方法需要在推理时进行昂贵的图像特定优化。大量的实验表明,我们的方法在合成和真实世界的数据集上都取得了优于现有技术的性能。
2021-06-11 cs.CV
Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
Michigan State University(密歇根州立大学)
设计能够将在热光谱中获得的人脸图像与在可见光谱中获得的人脸图像相匹配的人脸识别系统是一个具有挑战性的问题。在这项工作中,我们提出了使用语义引导的生成对抗网络(SG-GAN)自动合成可见的人脸图像从他们的热对应。具体而言,由人脸解析网络提取的语义标签用于计算语义损失函数以在训练期间正则化对抗网络。这些语义线索表示与每个像素相关联的高级面部组件信息。此外,利用身份提取网络来生成多尺度特征以计算身份损失函数。为了实现照片级真实感的结果,在网络训练期间引入感知损失函数,以确保合成的可见人脸在感知上与目标可见人脸图像相似。我们广泛地评估了各个损失函数的好处,并将它们有效地结合起来,学习从热到可见人脸图像的映射。在两个多光谱人脸数据集上的实验表明,该方法在人脸合成和跨光谱人脸匹配方面都取得了良好的效果。
2019-03-03 cs.CV
FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
影响视觉人脸识别的因素很多,如低分辨率图像、年龄、光照和姿态变化等,其中最重要的问题之一就是低分辨率的人脸图像,这会导致人脸识别的性能下降。大多数通用的人脸识别算法通常假设人脸图像具有足够的分辨率。然而,在实践中,许多应用往往没有足够的图像分辨率。现代人脸超分辨率模型表现出合理的性能,从其相应的低分辨率图像重建高分辨率图像。然而,他们不考虑身份级别的信息,在幻觉,直接影响低分辨率的人脸识别的结果。为了解决这个问题,我们提出了一个人脸幻觉生成对抗网络(FH-GAN),它提高了低分辨率人脸图像的质量,并准确地识别这些低质量的图像。具体来说,我们做了以下贡献:1)我们提出了FH-GAN网络,一个端到端的系统,同时提高了人脸幻觉和人脸识别。该网络的新颖性取决于通过结合用于身份保护的面部识别网络将身份信息并入基于GAN的面部超分辨率算法中。2)我们还提出了一种新的人脸幻觉网络,即密集稀疏网络(DSNet),它改进了最先进的人脸幻觉。3)我们通过报告对人脸幻觉和识别的良好结果,展示了联合训练人脸识别和基于GAN的DSNet的好处。
2019-05-16 cs.CV
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于NeRF的条件3D人脸合成框架CGOF++,通过条件生成占用场、3D关键点损失和体积变形损失,实现比2D方法更精确的3D可控人脸生成。
2023-10-29 cs.CV
Attributes Aware Face Generation with Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近的研究表明,在面部图像生成方面取得了显着的成功。然而,现有的方法大多只从随机噪声中生成人脸图像,而不能根据人脸的特定属性生成人脸图像。本文主要研究基于属性的人脸合成问题,其目标是生成具有特定特征的人脸,并与给定的属性相对应。为此,我们提出了一种新的属性感知人脸图像生成器方法与生成对抗网络称为AFGAN。具体而言,我们首先提出了一个双路径嵌入层和自我注意力机制转换二进制属性向量丰富的属性特征。三个层叠生成器分别以属性特征为输入生成$64 \times 64$、$128 \times 128$和$256 \times 256$分辨率的人脸图像。此外,提出了一种图像-属性匹配损失,以增强生成的图像和输入属性之间的相关性。对CelebA的大量实验证明了我们的AFGAN在定性和定量评价方面的优越性。
2020-12-03 cs.CV
MorCode: Face Morphing Attack Generation using Generative Codebooks
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Norwegian University of Science Technology(挪威科技大学);AiBA AS(AiBA AS公司)
提出基于编码器-解码器架构与码本学习的人脸融合攻击生成方法MorCode,在数字和打印扫描数据上展现出超越五种现有技术的最高攻击潜力。
2024-10-10 cs.CV
Face Aging With Conditional Generative Adversarial Networks
Orange Labs(Orange实验室);Eurecom(欧洲通信学院)
最近的研究表明,生成对抗网络(GANs)可以生成具有出色视觉保真度的合成图像。在这项工作中,我们提出了基于GAN的自动人脸老化方法。与以前使用GANs来改变面部属性的作品相反,我们特别强调在他/她的面部的老年版本中保留原始人的身份。为此,我们引入了一种新的方法,用于GAN的潜在向量的“身份保持”优化。通过最先进的人脸识别和年龄估计解决方案对所得到的老化和恢复活力的人脸图像进行客观评价,表明所提出的方法具有很高的潜力。
2017-05-30 cs.CV
Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces
Rutgers, The State University of New Jersey(罗格斯大学,新泽西州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
在偏振(或常规)热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸识别对于人类考官和计算机视觉算法都是相当具有挑战性的问题。以前的方法利用两个步骤的过程(可见光特征估计和可见光图像重建),以合成相应的偏振热图像的可见光图像。然而,这些被认为是两个不相交的步骤,因此可能会阻碍可见人脸重建的性能。我们认为,联合优化将是一个更好的方式来重建更逼真的图像,计算机视觉算法和人类检查员检查。为此,本文提出了一种基于生成对抗网络的可视人脸合成(GAN-VFS)方法,从其相应的偏振图像合成更具照片真实感的可视人脸图像。为了保证编码后的可见特征在重构可见人脸图像时包含更多的语义有意义的信息,在训练过程中引入了引导子网络。为了实现照片真实感的属性,同时保留鉴别特征的重建输出,身份损失与感知损失相结合的优化框架。在不同的实验协议上进行的多个实验表明,所提出的方法达到了最先进的性能。
2017-08-08 cs.CV
Vulnerability Analysis of Face Morphing Attacks from Landmarks and Generative Adversarial Networks
Idiap Research Institute(Idiap研究所)
变形攻击是对生物识别系统的威胁,其中身份证件中的生物识别参考可以被改变。这种形式的攻击在依赖于身份证件的应用程序(如边境安全或访问控制)中提出了一个重要问题。人脸变形攻击检测的研究正在迅速发展,但很少有几种形式的攻击数据集是公开的。本文通过提供一个新的数据集来弥合这一差距,该数据集具有四种不同类型的变形攻击,基于OpenCV,FaceMorpher,WebMorph和生成对抗网络(StyleGAN),由三个公共人脸数据集的原始人脸图像生成。我们还进行了广泛的实验,以评估最先进的人脸识别系统的脆弱性,特别是FaceNet,VGG-Face和ArcFace。实验表明,VGG-Face虽然与FaceNet相比是不太准确的人脸识别系统,但也不容易受到变形攻击。此外,我们观察到,使用StyleGAN生成的幼稚变形不会构成重大威胁。
2020-12-09 cs.CV cs.LG
Continuous Face Aging Generative Adversarial Networks
YONSEI UNIVERSITY(延世大学)
人脸老化是将输入图像中的人脸转换到指定年龄的任务。为了简化这个问题,以前的方法限制自己只能产生离散的年龄组,每个年龄组由十年组成。因此,翻译结果的确切年龄是未知的,并且无法获得组内不同年龄的面孔。为此,我们提出了连续人脸老化生成对抗网络(CFA-GAN)。具体来说,为了使连续老化可行,我们建议将图像特征分解为两个正交特征:身份和年龄基础特征。此外,我们引入了新的损失函数的身份保护,最大限度地提高原始和生成的身份基础功能之间的余弦相似性。通过对MORPH模型的定性和定量评价,证明了模型的真实性和连续老化能力,验证了其相对于现有模型的优越性。据我们所知,这项工作是第一次尝试处理连续的目标年龄。
2021-02-26 cs.CV
A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
人脸老化是一个以预测人脸未来外观为目的的研究领域,近年来受到了广泛的关注。虽然随着生成对抗网络(GANs)在合成逼真图像方面的成功取得了很大进展,但大多数现有的基于GAN的人脸老化方法都存在两个主要问题:1)高层语义信息的不自然变化(例如面部属性)由于对输入面部的先验知识的利用不足,以及2)低级图像内容的失真,包括重影伪像和年龄无关区域中的修改。在本文中,我们引入A3GAN,属性感知的注意人脸老化模型来解决上述问题。人脸属性向量被视为条件信息,并嵌入到生成器和SVM,鼓励合成的脸是忠实于相应的输入属性。为了提高生成结果的视觉保真度,我们利用注意力机制来限制对与年龄相关的区域的修改并保留图像细节。此外,小波包变换被用来捕捉纹理特征在多个尺度上的频率空间。大量的实验结果表明,我们的模型在合成照片级真实感的老化人脸图像和流行的人脸老化数据集上实现最先进的性能的有效性。
2019-11-15 cs.CV
Face Aging with Contextual Generative Adversarial Nets
SKLOIS, IIE, CAS(中国科学院信息工程研究所信息安全国家重点实验室);School of Cyber Security, UCAS(中国科学院大学网络空间安全学院);University of Trento(特伦托大学);Nanjing University of Science and Technology(南京理工大学);Qihoo 360 AI Institute(奇虎360人工智能研究院);National University of Singapore(新加坡国立大学)
人脸老化是将老化的人脸图像还原为输入的人脸图像,在多媒体研究中引起了广泛的关注。近年来,基于条件生成对抗网(GANs)的方法取得了巨大的成功。他们可以生成适合每个年龄组的真实人脸分布的图像。然而,这些方法未能捕获过渡模式,例如,在相邻的年龄组之间,形状和质地逐渐变化。在本文中,我们提出了一种新的上下文生成对抗网络(C-GANs)来专门考虑它。C-GAN由一个条件变换网络和两个判别网络组成。条件变换网络用几个特殊设计的剩余块来模拟老化过程。年龄判别网络引导合成的人脸符合真实的条件分布。过渡模式判别网络是一种新颖的网络结构,其目的是区分真实的过渡模式和虚假的过渡模式。它作为条件变换网络的额外正则化项,确保生成的图像对符合相应的真实过渡模式分布。实验结果表明,所提出的框架产生了吸引人的结果,通过比较与国家的最先进的和地面真理。我们还观察到跨年龄人脸验证的性能增益。
2018-02-01 cs.CV
PFA-GAN: Progressive Face Aging with Generative Adversarial Network
Fudan University(复旦大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
人脸老化是对给定的人脸进行渲染以预测其未来的外观,由于人脸的外观通常随年龄而变化,因此在信息取证和安全领域中起着重要作用。虽然条件生成对抗网络(cGAN)已经取得了令人印象深刻的结果,但现有的基于cGAN的方法通常使用单个网络来学习任何两个不同年龄组之间的各种老化效应。然而,它们不能同时满足面部老化的三个基本要求-包括图像质量,老化精度和身份保护-并且当年龄差距变大时,通常会生成具有强烈鬼伪影的老化面部。受人脸随着时间的推移而逐渐老化的事实的启发,本文提出了一种新的基于生成对抗网络(PFA-GAN)的渐进式人脸老化框架来缓解这些问题。与现有的基于cGANs的方法不同,该框架包含几个子网络来模拟从年轻到年老的人脸老化过程,每个子网络只学习两个相邻年龄组之间的一些特定老化效应。所提出的框架可以以端到端的方式进行训练,以消除累积的伪影和模糊。此外,本文引入了一个年龄估计损失,考虑到年龄分布,以提高老化精度,并提出使用皮尔逊相关系数作为衡量人脸老化方法的老化平滑度的评价指标。广泛的实验结果表明,在两个基准数据集上,基于GAN的方法(包括最先进的方法)的性能优于现有的(c)GAN方法。源代码可在~ \url{https://github.com/Hzzone/PFA-GAN}上获得。
2020-12-07 cs.CV
GIF: Generative Interpretable Faces
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Texas A&M University(得克萨斯农工大学);Ben Gurion University(本-古里安大学)
具有照片般真实感的人脸可视化和动画一直是一个长期存在的挑战。3D人脸建模方法提供参数控制,但生成不真实的图像,另一方面,生成2D模型,如GANs(生成对抗网络)输出照片般逼真的人脸图像,但缺乏显式控制。最近的方法通过尝试以无监督的方式解开不同的因素,或者通过向预先训练的模型添加事后控制来获得部分控制。然而,无条件的GANs可能会纠缠到以后难以撤销的因素。我们的条件生成模型上预定义的控制参数,以鼓励在生成过程中的解纠缠。具体来说,我们将StyleGAN 2设置在FLAME上,这是一种生成式3D人脸模型。虽然条件的火焰参数产生不满意的结果,我们发现,条件渲染火焰几何和光度细节效果良好。这为我们提供了一个名为GIF(生成可解释的面孔)的生成2D人脸模型,它提供了FLAME的参数控制。这里,可解释性是指不同参数的语义含义。给定形状、姿势、表情的FLAME参数,外观、照明的参数,以及附加的样式向量,GIF输出照片级逼真的人脸图像。我们进行了一个基于AMT的感知研究,定量和定性地评估GIF如何遵循其条件反射。代码、数据和训练模型可在http://gif.is.tue.mpg.de上公开获取,以用于研究目的。
2020-11-25 cs.AI cs.CV cs.GR
DeepPrivacy: A Generative Adversarial Network for Face Anonymization
Norwegian University of Science and Technology(挪威科技大学)
我们提出了一种新的架构,它能够自动匿名的图像中的面孔,同时保留原始的数据分布。我们通过仅基于隐私安全信息生成图像,确保图像中所有人脸的完全匿名化。我们的模型是基于一个条件生成对抗网络,生成的图像考虑到原始姿势和图像背景。条件信息使我们能够生成高度逼真的人脸,并在生成的人脸和现有背景之间实现无缝过渡。此外,我们引入了一个多样化的人脸数据集,包括非常规的姿势,遮挡的脸,以及背景的巨大变化。最后,我们给出了实验结果,反映了我们的模型在保持数据分布的同时匿名化图像的能力,使数据适合进一步训练深度学习模型。据我们所知,没有其他解决方案已经提出,以保证匿名的脸,同时生成逼真的图像。
2019-09-10 cs.AI cs.CV cs.LG
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology(谢里夫理工大学);imec(imec研究所);Ghent University(根特大学)
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步,给定的音频输入。通过使用递归神经网络,我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力,以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks
InterDigital Inc.(互迪公司);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国布列塔尼计算机与随机系统研究所);IMT Atlantique(大西洋 Mines-Télécom 学院);M2S
在本文中,我们提出了FaceTuneGAN,一个新的三维人脸模型表示分解和编码分别人脸身份和面部表情。我们提出了第一个适应的图像到图像的翻译网络,已成功地用于在2D域,3D人脸几何。利用最近发布的大型面部扫描数据库,已经训练了神经网络以通过更好地了解面部来解耦变化因素,从而实现面部表情转移和表情面部的中和。具体来说,我们设计了一个对抗架构,它适应了FUNIT的基础架构,并使用SpiralNet++进行卷积和采样操作。使用两个公开可用的数据集(FaceScape和CoMA),FaceTuneGAN比最先进的技术具有更好的身份分解和面部中和。它还通过预测更接近地面真实数据的融合变形来优于经典的变形转移方法,并且由于源和目标之间的面部形态差异太大而具有较少的不期望的伪影。
2021-12-01 cs.CV cs.GR
Disentangled Makeup Transfer with Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
脸部化妆转移是一种广泛使用的技术,其目的是将化妆风格从参考脸部图像转移到非化妆脸部。现有的文献利用对抗损失,使生成的脸是高质量的和真实的,但只能产生固定的输出。受解纠缠表示最新进展的启发,本文提出了DMT(解纠缠化妆转移),一个统一的生成对抗网络,以实现不同的化妆转移场景。我们的模型包含一个身份编码器,以及化妆编码器解开个人身份和化妆风格的任意人脸图像。基于两个编码器的输出,解码器被用来重建原始人脸。我们还应用了一个识别器来区分真实的面孔和虚假的面孔。因此,我们的模型不仅可以从一个或多个参考人脸图像的化妆风格转移到一个非化妆的脸与可控的强度,但也产生各种输出的风格采样从先验分布。大量的实验表明,我们的模型是优于现有的文献,通过生成高质量的结果,为不同的情况下化妆转移。
2019-07-02 cs.CV
Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Artificial Intelligence Research, CAS(中国科学院人工智能创新研究院);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
由于很难在很长的年龄范围内收集同一对象的人脸图像,大多数现有的人脸老化方法都采用非配对数据集来学习年龄映射。然而,未配对的训练数据所固有的年轻人脸和老年人脸图像之间的匹配模糊性可能会导致人脸属性在老化过程中发生不自然的变化,这无法像大多数现有的研究那样仅仅通过强制身份一致性来解决。在本文中,我们提出了一个基于小波的生成对抗网络(GANs)的属性感知人脸老化模型来解决上述问题。具体而言,我们将人脸属性向量嵌入到模型的生成器和子空间中,以鼓励每个合成的老年人人脸图像忠实于其相应输入的属性。此外,一个小波包变换(WPT)模块被纳入,以提高所生成的图像的视觉保真度,通过捕捉与年龄相关的纹理细节在频率空间中的多个尺度。定性结果表明,我们的模型合成视觉上合理的人脸图像的能力,和广泛的定量评估结果表明,所提出的方法在现有的数据集上实现了最先进的性能。
2019-04-15 cs.CV
G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors
South China University of Technology(华南理工大学);Guangdong Engineering Center for Large Model and GenAI Technology(广东省大模型与生成式人工智能技术工程中心);State Key Laboratory of Subtropical Building and Urban Science(亚热带建筑与城市科学国家重点实验室);The Hong Kong Polytechnic University(香港理工大学)
针对现有可逆人脸匿名化方法细节丢失多、易改变非身份属性的问题,提出结合生成与几何先验的G²Face方法,通过3D几何信息和身份感知特征融合实现高保真匿名化与恢复,性能优于现有技术。
2024-08-18 cs.CV
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University(南京大学);Megvii Technology(旷视科技)
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作,同时保持人脸的身份,以产生一个更有吸引力的脸。在本文中,我们提出了第一个生成对抗网络(GANs),用于在几何和外观方面增强面部吸引力,我们称之为“FA-GANs”。FA-GAN包含两个分支,从两个角度增强面部吸引力:面部几何形状和面部外观。每个分支由单独的GANs组成,其中外观分支调整面部图像,几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同,在增强同一个人之前和之后收集是不可行的,我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸,几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知,我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明,我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果,并且优于当前最先进的方法。
2020-06-06 cs.CV
Deblurring Processor for Motion-Blurred Faces Based on Generative Adversarial Networks
School of Informatics(信息学院);Xiamen University(厦门大学)
低质量人脸图像复原是当今计算机视觉领域的一个热门研究方向。它可以用作人脸检测和人脸识别等任务的前期工作。目前,在解决各种环境条件下的低质量工作面问题方面,有很多工作要做。本文主要研究运动模糊人脸的复原问题。在日益丰富的移动场景中,运动模糊人脸的快速恢复可以为人脸匹配等任务带来高效的速度提升。为了实现这一目标,提出了一种基于生成对抗网络(GANs)的运动模糊人脸图像信号去模糊方法。它使用端到端方法来训练清晰图像生成器,即,用于运动模糊面部图像的处理器。本文介绍了运动模糊图像的处理过程、GANs的发展和变化以及一些基本概念。然后详细介绍了图像处理器的网络结构和训练优化设计。然后,我们在一般的人脸数据集上进行了运动模糊图像生成实验,并利用模糊和清晰的人脸图像数据对处理器GAN进行了训练和测试实验,并给出了一些直观的显示。最后,使用MTCNN来检测由去模糊处理器生成的图像的面部,并将其与模糊图像的结果进行比较。从实验结果来看,去模糊处理器对运动模糊图像的处理效果无论是在人脸检测的直观性还是评价指标上都有明显的提高。
2021-03-03 cs.CV
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
University of Science and Technology of China(中国科学技术大学)
在本文中,我们探讨的任务,产生照片般逼真的人脸图像线。基于条件生成对抗网络(cGAN)的先前方法已经显示出当条件图像和输出图像共享良好对齐的结构时,它们能够生成视觉上合理的图像。然而,这些模型无法合成具有一整套明确定义的结构(例如眼睛、鼻子、嘴等)的人脸图像,特别是当条件线图缺少一个或几个部分时。为了解决这个问题,我们提出了一个条件自注意生成对抗网络(CSAGAN)。我们在cGAN中引入了条件性自我注意力机制,以捕获人脸不同区域之间的远程依赖关系。我们还建立了一个多尺度的模型。大规模的重构增强了全局结构的完整性,而小规模的重构则增强了细节,从而增强了生成的人脸图像的真实感。我们通过两个感知用户研究和三个定量指标在CelebA-HD数据集上评估了所提出的模型。实验结果表明,我们的方法生成高质量的面部图像,同时保持面部结构。我们的结果优于国家的最先进的方法在定量和定性。
2019-10-20 cs.CV eess.IV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute(印度统计研究所);Østfold University College(东福尔德大学学院)
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能,但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中,我们提出了一个属性引导注意生成对抗网络,它采用新的属性引导注意(AGA)模块,以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后,我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明,我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时,每个属性描述符是未知的,从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network
Beijing University of Posts and Telecommunications(北京邮电大学);Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心);Artificial Intelligence Research, CAS(中国科学院人工智能研究院);Shandong University of Science and Technology(山东科技大学)
近年来,随着深度神经网络的发展,人脸素描合成取得了重大进展。素描肖像的精细描绘促进了广泛的应用,如数字娱乐和执法。然而,由于真实场景中光照的变化和复杂的背景,精确而逼真的人脸草图生成仍然是一个具有挑战性的任务。为了应对这些挑战,我们提出了一种新的语义驱动的生成对抗网络(SDGAN),它嵌入了全局结构级风格注入和局部类级知识重新加权。具体来说,我们进行人脸显著性检测的输入人脸照片,以提供整体的面部纹理结构,它可以被用作一个全局类型的先验信息。此外,我们利用人脸解析布局作为语义级空间之前,在SDGAN的生成器中执行全局结构化风格注入。此外,为了增强细节的真实感,我们提出了一种新的自适应重加权损失(ARLoss),致力于平衡不同语义类的贡献。在实验上,我们在CUFS和CUFSF数据集上的大量实验表明,我们提出的算法达到了最先进的性能。
2021-06-29 cs.CV
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异,例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现,越来越多的方法被提出用于草图到图像的合成。然而,这些模型仍然受到限制,例如训练所需的大量配对数据,所生成图像的低分辨率或所生成图像的不真实外观。在本文中,我们提出了一种方法,用于将输入的面部素描转换为彩色照片,而不需要任何配对的数据集。为此,我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片,并采用优化程序来保持对输入草图的高保真度。我们训练一个网络,将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外,我们还研究了不同的优化标准,并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655,rank-1人脸识别率为97.59%,且具有较高的图像质量。
2021-10-23 cs.CV
Domain Embedded Multi-model Generative Adversarial Networks for Image-based Face Inpainting
Chengdu University of Information Technology(成都信息工程大学);CuraCloud Corporation(CuraCloud公司);SUNY Albany(纽约州立大学奥尔巴尼分校);Southwest Jiaotong University(西南交通大学);Sichuan University(四川大学)
人脸形状和结构的先验知识在人脸修复中起着重要的作用。然而,传统的人脸修复方法主要关注缺失部分的图像分辨率,没有明确考虑人脸的特殊性,通常会产生不一致的人脸部分。为了解决这个问题,我们提出了一个域嵌入式多模型生成对抗模型,用于修复具有大裁剪区域的人脸图像。我们首先表示只有人脸区域使用的领域知识的潜在变量,并结合它与非人脸部分的纹理,以产生高质量的人脸图像与合理的内容。最后使用两个对抗性判别器来判断生成的分布是否接近真实分布。它不仅可以合成新的图像结构,而且还可以显式地利用嵌入的人脸领域知识来生成更好的预测,并且在结构和外观上具有一致性。在CelebA和CelebA-HQ人脸数据集上的实验表明,我们提出的方法实现了最先进的性能,并生成比现有方法更高质量的修复结果。
2020-06-20 cs.CV cs.LG eess.IV
On the Biometric Capacity of Generative Face Models
Michigan State University(密歇根州立大学)
本文提出一种在超球面特征空间中估计生成式人脸模型生物特征容量的统计方法,发现容量随误识率降低而急剧下降,且部分模型在年龄属性上存在显著容量差异。
2023-08-03 cs.AI cs.CV cs.LG
GMFIM: A Generative Mask-guided Facial Image Manipulation Model for Privacy Preservation
Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
社交媒体网站和应用程序的使用已经变得非常流行,人们在这些网络上分享他们的照片。在这些网络上自动识别和标记人们的照片已经提出了隐私保护问题,用户寻求从这些算法隐藏他们的身份的方法。生成对抗网络(GANs)在生成高度多样性的人脸图像和编辑人脸图像方面非常强大。在本文中,我们提出了一种基于GANs的生成掩码引导的人脸图像操作(GMMANN)模型,对输入的人脸图像进行不可感知的编辑,以保护图像中人的隐私。我们的模型由三个主要组件组成:a)面部掩模模块,用于从输入图像中切割面部区域并省略背景,b)基于GAN的优化模块,用于操作面部图像并隐藏身份,c)合并模块,用于将输入图像的背景和操作的去识别面部图像相结合。在优化步骤的损失函数中考虑不同的标准,以产生尽可能类似于输入图像的高质量图像,同时它们不能被AFR系统识别。在不同数据集上的实验结果表明,与最先进的方法相比,我们的模型可以在自动人脸识别系统中实现更好的性能,并且在总共18个实验中的大多数实验中,它捕获了更高的攻击成功率。此外,我们提出的模型生成的图像具有最高的质量,更令人愉悦的人眼。
2022-01-10 cs.CV
Towards Fair and Robust Face Parsing for Generative AI: A Multi-Objective Approach
University of Notre Dame(圣母大学)
本文提出一种多目标学习框架,通过基于同伦的损失函数动态平衡准确率、公平性与鲁棒性,提升人脸解析质量,并在Pix2PixHD和ControlNet合成流程中验证其改善生成真实感与人口统计学一致性的效果。
2025-02-06 cs.AI cs.CV
Video synthesis of human upper body with realistic face
Clouminds;Beihang University(北京航空航天大学)
本文提出了一种基于生成对抗学习的人体上半身视频合成方法,以生成与源视频中人体的身体运动、面部表情和姿势一致的目标人的上半身视频。我们使用上半身关键点,面部动作单元和姿势作为源视频和目标视频之间的中间表示。该方法不直接将源视频转换为目标视频,而是先将源视频中人物的面部动作单元和姿态映射到目标视频中人物的面部特征点,然后将归一化的上身关键点和生成的面部特征点进行时空平滑处理,生成相应的目标视频图像。实验结果证明了该方法的有效性。
2019-09-12 cs.CV
TV-GAN: Generative Adversarial Network Based Thermal to Visible Face Recognition
The University of Queensland(昆士兰大学)
这项工作解决了使用热成像相机传感器捕获的图像上的人脸识别任务,该传感器可以在非光照环境下工作。虽然它可以大大增加当前安全监控系统的范围和好处,但与可见光域(VLD)中的人脸识别任务相比,使用热图像执行这样的任务是一个具有挑战性的问题。这部分是由于与VLD数据相比,收集的热成像数据数量少得多。不幸的是,直接应用现有的非常强大的人脸识别模型训练使用VLD数据到热成像数据将不会产生令人满意的性能。这是由于热像和VLD像之间存在畴隙。为此,我们提出了一个热可见生成对抗网络(TV-GAN),它能够将热人脸图像转换为相应的VLD图像,同时保持身份信息,这足以让现有的VLD人脸识别模型进行识别。图1给出了一些例子。与以前的方法不同,我们提出的TV-GAN使用显式闭集人脸识别损失来正则化神经网络训练。然后,该信息将以梯度损失的形式被传送到发电机网络中。在实验中,我们表明,通过对网络使用这种额外的显式正则化,TV-GAN在翻译TV-GAN之前没有看到的人的热图像时能够保留更多的身份信息。
2017-12-07 cs.CV
SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color
ETRI(韩国电子通信研究院)
我们提出了一种新的图像编辑系统,生成的图像作为用户提供自由形式的面具,素描和颜色作为输入。我们的系统由一个端到端的可训练卷积网络组成。与现有的方法相反,我们的系统完全利用自由形式的用户输入的颜色和形状。这允许系统响应用户的草图和颜色输入,将其用作生成图像的指南。在我们的特定工作中,我们训练了具有额外风格损失的网络,这使得它可以生成逼真的结果,尽管图像的大部分被删除。我们提出的网络架构SC-FEGAN非常适合使用直观的用户输入生成高质量的合成图像。
2019-02-18 cs.CV
AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation
ByteDance(字节跳动);National Tsing Hua University(国立清华大学);Shenzhen University(深圳大学)
在本文中,我们提出了一个新的框架,将一个肖像照片脸到动画外观。我们的目标是合成动画的脸是风格一致的给定的参考动画脸。然而,与典型的翻译任务不同,这种动画面部翻译是具有挑战性的,因为动画面部之间的外观的复杂变化。现有的方法往往无法转移的风格的参考动画的脸,或引入显着的文物/扭曲的局部形状,其生成的脸。我们提出了AniGAN,一种新型的基于GAN的翻译器,可以合成高质量的动画面部。具体而言,提出了一种新的生成器架构,同时传输颜色/纹理风格和转换局部面部形状到动画类似的对应物的基础上的风格的参考动画脸,同时保持全局结构的源照片脸。我们提出了一个双分支学习的分布和域共享的分布,帮助生成视觉上令人愉快的动画脸,并有效地减轻文物。大量的实验selfie 2anime和一个新的face 2anime数据集定性和定量地证明了我们的方法比国家的最先进的方法的优越性。新的数据集可在https://github.com/bing-li-ai/AniGAN上获得。
2021-03-29 cs.AI cs.CV
Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes
Ocean University of China(中国海洋大学)
生成对抗网络被证明是有效的各种图像生成任务。然而,如果我们想要精确地生成图像,这仍然是一个挑战。如何生成具有单一属性的图像是众多研究者关注的焦点。但多属性下的图像生成仍然是一项艰巨的工作。在本文中,我们尝试使用流水线过程在多个约束下生成各种人脸图像。我们提出的Pip-GAN(管道生成对抗网络)采用管道网络结构,可以使用中性人脸图像逐步生成复杂的人脸图像。我们将我们的方法应用于两个人脸图像数据库,并证明了它能够在多种条件下生成令人信服的新图像。
2017-11-29 cs.CV
Editable Generative Adversarial Networks: Generating and Editing Faces Simultaneously
Yonsei University(延世大学)
我们提出了一个新的框架,同时生成和操纵所需属性的人脸图像。虽然最先进的属性编辑技术在创建逼真的属性效果方面取得了令人印象深刻的性能,但它们仅解决图像编辑问题,使用输入图像作为模型的条件。最近,一些研究试图使用单一的解决方案来解决新的人脸生成和属性编辑问题。然而,其图像质量仍然不令人满意。我们的目标是开发一个统一的模型,可以同时创建和编辑具有所需属性的高质量人脸图像。我们的工作的一个关键思想是,我们将图像分解成低维表示的潜在和属性向量,然后利用GAN框架将低维表示映射到图像。通过这种方式,我们可以通过学习生成器来解决生成和编辑问题。对于定性和定量评估,该算法优于最近的算法解决同样的问题。此外,我们表明,我们的模型可以实现具有竞争力的性能与国家的最先进的属性编辑技术的属性编辑质量。
2018-07-20 cs.CV
Wav2Pix: Speech-conditioned Face Generation using Generative Adversarial Networks
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Insight Centre for Data Analytics - DCU(DCU洞察数据分析中心)
语音是一种丰富的生物特征信号,包含有关说话者身份、性别和情绪状态的信息。在这项工作中,我们探索它的潜力,以产生一个扬声器的面部图像条件生成对抗网络(GAN)与原始语音输入。我们提出了一个深度神经网络,它以端到端的方式从头开始训练,直接从原始语音波形生成人脸,而无需任何额外的身份信息(例如参考图像或独热编码)。我们的模型通过利用视频中自然对齐的音频和视觉信号,以自我监督的方式进行训练。为了从视频数据中进行训练,我们提出了一个为这项工作收集的新数据集,其中包括在语音和视觉信号中具有显着表现力的YouTube用户的高质量视频。
2019-03-25 cs.CV cs.MM
Frequency Aware Face Hallucination Generative Adversarial Network with Semantic Structural Constraint
Thapar Institute of Engineering and Technology(塔帕尔工程技术学院);Monash University(莫纳什大学)
在本文中,我们解决了面孔幻觉的问题。当前大多数人脸幻觉方法都依赖于二维人脸先验知识来从低分辨率人脸图像生成高分辨率人脸图像。这些方法只能将全局信息同化到生成的图像中。但这些方法仍存在一些固有的问题,如局部特征、细微的结构细节和深度信息的丢失。目前的工作提出了一种基于生成对抗网络(GAN)的新型渐进式人脸幻觉(FH)网络,以解决这些问题,目前的方法。该模型的生成器由跳频网络和两个子网络组成,辅助跳频网络生成高分辨率图像。第一个子网络利用显式地将高频分量添加到模型中。为了对高频分量进行显式编码,提出了一种自动编码器来生成高分辨率的离散余弦变换(DCT)系数。为了在网络中加入三维参数信息,提出了第二子网络。该网络使用三维变形模型(3DMM)的形状模型来向FH网络添加结构约束。大量的实验结果表明,该模型优于国家的最先进的方法。
2021-10-05 cs.AI cs.CV
Towards the Detection of AI-Synthesized Human Face Images
Multimedia Signal Processing Group (MMSPG) \'Ecole Polytechnique F\'ed\'erale de Lausanne (EPFL)
针对现有检测器难以泛化识别不同生成模型合成的纯粹人脸图像问题,构建了包含GAN和多种扩散模型图像的综合基准,通过频域分析伪造痕迹,证明基于频域表示训练的检测器对未见生成模型具有良好泛化能力。
2024-02-13 cs.CV eess.IV
DiffFAS: Face Anti-Spoofing via Generative Diffusion Models
Tianjin University(天津大学);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学LUT);Great Bay University(大湾区大学);Xi’an Jiaotong University(西安交通大学)
针对人脸反欺骗领域的域偏移问题,提出将域偏移解构为质量与风格因素的DiffFAS框架,通过质量先验和扩散生成分别对抗两类偏移,还能缓解新型攻击标注数据稀缺问题,在跨域跨攻击数据集上达到SOTA性能。
2024-09-13 cs.CV
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
Imperial College(帝国理工学院)
真实感三维人脸的生成对于计算机图形学和计算机视觉应用具有重要意义。通常,三维人脸生成的研究围绕着面部表面的线性统计模型。然而,这些模型不能忠实地表示人脸的纹理或法线,这是非常重要的照片逼真的人脸合成。最近,有研究表明,生成对抗网络(GANs)可用于生成高质量的人脸纹理。然而,生成过程要么省略几何体和法线,要么使用独立的过程来生成3D形状信息。在本文中,我们提出了第一种方法,产生高品质的纹理,形状和法线联合,可用于照片级逼真的合成。为此,我们提出了一种新的GAN,它可以从不同的模态生成数据,同时利用它们的相关性。此外,我们演示了如何在表情上调节生成,并创建具有各种面部表情的面孔。由于尺寸限制,本文中显示的定性结果被压缩,全分辨率结果和附带的视频可以在补充文件中找到。代码和模型可以在项目页面上找到:https://github.com/barisgecer/TBGAN。
2020-12-02 cs.CV cs.GR
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University(江南大学);University of Surrey(萨里大学)
为了学习面部图像的解纠缠表示,我们提出了一种基于双编码器-解码器的生成对抗网络(DED-GAN)。在所提出的方法中,生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说,编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示,并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构,通过最小化由Wasserstein距离定义的额外像素损失,以便对抗框架可以更好地训练。此外,我们认为人脸姿态变化是连续的,而不是离散的现有文献中,注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题,这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别(PIFR)和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明,所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
Persuasive Faces: Generating Faces in Advertisements
University of Pittsburgh(匹兹堡大学)
在本文中,我们研究了不同广告类别中对象的视觉可变性,即是什么导致广告在视觉上具有说服力。我们专注于建模和生成看起来来自不同类型广告的面孔。例如,如果美容广告中的面孔往往是涂口红的女性,那么生成模型应该描绘这种独特的视觉外观。由于广告中人脸的外观高度多样化,而且可用的训练数据量相对有限,因此训练生成模型来捕捉这种类别特定的差异是具有挑战性的。为了解决这些问题,我们提出了一个条件变分自编码器,它利用预测的语义属性和面部表情作为监督信号时,训练。我们展示了我们的模型如何可以用来产生视觉上不同的面孔,似乎是从一个固定的广告主题类别。我们的人类研究以及定量和定性实验证实,我们的方法大大优于各种基线,包括最先进的生成对抗网络的两种变体,用于将面部转换为更适合广告类别。最后,我们展示了其他类型的对象的初步生成结果,以广告主题为条件。
2018-07-25 cs.CV
Synthesis of High-Quality Visible Faces from Polarimetric Thermal Faces using Generative Adversarial Networks
Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);U.S. Army Research Laboratory(美国陆军研究实验室);Booz Allen Hamilton(博思艾伦汉密尔顿公司);Johns Hopkins University(约翰斯·霍普金斯大学)
在偏振(或常规)热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸验证对于人类检查者以及计算机视觉算法来说是一个高度挑战性的问题。以前的方法利用两步程序(可见光特征估计和可见光图像重建)或输入级融合技术,其中不同的斯托克斯图像被连接并用作多通道输入以合成给定相应的偏振特征的可见光图像。虽然这些方法已经取得了改进,我们认为,输入级融合可能不足以实现现有的斯托克斯图像的全部潜力。提出了一种基于生成对抗网络(GAN)的多流特征级融合技术,用于从红外热像合成高质量的可见光图像。该网络由一个生成器子网络和一个多尺度子网络组成,生成器子网络采用基于密集残差块的编码器-解码器网络构建。除了感知损失和身份保留损失之外,还通过优化对抗损失来训练生成器网络,以实现可见图像的照片真实感生成,同时保留区分特性。还介绍了一个扩展的数据集,包括111个主题的偏振热面部签名。在不同的实验协议上进行的多个实验表明,所提出的方法达到了最先进的性能。代码将在https://github.com/hezhangsprinter上提供。
2018-12-12 cs.CV
High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks
North Carolina State University(北卡罗来纳州立大学)
我们提出了一种深度学习方法,用于具有多个可控属性(例如,微笑着,戴着面具。人脸补全需要理解局部和全局的结构意义和外观一致性,以填充输入图像中内容未出现在其他地方的“洞”。这是一项具有挑战性的任务,其难度在高分辨率、“洞”的复杂性和填充碎片的可控属性方面显著增加。我们的系统通过学习一个完全端到端的框架来解决这些挑战,该框架通过编码可控属性的条件向量从低分辨率到高分辨率逐步训练生成对抗网络(GANs)。我们设计了新颖的网络架构,以有效和高效地利用跨多个尺度的信息。我们引入了新的损失函数,鼓励急剧完成。我们表明,我们的系统可以使用单个前馈计算完成具有较大结构和外观变化的人脸,对于1024 x 1024分辨率的图像,平均推理时间为0.007秒。我们还进行了一项试点人体研究,表明我们的方法在排名分析方面优于最先进的人脸补全方法。代码将在发布时发布。
2018-01-23 cs.CV cs.GR