2CET-GAN: Pixel-Level GAN Model for Human Facial Expression Transfer
University of New South Wales(新南威尔士大学)
最近的研究已经使用GAN在人脸之间传输表情。然而,现有的模型存在许多缺陷:依赖于情感标签,缺乏连续的表情,无法捕捉表情细节。为了解决这些局限性,我们提出了一种新的基于CycleGAN和InfoGAN的网络,称为2 Cycles Expression Transfer GAN(2CET-GAN),它可以在不使用情感标签的情况下学习连续的表情转移。实验表明,我们的网络可以生成多样化和高质量的表达式,并可以推广到未知的身份。据我们所知,我们是第一批成功使用无监督方法在像素级别将表达表示与身份区分开来的人。
2022-11-18 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University(湖南大学);Changsha University of Science and Technology(长沙理工大学)
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法,但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络(FD-GAN)来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像(包含罪犯的身份)和存储在电子护照系统中的变形图像(包含罪犯和共犯的身份),FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
人脸再现是一种流行的人脸动画方法,其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人,或者面部结构非常相似,则这些模型的性能最好。然而,如果身份不同,则驱动面部结构泄漏到输出,从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN(FACEGAN),它通过动作单元(AU)表示从驾驶面部传输面部运动。与面部标志不同,AU独立于面部结构,防止身份泄露。此外,AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域,以优化输出质量。广泛的定量和定性比较表明,在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
eMotion-GAN: A Motion-based GAN for Photorealistic and Facial Expression Preserving Frontal View Synthesis
IMT Nord Europe, Institut Mines-Télécom, Univ. Lille(北法国电信与管理学院、矿业电信学院、里尔大学)
针对头部姿态变化导致面部表情识别性能下降的问题,提出eMotion-GAN方法,在运动域滤除头部姿态噪声运动、保留表情运动以合成保表情正面人脸,显著缩小不同姿态下的识别性能差距。
2024-04-15 cs.CV
PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing
ICT, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
面部属性编辑旨在操纵人脸上的属性,例如,留胡子或者改变头发颜色现有的方法在正确的属性生成和保存其他信息(如身份和背景)之间存在严重的妥协,因为它们在不精确的区域编辑属性。为了解决这个难题,我们提出了一个渐进的注意力GAN(PA-GAN)的面部属性编辑。在我们的方法中,编辑是逐步进行从高到低的功能级别,而在一个适当的属性区域内的注意力掩模在每个级别的约束。这种方式从一开始就防止了对不相关区域的不期望的修改,然后网络可以更专注于在每个级别的适当边界内正确地生成属性。因此,我们的方法实现了正确的属性编辑与不相关的细节更好地保存相比,国家的最先进的。代码发布于https://github.com/LynnHo/PA-GAN-Tensorflow。
2020-07-12 cs.CV
Using a GAN to Generate Adversarial Examples to Facial Image Recognition
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心)
在线发布的图像存在隐私问题,因为它们可以用作面部识别系统的参考示例。这种滥用图像的行为侵犯了隐私权,但很难反击。众所周知,可以为基于深度神经网络的识别系统创建对抗性示例图像。这些对抗性示例可用于破坏图像作为参考示例或训练数据的效用。在这项工作中,我们使用生成对抗网络(GAN)来创建对抗示例来欺骗面部识别,并且我们在欺骗面部识别方面取得了可接受的成功率。我们的研究结果减少了训练时间的GAN,通过删除的ESTA组件。此外,我们的研究结果表明,可以采用知识蒸馏来大幅减少生成模型的大小,而不会影响性能,这表明我们的贡献可以在智能手机上轻松运行
2021-11-30 cs.CV
AttDiff-GAN: A Hybrid Diffusion-GAN Framework for Facial Attribute Editing
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering(广东信息安全技术重点实验室和计算机科学与工程学院);School of Cyber Science and Technology, Shenzhen Campus(深圳校区网络科学与技术学院);Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering(广东机器感知与智能计算实验室,工程学院)
本文提出AttDiff-GAN框架,结合GAN属性操控与扩散图像生成,通过特征级对抗学习和PriorMapper、RefineExtractor提升风格-属性对齐,实现更精确的面部属性编辑。
2026-04-23 cs.CV
GAN-based Facial Attribute Manipulation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of California, Merced(加州大学默塞德分校)
人脸属性操作(FAM)旨在对给定的人脸图像进行美学修改以呈现期望的属性,由于其广泛的实际应用,从数字娱乐到生物识别取证,受到了极大的关注。在过去的十年中,随着生成对抗网络(GANs)在合成逼真图像方面的显着成功,已经提出了许多基于GAN的模型来解决FAM,其中包括各种问题制定方法和指导信息表示。本文对基于GAN的FAM方法进行了全面的综述,重点总结了它们的主要动机和技术细节。本次调查的主要内容包括:(i)介绍与FAM相关的研究背景和基本概念,(ii)系统地回顾基于GAN的FAM方法的三个主要类别,(iii)深入讨论FAM方法的重要属性,开放问题和未来的研究方向。这项调查不仅为新进入该领域的研究人员建立了一个良好的起点,也为视觉社区提供了参考。
2022-10-23 cs.CV
Towards Real-World Blind Face Restoration with Generative Facial Prior
Applied Research Center (ARC), Tencent PCG(腾讯平台与内容事业群应用研究中心)
盲人脸恢复通常依赖于人脸先验信息,如人脸几何先验信息或参考先验信息,以恢复真实可靠的细节。然而,非常低质量的输入不能提供准确的几何先验,而高质量的参考是不可访问的,限制了在现实世界中的应用场景。在这项工作中,我们提出了GFP-GAN GAN,它利用封装在预训练的人脸GAN中的丰富多样的先验知识进行盲人脸恢复。该生成面部先验(GFP)通过新颖的通道分割空间特征变换层被纳入面部恢复过程,这使得我们的方法能够实现真实性和保真度的良好平衡。得益于强大的生成面部先验和精细设计,我们的GFP-GAN只需一次向前传递就可以联合恢复面部细节并增强颜色,而GAN反演方法需要在推理时进行昂贵的图像特定优化。大量的实验表明,我们的方法在合成和真实世界的数据集上都取得了优于现有技术的性能。
2021-06-11 cs.CV
3D GAN Inversion with Facial Symmetry Prior
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);Ant Group(蚂蚁集团);HKUST(香港科技大学);University of Cambridge(剑桥大学)
最近,已经提出了一系列高质量的3D感知GANs,它们利用了神经渲染的生成能力。将3D GANs与GAN反演方法相关联是很自然的,以将真实图像投影到生成器的潜在空间中,从而允许自由视图一致的合成和编辑,称为3D GAN反演。虽然在预训练的3D GANs中保留了面部先验,但仅用一个单目图像重建3D肖像仍然是一个病态问题。二维GAN反演方法的直接应用仅关注纹理相似性,而忽略了三维几何形状的正确性。这可能会引起几何体塌陷效果,特别是在极端姿势下重建侧面时。此外,在新的视图合成的结果是容易模糊。在这项工作中,我们提出了一种新的方法来促进三维GAN反演通过引入面部对称先验。我们设计了一个流水线和约束,充分利用通过图像翻转获得的伪辅助视图,这有助于在反演过程中获得一个鲁棒的和合理的几何形状。为了增强未观察到的视点中的纹理保真度,来自深度引导3D变形的伪标签可以提供额外的监督。我们设计的约束条件,旨在过滤出冲突地区的优化在不对称的情况下。对图像重建和编辑的综合定量和定性评价表明了该方法的优越性。
2023-03-14 cs.CV
Beholder-GAN: Generation and Beautification of Facial Images with Conditioning on Their Beauty Level
Technion - IIT(以色列理工学院)
情人眼里出西施。这句格言强调审美的主观性,自古以来就得到了广泛的共识。在数字时代,数据驱动的方法已经被证明能够预测人类分配的面部图像的美丽分数。在这项工作中,我们增强了这种能力,并训练生成模型,该模型生成的条件下所要求的美丽分数的面孔。此外,我们展示了如何训练生成器可以用来美化输入的人脸图像。通过这样做,我们实现了一个无监督的美化模型,在这个意义上说,它不依赖于地面真实的目标图像。
2019-02-25 cs.CV
Two Birds with One Stone: Transforming and Generating Facial Images with Iterative GAN
Michigan State University(密歇根州立大学);Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
生成具有不同面部属性的高保真身份保持人脸具有广泛的应用。虽然已经有许多生成模型被开发出来来解决这个问题,但是仍然有很大的改进空间。特别是,目前的解决方案通常忽略图像的感知信息,我们认为这有利于在输出高质量图像的同时保留身份信息,特别是在面部属性学习领域。为此,我们提出通过用综合损失正则化最小-最大过程来迭代地训练GAN,该综合损失不仅包括每像素损失,还包括感知损失。与现有的方法只处理图像生成或变换相比,我们提出的迭代架构可以同时实现这两个目标。在多标签人脸数据集CelebA上的实验表明,该模型在识别多个属性、生成高质量图像以及属性可控的图像变换等方面具有良好的性能。
2018-03-07 cs.CV
Exposing GAN-synthesized Faces Using Landmark Locations
Computer Science Department, University at Albany, State University of New York(纽约州立大学奥尔巴尼分校计算机科学系);School of Computer and Control Engineering, University of the Chinese Academy of Sciences(中国科学院大学计算机与控制工程学院)
生成式对抗网络(GANs)最近已经产生了高度逼真的图像合成结果。在这项工作中,我们描述了一种使用面部标志点的位置来暴露GAN合成图像的新方法。我们的方法是基于观察到的面部部分配置生成的GAN模型是不同的真实的脸,由于缺乏全局约束。我们进行了实验来证明这种现象,并表明使用面部标志点的位置训练的SVM分类器足以实现GAN合成面部的良好分类性能。
2019-03-30 cs.CV
Refacing: reconstructing anonymized facial features using GANs
Linköping University(林雪平大学)
医学图像的匿名化对于保护受试者的身份是必要的,因此是数据共享的重要步骤。然而,深度学习的最新发展可能会提高保证匿名所需的失真量。为了测试这种可能性,我们在T1 MR图像的矢状切片上应用了新的CycleGAN无监督图像到图像转换框架,以便从匿名数据中重建面部特征。我们将CycleGAN框架应用于面部模糊和面部移除的图像。我们的研究结果表明,面部模糊可能无法提供足够的保护,以防止恶意企图识别的主题,而面部删除提供了更强大的匿名化,但仍然是部分可逆的。
2019-01-21 cs.CV
Pixel-based Facial Expression Synthesis
Punjab University College of Information Technology(旁遮普大学信息技术学院)
随着生成对抗网络(GANs)的出现,面部表情合成取得了显着的进步。然而,只要测试数据分布接近训练数据分布,基于GAN的方法大多会生成照片般逼真的结果。当测试图像来自稍微不同的分布时,GAN结果的质量显著降低。此外,最近的工作表明,面部表情可以通过改变局部面部区域来合成。在这项工作中,我们提出了一个基于像素的面部表情合成方法,其中每个输出像素只观察一个输入像素。所提出的方法实现了良好的泛化能力,利用只有几百个训练图像。实验结果表明,该方法在数据集内图像上与最先进的GANs相比表现良好,在数据集外图像上表现明显更好。此外,所提出的模型是两个数量级较小,这使得它适合部署在资源受限的设备。
2020-10-27 cs.CV
Improved Techniques for GAN based Facial Inpainting
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);Microsoft(微软公司);Qualcomm(高通公司)
针对基于GAN的人脸修复易受初始解影响的问题,提出带优质初始解的参数化网络及序列扩展方法,在多数据集上实现质量提升与超15倍加速,且人脸身份保留更优。
2018-10-20 cs.CV
Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs
Technische Universität Berlin(柏林工业大学);Tampere University(坦佩雷大学);Ernst-Abbe University of Applied Sciences Jena(恩斯特·阿贝耶拿应用科学大学)
针对人脸视频遮挡去除需求,提出基于GAN的表情引导修复网络,结合人脸关键点、无遮挡参考图与定制FER损失,实现静态/动态遮挡的自适应去除,保障帧间身份一致与时空连贯的逼真修复效果。
2024-02-14 cs.CV
GANimation: Anatomically-aware Facial Animation from a Single Image
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与工业信息研究所(CSIC-UPC));The Ohio State University(俄亥俄州立大学)
生成对抗网络(GANs)的最新进展在面部表情合成任务中显示出令人印象深刻的结果。最成功的架构是StarGAN,它用特定领域的图像来调节GANs的生成过程,即一组共享相同表情的人的图像。虽然有效,但这种方法只能生成离散数量的表达式,由数据集的内容决定。为了解决这个问题,在本文中,我们介绍了一种新的GAN空调计划的基础上行动单位(AU)的注释,它描述了在一个连续的流形上的解剖面部运动定义的人类表情。我们的方法允许控制每个AU的激活幅度,并结合其中的几个。此外,我们提出了一种完全无监督的策略来训练模型,只需要用激活的AU注释图像,并利用注意力机制使我们的网络对不断变化的背景和照明条件具有鲁棒性。广泛的评估表明,我们的方法超越了竞争条件生成器的能力,以合成更广泛的表达统治解剖学上可行的肌肉运动,在处理图像的能力在野外。
2018-08-28 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute(印度统计研究所);Østfold University College(东福尔德大学学院)
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能,但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中,我们提出了一个属性引导注意生成对抗网络,它采用新的属性引导注意(AGA)模块,以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后,我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明,我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时,每个属性描述符是未知的,从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS(新里斯本大学计算机科学与信息学实验室);Universidad Autonoma de Madrid(马德里自治大学);University of Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统,深入分析相关文献,评估现有检测方法在无约束场景下的性能,并发布iFakeFaceDB数据库,指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学里奇工程与计算机科学学院);Department of Psychology, University of Tennessee(田纳西大学心理学系);College of Arts, Humanities and Social Sciences, University of Denver(丹佛大学艺术、人文与社会科学学院)
生成对抗网络(GANs)能够合成高质量的面部图像。尽管取得了成功,但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前,面部GANs是在不平衡的数据集上训练的,这会产生不太多样化的图像。例如,我们使用StyleGAN 3随机合成的10万张图像中,超过77%被归类为快乐,只有大约3%被归类为愤怒。当需要混合面部属性时,问题甚至变得更糟:生成的样本中只有不到1%是愤怒的女人,只有大约2%是快乐的黑人。为了解决这些问题,本文提出了一个名为GANalyzer的框架,用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成,旨在操作特定面部属性(如面部表情,年龄,性别和种族)的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠,并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
CAFE-GAN: Arbitrary Face Attribute Editing with Complementary Attention Feature
Korea University(高丽大学);Army Research Laboratory(陆军研究实验室)
人脸属性编辑的目标是根据给定的目标属性(如头发颜色、胡子、性别等)对人脸图像进行修改。它属于图像到图像的域转移问题,其中一组属性被视为一个独特的域。在多域传输问题中,已经有一些工作集中在使用生成对抗网络(GAN)的面部属性编辑上。这些方法已经取得了一些成功,但它们也会导致面部区域的意外变化-这意味着生成器会改变与指定属性无关的区域。为了解决这一问题,我们提出了一种新的GAN模型,该模型旨在通过补充注意力特征(CAFE)的概念来编辑与目标属性相关的人脸部分。CAFE通过考虑目标属性以及互补属性来识别待变换的面部区域,我们将互补属性定义为输入面部图像中不存在的那些属性。此外,我们引入了一个互补的特征匹配,以帮助训练的生成器,利用属性的空间信息。通过与现有方法的分析比较,证明了该方法的有效性。
2020-11-24 cs.CV
Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior
Tianjin University(天津大学);Tencent PCG(腾讯平台与内容事业群)
针对现有盲人脸恢复方法对姿态多变的严重退化人脸鲁棒性不足的问题,提出结合非对称编解码器(含可即插即用的MMRB模块)与StyleGAN2先验及自监督训练的恢复网络,在人脸恢复与超分任务上性能优于现有方法。
2023-06-15 cs.CV
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction
通过利用深度卷积神经网络(DCNN)的能力,已经做了大量的工作来从单个图像重建3D面部结构。在最近的作品中,纹理特征要么对应于线性纹理空间的分量,要么由自动编码器直接从野外图像中学习。在所有情况下,面部纹理重建的质量仍然不能建模面部纹理与高频细节。在本文中,我们采取了一种完全不同的方法,利用生成对抗网络(GANs)和DCNN的强大功能,从单张图像中重建面部纹理和形状。也就是说,我们利用GANs在\edit{from a large-scale 3D texture dataset}之前训练一个非常强大的面部纹理。然后,我们重新审视原始的3D变形模型(3DMMs)拟合利用非线性优化,以找到最佳的潜在参数,最好地重建测试图像,但在一个新的角度。为了对初始化具有鲁棒性并加快拟合过程,我们提出了一种新的基于自监督回归的方法。我们在真实感和身份保持3D人脸重建中表现出出色的效果,并首次实现了高频细节的面部纹理重建。
2021-05-16 cs.CV
Pose-variant 3D Facial Attribute Generation
NEC Laboratories America(美国NEC实验室);University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
我们解决了具有挑战性的问题,在不受约束的姿态使用一个单一的图像生成面部属性。与之前主要考虑在2D近正面图像上生成的工作相比,我们提出了一个基于GAN的框架,直接在UV纹理和位置图给出的密集3D表示上生成属性,从而产生逼真的,几何一致的和身份保持的输出。从一个自闭塞的UV纹理图,通过应用现成的3D重建方法,我们提出了两个新的组件。首先,纹理完成生成对抗网络(TC-GAN)完成部分UV纹理图。第二,3D属性生成GAN(3DA-GAN)合成目标属性,同时获得与3D面部几何形状一致的外观并保持身份。CelebA,LFW和IJB-A上的大量实验表明,我们的方法比以前的方法,更高程度的定性照片真实感和保留人脸身份信息,实现了更好的属性生成精度。
2019-07-24 cs.CV
GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学);Meta Reality Labs(Meta现实实验室);Technical University of Darmstadt(达姆施塔特工业大学)
提出GAN-Avatar,一种无需精确表情跟踪的个性化3D头部Avatar生成方法,通过3D感知生成模型与3DMM表情参数到潜在空间的映射,实现外观重建与动画控制解耦,在图像合成中达到高保真度且质量优于现有单目方法。
2023-11-22 cs.CV
Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement
Zhejiang Gongshang University(浙江工商大学);State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Kuaishou Technology(快手科技)
针对现有3D面部纹理生成方法的局限,提出渐进式潜空间优化方法,结合自监督GAN与边缘感知SDS的互增强机制,生成高质量多样化的PBR面部纹理,性能优于现有方法。
2024-04-15 cs.CV
US-GAN: On the importance of Ultimate Skip Connection for Facial Expression Synthesis
University of the Punjab(旁遮普大学)
该研究提出带终极跳跃连接的轻量US-GAN用于人脸表情合成,参数量与训练数据规模远低于现有模型,在多项指标及用户研究中表现更优。
2023-04-08 cs.CV eess.IV
$S^2$-Flow: Joint Semantic and Style Editing of Facial Images
生成对抗网络(GANs)产生的高质量图像激发了对其在图像编辑中的应用的研究。然而,GANs通常受限于它们为执行特定编辑而提供的控制。其中一个主要挑战是GANs的纠缠潜在空间,它不适合直接执行独立和详细的编辑。最近的编辑方法允许受控的样式编辑或受控的语义编辑。此外,使用语义掩码来编辑图像的方法难以保持身份,并且无法执行受控的样式编辑。我们提出了一种方法来解开一个GAN $\text{'}$的潜在空间到语义和风格的空间,使控制的语义和风格编辑的人脸图像独立在同一个框架。为了实现这一点,我们设计了一个编码器-解码器为基础的网络架构($S^2$ -流),其中包括两个建议的电感偏置。我们通过执行各种语义和样式编辑来定量和定性地显示$S^2$ -Flow的适用性。
2022-11-22 cs.CV
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
Imperial College London(帝国理工学院);University of Middlesex(密德萨斯大学)
在过去的几年里,已经做了大量的工作,通过利用深度卷积神经网络(DCNN)的力量,从单个图像重建3D面部结构。在最近的作品中,微分渲染器,以学习的面部身份特征和参数的3D变形模型的形状和纹理之间的关系。纹理特征要么对应于线性纹理空间的分量,要么由自动编码器直接从野外图像中学习。在所有情况下,面部纹理重建的质量的国家的最先进的方法仍然是不能够在高保真度的纹理建模。在本文中,我们采取了一种完全不同的方法,利用生成对抗网络(GANs)和DCNN的强大功能,从单张图像中重建面部纹理和形状。也就是说,我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后,我们重新审视了原始的3D变形模型(3DMMs)拟合方法,利用非线性优化,以找到最佳的潜在参数,最好地重建测试图像,但在一个新的角度。我们通过我们的端到端可区分框架,在预训练的深度身份特征的监督下优化参数。我们在真实感和身份保持3D人脸重建中表现出出色的效果,并首次实现了高频细节的面部纹理重建。
2019-04-06 cs.CV
Exploring the Asynchronous of the Frequency Spectra of GAN-generated Facial Images
Sungkyunkwan University(成均馆大学)
生成对抗网络(GANs)的快速发展引起了人们对它们被滥用于恶意目的的担忧,特别是在创建虚假人脸图像方面。尽管许多提出的方法成功地检测了基于GAN的合成图像,但它们仍然受到需要大量训练假图像数据集的限制,以及检测器对未知面部图像的可推广性的挑战。在本文中,我们提出了一种探索颜色通道的异步频谱的新方法,该方法简单但有效地用于训练无监督和监督学习模型来区分基于GAN的合成图像。我们进一步研究了一个训练模型的可移植性,该模型从我们在一个源域中建议的特征中学习,并利用特征分布的先验知识在另一个目标域上进行验证。我们的实验结果表明,频域中的频谱差异是有效检测各种类型的基于GAN生成的图像的实际伪影。
2021-12-15 cs.CV cs.CY
Region Based Adversarial Synthesis of Facial Action Units
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
人脸表情合成或编辑在情感计算和人脸表情建模领域受到越来越多的关注。针对现有人脸表情合成方法存在训练数据成对、分辨率低、身份信息受损等问题,提出了一种基于人脸动作单元标注的局部注意条件生成对抗网络(LAC-GAN).给定期望的AU标签,LAC-GAN利用本地AU区域规则来控制每个AU的状态,并利用注意机制将其中的几个AU组合成整个照片般逼真的面部表情或任意面部表情。此外,在我们提出的方法中,利用不成对的训练数据来训练具有相应AU标签的操作模块,该操作模块学习面部表情流形之间的映射。在常用的BP 4D数据集上进行了广泛的定性和定量评估,以验证我们提出的AU合成方法的有效性。
2019-10-23 cs.CV
SD-GAN: Structural and Denoising GAN reveals facial parts under occlusion
IIT Madras(印度理工学院马德拉斯分校)
某些面部部分在外观上是突出的(独特的),这实质上有助于对主体的整体识别。这些显著部分的遮挡会降低人脸识别算法的性能。在本文中,我们提出了一个生成模型来重建的面部被遮挡的缺失部分。建议的生成模型(SD-GAN)重建一个人脸保持光照变化和身份的脸。针对一种双模态互斥生成对抗网络(GAN)模型,设计了一种新的对抗训练算法,以加快收敛速度.还提出了一种新的对抗性“结构”损失函数,包括两个组成部分:整体和局部损失,其特征在于SSIM和补丁明智的MSE。对真实和合成遮挡人脸数据集的消融研究表明,我们提出的技术在相当大的范围内优于竞争方法,即使是在提高人脸识别性能方面。
2020-02-19 cs.CV cs.LG eess.IV
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University(山东大学);Xi’an Jiaotong University(西安交通大学);Zhejiang University(浙江大学)
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而,现有的方法需要详尽地标记训练数据,这需要劳动力,难以扩大规模,并且难以迁移到新的领域。为了克服这样一个关键限制,我们提出了稀疏分组生成对抗网络(SG-GAN)作为一种新方法,可以在稀疏分组的数据集上翻译图像,其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构,非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点,我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明,SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果,并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取:https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University(杭州电子科技大学);Xidian University(西安电子科技大学);Hefei University of Technology(合肥工业大学);The University of Sydney(悉尼大学);University of Chinese Academy of Sciences(中国科学院大学)
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用,包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制,精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果,他们大多产生模糊的效果和各种面部组件的巨大变形,导致合成图像的不切实际的感觉。为了应对这一挑战,在这项工作中,我们建议使用的面部组成信息,以帮助合成的面部素描/照片。特别是,我们提出了一种新的合成辅助生成对抗网络(CA-GAN)的人脸照片素描合成。在CA-GAN中,我们利用成对的输入,包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外,为了将训练集中在硬生成的组件和精致的面部结构上,我们提出了一种成分重建损失。最后,我们使用堆栈CA-GAN(SCA-GAN)来进一步纠正缺陷并添加引人注目的细节。实验结果表明,我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量,大大降低了以前最好的Frechet Inception距离(FID)。此外,我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果:https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
An Efficient Integration of Disentangled Attended Expression and Identity FeaturesFor Facial Expression Transfer andSynthesis
Synthetic Reality Lab(合成现实实验室);University of Central Florida(中佛罗里达大学)
在本文中,我们提出了一个基于注意力的身份保持生成对抗网络(AIP-GAN),以克服身份泄漏的问题,从源图像生成的人脸图像,一个问题,遇到了跨学科的面部表情传输和合成过程。我们的关键见解是,身份保持网络应该能够解开和组成形状,外观和表情信息,有效的面部表情传输和合成。具体来说,我们的AIP-GAN的表情编码器通过使用我们的监督空间和通道注意力模块预测其面部标志来从输入源图像中解开表情信息。类似地,通过使用我们的自监督空间和通道注意力模型推断其组合的内在形状和外观图像,从输入目标图像中提取解纠缠的表情不可知的身份特征。为了利用我们两个编码器的中间层编码的表达和身份信息,我们使用交叉编码器双线性池化操作将这些特征与我们解码器的中间层学习的特征相结合。实验结果表明,我们的AIP-GAN为基础的技术有前途的性能。
2020-05-01 cs.CV
When Visible-to-Thermal Facial GAN Beats Conditional Diffusion
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Booz Allen Hamilton(博思艾伦汉密尔顿)
本文提出 VTF-GAN,通过同时学习空间域和频率域并联合多种损失函数,在可见光到热红外人脸生成任务上超越了多个 GAN 基线及条件扩散模型 VTF-Diff。
2023-02-18 cs.AI cs.CV eess.IV
FICGAN: Facial Identity Controllable GAN for De-identification
Samsung SDS(三星SDS);Seoul National University(首尔大学);POSTECH(浦项工科大学)
在这项工作中,我们提出了面部身份可控GAN(FICGAN),不仅可以生成高质量的去识别人脸图像,确保隐私保护,而且还可以详细控制属性保存,以增强数据效用。基于这两个因素,我们解决了较少探索但期望的人脸去识别功能。首先,我们专注于具有挑战性的问题,以获得高水平的隐私保护在去识别任务,同时不妥协的图像质量。其次,我们分析了与身份和非身份相关的面部属性,并探索了面部去识别程度和保留源属性以增强数据效用之间的权衡。基于分析,我们开发了面部身份可控GAN(FICGAN),这是一种基于自动编码器的条件生成模型,可以学习将面部图像上的身份属性与非身份属性区分开来。通过应用流形k-same算法来满足k-匿名性以增强安全性,我们的方法在去身份化的人脸图像中实现了增强的隐私保护。大量的实验表明,我们的模型优于其他人在各种情况下的人脸去识别。
2021-10-02 cs.AI cs.CV
TransEditor: Transformer-Based Dual-Space GAN for Highly Controllable Facial Editing
Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学);SenseTime Research(商汤科技研究院);Hong Kong University of Science and Technology(香港科技大学)
StyleGAN等最新进展促进了可控面部编辑的发展。为了解决其在单个潜在空间中的属性解耦的核心挑战,已经尝试采用双空间GAN来更好地解开风格和内容表示。然而,这些方法仍然无法获得合理的编辑结果与高可控性,特别是对复杂的属性。在这项研究中,我们强调了双空间GAN中交互的重要性,以实现更可控的编辑。我们提出了transEditor,一种新的基于transformer的框架,以加强这种互动。此外,我们开发了一种新的双空间编辑和反转策略,以提供额外的编辑灵活性。大量的实验表明,所提出的框架在图像质量和编辑能力的优越性,建议高度可控的面部编辑的有效性transEditor。
2022-03-31 cs.CV cs.LG
Fine-Grained Face Swapping via Regional GAN Inversion
Tencent AI Lab(腾讯人工智能实验室);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);South China University of Technology(华南理工大学)
我们提出了一个新的范例高保真人脸交换,忠实地保留所需的微妙的几何形状和纹理细节。我们重新思考人脸交换的角度来看,细粒度的人脸编辑,\textit{i.e., ``editing for swapping'' (E4S)},并提出了一个框架,是基于明确的解开的形状和纹理的面部组件。遵循E4S原则,我们的框架可以实现面部特征的全局和局部交换,以及控制用户指定的部分交换量。此外,E4S范例固有地能够通过面罩来处理面部遮挡。在我们的系统的核心在于一个新的区域GAN反演(RGI)方法,它允许明确的形状和纹理的解纠缠。它还允许在StyleGAN的潜在空间中执行人脸交换。具体来说,我们设计了一个多尺度的面具引导编码器,每个面部组件的纹理投影到区域风格代码。我们还设计了一个掩码引导的注入模块来操纵的特征图与样式代码。在此基础上,将人脸交换转化为一个简化的风格和掩码交换问题。与当前最先进的方法进行了大量的实验和比较,证明了我们的方法在保留纹理和形状细节以及处理高分辨率图像方面的优越性。项目页面为http://e4s2022.github.io
2023-03-23 cs.CV
ICE-GAN: Identity-aware and Capsule-Enhanced GAN with Graph-based Reasoning for Micro-Expression Recognition and Synthesis
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
微表情是人们真实情感和动机的反映,因此吸引了越来越多的研究者对人脸微表情自动识别的研究。短的检测窗口,微妙的面部肌肉运动和有限的训练样本使得微表情识别具有挑战性。为此,我们提出了一种新的基于图推理的身份感知和胶囊增强的生成对抗网络(ICE-GAN),引入微表情合成作为辅助任务来辅助识别。生成器生成具有可控微表情和身份感知特征的合成人脸,其长期依赖性通过图推理模块(GRM)捕获,并且该生成器检测图像真实性和表情类。我们的ICE-GAN在Micro-Expression Grand Challenge 2019(MEGC 2019)上进行了评估,与获奖者相比有显著改善(12.9%),并超过了其他最先进的方法。
2021-04-26 cs.CV
FairViT-GAN: A Hybrid Vision Transformer with Adversarial Debiasing for Fair and Explainable Facial Beauty Prediction
Scientific and Technical Research Centre for Arid Areas, CRSTRA(干旱地区科学技术研究中心)
本文提出 FairViT-GAN 混合 CNN-ViT 框架,通过对抗去偏学习种族不变特征,在 SCUT-FBP5500 上提升美感预测精度、透明度与群体公平性。
2025-09-28 cs.CV
Degradation-Agnostic Statistical Facial Feature Transformation for Blind Face Restoration in Adverse Weather Conditions
Kunsan National University(群山国立大学)
本文提出了一种基于GAN的盲面部修复框架,通过局部统计面部特征转换和降级无关特征嵌入模块,提升恶劣天气下的面部修复效果。
2026-01-25 cs.CV
AvatarTex: High-Fidelity Facial Texture Reconstruction from Single-Image Stylized Avatars
SSE, CUHKSZ(CUHKSZ 信息学院);FNii, CUHKSZ(CUHKSZ 信息学院)
AvatarTex提出三阶段扩散到GAN流水线,结合扩散模型的纹理多样性与GAN的UV拓扑一致性,并引入含2万张多风格UV纹理的TexHub数据集,实现从单张图像进行高保真风格化面部纹理重建。
2025-11-10 cs.CV
Texture Deformation Based Generative Adversarial Networks for Face Editing
Institute of Computer Vision(计算机视觉研究所);Shenzhen University(深圳大学)
尽管在图像到图像的转换和基于潜在表征的面部属性编辑和表情合成方面取得了显著的成功,但现有方法在细节的清晰度、清晰的图像转换和身份保持方面仍然存在局限性。为了解决这些问题,我们提出了一种基于纹理变形的GAN,即TDB-GAN,从原始图像中分离纹理,并根据提取的纹理转移域。该方法利用纹理来传递面部属性和表情,而不考虑对象的姿态。这导致合成的面部的形状细节和更明显的视觉效果。此外,它在训练过程中带来了更快的收敛速度。所提出的方法的有效性进行了验证,通过广泛的消融研究。我们也对我们的方法在人脸属性和表情合成上进行了定性和定量的评估。CelebA和RaFD数据集上的结果表明,基于纹理变形的GAN实现了更好的性能。
2018-12-24 cs.CV
GANonymization: A GAN-based Face Anonymization Framework for Preserving Emotional Expressions
University of Augsburg(奥格斯堡大学);University of Bonn(波恩大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出GANonymization框架,利用GAN基于人脸高层表示生成匿名化人脸,在有效去除身份属性以保护隐私的同时保持面部表情,并在多个情感识别数据集上优于现有方法。
2023-11-14 cs.CV cs.MM
Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
Research School of Computer Science, Australian National University(澳大利亚国立大学计算机科学研究学院)
三维人脸重建是计算机视觉的一个重要应用。然而,即使是最先进的模型仍然需要正面人脸作为输入,这限制了其在野外的使用场景。类似的困境也发生在人脸识别中。新的研究旨在恢复正面的脸从一个单一的侧面姿态的人脸图像已经出现。这一领域的最新技术是基于CycleGAN的Face-Transformation生成对抗网络。这启发了我们的研究,探索了两个模型在正面面部合成中的像素变换性能,Pix 2 Pix和CycleGAN。我们在Pix 2 Pix上进行了五种不同损失函数的实验以提高其性能,然后提出了一种新的用于正面人脸合成的网络Pairwise-GAN。Pairwise-GAN使用两个并行的U型网络作为生成器,PatchGAN作为生成器。详细的超参数进行了讨论。基于面部相似性比较的定量测量,我们的结果表明,与默认Pix 2 Pix模型相比,具有L1损失、梯度差损失和身份损失的Pix 2 Pix在平均相似性上提高了2.72%。此外,在平均相似度上,Pairwise-GAN的性能比CycleGAN高5.4%,比Pix 2 Pix高9.1%。
2020-09-13 cs.CV
Imperfect ImaGANation: Implications of GANs Exacerbating Biases on Facial Data Augmentation and Snapchat Selfie Lenses
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
在本文中,我们证明了流行的生成对抗网络(GANs)在给定面部照片的倾斜分布时会加剧性别和肤色轴上的偏见。虽然从业者庆祝使用GANs生成合成数据作为一种经济的方式来增加数据以训练数据饥渴的机器学习模型,但目前还不清楚他们是否认识到这种技术在应用于沿着潜在维度偏置的现实世界数据集时的危险。具体来说,我们表明:(1)传统的GANs进一步扭曲了由工程学院头像组成的数据集的分布,生成少数模式的频率更低,质量更差;(2)图像到图像的转换(条件)GANs也加剧了偏见,因为它减轻了非白人面孔的肤色,并在生成工程教授的面孔时将女性面部特征转换为男性化。因此,我们的研究是为了作为一个警示故事。
2021-06-16 cs.CV cs.LG eess.IV
MU-GAN: Facial Attribute Editing based on Multi-attention Mechanism
North China Electric Power University(华北电力大学);Liaoning Shihua University(辽宁石油化工大学);New Jersey Institute of Technology(新泽西理工学院);Shandong University of Science and Technology(山东科技大学)
人脸属性编辑主要有两个目标:1)将图像从源域转换到目标域; 2)只改变与目标属性相关的人脸区域,并保留不包含属性的细节。在这项工作中,我们提出了一个多注意力U-网为基础的生成对抗网络(MU-GAN)。首先,我们在生成器中用对称的U-Net结构替换经典的卷积编码器-解码器,然后应用附加的注意力机制来构建基于注意力的U-Net连接,用于自适应地传输编码器表示,以补充具有属性排除细节的解码器,并增强属性编辑能力。第二,将自我注意力机制并入卷积层中,用于对跨图像区域的远程和多级依赖性进行建模。实验结果表明,该方法能够平衡属性编辑能力和细节保持能力,并能解耦属性间的相关性。它优于国家的最先进的方法在属性操作的准确性和图像质量。
2020-09-09 cs.CV cs.GR
Dynamic Facial Expression Generation on Hilbert Hypersphere with Conditional Wasserstein Generative Adversarial Nets
Mohammed V University in Rabat(拉巴特穆罕默德五世大学);Faculty of Sciences(理学院);IMT Lille-Douai(里尔-杜埃国立高等矿业电信学校);University of Lille(里尔大学);CNRS(法国国家科学研究中心);University of Florence(佛罗伦萨大学)
在这项工作中,我们提出了一种新的方法来生成视频的六个基本的面部表情给定一个中性的人脸图像。我们建议利用面部几何建模的面部地标运动作为曲线编码的点上的超球体。通过提出一个条件版本的流形值Wasserstein生成对抗网络(GAN)的运动生成的超球面上,我们学习的分布不同类的面部表情动态,我们合成新的面部表情运动。通过使用另一个条件生成对抗网络编辑纹理信息,可以将所得到的运动转换为地标序列,然后转换为图像序列。据我们所知,这是第一个工作,探讨流形值表示与GAN,以解决动态面部表情生成的问题。我们在两个公共数据集上定量和定性地评估了我们提出的方法; Oulu-CASIA和MUG面部表情。我们的实验结果表明,我们的方法在生成具有连续运动,逼真的外观和身份保护的逼真视频的有效性。我们还展示了我们的动态面部表情生成,动态面部表情传输和数据增强训练改进的情感识别模型的框架的效率。
2020-05-28 cs.CV
Facial Demorphing from a Single Morph Using a Latent Conditional GAN
Michigan State University(密歇根州立大学)
针对现有面部去融合方法的复制问题及对融合技术泛化不足,提出在潜在空间分解单张融合图像的潜在条件GAN,实现跨技术、真实面部的高保真去融合。
2025-07-28 cs.CV
SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute
University of Science and Technology Beijing(北京科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
在用于面部图像合成的生成对抗网络(GANs)中操纵潜在代码主要集中在连续属性合成(例如,年龄、姿势和情绪),而离散属性合成(如面具和眼镜)受到较少关注。直接将现有的工作应用于面部离散属性可能会导致不准确的结果。在这项工作中,我们提出了一个创新的框架,通过语义分解来解决具有挑战性的面部离散属性合成,称为SD-GAN。具体而言,我们明确地将离散属性表示分解为两个部分,即语义先验基础和偏移潜在表示。语义先验基础为在潜在空间中操作人脸表征提供了初始化方向。提出了利用三维感知语义融合网络获得的偏移潜在表示来调整先验基。此外,融合网络集成了3D嵌入,以更好地保持身份和离散属性合成。先验基和偏移潜在表示的结合使我们的方法能够合成具有离散属性的照片级真实感人脸图像。值得注意的是,我们构建了一个大型且有价值的数据集MEGN(从Google和Naver抓取的面罩和眼镜图像),以弥补现有数据集中缺乏离散属性的问题。大量的定性和定量实验证明了我们的方法的最先进的性能。我们的代码可在https://github.com/MontaEllis/SD-GAN上获取。
2022-07-12 cs.CV
Facial Expression Translation using Landmark Guided GANs
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
我们提出了一个简单而强大的地标引导生成对抗网络(LandmarkGAN)的面部表情到表情的翻译使用一个单一的图像,这是一个重要的和具有挑战性的任务,在计算机视觉,因为表情到表情的翻译是一个非线性和非对齐的问题。此外,它需要输入和输出图像之间的高级语义理解,因为图像中的对象可以具有任意的姿势、大小、位置、背景和自遮挡。为了解决这个问题,我们建议显式利用面部地标信息。由于这是一个具有挑战性的问题,我们将其分为两个子任务:(i)类别引导的地标生成,以及(ii)地标引导的表达式到表达式的翻译。两个子任务以端到端的方式进行训练,旨在从生成的地标和表达式中享受相互改进的好处。与目前的关键点引导方法相比,所提出的LandmarkGAN只需要一个单一的面部图像来生成各种表情。在四个公共数据集上的大量实验结果表明,与仅使用单个图像的最新方法相比,所提出的LandmarkGAN实现了更好的结果。该代码可在https://github.com/Ha0Tang/LandmarkGAN上获得。
2022-09-05 cs.AI cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili(莫哈格·阿尔达比勒大学)
细粒度分类仍然是一项具有挑战性的任务,因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能,但它们需要大量的输入数据。为了解决这个问题,我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成,在规模,姿势和照明方面存在差异,这加剧了分类任务的难度。此外,我们增强了最近的生成对抗网络(GAN)StyleGAN 2-ADA模型的性能,以生成更逼真的图像,同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志,然后相应地裁剪图像。最后,我们将合成图像与原始数据集相结合,并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer(ViT)模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV