Face Images as Jigsaw Puzzles: Compositional Perception of Human Faces for Machines Using Generative Adversarial Networks
Carleton University（卡尔顿大学）
人机交互（HRI）的一个重要目标是让机器实现接近人类水平的人脸感知。机器学习和人类智能之间的一个重要区别是缺乏组合性。本文介绍了一种新的方案，使生成对抗网络能够学习由更小部分组成的人脸图像的分布。这导致更灵活的机器面感知和更容易推广到外部训练样本。我们证明，该模型是能够产生逼真的高品质的人脸图像，通过生成和拼凑的部分。此外，我们证明了该模型学习面部部位及其分布之间的关系。因此，特定面部部分在所生成的面部图像之间是可互换的。
2021-03-10 cs.CV cs.LG
Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing
University of Southern California（南加州大学）；Michigan State University（密歇根州立大学）；Texas A&M University（德克萨斯农工大学）
针对扩散模型恶意肖像编辑威胁，本文提出 FaceLock，通过融合人脸识别与视觉感知优化对抗扰动以破坏生物特征，并在防御效果和抗净化鲁棒性上优于基线。
2025-03-15 cs.AI cs.CV cs.LG
Facke: a Survey on Generative Models for Face Swapping
Shanghai Jiaotong University（上海交通大学）
在这项工作中，我们研究了主流神经生成模型在交换面孔这一任务上的性能。我们已经在CVAE、CGAN、CVAE-GAN和条件扩散模型上进行了实验。现有的经过精细训练的模型已经成功地产生了肉眼无法区分的假面孔（Facke），并实现了高客观指标。我们对它们进行了比较，分析了它们的优缺点，并提出了一些有前途的技巧，虽然它们不适用于这项任务。
2022-06-22 cs.AI cs.CV
Vulnerability Analysis of Face Morphing Attacks from Landmarks and Generative Adversarial Networks
Idiap Research Institute（Idiap研究所）
变形攻击是对生物识别系统的威胁，其中身份证件中的生物识别参考可以被改变。这种形式的攻击在依赖于身份证件的应用程序（如边境安全或访问控制）中提出了一个重要问题。人脸变形攻击检测的研究正在迅速发展，但很少有几种形式的攻击数据集是公开的。本文通过提供一个新的数据集来弥合这一差距，该数据集具有四种不同类型的变形攻击，基于OpenCV，FaceMorpher，WebMorph和生成对抗网络（StyleGAN），由三个公共人脸数据集的原始人脸图像生成。我们还进行了广泛的实验，以评估最先进的人脸识别系统的脆弱性，特别是FaceNet，VGG-Face和ArcFace。实验表明，VGG-Face虽然与FaceNet相比是不太准确的人脸识别系统，但也不容易受到变形攻击。此外，我们观察到，使用StyleGAN生成的幼稚变形不会构成重大威胁。
2020-12-09 cs.CV cs.LG
GIF: Generative Interpretable Faces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Texas A&M University（得克萨斯农工大学）；Ben Gurion University（本-古里安大学）
具有照片般真实感的人脸可视化和动画一直是一个长期存在的挑战。3D人脸建模方法提供参数控制，但生成不真实的图像，另一方面，生成2D模型，如GANs（生成对抗网络）输出照片般逼真的人脸图像，但缺乏显式控制。最近的方法通过尝试以无监督的方式解开不同的因素，或者通过向预先训练的模型添加事后控制来获得部分控制。然而，无条件的GANs可能会纠缠到以后难以撤销的因素。我们的条件生成模型上预定义的控制参数，以鼓励在生成过程中的解纠缠。具体来说，我们将StyleGAN 2设置在FLAME上，这是一种生成式3D人脸模型。虽然条件的火焰参数产生不满意的结果，我们发现，条件渲染火焰几何和光度细节效果良好。这为我们提供了一个名为GIF（生成可解释的面孔）的生成2D人脸模型，它提供了FLAME的参数控制。这里，可解释性是指不同参数的语义含义。给定形状、姿势、表情的FLAME参数，外观、照明的参数，以及附加的样式向量，GIF输出照片级逼真的人脸图像。我们进行了一个基于AMT的感知研究，定量和定性地评估GIF如何遵循其条件反射。代码、数据和训练模型可在http://gif.is.tue.mpg.de上公开获取，以用于研究目的。
2020-11-25 cs.AI cs.CV cs.GR
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Towards Fair and Robust Face Parsing for Generative AI: A Multi-Objective Approach
University of Notre Dame（圣母大学）
本文提出一种多目标学习框架，通过基于同伦的损失函数动态平衡准确率、公平性与鲁棒性，提升人脸解析质量，并在Pix2PixHD和ControlNet合成流程中验证其改善生成真实感与人口统计学一致性的效果。
2025-02-06 cs.AI cs.CV
Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出生成-判别表示蒸馏方法，通过扩散模型编码器和人脸识别器分别蒸馏学生骨干与头部网络，将通用表示转化为判别表示，从而提升极低分辨率人脸识别准确率。
2024-09-10 cs.AI cs.CV cs.MM
AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation
ByteDance（字节跳动）；National Tsing Hua University（国立清华大学）；Shenzhen University（深圳大学）
在本文中，我们提出了一个新的框架，将一个肖像照片脸到动画外观。我们的目标是合成动画的脸是风格一致的给定的参考动画脸。然而，与典型的翻译任务不同，这种动画面部翻译是具有挑战性的，因为动画面部之间的外观的复杂变化。现有的方法往往无法转移的风格的参考动画的脸，或引入显着的文物/扭曲的局部形状，其生成的脸。我们提出了AniGAN，一种新型的基于GAN的翻译器，可以合成高质量的动画面部。具体而言，提出了一种新的生成器架构，同时传输颜色/纹理风格和转换局部面部形状到动画类似的对应物的基础上的风格的参考动画脸，同时保持全局结构的源照片脸。我们提出了一个双分支学习的分布和域共享的分布，帮助生成视觉上令人愉快的动画脸，并有效地减轻文物。大量的实验selfie 2anime和一个新的face 2anime数据集定性和定量地证明了我们的方法比国家的最先进的方法的优越性。新的数据集可在https://github.com/bing-li-ai/AniGAN上获得。
2021-03-29 cs.AI cs.CV
Frequency Aware Face Hallucination Generative Adversarial Network with Semantic Structural Constraint
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Monash University（莫纳什大学）
在本文中，我们解决了面孔幻觉的问题。当前大多数人脸幻觉方法都依赖于二维人脸先验知识来从低分辨率人脸图像生成高分辨率人脸图像。这些方法只能将全局信息同化到生成的图像中。但这些方法仍存在一些固有的问题，如局部特征、细微的结构细节和深度信息的丢失。目前的工作提出了一种基于生成对抗网络（GAN）的新型渐进式人脸幻觉（FH）网络，以解决这些问题，目前的方法。该模型的生成器由跳频网络和两个子网络组成，辅助跳频网络生成高分辨率图像。第一个子网络利用显式地将高频分量添加到模型中。为了对高频分量进行显式编码，提出了一种自动编码器来生成高分辨率的离散余弦变换（DCT）系数。为了在网络中加入三维参数信息，提出了第二子网络。该网络使用三维变形模型（3DMM）的形状模型来向FH网络添加结构约束。大量的实验结果表明，该模型优于国家的最先进的方法。
2021-10-05 cs.AI cs.CV
Building 3D Generative Models from Minimal Data
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
我们提出了一种从单个3D网格构建3D对象生成模型的方法，并通过从2D图像进行无监督低拍摄学习来改进它们。我们的方法产生了一个3D变形模型，代表形状和高斯过程中的变形。虽然以前的方法通常通过主成分分析从多个高质量的3D扫描构建3D变形模型，但我们从单个扫描或模板构建3D变形模型。正如我们在面部领域所展示的那样，这些模型可以用于从2D数据（逆图形）或3D数据（配准）推断3D重建。具体来说，我们表明，我们的方法可以用来执行人脸识别，只使用一个单一的3D模板（一个扫描总数，而不是一个人）。我们将我们的模型扩展到一个初步的无监督学习框架，该框架可以使用一个3D模板和少量的2D图像来学习3D人脸的分布。这种方法也可以提供一个模型的人脸感知的起源在人类婴儿，谁似乎开始与先天的面部模板，随后开发一个灵活的系统，用于感知任何新的面部的3D结构的经验，只有2D图像的相对较少的熟悉的面孔。
2022-03-04 cs.AI cs.CV cs.GR
Generate Identity-Preserving Faces by Generative Adversarial Networks
Tsinghua University（清华大学）
生成身份保持人脸的目的是在给定目标人脸图像的情况下生成保持同一身份的各种人脸图像。虽然近年来已经开发了相当多的生成模型，但同时获得高质量的面部图像并保持身份仍然具有挑战性。在这里，我们提出了一个引人注目的方法，使用生成对抗网络（GAN）。具体来说，我们利用训练好的GAN生成器来生成可信的人脸，并利用FaceNet作为身份相似性检验器来确保身份。实验结果表明，我们的方法是合格的，以生成高质量的可信和身份保持的人脸。此外，我们的方法提供了一个通用的框架，可以实现以各种方式结合不同的人脸生成器和身份相似性识别。
2017-06-25 cs.CV
Efficient Few-shot Identity Preserving Attribute Editing for 3D-aware Deep Generative Models
Department of Computer Science（计算机科学系）；UC San Diego（圣地亚哥大学）；UC San Diego La Jolla, CA 92093（圣地亚哥大学）
本研究针对3D人脸身份保持属性编辑的挑战，结合3D感知生成模型与2D编辑技术，仅需10张以内标注样本即可估计潜在空间编辑方向，还验证了编辑线性性并探究了3D一致的人脸老化风格流形。
2025-10-21 cs.CV cs.LG
Face Transfer with Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
面部转移由源演员在目标视频中动画化角色的面部表演。传统的方法通常基于人脸建模。提出了一种基于生成对抗网络的端到端人脸传输方法。具体来说，我们利用CycleGAN生成目标角色的面部图像，并具有相应的头部姿势和面部表情。为了提高生成视频的质量，我们采用了PatchGAN，并探讨了不同感受野大小对生成图像的影响。
2017-10-17 cs.CV
Domain Embedded Multi-model Generative Adversarial Networks for Image-based Face Inpainting
Chengdu University of Information Technology（成都信息工程大学）；CuraCloud Corporation（CuraCloud公司）；SUNY Albany（纽约州立大学奥尔巴尼分校）；Southwest Jiaotong University（西南交通大学）；Sichuan University（四川大学）
人脸形状和结构的先验知识在人脸修复中起着重要的作用。然而，传统的人脸修复方法主要关注缺失部分的图像分辨率，没有明确考虑人脸的特殊性，通常会产生不一致的人脸部分。为了解决这个问题，我们提出了一个域嵌入式多模型生成对抗模型，用于修复具有大裁剪区域的人脸图像。我们首先表示只有人脸区域使用的领域知识的潜在变量，并结合它与非人脸部分的纹理，以产生高质量的人脸图像与合理的内容。最后使用两个对抗性判别器来判断生成的分布是否接近真实分布。它不仅可以合成新的图像结构，而且还可以显式地利用嵌入的人脸领域知识来生成更好的预测，并且在结构和外观上具有一致性。在CelebA和CelebA-HQ人脸数据集上的实验表明，我们提出的方法实现了最先进的性能，并生成比现有方法更高质量的修复结果。
2020-06-20 cs.CV cs.LG eess.IV
High-Quality Face Image SR Using Conditional Generative Adversarial Networks
Beihang University（北京航空航天大学）；National Chung Hsing University（中兴大学）
提出了一种基于边界平衡生成对抗网络的人脸条件生成对抗网络（Face Conditional Generative Adversarial Network，FCGAN）的单人脸图像超分辨率方法。该方法不需要任何人脸先验信息，可以从低分辨率的人脸图像生成高分辨率的人脸图像。与现有的研究相比，我们的训练和测试阶段都是端到端的管道，几乎没有预处理/后处理。为了提高收敛速度和加强特征传播，在生成和鉴别网络中进一步采用跳层连接。大量的实验表明，我们的模型与最先进的模型相比，具有竞争力的性能。
2017-07-04 cs.CV
Improving Transferability of Adversarial Patches on Face Recognition with Generative Models
RealAI（瑞莱智慧）；Ant Financial（蚂蚁金服）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
深度卷积神经网络（CNN）极大地提高了人脸识别。最近，这些人脸识别模型已被用于安全敏感应用中的身份认证。然而，深度CNN很容易受到对抗补丁的攻击，这些补丁在物理上是可实现的，并且是隐形的，这对这些模型的实际应用提出了新的安全问题。在本文中，我们使用基于可转移性的对抗补丁来评估人脸识别模型的鲁棒性，其中攻击者对目标模型的可访问性有限。首先，我们扩展了现有的基于转移的攻击技术，以生成可转移的对抗补丁。然而，我们观察到的可转移性是敏感的初始化和退化时的扰动幅度是大的，表示过拟合的替代模型。其次，我们提出了在低维数据流形上正则化对抗补丁。流形由在合法人脸图像上预训练的生成模型表示。通过在流形上进行优化，使用人脸特征作为对抗性扰动，我们表明替代模型和目标模型的响应之间的差距显着减小，表现出更好的可移植性。大量的数字世界的实验进行了证明所提出的方法在黑箱设置的优越性。我们也将所提出的方法应用于物理世界。
2021-08-30 cs.CV cs.LG
Intercategorical Label Interpolation for Emotional Face Generation with Conditional Generative Adversarial Networks
University of Augsburg（奥格斯堡大学）
生成对抗网络提供了生成与实际照片几乎无法区分的欺骗性真实图像的可能性。然而，这样的系统依赖于大数据集的存在来真实地复制相应的域。如果不仅要生成随机的新图像，而且要对特定（连续）特征进行协同建模，则这尤其是一个问题。\emph{Human-Computer Interaction}（HCI）研究中一个特别重要的用例是生成人脸的情感图像，它可以用于各种用例，例如自动生成头像。因此，问题在于训练数据的可用性。最适合此任务的数据集依赖于分类情感模型，因此仅具有离散的注释标签。这极大地阻碍了所显示的情感状态之间的平滑过渡的学习和建模。为了克服这一挑战，我们探索了标签插值的潜力，以增强在分类数据集上训练的网络，使其能够生成以连续特征为条件的图像。
2022-04-26 cs.AI cs.CV
Examining Pathological Bias in a Generative Adversarial Network Discriminator: A Case Study on a StyleGAN3 Model
Haverford College（哈弗福德学院）；Bowdoin College（鲍登学院）
本研究发现预训练 StyleGAN3-r 模型判别器存在无法用训练数据解释的内部颜色和亮度病态偏差，且该偏差导致评分按图像质量分层，对性别、种族等不同类别产生不成比例影响。
2024-08-28 cs.AI cs.CV cs.CY
F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
Zhejiang University（浙江大学）；International Design Institute of Zhejiang University（浙江大学国际设计研究院）
作为一个条件生成问题，人脸动画的目的是合成连续的人脸图像从一个单一的源图像驱动的一组条件的人脸运动。先前的工作主要将面部运动建模为具有1D或2D表示的条件（例如，动作单元、情感代码、地标），这在一些复杂场景中，例如连续生成和大姿态变换，常常导致低质量的结果。为了解决这个问题，条件应该满足两个要求，即，运动信息保持和几何连续性。为此，我们提出了一种新的表示的基础上的3D几何流，称为面部流，表示在任何姿势的人脸的自然运动。与以往的其他条件相比，所提出的面部流很好地控制了面部的连续变化。之后，为了利用人脸流进行人脸编辑，我们建立了一个合成框架，生成具有条件人脸流的连续图像。为了充分利用人脸流的运动信息，设计了一个分层条件框架，以分层的方式将从图像中提取的多尺度外观特征和从流中提取的运动特征相结合。然后，框架将多个融合特征逐步解码回图像。实验结果表明，我们的方法相比，其他国家的最先进的方法的有效性。
2022-05-13 cs.AI cs.CV
Improving the Fairness of Deep Generative Models without Retraining
Sun Yat-Sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）通过学习观察数据的底层分布来推进人脸合成。尽管生成的人脸质量很高，但由于图像生成过程存在偏差，一些少数群体很少从训练模型中生成。为了研究这个问题，我们首先对预训练的人脸合成模型进行了实证研究。我们观察到，在训练之后，GAN模型不仅在训练数据中携带偏差，而且在图像生成过程中在一定程度上放大了偏差。为了进一步提高图像生成的公平性，我们提出了一种可解释的基线方法来平衡输出的面部属性，而无需重新训练。该方法在保持样本多样性的同时，转移了潜在空间中的可解释语义分布，以实现更平衡的图像生成。除了产生关于特定属性（例如，种族、性别等），我们的方法可推广到一次处理多个属性并合成细粒度子组的样本。我们进一步展示了从GANs采样的平衡数据的积极适用性，以量化其他人脸识别系统中的偏差，如商业人脸属性分类器和人脸超分辨率算法。
2021-03-29 cs.AI cs.CV
This Face Does Not Exist ... But It Might Be Yours! Identity Leakage in Generative Models
University of Notre Dame（圣母大学）
生成对抗网络（GANs）能够生成“不存在”的物体的高分辨率照片级逼真图像。“这些合成图像很难被检测为假的。然而，这些生成模型被训练的方式暗示了从所提供的训练数据泄漏信息的可能性，特别是在合成面部的上下文中。本文提出的实验表明，人脸图像中的身份信息可以从训练语料库流入合成样本，而不会在构建或使用现有模型时发生任何对抗性行为。这提出了与隐私相关的问题，但也激发了对（a）面部流形在特征空间中的特征和（b）如何创建生成模型的讨论，这些模型不会无意中泄露其图像用于训练的真实主体的身份信息。我们使用了五种不同的人脸匹配器（face_recognition，FaceNet，ArcFace，SphereFace和Neurotechnology MegaMatcher）和StyleGAN 2合成模型，并表明这种身份泄漏确实存在于某些方法中，但不是所有方法。那么，我们能说这些合成的面孔真的不存在吗？数据库的真实和合成生成的面孔，本文允许完全复制的结果在这项工作中讨论。
2020-12-10 cs.CV
Towards Realistic Generative 3D Face Models
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs
本文提出一种结合2D生成模型与可微渲染的3D可控人脸生成方法，通过交替优化形状与反照率，在无3D监督下实现高质量重建、身份保持和文本驱动表情编辑，并在NoW基准上超越SOTA方法。
2023-10-27 cs.CV
Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance
Carnegie Mellon University（卡内基梅隆大学）；Facebook/Meta（脸书/元宇宙公司）
三维人脸建模一直是计算机视觉和计算机图形学中的一个活跃的研究领域，推动了从虚拟化身中的面部表情转移到合成数据生成的应用。现有的3D深度学习生成模型（例如，VAE、GANs）允许生成紧凑的面部表示（形状和纹理两者），其可以对形状和外观空间中的非线性进行建模（例如，散射效应、镜面反射等）。然而，他们缺乏控制微妙表情生成的能力。本文提出了一种新的3D人脸生成模型，可以将身份和表情解耦，并提供对表情的精细控制。特别是，我们建议使用一对有监督的自动编码器和生成对抗网络来生成高质量的3D人脸，无论是外观还是形状。使用整体表情标签或动作单元标签学习的3D人脸生成的实验结果显示了我们如何将身份和表情解耦;在保持身份的同时获得对表情的精细控制。
2022-08-30 cs.CV
Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data
KAIST（韩国科学技术院）
在具有公共可用数据集的面部相关应用中，合成非线性面部变化（例如，面部表情、头部姿势、照明等）在解决训练数据的缺乏方面是有帮助的。然而，实际上，甚至没有足够的数据来训练用于面部合成的生成模型。在本文中，我们提出了差分生成对抗网络（D-GAN），即使在训练数据很小的情况下，也可以进行照片级逼真的人脸合成。设计了两个判别器，保证生成器逼近人脸流形，使其能够任意表达人脸变化。实验结果表明，该方法对训练数据的数量具有较好的鲁棒性，合成的图像对提高人脸表情分类器的性能是有用的。
2017-12-29 cs.CV
Face De-occlusion using 3D Morphable Model and Generative Adversarial Network
Inha University（仁荷大学）
近几十年来，三维形变模型（3DMM）被广泛应用于基于图像的真实感三维人脸重建。然而，人脸图像往往会受到眼镜、口罩、手等非人脸物体的严重遮挡。这样的物体阻碍了地标和阴影信息的正确捕获。因此，重建的3D人脸模型是很难重用。本文提出了一种基于三维数字万用表和生成对抗网络的去遮挡人脸图像恢复新方法。我们利用3DMM之前提出的对抗性网络，并结合全局和局部对抗性卷积神经网络来学习人脸去遮挡模型。3DMM不仅作为几何先验，而且还提出了用于局部重构的人脸区域。实验结果证实了该算法在去除各种头部姿态和光照条件下具有挑战性的遮挡类型时的有效性和鲁棒性。此外，所提出的方法重建正确的三维人脸模型与去遮挡的纹理。
2019-09-06 cs.CV
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
利用图像生成模型的最新进展，现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像，例如，控制所生成的面部图像的形状、表情、纹理和姿态。然而，这些方法集中在2D图像生成模型，这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中，我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架，它使三维可控性所产生的人脸图像施加明确的三维条件，从三维人脸先验。其核心是一个条件生成占用字段（cGOF），有效地强制生成的脸的形状提交给一个给定的3D变形模型（3DMM）网格。为了实现对合成图像的细粒度3D人脸形状的精确控制，我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性，它能够生成高保真的人脸图像，并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Semantic Encoder Guided Generative Adversarial Face Ultra-Resolution Network
Lakehead University（湖首大学）；Western University（韦仕敦大学）；Okanagan College（奥肯那根学院）；Hunan Normal University（湖南师范大学）；Tianjin University（天津大学）；The University of British Columbia Okanagan（不列颠哥伦比亚大学奥肯那根分校）
人脸超分辨率是一种特定领域的图像超分辨率，其目的是从低分辨率（LR）人脸图像生成高分辨率（HR）人脸图像。在本文中，我们提出了一种新的人脸超分辨率方法，即语义编码器引导的生成对抗人脸超分辨率网络（SEGA-FURN），用于将未对齐的微小LR人脸图像超分辨率为具有多个超放大因子（例如，4x和8x）。所提出的网络由一个新型的语义编码器和一个新型的生成器组成，该语义编码器能够捕获嵌入的语义来指导对抗性学习，该生成器使用一个名为内部密集块残差（RIDB）的分层架构。此外，我们提出了一个联合判别图像数据和嵌入的语义。联合神经网络学习图像空间和潜在空间的联合概率分布。我们还使用相对论平均最小二乘损失（RaLS）作为对抗性损失，以减轻梯度消失问题并增强训练过程的稳定性。在大规模人脸数据集上的大量实验证明，该方法可以获得优异的超分辨率结果，在定性和定量比较中均明显优于其他最先进的方法。
2023-01-03 cs.CV cs.LG eess.IV
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
我们提出了VoLux-GAN，这是一个生成框架，可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法，可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射，漫反射和镜面反射照明的贡献。此外，我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一个数据增强技术，利用最新的进展，在单一图像的肖像重新照明，以执行一致的几何形状，反射，漫射和镜面反射组件。多个实验和与其他生成框架的比较表明，我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
MagGAN: High-Resolution Face Attribute Editing with Mask-Guided Generative Adversarial Network
University at Albany, State University of New York, USA（纽约州立大学奥尔巴尼分校）；Microsoft Corporation, Redmond, USA（微软公司雷德蒙德分部）；Samsung Research America AI Center, USA（三星美国研究公司人工智能中心）；University at Buffalo, State University of New York, USA（纽约州立大学布法罗分校）
我们提出了用于高分辨率人脸属性编辑的面具引导生成对抗网络（MagGAN），其中来自预训练人脸解析器的语义面具用于指导细粒度图像编辑过程。通过引入掩模引导的重建损失，MagGAN学习仅编辑与期望的属性变化相关的面部部分，同时保留与属性无关的区域（例如，帽子，围巾修改'秃头'）。此外，一种新的掩码引导的条件反射策略被引入到生成器中的每个属性变化的影响区域。此外，提出了一个多层次的补丁式的缩放结构，我们的模型高分辨率（$1024 \times 1024$）的脸编辑。在CelebA基准测试上的实验表明，该方法在图像质量和编辑性能方面明显优于现有的最先进的方法。
2020-10-03 cs.AI cs.CV cs.MM
Robust Face Verification via Disentangled Representations
UT Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种鲁棒的人脸验证算法，即，判断两个图像是否是同一个人。我们的方法是对使用深度生成网络进行对抗鲁棒性的想法的一种新的看法。我们在训练过程中使用generativemodel作为在线增强方法，而不是消除对抗性噪声的测试时间净化器。我们的体系结构使用了对比损失术语和分离生成模型来对负对进行采样。我们不是随机配对两张真实的图像，而是将一张图像与其经过类修改的对应图像配对，同时保持其内容（姿势，头部倾斜，头发等）。完整这使我们能够有效地采样硬负对的对比损失。我们的实验表明，当与对抗训练相结合时，所提出的方案收敛于弱内部求解器，并且在针对白盒物理攻击进行评估时，具有比最先进的方法更高的干净和鲁棒的准确性。
2020-06-23 cs.CV cs.LG
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法，但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络（FD-GAN）来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像（包含罪犯的身份）和存储在电子护照系统中的变形图像（包含罪犯和共犯的身份），FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
FTGAN: A Fully-trained Generative Adversarial Networks for Text to Face Generation
Sichuan University（四川大学）
作为文本到图像合成的一个子领域，文本到人脸生成在公共安全领域有着巨大的潜力。由于缺乏数据集，几乎没有相关的研究集中在文本到人脸合成。在本文中，我们提出了一个完全训练的生成对抗网络（FTGAN），它同时训练文本编码器和图像解码器，以实现细粒度的文本到人脸生成。FTGAN采用一种新型的经过充分训练的生成网络，可以合成更高质量的图像，并促使FTGAN的输出与输入句子更相关。此外，我们还构建了一个名为SCU-Text 2face的数据集，用于文本到人脸的合成。通过大量的实验，FTGAN在提高生成图像的质量和与输入描述的相似性方面显示了其优越性。拟议的FTGAN优于先前的最新技术水平，将CUB数据集上报告的最佳Inception Score提高到4.63。在SCU-text 2face上，我们提出的FTGAN仅基于输入描述生成的人脸图像与地面真实值的相似度平均为59%，这为文本到人脸合成设定了基线。
2019-04-11 cs.CV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology（国立屏东科技大学）；National Tsing Hua University（国立清华大学）；National Institute of Informatics（国立信息学研究所）
尽管生成对抗网络（GANs）可以从低分辨率（LR）人脸中产生逼真的高分辨率（HR）人脸，但它们不能保证保留幻觉HR人脸的身份，使HR人脸难以识别。为了解决这个问题，我们提出了一个暹罗GAN（SiGAN）重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上，所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数，不仅实现了真实感人脸重建，而且保证了重建信息对身份识别有用。实验结果表明，SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs，同时实现了照片级真实感重建。此外，对于未包括在训练中的未知身份的输入LR面部，SiGAN仍然可以做得很好。
2018-07-22 cs.CV
Towards Real-World Blind Face Restoration with Generative Facial Prior
Applied Research Center (ARC), Tencent PCG（腾讯平台与内容事业群应用研究中心）
盲人脸恢复通常依赖于人脸先验信息，如人脸几何先验信息或参考先验信息，以恢复真实可靠的细节。然而，非常低质量的输入不能提供准确的几何先验，而高质量的参考是不可访问的，限制了在现实世界中的应用场景。在这项工作中，我们提出了GFP-GAN GAN，它利用封装在预训练的人脸GAN中的丰富多样的先验知识进行盲人脸恢复。该生成面部先验（GFP）通过新颖的通道分割空间特征变换层被纳入面部恢复过程，这使得我们的方法能够实现真实性和保真度的良好平衡。得益于强大的生成面部先验和精细设计，我们的GFP-GAN只需一次向前传递就可以联合恢复面部细节并增强颜色，而GAN反演方法需要在推理时进行昂贵的图像特定优化。大量的实验表明，我们的方法在合成和真实世界的数据集上都取得了优于现有技术的性能。
2021-06-11 cs.CV
FSNet: An Identity-Aware Generative Model for Image-based Face Swapping
Waseda University（早稻田大学）；Waseda Research Institute of Science and Engineering（早稻田大学科学与工程研究院）
本文介绍了FSNet，一种用于基于图像的人脸交换的深度生成模型。传统上，人脸交换方法是基于三维变形模型（3DMM），和面部纹理之间的估计的三维（3D）几何形状在两个图像的不同的个人。然而，使用3DMM估计3D几何形状以及不同的照明条件仍然是一项艰巨的任务。我们在此表示具有潜在变量的面部区域，该潜在变量被分配有所提出的深度神经网络（DNN）而不是面部纹理。提出的DNN使用人脸区域的潜变量和非人脸区域的另一图像合成人脸交换图像。所提出的方法不需要适合3DMM;此外，它只通过将两张人脸图像馈送到所提出的网络来执行人脸交换。因此，我们基于DNN的人脸交换比以前的方法更好地处理具有不同人脸方向和光照条件的挑战性输入。通过几个实验，我们证明了所提出的方法执行人脸交换在一个更稳定的方式比国家的最先进的方法，其结果是兼容的方法。
2018-11-30 cs.CV
Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
Michigan State University（密歇根州立大学）
设计能够将在热光谱中获得的人脸图像与在可见光谱中获得的人脸图像相匹配的人脸识别系统是一个具有挑战性的问题。在这项工作中，我们提出了使用语义引导的生成对抗网络（SG-GAN）自动合成可见的人脸图像从他们的热对应。具体而言，由人脸解析网络提取的语义标签用于计算语义损失函数以在训练期间正则化对抗网络。这些语义线索表示与每个像素相关联的高级面部组件信息。此外，利用身份提取网络来生成多尺度特征以计算身份损失函数。为了实现照片级真实感的结果，在网络训练期间引入感知损失函数，以确保合成的可见人脸在感知上与目标可见人脸图像相似。我们广泛地评估了各个损失函数的好处，并将它们有效地结合起来，学习从热到可见人脸图像的映射。在两个多光谱人脸数据集上的实验表明，该方法在人脸合成和跨光谱人脸匹配方面都取得了良好的效果。
2019-03-03 cs.CV
Generative Adversarial Networks for anonymous Acneic face dataset generation
Université Paris-Est Créteil（巴黎东克雷泰伊大学）；Lebanese University（黎巴嫩大学）
众所周知，如果用于训练过程和测试过程的数据集满足某些特定要求，则任何分类模型的性能都是有效的。换句话说，数据集的大小越大，平衡和代表性越强，人们就越可以信任所提出的模型的有效性，从而获得的结果。不幸的是，大尺寸的匿名数据集在生物医学应用中通常不公开，特别是那些处理病理人脸图像的数据集。这种担忧使得使用基于深度学习的方法具有挑战性，并且难以复制或验证一些已发表的结果。在本文中，我们提出了一种有效的方法来生成一个现实的匿名合成数据集的人脸与属性的痤疮疾病对应的三个严重程度（即轻度，中度和严重）。因此，考虑在不同级别训练的特定层次结构的基于StyleGAN的算法。为了评估所提出的方案的性能，我们考虑了一个基于CNN的分类系统，使用生成的合成痤疮面部图像进行训练，并使用真实的面部图像进行测试。因此，我们表明，使用InceptionResNetv2实现了97.6%的准确性。因此，这项工作允许科学界将生成的合成数据集用于任何数据处理应用程序，而不受法律或伦理问题的限制。此外，该方法还可以扩展到需要生成合成医学图像的其他应用。我们可以让科学界访问代码和生成的数据集。
2022-11-08 cs.AI cs.CV
Attacks on State-of-the-Art Face Recognition using Attentional Adversarial Attack Generative Network
Beijing University of Posts and Telecommunications（北京邮电大学）
随着人脸识别技术的广泛应用，其易受攻击的弱点也逐渐暴露出来。因此，研究人脸识别网络如何受到攻击是非常重要的。在本文中，我们专注于一种新的方法来做对人脸识别网络的攻击，误导网络识别某人作为目标的人不误分类不显眼。同时，为了这个目的，我们引入了一个特定的注意力对抗攻击生成网络来生成虚假的人脸图像。为了捕捉目标人物的语义信息，本文增加了条件变分自编码器和注意力模块来学习人脸之间的实例级对应关系。与传统的两人GAN不同，本文引入人脸识别网络作为第三方参与生成器和攻击者之间的竞争，使得攻击者能够更好地模仿目标人物。生成的人脸很难引起旁观者的注意，可以逃避识别的国家的最先进的网络和他们中的大多数被识别为目标人物。
2018-11-30 cs.CV
Leveraging Generative AI Models to Explore Human Identity
Graduate School of Culture Technology, KAIST（韩国科学技术院文化科技研究生院）；Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究所）
本研究借助扩散模型的人脸生成过程与人类身份形成过程的对应关系，通过实验间接证实身份形成对外部因素的依赖，并推出相关视频艺术作品展现身份的流动性。
2025-04-19 cs.AI cs.CV
Generative Face Video Coding Techniques and Standardization Efforts: A Review
City University of Hong Kong（香港城市大学）；Alibaba Group（阿里巴巴集团）
本文综述生成式人脸视频编码（GFVC）技术进展与标准化工作，构建统一编码框架，梳理相关算法与标准化活动，分析挑战与应用并展望未来趋势，可支撑超低码率通信等场景。
2023-11-05 cs.CV
IAN: Combining Generative Adversarial Networks for Imaginative Face Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
生成对抗网络（GANs）因其对图像分布建模的能力而获得了发展势头。它们学习模拟训练集，从而能够从该领域中进行采样，并将学到的知识用于有用的应用程序。提出了几种增强GANs的方法，包括通过一些特征匹配来正则化损失。我们试图将GANs推到训练数据之外，并尝试探索图像流形中看不见的领域。在GAN对基集X进行对抗性训练的过程中，我们首先提出了一种新的基于K-近邻（K-NN）选择性特征匹配的GAN正则化器，并将其称为K-GAN。我们表明，最小化增加的长期遵循交叉熵最小化之间的分布GAN和集合Y。然后，我们介绍了一个级联的GANs框架，试图通过级联采样GANs和平移GANs来解决想象一个新的分布的任务，该分布将基集X和目标集Y相结合，我们将这种GANs的级联称为想象对抗网络（IAN）。我们进行了客观和主观的评价，不同的IAN设置在所解决的任务，并显示了一些有用的应用程序，这些IAN，如流形遍历和创造性的面部生成的人物在电影或视频游戏中的设计。
2019-04-16 cs.CV cs.LG
Generative Face Completion
University of California, Merced（加州大学默塞德分校）；Adobe Research（Adobe研究院）
在本文中，我们提出了一个有效的人脸完成算法，使用深度生成模型。与充分研究的背景完成不同，面部完成任务更具挑战性，因为它通常需要为缺失的关键成分（例如，眼睛和嘴巴），包含大的外观变化。与现有的非参数算法，搜索补丁合成，我们的算法直接生成的内容缺失区域的基础上的神经网络。该模型采用重建损失、两个对抗损失和一个语义解析损失的组合进行训练，保证了像素的忠实性和局部-全局内容的一致性。通过大量的实验结果，我们定性和定量地证明了我们的模型能够处理任意形状的大面积缺失像素，并生成逼真的人脸完成结果。
2017-04-19 cs.CV
FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
影响视觉人脸识别的因素很多，如低分辨率图像、年龄、光照和姿态变化等，其中最重要的问题之一就是低分辨率的人脸图像，这会导致人脸识别的性能下降。大多数通用的人脸识别算法通常假设人脸图像具有足够的分辨率。然而，在实践中，许多应用往往没有足够的图像分辨率。现代人脸超分辨率模型表现出合理的性能，从其相应的低分辨率图像重建高分辨率图像。然而，他们不考虑身份级别的信息，在幻觉，直接影响低分辨率的人脸识别的结果。为了解决这个问题，我们提出了一个人脸幻觉生成对抗网络（FH-GAN），它提高了低分辨率人脸图像的质量，并准确地识别这些低质量的图像。具体来说，我们做了以下贡献：1）我们提出了FH-GAN网络，一个端到端的系统，同时提高了人脸幻觉和人脸识别。该网络的新颖性取决于通过结合用于身份保护的面部识别网络将身份信息并入基于GAN的面部超分辨率算法中。2)我们还提出了一种新的人脸幻觉网络，即密集稀疏网络（DSNet），它改进了最先进的人脸幻觉。3)我们通过报告对人脸幻觉和识别的良好结果，展示了联合训练人脸识别和基于GAN的DSNet的好处。
2019-05-16 cs.CV
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于NeRF的条件3D人脸合成框架CGOF++，通过条件生成占用场、3D关键点损失和体积变形损失，实现比2D方法更精确的3D可控人脸生成。
2023-10-29 cs.CV
Attributes Aware Face Generation with Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近的研究表明，在面部图像生成方面取得了显着的成功。然而，现有的方法大多只从随机噪声中生成人脸图像，而不能根据人脸的特定属性生成人脸图像。本文主要研究基于属性的人脸合成问题，其目标是生成具有特定特征的人脸，并与给定的属性相对应。为此，我们提出了一种新的属性感知人脸图像生成器方法与生成对抗网络称为AFGAN。具体而言，我们首先提出了一个双路径嵌入层和自我注意力机制转换二进制属性向量丰富的属性特征。三个层叠生成器分别以属性特征为输入生成$64 \times 64$、$128 \times 128$和$256 \times 256$分辨率的人脸图像。此外，提出了一种图像-属性匹配损失，以增强生成的图像和输入属性之间的相关性。对CelebA的大量实验证明了我们的AFGAN在定性和定量评价方面的优越性。
2020-12-03 cs.CV
MorCode: Face Morphing Attack Generation using Generative Codebooks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Norwegian University of Science Technology（挪威科技大学）；AiBA AS（AiBA AS公司）
提出基于编码器-解码器架构与码本学习的人脸融合攻击生成方法MorCode，在数字和打印扫描数据上展现出超越五种现有技术的最高攻击潜力。
2024-10-10 cs.CV
Face Aging With Conditional Generative Adversarial Networks
Orange Labs（Orange实验室）；Eurecom（欧洲通信学院）
最近的研究表明，生成对抗网络（GANs）可以生成具有出色视觉保真度的合成图像。在这项工作中，我们提出了基于GAN的自动人脸老化方法。与以前使用GANs来改变面部属性的作品相反，我们特别强调在他/她的面部的老年版本中保留原始人的身份。为此，我们引入了一种新的方法，用于GAN的潜在向量的“身份保持”优化。通过最先进的人脸识别和年龄估计解决方案对所得到的老化和恢复活力的人脸图像进行客观评价，表明所提出的方法具有很高的潜力。
2017-05-30 cs.CV
Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在偏振（或常规）热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸识别对于人类考官和计算机视觉算法都是相当具有挑战性的问题。以前的方法利用两个步骤的过程（可见光特征估计和可见光图像重建），以合成相应的偏振热图像的可见光图像。然而，这些被认为是两个不相交的步骤，因此可能会阻碍可见人脸重建的性能。我们认为，联合优化将是一个更好的方式来重建更逼真的图像，计算机视觉算法和人类检查员检查。为此，本文提出了一种基于生成对抗网络的可视人脸合成（GAN-VFS）方法，从其相应的偏振图像合成更具照片真实感的可视人脸图像。为了保证编码后的可见特征在重构可见人脸图像时包含更多的语义有意义的信息，在训练过程中引入了引导子网络。为了实现照片真实感的属性，同时保留鉴别特征的重建输出，身份损失与感知损失相结合的优化框架。在不同的实验协议上进行的多个实验表明，所提出的方法达到了最先进的性能。
2017-08-08 cs.CV
Inverting Generative Adversarial Renderer for Face Reconstruction
SenseTime Research and Tetras.AI（商汤科技研究院和Tetras.AI）；Shanghai AI Laboratory（上海人工智能实验室）
人脸三维几何重建的目标是以单目人脸图像为输入，恢复出相应的三维人脸网格。最近，基于优化和基于学习的人脸重建方法都利用了新兴的可微渲染器，并显示出良好的效果。然而，基于图形规则的可微分渲染器简化了真实世界的光照、反射、\etc等真实感机制，无法生成真实感图像。这给优化或训练过程带来了大量的域偏移噪声。在这项工作中，我们介绍了一种新的生成对抗渲染器（GAR），并建议将其反转版本定制为通用拟合管道，以解决上述问题。具体来说，精心设计的神经渲染器将人脸法线映射和代表其他因素的潜在代码作为输入，并渲染出逼真的人脸图像。由于GAR学习对复杂的真实世界图像建模，而不是依赖于简化的图形规则，因此它能够生成逼真的图像，这从根本上抑制了训练和优化中的域偏移噪声。配备了精心设计的GAR，我们进一步提出了一种新的方法来预测3D人脸参数，其中我们首先通过Renderer Inverting获得精细的初始参数，然后使用基于梯度的优化器对其进行优化。已经进行了大量的实验来证明所提出的生成对抗渲染器和新的基于优化的人脸重建框架的有效性。我们的方法在多个人脸重建数据集上实现了最先进的性能。
2021-05-08 cs.CV
Semi-Cycled Generative Adversarial Networks for Real-World Face Super-Resolution
Shandong University of Traditional Chinese Medicine（山东中医药大学）；Nankai University（南开大学）；ShanghaiTech University（上海科技大学）；Taishan University（泰山学院）；United Imaging Co.（联影公司）
真实世界人脸超分辨率（SR）是一个高度不适定的图像复原任务。全循环的Cycle-GAN架构被广泛用于在面SR上实现有希望的性能，但在现实世界场景中的挑战性情况下容易产生伪影，因为由于生成器获得的真实世界和合成LR之间的巨大域差距，共同参与同一降级分支将影响最终性能。为了更好地利用GAN强大的真实世界人脸SR生成能力，本文在前向和后向循环一致性重建过程中分别建立两个独立的退化分支，而这两个过程共享同一个恢复分支。我们的半循环生成对抗网络（SCGAN）能够减轻真实世界LR人脸图像和合成LR人脸图像之间的域间隙的不利影响，并通过由前向和后向循环一致性学习过程正则化的共享恢复分支来实现准确和鲁棒的人脸SR性能。在两个合成数据集和两个真实世界数据集上的实验表明，我们的SCGAN在恢复真实世界人脸SR的人脸结构/细节和定量度量方面优于最先进的方法。该代码将在https://github.com/HaoHou-98/SCGAN上公开发布。
2023-01-25 cs.CV
Continuous Face Aging Generative Adversarial Networks
YONSEI UNIVERSITY（延世大学）
人脸老化是将输入图像中的人脸转换到指定年龄的任务。为了简化这个问题，以前的方法限制自己只能产生离散的年龄组，每个年龄组由十年组成。因此，翻译结果的确切年龄是未知的，并且无法获得组内不同年龄的面孔。为此，我们提出了连续人脸老化生成对抗网络（CFA-GAN）。具体来说，为了使连续老化可行，我们建议将图像特征分解为两个正交特征：身份和年龄基础特征。此外，我们引入了新的损失函数的身份保护，最大限度地提高原始和生成的身份基础功能之间的余弦相似性。通过对MORPH模型的定性和定量评价，证明了模型的真实性和连续老化能力，验证了其相对于现有模型的优越性。据我们所知，这项工作是第一次尝试处理连续的目标年龄。
2021-02-26 cs.CV
GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors
ByteDance Inc（字节跳动公司）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
人脸图像的超分辨率（人脸幻觉）通常依赖于人脸先验信息来恢复真实细节并保留身份信息。最近的进展可以在GAN prior的帮助下取得令人印象深刻的结果。他们要么设计复杂的模块来修改固定的GAN先验，要么采用复杂的训练策略来微调生成器。在这项工作中，我们提出了一个生成和可控的人脸SR框架，称为GCFSR，它可以重建图像与真实的身份信息，而无需任何额外的先验。通常，GCFSR具有编码器生成器架构。设计了风格调制和特征调制两个模块，用于多因素的SR任务。风格调制的目的是生成真实的人脸细节和特征调制动态融合的多级编码的功能和生成的条件上的放大因子。简单而优雅的架构可以以端到端的方式从头开始训练。对于小的放大因子（<=8），GCFSR可以产生令人惊讶的好结果，只有对抗性损失。在增加L1和感知损失后，GCFSR可以在大的放大因子上优于最先进的方法（16，32，64）。在测试阶段，我们可以通过特征调制来调节生成强度，通过不断改变条件放大因子来实现各种生成效果。
2022-03-14 cs.CV
A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
人脸老化是一个以预测人脸未来外观为目的的研究领域，近年来受到了广泛的关注。虽然随着生成对抗网络（GANs）在合成逼真图像方面的成功取得了很大进展，但大多数现有的基于GAN的人脸老化方法都存在两个主要问题：1）高层语义信息的不自然变化（例如面部属性）由于对输入面部的先验知识的利用不足，以及2）低级图像内容的失真，包括重影伪像和年龄无关区域中的修改。在本文中，我们引入A3GAN，属性感知的注意人脸老化模型来解决上述问题。人脸属性向量被视为条件信息，并嵌入到生成器和SVM，鼓励合成的脸是忠实于相应的输入属性。为了提高生成结果的视觉保真度，我们利用注意力机制来限制对与年龄相关的区域的修改并保留图像细节。此外，小波包变换被用来捕捉纹理特征在多个尺度上的频率空间。大量的实验结果表明，我们的模型在合成照片级真实感的老化人脸图像和流行的人脸老化数据集上实现最先进的性能的有效性。
2019-11-15 cs.CV
