Facial Attributes: Accuracy and Adversarial Robustness
University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
人脸属性是一种新兴的软生物特征识别技术，必须从图像中自动可靠地提取，才能在独立的系统中使用。虽然最近的方法使用在标记的面部属性数据上训练的深度神经网络（DNN）来提取面部属性，但是尚未评估深度属性表示的鲁棒性。在本文中，我们研究了几种方法的代表性稳定性，这些方法最近在CelebA基准测试中通过生成对抗性示例来提高最新技术水平，这些示例是通过向产生改变的分类的输入添加小的非随机扰动而形成的。我们表明，我们的快速翻转属性（FFA）技术比传统算法生成更多的对抗性示例，并且DNN的对抗性鲁棒性在面部属性之间变化很大。我们还测试了面部属性的相关性，发现只有对于相关属性，形成的对抗性扰动才能改变其他属性的分类。最后，我们引入了自然对抗样本的概念，即，错误分类的图像，其中预测可以通过小扰动来校正。我们证明了自然对抗样本通常会出现，并且表明即使有额外的训练时期，这些图像中的许多图像仍然是错误分类的，即使它们的正确分类可能只需要对网络参数进行很小的调整。
2018-04-20 cs.CV
Region Based Adversarial Synthesis of Facial Action Units
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
人脸表情合成或编辑在情感计算和人脸表情建模领域受到越来越多的关注。针对现有人脸表情合成方法存在训练数据成对、分辨率低、身份信息受损等问题，提出了一种基于人脸动作单元标注的局部注意条件生成对抗网络（LAC-GAN）.给定期望的AU标签，LAC-GAN利用本地AU区域规则来控制每个AU的状态，并利用注意机制将其中的几个AU组合成整个照片般逼真的面部表情或任意面部表情。此外，在我们提出的方法中，利用不成对的训练数据来训练具有相应AU标签的操作模块，该操作模块学习面部表情流形之间的映射。在常用的BP 4D数据集上进行了广泛的定性和定量评估，以验证我们提出的AU合成方法的有效性。
2019-10-23 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University（南京大学）；Megvii Technology（旷视科技）
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作，同时保持人脸的身份，以产生一个更有吸引力的脸。在本文中，我们提出了第一个生成对抗网络（GANs），用于在几何和外观方面增强面部吸引力，我们称之为“FA-GANs”。FA-GAN包含两个分支，从两个角度增强面部吸引力：面部几何形状和面部外观。每个分支由单独的GANs组成，其中外观分支调整面部图像，几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同，在增强同一个人之前和之后收集是不可行的，我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸，几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知，我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明，我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果，并且优于当前最先进的方法。
2020-06-06 cs.CV
3D Facial Geometry Recovery from a Depth View with Attention Guided Generative Adversarial Network
School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）
我们提出了一个完整的三维人脸几何形状从一个单一的深度视图，提出了一个注意力引导的生成对抗网络（AGGAN）。与现有的工作，通常需要两个或更多的深度视图来恢复一个完整的3D面部几何形状，建议AGGAN是能够生成一个密集的3D体素网格的脸从一个单一的不受约束的深度视图。具体地，AGGAN在体素空间内编码3D面部几何形状，并利用注意力引导的GAN来对不适定的2.5D深度-3D映射进行建模。多个损失函数，这加强了三维面部几何形状的一致性，连同在体素空间中的面部表面点的先验分布被合并来指导训练过程。定性和定量的比较表明，AGGAN恢复了更完整和更平滑的3D人脸形状，具有处理更宽视角范围的能力，并且比传统方法更能抵抗深度视图中的噪声
2020-09-02 cs.CV
Geometry Guided Adversarial Facial Expression Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
人脸表情合成是计算机图形学和模式识别领域的研究热点。它在人脸动画和人脸识别中得到了广泛的应用。然而，它仍然是具有挑战性的，由于高层次的语义存在的大和非线性的面部几何形状的变化。本文提出了一种几何引导的生成对抗网络（G2-GAN），用于照片级真实感和身份保持的面部表情合成。我们采用面部几何形状（基准点）作为可控条件来指导具有特定表情的面部纹理合成。一对生成对抗子网络被联合训练用于相反的任务：表达删除和表达合成。配对网络形成了中性表情和任意表情之间的映射循环，这也促进了其他应用，如人脸传输和表情不变人脸识别。实验结果表明，我们的方法可以产生令人信服的感知结果在各种面部表情合成数据库。一个表情不变的人脸识别实验也进一步显示我们所提出的方法的优点。
2017-12-10 cs.CV
Dynamic Facial Expression Generation on Hilbert Hypersphere with Conditional Wasserstein Generative Adversarial Nets
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Faculty of Sciences（理学院）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
在这项工作中，我们提出了一种新的方法来生成视频的六个基本的面部表情给定一个中性的人脸图像。我们建议利用面部几何建模的面部地标运动作为曲线编码的点上的超球体。通过提出一个条件版本的流形值Wasserstein生成对抗网络（GAN）的运动生成的超球面上，我们学习的分布不同类的面部表情动态，我们合成新的面部表情运动。通过使用另一个条件生成对抗网络编辑纹理信息，可以将所得到的运动转换为地标序列，然后转换为图像序列。据我们所知，这是第一个工作，探讨流形值表示与GAN，以解决动态面部表情生成的问题。我们在两个公共数据集上定量和定性地评估了我们提出的方法; Oulu-CASIA和MUG面部表情。我们的实验结果表明，我们的方法在生成具有连续运动，逼真的外观和身份保护的逼真视频的有效性。我们还展示了我们的动态面部表情生成，动态面部表情传输和数据增强训练改进的情感识别模型的框架的效率。
2020-05-28 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
用于面部表情识别（FER）的表示通常包含表情信息以及其他变化，如身份和照明。在本文中，我们提出了一种新的解纠缠的表情学习-生成对抗网络（DE-GAN），明确地解开面部表情表示身份信息。在该通过重构方法的学习中，通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类，改进了表情图像重构和表情表示学习的分离过程。然后，使用简单的分类器，如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库（CK+，MMI，Oulu-CASIA）上进行的。实验结果表明，所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
Information-containing Adversarial Perturbation for Combating Facial Manipulation Systems
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Hangzhou Dianzi University（杭州电子科技大学）
随着深度学习技术的发展，面部操作系统变得功能强大且易于使用。这样的系统可以修改给定面部图像的属性，例如头发颜色、性别和年龄。这些系统的恶意应用对个人的隐私和声誉构成严重威胁。现有的研究已经提出了各种方法来保护图像免受面部操作。被动防御方法的目标是检测人脸的真假，这对后验取证有效，但不能防止恶意操纵。主动防御方法通过向图像中注入对抗性扰动来破坏面部操作系统，从而预先保护图像，但无法识别图像是否是假的。针对现有方法的局限性，提出了一种新的两层保护方法--含信息对抗扰动（IAP）方法，该方法对人脸图像提供了更全面的保护。我们使用编码器将人脸图像及其身份信息映射到跨模型对抗示例，该示例可以破坏多个人脸操作系统以实现主动保护。使用解码器在对抗性示例中恢复消息可以提供被动保护，有助于来源跟踪和虚假图像检测。我们引入了一个特征级的相关性测量，它比常用的均方误差更适合于测量人脸图像之间的差异。此外，我们提出了一个频谱扩散方法来传播消息到不同的频率通道，从而提高了鲁棒性的面部操纵的消息。大量的实验结果表明，我们提出的IAP可以从对抗性示例中恢复消息，具有较高的平均准确率，并有效地破坏面部操作系统。
2023-03-21 cs.CV
Are Facial Attributes Adversarially Robust?
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
面部属性是新兴的软生物特征识别技术，它有可能拒绝不匹配，例如基于不匹配的性别。为了在独立系统中使用，必须自动且可靠地从图像中提取面部属性。在本文中，我们提出了一种简单而有效的自动面部属性提取解决方案，通过为每个面部属性分别训练深度卷积神经网络（DCNN），而不使用任何预训练或数据集增强，并且我们在CelebA基准测试中获得了新的最先进的面部属性分类结果。为了测试网络的稳定性，我们通过一种新的快速翻转属性（FFA）技术生成了对抗图像-通过向原始输入添加不可感知的非随机扰动而形成，这些扰动会导致分类错误。我们表明，FFA比其他相关算法生成更多的对抗性示例，并且某些属性的DCNN通常对对抗性输入具有鲁棒性，而其他属性的DCNN则没有。这一结果令人惊讶，因为迄今为止测试的DCNN都没有表现出对对抗图像的鲁棒性，而在训练过程中没有明确的增强来解释对抗示例。最后，我们引入了自然对抗样本的概念，即，被错误分类的图像，但是可以通过施加小的扰动而容易地转变为正确分类的图像。我们证明了自然对抗样本通常会出现，即使在训练集中也是如此，并且表明即使有额外的训练时期，这些图像中的许多图像仍然是错误分类的。这种现象是令人惊讶的，因为校正误分类，特别是当由训练数据引导时，应该只需要对DCNN参数进行小的调整。
2016-09-16 cs.CV
Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder
The Hong Kong University of Science and Technology（香港科技大学）
基于单幅人脸图像的真实感人脸表情合成可以广泛应用于人脸识别、情感识别的数据增强、娱乐等领域。这个问题是具有挑战性的，部分原因是由于标记的面部表情数据的缺乏，使得算法难以消除由于身份而引起的变化和由于表情而引起的变化的歧义。在本文中，我们提出了条件差分对抗自动编码器，CDAAE，面部表情合成。CDAAE获取先前看不见的人的面部图像，并生成具有目标情感或面部动作单元标签的该人脸的图像。CDAAE将前馈路径添加到自动编码器结构，将编码器处的低级别特征连接到解码器处的对应级别的特征。它通过学习生成同一个人但具有不同面部表情的图像的低级特征之间的差异来处理由于身份而引起的变化和由于面部表情而引起的变化的消歧问题。CDAAE结构可用于通过在训练集中的面部表情/动作单元之间进行组合和插值来生成新颖的表情。我们的实验结果表明，CDAAE可以保存身份信息时，生成的面部表情看不见的主题比以前的方法更忠实。这在使用小型数据库进行训练时尤其有利。
2017-08-30 cs.CV
Using a GAN to Generate Adversarial Examples to Facial Image Recognition
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
在线发布的图像存在隐私问题，因为它们可以用作面部识别系统的参考示例。这种滥用图像的行为侵犯了隐私权，但很难反击。众所周知，可以为基于深度神经网络的识别系统创建对抗性示例图像。这些对抗性示例可用于破坏图像作为参考示例或训练数据的效用。在这项工作中，我们使用生成对抗网络（GAN）来创建对抗示例来欺骗面部识别，并且我们在欺骗面部识别方面取得了可接受的成功率。我们的研究结果减少了训练时间的GAN，通过删除的ESTA组件。此外，我们的研究结果表明，可以采用知识蒸馏来大幅减少生成模型的大小，而不会影响性能，这表明我们的贡献可以在智能手机上轻松运行
2021-11-30 cs.CV
Joint Face Super-Resolution and Deblurring Using a Generative Adversarial Network
Inha University（仁荷大学）
人脸图像超分辨率是人脸图像分析、人脸识别和基于图像的三维人脸重建的重要预处理技术。最近基于卷积神经网络（CNN）的方法通过使用成对的低分辨率（LR）和高分辨率（HR）面部图像来学习映射关系，表现出优异的性能。然而，由于使用CNN的HR面部图像重建传统上旨在增加PSNR和SSIM度量，因此即使具有高分，重建的HR图像也可能不现实。在这项研究中，提出了一个对抗性的框架来重建HR面部图像，同时生成一个HR图像模糊和不模糊。首先，使用五层CNN将LR面部图像的空间分辨率提高了八倍。然后，编码器提取放大图像的特征。这些特征最终被发送到两个分支（解码器）以生成具有和不具有模糊的HR面部图像。此外，局部和全局鉴别器相结合，专注于重建的HR面部结构。实验结果表明，该算法生成的人脸图像具有较好的真实感。此外，所提出的方法可以生成各种不同的面部图像。
2019-12-22 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Conditional Adversarial Synthesis of 3D Facial Action Units
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）
采用基于深度学习的方法进行细粒度面部表情分析（诸如涉及动作单元（AU）强度估计的那些）是困难的，这是由于缺乏具有足够多样化的AU标签的真实面部的大规模数据集以用于训练。在本文中，我们考虑如何使用AU级面部图像合成来大幅增强这样的数据集。我们提出了一个AU合成框架，结合了著名的3D变形模型（3DMM），它本质上解开其他面部属性的表达参数，与模型，对抗生成3DMM表达参数的条件下给定的目标AU标签，在对比更传统的方法直接生成面部图像。通过这种方式，我们能够从所需的AU标签合成表情参数和面部图像的新组合。在基准DISFA数据集上的大量定量和定性结果证明了我们的方法在基于深度学习的AU强度估计的3DMM面部表情参数合成和数据增强上的有效性。
2018-03-15 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法，但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络（FD-GAN）来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像（包含罪犯的身份）和存储在电子护照系统中的变形图像（包含罪犯和共犯的身份），FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
Exploring Timeline Control for Facial Motion Generation
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Tongyi Lab, Alibaba Group（阿里云实验室）
本文提出时间线控制信号用于面部运动生成，通过帧级标注和扩散模型实现精确时序控制，并利用ChatGPT支持文本引导，实验验证了标注准确性和生成对齐效果。
2025-05-27 cs.CV
Exploring Large-scale Unlabeled Faces to Enhance Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是计算机视觉领域的一项重要研究内容，在人机交互、智能安防、情感分析等领域有着广泛的应用。然而，有限大小的FER数据集限制了表情识别模型的泛化能力，导致模型性能低下。为了解决这个问题，我们提出了一个半监督学习框架，利用未标记的人脸数据训练表情识别模型有效。我们的方法使用了一个动态阈值模块（\textbf{DTM}），可以自适应地调整置信度阈值，以充分利用人脸识别（FR）数据来生成伪标签，从而提高了模型的能力，面部表情建模。在ABAW5 EXPR任务中，我们的方法在官方验证集上取得了优异的结果。
2023-03-19 cs.CV
Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data
KAIST（韩国科学技术院）
在具有公共可用数据集的面部相关应用中，合成非线性面部变化（例如，面部表情、头部姿势、照明等）在解决训练数据的缺乏方面是有帮助的。然而，实际上，甚至没有足够的数据来训练用于面部合成的生成模型。在本文中，我们提出了差分生成对抗网络（D-GAN），即使在训练数据很小的情况下，也可以进行照片级逼真的人脸合成。设计了两个判别器，保证生成器逼近人脸流形，使其能够任意表达人脸变化。实验结果表明，该方法对训练数据的数量具有较好的鲁棒性，合成的图像对提高人脸表情分类器的性能是有用的。
2017-12-29 cs.CV
Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes
Ocean University of China（中国海洋大学）
生成对抗网络被证明是有效的各种图像生成任务。然而，如果我们想要精确地生成图像，这仍然是一个挑战。如何生成具有单一属性的图像是众多研究者关注的焦点。但多属性下的图像生成仍然是一项艰巨的工作。在本文中，我们尝试使用流水线过程在多个约束下生成各种人脸图像。我们提出的Pip-GAN（管道生成对抗网络）采用管道网络结构，可以使用中性人脸图像逐步生成复杂的人脸图像。我们将我们的方法应用于两个人脸图像数据库，并证明了它能够在多种条件下生成令人信服的新图像。
2017-11-29 cs.CV
Privacy-preserving Adversarial Facial Features
ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Alibaba Group（阿里巴巴集团）；College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与电子工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）；School of Cyber Science and Technology, Zhejiang University（浙江大学网络空间安全学院）
本文提出AdvFace方法，通过影子模型生成对抗性特征以破坏特征到图像的映射，抵御重建攻击，无需修改识别网络，且保持识别精度。
2023-05-08 cs.CV
Security of Facial Forensics Models Against Adversarial Attacks
Donghua University（东华大学）；National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
深度神经网络（DNN）已被用于数字取证，以识别虚假的面部图像。我们研究了几种基于DNN的伪造取证模型（FFM），以检查它们是否可以安全地抵御对抗攻击。我们通过实验证明了个体对抗性扰动（IAP）和普遍对抗性扰动（UAP）的存在，这些扰动可能导致性能良好的FFM行为不端。基于迭代过程，梯度信息被用来生成两种类型的IAP，可以用来制造分类和分割输出。相反，UAP是基于过烧而生成的。我们设计了一个新的目标函数，鼓励神经元过火，这使得UAP生成可行，即使不使用训练数据。实验证明了UAP在看不见的数据集和看不见的FFM之间的可转移性。此外，我们对对抗性扰动的不可感知性进行了主观评估，发现制作的UAP在视觉上可以忽略不计。这些调查结果为评估实况调查团的对抗安全提供了基线。
2020-05-20 cs.CV
Interactive Generative Adversarial Networks for Facial Expression Generation in Dyadic Interactions
University of Central Florida（中佛罗里达大学）；Educational Testing Service（教育考试服务中心）
社交互动是两个或多个个体之间的社会交换，其中个体修改和调整其行为以响应其互动伙伴。我们的社会交往是我们生活中最基本的方面之一，可以深刻地影响我们的情绪，无论是积极的还是消极的。随着对虚拟现实和化身介导的交互的兴趣的增长，期望使这些交互自然并且像人类一样以促进交互和应用（诸如智能辅导系统、自动面试系统和电子学习）中的积极效果。在本文中，我们提出了一种方法来产生面部行为的代理。这些行为包括面部表情和头部姿势，它们是考虑用户的情感状态而生成的。我们的模型学习语义上有意义的面部表示，并在二元交互中生成适当的和时间上平滑的面部行为。
2018-01-30 cs.CV
Adversarial Attack on Facial Recognition using Visible Light
Queensland University of Technology（昆士兰科技大学）
在监控行业中，使用深度学习进行人体识别和目标检测正变得越来越普遍。这些系统已经被训练成以高精度识别人体或面部。然而，已经有成功的尝试用称为对抗攻击的不同技术来欺骗这些系统。本文提出了一个最终报告的对抗攻击使用可见光的面部识别系统。这项研究的相关性是利用深层神经网络的物理下降。这些系统中的弱点的展示希望这项研究将在未来用于改进对象识别的训练模型。随着结果的收集，对项目目标进行了调整，以适应结果。正因为如此，下面的论文首先探讨了一种使用红外光的对抗攻击，然后再重新调整为可见光攻击。文中介绍了红外线和人脸识别的研究概况。详细分析了目前的调查结果和可能的未来建议的项目。对遇到的挑战进行评估，并提供最终解决方案。该项目的最终成果展示了利用光有效欺骗识别系统的能力。
2020-11-25 cs.CV
Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection
School of Computer Science；Engineering, Sun Yat-sen University Guangzhou China；State Key Laboratory of Mathematical Engineering；Engineering, Sun Yat-sen University
针对面部隐私保护需求，提出基于扩散模型的对抗性身份操纵方法DiffAIM，在潜空间迭代注入梯度引导并加结构正则，生成自然且高迁移性的对抗人脸，黑盒攻击效果和视觉质量均优于现有方法，且对商业FR API有效。
2025-07-30 cs.CV
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
面部老化和面部年轻化分析给定的面部照片以预测人的未来外观或估计人的过去外观。为了实现这一点，关键是要保持人类身份和相应的老化进展和回归的高精度。然而，现有的方法不能同时很好地处理这两个目标。我们提出了一种新的基于生成对抗网络的方法，命名为有序回归条件多对抗自动编码器（CMAAE-OR）。它利用年龄估计技术来控制老化的准确性，并采取高层次的特征表示，以保持个性化的身份。具体地，首先通过卷积编码器将面部映射到潜在向量。然后通过去卷积生成器将潜在向量投影到以年龄为条件的面部流形上。特征向量保留了个性化的人脸特征，年龄控制了人脸的衰老和年轻化。在编码器和生成器上施加一个递归和一个有序回归，使得生成的人脸图像更加逼真，同时表现出理想的老化效果。此外，一个高层次的特征表示是用来保持个性化的身份生成的脸。在两个基准数据集上的实验表明，该方法的性能优于现有技术。
2018-04-08 cs.CV
Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images
University College London（伦敦大学学院）
人脸热图像的分割是一个具有挑战性的任务。这是因为面部特征通常由于高动态热范围场景和遮挡问题而缺乏显著性。来自无约束设置的数据集的有限可用性进一步限制了最先进的分割网络、损失函数和学习策略的使用，这些都是针对RGB图像构建和验证的。为了应对这一挑战，我们提出了自对抗多尺度对比学习（SAM-CL）框架作为一种新的训练策略，用于热图像分割。SAM-CL框架由SAM-CL损失函数和作为特定领域增强技术的热图像增强（TiAug）模块组成。我们使用热脸数据库来证明我们的方法的有效性。在现有的分割网络（UNET，Attention-UNET，DeepLabV 3和HRNetv 2）上进行的实验证明了SAM-CL框架的一致性能增益。此外，我们还对UBComfort和DeepBreath数据集进行了定性分析，以讨论我们提出的方法在处理无约束情况时的表现。
2022-10-07 cs.CV
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
由于面部肌肉产生的细粒度形状变化以及监督学习缺乏输入输出对，操纵面部表情是一项具有挑战性的任务。不同于以往的方法使用生成对抗网络（GAN），依赖于周期一致性损失或稀疏几何（地标）损失的表达合成，我们提出了一种新的GAN框架，利用三维密集（深度和表面法线）的信息表达操纵。然而，包含具有表情注释的RGB图像及其相应深度图的大规模数据集不可用。为此，我们建议使用现成的最先进的3D重建模型来估计深度，并在手动数据清理过程后创建大规模的RGB-Depth数据集。我们利用这个数据集通过对抗性学习来最小化新的深度一致性损失（注意，我们没有生成的面部图像的地面真实深度图）和深度分类损失上的合成数据。此外，为了提高泛化能力并降低深度参数的偏差，我们建议在框架的右侧使用一种新的置信正则化器。我们对两个公开的具有挑战性的面部表情基准进行了广泛的定量和定性评估：AffectNet和RaFD。我们的实验表明，所提出的方法优于竞争基线和现有的艺术由一个大的利润。
2020-09-30 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
Improving Makeup Face Verification by Exploring Part-Based Representations
Institute of Computing, University of Campinas (Unicamp)（坎皮纳斯大学计算研究所（Unicamp））；Samsung R&D Institute Brazil（巴西三星研发研究院）
最近，我们看到全球面部识别市场规模的增长。尽管随着卷积神经网络的采用，面部识别技术取得了重大进展，但仍然存在开放的挑战，例如当面部化妆时。为了应对这一挑战，我们提出并评估采用面部部位融合当前的整体表示。我们提出了两种策略的面部部分：一个有四个区域（左眼周，右眼周，鼻子和嘴），另一个有三个面部三分之一（上，中，下）。在四个公开的化妆人脸数据集和具有挑战性的跨数据集协议中获得的实验结果表明，从面部部分提取的深度特征与整体表示的融合提高了人脸验证系统的准确性并降低了出错率，即使没有对CNN模型进行任何重新训练。我们提出的管道在四个数据集（EMFD，FAM，M501和YMU）上取得了有竞争力的结果。
2021-10-16 cs.CV
My Face Is Mine, Not Yours: Facial Protection Against Diffusion Model Face Swapping
City University of Hong Kong（香港城市大学）；University of St Andrews（圣安德鲁斯大学）
本文提出一种针对扩散模型换脸的主动防御策略，通过对抗性攻击预防性保护面部图像，克服现有方法依赖特定架构和全局扰动的局限。
2025-05-21 cs.CV
Learning to Generate Facial Depth Maps
Department of Engineering “Enzo Ferrari”（恩佐·法拉利工程系）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；via Vivarelli 10, Modena 41125, Italy（意大利摩德纳维瓦雷利街10号，41125）
本文提出了一种基于单目亮度图像的人脸深度图估计的对抗性结构。通过遵循图像到图像的方法，我们结合了监督学习和对抗训练的优势，提出了一种条件生成对抗网络，它可以有效地学习将强度人脸图像转换为相应的深度图。利用两个公共数据集，即Biwi数据库和Pandora数据集，证明该模型生成高质量的合成深度图像，无论是在视觉外观和信息内容方面。此外，我们表明，该模型能够预测独特的面部细节，通过测试生成的深度图，通过一个深度模型训练真实的深度图的面部验证任务。
2018-05-30 cs.CV
Exploring Correlations in Multiple Facial Attributes through Graph Attention Network
School of Information Science and Technology（信息科学与技术学院）；East China Normal University（华东师范大学）
从一幅人脸图像中估计多个属性可以全面描述人脸的高层语义。它自然地被视为具有单个深度CNN的多任务监督学习问题，其中较低层是共享的，并且较高层是与多分支结构相关的任务。在传统的深度多任务学习（DMTL）框架内，本文旨在通过构建图来充分利用不同属性之间的相关性。图中的节点表示来自给定属性的特定分支的特征向量，并且边可以通过先验知识或嵌入中的两个节点之间的相似性来定义，具有完全数据驱动的方式。我们分析了注意力机制实际上在后一种情况下起作用，并利用图注意力层（GAL）探索最相关的属性特征，并通过考虑其他属性来细化任务相关特征。实验表明，通过挖掘属性间的相关性，该方法在CelebA和LFWA数据集上均能提高识别精度。同时，它也取得了有竞争力的成绩。
2018-10-22 cs.CV
Attention-aggregated Attack for Boosting the Transferability of Facial Adversarial Examples
Tsinghua Science and Technology（清华大学）
本文针对人脸识别模型提出注意力聚合攻击（AAA），通过模仿其他模型的注意力来破坏关键面部特征，从而提升对抗样本在黑盒场景下的可迁移性。
2025-05-06 cs.CV
Towards Intrinsic Common Discriminative Features Learning for Face Forgery Detection using Adversarial Learning
University of Science and Technology of China（中国科学技术大学）
现有的人脸伪造检测方法通常将人脸伪造检测视为二值分类问题，并采用深度卷积神经网络来学习鉴别特征。理想的鉴别特征应该只与人脸图像的真假标签相关。然而，我们观察到香草分类网络学习的特征与不必要的属性相关，例如伪造方法和面部身份。这种现象将限制伪造检测性能，特别是对于泛化能力。受此启发，我们提出了一种新的方法，该方法利用对抗学习来消除不同伪造方法和面部身份的负面影响，这有助于分类网络学习用于面部伪造检测的内在共同鉴别特征。为了利用缺乏真实人脸标签的数据，我们设计了一个特殊的身份识别器，基于来自现成的人脸识别模型的相似性信息。在对抗性学习的帮助下，我们的人脸伪造检测模型通过消除伪造方法和面部身份的影响来学习提取常见的鉴别特征。大量的实验证明了该方法在数据集内和跨数据集评估设置下的有效性。
2022-07-08 cs.CV
CraftGraffiti: Exploring Human Identity with Custom Graffiti Art via Facial-Preserving Diffusion Models
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
CraftGraffiti通过面部保留扩散模型生成具有身份一致性的涂鸦艺术，结合风格迁移与面部一致性机制，提升艺术创作的可识别性与审美价值。
2026-04-11 cs.CV
PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing
ICT, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
面部属性编辑旨在操纵人脸上的属性，例如，留胡子或者改变头发颜色现有的方法在正确的属性生成和保存其他信息（如身份和背景）之间存在严重的妥协，因为它们在不精确的区域编辑属性。为了解决这个难题，我们提出了一个渐进的注意力GAN（PA-GAN）的面部属性编辑。在我们的方法中，编辑是逐步进行从高到低的功能级别，而在一个适当的属性区域内的注意力掩模在每个级别的约束。这种方式从一开始就防止了对不相关区域的不期望的修改，然后网络可以更专注于在每个级别的适当边界内正确地生成属性。因此，我们的方法实现了正确的属性编辑与不相关的细节更好地保存相比，国家的最先进的。代码发布于https://github.com/LynnHo/PA-GAN-Tensorflow。
2020-07-12 cs.CV
Heavy Rain Face Image Restoration: Integrating Physical Degradation Model and Facial Component Guided Adversarial Learning
Kunsan National University（群山国立大学）
随着近年来智能闭路电视视频监控的增加，需要一种新的图像退化，集成分辨率转换和合成雨模型。例如，在大雨中，CCTV从远处捕获的人脸图像在可见度和分辨率方面都有显著的恶化。与传统的图像退化模型（IDM），如雨去除和超分辨率，这项研究提出了一种新的IDM称为一个尺度感知的大雨模型，并提出了一种方法恢复高分辨率的人脸图像（HR-FI）从低分辨率的大雨人脸图像（LRHR-FI）。为此，提出了一个两级网络。第一阶段生成低分辨率人脸图像（LR-FI），其中大雨已从LRHR-FI中删除，以提高能见度。为了实现这一点，一个可解释的IDM为基础的网络构建预测的物理参数，如雨条纹，传输地图，和大气光。此外，图像重建损失的评估，以提高估计的物理参数。对于第二阶段，其目的是从第一阶段中输出的LR-FI重建HR-FI，应用面部组件引导的对抗学习（FCGAL）来增强面部结构表达。为了集中信息丰富的面部特征，并加强面部组件的真实性，如眼睛和鼻子，面部解析引导生成器和面部局部判别器的设计FCGAL。实验结果表明，基于物理网络设计和FCGAL的方法可以消除暴雨，同时提高分辨率和能见度。此外，所提出的大雨人脸图像复原优于大雨去除、图像到图像平移和超分辨率的最新模型。
2022-04-18 cs.CV
Exploring Talking Head Models With Adjacent Frame Prior for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；Peking University（北京大学）；Sun Yat-sen University（中山大学）
本文提出THFEM框架，结合AD-THG模型与SPFEM，通过相邻帧学习策略提升语音保留的面部表情操纵效果。
2026-01-19 cs.CV
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
为了学习面部图像的解纠缠表示，我们提出了一种基于双编码器-解码器的生成对抗网络（DED-GAN）。在所提出的方法中，生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说，编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示，并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构，通过最小化由Wasserstein距离定义的额外像素损失，以便对抗框架可以更好地训练。此外，我们认为人脸姿态变化是连续的，而不是离散的现有文献中，注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题，这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别（PIFR）和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明，所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
A comprehensive survey on semantic facial attribute editing using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
由于深度卷积神经网络和生成模型的进步，生成随机照片级真实图像在过去几年中经历了巨大的增长。在不同的领域中，人脸照片受到了极大的关注，并提出了大量的人脸生成和处理模型。语义面部属性编辑是改变面部图像的一个或多个属性的值而图像的其他属性不受影响的过程。所请求的修改被提供为属性向量或以驾驶面部图像的形式，并且整个过程由相应的模型执行。本文综述了语义人脸属性编辑的研究现状和进展。我们涵盖了这些模型的所有相关方面，包括相关的定义和概念，架构，损失函数，数据集，评估指标和应用程序。基于它们的体系结构，最先进的模型进行了分类和研究，编码器解码器，图像到图像，和照片引导模型。目前国家的最先进的方法的挑战和限制进行了讨论。
2022-05-21 cs.CV
epsilon-Mesh Attack: A Surface-based Adversarial Point Cloud Attack for Facial Expression Recognition
Istanbul Technical University（伊斯坦布尔理工大学）
针对3D面部表情识别中传统点云对抗攻击易造成面部畸形的问题，本文提出ε-Mesh Attack，将扰动限制在网格表面并以ε缩放，以难以察觉的变形实现对DGCNN和PointNet的高成功率攻击。
2024-03-11 cs.CV
Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification
本文提出了一种基于扩散模型的对抗性补丁生成与检测方法，通过FGSM和ViT-GPT2模型提升对抗性攻击的隐蔽性与有效性，并实现了高SSIM的检测性能。
2026-01-14 cs.AI cs.CV
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而，现有的方法需要详尽地标记训练数据，这需要劳动力，难以扩大规模，并且难以迁移到新的领域。为了克服这样一个关键限制，我们提出了稀疏分组生成对抗网络（SG-GAN）作为一种新方法，可以在稀疏分组的数据集上翻译图像，其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构，非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点，我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明，SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果，并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取：https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
Exploring Facial Expressions and Affective Domains for Parkinson Detection
帕金森病（PD）是一种影响面部运动和非语言交流的神经系统疾病。PD患者表现出面部运动减少，称为记忆减退，在MDS-MRS-III量表的第3.2项中进行评价。在这项工作中，我们提出了使用面部表情分析的基础上情感域的人脸图像，以提高PD检测。我们提出了不同的领域自适应技术，利用人脸识别和人脸动作单元（FAU）检测的最新进展。本论文的主要贡献在于：（1）提出了一种新的基于深度人脸结构的帕金森病患者模仿障碍模型的框架;（2）在实验上比较了基于单个图像和基于图像序列的帕金森病检测方法;（三）我们探索不同的领域自适应技术，以利用现有的模型，最初训练的人脸识别或检测FAU的PD患者和健康受试者之间的自动区分;和（4）使用三重丢失学习来改善记忆不足建模和PD检测的新方法。从PD患者的真实面部图像的结果表明，我们能够正确地使用图像序列（中性，起始过渡，顶点，偏移过渡，和中性）与准确性提高高达5.5%（从72.9%到78.4%）诱发的情绪模型单图像PD检测。我们还表明，我们提出的情感-领域自适应提供PD检测的改善高达8.9%（从78.4%到87.3%的检测精度）。
2020-12-11 cs.CV
Global and Local Consistent Age Generative Adversarial Networks
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
由于人类衰老过程的复杂性和非线性变化，年龄增长/回归是一项具有挑战性的任务。许多研究表明，人脸的全局和局部特征对人脸的表示都是必不可少的，但以往的基于GAN的方法在年龄合成中主要关注全局特征。为了同时利用全局和局部人脸信息，我们提出了一个全局和局部一致的年龄生成对抗网络（GLCA-GAN）。在我们的生成器中，一个全局网络学习整个面部结构并模拟整个面部的老化趋势，而三个关键的面部补丁由三个局部网络进行进步或回归，旨在模仿关键面部子区域的细微变化。为了保留年龄属性不相关区域中的大部分细节，我们的生成器学习了剩余面部。此外，我们采用身份保持损失，以更好地保持身份信息，以及年龄保持损失，以提高年龄合成的准确性。采用像素丢失算法来保留输入人脸的细节信息。我们提出的方法在三个人脸老化数据集上进行了评估，即，CACD数据集、Morph数据集和FG-NET数据集。实验结果表明，该方法与现有方法相比具有良好的性能。
2018-01-25 cs.CV
Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition
DarkMatter Research（暗物质研究）；Sun Yat-Sen University（中山大学）
由于标注过程的主观性和采集条件的不同，不同的人脸表情识别数据集不可避免地存在数据不一致和偏差。最近的作品诉诸对抗机制，学习域不变的功能，以减轻域转移。然而，大多数这些工作集中在整体特征适应，他们忽略了本地功能，更可转移到不同的数据集。此外，局部特征携带用于表情识别的更详细和有区别的内容，并且因此集成局部特征可以实现细粒度的自适应。在这项工作中，我们提出了一种新的对抗图表示自适应（AGRA）框架，该框架将图表示传播与对抗学习相结合，以实现跨域整体-局部特征协同自适应。为了实现这一点，我们首先构建一个图来关联每个域中的整体和局部区域，然后构建另一个图来关联不同域中的这些区域。然后，我们学习每个域的每类统计分布，并从输入图像中提取整体局部特征来初始化相应的图节点。最后，我们引入了两个堆叠图卷积网络来传播每个域内的整体-局部特征，以探索它们之间的相互作用，并跨不同的域进行整体-局部特征的协同适应。通过这种方式，AGRA框架可以自适应地学习细粒度的域不变特征，从而促进跨域表情识别。我们进行了广泛和公平的实验，几个流行的基准测试，并表明，建议AGRA框架实现了优越的性能比以前的国家的最先进的方法。
2020-08-04 cs.CV
Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition
Institute of High Performance Computing, Agency for Science, Technology, and Research（高性能计算研究所，科技研究局）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Pattern Recognition and Intelligent System Laboratory, Beijing University of Posts and Telecommunications（北京邮电大学模式识别与智能系统实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）；InnoPeak Technology Inc.；Key Laboratory of Medical Molecular Virology, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院医学分子病毒学重点实验室）
在本文中，我们提出了一个简单而有效的方法，命名为点对抗自我挖掘（PASM），以提高面部表情识别的识别精度。与以前专注于设计特定架构或损失函数来解决这个问题的工作不同，PASM通过模拟人类学习过程来提高网络能力：提供更新的学习材料和更有能力的教师的指导。具体来说，为了生成新的学习材料，PASM利用点对抗攻击方法和经过训练的教师网络来定位与目标任务相关的最具信息性的位置，生成更难的学习样本来完善网络。搜索位置是高度自适应的，因为它考虑了每个样本的统计信息和教师网络的能力。除了提供新的学习材料外，学生网络还接受教师网络的指导。在学生网络完成训练之后，学生网络改变其角色并充当教师，生成新的学习材料并为训练更好的学生网络提供更强的指导。自适应学习材料生成和教师/学生更新可以进行多次，迭代地提高网络能力。大量的实验结果验证了我们的方法在现有的面部表情识别技术的有效性。
2021-05-08 cs.CV
Exploring Facial Biomarkers for Detecting Depression through Temporal Analysis of Action Units
Machine Learning and Data Analytics Lab, Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（机器学习与数据分析实验室，人工智能生物医学工程部门（AIBE），弗里德里希-亚历山大-埃森纳赫大学（FAU））；Department of Clinical Psychology and Psychotherapy, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（临床心理学与心理治疗系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Chair of Visual Computing, Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（视觉计算教授，计算机科学系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Translational Digital Health Group, Institute of AI for Health, Helmholtz Zentrum München – German Research Center for Environmental Health（转化数字健康组，人工智能与健康研究所，海德堡中心——德国环境健康研究研究中心）
本研究通过分析抑郁症与非抑郁症参与者的视频面部表情，提取动作单元特征并结合时间序列分类模型、PCA及聚类算法，发现两组间与悲伤和快乐相关的动作单元强度存在显著差异，证实面部分析可用于抑郁症检测。
2026-08-19 cs.CV
TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）
面部操纵方法可能被滥用，以影响个人的隐私或传播虚假信息。为此，我们引入了一种新的数据驱动的方法，产生嵌入在原始图像中的图像特定的扰动。关键的想法是，这些受保护的图像通过使操纵模型产生预定义的操纵目标（在我们的情况下是均匀着色的输出图像）而不是实际操纵来防止面部操纵。此外，我们建议利用可微压缩近似，从而使生成的扰动强大的常见的图像压缩。为了防止多个操作方法同时进行，我们进一步提出了一种新的基于注意力的融合操作特定的扰动。与单独优化每个图像的噪声模式的传统对抗攻击相比，我们的广义模型只需要一个前向传递，从而更快地运行数量级，并允许轻松集成在图像处理堆栈中，即使在智能手机等资源受限的设备上。
2022-07-25 cs.CV
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction
通过利用深度卷积神经网络（DCNN）的能力，已经做了大量的工作来从单个图像重建3D面部结构。在最近的作品中，纹理特征要么对应于线性纹理空间的分量，要么由自动编码器直接从野外图像中学习。在所有情况下，面部纹理重建的质量仍然不能建模面部纹理与高频细节。在本文中，我们采取了一种完全不同的方法，利用生成对抗网络（GANs）和DCNN的强大功能，从单张图像中重建面部纹理和形状。也就是说，我们利用GANs在\edit{from a large-scale 3D texture dataset}之前训练一个非常强大的面部纹理。然后，我们重新审视原始的3D变形模型（3DMMs）拟合利用非线性优化，以找到最佳的潜在参数，最好地重建测试图像，但在一个新的角度。为了对初始化具有鲁棒性并加快拟合过程，我们提出了一种新的基于自监督回归的方法。我们在真实感和身份保持3D人脸重建中表现出出色的效果，并首次实现了高频细节的面部纹理重建。
2021-05-16 cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili（莫哈格·阿尔达比勒大学）
细粒度分类仍然是一项具有挑战性的任务，因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能，但它们需要大量的输入数据。为了解决这个问题，我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成，在规模，姿势和照明方面存在差异，这加剧了分类任务的难度。此外，我们增强了最近的生成对抗网络（GAN）StyleGAN 2-ADA模型的性能，以生成更逼真的图像，同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志，然后相应地裁剪图像。最后，我们将合成图像与原始数据集相结合，并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer（ViT）模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
