Detection and Localization of Facial Expression Manipulations
University of California, Riverside（加利福尼亚大学河滨分校）
对社交媒体中广泛使用欺诈性图像/视频的担忧需要精确检测此类欺诈行为。面部表情在通信中的重要性是众所周知的，并且对抗攻击通常集中于操纵表情相关特征。因此，重要的是要开发的方法，可以检测面部表情中的操纵，并定位的操纵区域。为了解决这个问题，我们提出了一个框架，能够检测操作的面部表情识别和图像处理方法的紧密结合。随着从面部表情识别框架中提取的特征图的加入，我们的操纵检测器能够定位被操纵的区域。我们表明，在Face 2Face数据集上，有丰富的表情操作，与最先进的方法相比，我们的方法在分类和定位操作方面的准确率都提高了3%以上。此外，NeuralTextures数据集上的结果显示，与嘴部区域对应的面部表情已经被修改，在分类和操作定位方面的准确度都提高了2%。我们证明了该方法在表达不被操纵，而是身份被改变的情况下，与最先进的方法相一致，从而确保了该方法的普遍性。
2021-03-15 cs.CV
AU-Blendshape for Fine-grained Stylized 3D Facial Expression Manipulation
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；North China University of Technology（华北理工大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
针对细粒度风格化3D面部表情操控缺乏合适数据集的问题，提出基于500个身份和32个标准AUs的数据集AUBlendSet及网络AUBlendNet，通过并行预测AU-Blendshape基向量实现风格化操控，有效应用于多项动画任务。
2025-07-16 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学科学计算跨学科中心）；Manchester Metropolitan University（曼彻斯特城市大学）；IMLA, Offenburg University（奥芬堡大学机器学习与分析研究所）
人脸图像处理是一个生成任务，其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而，目前的方法要么专注于纯粹的风格转移，或翻译的预定义的属性集与有限的交互性。为了解决这个问题，我们提出了FacialGAN，这是一个新颖的框架，可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时，将目标图像的各种风格转移到源图像。然后，我们将分割掩模的几何信息，以提供一个细粒度的面部属性的操作。最后，提出了一种多目标学习策略，以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验，以CelebAMask-HQ作为语义掩码标签，显示了我们的模型在风格转换，属性操作，多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性，我们提供了一个交互式开源工具来执行面部操作，以及模型的Pytorch实现。
2021-10-18 cs.CV
Detecting Facial Image Manipulations with Multi-Layer CNN Models
Facephi Research Laboratory（Facephi研究实验室）；University of Alicante（阿利坎特大学）
针对数字图像篡改难识别的问题，本研究构建三种复杂度递增的CNN模型并引入正则化优化，人脸篡改检测准确率最高达76%，优于传统方法，为低算力场景的媒体验证提供参考。
2024-12-09 cs.AI cs.CV
Information-containing Adversarial Perturbation for Combating Facial Manipulation Systems
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Hangzhou Dianzi University（杭州电子科技大学）
随着深度学习技术的发展，面部操作系统变得功能强大且易于使用。这样的系统可以修改给定面部图像的属性，例如头发颜色、性别和年龄。这些系统的恶意应用对个人的隐私和声誉构成严重威胁。现有的研究已经提出了各种方法来保护图像免受面部操作。被动防御方法的目标是检测人脸的真假，这对后验取证有效，但不能防止恶意操纵。主动防御方法通过向图像中注入对抗性扰动来破坏面部操作系统，从而预先保护图像，但无法识别图像是否是假的。针对现有方法的局限性，提出了一种新的两层保护方法--含信息对抗扰动（IAP）方法，该方法对人脸图像提供了更全面的保护。我们使用编码器将人脸图像及其身份信息映射到跨模型对抗示例，该示例可以破坏多个人脸操作系统以实现主动保护。使用解码器在对抗性示例中恢复消息可以提供被动保护，有助于来源跟踪和虚假图像检测。我们引入了一个特征级的相关性测量，它比常用的均方误差更适合于测量人脸图像之间的差异。此外，我们提出了一个频谱扩散方法来传播消息到不同的频率通道，从而提高了鲁棒性的面部操纵的消息。大量的实验结果表明，我们提出的IAP可以从对抗性示例中恢复消息，具有较高的平均准确率，并有效地破坏面部操作系统。
2023-03-21 cs.CV
Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification
本文提出了一种基于扩散模型的对抗性补丁生成与检测方法，通过FGSM和ViT-GPT2模型提升对抗性攻击的隐蔽性与有效性，并实现了高SSIM的检测性能。
2026-01-14 cs.AI cs.CV
WEM-GAN: Wavelet transform based facial expression manipulation
Huazhong University of Science and Technology（华中科技大学）
本文提出WEM-GAN，通过小波变换、高频判别器、残差连接和相对动作单元提升表情编辑中的身份细节保留与表情匹配性能。
2024-12-03 cs.AI cs.CV eess.IV
AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
UC San Diego（加州大学圣迭戈分校）；Qualcomm Technologies, Inc.（高通技术公司）
针对多AU强度标注数据稀缺问题，本文提出双分支AUEditNet，仅用18名受试者即可隐式解耦身份与属性，实现12个AU的精确强度操控。
2024-04-10 cs.CV
Structure-aware Editable Morphable Model for 3D Facial Detail Animation and Manipulation
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）；SenseTime Research（商汤科技研究院）
可变形模型对于3D人脸的统计建模是必不可少的。以往的形变模型研究主要集中在大规模的人脸几何模型上，而忽略了人脸的细节。本文通过学习一种结构感知的可编辑变形模型（SEMM），增强了变形模型对面部细节的表达能力。SEMM引入了基于皱纹线距离场的细节结构表示，与细节位移联合建模，以建立更好的对应关系，并使皱纹结构的直观操作成为可能。此外，SEMM引入了两个转换模块，将表达式融合变形权重和年龄值转换为潜在空间的变化，从而在保持身份的同时实现有效的语义细节编辑。实验结果表明，该模型能较好地表现人脸的细节，在表情动画的定性和定量方面均优于已有的方法，并能有效地实现人脸细节的年龄编辑和皱纹线编辑。代码和模型可在https://github.com/gerwang/facial-detail-manipulation上获得。
2022-07-19 cs.CV cs.GR
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University（南洋理工大学）
由于真实感人脸可以很容易地通过面部操纵技术生成，这些技术的潜在恶意滥用引起了极大的关注。因此，提出了许多deepfake检测方法。然而，现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现，人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作，这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果，我们强调了这一需求，并提出了一个新的研究问题，称为检测序列DeepFake操纵（Seq-DeepFake）。与现有的只需要二进制标签预测的deepfake检测任务不同，检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查，我们构建了第一个Seq-DeepFake数据集，其中人脸图像被顺序地操作，并具有相应的顺序人脸操作向量的注释。基于这个新的数据集，我们将检测Seq-DeepFake操作作为一个特定的图像到序列（例如图像描述）任务，并提出了一个简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们建立了一个全面的基准，并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果，以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks
National Institute of Technology Karnataka（卡纳塔克国立理工学院）
本文提出的框架的主要目标是对人的面部表情进行分类。这些可分类的表情可以是六种普遍情绪中的任何一种，以及中性情绪。在执行初始面部定位之后，应用面部界标检测和特征提取，其中界标被确定为基准特征：眉毛、眼睛、鼻子和嘴唇。这主要是使用最先进的面部标志检测算法以及分别使用Sobel滤波器和Shi Tomasi角点检测方法的传统边缘和角点检测方法来完成的。这导致生成使用欧几里德距离公式化的输入特征向量，并将其训练到多层感知器（MLP）神经网络中，以便对正在显示的表情进行分类。所取得的成果进一步处理了某些情绪的高度一致性和表达的固有主观性。
2020-07-15 cs.CV
Deepfake Detection Via Facial Feature Extraction and Modeling
Grand Canyon University（大峡谷大学）
本文提出仅利用面部关键点检测 Deepfake 的方法，通过识别面部运动细微不一致替代原始图像处理，并在 RNN、ANN 和 CNN 上验证其有效性。
2025-07-24 cs.AI cs.CV
Automatic facial feature extraction and expression recognition based on neural network
本文提出了一种从静止的正面图像中自动提取人脸特征提取，并对人脸表情进行分类和识别的方法。前馈反向传播神经网络被用作分类器，用于将所提供的面部表情分类为七个基本类别，如惊讶、中性、悲伤、厌恶、恐惧、高兴和愤怒。对于面部分割和定位，使用形态学图像处理操作。利用SUSAN边缘检测算子、人脸几何学、边缘投影分析提取眉毛、眼睛、嘴巴和鼻子等永久性人脸特征。在JAFFE人脸表情数据库上进行了实验，训练集的准确率为100%，测试集的准确率为95.26%。
2012-04-10 cs.CV
Face Age Progression With Attribute Manipulation
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
人脸是人的识别的主要手段之一。人脸在衰老过程中容易受到时间、属性、天气等多种因素的影响而发生变化。这些因素的影响在面部衰老的文献中没有得到很好的研究。在本文中，我们提出了一种新的整体模型，即，“Face Age Progression With Attribute Manipulation（FAWAM）”，即在不同年龄生成人脸图像，同时改变属性和其他主体特定特征。我们以自下而上的方式处理任务，作为两个子模块，即面部年龄进展和面部属性操作。对于面部老化，我们使用一个属性意识的面部老化模型与金字塔生成对抗网络，可以模拟特定年龄的面部变化，同时保持固有的主题特定的特征。对于面部属性操纵，利用属性生成对抗网络架构，利用期望的属性操纵经年龄处理的面部图像，同时保持其他细节不变。我们在标准的大规模数据集上进行了广泛的分析，我们的模型在定量和定性上都取得了显着的性能。
2021-06-14 cs.AI cs.CV
Hy-Facial: Hybrid Feature Extraction by Dimensionality Reduction Methods for Enhanced Facial Expression Classification
针对面部表情分类的高维数据挑战，提出融合VGG19深度特征与SIFT、ORB手工特征的Hy-Facial框架，经评估选用UMAP降维，在FER数据集上达83.3%准确率，证明降维对提升分类性能的关键作用。
2025-09-30 cs.CV
Toward Fine-grained Facial Expression Manipulation
Shanghai Jiao Tong University（上海交通大学）
人脸表情操作的目的是在给定的条件下编辑人脸表情。先前的方法在离散情感标签或绝对条件（例如，面部动作单元）以拥有期望的表情。然而，这些方法要么遭受不断变化的条件无关的区域，或者是低效率的细粒度编辑。在这项研究中，我们考虑到这两个目标，并提出了一种新的方法。首先，我们用相对条件，具体地说，相对动作单位来代替连续的绝对条件。通过相对动作单元，生成器学习仅变换由非零值相对AU指定的感兴趣区域。其次，我们的生成器是建立在U-Net上的，但通过多尺度特征融合（MSF）机制进行了加强，以实现高质量的表达式编辑目的。大量的定量和定性评价实验表明，我们提出的方法相比，国家的最先进的表达编辑方法的改进。代码可在\url{https://github.com/junleen/Expression-manipulator}上获得。
2020-12-04 cs.CV
rFaceNet: An End-to-End Network for Enhanced Physiological Signal Extraction through Identity-Specific Facial Contours
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
rFaceNet通过整合身份特定面部轮廓并利用TCU和CTFC模块，在端到端网络中增强rPPG信号提取，显著提升心率估计性能。
2024-03-17 cs.CV
ROI Segmentation for Feature Extraction from Human Facial Images
Shaheed Bhagat Singh College of Engineering & Technology（沙希德·巴加特·辛格工程技术学院）
人机交互（HCI）是计算机视觉研究者的最大目标。形成不同面部图像的特征能够提供关于由不同面部运动执行的活动的非常深入的知识。本文提出了一种结合肤色分割技术、图像保持技术和基于知识的人脸识别技术，从不同的感兴趣区域提取特征提取的方法。
2012-07-12 cs.CV cs.HC
Exploring Talking Head Models With Adjacent Frame Prior for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；Peking University（北京大学）；Sun Yat-sen University（中山大学）
本文提出THFEM框架，结合AD-THG模型与SPFEM，通过相邻帧学习策略提升语音保留的面部表情操纵效果。
2026-01-19 cs.CV
TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）
面部操纵方法可能被滥用，以影响个人的隐私或传播虚假信息。为此，我们引入了一种新的数据驱动的方法，产生嵌入在原始图像中的图像特定的扰动。关键的想法是，这些受保护的图像通过使操纵模型产生预定义的操纵目标（在我们的情况下是均匀着色的输出图像）而不是实际操纵来防止面部操纵。此外，我们建议利用可微压缩近似，从而使生成的扰动强大的常见的图像压缩。为了防止多个操作方法同时进行，我们进一步提出了一种新的基于注意力的融合操作特定的扰动。与单独优化每个图像的噪声模式的传统对抗攻击相比，我们的广义模型只需要一个前向传递，从而更快地运行数量级，并允许轻松集成在图像处理堆栈中，即使在智能手机等资源受限的设备上。
2022-07-25 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS（新里斯本大学计算机科学与信息学实验室）；Universidad Autonoma de Madrid（马德里自治大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统，深入分析相关文献，评估现有检测方法在无约束场景下的性能，并发布iFakeFaceDB数据库，指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
Sequential Clustering based Facial Feature Extraction Method for Automatic Creation of Facial Models from Orthogonal Views
多视点三维人脸建模技术近年来受到越来越多的关注，并已成为未来视频系统的潜在途径之一。我们的目标是使更可靠和强大的自动特征提取和自然的三维特征建设从一对正面和侧面视图人脸图像上检测到的二维特征。我们提出了几种启发式算法，以尽量减少可能的错误引入普遍的非完美正交条件和非相干亮度。在我们的方法中，我们首先提取在两个视图中对两个相机可见的2D特征。然后，我们估计的基础上，在两个正交视图中提取的可见特征的隐藏的轮廓视图中的特征的坐标。最后，基于提取的特征的坐标，我们变形的3D通用模型执行所需的3D克隆建模。目前的研究证明了范围的实际应用，如人脸识别和面部动画的面部模型。
2009-12-03 cs.CV
Global Multiple Extraction Network for Low-Resolution Facial Expression Recognition
本文提出全局多重提取网络GME-Net，通过混合注意力局部特征提取与知识蒸馏、多尺度全局特征提取相结合，解决低分辨率面部表情识别中细节缺失和全局建模不足的问题，并在多个数据集上取得优于现有方法的性能。
2025-11-08 cs.CV
Robust Real-time Extraction of Fiducial Facial Feature Points using Haar-like Features
National University of Singapore（新加坡国立大学）；Imperial College London（伦敦帝国理工学院）
在本文中，我们探讨了鲁棒地提取基准面部特征点的方法-这是许多面部图像处理任务的重要过程。我们考虑各种方法，首先检测人脸，然后面部特征，最后显着的面部特征点。基于颜色的模型进行了分析，并总结了他们的整体不适合这项任务。报告的大部分内容致力于提出一种以Viola-Jones算法为中心的基于学习的方法。与特征点检测有关的具体困难和考虑因素在这种情况下，建立了一种新的方法来解决这些问题。在一系列清晰和无遮挡的人脸图像上，我们提出的系统实现了超过90%的平均检测率。然后，使用更多样化的样本数据集，我们确定了一些可能的领域，为我们的系统的未来发展。
2015-05-16 cs.CV
Real-Time Facial Expression Recognition using Facial Landmarks and Neural Networks
提出了一种轻量级的基于人脸静态图像的特征提取、七种不同情绪分类和实时的【形】表情识别算法。在这方面，基于前述算法训练多层感知器（MLP）神经网络。为了对人脸进行分类，首先对输入图像进行预处理，对人脸进行定位和裁剪，然后使用人脸特征点检测库对人脸特征点进行检测。然后，人脸被分割成上脸和下脸，这使得能够从每个部分提取所需的特征。在所提出的模型中，同时考虑到基于几何和纹理的特征类型。在特征提取阶段之后，创建特征的归一化向量。使用这些特征向量训练3层MLP，在测试集上达到96%的准确率。
2022-01-31 cs.AI cs.CV cs.LG
SARGAN: Spatial Attention-based Residuals for Facial Expression Manipulation
University of the Punjab（旁遮普大学）
基于编码器-解码器的体系结构已广泛应用于用于面部操作的生成对抗网络的生成器中。然而，我们观察到，目前的架构无法恢复输入图像的颜色，丰富的面部细节，如肤色或纹理，并引入文物以及。在本文中，我们提出了一种新的方法命名为SARGAN，从三个角度来解决上述限制。首先，我们采用了基于空间注意力的残差块，而不是香草残差块，以正确地捕捉表情相关的功能，而保持其他功能不变。其次，我们利用对称的编码器-解码器网络在多个尺度上关注面部特征。第三，我们提出了训练具有剩余连接的完整网络，该剩余连接减轻了生成器生成输入面部图像的压力，从而通过直接向生成器的末端馈送输入图像来产生期望的表情。定性和定量的实验结果表明，我们提出的模型表现明显优于国家的最先进的方法。此外，现有的模型需要更大的数据集进行训练，但它们的性能在分布外的图像上会下降。相比之下，SARGAN可以在较小的面部表情数据集上进行训练，该数据集可以很好地概括包括人类照片，肖像，头像和雕像在内的分发图像。
2023-03-30 cs.CV
JeFaPaTo -- A joint toolbox for blinking analysis and facial features extraction
Friedrich Schiller University Jena（弗里德里希席勒耶拿大学）；Jena University Hospital（耶拿大学医院）
JeFaPaTo是一个用于眨眼分析和面部特征提取的联合工具箱，利用前沿计算机视觉算法和友好界面，帮助无编程技能的医学专业人员便捷地进行高级面部分析并整合到工作流程中。
2024-04-29 cs.CV
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media（网络与数字媒体系）；Kingston University（金史密斯大学）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Westminster（威斯敏斯特大学）
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台，生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV
Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection
School of Computer Science；Engineering, Sun Yat-sen University Guangzhou China；State Key Laboratory of Mathematical Engineering；Engineering, Sun Yat-sen University
针对面部隐私保护需求，提出基于扩散模型的对抗性身份操纵方法DiffAIM，在潜空间迭代注入梯度引导并加结构正则，生成自然且高迁移性的对抗人脸，黑盒攻击效果和视觉质量均优于现有方法，且对商业FR API有效。
2025-07-30 cs.CV
Enhanced Facial Feature Extraction and Recignation Using Optimal Fully Dispersed Haar-like Filters
本文提出一种识别最优全分散Haar-like滤波器的新算法，通过允许像素在图像内自由移动以更有效地捕捉复杂局部特征，从而增强面部特征提取与识别。
2024-12-17 cs.CV cs.NA math.NA
BioFace3D: A fully automatic pipeline for facial biomarkers extraction of 3D face reconstructions segmented from MRI
La Salle - Universitat Ramon Llull（拉蒙·柳利大学拉萨尔学院）；Universitat de Barcelona（巴塞罗那大学）；FIDMAG, Sisters Hospitallers Research Foundation（仁爱修女会研究基金会FIDMAG研究所）；CIBERSAM（精神健康生物医学研究网络）；Hospital de Sant Pau i la Santa Creu（圣保禄圣十字医院）
BioFace3D提出了一种从MRI重建三维面部模型并全自动提取面部生物标志物的流程，通过标志点配准和几何形态测量学实现客观定量分析，以辅助遗传及精神类疾病的诊断。
2024-10-01 cs.CV q-bio.QM
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而，现有的方法需要详尽地标记训练数据，这需要劳动力，难以扩大规模，并且难以迁移到新的领域。为了克服这样一个关键限制，我们提出了稀疏分组生成对抗网络（SG-GAN）作为一种新方法，可以在稀疏分组的数据集上翻译图像，其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构，非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点，我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明，SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果，并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取：https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
Selective manipulation of disentangled representations for privacy-aware facial image processing
Ghent University（根特大学）；imec（比利时微电子研究中心）
摄像头传感器越来越多地与机器学习相结合，以执行智能监控等各种任务。由于其计算复杂性，这些机器学习算法中的大多数都被卸载到云端进行处理。然而，用户越来越担心隐私问题，如功能蠕变和第三方云提供商的恶意使用。为了缓解这一问题，我们提出了一个基于边缘的过滤阶段，在传感器数据传输到云端之前删除隐私敏感属性。我们使用最先进的图像处理技术，利用解开表示，以实现隐私过滤。我们定义了选择加入和选择退出过滤器操作，并评估其有效性，从人脸图像中过滤私人属性。此外，我们研究自然发生的相关性和残留信息的过滤效果。我们发现这些结果很有希望，并相信这有助于进一步研究如何将图像处理用于隐私保护。
2022-08-26 cs.CV
GAN-based Facial Attribute Manipulation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Merced（加州大学默塞德分校）
人脸属性操作（FAM）旨在对给定的人脸图像进行美学修改以呈现期望的属性，由于其广泛的实际应用，从数字娱乐到生物识别取证，受到了极大的关注。在过去的十年中，随着生成对抗网络（GANs）在合成逼真图像方面的显着成功，已经提出了许多基于GAN的模型来解决FAM，其中包括各种问题制定方法和指导信息表示。本文对基于GAN的FAM方法进行了全面的综述，重点总结了它们的主要动机和技术细节。本次调查的主要内容包括：（i）介绍与FAM相关的研究背景和基本概念，（ii）系统地回顾基于GAN的FAM方法的三个主要类别，（iii）深入讨论FAM方法的重要属性，开放问题和未来的研究方向。这项调查不仅为新进入该领域的研究人员建立了一个良好的起点，也为视觉社区提供了参考。
2022-10-23 cs.CV
Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition
Brunel University London（布鲁内尔大学伦敦分校）；Ecole Centrale de Lyon（里昂中央理工学院）；Xi’an Jiaotong University（西安交通大学）
有意义的面部部分可以传达面部动作单元检测和表情预测的关键线索。纹理化的三维人脸扫描可以同时提供人脸的三维几何形状和二维纹理外观线索，这对人脸表情识别（FER）是有益的。然而，准确的面部部位提取以及他们的融合是具有挑战性的任务。本文提出了一种基于精确面部提取和面部深层特征融合的三维人脸识别系统。特别地，每个纹理化的3D面部扫描首先被表示为具有一对一密集对应关系的2D纹理图和深度图。然后，使用一种新的4阶段过程，包括面部标志定位，面部旋转校正，面部缩放，面部部分限界框提取和后处理程序的纹理图和深度图的面部部分提取。最后，分别从纹理图和深度图学习所有面部部分的深度融合卷积神经网络（CNN）特征，并使用非线性SVM进行表情预测。在BU-3DFE数据库上进行了实验，证明了结合不同面部部位、纹理和深度线索的有效性，并在相同设置下与所有现有方法进行比较，报告了最先进的结果。
2018-03-04 cs.CV
LatRef-Diff: Latent and Reference-Guided Diffusion for Facial Attribute Editing and Style Manipulation
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering（广东信息安全技术重点实验室和计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus（深圳校区网络科学与技术学院）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering（广东机器感知与智能计算实验室，工程学院）
本文提出LatRef-Diff，通过潜在和参考引导方法改进面部属性编辑和风格操控，解决传统扩散模型在属性控制和风格操控中的不足，采用风格代码和模块化设计提升精度和图像质量。
2026-04-23 cs.CV
FastBVP-Net: a lightweight pulse extraction network for measuring heart rhythm via facial videos
Sichuan University（四川大学）；Xi’an Jiaotong University（西安交通大学）
远程光电体积描记术（rPPG）是一种有吸引力的基于相机的健康监测方法，其可以从面部视频测量心律。据报道，许多成熟的深度学习模型可以测量心率（HR）和心率变异性（HRV）。然而，这些模型中的大多数通常需要30秒的面部视频和巨大的计算资源才能获得准确和鲁棒的结果，这大大限制了它们在现实世界场景中的应用。因此，我们提出了一个轻量级的脉搏提取网络FastBVP-Net，通过面部视频快速测量心律。FastBVP-Net采用多频模式信号融合（MMSF）机制，在分解模块中对原始信号的不同模式进行表征，在合成模块中对复杂噪声环境下的血容量脉搏（BVP）信号进行重构。同时，使用过采样训练方案解决了由于数据集的局限性而导致的过拟合问题。然后，可以基于所提取的BVP信号来估计HR和HRV。在基准数据集上进行了全面的实验，以验证所提出的FastBVP-Net。对于数据集内和跨数据集测试，所提出的方法从30秒的面部视频中获得了更好的HR和HRV估计性能，并且计算负担比当前成熟的方法更少。此外，所提出的方法也取得了竞争力的结果，从15秒的面部视频。因此，所提出的FastBVP-Net有可能应用于许多实际场景中的较短视频。
2022-12-21 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；Department of Psychology, University of Tennessee（田纳西大学心理学系）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
生成对抗网络（GANs）能够合成高质量的面部图像。尽管取得了成功，但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前，面部GANs是在不平衡的数据集上训练的，这会产生不太多样化的图像。例如，我们使用StyleGAN 3随机合成的10万张图像中，超过77%被归类为快乐，只有大约3%被归类为愤怒。当需要混合面部属性时，问题甚至变得更糟：生成的样本中只有不到1%是愤怒的女人，只有大约2%是快乐的黑人。为了解决这些问题，本文提出了一个名为GANalyzer的框架，用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成，旨在操作特定面部属性（如面部表情，年龄，性别和种族）的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠，并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning
Hanyang University（汉阳大学）；Shahjalal University of Science and Technology（沙迦拉科技大学）；University of Cambridge（剑桥大学）；BRAC University（BRAC大学）
针对面部表情学习中的类别分布差、偏差与不确定性问题，提出带可靠性平衡的ViT驱动注意力特征提取框架ARBEx，结合可学习锚点、锚点损失等提升预测鲁棒性，性能优于现有最优方法且可灵活集成到各类深度网络中。
2024-10-24 cs.AI cs.CV
Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Sun Yat-sen University（中山大学）
本文提出STCCL算法，通过空间和时间一致的相关性学习，在保持语音内容面部动画的同时操控面部表情。
2026-04-22 cs.CV
FaceForensics++: Learning to Detect Manipulated Facial Images
Technical University of Munich（慕尼黑工业大学）；University Federico II of Naples（那不勒斯费德里科二世大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
合成图像生成和操作的快速发展现在已经到了一个地步，它对社会的影响提出了重大的关注。充其量，这会导致人们对数字内容失去信任，但可能会通过传播虚假信息或假新闻造成进一步的伤害。本文探讨了最先进的图像处理的现实主义，以及如何难以检测到它们，无论是自动或由人类。为了规范检测方法的评估，我们提出了一个自动基准面部操作检测。特别是，该基准基于DeepFakes，Face2Face，FaceSwap和NeuralTextures作为随机压缩级别和大小的面部操作的突出代表。该基准测试是公开的，包含一个隐藏的测试集以及一个超过180万张操纵图像的数据库。这个数据集比可比的、公开可用的伪造数据集大一个数量级。基于这些数据，我们对数据驱动的伪造检测器进行了全面的分析。我们表明，使用额外的特定领域的知识提高伪造检测到前所未有的准确性，即使在存在强大的压缩，并明显优于人类观察员。
2019-08-26 cs.CV
Semantic Facial Expression Editing using Autoencoded Flow
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Chinese University of Hong Kong（香港中文大学）；Google Inc.（谷歌公司）
对图像中的面部表情进行高级操作（例如将微笑改变为中性表情）是具有挑战性的，因为面部表情的变化是高度非线性的，并且根据面部的外观而变化。我们提出了一种全自动的方法来编辑的面孔，结合了基于流的人脸操作的优势与最近的生成能力的变分自编码器（VAE）。在训练过程中，我们的模型学习在低维潜在空间上编码从一个表达式到另一个表达式的流。在测试时，表达式编辑可以简单地使用潜在向量算法来完成。我们评估我们的方法在两个应用程序：1）单图像的面部表情编辑，和2）两个图像之间的面部表情插值。我们证明，我们的方法生成的图像比以前的VAE和基于流的方法更高的感知质量。
2016-11-30 cs.CV
ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation
Peking University（北京大学）
本文提出ChatFace，通过对齐扩散模型时间特征与语义条件，在语义潜空间中实现文本引导的零样本真实人脸精确编辑，并结合LLM支持对话式多属性操纵。
2023-06-05 cs.CV
LEGAN: Disentangled Manipulation of Directional Lighting and Facial Expressions by Leveraging Human Perceptual Judgements
Affectiva（Affectiva公司）；Amazon（亚马逊公司）；Silver Spoon Animation（银匙动画公司）；SureStart（SureStart公司）
构建概括光照和面部表情的极端变化的面部分析系统是一个具有挑战性的问题，可以使用看起来自然的合成数据来缓解。为此，我们提出了LEGAN，一种新的合成框架，利用感知质量的判断，共同操纵照明和面部图像中的表情，而不需要配对的训练数据。LEGAN将光照和表情子空间分开，并在放大到所需的输出图像之前在特征空间中执行变换。合成图像的保真度通过将感知质量估计模型（使用使用多种合成方法渲染的面部图像及其众包自然度评级进行训练）作为辅助模型集成到LEGAN框架中来进一步细化。使用客观的指标，如FID和LPIPS，LEGAN被证明可以生成更高质量的人脸图像时，与流行的GAN模型，如StarGAN和StarGAN-v2的照明和表情合成。我们还进行了感知研究，使用LEGAN和其他GAN模型合成的图像，并显示我们的质量估计和视觉保真度之间的相关性。最后，我们证明了LEGAN作为表情识别和人脸验证任务的训练数据增强器的有效性。
2021-06-18 cs.CV
Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
本文提出协同特征学习方法，同时进行人脸伪造检测与细粒度篡改区域分割，并构建含像素级标注的整脸与局部伪造数据集，实验证明检测与分割可相互促进且性能优于现有方法。
2023-04-17 cs.CV
My Face Is Mine, Not Yours: Facial Protection Against Diffusion Model Face Swapping
City University of Hong Kong（香港城市大学）；University of St Andrews（圣安德鲁斯大学）
本文提出一种针对扩散模型换脸的主动防御策略，通过对抗性攻击预防性保护面部图像，克服现有方法依赖特定架构和全局扰动的局限。
2025-05-21 cs.CV
Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）
本文提出PCMECL算法，通过个性化提示和特征差分提升跨模态对齐，解决面部表情操控中情感操控的监督问题。
2026-04-28 cs.CV
Face Forgery Detection Based on Facial Region Displacement Trajectory Series
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；Sun Yat-sen University（中山大学）；South China University of Technology（华南理工大学）
基于深度学习的技术，如deepfakes技术，已经引起了社会和学术界的广泛关注，特别是用于合成伪造人脸图像的技术。这些自动的、无需专业技能的人脸操作技术可以用来将原始图像或视频中的人脸替换为任何目标对象，同时保持表情和举止。由于人脸与身份特征密切相关，恶意传播的身份操纵视频可能引发公众对媒体的信任危机，甚至可能产生严重的政治，社会和法律影响。为了有效地检测篡改视频，我们专注于在人脸融合过程中的位置偏移，从强制仿射变换的归一化伪造的脸。我们介绍了一种用于检测操纵的视频，是基于面部区域位移的轨迹的方法。具体来说，我们开发了一种基于虚拟锚点的方法来提取面部轨迹，它可以鲁棒地表示位移信息。这些信息被用来构建一个网络，用于暴露操纵视频的轨迹序列中的多维伪影，该网络基于双流时空图注意力和门控递归单元骨干。我们的方法在各种操作数据集上的测试表明，其准确性和泛化能力与领先的检测方法具有竞争力。
2022-12-07 cs.AI cs.CV
MaskGAN: Towards Diverse and Interactive Facial Image Manipulation
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
人脸图像处理技术近年来取得了很大的进展。然而，以前的方法要么在预定义的一组面部属性上操作，要么让用户几乎没有交互操作图像的自由。为了克服这些缺点，我们提出了一个名为MaskGAN的新框架，实现了多样化和交互式的人脸操作。我们的关键见解是，语义面具作为一个合适的中间表示灵活的面部操作与保真度的保护。MaskGAN有两个主要组件：1）密集映射网络（DMN）和2）编辑行为模拟训练（EBST）。具体地，DMN学习自由形式的用户修改的掩模和目标图像之间的风格映射，从而实现多样化的生成结果。EBST对源掩码上的用户编辑行为进行建模，使整个框架对各种操纵输入更加健壮。具体地说，它引入了双重编辑一致性作为辅助监督信号。为了便于广泛的研究，我们构建了一个大规模的高分辨率人脸数据集与细粒度掩模注释命名为CelebAMask-HQ。MaskGAN在两个具有挑战性的任务上进行了全面评估：属性转移和样式复制，表现出优于其他最先进方法的性能。代码、模型和数据集可在https://github.com/switchablenorms/CelebAMask-HQ上获得。
2020-04-01 cs.CV cs.GR cs.LG
MFIM: Megapixel Facial Identity Manipulation
Kakao Brain
提出新型人脸替换框架MFIM，利用预训练StyleGAN生成百万像素图像，并通过3DMM显式监督身份转换，同时引入ID mixing操作支持自定义新身份。
2023-08-03 cs.CV cs.LG
M4-BLIP: Advancing Multi-Modal Media Manipulation Detection through Face-Enhanced Local Analysis
Key Laboratory of Multimedia Trusted Perception and Efficient Computing（多媒体可信感知与高效计算重点实验室）
M4-BLIP通过引入面部增强的局部分析，提升多模态媒体篡改检测的准确性和可解释性。
2025-12-01 cs.AI cs.CV
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University（南京大学）；Megvii Technology（旷视科技）
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作，同时保持人脸的身份，以产生一个更有吸引力的脸。在本文中，我们提出了第一个生成对抗网络（GANs），用于在几何和外观方面增强面部吸引力，我们称之为“FA-GANs”。FA-GAN包含两个分支，从两个角度增强面部吸引力：面部几何形状和面部外观。每个分支由单独的GANs组成，其中外观分支调整面部图像，几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同，在增强同一个人之前和之后收集是不可行的，我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸，几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知，我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明，我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果，并且优于当前最先进的方法。
2020-06-06 cs.CV
On the Detection of Digital Face Manipulation
Michigan State University（密歇根州立大学）
检测被操纵的面部图像和视频是数字媒体取证中越来越重要的主题。随着先进的人脸合成和操作方法的出现，正在创建新型的假脸表示，这引起了人们对它们在社交媒体中使用的严重关注。因此，它是至关重要的，以检测被操纵的人脸图像和定位被操纵的区域。我们提出利用注意力机制来处理和改进分类任务的特征图，而不是简单地使用多任务学习来同时检测被操纵的图像和预测被操纵的掩模（区域）。学习的注意力地图突出信息区域，以进一步改进二进制分类（真脸与假脸），并可视化操纵区域。为了使我们的研究操纵的人脸检测和定位，我们收集了一个大规模的数据库，其中包含许多类型的面部表情。通过这个数据集，我们对数据驱动的假人脸检测进行了全面的分析。我们表明，使用一个注意力机制提高了面部伪造检测和操纵区域定位。
2020-10-24 cs.CV
