ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification
Sun Yat-sen University（中山大学）；Wuhan University（武汉大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
本研究针对面部操纵滥用的问题，提出ID-Guard通用框架，通过身份破坏模块生成跨模型可迁移扰动，可防御多种操纵模型并集成到其他任务中。
2026-07-31 cs.AI cs.CV
GoDP: Globally optimized dual pathway system for facial landmark localization in-the-wild
University of Houston（休斯顿大学）
人脸特征点定位是姿态不变人脸识别的一个基本模块。最常用的人脸标志点检测方法是级联回归，它由两个步骤组成：特征提取和人脸形状回归。最近的方法使用深度卷积网络来提取每个步骤的鲁棒特征，而整个系统可以被视为深度级联回归架构。在这项工作中，不是采用深度回归网络，而是提出了一种全局优化的双路径（GoDP）深度架构，通过解决级联像素标记问题来识别目标像素，而无需诉诸高级推理模型或复杂的堆栈架构。所提出的端到端系统依赖于距离感知的softmax函数和双通道提案细化架构。结果表明，它优于国家的最先进的级联回归为基础的方法在多个野外人脸对齐数据库。该模型在AFLW数据库上实现了1.84的归一化平均误差（NME），比3DDFA高61.8%。人脸识别实验表明，GoDP，加上DPM-headhunter，能够提高44.2%的rank-1识别率相比，Dlib工具箱在一个具有挑战性的数据库。
2017-12-19 cs.CV
Facial Landmark Machines: A Backbone-Branches Architecture with Progressive Representation Learning
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
人脸标志点定位在人脸识别和分析中起着至关重要的作用。在本文中，我们提出了一种新的级联骨干分支完全卷积神经网络~（BB-FCN）的快速，准确地定位在无约束和混乱的设置面部标志。我们提出的BB-FCN直接从原始图像生成面部标志响应图，无需任何预处理。BB-FCN遵循从粗到细的级联管道，该管道由用于粗略检测所有面部地标的位置的骨干网络和用于进一步细化其位置的每种类型的检测到的地标的分支网络组成。此外，为了方便在无约束设置下的面部标志定位，我们提出了一个大规模的基准命名为SYSU 16 K，其中包含16000张面孔的姿态，表情，照明和分辨率的变化很大。广泛的实验评估表明，我们提出的BB-FCN可以显着优于国家的最先进的约束下（即，仅在检测到的面部区域内）和不受约束的设置。我们进一步证实，我们提出的网络定位的高质量面部标志也可以提高面部检测的精度和召回率。
2018-12-10 cs.CV
Robust Facial Landmark Detection via Aggregation on Geometrically Manipulated Faces
West Virginia University（西弗吉尼亚大学）
在这项工作中，我们提出了一个实用的方法来解决面部标志点检测的问题。该方法可以处理大的形状和外观变化下丰富的形状变形。为了处理形状的变化，我们配备了我们的方法与操纵的人脸图像的聚合。所提出的框架生成不同的操纵面只使用一个给定的人脸图像。该方法利用了这样一个事实，即输入域中小而精心制作的几何操作可以欺骗深度人脸识别模型。我们提出了三种不同的方法来生成操纵的脸，其中两个通过对抗攻击和其他一个使用已知的转换执行的操作。聚合被操纵的面部提供了更鲁棒的地标检测方法，其能够捕获面部形状的更重要的变形和变化。我们的方法被证明其优越性相比，国家的最先进的方法在基准数据集AFLW，300-W，和COFW。
2020-01-07 cs.CV
Are Face Detection Models Biased?
IIT Jodhpur（印度理工学院焦特布尔分校）；IIIT Delhi（德里印度信息技术学院）
深度模型中存在的偏见会导致某些人口统计学亚组的不公平结果。偏见的研究主要集中在面部识别和属性预测，很少强调面部检测。现有的研究认为，人脸检测的二元分类成“脸”和“非脸”类。在这项工作中，我们调查可能的偏见，通过面部区域定位，这是目前尚未探索的人脸检测领域。由于面部区域定位是所有面部识别管道的基本任务，因此必须分析流行的深度模型中是否存在这种偏见。大多数现有的人脸检测数据集缺乏合适的注释，这样的分析。因此，我们对Fair Face Localization with Attributes（F2LA）数据集进行了网络策划，并手动注释了每张脸的10多个属性，包括面部定位信息。利用F2LA的大量注释，设计了一个实验装置来研究四个预训练的人脸检测器的性能。我们观察到（i）性别和肤色之间的检测准确性存在很大差异，以及（ii）人口统计学之外的混杂因素的相互作用。F2LA数据和相关注释可在http://iab-rubric.org/index.php/F2LA上访问。
2022-11-07 cs.CV
Face frontalization for Alignment and Recognition
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
最近，它被证明可以在人脸地标定位和姿态不变的人脸识别取得优异的成绩。这些突破归功于社区在许多不同姿势下手动注释面部图像和收集3D面部数据的努力。在本文中，我们提出了一种新的方法，联合人脸地标定位和正面人脸重建（姿态校正），只使用一小部分正面图像。通过观察，正面的面部图像是一个最小的排名从所有不同的姿势，我们制定了一个适当的模型，能够共同恢复面部地标，以及frontalized版本的脸。为此，解决了一个合适的优化问题，涉及核范数和矩阵$\ell_1$范数的最小化。通过在$6$人脸图像数据库上进行实验，对所提出的方法在正面人脸重建（姿态校正）、人脸标志点定位和姿态不变人脸识别与验证方面进行了评估。实验结果证明了该方法的有效性。
2015-02-03 cs.CV
Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks
National Institute of Technology Karnataka（卡纳塔克国立理工学院）
本文提出的框架的主要目标是对人的面部表情进行分类。这些可分类的表情可以是六种普遍情绪中的任何一种，以及中性情绪。在执行初始面部定位之后，应用面部界标检测和特征提取，其中界标被确定为基准特征：眉毛、眼睛、鼻子和嘴唇。这主要是使用最先进的面部标志检测算法以及分别使用Sobel滤波器和Shi Tomasi角点检测方法的传统边缘和角点检测方法来完成的。这导致生成使用欧几里德距离公式化的输入特征向量，并将其训练到多层感知器（MLP）神经网络中，以便对正在显示的表情进行分类。所取得的成果进一步处理了某些情绪的高度一致性和表达的固有主观性。
2020-07-15 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架，表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁，根据面部标志的位置，提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块，从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外，已经提出了一种自动化的免学习的面部标志检测技术，该技术实现了与其他最先进的标志检测方法类似的性能，但需要的执行时间显著减少。该方法在不同分辨率下表现良好，为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Spontaneous Emotion Recognition from Facial Thermal Images
Indian Institute of Technology（印度理工学院）
计算机视觉中的一个关键研究领域是处理和理解包含人脸的图像。最常见的任务包括人脸检测，面部标志定位，人脸识别和面部表情分析。其他更专业的任务，如情感计算，从视频中提取生命体征或分析社交互动，通常需要执行上述任务中的一项或多项。在我们的工作中，我们分析了大量的热红外图像中的面部图像处理任务，这些任务目前使用基于规则的方法解决或根本没有解决，可以用现代的基于学习的方法来解决。我们已经使用USTC-NVIE数据库进行训练的一些机器学习算法的面部标志定位。
2020-12-13 cs.CV cs.HC eess.IV
A 3D GAN for Improved Large-pose Facial Recognition
Ecole Centrale de Lyon（里昂中央理工学院）；IDEMIA
使用深度卷积神经网络的面部识别依赖于面部图像的大数据集的可用性。需要许多身份的例子，并且对于每个身份，需要大量的图像，以便网络学习对类内变化的鲁棒性。在实践中，这样的数据集是难以获得的，特别是那些包含足够的姿态变化。生成对抗网络（GANs）提供了一个潜在的解决方案，因为它们能够生成逼真的合成图像。然而，最近的研究表明，目前的方法从身份解开姿势是不够的。在这项工作中，我们将一个3D变形模型的生成器的GAN，以学习一个非线性的纹理模型，在野生图像。这允许生成新的合成身份，以及在不损害身份的情况下操纵姿势、照明和表达。我们的合成数据用于增强面部识别网络的训练，并在具有挑战性的CFP和CPLFW数据集上进行性能评估。
2021-03-31 cs.CV
Fast Landmark Localization with 3D Component Reconstruction and CNN for Cross-Pose Recognition
National Taiwan University of Science and Technology（台湾科技大学）
提出了两种用于交叉姿态人脸识别的方法，一种是基于面部部件的3D重建，另一种是基于深度卷积神经网络（CNN）。与大多数考虑整体面部的3D方法不同，所提出的方法考虑3D面部组件。它将2D图库面分割为元件，为每个元件重建3D曲面，并通过元件特征识别探测面。分割基于分层算法定位的地标，该算法结合了用于人脸检测的Faster R-CNN和用于地标定位的Reduced Tree Structured Model。基于CNN的方法的核心部分是修改的VGG网络。我们研究了训练集上不同设置的性能，包括来自3D重建的合成数据，来自野外数据库的真实数据，以及两种类型的数据组合。我们调查的网络时，它被用作分类器或设计为一个特征提取器的性能。这两种识别方法和快速地标定位进行了评估，在广泛的实验，并比较国家的最先进的方法，以证明其有效性。
2017-08-31 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Michigan State University（密歇根州立大学）
由于年龄、性别、种族等人口因素造成的影响，已经在自动面部识别系统中被广泛研究。然而，\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中，我们研究了通过生成对抗网络（GANs）诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验，使用AttGAN和STGAN故意修改13个属性，并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明，一些属性操作，包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%，需要进一步分析。
2022-09-07 cs.CV
Analysis of Adversarial Image Manipulations
Florida Institute of Technology（佛罗里达理工学院）
本文研究简单图像操纵技术对人脸识别准确性的影响，旨在应对网络图像被抓取导致的隐私风险，提出通过操纵图像降低个体被识别可能性的方法。
2023-05-10 cs.CV
AU-Blendshape for Fine-grained Stylized 3D Facial Expression Manipulation
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；North China University of Technology（华北理工大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
针对细粒度风格化3D面部表情操控缺乏合适数据集的问题，提出基于500个身份和32个标准AUs的数据集AUBlendSet及网络AUBlendNet，通过并行预测AU-Blendshape基向量实现风格化操控，有效应用于多项动画任务。
2025-07-16 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学科学计算跨学科中心）；Manchester Metropolitan University（曼彻斯特城市大学）；IMLA, Offenburg University（奥芬堡大学机器学习与分析研究所）
人脸图像处理是一个生成任务，其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而，目前的方法要么专注于纯粹的风格转移，或翻译的预定义的属性集与有限的交互性。为了解决这个问题，我们提出了FacialGAN，这是一个新颖的框架，可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时，将目标图像的各种风格转移到源图像。然后，我们将分割掩模的几何信息，以提供一个细粒度的面部属性的操作。最后，提出了一种多目标学习策略，以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验，以CelebAMask-HQ作为语义掩码标签，显示了我们的模型在风格转换，属性操作，多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性，我们提供了一个交互式开源工具来执行面部操作，以及模型的Pytorch实现。
2021-10-18 cs.CV
Information-containing Adversarial Perturbation for Combating Facial Manipulation Systems
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Hangzhou Dianzi University（杭州电子科技大学）
随着深度学习技术的发展，面部操作系统变得功能强大且易于使用。这样的系统可以修改给定面部图像的属性，例如头发颜色、性别和年龄。这些系统的恶意应用对个人的隐私和声誉构成严重威胁。现有的研究已经提出了各种方法来保护图像免受面部操作。被动防御方法的目标是检测人脸的真假，这对后验取证有效，但不能防止恶意操纵。主动防御方法通过向图像中注入对抗性扰动来破坏面部操作系统，从而预先保护图像，但无法识别图像是否是假的。针对现有方法的局限性，提出了一种新的两层保护方法--含信息对抗扰动（IAP）方法，该方法对人脸图像提供了更全面的保护。我们使用编码器将人脸图像及其身份信息映射到跨模型对抗示例，该示例可以破坏多个人脸操作系统以实现主动保护。使用解码器在对抗性示例中恢复消息可以提供被动保护，有助于来源跟踪和虚假图像检测。我们引入了一个特征级的相关性测量，它比常用的均方误差更适合于测量人脸图像之间的差异。此外，我们提出了一个频谱扩散方法来传播消息到不同的频率通道，从而提高了鲁棒性的面部操纵的消息。大量的实验结果表明，我们提出的IAP可以从对抗性示例中恢复消息，具有较高的平均准确率，并有效地破坏面部操作系统。
2023-03-21 cs.CV
Differentially Private Imaging via Latent Space Manipulation
Purdue University（普渡大学）
由于社交媒体和照片设备的普及，以及人脸识别系统的使用越来越多，人们越来越关注图像隐私。然而，已建立的图像去识别技术要么太容易重新识别，要么产生不够真实的照片，或者两者兼而有之。为了解决这个问题，我们提出了一种新的方法，通过操纵一个无条件训练的生成模型，能够合成高分辨率的照片般逼真的面部图像的潜在空间的图像模糊。该操作以满足局部差分隐私的形式隐私标准的方式进行。据我们所知，这是第一种满足$\varepsilon$ -差分隐私\emph{for the person.}的图像隐私方法
2021-04-07 cs.CR cs.CV
AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
UC San Diego（加州大学圣迭戈分校）；Qualcomm Technologies, Inc.（高通技术公司）
针对多AU强度标注数据稀缺问题，本文提出双分支AUEditNet，仅用18名受试者即可隐式解耦身份与属性，实现12个AU的精确强度操控。
2024-04-10 cs.CV
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University（南洋理工大学）
由于真实感人脸可以很容易地通过面部操纵技术生成，这些技术的潜在恶意滥用引起了极大的关注。因此，提出了许多deepfake检测方法。然而，现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现，人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作，这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果，我们强调了这一需求，并提出了一个新的研究问题，称为检测序列DeepFake操纵（Seq-DeepFake）。与现有的只需要二进制标签预测的deepfake检测任务不同，检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查，我们构建了第一个Seq-DeepFake数据集，其中人脸图像被顺序地操作，并具有相应的顺序人脸操作向量的注释。基于这个新的数据集，我们将检测Seq-DeepFake操作作为一个特定的图像到序列（例如图像描述）任务，并提出了一个简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们建立了一个全面的基准，并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果，以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Fragile Watermarking for Image Certification Using Deep Steganographic Embedding
University of Cagliari（卡利亚里大学）；Dedem S.p.A.（Dedem公司）
针对符合ICAO标准的面部图像易受篡改的问题，本研究提出基于深度隐写嵌入的脆弱水印技术，通过嵌入隐藏图像建立完整性标记，结合分类框架检测操作类型，实验证明其检测准确率高，可用于生物特征证件完整性验证。
2025-04-18 cs.CV cs.LG
LOTR: Face Landmark Localization Using Localization Transformer
Sertis Vision Lab（瑟蒂斯视觉实验室）；QIS Capital（QIS资本）；Chulalongkorn University（朱拉隆功大学）
提出了一种基于Transformer的人脸标志点定位网络Localization Transformer（LOTR）。建议的框架是一个直接的坐标回归方法，利用Transformer网络，以更好地利用空间信息的功能地图。LOTR模型由三个主要模块组成：1）将输入图像转换为特征图的视觉主干，2）改进来自视觉主干的特征表示的Transformer模块，以及3）直接从Transformer的表示预测地标坐标的地标预测头。给定裁剪和对齐的人脸图像，所提出的LOTR可以进行端到端的训练，而不需要任何后处理步骤。本文还介绍了平滑翼损失函数，它解决了梯度不连续的翼损失，导致更好的收敛比标准的损失函数，如L1，L2，和翼损失。在106点面部地标定位的第一次大挑战提供的JD地标数据集上的实验结果表明，LOTR优于排行榜上的现有方法和最近两种基于热图的方法。在WFLW数据集上，与几种最先进的方法相比，所提出的LOTR框架显示出有希望的结果。此外，我们报告了使用我们提出的LOTR进行人脸对齐时，最先进的人脸识别性能的改善。
2022-02-22 cs.AI cs.CV cs.LG
Toward Fine-grained Facial Expression Manipulation
Shanghai Jiao Tong University（上海交通大学）
人脸表情操作的目的是在给定的条件下编辑人脸表情。先前的方法在离散情感标签或绝对条件（例如，面部动作单元）以拥有期望的表情。然而，这些方法要么遭受不断变化的条件无关的区域，或者是低效率的细粒度编辑。在这项研究中，我们考虑到这两个目标，并提出了一种新的方法。首先，我们用相对条件，具体地说，相对动作单位来代替连续的绝对条件。通过相对动作单元，生成器学习仅变换由非零值相对AU指定的感兴趣区域。其次，我们的生成器是建立在U-Net上的，但通过多尺度特征融合（MSF）机制进行了加强，以实现高质量的表达式编辑目的。大量的定量和定性评价实验表明，我们提出的方法相比，国家的最先进的表达编辑方法的改进。代码可在\url{https://github.com/junleen/Expression-manipulator}上获得。
2020-12-04 cs.CV
Exploring Talking Head Models With Adjacent Frame Prior for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；Peking University（北京大学）；Sun Yat-sen University（中山大学）
本文提出THFEM框架，结合AD-THG模型与SPFEM，通过相邻帧学习策略提升语音保留的面部表情操纵效果。
2026-01-19 cs.CV
TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）
面部操纵方法可能被滥用，以影响个人的隐私或传播虚假信息。为此，我们引入了一种新的数据驱动的方法，产生嵌入在原始图像中的图像特定的扰动。关键的想法是，这些受保护的图像通过使操纵模型产生预定义的操纵目标（在我们的情况下是均匀着色的输出图像）而不是实际操纵来防止面部操纵。此外，我们建议利用可微压缩近似，从而使生成的扰动强大的常见的图像压缩。为了防止多个操作方法同时进行，我们进一步提出了一种新的基于注意力的融合操作特定的扰动。与单独优化每个图像的噪声模式的传统对抗攻击相比，我们的广义模型只需要一个前向传递，从而更快地运行数量级，并允许轻松集成在图像处理堆栈中，即使在智能手机等资源受限的设备上。
2022-07-25 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS（新里斯本大学计算机科学与信息学实验室）；Universidad Autonoma de Madrid（马德里自治大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统，深入分析相关文献，评估现有检测方法在无约束场景下的性能，并发布iFakeFaceDB数据库，指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
Subpixel Heatmap Regression for Facial Landmark Localization
Samsung AI Center（三星人工智能中心）；Queen Mary University London（伦敦玛丽女王大学）
基于热图回归的深度学习模型已经彻底改变了面部标志定位的任务，现有模型在大姿态、非均匀照明和阴影、遮挡和自遮挡、低分辨率和模糊的情况下都能稳健地工作。然而，尽管它们被广泛采用，但热图回归方法遭受与热图编码和解码过程相关的离散化引起的错误。在这项工作中，我们表明，这些错误有一个令人惊讶的大的负面影响，面部对齐精度。为了缓解这个问题，我们提出了一种利用底层连续分布进行热图编码和解码过程的新方法。为了充分利用新提出的编码-解码机制，我们还引入了一种基于Siamese的训练，该训练可以在各种几何图像变换中强制执行热图一致性。我们的方法在多个数据集上提供了显着的收益，在面部标志定位方面创造了新的最先进的结果。预训练模型旁边的代码将在https://www.adrianbulat.com/face-alignment上提供
2021-11-03 cs.CV
SARGAN: Spatial Attention-based Residuals for Facial Expression Manipulation
University of the Punjab（旁遮普大学）
基于编码器-解码器的体系结构已广泛应用于用于面部操作的生成对抗网络的生成器中。然而，我们观察到，目前的架构无法恢复输入图像的颜色，丰富的面部细节，如肤色或纹理，并引入文物以及。在本文中，我们提出了一种新的方法命名为SARGAN，从三个角度来解决上述限制。首先，我们采用了基于空间注意力的残差块，而不是香草残差块，以正确地捕捉表情相关的功能，而保持其他功能不变。其次，我们利用对称的编码器-解码器网络在多个尺度上关注面部特征。第三，我们提出了训练具有剩余连接的完整网络，该剩余连接减轻了生成器生成输入面部图像的压力，从而通过直接向生成器的末端馈送输入图像来产生期望的表情。定性和定量的实验结果表明，我们提出的模型表现明显优于国家的最先进的方法。此外，现有的模型需要更大的数据集进行训练，但它们的性能在分布外的图像上会下降。相比之下，SARGAN可以在较小的面部表情数据集上进行训练，该数据集可以很好地概括包括人类照片，肖像，头像和雕像在内的分发图像。
2023-03-30 cs.CV
Reasoning Structural Relation for Occlusion-Robust Facial Landmark Localization
Shanghai University（上海大学）
在人脸特征点定位任务中，由于人脸特征的部分可观测性，各种遮挡严重降低了定位精度。本文提出了一种结构关系网络（SRN）的遮挡鲁棒的地标定位。与大多数现有的方法，简单地利用形状约束，建议SRN的目的是捕捉不同的面部组件之间的结构关系。这些关系可以被认为是针对遮挡的更强大的形状约束。为了实现这一点，一个层次结构关系模块（HSRM）的目的是分层原因的结构关系，代表长距离和短距离的空间依赖。与现有的网络结构相比，HSRM可以有效地利用其几何感知的网络结构，减少了由遮挡引起的语义歧义的空间关系建模。此外，SRN通过合成遮挡的面部来增强训练数据。为了进一步扩展我们的SRN为闭塞的视频数据，我们制定了闭塞的脸合成为马尔可夫决策过程（MDP）。具体而言，它基于与预先训练的SRN的性能降级相关联的累积奖励来规划动态遮挡的移动。该过程增加了用于鲁棒面部地标跟踪的硬样本。大量的实验结果表明，所提出的方法取得了出色的性能遮挡和掩盖的脸。代码可在https://github.com/zhuccly/SRN上获得。
2021-12-19 cs.CV
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media（网络与数字媒体系）；Kingston University（金史密斯大学）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Westminster（威斯敏斯特大学）
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台，生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV
Structure-aware Editable Morphable Model for 3D Facial Detail Animation and Manipulation
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）；SenseTime Research（商汤科技研究院）
可变形模型对于3D人脸的统计建模是必不可少的。以往的形变模型研究主要集中在大规模的人脸几何模型上，而忽略了人脸的细节。本文通过学习一种结构感知的可编辑变形模型（SEMM），增强了变形模型对面部细节的表达能力。SEMM引入了基于皱纹线距离场的细节结构表示，与细节位移联合建模，以建立更好的对应关系，并使皱纹结构的直观操作成为可能。此外，SEMM引入了两个转换模块，将表达式融合变形权重和年龄值转换为潜在空间的变化，从而在保持身份的同时实现有效的语义细节编辑。实验结果表明，该模型能较好地表现人脸的细节，在表情动画的定性和定量方面均优于已有的方法，并能有效地实现人脸细节的年龄编辑和皱纹线编辑。代码和模型可在https://github.com/gerwang/facial-detail-manipulation上获得。
2022-07-19 cs.CV cs.GR
Unconstrained Facial Landmark Localization with Backbone-Branches Fully-Convolutional Networks
本文研究了如何在无约束、杂乱的环境中而不是在分割好的人脸图像中快速准确地定位人脸标志点。我们提出了一种新的骨干-分支全卷积神经网络（BB-FCN），它直接从原始图像产生面部标志响应图，而不依赖于预处理或滑动窗口的方法。BB-FCN包含一个主干和多个网络分支，每个分支对应一个地标类型，并以渐进的方式运行。具体而言，主干通过将整个图像作为输入来粗略地检测面部标志的位置，并且分支基于来自主干的中间特征图的局部观察来进一步细化定位。此外，我们的主干分支架构不包含用于位置回归的全连接层，从而实现有效的学习和推理。我们广泛的实验表明，我们的模型在约束（即人脸区域）和“野外”场景下都取得了优于其他国家的最先进的性能。
2016-04-14 cs.CV
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而，现有的方法需要详尽地标记训练数据，这需要劳动力，难以扩大规模，并且难以迁移到新的领域。为了克服这样一个关键限制，我们提出了稀疏分组生成对抗网络（SG-GAN）作为一种新方法，可以在稀疏分组的数据集上翻译图像，其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构，非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点，我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明，SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果，并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取：https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
Selective manipulation of disentangled representations for privacy-aware facial image processing
Ghent University（根特大学）；imec（比利时微电子研究中心）
摄像头传感器越来越多地与机器学习相结合，以执行智能监控等各种任务。由于其计算复杂性，这些机器学习算法中的大多数都被卸载到云端进行处理。然而，用户越来越担心隐私问题，如功能蠕变和第三方云提供商的恶意使用。为了缓解这一问题，我们提出了一个基于边缘的过滤阶段，在传感器数据传输到云端之前删除隐私敏感属性。我们使用最先进的图像处理技术，利用解开表示，以实现隐私过滤。我们定义了选择加入和选择退出过滤器操作，并评估其有效性，从人脸图像中过滤私人属性。此外，我们研究自然发生的相关性和残留信息的过滤效果。我们发现这些结果很有希望，并相信这有助于进一步研究如何将图像处理用于隐私保护。
2022-08-26 cs.CV
Robust Facial Landmark Localization Based on Texture and Pose Correlated Initialization
Wuhan University of Technology（武汉理工大学）；Griffith University（格里菲斯大学）
鲁棒的面部地标定位仍然是一个具有挑战性的任务时，面部部分遮挡。近年来，级联姿态回归算法由于其在人脸标志点定位和遮挡检测方面的优异性能而受到越来越多的关注。然而，这种方法对初始化敏感，其中不正确的初始化可以严重降低性能。在本文中，我们提出了一个鲁棒的级联姿态回归（RICPR）提供纹理和姿态相关的初始形状的测试脸。通过检测测试人脸和训练人脸的局部二值模式直方图的相关性，选择与测试人脸相关性最高的训练人脸形状作为纹理相关初始化。为了使初始化对各种姿态更具鲁棒性，我们根据多任务级联卷积网络定位的五个基准点来估计测试人脸的粗略姿态。然后利用平均人脸形状和粗测试人脸姿态构造姿态相关的初始形状。最后，纹理相关和姿态相关的初始形状连接在一起作为鲁棒初始化。我们评估了具有挑战性的COFW数据集上的RICPR。实验结果表明，该方法在人脸标志点定位和遮挡检测方面取得了比现有方法更好的性能。
2018-05-15 cs.CV
GAN-based Facial Attribute Manipulation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Merced（加州大学默塞德分校）
人脸属性操作（FAM）旨在对给定的人脸图像进行美学修改以呈现期望的属性，由于其广泛的实际应用，从数字娱乐到生物识别取证，受到了极大的关注。在过去的十年中，随着生成对抗网络（GANs）在合成逼真图像方面的显着成功，已经提出了许多基于GAN的模型来解决FAM，其中包括各种问题制定方法和指导信息表示。本文对基于GAN的FAM方法进行了全面的综述，重点总结了它们的主要动机和技术细节。本次调查的主要内容包括：（i）介绍与FAM相关的研究背景和基本概念，（ii）系统地回顾基于GAN的FAM方法的三个主要类别，（iii）深入讨论FAM方法的重要属性，开放问题和未来的研究方向。这项调查不仅为新进入该领域的研究人员建立了一个良好的起点，也为视觉社区提供了参考。
2022-10-23 cs.CV
Fast Localization of Facial Landmark Points
University of Zagreb（萨格勒布大学）；Linköping University（林雪平大学）
尽管最近做出了努力，但是诸如眼角或鼻尖的显著面部标志点的定位仍然被认为是具有挑战性的计算机视觉问题。这在不受约束的环境中尤其明显，即，在存在背景杂波和大的头部姿势变化的情况下。大多数达到最先进精度的方法都很慢，因此应用范围有限。我们描述了一种方法，可以准确地估计相关的面部标志的位置，即使在硬件上的实时处理能力有限，如移动设备。这是实现与一系列的估计的基础上集成的回归树。这些树在其内部节点中使用简单的像素强度比较，这使得它们能够非常快速地处理图像区域。我们在几个公开的数据集上测试了所开发的系统，并分析了其在各种设备上的处理速度。实验结果表明，该方法具有实用价值。
2015-01-20 cs.CV
Effects of Image Compression on Face Image Manipulation Detection: A Case Study on Facial Retouching
Hochschule Darmstadt（达姆施塔特应用科学大学）
在过去的几年中，已经引入了许多方法来可靠地检测数字人脸图像操纵。最近，这些计划的普遍性受到质疑，特别是在图像后处理方面。图像压缩是一种后处理技术，广泛应用于生物识别领域。严重的压缩可能会消除面部图像操纵的数字痕迹，从而妨碍对其的可靠检测。在这项工作中，图像压缩的人脸图像篡改检测的影响进行了分析。特别是，一个案例研究的影响下的图像压缩的面部修饰检测。为此，两个公共人脸数据库的ICAO兼容子集用于自动创建一个包含9，000多个修饰参考图像以及无约束探针图像的数据库。随后，以推荐用于电子旅行文档中的面部图像存储的压缩级别，应用JPEG和JPEG 2000来压缩参考图像。新的检测算法，利用纹理描述符和深层人脸表示提出和评估在一个单一的图像和差分场景。从具有挑战性的跨数据库实验中获得的结果，其中所分析的修饰技术在训练期间是未知的，产生了有趣的发现：（1）对于采用深度人脸表示的差分场景，实现了最有竞争力的检测性能;（二）图像压缩严重影响了基于纹理描述符的人脸图像操作检测方案的性能，非常健壮;（3）在某些情况下，图像压缩的应用也可以提高检测性能。
2021-03-05 cs.CV
LatRef-Diff: Latent and Reference-Guided Diffusion for Facial Attribute Editing and Style Manipulation
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering（广东信息安全技术重点实验室和计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus（深圳校区网络科学与技术学院）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering（广东机器感知与智能计算实验室，工程学院）
本文提出LatRef-Diff，通过潜在和参考引导方法改进面部属性编辑和风格操控，解决传统扩散模型在属性控制和风格操控中的不足，采用风格代码和模块化设计提升精度和图像质量。
2026-04-23 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
Initiative Defense against Facial Manipulation
University of Science and Technology in China（中国科学技术大学）
得益于生成对抗网络（GAN）的发展，近年来人脸操控在学术界和工业界都取得了重大进展。它激发了越来越多的娱乐应用，但同时也对个人隐私甚至政治安全造成了严重威胁。为了减轻这种风险，已经提出了许多对策。然而，绝大多数方法都是被动的，即检测人脸图像或视频是否被篡改后，他们广泛传播。这些基于检测的方法有一个致命的局限性，即它们只能用于事后取证，而不能防止恶意行为的产生。为了解决这个问题，在本文中，我们提出了一个新的框架主动防御恶意用户控制的面部操纵模型的性能下降。其基本思想是在操作之前主动向目标面部数据注入难以察觉的毒液。为此，我们首先用一个代理模型来模拟目标操纵模型，然后设计一个毒液扰动发生器来获得所需的毒液。交替训练策略被进一步利用来训练所述代理模型和所述扰动生成器两者。在我们的主动防御框架中，考虑了两种典型的面部操作任务：面部属性编辑和面部再现。大量的实验表明，我们的框架在不同的设置的有效性和鲁棒性。最后，我们希望这项工作可以揭示一些针对更具对抗性的场景的主动对策。
2021-12-19 cs.AI cs.CV
Deep Semantic Manipulation of Facial Videos
University of Exeter（埃克塞特大学）；Foundation for Research & Technology - Hellas（希腊研究与技术基金会）
编辑和操纵视频中的面部特征是一个有趣而重要的研究领域，具有大量的应用，从电影后期制作和视觉效果到视频游戏和虚拟助手的逼真化身。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操作。我们专注于通过改变和控制面部表情的视频的交互式操作，实现有希望的逼真效果。所提出的方法是基于解纠缠表示和估计的3D面部形状和活动，为用户提供直观和易于使用的控制输入视频中的面部表情。我们还引入了一个用户友好的交互式AI工具，该工具处理输入视频特定部分中所需的表达操作的人类可读语义标签，并合成逼真的操作视频。我们通过将情绪标签映射到Valence-Arousal空间上的点来实现这一点（其中Valence量化了情绪的积极或消极程度，Arousal量化了情绪激活的力量），这些情绪标签又通过专门设计和训练的表情解码器网络映射到解开的3D面部表情。本文提出了详细的定性和定量实验，证明了我们的系统的有效性和可喜的成果，它取得了。
2022-10-17 cs.AI cs.CV
Separable Batch Normalization for Robust Facial Landmark Localization with Cross-protocol Network Training
一个大的、多样的、均衡的训练数据是深度神经网络训练成功的关键。然而，现有的公开可用的数据集用于面部标志定位通常比用于其他计算机视觉任务的数据集小得多。一个小的数据集如果没有多样和均衡的训练样本，就不能有效地支持深度网络的训练。为了解决上述问题，本文提出了一种新的可分离的批量归一化（SepBN）模块与跨协议网络训练（CNT）的鲁棒的面部标志定位策略。与使用所有训练数据来计算单个参数集的标准BN层不同，SepBN考虑训练数据集的样本可能属于不同的子域。因此，所提出的SepBN模块使用多组参数，每组参数对应于特定子域。然而，在推理阶段选择适当的分支仍然是一个具有挑战性的任务，因为测试样本的子域是未知的。为了减轻这种困难，我们提出了一种新的注意力机制，分配不同的权重，以有效的风格自动选择每个分支。作为进一步的创新，所提出的CNT策略使用具有不同面部地标标注系统的多个数据集来训练网络，从而提高了训练网络的性能并增强了泛化能力。在几个知名数据集上的实验结果证明了该方法的有效性。
2021-01-17 cs.CV
Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Sun Yat-sen University（中山大学）
本文提出STCCL算法，通过空间和时间一致的相关性学习，在保持语音内容面部动画的同时操控面部表情。
2026-04-22 cs.CV
Joint Voxel and Coordinate Regression for Accurate 3D Facial Landmark Localization
Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT), CAS（中国科学院脑科学与智能技术卓越创新中心）
3D人脸形状比2D人脸形状更具表现力和视点一致性。然而，在一个单一的图像中的3D面部标志定位是具有挑战性的，由于在3D视角下的标志的模糊性。现有的方法通常采用次优的两步策略，执行二维地标定位，然后进行深度估计。在本文中，我们提出了联合体素和坐标回归（JVCR）方法的三维面部标志定位，解决它更有效地在一个端到端的方式。首先，提出了一种紧凑的体积表示来编码每体素的位置是3D地标的可能性。这种表示的维数是固定的，与目标地标的数量无关，从而可以避免维数灾难。然后，采用堆叠沙漏网络从粗到细估计体积表示，然后采用3D卷积网络，将估计的体积作为输入并回归面部形状的3D坐标。以这种方式，可以通过神经网络以更有效的方式学习界标之间的3D结构约束。此外，所提出的流水线实现了端到端的训练，并提高了3D面部标志定位的鲁棒性和准确性。在3DFAW和AFLW 2000 -3D数据集上验证了该方法的有效性。实验结果表明，该方法实现了最先进的性能与现有的方法相比。
2018-01-28 cs.CV
FaceForensics++: Learning to Detect Manipulated Facial Images
Technical University of Munich（慕尼黑工业大学）；University Federico II of Naples（那不勒斯费德里科二世大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
合成图像生成和操作的快速发展现在已经到了一个地步，它对社会的影响提出了重大的关注。充其量，这会导致人们对数字内容失去信任，但可能会通过传播虚假信息或假新闻造成进一步的伤害。本文探讨了最先进的图像处理的现实主义，以及如何难以检测到它们，无论是自动或由人类。为了规范检测方法的评估，我们提出了一个自动基准面部操作检测。特别是，该基准基于DeepFakes，Face2Face，FaceSwap和NeuralTextures作为随机压缩级别和大小的面部操作的突出代表。该基准测试是公开的，包含一个隐藏的测试集以及一个超过180万张操纵图像的数据库。这个数据集比可比的、公开可用的伪造数据集大一个数量级。基于这些数据，我们对数据驱动的伪造检测器进行了全面的分析。我们表明，使用额外的特定领域的知识提高伪造检测到前所未有的准确性，即使在存在强大的压缩，并明显优于人类观察员。
2019-08-26 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham（诺丁汉大学）
本文解决了两个具有挑战性的任务：提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此，我们做出了以下5个贡献：（a）我们提出了Super-FAN：第一个同时解决这两个任务的端到端系统，即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐，从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像（如先前的工作）上，而且在整个面部姿势谱上，不仅在合成低分辨率图像（如先前的工作）上，而且在真实世界图像上，都取得了良好的结果，来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构，以改善最先进的人脸超分辨率。(d)量化，我们表现出很大的改善，在国家的最先进的人脸超分辨率和对齐。(e)质量，我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
Semantic Facial Expression Editing using Autoencoded Flow
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Chinese University of Hong Kong（香港中文大学）；Google Inc.（谷歌公司）
对图像中的面部表情进行高级操作（例如将微笑改变为中性表情）是具有挑战性的，因为面部表情的变化是高度非线性的，并且根据面部的外观而变化。我们提出了一种全自动的方法来编辑的面孔，结合了基于流的人脸操作的优势与最近的生成能力的变分自编码器（VAE）。在训练过程中，我们的模型学习在低维潜在空间上编码从一个表达式到另一个表达式的流。在测试时，表达式编辑可以简单地使用潜在向量算法来完成。我们评估我们的方法在两个应用程序：1）单图像的面部表情编辑，和2）两个图像之间的面部表情插值。我们证明，我们的方法生成的图像比以前的VAE和基于流的方法更高的感知质量。
2016-11-30 cs.CV
ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation
Peking University（北京大学）
本文提出ChatFace，通过对齐扩散模型时间特征与语义条件，在语义潜空间中实现文本引导的零样本真实人脸精确编辑，并结合LLM支持对话式多属性操纵。
2023-06-05 cs.CV
LEGAN: Disentangled Manipulation of Directional Lighting and Facial Expressions by Leveraging Human Perceptual Judgements
Affectiva（Affectiva公司）；Amazon（亚马逊公司）；Silver Spoon Animation（银匙动画公司）；SureStart（SureStart公司）
构建概括光照和面部表情的极端变化的面部分析系统是一个具有挑战性的问题，可以使用看起来自然的合成数据来缓解。为此，我们提出了LEGAN，一种新的合成框架，利用感知质量的判断，共同操纵照明和面部图像中的表情，而不需要配对的训练数据。LEGAN将光照和表情子空间分开，并在放大到所需的输出图像之前在特征空间中执行变换。合成图像的保真度通过将感知质量估计模型（使用使用多种合成方法渲染的面部图像及其众包自然度评级进行训练）作为辅助模型集成到LEGAN框架中来进一步细化。使用客观的指标，如FID和LPIPS，LEGAN被证明可以生成更高质量的人脸图像时，与流行的GAN模型，如StarGAN和StarGAN-v2的照明和表情合成。我们还进行了感知研究，使用LEGAN和其他GAN模型合成的图像，并显示我们的质量估计和视觉保真度之间的相关性。最后，我们证明了LEGAN作为表情识别和人脸验证任务的训练数据增强器的有效性。
2021-06-18 cs.CV
Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
本文提出协同特征学习方法，同时进行人脸伪造检测与细粒度篡改区域分割，并构建含像素级标注的整脸与局部伪造数据集，实验证明检测与分割可相互促进且性能优于现有方法。
2023-04-17 cs.CV
My Face Is Mine, Not Yours: Facial Protection Against Diffusion Model Face Swapping
City University of Hong Kong（香港城市大学）；University of St Andrews（圣安德鲁斯大学）
本文提出一种针对扩散模型换脸的主动防御策略，通过对抗性攻击预防性保护面部图像，克服现有方法依赖特定架构和全局扰动的局限。
2025-05-21 cs.CV
Generalized Facial Manipulation Detection with Edge Region Feature Extraction
Sungkyunkwan University（成均馆大学）
提出了一种基于图像边缘区域特征的人脸篡改检测方法。目前的人脸合成方法大多数都包含了减少颜色不协调的处理，但是在边缘区域会破坏自然指纹。另外，在非面部背景区域中不进行这些颜色校正处理。我们还观察到，合成过程不考虑出现在时域中的图像的自然属性。考虑到这些意见，我们提出了一个面部法医框架，利用像素级的颜色特征出现在整个图像的边缘区域。此外，我们的框架包括一个3D-CNN分类模型，该模型在空间和时间上解释提取的颜色特征。与其他现有的研究不同，我们通过考虑从一个视频中的多个帧中提取的所有特征来进行真实性确定。通过广泛的实验，包括真实世界的场景来评估广义检测能力，我们表明，我们的框架在准确性和鲁棒性方面优于最先进的面部操作检测技术。
2021-12-01 cs.AI cs.CV
Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）
本文提出PCMECL算法，通过个性化提示和特征差分提升跨模态对齐，解决面部表情操控中情感操控的监督问题。
2026-04-28 cs.CV
