Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Sun Yat-sen University（中山大学）
本文提出STCCL算法，通过空间和时间一致的相关性学习，在保持语音内容面部动画的同时操控面部表情。
2026-04-22 cs.CV
LEGAN: Disentangled Manipulation of Directional Lighting and Facial Expressions by Leveraging Human Perceptual Judgements
Affectiva（Affectiva公司）；Amazon（亚马逊公司）；Silver Spoon Animation（银匙动画公司）；SureStart（SureStart公司）
构建概括光照和面部表情的极端变化的面部分析系统是一个具有挑战性的问题，可以使用看起来自然的合成数据来缓解。为此，我们提出了LEGAN，一种新的合成框架，利用感知质量的判断，共同操纵照明和面部图像中的表情，而不需要配对的训练数据。LEGAN将光照和表情子空间分开，并在放大到所需的输出图像之前在特征空间中执行变换。合成图像的保真度通过将感知质量估计模型（使用使用多种合成方法渲染的面部图像及其众包自然度评级进行训练）作为辅助模型集成到LEGAN框架中来进一步细化。使用客观的指标，如FID和LPIPS，LEGAN被证明可以生成更高质量的人脸图像时，与流行的GAN模型，如StarGAN和StarGAN-v2的照明和表情合成。我们还进行了感知研究，使用LEGAN和其他GAN模型合成的图像，并显示我们的质量估计和视觉保真度之间的相关性。最后，我们证明了LEGAN作为表情识别和人脸验证任务的训练数据增强器的有效性。
2021-06-18 cs.CV
On the Detection of Digital Face Manipulation
Michigan State University（密歇根州立大学）
检测被操纵的面部图像和视频是数字媒体取证中越来越重要的主题。随着先进的人脸合成和操作方法的出现，正在创建新型的假脸表示，这引起了人们对它们在社交媒体中使用的严重关注。因此，它是至关重要的，以检测被操纵的人脸图像和定位被操纵的区域。我们提出利用注意力机制来处理和改进分类任务的特征图，而不是简单地使用多任务学习来同时检测被操纵的图像和预测被操纵的掩模（区域）。学习的注意力地图突出信息区域，以进一步改进二进制分类（真脸与假脸），并可视化操纵区域。为了使我们的研究操纵的人脸检测和定位，我们收集了一个大规模的数据库，其中包含许多类型的面部表情。通过这个数据集，我们对数据驱动的假人脸检测进行了全面的分析。我们表明，使用一个注意力机制提高了面部伪造检测和操纵区域定位。
2020-10-24 cs.CV
PortraitGAN for Flexible Portrait Manipulation
University of Southern California（南加利福尼亚大学）；Emory University（埃默里大学）
以前的方法已经处理了离散操作的面部属性，如微笑，悲伤，愤怒，惊讶等，规范的表情，他们是不可扩展的，在单一的模态操作。在本文中，我们提出了一个新的框架，支持使用对抗学习的连续编辑和多模态肖像操作。具体来说，我们适应周期一致性的条件设置，利用额外的面部标志信息。这有两个影响：第一循环映射引起双向操纵和身份保持;因此可以利用来自不同模态的第二配对样本。为了确保高质量的合成，我们采用了纹理损失，加强纹理一致性和多级对抗监督，促进梯度流。定量和定性的实验表明，我们的框架在执行灵活和多模态人像操作与照片般逼真的效果的有效性。
2018-12-18 cs.CV
Detecting Facial Image Manipulations with Multi-Layer CNN Models
Facephi Research Laboratory（Facephi研究实验室）；University of Alicante（阿利坎特大学）
针对数字图像篡改难识别的问题，本研究构建三种复杂度递增的CNN模型并引入正则化优化，人脸篡改检测准确率最高达76%，优于传统方法，为低算力场景的媒体验证提供参考。
2024-12-09 cs.AI cs.CV
Facelet-Bank for Fast Portrait Manipulation
The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Tencent Youtu Lab（腾讯优图实验室）
随着智能手机和社交网络的普及，数字面部操作已经成为一种流行且迷人的触摸图像的方式。由于用户偏好、面部表情和配件种类繁多，因此需要一个通用且灵活的模型来适应不同类型的面部编辑。在本文中，我们提出了一个模型，以实现这一目标的基础上，端到端的卷积神经网络，支持快速推理，编辑效果控制，快速部分模型更新。此外，该模型从具有不同属性的未配对图像集学习。实验结果表明，我们的框架可以处理广泛的表情，配件和化妆效果。它以快速的速度产生高分辨率和高质量的结果。
2018-03-30 cs.CV
MFIM: Megapixel Facial Identity Manipulation
Kakao Brain
提出新型人脸替换框架MFIM，利用预训练StyleGAN生成百万像素图像，并通过3DMM显式监督身份转换，同时引入ID mixing操作支持自定义新身份。
2023-08-03 cs.CV cs.LG
MaskGAN: Towards Diverse and Interactive Facial Image Manipulation
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
人脸图像处理技术近年来取得了很大的进展。然而，以前的方法要么在预定义的一组面部属性上操作，要么让用户几乎没有交互操作图像的自由。为了克服这些缺点，我们提出了一个名为MaskGAN的新框架，实现了多样化和交互式的人脸操作。我们的关键见解是，语义面具作为一个合适的中间表示灵活的面部操作与保真度的保护。MaskGAN有两个主要组件：1）密集映射网络（DMN）和2）编辑行为模拟训练（EBST）。具体地，DMN学习自由形式的用户修改的掩模和目标图像之间的风格映射，从而实现多样化的生成结果。EBST对源掩码上的用户编辑行为进行建模，使整个框架对各种操纵输入更加健壮。具体地说，它引入了双重编辑一致性作为辅助监督信号。为了便于广泛的研究，我们构建了一个大规模的高分辨率人脸数据集与细粒度掩模注释命名为CelebAMask-HQ。MaskGAN在两个具有挑战性的任务上进行了全面评估：属性转移和样式复制，表现出优于其他最先进方法的性能。代码、模型和数据集可在https://github.com/switchablenorms/CelebAMask-HQ上获得。
2020-04-01 cs.CV cs.GR cs.LG
Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation
Huazhong University of Science and Technology（华中科技大学）；Tencent（腾讯）；East China Normal University（华东师范大学）
近年来，基于StyleGAN的图像操作越来越受到人们的关注。最近的工作在分析几个语义潜在空间以编辑生成图像的属性方面取得了巨大的成功。然而，由于这些潜在空间中的语义和空间操作精度有限，现有的努力在细粒度的StyleGAN图像操作中失败了，即，为了解决这个问题，我们发现了特定于属性的控制单元，它由多个通道的特征映射和调制样式组成。具体来说，我们协同操纵调制风格的通道和控制单元，而不是单独的功能图，以获得语义和空间的解纠缠控制。此外，我们提出了一个简单而有效的方法来检测特定属性的控制单元。我们沿着特定的稀疏方向向量移动调制样式，并替换用于计算特征图的滤波器样式以操纵这些控制单元。我们评估我们提出的方法在各种人脸属性操作任务。大量的定性和定量结果表明，我们提出的方法表现良好，对国家的最先进的方法。实际图像的处理结果进一步证明了该方法的有效性。
2021-11-25 cs.CV
3D Guided Fine-Grained Face Manipulation
Stanford University（斯坦福大学）；Snap Inc.（Snap公司）
我们提出了一种细粒度的人脸操作方法。给定一幅具有任意表情的人脸图像，我们的方法可以合成同一个人的另一个任意表情。这是通过首先拟合3D面部模型，然后将面部分解为纹理和形状来实现的。然后我们在这两个空间中学习不同的网络。在纹理空间中，我们使用条件生成网络来改变外观，并精心设计输入格式和损失函数，以达到最佳效果。在形状空间中，我们使用完全连接的网络来预测准确的形状，并使用可用的深度数据进行监督。这两个网络都以表达式系数而不是离散标签为条件，使我们能够生成无限数量的表达式。我们通过定量和定性的研究表明这种解开方法的优越性。在用户研究中，与最近的工作相比，我们的方法在85%的情况下是首选的。与地面实况相比，注释者无法可靠地区分我们的合成图像和真实图像，在53%的情况下更喜欢我们的方法。
2019-02-24 cs.CV
Contrastive Decoupled Representation Learning and Regularization for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Sun Yat-sen University（中山大学）
本文提出对比解耦表示学习算法CDRL，通过CCRL和CERL模块分别学习内容与情绪先验并解耦表示，以监督SPFEM生成过程，实现更准确的情绪操控和音唇同步。
2025-04-08 cs.CV cs.SD
Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation
BUAA（北京航空航天大学）；KAUST（卡塔尔大学）
本文提出MMFA方法，通过无监督关键点定位解耦身份语义与运动信息，实现可控的面部动画生成与表达操控。
2026-03-04 cs.CV
BFA: Best-Feature-Aware Fusion for Multi-View Fine-grained Manipulation
MEGVII Technology（MEGVII技术公司）；Waseda University（早稻田大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Beihang University（北航大学）
本文提出即插即用的最佳特征感知（BFA）融合策略，通过轻量级网络预测多视角重要性分数并融合特征，解决细粒度操作中的视觉冗余问题，成功率较基线提升22-46%。
2025-06-28 cs.CV cs.RO
Fine-grained Multiple Supervisory Network for Multi-modal Manipulation Detecting and Grounding
针对多模态媒体篡改检测与定位任务，提出细粒度多重监督网络，通过模态可靠性、单模态内部及跨模态三重监督，有效提升检测性能。
2025-08-04 cs.CV
DLGAN: Disentangling Label-Specific Fine-Grained Features for Image Manipulation
Peking University（北京大学）
最近的研究表明，如何将图像分解为内容和特征空间可以提供可控的图像翻译/操作。在本文中，我们提出了一个框架，使利用离散多标签来控制哪些功能要解开，即，解开标签特定的细粒度图像处理功能（称为DLGAN）。通过将离散的标签特定属性特征映射到连续的先验分布中，我们利用离散标签和参考图像的优势，以混合方式实现图像操作。例如，给定面部图像数据集（例如，CelebA）与多个离散的细粒度标签，我们可以学习通过参考图像在黑发和金发之间平滑地插入面部图像，同时通过离散输入标签立即控制性别和年龄。据我们所知，这是第一个在单一模型中实现这种混合操作的工作。更重要的是，它是第一个工作，实现图像插值两个不同的领域之间，而不需要连续的标签作为监督。定性和定量实验验证了该方法的有效性。
2020-08-25 cs.CV cs.LG
Towards Generalizable and Robust Face Manipulation Detection via Bag-of-local-feature
University of Science and Technology of China（中国科学技术大学）
近年来，为了解决人脸操纵技术被恶意滥用的问题，人脸操纵检测技术得到了相当的重视并取得了显著的进展。然而，大多数现有的方法都有很差的推广能力和鲁棒性。本文提出了一种新的人脸操作检测方法，该方法利用局部特征袋提高了人脸操作检测的泛化能力和鲁棒性。具体来说，我们扩展Transformers使用袋的功能的方法来编码补丁间的关系，使其能够学习本地伪造功能，而无需任何明确的监督。大量的实验表明，我们的方法可以在FaceForensics++，Celeb-DF和DeeperForensics-1.0数据集上胜过竞争对手的最先进的方法。
2021-03-14 cs.CV
Detecting Localized Deepfake Manipulations Using Action Unit-Guided Video Representations
Indian Institute of Technology Madras（印度马德拉斯理工学院）
针对深度伪造视频中局部编辑难以检测的问题，提出基于面部动作单元引导时空表示的检测方法，融合pretext任务学习的表示，在多种场景下准确率超现有方法20%，鲁棒性强。
2025-04-13 cs.CV
Deep Fake Detection: Survey of Facial Manipulation Detection Solutions
AITR（阿克罗波利斯技术与研究学院）
深度学习作为一个领域已经成功地用于解决大量复杂的问题，这是我们几十年前无法想象的。但是，尽管它带来了很多好处，但它仍然可以被用来给我们的社会带来危害。深度伪造已被证明是这样一个问题，现在比以往任何时候都更重要的是，当任何人都可以简单地使用智能手机上的应用程序创建虚假图像或视频时，需要采取一些对策，我们可以检测图像或视频是假的还是真的，并处理威胁在线信息可信度的问题。虽然由神经网络创建的深度伪造看起来像真实的图像或视频一样真实，但在适度之后，它仍然留下空间和时间痕迹或签名，这些签名虽然对人眼不可见，但可以在经过训练专门用于深度伪造检测的神经网络的帮助下检测到。在本文中，我们分析了几个这样的国家的艺术神经网络（MesoNet，ResNet-50，VGG-19和Xception Net）并将它们相互比较，找到各种场景的最佳解决方案，比如真实的- 时间深度虚假检测将部署在其中分类应尽可能快地进行的在线社交媒体平台中，或者部署在其中分类不需要是真实的小型新闻机构中，时间，但需要最大的准确性。
2021-06-23 cs.CV cs.LG
NaturalVLM: Leveraging Fine-grained Natural Language for Affordance-Guided Visual Manipulation
School of CS, Peking University（北京大学计算机学院）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
针对家庭机器人多步操作难题，提出NrVLM基准（15个任务、4500+片段）及基于细粒度语言指令逐步执行的学习框架，通过动作与感知提示实现跨模态对齐，输出接触点与末端姿态，实验验证有效。
2024-03-13 cs.CV cs.RO
Video Face Manipulation Detection Through Ensemble of CNNs
Politecnico di Milano（米兰理工大学）
在过去的几年中，已经成功地开发了用于视频中的面部操纵的若干技术，并使其可用于大众（即，FaceSwap、deepfake等）。这些方法使任何人都可以轻松地编辑视频序列中的人脸，获得令人难以置信的逼真效果，并且只需很少的努力。尽管这些工具在许多领域都很有用，但如果被恶意使用，它们可能会对社会产生严重的不良影响（例如，假新闻传播，通过假复仇色情进行网络欺凌）。因此，客观地检测视频序列中的人脸是否被操纵的能力是至关重要的任务。在本文中，我们解决的问题，在视频序列中的人脸操作检测针对现代人脸操作技术。特别是，我们研究了不同训练的卷积神经网络（CNN）模型的集成。在所提出的解决方案中，从基础网络（即，EfficientNetB 4）利用两个不同的概念：（i）注意层;（ii）连体训练。我们表明，结合这些网络导致有前途的人脸操纵检测结果在两个公开的数据集超过119000个视频。
2020-04-16 cs.CV cs.MM eess.IV
M4-BLIP: Advancing Multi-Modal Media Manipulation Detection through Face-Enhanced Local Analysis
Key Laboratory of Multimedia Trusted Perception and Efficient Computing（多媒体可信感知与高效计算重点实验室）
M4-BLIP通过引入面部增强的局部分析，提升多模态媒体篡改检测的准确性和可解释性。
2025-12-01 cs.AI cs.CV
Detection and Localization of Facial Expression Manipulations
University of California, Riverside（加利福尼亚大学河滨分校）
对社交媒体中广泛使用欺诈性图像/视频的担忧需要精确检测此类欺诈行为。面部表情在通信中的重要性是众所周知的，并且对抗攻击通常集中于操纵表情相关特征。因此，重要的是要开发的方法，可以检测面部表情中的操纵，并定位的操纵区域。为了解决这个问题，我们提出了一个框架，能够检测操作的面部表情识别和图像处理方法的紧密结合。随着从面部表情识别框架中提取的特征图的加入，我们的操纵检测器能够定位被操纵的区域。我们表明，在Face 2Face数据集上，有丰富的表情操作，与最先进的方法相比，我们的方法在分类和定位操作方面的准确率都提高了3%以上。此外，NeuralTextures数据集上的结果显示，与嘴部区域对应的面部表情已经被修改，在分类和操作定位方面的准确度都提高了2%。我们证明了该方法在表达不被操纵，而是身份被改变的情况下，与最先进的方法相一致，从而确保了该方法的普遍性。
2021-03-15 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学科学计算跨学科中心）；Manchester Metropolitan University（曼彻斯特城市大学）；IMLA, Offenburg University（奥芬堡大学机器学习与分析研究所）
人脸图像处理是一个生成任务，其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而，目前的方法要么专注于纯粹的风格转移，或翻译的预定义的属性集与有限的交互性。为了解决这个问题，我们提出了FacialGAN，这是一个新颖的框架，可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时，将目标图像的各种风格转移到源图像。然后，我们将分割掩模的几何信息，以提供一个细粒度的面部属性的操作。最后，提出了一种多目标学习策略，以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验，以CelebAMask-HQ作为语义掩码标签，显示了我们的模型在风格转换，属性操作，多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性，我们提供了一个交互式开源工具来执行面部操作，以及模型的Pytorch实现。
2021-10-18 cs.CV
ReSemAct: Advancing Fine-Grained Robotic Manipulation via Semantic Structuring and Affordance Refinement
Department of Automation, University of Science and Technology of China（自动化系，中国科学技术大学）
ReSemAct 通过语义结构化和效用细化方法，在细粒度机器人操作中实现更精确的效用目标生成与动态环境适应。
2025-12-29 cs.AI cs.CV cs.HC
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University（南洋理工大学）
由于真实感人脸可以很容易地通过面部操纵技术生成，这些技术的潜在恶意滥用引起了极大的关注。因此，提出了许多deepfake检测方法。然而，现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现，人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作，这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果，我们强调了这一需求，并提出了一个新的研究问题，称为检测序列DeepFake操纵（Seq-DeepFake）。与现有的只需要二进制标签预测的deepfake检测任务不同，检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查，我们构建了第一个Seq-DeepFake数据集，其中人脸图像被顺序地操作，并具有相应的顺序人脸操作向量的注释。基于这个新的数据集，我们将检测Seq-DeepFake操作作为一个特定的图像到序列（例如图像描述）任务，并提出了一个简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们建立了一个全面的基准，并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果，以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation
Southeast University（东南大学）；Monash University（墨尔本大学）；Xiaomi EV（小米电动车）；University of Copenhagen（哥本哈根大学）；Peking University（北京大学）
本文提出MetaFine框架，通过分解理解、感知和受控行为三个维度，诊断细粒度操控中的能力瓶颈，并通过因果干预识别视觉编码器在保持局部空间结构方面的关键限制，从而提升操控精度。
2026-05-19 cs.CV cs.LG cs.RO
Fine-Grained 3D Facial Reconstruction for Micro-Expressions
本文提出细粒度3D面部重建方法，通过结合全局动态特征和局部丰富特征，提升微表情重建的几何精度和感知细节。
2026-03-07 cs.CV
TimeMachine: Fine-Grained Facial Age Editing with Identity Preservation
本文提出基于扩散的 TimeMachine 框架，通过多交叉注意力注入年龄信息并结合潜在空间年龄分类器引导，实现保持身份不变的细粒度面部年龄编辑，并构建了百万级 HFFA 数据集。
2025-08-18 cs.CV
Explicit Facial Expression Transfer via Fine-Grained Representations
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）；Deakin University（迪肯大学）；East China Normal University（华东师范大学）
在两个不成对的图像之间的面部表情转移是一个具有挑战性的问题，因为细粒度的表情通常与其他面部属性纠缠在一起。大多数现有方法将表达转移视为表达操纵的应用，并使用预测的全局表达、地标或动作单元（AU）作为指导。然而，预测可能是不准确的，这限制了传输细粒度表达式的性能。而不是使用一个中间估计的指导，我们建议直接将两个未配对的输入图像映射到两个合成图像交换的表情，明确地转移面部表情。具体来说，考虑到AU在语义上描述了细粒度的表达细节，我们提出了一种新的多类对抗训练方法，将输入图像分解为两种类型的细粒度表示：AU相关特征和AU自由特征。然后，我们可以通过将AU自由特征与交换的AU相关特征相结合来合成具有保留的身份和交换的表达的新图像。此外，为了获得可靠的表达式传输结果的不成对的输入，我们引入了交换一致性损失，使合成图像和自重建图像难以区分。大量的实验表明，我们的方法优于国家的最先进的表达操作方法转移细粒度的表达，同时保留其他属性，包括身份和姿态。
2021-04-15 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）
面部操纵方法可能被滥用，以影响个人的隐私或传播虚假信息。为此，我们引入了一种新的数据驱动的方法，产生嵌入在原始图像中的图像特定的扰动。关键的想法是，这些受保护的图像通过使操纵模型产生预定义的操纵目标（在我们的情况下是均匀着色的输出图像）而不是实际操纵来防止面部操纵。此外，我们建议利用可微压缩近似，从而使生成的扰动强大的常见的图像压缩。为了防止多个操作方法同时进行，我们进一步提出了一种新的基于注意力的融合操作特定的扰动。与单独优化每个图像的噪声模式的传统对抗攻击相比，我们的广义模型只需要一个前向传递，从而更快地运行数量级，并允许轻松集成在图像处理堆栈中，即使在智能手机等资源受限的设备上。
2022-07-25 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS（新里斯本大学计算机科学与信息学实验室）；Universidad Autonoma de Madrid（马德里自治大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统，深入分析相关文献，评估现有检测方法在无约束场景下的性能，并发布iFakeFaceDB数据库，指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
MMHead: Towards Fine-grained Multi-modal 3D Facial Animation
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
为填补多模态3D面部动画数据集的空白，本文构建了大规模数据集MMHead并建立两项新基准，同时提出基于VQ-VAE的MM2Face方法统一多模态信息生成高质量3D面部运动。
2024-10-10 cs.CV
Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
情感计算和认知理论广泛应用于现代人机交互场景。人脸作为人类最显著、最容易获取的特征，引起了研究者的极大关注。由于人类具有丰富的情感和发达的肌肉组织，在实际应用中存在大量的细粒度表情。然而，收集和注释大量的面部图像是非常耗时的，其中甚至可能需要心理学家对它们进行正确的分类。据我们所知，现有的表情数据集仅限于几个基本的面部表情，这不足以支持我们开发成功的人机交互系统的雄心。为此，本文提出了一个新的细粒度面部表情数据库-F2 ED，它包括来自119人的54种面部表情的20多万张图像。考虑到数据分布不均匀和样本不足的现象在现实世界中是常见的，我们进一步评估了几个任务的Few-Shot表情学习凭借我们的F2 ED，这是识别面部表情只有很少的训练实例。这些任务模仿人类的表现，从很少的例子中学习鲁棒和一般的表示。为了解决这种Few-Shot任务，我们提出了一个统一的任务驱动框架-合成生成对抗网络（Comp-GAN）学习来合成面部图像，从而增强Few-Shot表情类的实例。在F2 ED和现有的面部表情数据集上进行了广泛的实验，即，JAFFE和FER 2013，以验证我们的F2 ED在预训练面部表情识别网络中的有效性，以及我们提出的方法Comp-GAN在提高Few-Shot识别任务性能方面的有效性。
2020-01-17 cs.CV
SARGAN: Spatial Attention-based Residuals for Facial Expression Manipulation
University of the Punjab（旁遮普大学）
基于编码器-解码器的体系结构已广泛应用于用于面部操作的生成对抗网络的生成器中。然而，我们观察到，目前的架构无法恢复输入图像的颜色，丰富的面部细节，如肤色或纹理，并引入文物以及。在本文中，我们提出了一种新的方法命名为SARGAN，从三个角度来解决上述限制。首先，我们采用了基于空间注意力的残差块，而不是香草残差块，以正确地捕捉表情相关的功能，而保持其他功能不变。其次，我们利用对称的编码器-解码器网络在多个尺度上关注面部特征。第三，我们提出了训练具有剩余连接的完整网络，该剩余连接减轻了生成器生成输入面部图像的压力，从而通过直接向生成器的末端馈送输入图像来产生期望的表情。定性和定量的实验结果表明，我们提出的模型表现明显优于国家的最先进的方法。此外，现有的模型需要更大的数据集进行训练，但它们的性能在分布外的图像上会下降。相比之下，SARGAN可以在较小的面部表情数据集上进行训练，该数据集可以很好地概括包括人类照片，肖像，头像和雕像在内的分发图像。
2023-03-30 cs.CV
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media（网络与数字媒体系）；Kingston University（金史密斯大学）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Westminster（威斯敏斯特大学）
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台，生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV
Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection
School of Computer Science；Engineering, Sun Yat-sen University Guangzhou China；State Key Laboratory of Mathematical Engineering；Engineering, Sun Yat-sen University
针对面部隐私保护需求，提出基于扩散模型的对抗性身份操纵方法DiffAIM，在潜空间迭代注入梯度引导并加结构正则，生成自然且高迁移性的对抗人脸，黑盒攻击效果和视觉质量均优于现有方法，且对商业FR API有效。
2025-07-30 cs.CV
Talk-to-Edit: Fine-Grained Facial Editing via Dialog
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
人脸编辑是视觉和图形学中的一项重要任务，具有许多应用。然而，现有的作品不能提供连续和细粒度的编辑模式（例如，编辑一个稍微微笑的脸到一个大笑的脸）与用户的自然交互。在这项工作中，我们提出了谈话编辑，一个交互式的面部编辑框架，通过用户和系统之间的对话进行细粒度的属性操作。我们的关键见解是在GAN潜在空间中建模一个连续的“语义场”。1)不同于以往的作品，把编辑作为遍历直线的潜在空间，这里的细粒度编辑制定为找到一个弯曲的轨迹，尊重细粒度的属性景观的语义场。2)每一步的曲率都是特定于位置的，并且由输入图像以及用户的语言请求来确定。3)为了让用户参与到有意义的对话中，我们的系统通过考虑用户的请求和语义场的当前状态来生成语言反馈。我们还贡献了CelebA-Dialog，一个视觉语言面部编辑数据集，以促进大规模研究。具体而言，每个图像都具有手动注释的细粒度属性注释以及自然语言的基于模板的文本描述。大量的定量和定性实验表明，我们的框架在1）细粒度编辑的平滑性，2）身份/属性保存，3）视觉照片写实主义和对话流畅性方面的优越性。值得注意的是，用户研究证实，我们的整个系统始终受到约80%的参与者的青睐。我们的项目页面是https://www.mmlab-ntu.com/project/talkedit/。
2021-09-09 cs.CV
Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
本文提出协同特征学习方法，同时进行人脸伪造检测与细粒度篡改区域分割，并构建含像素级标注的整脸与局部伪造数据集，实验证明检测与分割可相互促进且性能优于现有方法。
2023-04-17 cs.CV
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而，现有的方法需要详尽地标记训练数据，这需要劳动力，难以扩大规模，并且难以迁移到新的领域。为了克服这样一个关键限制，我们提出了稀疏分组生成对抗网络（SG-GAN）作为一种新方法，可以在稀疏分组的数据集上翻译图像，其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构，非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点，我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明，SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果，并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取：https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
GAN-based Facial Attribute Manipulation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Merced（加州大学默塞德分校）
人脸属性操作（FAM）旨在对给定的人脸图像进行美学修改以呈现期望的属性，由于其广泛的实际应用，从数字娱乐到生物识别取证，受到了极大的关注。在过去的十年中，随着生成对抗网络（GANs）在合成逼真图像方面的显着成功，已经提出了许多基于GAN的模型来解决FAM，其中包括各种问题制定方法和指导信息表示。本文对基于GAN的FAM方法进行了全面的综述，重点总结了它们的主要动机和技术细节。本次调查的主要内容包括：（i）介绍与FAM相关的研究背景和基本概念，（ii）系统地回顾基于GAN的FAM方法的三个主要类别，（iii）深入讨论FAM方法的重要属性，开放问题和未来的研究方向。这项调查不仅为新进入该领域的研究人员建立了一个良好的起点，也为视觉社区提供了参考。
2022-10-23 cs.CV
LBFTI: Layer-Based Facial Template Inversion for Identity-Preserving Fine-Grained Face Reconstruction
College of Cyber Security, Jinan University（济南大学网络安全学院）
本文提出LBFTI方法，通过分解面部为前景、中景和背景三层，利用专用生成器和三阶段训练策略实现身份保持的细粒度面部重建，实验表明其在机器认证和人类感知相似性上均优于现有方法。
2026-04-20 cs.CV
FineFACE: Fair Facial Attribute Classification Leveraging Fine-grained Features
University of North Texas（北得克萨斯大学）
FineFACE将公平人脸属性分类建模为细粒度分类问题，通过跨层互注意力学习融合局部与语义特征，在无需人口统计学标注的情况下实现准确性与公平性的帕累托有效平衡。
2024-08-29 cs.CV
Towards Localized Fine-Grained Control for Facial Expression Generation
University of Oulu（奥卢大学）；University of Trento（特伦托大学）
本文提出在面部生成中使用动作单元（AUs）进行面部表情控制，通过组合不同动作单元实现超越典型情感模型的非传统表情生成，并可通过适配器与文本和图像提示无缝集成，提供精确直观的局部细粒度控制。
2024-07-25 cs.CV
Effects of Image Compression on Face Image Manipulation Detection: A Case Study on Facial Retouching
Hochschule Darmstadt（达姆施塔特应用科学大学）
在过去的几年中，已经引入了许多方法来可靠地检测数字人脸图像操纵。最近，这些计划的普遍性受到质疑，特别是在图像后处理方面。图像压缩是一种后处理技术，广泛应用于生物识别领域。严重的压缩可能会消除面部图像操纵的数字痕迹，从而妨碍对其的可靠检测。在这项工作中，图像压缩的人脸图像篡改检测的影响进行了分析。特别是，一个案例研究的影响下的图像压缩的面部修饰检测。为此，两个公共人脸数据库的ICAO兼容子集用于自动创建一个包含9，000多个修饰参考图像以及无约束探针图像的数据库。随后，以推荐用于电子旅行文档中的面部图像存储的压缩级别，应用JPEG和JPEG 2000来压缩参考图像。新的检测算法，利用纹理描述符和深层人脸表示提出和评估在一个单一的图像和差分场景。从具有挑战性的跨数据库实验中获得的结果，其中所分析的修饰技术在训练期间是未知的，产生了有趣的发现：（1）对于采用深度人脸表示的差分场景，实现了最有竞争力的检测性能;（二）图像压缩严重影响了基于纹理描述符的人脸图像操作检测方案的性能，非常健壮;（3）在某些情况下，图像压缩的应用也可以提高检测性能。
2021-03-05 cs.CV
High-Fidelity 3D Facial Avatar Synthesis with Controllable Fine-Grained Expressions
本文提出一种同时优化预训练3D感知GAN模型的潜在代码和驱动3DMM模型的表情代码的方法，通过双映射模块和文本引导优化实现高保真3D人脸合成与细粒度表情控制。
2026-03-16 cs.CV
Disentangling Racial Phenotypes: Fine-Grained Control of Race-related Facial Phenotype Characteristics
Durham University（杜伦大学）
本文提出一种新颖GAN框架，通过解耦潜在空间实现对面部图像中种族相关表型属性的细粒度控制，并引入基于CelebA-HQ的高质量多样化2D面部数据集，仅依赖2D图像即可达到最先进的个体控制效果。
2024-03-29 cs.CV cs.LG
LatRef-Diff: Latent and Reference-Guided Diffusion for Facial Attribute Editing and Style Manipulation
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering（广东信息安全技术重点实验室和计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus（深圳校区网络科学与技术学院）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering（广东机器感知与智能计算实验室，工程学院）
本文提出LatRef-Diff，通过潜在和参考引导方法改进面部属性编辑和风格操控，解决传统扩散模型在属性控制和风格操控中的不足，采用风格代码和模块化设计提升精度和图像质量。
2026-04-23 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
SRE-FER: Regional residual evidence learning for mitigating local evidence dilution in fine-grained facial expression recognition
针对细粒度FER中局部证据稀释问题，提出SRE-FER框架，通过RERA模块和AU指导优化，在三个基准测试中取得具竞争力的FER性能。
2026-08-11 cs.CV
ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification
Sun Yat-sen University（中山大学）；Wuhan University（武汉大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
本研究针对面部操纵滥用的问题，提出ID-Guard通用框架，通过身份破坏模块生成跨模型可迁移扰动，可防御多种操纵模型并集成到其他任务中。
2026-07-31 cs.AI cs.CV
Initiative Defense against Facial Manipulation
University of Science and Technology in China（中国科学技术大学）
得益于生成对抗网络（GAN）的发展，近年来人脸操控在学术界和工业界都取得了重大进展。它激发了越来越多的娱乐应用，但同时也对个人隐私甚至政治安全造成了严重威胁。为了减轻这种风险，已经提出了许多对策。然而，绝大多数方法都是被动的，即检测人脸图像或视频是否被篡改后，他们广泛传播。这些基于检测的方法有一个致命的局限性，即它们只能用于事后取证，而不能防止恶意行为的产生。为了解决这个问题，在本文中，我们提出了一个新的框架主动防御恶意用户控制的面部操纵模型的性能下降。其基本思想是在操作之前主动向目标面部数据注入难以察觉的毒液。为此，我们首先用一个代理模型来模拟目标操纵模型，然后设计一个毒液扰动发生器来获得所需的毒液。交替训练策略被进一步利用来训练所述代理模型和所述扰动生成器两者。在我们的主动防御框架中，考虑了两种典型的面部操作任务：面部属性编辑和面部再现。大量的实验表明，我们的框架在不同的设置的有效性和鲁棒性。最后，我们希望这项工作可以揭示一些针对更具对抗性的场景的主动对策。
2021-12-19 cs.AI cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili（莫哈格·阿尔达比勒大学）
细粒度分类仍然是一项具有挑战性的任务，因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能，但它们需要大量的输入数据。为了解决这个问题，我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成，在规模，姿势和照明方面存在差异，这加剧了分类任务的难度。此外，我们增强了最近的生成对抗网络（GAN）StyleGAN 2-ADA模型的性能，以生成更逼真的图像，同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志，然后相应地裁剪图像。最后，我们将合成图像与原始数据集相结合，并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer（ViT）模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
Deep Semantic Manipulation of Facial Videos
University of Exeter（埃克塞特大学）；Foundation for Research & Technology - Hellas（希腊研究与技术基金会）
编辑和操纵视频中的面部特征是一个有趣而重要的研究领域，具有大量的应用，从电影后期制作和视觉效果到视频游戏和虚拟助手的逼真化身。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操作。我们专注于通过改变和控制面部表情的视频的交互式操作，实现有希望的逼真效果。所提出的方法是基于解纠缠表示和估计的3D面部形状和活动，为用户提供直观和易于使用的控制输入视频中的面部表情。我们还引入了一个用户友好的交互式AI工具，该工具处理输入视频特定部分中所需的表达操作的人类可读语义标签，并合成逼真的操作视频。我们通过将情绪标签映射到Valence-Arousal空间上的点来实现这一点（其中Valence量化了情绪的积极或消极程度，Arousal量化了情绪激活的力量），这些情绪标签又通过专门设计和训练的表情解码器网络映射到解开的3D面部表情。本文提出了详细的定性和定量实验，证明了我们的系统的有效性和可喜的成果，它取得了。
2022-10-17 cs.AI cs.CV
