Rethinking Vision-Language Model in Face Forensics: Multi-Modal Interpretable Forged Face Detector
Michigan State University（密歇根州立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出M2F2-Det，一种结合CLIP和LLM的多模态深度伪造检测器，可同时输出检测结果和文本解释，在检测与解释任务上达到最先进性能。
2025-03-26 cs.CV
MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出 MMNet，通过多协作与多监督机制处理伪造人脸图像中的空间尺度和序列排列差异，无需已知操纵方法即可实现序列化深度伪造检测与恢复，并设计 CSM 指标评估多步检测匹配度，在多个数据集上取得领先性能。
2023-07-06 cs.CV
Face Forgery Detection Based on Facial Region Displacement Trajectory Series
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；Sun Yat-sen University（中山大学）；South China University of Technology（华南理工大学）
基于深度学习的技术，如deepfakes技术，已经引起了社会和学术界的广泛关注，特别是用于合成伪造人脸图像的技术。这些自动的、无需专业技能的人脸操作技术可以用来将原始图像或视频中的人脸替换为任何目标对象，同时保持表情和举止。由于人脸与身份特征密切相关，恶意传播的身份操纵视频可能引发公众对媒体的信任危机，甚至可能产生严重的政治，社会和法律影响。为了有效地检测篡改视频，我们专注于在人脸融合过程中的位置偏移，从强制仿射变换的归一化伪造的脸。我们介绍了一种用于检测操纵的视频，是基于面部区域位移的轨迹的方法。具体来说，我们开发了一种基于虚拟锚点的方法来提取面部轨迹，它可以鲁棒地表示位移信息。这些信息被用来构建一个网络，用于暴露操纵视频的轨迹序列中的多维伪影，该网络基于双流时空图注意力和门控递归单元骨干。我们的方法在各种操作数据集上的测试表明，其准确性和泛化能力与领先的检测方法具有竞争力。
2022-12-07 cs.AI cs.CV
Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）
媒体生成技术的最新进展使攻击者更容易创建伪造的图像和视频。最先进的方法使得能够实时创建从社交网络获得的单个视频的伪造版本。尽管已经开发了许多方法来检测伪造的图像和视频，但它们通常针对某些领域，并且随着新类型的攻击的出现而迅速过时。本文介绍的方法使用胶囊网络来检测各种欺骗，从使用打印图像或录制视频的重放攻击到使用深度卷积神经网络的计算机生成视频。它扩展了胶囊网络的应用超出了他们的初衷，以解决逆图形问题。
2018-10-26 cs.CV eess.IV
A Dual-Branch CNN for Robust Detection of AI-Generated Facial Forgeries
Computer Science Department University of Southern Maine Portland, United States（计算机科学系 俄亥俄州立大学 帕斯托市 美国）；The Department of Computer Science University of Central Oklahoma Edmond, United States（计算机科学系 中央俄克拉荷马大学 埃德蒙德 美国）
针对生成式AI伪造人脸带来的安全威胁，本研究提出融合空间与频域线索的双分支CNN，结合FSC损失函数，在DiFF基准上表现优于人类平均水平，助力AI生态安全防护。
2025-10-28 cs.CV
Detecting facial landmarks in the video based on a hybrid framework
Guangdong University of Technology（广东工业大学）
为了动态检测视频中的面部标志，我们提出了一种新的混合框架，称为检测跟踪检测（DTD）。首先，基于传统的人脸检测方法，从视频序列的第一帧中提取人脸限界框。然后，界标检测器检测面部界标，其基于级联深度卷积神经网络（DCNN）。接着，在基于中值流跟踪前一帧中的面部标志之后，估计并验证当前帧中的面部限界框。最后，通过特征点检测器从验证过的人脸限界框中准确地检测出当前帧中的人脸特征点。实验结果表明，与基于DCNN的逐帧人脸特征点检测方法相比，该方法能更有效地检测出人脸特征点，且耗时更少。
2016-09-21 cs.CV
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University（南洋理工大学）
由于真实感人脸可以很容易地通过面部操纵技术生成，这些技术的潜在恶意滥用引起了极大的关注。因此，提出了许多deepfake检测方法。然而，现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现，人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作，这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果，我们强调了这一需求，并提出了一个新的研究问题，称为检测序列DeepFake操纵（Seq-DeepFake）。与现有的只需要二进制标签预测的deepfake检测任务不同，检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查，我们构建了第一个Seq-DeepFake数据集，其中人脸图像被顺序地操作，并具有相应的顺序人脸操作向量的注释。基于这个新的数据集，我们将检测Seq-DeepFake操作作为一个特定的图像到序列（例如图像描述）任务，并提出了一个简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们建立了一个全面的基准，并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果，以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Detecting Deepfake Talking Heads from Facial Biometric Anomalies
University of California, Berkeley（加州大学伯克利分校）
针对深度伪造视频冒充带来的欺诈与虚假信息问题，提出一种利用面部生物特征非自然模式的取证机器学习检测技术，并在大型数据集上验证了其对视频洗白的鲁棒性与对未知生成器的泛化能力。
2025-07-11 cs.CV
The Artists who Forged Themselves: Detecting Creativity in Art
Institute of Nuclear Sciences Vinca, University of Belgrade（贝尔格莱德大学温查核科学研究所）；Mathematical Institute of the Serbian Academy of Sciences and Arts（塞尔维亚科学与艺术学院数学研究所）
创造力和对创造过程中所涉及的认知过程的理解与人类的所有活动都有关。艺术中的创造力的理解是由于许多科学和非科学学科的参与特别感兴趣。使用数字表示的绘画，我们表明，在绘画艺术的创作过程中可以客观地认识到自组织的数学框架内，一个过程的非线性动力系统的特征和发生在自然科学和社会科学。与艺术家识别过程或识别伪造，这是以原始作品的知识为前提，我们的方法不需要先验知识的原创性的艺术作品。原画被认为是实现的创作过程中，在一般情况下，被证明是对应于自组织的纹理特征，决定了绘画的审美复杂性。该方法包括基于小波的统计数字图像处理和统计复杂性的措施，代表最佳预测所需的最小（平均）信息。统计复杂性是基于正确定义的因果状态与最佳的预测性能。介绍了与艺术作品相关的两种不同的时间概念：内部时间和艺术时间。艺术品的内部时间由小波系数之间因果依赖关系的跨度决定，而艺术时间是指复杂性增加的内部时间，其中复杂性是指纹理特征的组成、美学和结构排列。该方法通过从艺术家自己制作的副本中识别原作来说明，包括着名超现实主义画家勒内·马格利特的作品。
2015-06-14 cs.CV q-bio.NC
Detecting CNN-Generated Facial Images in Real-World Scenarios
University of Amsterdam（阿姆斯特丹大学）；Dutch National Police（荷兰国家警察）
人工CNN生成的图像现在质量如此之高，以至于人类很难将它们与真实图像区分开来。已经提出了几种算法检测方法，但这些方法似乎对来自未知来源的数据概括性很差，使得它们在现实世界中不可行。在这项工作中，我们提出了一个评估检测方法在现实世界的条件下，由跨模型，跨数据，和后处理评估的框架，我们评估国家的最先进的检测方法使用所提出的框架。此外，我们研究了常用的图像预处理方法的实用性。最后，我们通过在线调查评估了人类在检测CNN生成的图像方面的表现，以及影响这种表现的因素。我们的研究结果表明，基于CNN的检测方法还不足以在现实世界中使用。
2020-05-12 cs.CV
MesoNet: a Compact Facial Video Forgery Detection Network
École des Ponts Paristech（巴黎高科桥梁学院）；JFLI, CNRS, UMI 3527（法国国家科学研究中心JFLI联合实验室）；LIGM, UMR 8049（计算机科学、建模与应用实验室）；UPEM（巴黎东马恩-拉瓦雷大学）；National Institute of Informatics（国立情报学研究所）
本文提出了一种自动有效地检测视频中人脸篡改的方法，特别关注最近用于生成超逼真伪造视频的两种技术：Deepfake和Face2Face。传统的图像取证技术通常不太适合视频，因为压缩会严重降低数据的质量。因此，本文遵循深度学习方法，并提出了两个网络，都具有较低的层数，专注于图像的介观属性。我们在现有数据集和我们从在线视频中构建的数据集上评估这些快速网络。测试表明，Deepfake的检测率超过98%，Face2Face的检测率超过95%。
2018-09-04 cs.CV eess.IV
RethNet: Object-by-Object Learning for Detecting Facial Skin Problems
lululab Inc（露露实验室公司）
语义分割是计算机视觉领域的一个热点问题，语义分割方法的成功解决了目标检测和识别中最具挑战性的任务。我们提出了一个逐对象学习技术的概念，使用语义分割方法检测11种面部皮肤病变。由于视觉数据的外观模糊，在密集组中检测单个皮肤病变是一项具有挑战性的任务。我们观察到对象类之间存在共现的视觉关系（例如，皱纹和老年斑，或丘疹和白头等）。事实上，丰富的上下文信息对处理这个问题有很大帮助。因此，我们提出了由本地构造的convLSTM/Conv 3D层和SE模块组成的REthinker块作为一次性注意力机制，其责任是增加网络在本地和全局上下文表示中的敏感性，支持捕获模糊出现的对象和对象类之间的共现交互。实验表明，我们提出的模型在测试准备好的数据集时达到了79.46%的MIoU，比Deeplab v3+提高了15.34%（MIoU为64.12%）。
2021-01-11 cs.CV
RSFAKE-1M: A Large-Scale Dataset for Detecting Diffusion-Generated Remote Sensing Forgeries
Zhihong Tan（谭志宏）；Jiayi Wang（王佳毅）；Huiying Shi（Shi 希慧）；Binyuan Huang（黄彬远）；Hongchen Wei（韦宏晨）；Zhenzhong Chen（陈振中）
本文提出大规模遥感伪造检测数据集RSFAKE-1M，包含50万张由10个扩散模型生成的伪造图像和50万张真实图像，实验表明该数据集能显著提升检测模型的泛化能力和鲁棒性。
2025-05-29 cs.CV
Facial Demorphing from a Single Morph Using a Latent Conditional GAN
Michigan State University（密歇根州立大学）
针对现有面部去融合方法的复制问题及对融合技术泛化不足，提出在潜在空间分解单张融合图像的潜在条件GAN，实现跨技术、真实面部的高保真去融合。
2025-07-28 cs.CV
Deepfake Detection with Spatio-Temporal Consistency and Attention
The University of Western Australia（西澳大利亚大学）
针对现有深度伪造检测方法未充分利用时空不一致性、无法关注篡改特定模式的不足，提出基于ResNet的检测器，通过空间注意力强化帧级特征、距离注意力融合时序特征，在两大数据集上性能超SOTA且具内存与计算优势。
2025-02-12 cs.CV
Exploring Facial Biomarkers for Detecting Depression through Temporal Analysis of Action Units
Machine Learning and Data Analytics Lab, Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（机器学习与数据分析实验室，人工智能生物医学工程部门（AIBE），弗里德里希-亚历山大-埃森纳赫大学（FAU））；Department of Clinical Psychology and Psychotherapy, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（临床心理学与心理治疗系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Chair of Visual Computing, Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（视觉计算教授，计算机科学系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Translational Digital Health Group, Institute of AI for Health, Helmholtz Zentrum München – German Research Center for Environmental Health（转化数字健康组，人工智能与健康研究所，海德堡中心——德国环境健康研究研究中心）
本研究通过分析抑郁症与非抑郁症参与者的视频面部表情，提取动作单元特征并结合时间序列分类模型、PCA及聚类算法，发现两组间与悲伤和快乐相关的动作单元强度存在显著差异，证实面部分析可用于抑郁症检测。
2026-08-19 cs.CV
Detecting speaking persons in video
JOANNEUM RESEARCH（约翰内姆研究公司）
我们提出了一种新的方法来检测说话的人在视频中，通过提取面部地标与神经网络和分析这些地标统计随着时间的推移
2021-10-25 cs.CV
Multi-spectral Facial Landmark Detection
Monash University Malaysia（莫纳什大学马来西亚校区）；EURECOM（欧洲通信研究院）
热面图像分析在某些情况下是有利的。例如，照明敏感的应用，如夜间监控;和隐私保护要求访问控制。然而，在响应行业需求方面，热面图像分析的研究不足，需要引起重视。人脸标志点的检测对于人脸识别、三维人脸重建、人脸表情识别等人脸分析任务具有重要意义。在本文中，我们提出了一个强大的神经网络启用面部标志检测，即深度多光谱学习（DMSL）。简单地说，DMSL由两个子模型组成，即人脸边界检测和地标坐标检测。这种架构展示了在可见光图像和热图像上检测面部标志的能力。特别地，所提出的DMSL模型在面部特征点检测中是鲁棒的，其中面部被部分遮挡，或面向不同方向。在Eurecom的可见光和热配对数据库上进行的实验表明，DMSL在热面部标志检测方面的性能优于最先进的技术。除此之外，为了实验的目的，我们还用它们各自的面部标志注释了一个热人脸数据集。
2020-06-09 cs.CV
SGF-CDNet: A Consistency-Discrepancy Graph Network over Semantic-Geometric Fused Nodes for Face Forgery Detection
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室）
针对人脸伪造检测，提出SGF-CDNet，通过融合语义与几何信息构建节点，利用双路径CD-GNN在一致性和差异两维度并行推理，有效识别面部组件间不和谐关系，实验证明性能优越。
2026-07-07 cs.CV
Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）
检测篡改的图像和视频是数字媒体取证中的一个重要课题。大多数检测方法使用二进制分类来确定查询被操纵的概率。另一个重要的主题是定位操纵区域（即，执行分割），它们主要由三种常用的攻击产生：删除、复制-移动和拼接。我们设计了一个卷积神经网络，它使用多任务学习方法来同时检测操纵的图像和视频，并为每个查询定位操纵区域。通过执行一项任务获得的信息与另一项任务共享，从而提高两项任务的性能。一个半监督学习方法被用来提高网络的可生成性。该网络包括编码器和Y形解码器。编码特征的激活用于二进制分类。解码器的一个分支的输出用于分割操作区域，而另一个分支的输出用于重建输入，这有助于提高整体性能。使用FaceForensics和FaceForensics++数据库的实验证明了该网络对面部重演攻击和面部交换攻击的有效性，以及处理先前看到的攻击的不匹配条件的能力。此外，仅使用少量数据进行微调，使网络能够应对看不见的攻击。
2019-06-17 cs.CV
Detecting Face2Face Facial Reenactment in Videos
Indian Institute of Science Bangalore（班加罗尔印度科学研究所）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）；IIIT-Delhi（德里印度信息技术学院）
视觉内容已成为信息的主要来源，每天在互联网上分享和上传的数十亿图像和视频就是明证。这导致图像和视频的修改增加，使其对全世界的观众来说更具信息性和吸引力。其中一些改变很简单，比如复制移动，很容易检测到，而其他复杂的改变，比如基于重演的DeepFakes，则很难检测到。重演修改允许源更改目标表情，并创建照片般逼真的图像和视频。虽然技术可能用于多种应用，但恶意使用自动重演具有非常大的社会影响。因此，重要的是开发检测技术，以区分真实图像和视频与修改的。本研究提出了一种基于学习的算法，用于检测基于重演的改变。该算法使用多流网络，学习区域文物，并提供了一个强大的性能在各种压缩级别。我们还提出了一个损失函数的平衡学习的建议网络的流。性能在公开可用的FaceForensics数据集上进行评估。结果表明，最先进的分类准确率分别为99.96%，99.10%和91.20%，没有，容易，和硬压缩因子。
2020-01-21 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
Deep Learning Framework to Detect Face Masks from Video Footage
National Institute of Technology, Warangal（瓦朗加尔国家理工学院）
自COVID-19全球大流行以来，在公共场所使用口罩已成为一项社会义务，识别口罩对确保公共安全至关重要。视频片段中的面部掩模的检测是一项具有挑战性的任务，主要是由于掩模本身由于在掩模区域中不存在面部标志而表现为对面部检测算法的遮挡。在这项工作中，我们提出了一种使用深度学习检测视频中的面具的方法。所提出的框架利用MTCNN人脸检测模型来识别视频帧中存在的人脸及其相应的人脸标志。这些面部图像和线索，然后处理一个新的分类器，利用MobileNetV 2架构作为对象检测器，用于识别掩蔽区域。拟议的框架在一个数据集上进行了测试，该数据集是一组视频，捕捉公共场所的人员移动，同时遵守COVID-19安全协议。所提出的方法证明了其有效性，通过实现高精度，召回率和准确率检测面具。
2020-11-04 cs.CV
Beyond Flicker: Detecting Kinematic Inconsistencies for Generalizable Deepfake Video Detection
本文提出合成视频生成方法，通过引入微妙的运动不一致来训练模型，从而提升深度伪造视频检测的泛化能力。
2026-04-10 cs.CV
Anti-Compression Contrastive Facial Forgery Detection
University of Sydney（悉尼大学）；UNSW Canberra（新南威尔士大学堪培拉分校）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
伪造的面部图像和视频增加了对数字安全的关注。近年来，伪造数据检测技术得到了很大的发展.然而，数据，特别是在互联网上发布的视频，通常使用有损压缩算法（例如H. 264）进行压缩。压缩数据可能会显着降低最近检测算法的性能。现有的抗压缩算法主要关注于提高对严重压缩数据的检测性能，而较少考虑对不同压缩级别数据的压缩适应性。我们认为，创建一个伪造检测模型，可以处理压缩的数据与未知的水平是很重要的。为了提高这种模型的性能，我们认为弱压缩和强压缩数据作为原始数据的两个视图，它们应该与其他样本具有相似的表示和关系。我们提出了一种新的抗压缩伪造检测框架，通过在不同的压缩水平下保持更紧密的数据之间的关系。具体地说，该算法将数据间的成对相似性作为关系度量，使弱压缩数据和强压缩数据的关系更加接近，从而提高了检测强压缩数据的鉴别能力。为了实现更好的强压缩数据关系，由较少压缩的数据引导，我们对弱压缩数据应用视频级对比学习，这迫使模型在同一视频内产生相似的表示，并且远离负样本。实验结果表明，该算法在提高检测干净数据准确率的同时，还能有效提高对强压缩数据的检测性能。
2023-02-13 cs.CV
MoTop: Motion-Topological Model For Micro AU Detection
University of Oulu（奥卢大学）；CAAS（中国农业科学院）；University of Malaya（马来亚大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
MoTop是一种运动拓扑模型，通过可学习运动上下文和线性外推增强面部关键点，结合解剖学聚类，在CD6ME协议上实现微AU检测的最先进性能。
2026-09-28 cs.CV
Exploring a Multimodal Fusion-based Deep Learning Network for Detecting Facial Palsy
Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
本文提出融合面部线段图像与表情特征的多模态深度学习模型，并在21名患者视频上评估，发现融合模型精确率提升至77.05但召回率下降。
2025-03-13 cs.AI cs.CV cs.LG
FantasyID: A dataset for detecting digital manipulations of ID-documents
Idiap Research Institute（伊迪亚普研究所）
本文构建可商用的 FantasyID 身份证件伪造检测数据集，模拟真实 KYC 打印采集与生成式数字注入攻击，并证明现有 SOTA 检测器在10%假阳性率下假阴性率接近50%。
2025-07-28 cs.CV
Unmasking Facial DeepFakes: A Robust Multiview Detection Framework for Natural Images
University of Quebec in Outaouais（魁北克大学 Outaouais分校）
针对深度伪造检测在姿态变化和遮挡下的不足，提出融合全局、中间、局部及朝向四种编码器的多视角框架，在挑战性数据集上超越单视角方法。
2025-10-17 cs.CV
Boundary-based Image Forgery Detection by Fast Shallow CNN
University of Rochester（罗切斯特大学）
图像伪造检测是指在被篡改的图像中检测并定位伪造部分。以前的工作主要集中在高分辨率的图像使用的痕迹的resstriking功能，去马赛克功能或边缘的锐度。然而，一个好的检测方法也应该适用于低分辨率的图像，因为压缩或调整大小的图像是常见的这些天。为此，我们提出了一个浅卷积神经网络（SCNN），能够区分伪造区域的边界从原始边缘在低分辨率图像。SCNN被设计为利用色度和饱和度信息。基于SCNN，分别提出了滑动窗口检测（SWD）和快速SCNN两种方法来检测和定位图像伪造区域。在本文中，我们证明了快速SCNN可以检测色度和饱和度的剧烈变化。在图像伪造检测实验中，我们的模型在CASIA 2.0数据集上进行了评估。结果表明，快速SCNN在低分辨率图像上表现良好，并取得了显着的改进。
2018-02-03 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo（滑铁卢大学）
面部表情识别一直是计算机视觉中的一个活跃领域，其应用领域包括动画，社交机器人，个性化银行等。在这项研究中，我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的，如JAFFE和CK+数据库。结果表明，从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移，并用于面部表情识别。此外，对于小数据集，使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
From Bias to Balance: Detecting Facial Expression Recognition Biases in Large Multimodal Foundation Models
Lake Wales High School（莱克威尔士高中）；Thomas Jefferson Sr. High School（托马斯·杰斐逊高中）；Bellarmine College Preparatory（贝拉明学院预科学校）；Algoverse AI Research（Algoverse AI研究机构）
本研究评估了GPT-4o等大型多模态基础模型在面部表情识别中的种族偏见，发现黑人女性愤怒被误判为厌恶的频率更高，为开发公平FER技术奠定基础。
2024-08-27 cs.CV cs.LG
Robustness of Facial Recognition to GAN-based Face-morphing Attacks
IDEMIA（IDEMIA公司）；Ecole Centrale de Lyon（里昂中央理工学院）
多年来，面部变形攻击一直是令人担忧的原因。为了保持领先攻击者一步，研究人员提出了许多创建和检测变形图像的方法。然而，这些检测方法通常被证明是不够的。在这项工作中，我们确定了两种新的基于GAN的方法，攻击者可能已经在他的武器库中。每种方法进行评估，对国家的最先进的面部识别（FR）算法，我们证明，改善FR算法的保真度确实会导致攻击的成功率降低提供变形图像时，考虑设置操作接受阈值。
2020-12-18 cs.CV
Facial Landmark Machines: A Backbone-Branches Architecture with Progressive Representation Learning
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
人脸标志点定位在人脸识别和分析中起着至关重要的作用。在本文中，我们提出了一种新的级联骨干分支完全卷积神经网络~（BB-FCN）的快速，准确地定位在无约束和混乱的设置面部标志。我们提出的BB-FCN直接从原始图像生成面部标志响应图，无需任何预处理。BB-FCN遵循从粗到细的级联管道，该管道由用于粗略检测所有面部地标的位置的骨干网络和用于进一步细化其位置的每种类型的检测到的地标的分支网络组成。此外，为了方便在无约束设置下的面部标志定位，我们提出了一个大规模的基准命名为SYSU 16 K，其中包含16000张面孔的姿态，表情，照明和分辨率的变化很大。广泛的实验评估表明，我们提出的BB-FCN可以显着优于国家的最先进的约束下（即，仅在检测到的面部区域内）和不受约束的设置。我们进一步证实，我们提出的网络定位的高质量面部标志也可以提高面部检测的精度和召回率。
2018-12-10 cs.CV
Multi-modal Facial Action Unit Detection with Large Pre-trained Models for the 5th Competition on Affective Behavior Analysis in-the-wild
University of Southern California（南加州大学）
本文针对ABAW 2023竞赛中的面部动作单元检测任务，提出融合大型预训练模型提取的视觉、声学和词汇特征的多模态方法，并结合超分辨率与人脸对齐，在官方验证集上取得52.3%的F1分数。
2023-04-17 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法，但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络（FD-GAN）来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像（包含罪犯的身份）和存储在电子护照系统中的变形图像（包含罪犯和共犯的身份），FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos
Stanford Online High School（斯坦福在线高中）
本文提出Face-GPS技术，结合微分几何、核平滑与谱分析，从普通视频中量化面部肌肉动态，可应用于国家安全、整形外科及面神经疾病远程诊断，并作为深度学习和fEMG的可解释、非侵入性替代方案。
2024-01-11 cs.CV
AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit
Affectiva, a Smart Eye company（Affectiva（Smart Eye旗下公司））
在本文中，我们介绍了AFFDEX 2.0 -一个用于在野外分析面部表情的工具包，也就是说，它旨在为用户提供：a）估计3D头部姿势，b）检测面部动作单元（AU），c）识别基本情绪和2种新的情绪状态（多愁善感和困惑），以及d）检测高级表达指标，如眨眼和注意力。AFFDEX 2.0模型主要基于深度学习，并使用由来自不同人口统计群体的数千名参与者组成的大规模自然数据集进行训练。AFFDEX 2.0是我们之前工具包的增强版[1]，能够在更具挑战性的条件下有效地跟踪人脸，更准确地检测面部表情，并识别新的情绪状态（多愁善感和困惑）。AFFDEX 2.0可以实时的处理多个面，并且可以在Windows和Linux平台上工作。
2022-11-02 cs.CV
Detecting Facial Image Manipulations with Multi-Layer CNN Models
Facephi Research Laboratory（Facephi研究实验室）；University of Alicante（阿利坎特大学）
针对数字图像篡改难识别的问题，本研究构建三种复杂度递增的CNN模型并引入正则化优化，人脸篡改检测准确率最高达76%，优于传统方法，为低算力场景的媒体验证提供参考。
2024-12-09 cs.AI cs.CV
Metric Learning for Anti-Compression Facial Forgery Detection
School of Computer Science, Wuhan University（武汉大学计算机学院）
人脸伪造图像和视频的检测是多媒体取证中日益重要的课题。由于伪造图像和视频在互联网上传播时通常被压缩成不同的格式，如JPEG和H264，因此现有的未压缩数据训练的伪造检测方法在识别它们时往往会遭受显着的性能下降。为了解决这个问题，我们提出了一种新的抗压缩人脸伪造检测框架，它学习一个压缩不敏感的嵌入特征空间，利用原始和压缩伪造。具体来说，我们的方法包括三个想法：（i）使用对抗学习策略从未压缩和压缩的图像中提取压缩不敏感的特征;（ii）通过构建度量损失来学习鲁棒分区，该度量损失可以减少嵌入空间中成对的原始图像和压缩图像的距离;（iii）使用注意力转移模块提高篡改定位的准确性。实验结果表明，该方法是非常有效的处理压缩和未压缩的人脸伪造图像。
2021-05-12 cs.CV
EventFormer: AU Event Transformer for Facial Action Unit Event Detection
针对帧级AU结果无法直接用于高级情感分析的问题，提出EventFormer，首次将AU事件检测视为类特定集合预测，直接从视频序列检测AU事件，在BP4D上验证了优越性。
2023-05-11 cs.CV
AnxietyFaceTrack: A Smartphone-Based Non-Intrusive Approach for Detecting Social Anxiety Using Facial Features
IISER Bhopal（印度科学教育与研究学院博帕尔分校）；AIIMS Bhopal（博帕尔全印度医学科学学院）
针对社交焦虑障碍缺乏客观检测标志物、现有研究场景脱离真实社交的问题，提出AnxietyFaceTrack方法，用智能手机采集面部视频，结合随机森林分类器实现高准确率的焦虑检测，可用于日常持续监测。
2025-02-22 cs.CV cs.CY cs.LG
Py-Feat: Python Facial Expression Analysis Toolbox
Dartmouth College（达特茅斯学院）
研究面部表情是出了名的困难。情感计算领域的最新进展在从图片和视频中自动检测面部表情方面取得了令人印象深刻的进展。然而，这项工作的大部分尚未在心理学等社会科学领域广泛传播。当前最先进的模式需要相当多的领域专业知识，而这些知识传统上并没有纳入社会科学培训计划。此外，值得注意的是，缺乏用户友好的开源软件，提供一套全面的工具和功能，支持面部表情研究。在本文中，我们将介绍Py-Feat，这是一个开源的Python工具箱，为检测、预处理、分析和可视化面部表情数据提供支持。Py-Feat使领域专家能够轻松传播和基准测试计算机视觉模型，并使最终用户能够快速处理，分析和可视化面部表情数据。我们希望这个平台将促进面部表情数据在人类行为研究中的更多使用。
2023-03-07 cs.CV cs.LG eess.IV
Hearing Loss Detection from Facial Expressions in One-on-one Conversations
Meta Reality Labs Research（Meta现实实验室）
本文提出从一对一对话中的面部表情检测听力损失，通过自监督预训练建模表情变化，并利用对抗性表示学习消除年龄偏差，在大规模真实对话数据集上取得优于基线的效果。
2024-01-17 cs.CV
DeepFake MNIST+: A DeepFake Facial Animation Dataset
The University of Sydney（悉尼大学）；Wuhan University（武汉大学）；AntGroup（蚂蚁集团）
DeepFakes是面部操纵技术，是数字社会的新兴威胁。提出了各种DeepFake检测方法和数据集来检测这些数据，特别是用于面部交换。然而，最近的研究较少考虑面部动画，这在DeepFake攻击方面也很重要。它试图用驾驶视频提供的动作来动画化面部图像，这也导致了对最近支付系统安全性的担忧，这些支付系统通过识别用户面部动作序列来响应活体检测以认证真实用户。然而，我们的实验表明，现有的数据集不足以开发可靠的检测方法。而目前的活性检测器无法防御此类视频的攻击。作为回应，我们提出了一个新的人脸动画数据集，称为DeepFake MNIST+，由SOTA图像动画生成器生成。它包括10个不同动作的10，000个面部动画视频，可以欺骗最近的活体检测器。文中还提出了一种基线检测方法，并对该方法进行了综合分析。此外，我们分析了建议的数据集的属性，并揭示了在不同类型的运动和压缩质量下检测动画数据集的难度和重要性。
2021-08-18 cs.AI cs.CV
DiffusionFace: Towards a Comprehensive Dataset for Diffusion-Based Face Forgery Analysis
Xiamen University（厦门大学）
针对现有数据集在高质量人脸伪造图像生成上的局限，提出首个基于扩散模型的人脸伪造数据集DiffusionFace，涵盖11个扩散模型及多种伪造类别，并提供评估协议以增强人脸图像认证的安全性。
2024-03-27 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University（复旦大学）；Huya Inc（虎牙公司）；Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中，我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是，我们引入了一个多模态多尺度Transformer（M2 TR），它操作在不同大小的补丁，以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影，以通过精心设计的交叉模态融合块补充RGB信息。此外，为了刺激Deepfake检测研究，我们引入了一个高质量的Deepfake数据集SR-DF，该数据集由最先进的面部交换和面部重现方法生成的4，000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性，该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
Registration-free Face-SSD: Single shot analysis of smiles, facial attributes, and affect in the wild
University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）
在本文中，我们提出了一种新的Single Shot人脸相关的任务分析方法，称为Face-SSD，用于检测人脸和执行各种人脸相关的（分类/回归）任务，包括微笑识别，人脸属性预测和效价唤醒估计在野外。Face-SSD使用全卷积神经网络（FCNN）来检测不同大小的多个面部，并识别/回归一个或多个面部相关类。Face-SSD有两个并行分支，共享相同的低级过滤器，一个分支处理人脸检测，另一个分支处理人脸分析任务。两个分支的输出是并行产生的空间对齐的热图-因此Face-SSD不需要在后续步骤中执行面部检测，面部区域提取，尺寸归一化和面部区域处理。我们的贡献有三个方面：1）Face-SSD是第一个在不依赖于预处理（如人脸检测和注册）的情况下执行人脸分析的网络- Face-SSD是一个简单的单一FCNN架构，同时执行人脸检测和人脸相关任务分析-这些任务通常被视为单独的连续任务; 2）Face-SSD是适用于各种面部分析任务而不修改网络结构的通用架构-这与设计特定于任务的架构相反;和3）Face-SSD即使在检测多个人脸和识别给定图像中的多个类别时也能实现实时性能（21 FPS）。实验结果表明，Face-SSD在各种人脸分析任务中实现了最先进的性能，微笑检测的识别准确率为95.76%，属性预测为90.29%，效价和唤醒估计的均方根（RMS）误差为0.44和0.39。
2019-02-11 cs.CV
GGViT:Multistream Vision Transformer Network in Face2Face Facial Reenactment Detection
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；National Computer Network Emergency Response Technical Team Coordination Center of China（国家计算机网络应急技术处理协调中心）
在社交网络上检测被篡改的人脸图像和视频一直是一个亟待解决的问题。社交媒体上的视频压缩破坏了一些可用于检测伪造的像素细节。因此，在不同质量的视频中检测被操纵的面部是至关重要的。我们提出了一种新的多流网络架构GGViT，它利用全局信息来提高模型的泛化能力。通过ViT提取的整个人脸的嵌入将引导每个流网络。通过大量的实验，证明了该模型在FF++数据集上达到了最先进的分类精度，在不同压缩率的场景下，分类精度得到了很大的提高。Raw/C23、Raw/C40和C23/C40的准确度分别提高了24.34%、15.08%和10.14%。
2022-10-12 cs.CV
Spontaneous Subtle Expression Detection and Recognition based on Facial Strain
University of Malaya（马来亚大学）；Multimedia University（多媒体大学）
光学应变是光流的扩展，能够量化面部的细微变化，并在像素级上表示微小的面部运动强度。这对于相对较新的自发微表情领域来说是计算上必不可少的，在这个领域中，精确定位微妙的表情在技术上可能具有挑战性。本文提出了一种利用面部光学应变量构造光学应变特征和光学应变加权特征的微表情检测与识别方法。然后将这两组特征连接起来以形成所得到的特征直方图。实验在CASME II和SMIC数据库上进行。我们在这两个数据库上证明了光学应变信息的有用性，更重要的是，我们的最佳方法能够在检测和识别任务中优于原始基线结果。提出的方法与其他现有的时空特征提取方法的比较。
2016-06-09 cs.CV
From Deception to Perception: The Surprising Benefits of Deepfakes for Detecting, Measuring, and Mitigating Bias
University of Maryland（马里兰大学）
研究利用deepfake生成受控面部图像以扩展通信研究，证明其可在疼痛评估等场景中有效检测、衡量并纠正偏见，从而促进社会公平。
2025-02-16 cs.AI cs.CV
Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
本文提出协同特征学习方法，同时进行人脸伪造检测与细粒度篡改区域分割，并构建含像素级标注的整脸与局部伪造数据集，实验证明检测与分割可相互促进且性能优于现有方法。
2023-04-17 cs.CV
Enhanced Wavelet Scattering Network for image inpainting detection
University “Lucian Blaga”（“卢奇安·布拉加”大学）
本文提出一种结合双树复小波变换（DT-CWT）特征提取、CNN伪造区域定位及纹理与噪声方差融合模块的图像修复检测方法，在基准测试中性能优于现有技术。
2024-09-25 cs.CV
A Novel Approach in detecting pose orientation of a 3D face required for face
MCKV Institute of Engineering（MCKV工程学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一种新的方法，作为输入的3D图像，并作为输出的姿态，即它告诉是否面对的是相对于X，Y或Z轴的旋转角度高达40度。所有实验均在FRAV3D数据库上进行。在将所提出的算法应用于3D面部表面之后，我们已经获得了，即在848个3D面部图像上，我们的方法正确地检测到566个面部图像的姿态，从而给出了大约67%的正确姿态检测。
2013-09-13 cs.CV
