Revisiting Simple Baselines for In-The-Wild Deepfake Detection
Georgia Institute of Technology（佐治亚理工学院）
针对现有开源深度伪造检测器在真实场景基准上性能落后商用模型的问题，通过优化Ojha等人提出的简单基线方法的超参数，在Deepfake-Eval-2024基准上取得81%的准确率，接近商用检测器水平并分析了实际部署的权衡。
2025-09-04 cs.CV
MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes
Huawei Inc.（华为公司）；Tencent Blade Team（腾讯刃影团队）
Deepfakes引发了人们对视觉内容真实性的严重担忧。之前的工作揭示了通过向源数据添加对抗性扰动来破坏deepfakes的可能性，但我们认为这种威胁尚未消除。本文介绍了MagDR，这是一种用于防御deepfakes免受对抗攻击的掩码引导检测和重建管道。MagDR从一个检测模块开始，定义了一些判断deepfakes输出异常的标准，然后用它来指导可学习的重建过程。提取自适应掩模以捕获局部面部区域的变化。在实验中，MagDR防御了deepfakes的三个主要任务，学习的重建管道在输入数据之间传输，在防御黑盒和白盒攻击方面表现出良好的性能。
2021-03-26 cs.CV
DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Tencent AI Lab（腾讯AI实验室）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
本文提出首个深度伪造检测综合基准DeepfakeBench，通过统一数据管理、集成15种先进方法和9个数据集及标准化评估协议，系统揭示各检测器性能差异，并提供多视角分析以促进该领域可复现研究与创新。
2023-10-28 cs.CV
FractalForensics: Proactive Deepfake Detection and Localization via Fractal Watermarks
National University of Singapore（新加坡国立大学）；Shandong University（山东大学）
针对被动检测器难以识别高质量Deepfake且现有主动水印方法缺乏定位与可解释性的问题，提出基于分形水印的FractalForensics框架，通过参数驱动生成、半脆弱水印嵌入及条目到图像块策略，实现了鲁棒的主动检测、篡改定位与结果可解释性。
2025-11-04 cs.CV
CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition
Chengdu University of Information Technology（成都信息工程大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Purdue University（普渡大学）；Microsoft Research Asia（微软亚洲研究院）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
本文提出深度信息分解（DID）框架，通过自适应分离面部特征中的深度伪造相关信息与无关信息并进行去相关优化，以提升跨数据集深度伪造检测的泛化能力和鲁棒性。
2024-10-20 cs.CV
1M-Deepfakes Detection Challenge
Monash University（莫纳什大学）；Flinders University（弗林德斯大学）；Curtin University（科廷大学）；Qualcomm（高通公司）；Queen Mary University of London（伦敦大学玛丽皇后学院）；American University of Sharjah（沙迦美国大学）
本研究推出基于超百万条篡改视频的AV-Deepfake1M数据集的1M-Deepfakes检测挑战赛，号召学界开发高逼真音视频深度伪造检测定位方法，相关资源将开源，助力下一代检测系统研发。
2024-09-11 cs.CV
Adversarial Threats to DeepFake Detection: A Practical Perspective
UC San Diego（加州大学圣迭戈分校）；Facebook AI（Facebook人工智能）
经过面部处理的图像和视频或DeepFakes可以被恶意地用于提供错误信息或诽谤个人。因此，检测DeepFakes对于提高社交媒体平台和其他媒体共享网站的可信度至关重要。最先进的DeepFake检测技术依赖于基于神经网络的分类模型，已知这些模型容易受到对抗性示例的影响。在这项工作中，我们从实用的角度研究了最先进的DeepFake检测方法的漏洞。我们在黑盒设置中对DeepFake检测器进行对抗攻击，其中对手不完全了解分类模型。我们研究了对抗性扰动在不同模型之间转移的程度，并提出了提高对抗性示例可转移性的技术。我们还使用Universal Adversarial Perturbations创建了更容易访问的攻击，这构成了一个非常可行的攻击场景，因为它们可以很容易地在攻击者之间共享。我们对DeepFake Detection Challenge（DFDC）的获奖作品进行了评估，并证明它们可以通过设计可转移和可访问的对抗攻击在实际攻击场景中轻松绕过。
2020-11-19 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University（复旦大学）；Huya Inc（虎牙公司）；Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中，我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是，我们引入了一个多模态多尺度Transformer（M2 TR），它操作在不同大小的补丁，以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影，以通过精心设计的交叉模态融合块补充RGB信息。此外，为了刺激Deepfake检测研究，我们引入了一个高质量的Deepfake数据集SR-DF，该数据集由最先进的面部交换和面部重现方法生成的4，000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性，该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM
University of Wisconsin-Eau Claire（威斯康星大学欧克莱尔分校）；Minnesota State University, Mankato（明尼苏达州立大学曼卡托分校）
社交媒体目前被许多人在线用作主要的信息来源。然而，并非所有网上分享的信息都是真实的，甚至照片和视频也可能被篡改。Deepfakes最近随着技术进步的兴起而兴起，并允许邪恶的在线用户将一张脸替换为他们想要的任何人的计算机生成的脸，包括重要的政治和文化人物。Deepfakes现在是一种能够传播大量错误信息的工具。现在非常需要创建能够检测deepfake的模型，并防止它们作为看似真实的图像或视频传播。在本文中，我们使用两种流行的机器学习算法提出了一种新的deepfake检测模式。
2023-01-27 cs.CV
Decoupling Forgery Semantics for Generalizable Deepfake Detection
Nanchang University（南昌大学）
针对深度伪造检测泛化性不足的问题，提出通过语义解耦提取通用伪造语义的新方法，结合自适应高通模块与两阶段训练策略，在多个数据集上实现优异的检测泛化性能。
2024-11-28 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播，这引起了严重的社会问题。在本文中，我们提出了一种新的视频Transformer，用于检测深度伪造视频。为了更好地对齐输入的人脸图像，我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势，眨眼和嘴巴运动信息，因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略，可以在少量数据上微调所提出的模型，并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明，所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能，并从序列数据中增强了特征学习。
2021-08-11 cs.CV
Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Humboldt University of Berlin（柏林洪堡大学）
本文提出一种新型人脸替换自编码器与融合技术生成高质量深度伪造，发现最先进检测器在现实场景中对此表现不佳，并证明用此类高质量样本微调可提升检测泛化能力。
2023-05-16 cs.CV
Robust Deepfake On Unrestricted Media: Generation And Detection
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学）；University of Tokyo（东京大学）
深度学习的最新进展导致了deepfake生成的实质性改进，从而使虚假媒体具有更真实的外观。尽管Deepfake媒体在广泛的领域有潜在的应用，并引起了学术界和工业界的广泛关注，但它也导致了严重的社会和犯罪问题。本章探讨了deepfake生成和检测的演变和挑战。它还讨论了提高针对各种媒体的深度伪造检测的鲁棒性的可能方法（例如，野外图像和视频）。最后，它提出了未来假媒体研究的重点。
2022-02-13 cs.CV
PUDD: Towards Robust Multi-modal Prototype-based Deepfake Detection
School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
PUDD 提出基于原型的统一深度伪造检测框架，通过相似性比较实现视频分类与未知伪造识别，在 Celeb-DF 上达到 95.1% 准确率，且重训练仅需 2.7 秒，碳排放大幅降低。
2024-06-30 cs.CV
Explaining Deepfake Detection by Analysing Image Matching
MEGVII Technology（旷视科技）
本文旨在解释deepfake检测模型如何在二进制标签监督下学习图像的伪影特征。为此，从图像匹配的角度提出三个假设如下。1. Deepfake检测模型基于既不与源相关也不与目标相关的视觉概念来指示真实/虚假图像，即，将此类视觉概念视为伪影相关。2.除了监督二进制标签外，deepfake检测模型还通过训练集中的FST匹配（即匹配的假图像、源图像和目标图像）隐式地学习与伪影相关的视觉概念。3.通过原始训练集中的FST匹配来隐含学习的伪影视觉概念易受视频压缩的影响。在实验中，上述假设在各种DNN之间得到了验证。此外，基于这种理解，我们提出了FST匹配深度伪造检测模型，以提高压缩视频的伪造检测性能。实验结果表明，我们的方法取得了很好的性能，特别是在高度压缩（如c40）的视频。
2022-07-20 cs.CV
Conditioned Prompt-Optimization for Continual Deepfake Detection
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出Prompt2Guard，利用视觉-语言模型、只读提示集成和深度伪造定制文本提示条件化，实现高效无样本持续深度伪造检测，并在CDDB-Hard基准上取得最先进性能。
2024-07-31 cs.CV
Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm
The University of Melbourne（墨尔本大学）；National University of Singapore（新加坡国立大学）
本文提出基于监督对比学习的开集深度伪造分类算法，旨在提升对新兴深度伪造技术的检测能力，通过FaceForensics++数据集验证，实现领先性能。
2026-03-26 cs.CV
ExpSpeech-Net: Multimodal Fusion of Expression and Speech for Deepfake Detection
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出轻量级ExpSpeech-Net模型，通过融合面部表情和语音模式，利用SqueezeNet和RNN骨干网络及智能特征选择，实现高效深度伪造检测，准确率达94.5%。
2026-06-04 cs.CV
Scaling Laws for Deepfake Detection
University of Technology Sydney（悉尼技术大学）
本文构建含580万真实图与880万伪造图的ScaleDF数据集，系统研究deepfake检测的缩放定律，发现检测误差随真实域或生成方法数量呈幂律衰减。
2026-10-07 cs.CV
FFR_FD: Effective and Fast Detection of DeepFakes Based on Feature Point Defects
Yunnan University（云南大学）；Wuhan University（武汉大学）
互联网上充斥着由深度生成模型合成的虚假人脸图像和视频。这些逼真的DeepFake对确定多媒体内容的真实性提出了挑战。作为对策，基于伪影的检测方法遭受不够细粒度的特征，导致有限的检测性能。基于DNN的检测方法不够有效，因为DeepFake可以通过移动应用程序轻松创建，并且基于DNN的模型需要大量的计算资源。这是我们第一次发现DeepFake人脸的特征点比真实人脸少，特别是在某些面部区域。受特征点检测器描述符在像素级提取区分特征的启发，我们提出了融合面部区域特征描述符（FFR_FD），用于有效和快速的DeepFake检测。FFR_FD仅是从面部提取的向量，并且它可以从任何特征点检测器描述符构造。我们使用FFR_FD训练了一个随机森林分类器，并在六个大规模DeepFake数据集上进行了广泛的实验，结果表明我们的方法优于大多数基于DNN的模型。
2021-08-26 cs.CV
Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder
Texas A&M University（德克萨斯A&M大学）
随着深度学习技术的进步，现在可以生成超逼真的图像和视频，即，deepfakes.这些deepfakes可能会接触到大众，并对我们的社会产生不利影响。尽管已经投入了大量的努力来检测deepfake，但它们的性能在以前看不见但相关的操作上显着下降，并且检测泛化能力仍然是一个问题。受deepfakes的细粒度性质和空间局部性特征的影响，我们提出了局部感知自动编码器（LAE）来弥合泛化差距。在训练过程中，我们使用逐像素掩码来正则化LAE的局部解释，以强制模型从伪造区域学习内在表示，而不是捕获训练集中的伪影并学习表面相关性来执行检测。我们进一步提出了一个主动学习框架来选择具有挑战性的候选人进行标记，这需要不到3%的训练数据的人类面具，大大减少了注释工作，以规范解释。三个深度伪造检测任务的实验结果表明，LAE可以专注于伪造区域来做出决策。分析进一步表明，LAE在三个深度伪造检测任务中，在以前看不见的操作的泛化准确性方面，分别比最先进的算法高出6.52%、12.03%和3.08%。
2020-09-20 cs.CV
Deepfake Detection: A Comparative Analysis
SFI-MediaFutures, University of Bergen（卑尔根大学SFI媒体未来研究中心）；University of Bergen（卑尔根大学）
本文比较了有监督与自监督模型在四个深度伪造基准上的检测性能，分析泛化能力、数据增强影响及模型规模与性能的权衡，为构建更可靠的检测系统提供指导。
2023-08-07 cs.CV
GenConViT: Deepfake Video Detection Using Generative Convolutional Vision Transformer
Ghent University（根特大学）；imec；Addis Ababa University（亚的斯亚贝巴大学）；State University of New York Polytechnic Institute（纽约州立大学理工学院）
本文提出GenConViT模型，结合ConvNeXt和Swin Transformer提取特征，并利用自编码器和变分自编码器学习潜在分布，在多个数据集上实现了高准确率的深度伪造视频检测，但泛化能力仍需提升。
2025-03-04 cs.CV
Fit for Purpose? Deepfake Detection in the Real World
Purdue University（普渡大学）
本研究基于真实世界政治深度伪造数据集构建了首个系统性基准，评估了学术界、政府和工业界的检测器，发现现有模型难以有效泛化且易受简单操纵，呼吁开发具有政治上下文的检测框架。
2025-10-30 cs.CV
Penny-Wise and Pound-Foolish in Deepfake Detection
University of Southampton（南安普顿大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
针对深度伪造检测中现有方法过度拟合单数据集、泛化性与知识保留差的“小事精明、大事糊涂”问题，提出基于预训练视觉-语言模型的PoundNet框架，通过可学习提示和平衡目标实现性能显著提升。
2024-08-15 cs.CV
How Close are Other Computer Vision Tasks to Deepfake Detection?
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；The University of Tokyo（东京大学）
该研究质疑ImageNet有监督预训练模型用于深度伪造检测的适用性，提出模型可分离性度量与相关基准，发现自监督预训练模型及人脸识别预训练模型与深度伪造检测关联更紧密，为相关模型开发提供参考。
2023-10-02 cs.CV
Deepfake Detection using ImageNet models and Temporal Images of 468 Facial Landmarks
Vellore Institute of Technology（韦洛尔理工学院）
本文介绍了我们关于使用时间图像进行深度伪造检测的结果和发现。我们通过使用这些面部标志处的像素值构建图像（称为时间图像），将存在于给定视频的帧之间的468个面部标志的运动中的时间关系建模为空间关系。CNN能够识别给定图像的像素之间存在的空间关系。研究中考虑了10种不同的ImageNet模型。
2022-08-15 cs.CV
A Novel Unified Approach to Deepfake Detection
本文提出了一种结合空间域和频域特征交叉注意力及血液检测模块的深度伪造检测统一架构，实现了优于现有最佳方法的检测性能。
2026-09-29 cs.CV
Hybrid Transformer Network for Deepfake Detection
MediaFutures（媒体未来研究中心）
Deepfake媒体现在变得越来越普遍，因为很容易获得的工具和移动应用程序可以生成逼真的deepfake视频/图像，而不需要任何技术知识。随着这一技术领域在不久的将来的进一步发展，deepfake媒体的数量和质量也有望蓬勃发展，同时使deepfake媒体成为传播错误/虚假信息的新实用工具。由于这些担忧，deepfake媒体检测工具正在成为必需品。在这项研究中，我们提出了一种新的混合Transformer网络，利用早期特征融合策略进行深度伪造视频检测。我们的模型采用两个不同的CNN网络，即，(1)XceptionNet和（2）EfficientNet-B4作为特征提取器。我们在FaceForensics++、DFDC基准测试上以端到端的方式对两个特征提取器和Transformer进行训练。我们的模型虽然具有相对简单的架构，但在FaceForensics++和DFDC基准测试中进行评估时，可以获得与其他更先进的最先进方法相当的结果。除此之外，我们还提出了新的人脸裁剪增强，以及随机裁剪增强。我们表明，所提出的增强提高了我们的模型的检测性能，并减少过拟合。除此之外，我们还证明了我们的模型能够从相当少量的数据中学习。
2022-08-11 cs.CV
Learning Pairwise Interaction for Generalizable DeepFake Detection
Norwegian University of Science and Technology（挪威科技大学）；University Federico II of Naples（那不勒斯费德里科二世大学）
DeepFake生成技术的快速发展挑战了为已知类型DeepFake设计的检测方案。可靠的Deepfake检测方法必须对生成类型不可知，这可能会呈现不同的质量和外观。如果检测器不能在开集场景中处理看不见的攻击，则不同生成方案的有限通用性将限制检测器的大规模部署。我们提出了一种新的方法，多通道Xception注意力成对交互（MCX-API），利用成对学习的力量和互补信息，从不同的颜色空间表示在一个细粒度的方式。我们首先使用四种不同的Deepfake方案在类内设置（闭集）中的公开数据集上验证我们的想法。此外，我们使用三个公共数据集在类间设置（开集）中使用平衡开集分类（BOSC）准确性报告了所有结果。我们的实验表明，我们提出的方法可以比最先进的Deepfakes检测器更好地推广。我们在FF++数据集上获得了98.48%的BOSC准确率，在CelebDF数据集上获得了90.87%的BOSC准确率，这表明DeepFake检测的推广是一个有希望的方向。我们进一步利用t-SNE和注意力地图来解释和可视化我们提出的网络的决策过程。https://github.com/xuyingzhongguo/MCX-API
2023-02-26 cs.CV
Enhancing Deepfake Detection using SE Block Attention with CNN
Department of Computer Science North Carolina A\&T State University Greensboro, USA
针对现有深度伪造检测模型存储内存消耗大的问题，提出融合SE注意力的轻量CNN检测模型，在Style GAN数据集上取得94.14%准确率与0.985的AUC-ROC，实现低资源下的高效检测。
2025-06-12 cs.CV
Identity-Driven DeepFake Detection
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
到目前为止，DeepFake检测一直由“伪影驱动”方法主导，当图像伪影的类型未知或伪影太难找到时，检测性能会显着下降。在这项工作中，我们提出了一种替代方法：身份驱动的DeepFake检测。我们的方法将可疑图像/视频以及目标身份信息（参考图像或视频）作为输入。我们输出关于可疑图像/视频中的身份是否与目标身份相同的决定。我们的动机是防止最常见和最有害的DeepFakes传播目标人物的虚假信息。基于身份的方法是根本不同的，因为它不试图检测图像伪影。相反，它关注的是嫌疑人图像/视频中的身份是否真实。为了方便基于身份的检测研究，我们提出了一个新的大规模数据集“Vox-DeepFake”，其中每个可疑内容与从目标身份的视频中收集的多个参考图像相关联。我们还提出了一个简单的基于身份的检测算法，称为OuterFace，这可以作为进一步研究的基线。即使在没有虚假视频的情况下进行训练，OuterFace算法也可以实现卓越的检测精度，并很好地推广到不同的DeepFake方法，并且在视频降级技术方面具有鲁棒性-这是现有检测算法无法实现的性能。
2020-12-07 cs.CV
Implicit Identity Leakage: The Stumbling Block to Improving Deepfake Detection Generalization
MEGVII Technology（旷视科技）
在本文中，我们分析了二进制分类器在深度伪造检测任务中的泛化能力。我们发现，他们的推广的绊脚石是由意想不到的学习身份表示的图像。这种现象被称为隐式身份泄漏，已经在各种DNN中得到了定性和定量的验证。此外，基于这样的理解，我们提出了一种简单而有效的方法，称为ID未知的Deepfake检测模型，以减少这种现象的影响。大量的实验结果表明，我们的方法优于国家的最先进的在数据集内和跨数据集的评估。该代码可在https://github.com/megvii-research/CADDM上获得。
2023-03-10 cs.CV
DeepFake Detection: Current Challenges and Next Steps
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
人工智能算法生成的高质量虚假视频和音频（深度伪造）已经开始挑战视频和音频作为事件确凿证据的地位。在本文中，我们强调了其中的一些挑战，并讨论了在这个方向的研究机会。
2020-03-11 cs.CV
Countering Malicious DeepFakes: Survey, Battleground, and Horizon
Alibaba Group（阿里巴巴集团）；Wuhan University（武汉大学）；East China Normal University（华东师范大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Zhejiang Sci-Tech University（浙江理工大学）
通过被称为DeepFake的深度生成方法来创建或操纵面部外观已经取得了重大进展，并促进了广泛的良性和恶意应用，例如，电影中的视觉效果辅助和通过假冒名人产生错误信息。这项新技术的邪恶一面提出了另一项流行的研究，即，DeepFake检测，旨在从真实面孔中识别虚假面孔。随着DeepFake相关研究在社区的快速发展，双方形成了战场关系，推动彼此的改进并激发新的方向，例如，逃避DeepFake检测。然而，由于相关出版物的迅速增加，这些战场和新方向的概况并不清楚，并且被最近的调查所忽视，限制了对趋势和未来工作的深入了解。为了填补这一空白，本文对DeepFake生成、DeepFake检测以及DeepFake检测规避等主题的研究工作进行了全面的概述和详细的分析，对超过318篇研究论文进行了仔细的调查。我们介绍了各种DeepFake生成方法的分类和各种DeepFake检测方法的分类，更重要的是，我们通过对手（DeepFake生成）和防御者（DeepFake检测）之间的详细交互来展示双方之间的战场。战场允许对DeepFake研究的最新景观进行新的视角，并可以对研究挑战和机遇以及研究趋势和未来方向提供有价值的分析。我们还精心设计了交互式图表（http：//www.xujuefei.com/dfsurvey），让研究人员在流行的DeepFake生成器或检测器上探索自己的兴趣。
2022-03-23 cs.CV
Investigation of ensemble methods for the detection of deepfake face manipulations
CERTH（希腊研究与技术中心）
本文研究用于深度伪造人脸检测的集成方法，通过组合专注于不同篡改类别的多个模型提升检测准确率与鲁棒性，并指出泛化能力依赖大规模多样化篡改训练数据。
2023-04-14 cs.CV
Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies
USC Information Sciences Institute（南加州大学信息科学研究所）；USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明氏电气与计算机工程学院）；Clemson University（克莱姆森大学）；Holcombe Department of Electrical and Computer Engineering（霍尔科姆电气与计算机工程学院）
针对现有有监督Deepfake检测依赖标注数据、难泛化到新生成方法的问题，提出基于模态内与跨模态不一致性的无监督检测方法，在FakeAVCeleb数据集上性能超越此前SOTA，兼具可扩展性、泛化性、可靠性与可解释性。
2024-06-20 cs.CV
LampMark: Proactive Deepfake Detection via Training-Free Landmark Perceptual Watermarks
Nanyang Technological University（南洋理工大学）；Qilu University of Technology（齐鲁工业大学）；Shandong University（山东大学）
针对被动深度伪造检测算法泛化性不足的问题，提出主动检测方法LampMark，通过免训练的地标感知水印，从面部地标生成二进制水印并嵌入图像，通过水印一致性检测深度伪造，性能优于现有方法。
2024-11-26 cs.CV
Spatio-temporal Features for Generalized Detection of Deepfake Videos
DUniversum（3D宇宙）；University of Amsterdam（阿姆斯特丹大学）
对于deepfake检测，视频级检测器还没有像图像级检测器那样广泛地探索，图像级检测器不利用时间数据。在本文中，我们的经验表明，现有的图像和序列分类方法推广到新的操作技术差。为此，我们提出了由3D CNN建模的时空特征，以扩展泛化能力来检测新类型的deepfake视频。我们发现，空间特征学习不同的deepfake方法特定属性，而时空特征捕获deepfake方法之间的共享属性。我们提供了一个深入的分析顺序和时空视频编码器如何利用时间信息使用DFDC数据集arXiv：2006.07397。因此，我们揭示了我们的方法捕获了deepfake视频中的局部时空关系和不一致性，而现有的序列编码器对此漠不关心。通过在FaceForensics++ arXiv：1901.08971和Deeper Forensics arXiv：2001.03024数据集上进行的大规模实验，我们表明我们的方法在泛化能力方面优于现有方法。
2020-10-22 cs.CV
DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization
DiMoDif 利用音视频语音识别特征的跨模态不一致性，通过分层融合网络与复合损失实现帧级深度伪造检测与时间定位，在 AV-Deepfake1M 等基准上大幅超越现有方法。
2025-04-11 cs.CV
AuthGuard: Generalizable Deepfake Detection via Language Guidance
Purdue University（普渡大学）；AWS AI Labs（AWS人工智能实验室）
AuthGuard 通过引入语言引导与常识推理，结合判别式分类和图像-文本对比学习训练专家视觉编码器，并集成数据不确定性学习，从而在分布内与分布外场景下显著提升深度伪造检测的泛化性、准确率和可解释性。
2025-06-04 cs.CV
Performance Decay in Deepfake Detection: The Limitations of Training on Outdated Data
Defence AI Research (DARe), The Alan Turing Institute, London NW1 2DB, UK（国防人工智能研究（DARe），艾伦·图灵研究所，伦敦NW1 2DB，英国）
本文提出一种两阶段深度伪造检测方法，在当代数据上AUROC超过99.8%，但面对六个月后新生成技术时召回率下降超30%，并指出持续性能依赖大规模数据更新和帧级伪影检测。
2025-11-10 cs.CV
Delving into Sequential Patches for Deepfake Detection
Tsinghua University（清华大学）；Baidu Inc.（百度公司）；Zhongguancun Laboratory（中关村实验室）
面部伪造技术的最新进展产生了几乎视觉上无法追踪的deepfake视频，这些视频可能会被恶意利用。因此，研究人员一直致力于deepfake检测。以前的研究已经确定了局部低级别线索和时间信息的重要性，以寻求在deepfake方法中很好地推广，但是，它们仍然存在对后处理的鲁棒性问题。在这项工作中，我们提出了基于局部和时间感知变换器的Deepfake检测（LTTD）框架，该框架采用局部到全局的学习协议，特别关注局部序列中有价值的时间信息。具体来说，我们提出了一个本地序列Transformer（LST），该模型的时间一致性序列的限制空间区域，其中低层次的信息是分层增强与学习的3D过滤器的浅层。基于局部时间嵌入，我们然后实现了最终的分类在一个全球的对比方式。在流行数据集上的大量实验验证了我们的方法有效地发现了本地伪造线索，并实现了最先进的性能。
2022-10-12 cs.CV
Multi-attentional Deepfake Detection
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud AI（微软云人工智能）
Deepfake的面部伪造在互联网上广泛传播，并引起了严重的社会关注。最近，如何检测这种伪造内容已经成为一个热门的研究课题，并且已经提出了许多deepfake检测方法。他们中的大多数将deepfake检测建模为一个普通的二进制分类问题，即首先使用骨干网络提取全局特征，然后将其输入到二进制分类器（真/假）中。但是，由于在这个任务中真实图像和假图像之间的差异往往是微妙和局部的，我们认为这种香草解决方案不是最佳的。在本文中，我们将deepfake检测表示为细粒度分类问题，并提出了一种新的多注意力deepfake检测网络。具体来说，它由三个关键组件组成：1）多个空间注意力头，使网络关注不同的局部; 2）纹理特征增强块，放大浅层特征中的细微伪影; 3）在注意力地图的指导下聚合低级纹理特征和高级语义特征。此外，为了解决该网络的学习困难，我们进一步引入了一个新的区域独立性损失和注意力引导的数据增强策略。通过在不同数据集上的大量实验，我们证明了我们的方法优于香草二元分类器，并达到了最先进的性能。
2021-03-08 cs.CV
Ensemble-Based Deepfake Detection using State-of-the-Art Models with Robust Cross-Dataset Generalisation
Centre for Visual Computing and Intelligent Systems, University of Bradford, Bradford, UK（视觉计算与智能系统研究中心，布拉德福德大学，布拉德福德，英国）
本研究提出基于多种最先进非对称模型集成的深度伪造检测方法，在跨数据集场景下实现更稳定可靠的泛化性能，优于任何单一模型。
2025-07-08 cs.CV
TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning
Sungkyunkwan University（成均馆大学）
Deepfake已经成为一个严重的社会问题，检测它们至关重要。此外，deepfake生成方法正在进步，并且越来越难以检测。虽然许多deepfake检测模型可以分别检测不同类型的deepfake，但它们在推广多种类型的deepfake的检测性能方面表现不佳。这促使我们开发一个通用模型来检测不同类型的deepfake。因此，在这项工作中，我们引入了一种实用的数字取证工具，可以同时检测不同类型的深度伪造，并提出了基于迁移学习的自动编码器（TAR）。我们工作的最终目标是开发一个统一的模型，以高精度检测各种类型的deepfake视频，只有少量的训练样本可以在现实世界中很好地工作。我们开发了一个基于自动编码器的检测模型，带有残差块，并依次执行迁移学习，以同时检测不同类型的深度伪造。我们的方法实现了比FaceForensics++数据集上最先进的方法更高的广义检测性能。此外，我们在互联网上提供的50位名人的200个真实世界Deepfake-in-the-Wild（DW）视频上评估了我们的模型，并实现了89.49%的zero-shot准确率，这显著高于最佳基线模型（获得10.77%），证明并验证了我们方法的实用性。
2021-05-13 cs.CV
Improving Generalization in Deepfake Detection with Face Foundation Models and Metric Learning
本文提出基于人脸基础模型FSFM并结合三元组损失与归因监督的深度伪造检测框架，通过多数据集微调提升模型在真实场景中的泛化能力。
2025-11-10 cs.CV
A Timely Survey on Vision Transformer for Deepfake Detection
National University of Singapore (NUS)（新加坡国立大学）；Southwest Jiaotong University (SWJTU)（西南交通大学）
本综述针对深度伪造技术发展带来的安全风险，梳理了基于Vision Transformer的深度伪造检测模型，按架构分类并阐述特点，为相关研究与应用提供参考。
2024-05-14 cs.CV
WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection
Sungkyunkwan University（成均馆大学）；Sogang University（西江大学）；Seoul National University（首尔大学）
本文提出片段级多模态深度伪造检测基准FakeMix及新指标TA和FDM，揭示现有模型在视频级高精度下对逐帧篡改检测能力大幅下降的问题。
2024-08-06 cs.CV
Unmasking Facial DeepFakes: A Robust Multiview Detection Framework for Natural Images
University of Quebec in Outaouais（魁北克大学 Outaouais分校）
针对深度伪造检测在姿态变化和遮挡下的不足，提出融合全局、中间、局部及朝向四种编码器的多视角框架，在挑战性数据集上超越单视角方法。
2025-10-17 cs.CV
DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning
Deakin University（迪肯大学）；University of Fukui（福井大学）
最近，面部深度伪造检测取得了令人印象深刻的结果。几乎所有现有的用于人脸deepfake检测的深度学习技术都是完全监督的，并且在训练期间需要标签。在本文中，我们通过无监督对比学习设计了一种新的deepfake检测方法。我们首先生成图像的两个不同的变换版本，并将它们馈送到两个顺序的子网络中，即，编码器和投影头。通过最大化投影头输出的对应度来实现无监督训练。为了评估我们的无监督方法的检测性能，我们进一步使用的无监督功能训练一个有效的线性分类网络。大量的实验表明，我们的无监督学习方法能够在数据集内和数据集间设置中实现与最先进的监督技术相当的检测性能。我们还对我们的方法进行了消融研究。
2021-04-23 cs.CV cs.LG
Deepfake Detection by Human Crowds, Machines, and Machine-informed Crowds
Massachusetts Institute of Technology（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近出现的机器操纵媒体提出了一个重要的社会问题：我们如何知道我们观看的视频是真的还是假的？在两项有15,016名参与者的在线研究中，我们展示了真实的视频和deepfake，并要求参与者识别哪个是哪个。我们将普通人类观察者的表现与领先的计算机视觉deepfake检测模型进行了比较，发现它们在犯不同错误的同时同样准确。总之，可以访问模型预测的参与者比单独使用模型预测的参与者更准确，但不准确的模型预测通常会降低参与者的准确性。为了探索人类和机器作为深度伪造检测器的相对优势和弱点，我们检查了人类和机器在视频级特征上的表现，并评估了预先注册的随机干预对深度伪造检测的影响。我们发现，旨在破坏面部视觉处理的操作会阻碍人类参与者的表现，而大多数情况下不会影响模型的表现，这表明专门的认知能力在解释人类deepfake检测性能方面的作用。
2021-10-27 cs.AI cs.CV
DeepFake-o-meter: An Open Platform for DeepFake Detection
University at Buffalo（布法罗大学）；University of Chinese Academy of Sciences（中国科学院大学）；State University of New York（纽约州立大学）；Ocean University of China（中国海洋大学）
近年来，基于深度学习的技术的出现和计算成本的显著降低使得创建逼真的人脸视频（通常称为DeepFakes）成为可能。创建DeepFakes的开源工具的可用性对在线媒体的可信度构成了威胁。在这项工作中，我们开发了一个开源的在线平台，称为DeepFake-o-meter，它集成了最先进的DeepFake检测方法，并为用户提供了一个方便的界面。在这项工作中，我们描述了DeepFake-o-meter的设计和功能。
2021-03-02 cs.AI cs.CV
