Deepfake detection: humans vs. machines
Idiap Research Institute（伊迪亚普研究所）
Deepfake视频，其中一个人的脸自动与其他人的脸交换，越来越容易生成更逼真的结果。为了应对这种操纵可能对我们对视频证据的信任构成的威胁，最近提出了几个大型的deepfake视频数据集和许多检测它们的方法。然而，目前还不清楚Deepfake视频对普通人来说有多真实，以及这些算法在检测它们方面是否明显优于人类。在本文中，我们提出了一项在类似众包的场景中进行的主观研究，该研究系统地评估了人类很难看到视频是否是deepfake。为了进行评估，我们使用了从Facebook deepfake数据库中手动预选的120个不同的视频（60个deepfake和60个原件），这些视频是在Kaggle的Deepfake检测挑战赛2020中提供的。对于每个视频，一个简单的问题：“视频中的人的脸是真的还是假的？平均有19名天真的受试者回答了这个问题。主观评估的结果与两种不同的最先进的深度伪造检测方法的性能进行了比较，这些方法基于Xception和EfficientNets（B4变体）神经网络，这些神经网络在另外两个大型公共数据库上进行了预训练：来自FaceForensics++的Google子集和最近的Celeb-DF数据集。评估表明，虽然人类的感知与机器的感知非常不同，但两者都成功地以不同的方式被深度伪造所欺骗。具体来说，算法很难检测到那些深度伪造的视频，人类受试者发现这些视频很容易被发现。
2020-09-07 cs.CV cs.MM eess.IV
Impact of Video Processing Operations in Deepfake Detection
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
视频中数字人脸篡改的检测由于增加了公众信任的风险而引起了广泛的关注。为了对抗这些技术的恶意使用，已经开发了基于深度学习的deepfake检测方法，并显示出令人印象深刻的结果。然而，这些检测器的性能通常使用几乎不能反映真实情况的基准进行评估。例如，各种视频处理操作对检测准确性的影响尚未得到系统评估。为了解决这一差距，本文首先分析了众多的现实世界的影响因素和典型的视频处理操作。然后，提出了一种更系统的评估方法，该方法允许在不同处理操作的影响下对检测器的鲁棒性进行定量评估。此外，还在三种流行的深度伪造检测器上进行了大量实验，详细分析了每种操作的影响，并为未来的研究提供了见解。
2023-03-30 cs.CV eess.IV
The DeepFake Detection Challenge (DFDC) Dataset
Facebook AI
Deepfakes是一种最新的现成的操纵技术，允许任何人在一个视频中交换两个身份。除了Deepfakes之外，各种基于GAN的人脸交换方法也已经发布，并附带了代码。为了应对这一新出现的威胁，我们构建了一个非常大的人脸交换视频数据集，以支持检测模型的训练，并组织了相应的DeepFake Detection Challenge（DFDC）Kaggle竞赛。重要的是，所有记录的受试者都同意参与并在构建面部交换数据集的过程中修改他们的肖像。DFDC数据集是迄今为止最大的公开可用的人脸交换视频数据集，共有超过10万个片段，来自3，426名付费演员，使用多种Deepfake，基于GAN和非学习方法制作。除了描述用于构建数据集的方法外，我们还提供了对Kaggle竞赛中顶级提交的详细分析。我们表明，尽管Deepfake检测非常困难，仍然是一个未解决的问题，但仅在DFDC上训练的Deepfake检测模型可以推广到真正的“野外”Deepfake视频，并且在分析潜在的Deepfake视频时，这样的模型可以成为一个有价值的分析工具。培训、验证和测试语料库可从https://ai.facebook.com/datasets/dfdc下载。
2020-10-28 cs.CV cs.LG
Improving Video Deepfake Detection: A DCT-Based Approach with Patch-Level Analysis
University of Catania（卡塔尼亚大学）
提出一种基于DCT和I帧块级分析的视频深度伪造检测算法，发现眼睛和嘴巴区域最具判别力，显著提升了检测效率与准确性。
2024-01-09 cs.CV eess.IV
Using Deep Learning to Detecting Deepfakes
University of Wisconsin – Eau Claire（威斯康星大学欧克莱尔分校）
近年来，社交媒体已成为许多在线用户的主要信息来源。这导致了错误信息通过deepfakes的传播。Deepfakes是用另一个计算机生成的面孔取代一个人的面孔的视频或图像，通常是社会上更容易识别的人。随着最近技术的进步，几乎没有技术经验的人也可以生成这些视频。这使他们能够模仿社会中的权力人物，如总统或名人，从而造成传播错误信息和其他恶意使用deepfake的潜在危险。为了应对这种在线威胁，研究人员开发了旨在检测deepfake的模型。这项研究着眼于使用深度学习算法来对抗这种迫在眉睫的威胁的各种deepfake检测模型。本次调查的重点是全面概述deepfake检测模型的现状，以及许多研究人员解决这一问题的独特方法。的好处，局限性，并为今后的工作建议将在整个本文中进行深入讨论。
2022-07-27 cs.AI cs.CV cs.LG
FakeBuster: A DeepFakes Detection Tool for Video Conferencing Scenarios
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）；Monash University（莫纳什大学）
本文提出了一种新的DeepFake检测器FakeBuster，用于检测视频会议期间的冒名顶替者和社交媒体上的操纵面孔。FakeBuster是一个独立的基于深度学习的解决方案，它使用户能够检测在基于视频会议的会议期间是否有人的视频被操纵或欺骗。该工具独立于视频会议解决方案，并已通过Zoom和Skype应用程序的测试。它使用3D卷积神经网络来预测视频分段的虚假分数。该网络是在Deeperforensics、DFDC、VoxCeleb和deepfake视频等数据集的组合上训练的，这些视频是使用本地捕获的（用于视频会议场景）图像创建的。这导致了数据集中不同的环境和扰动，从而提高了deepfake网络的泛化能力。
2021-01-09 cs.CV
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University（成均馆大学）
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份，方法是将他的脸替换为目标人物的脸。此外，使用深度学习技术克隆人类声音的新领域也正在出现。现在，攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现，研究人员提出了deepfake检测方法。然而，它们仅关注于检测单个模态，即，视频或音频。另一方面，为了开发一个好的deepfake检测器，可以应对deepfake生成的最新进展，我们需要一个检测器，可以检测多种形式的deepfake，即，视频和音频。为了构建这样的检测器，我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集，音频-视频多模态Deepfake检测数据集（FakeAVCeleb），它不仅包含deepfake视频，还包含合成的假音频。我们使用了这个多模态deepfake数据集，并使用最先进的单峰，基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验，我们得出结论，与基于集合的方法相比，单峰，仅处理单一模态，视频或音频，表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
Detecting Deepfakes Without Seeing Any
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出 FACTOR 事实核查框架，通过比对攻击者声称的身份等事实与媒体实际内容，在无需训练且未见 deepfake 的情况下检测零日换脸与音视频合成攻击。
2023-11-02 cs.CV cs.LG
Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播，这引起了严重的社会问题。在本文中，我们提出了一种新的视频Transformer，用于检测深度伪造视频。为了更好地对齐输入的人脸图像，我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势，眨眼和嘴巴运动信息，因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略，可以在少量数据上微调所提出的模型，并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明，所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能，并从序列数据中增强了特征学习。
2021-08-11 cs.CV
Preserving Knowledge across Space and Time for Continual Video Deepfake Detection
Chung-Ang University（中央大学）；GS. of AI, Chung-Ang University（中央大学人工智能学院）；Dept. of Advanced Imaging, GSAIM, Chung-Ang University（中央大学先进影像系（GSAIM））；Dept. of Metaverse Convergence, Chung-Ang University（中央大学元宇宙融合系）
针对现有深度伪造检测方法无法适配视频特有线索的问题，提出MSFD框架，通过频域分解与跨模态去相关损失实现各模态知识保留，在持续视频深度伪造检测中性能优于现有最优方法。
2026-09-04 cs.CV
Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种基于学习的方法来检测真实和虚假的deepfake多媒体内容。为了最大限度地提高学习信息，我们从同一视频中提取和分析两种音频和视觉模式之间的相似性。此外，我们提取和比较情感线索对应于感知的情感从两个模态内的视频，以推断输入视频是“真”还是“假”。我们提出了一个深度学习网络，灵感来自暹罗网络架构和三重丢失。为了验证我们的模型，我们报告了两个大规模deepfake检测数据集（DeepFake-TIMIT数据集和DFDC）的AUC度量。我们将我们的方法与几种SOTA deepfake检测方法进行了比较，并报告了DFDC和DF-TIMIT数据集上的每视频AUC分别为84.4%和96.6%。据我们所知，我们的方法是第一种同时利用音频和视频模式以及这两种模式的感知情感进行深度伪造检测的方法。
2020-08-01 cs.CV cs.LG cs.SD
Fair and Interpretable Deepfake Detection in Videos
Fujitsu Limited（富士通株式会社）；Fujitsu Research of America, Inc.（富士通美国研究院）
针对 deepfake 视频检测中的群体偏见、可解释性不足和时间信息缺失问题，提出融合序列聚类时间建模、概念提取与人口统计感知频域增强的公平检测框架，并在多个基准上验证其公平性与准确率权衡优势。
2025-10-20 cs.CV cs.LG
DeFakePro: Decentralized DeepFake Attacks Detection using ENF Authentication
Binghamton University（宾汉姆顿大学）；The U.S. Air Force Research Laboratory（美国空军研究实验室）
生成模型的进步，如Deepfake，允许用户模仿目标人物并操纵在线交互。人们已经认识到，虚假信息可能会在社会中造成混乱，破坏信任的基础。本文介绍了DeFakePro，这是一种在线视频会议工具中基于分散共识机制的Deepfake检测技术。利用嵌入在数字媒体记录中的环境指纹电网络频率（ENF）提供了一种共识机制设计，称为Proof-of-ENF（PoENF）算法。在PoENF算法中利用ENF信号波动的相似性来认证会议工具中广播的媒体。通过利用与恶意参与者的视频会议设置向其他参与者广播深度假视频记录，DeFakePro系统可以验证音频和视频通道中传入媒体的真实性。
2022-07-22 cs.CR cs.CV cs.LG
WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection
Fudan University（复旦大学）；Deakin University（迪肯大学）
本文提出真实世界深度伪造数据集WildDeepfake（含707个视频、7,314个人脸序列），并设计2D/3D注意力检测网络ADDNets，实验证明其更具挑战性且ADDNets有效。
2024-07-17 cs.CV cs.LG
A Convolutional LSTM based Residual Network for Deepfake Video Detection
Sungkyunkwan University（成均馆大学）
近年来，基于深度学习的视频操作方法已经变得广泛地为大众所接受。几乎不需要付出任何努力，人们就可以轻松地学习如何生成只有几个受害者或目标图像的Deepfake视频。这给每个人带来了一个重大的社会问题，他们的照片在互联网上公开，特别是在社交媒体网站上。已经开发了几种基于深度学习的检测方法来识别这些deepfake。然而，这些方法缺乏普遍性，因为它们只对特定类型的deepfake方法表现良好。因此，这些方法不能转移到检测其他deepfake方法。而且，它们不利用视频的时间信息。在本文中，我们解决了这些局限性。我们开发了一个基于卷积LSTM的残差网络（CLRNet），它将一系列连续图像作为视频的输入，以学习时间信息，帮助检测deepfake视频帧之间存在的不自然的伪影。我们还提出了一种基于迁移学习的方法来概括不同的deepfake方法。通过使用FaceForensics++数据集进行严格的实验，我们证明了我们的方法优于之前提出的五种最先进的深度伪造检测方法，可以更好地推广使用相同模型检测不同的深度伪造方法。
2020-09-16 cs.CV cs.MM
GenConViT: Deepfake Video Detection Using Generative Convolutional Vision Transformer
Ghent University（根特大学）；imec；Addis Ababa University（亚的斯亚贝巴大学）；State University of New York Polytechnic Institute（纽约州立大学理工学院）
本文提出GenConViT模型，结合ConvNeXt和Swin Transformer提取特征，并利用自编码器和变分自编码器学习潜在分布，在多个数据集上实现了高准确率的深度伪造视频检测，但泛化能力仍需提升。
2025-03-04 cs.CV
Spatio-temporal Features for Generalized Detection of Deepfake Videos
DUniversum（3D宇宙）；University of Amsterdam（阿姆斯特丹大学）
对于deepfake检测，视频级检测器还没有像图像级检测器那样广泛地探索，图像级检测器不利用时间数据。在本文中，我们的经验表明，现有的图像和序列分类方法推广到新的操作技术差。为此，我们提出了由3D CNN建模的时空特征，以扩展泛化能力来检测新类型的deepfake视频。我们发现，空间特征学习不同的deepfake方法特定属性，而时空特征捕获deepfake方法之间的共享属性。我们提供了一个深入的分析顺序和时空视频编码器如何利用时间信息使用DFDC数据集arXiv：2006.07397。因此，我们揭示了我们的方法捕获了deepfake视频中的局部时空关系和不一致性，而现有的序列编码器对此漠不关心。通过在FaceForensics++ arXiv：1901.08971和Deeper Forensics arXiv：2001.03024数据集上进行的大规模实验，我们表明我们的方法在泛化能力方面优于现有方法。
2020-10-22 cs.CV
Deepfake detection in videos with multiple faces using geometric-fakeness features
Sberbank of Russia（俄罗斯联邦储蓄银行）
针对多人脸视频中Deepfake检测性能下降问题，提出几何伪造特征（GFF）表征人脸动态存在度与逐帧得分，并训练深度学习模型分析时间不一致性，在多个基准数据集上优于现有方法。
2024-10-10 cs.CR cs.CV
FakeI2V-Bench: Benchmarking the Applicability of Image-level Deepfake Detectors for Deepfake Video Detection
School of Cyber Science and Technology, Shandong University（山东大学网络空间安全学院）；School of Cryptologic Science and Engineering, Shandong University（山东大学密码技术与工程学院）
本研究构建FakeI2V-Bench基准，评估图像级深度伪造检测器在视频检测中的性能，提出IV-Bridge框架聚合帧级预测，使多数图像级检测器性能超越现有视频级方法，为相关研究提供基准与新方向。
2026-08-05 cs.AI cs.CR cs.CV
Practical Deepfake Detection: Vulnerabilities in Global Contexts
Stanford University（斯坦福大学）
深度学习的最新进展使视频的真实数字改变成为可能，称为deepfakes。这项技术引起了社会对虚假信息和真实性的重要关注，刺激了许多deepfake检测算法的发展。同时，在训练数据和野外视频数据之间存在显著差异，这可能破坏它们的实际功效。我们模拟了数据损坏技术，并检查了最先进的deepfake检测算法在FaceForensics++数据集损坏变体上的性能。虽然deepfake检测模型对与训练时间增强一致的视频损坏具有鲁棒性，但我们发现它们仍然容易受到模拟视频质量下降的视频损坏的影响。事实上，在有争议的加蓬总统邦戈新年致辞视频案例中，该算法自信地验证了原始视频，并将视频的高度损坏变体判断为伪造。我们的工作开辟了技术和道德途径，探索在全球范围内进行实际的deepfake检测。
2022-06-20 cs.CV cs.CY
DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation
Universidad Autonoma de Madrid（马德里自治大学）
这项工作介绍了一种新的基于生理测量的DeepFake检测框架。特别是，我们考虑使用远程光电容积描记术（rPPG）的心率相关的信息。rPPG方法分析视频序列，寻找人体皮肤中细微的颜色变化，揭示组织下人体血液的存在。在这项工作中，我们研究了rPPG在多大程度上有助于检测DeepFake视频。提出的名为DeepFakesON-Phys的虚假检测器使用卷积注意力网络（CAN），该网络从视频帧中提取空间和时间信息，分析和组合两个源以更好地检测虚假视频。这种检测方法已经使用该领域最新的公共数据库进行了实验评估：Celeb-DF和DFDC。在两个数据库上实现的结果均超过98%的AUC（曲线下面积），优于最先进的技术水平，并证明了基于生理测量的虚假检测器在检测最新DeepFake视频方面的成功。
2020-12-14 cs.CV cs.MM
DeePhy: On Deepfake Phylogeny
IIT Jodhpur（印度理工学院焦特布尔分校）
Deepfake指的是定制和合成生成的视频，这些视频现在很流行并大规模传播，威胁到在线信息的可信度。虽然现有的数据集包含不同类型的deepfake，其生成技术各不相同，但它们并没有以“系统发育”的方式考虑deepfake的发展。现有的deepfake面孔可能会与另一张面孔交换。这个面部交换过程可以多次执行，并且可以演变出最终的deepfake来混淆deepfake检测算法。此外，许多数据库不提供所采用的生成模型作为目标标签。模型归因有助于通过提供关于所采用的生成模型的信息来增强检测结果的可解释性。为了使研究界能够解决这些问题，本文提出了DeePhy，这是一个新的Deepfake系统发育数据集，由使用三种不同生成技术生成的5040个deepfake视频组成。有840个一次交换的deepfake视频，2520个两次交换的deepfake视频和1680个三次交换的deepfake视频。该数据库的大小超过30 GB，使用18个GPU的1，352 GB累积内存在1100多个小时内完成准备。我们还使用六种deepfake检测算法在DeePhy数据集上进行了基准测试。这些结果强调了对deepfake模型属性的研究需要不断发展，并将该过程推广到各种deepfake生成技术上。该数据库可在以下网址查阅：http://iab-rubric.org/deephy-database
2022-09-19 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption
针对深度伪造检测泛化性差的问题，提出通过伪伪造生成器创建时空规律破坏的伪伪造视频进行训练，并设计时空增强块联合捕获时空破坏，在多个数据集上取得卓越性能。
2023-06-25 cs.CV
What's wrong with this video? Comparing Explainers for Deepfake Detection
Politecnico di Milano（米兰理工大学）
Deepfake是计算机操纵的视频，其中一个人的脸被另一个人的脸所取代。制造这种威胁的软件易于使用，越来越流行，对个人声誉和公共安全造成严重威胁。随着越来越大的数据集的发布，用于检测deepfakes的分类器的质量有所提高，但是对为什么特定视频被标记为虚假的理解并没有跟上。在这项工作中，我们开发，扩展和比较白盒，黑盒和模型特定的技术来解释真实和虚假视频的标签。特别是，我们调整SHAP，GradCAM和自我注意力模型来解释基于EfficientNet的最先进检测器的预测任务，这些检测器在Deepfake Detection Challenge（DFDC）数据集上进行了训练。我们比较所获得的解释，提出指标来量化他们的视觉功能和理想的特性，也进行了用户调查，收集用户的意见，解释者的有用性。
2021-05-12 cs.CV
GRACE: Graph-Regularized Attentive Convolutional Entanglement with Laplacian Smoothing for Robust DeepFake Video Detection
National Cheng Kung University（成功大学）；Institute of Data Science（数据科学研究院）
本文提出GRACE方法，通过图卷积网络结合图拉普拉斯先验和稀疏约束，将时空特征相互纠缠并去除噪声，以提升噪声面部序列下DeepFake视频检测的鲁棒性。
2024-09-01 cs.CV
Deepfake Caricatures: Amplifying attention to artifacts increases deepfake detection by humans and machines
MIT（麻省理工学院）
本文提出一种放大deepfake视频伪影的框架，通过半监督Artifact Attention模块生成视觉指示器Deepfake Caricatures，显著提升人类检测能力，并改进检测模型的准确性和鲁棒性。
2025-06-29 cs.CV cs.HC cs.SI
Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
Bitdefender；Politehnica Bucharest（巴尔干理工大学）
本文揭示广泛使用的音视频深度伪造数据集存在开头静音的虚假捷径特征，提出仅在真实数据上训练模型并对齐自监督音视频表示的无监督学习方法，消除了对数据集特定偏差的依赖，提升了检测鲁棒性。
2025-05-29 cs.CV cs.LG cs.SD
DeepFake Detection in Dyadic Video Calls using Point of Gaze Tracking
Department of Computer Science, Clarkson University, Potsdam, NY 13699 USA (e-mail: )；Department of Electrical \& Computer Engineering, Clarkson University, Potsdam, NY 13699 USA (e-mail: )
本文提出了一种基于注视点追踪的实时深度伪造检测方法，利用双人视频通话中的注视模式进行生物特征分析，实现了82%的准确率。
2026-01-10 cs.AI cs.CV
Interpretable and Trustworthy Deepfake Detection via Dynamic Prototypes
University of Southern California（南加州大学）
在本文中，我们提出了一种新的以人为中心的方法来检测伪造的人脸图像，使用动态原型作为一种形式的视觉解释。目前，大多数最先进的deepfake检测都是基于黑盒模型，该模型逐帧处理视频以进行推理，很少有人仔细检查它们的时间不一致性。然而，deepfake视频中这种时间伪影的存在是检测和向监督人员解释deepfake的关键。为此，我们提出了动态原型网络（DPNet）-一种可解释的有效解决方案，利用动态表示（即，原型）来解释deepfake时间伪影。广泛的实验结果表明，DPNet即使在Google的DeepFakeDetection，DeeperForensics和Celeb-DF等看不见的测试数据集上也能实现具有竞争力的预测性能，同时提供了对deepfake动态的简单参考解释。在DPNet的原型框架之上，我们进一步根据这些动态制定时序逻辑规范，以检查我们的模型是否符合所需的时序行为，从而为此类关键检测系统提供可信度。
2021-01-15 cs.CV cs.LG
FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection
Reichman University（赖希曼大学）
FakeOut利用多模态域外自监督骨干网络，适应视频深度伪造检测，在跨数据集泛化上达到最先进结果，证明域外训练可提升检测鲁棒性。
2024-02-07 cs.CV
Combining EfficientNet and Vision Transformers for Video Deepfake Detection
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
Deepfakes是数字操纵的结果，以伪造逼真但虚假的图像。随着深度生成模型的惊人进步，现在使用变分自编码器（VAE）或生成对抗网络（GANs）获得虚假图像或视频。这些技术变得越来越容易获得和准确，导致虚假视频很难被检测到。传统上，卷积神经网络（CNN）已被用于执行视频深度伪造检测，使用基于EfficientNet B7的方法获得了最佳结果。在这项研究中，我们专注于人脸的视频深度虚假检测，因为大多数方法在生成逼真的人脸时变得非常准确。具体来说，我们将各种类型的视觉Transformer与用作特征提取器的卷积EfficientNet B0相结合，获得了与使用视觉Transformer的一些最新方法相当的结果。与最先进的方法不同，我们既不使用蒸馏方法，也不使用系综方法。此外，我们提出了一个简单的推理过程的基础上，一个简单的投票计划处理多个面孔在同一个视频镜头。最佳模型的AUC为0.951，F1得分为88.0%，非常接近DeepFake Detection Challenge（DFDC）的最新水平。
2022-01-20 cs.CV
Adversarially robust deepfake media detection using fused convolutional neural network predictions
CYENS Centre of Excellence（CYENS卓越中心）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
Deepfake是合成的图像，视频或音频，欺诈者使用它们来操纵合法信息。当前的深度造假检测系统难以应对看不见的数据。为了解决这个问题，我们采用了三种不同的深度卷积神经网络（CNN）模型，（1）VGG 16，（2）InceptionV 3和（3）XceptionNet来分类从视频中提取的假图像和真实图像。我们还构建了深度CNN模型的融合，以提高鲁棒性和泛化能力。当在公开的DeepFake检测挑战（DFDC）测试数据（包括400个视频）上进行测试时，所提出的技术以96.5%的准确率优于最先进的模型。该融合模型在较低质量的DeepFake-TIMIT数据集视频上达到99%的准确率，在较高质量的DeepFake-TIMIT视频上达到91.88%。此外，我们证明了预测融合对对抗攻击更鲁棒。如果一个模型受到对抗攻击的损害，预测融合不会让它影响整体分类。
2021-02-11 cs.CR cs.CV
MAVOS-DD: Multilingual Audio-Video Open-Set Deepfake Detection Benchmark
University of Bucharest（布加勒斯特大学）；MBZ University of Artificial Intelligence（MBZ人工智能大学）；Linköping University（利德大学）；University of Central Florida（佛罗里达中央大学）
本研究推出首个多语言音视频开放集深度伪造检测基准MAVOS-DD，构建含8种语言、超250小时视频的数据集并设计多组开放集评测场景，实验发现现有SOTA检测器在该场景下性能下降，已公开数据与代码。
2026-10-23 cs.AI cs.CV cs.LG
Identity-Driven DeepFake Detection
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
到目前为止，DeepFake检测一直由“伪影驱动”方法主导，当图像伪影的类型未知或伪影太难找到时，检测性能会显着下降。在这项工作中，我们提出了一种替代方法：身份驱动的DeepFake检测。我们的方法将可疑图像/视频以及目标身份信息（参考图像或视频）作为输入。我们输出关于可疑图像/视频中的身份是否与目标身份相同的决定。我们的动机是防止最常见和最有害的DeepFakes传播目标人物的虚假信息。基于身份的方法是根本不同的，因为它不试图检测图像伪影。相反，它关注的是嫌疑人图像/视频中的身份是否真实。为了方便基于身份的检测研究，我们提出了一个新的大规模数据集“Vox-DeepFake”，其中每个可疑内容与从目标身份的视频中收集的多个参考图像相关联。我们还提出了一个简单的基于身份的检测算法，称为OuterFace，这可以作为进一步研究的基线。即使在没有虚假视频的情况下进行训练，OuterFace算法也可以实现卓越的检测精度，并很好地推广到不同的DeepFake方法，并且在视频降级技术方面具有鲁棒性-这是现有检测算法无法实现的性能。
2020-12-07 cs.CV
Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes
Nanyang Technological University（南洋理工大学）
针对现有深度伪造检测依赖被动特征、泛化性差的问题，提出SFake实时检测方法，通过主动触发手机振动产生可控特征，基于面部与探测模式的一致性判断换脸，在自建数据集上准确率、速度和内存表现均优于6种对比方法。
2024-09-17 cs.AI cs.CR cs.CV
KoDF: A Large-scale Korean DeepFake Detection Dataset
MoneyBrain Inc.（MoneyBrain 公司）
近年来，各种有效的人脸交换和人脸再现方法被公开，在很大程度上使人脸合成技术民主化。这样生成的视频被称为具有负面含义的deepfakes，因为它们引起了各种社会问题。面对新出现的deepfake威胁，我们建立了韩国DeepFake检测数据集（KoDF），这是一个大规模的合成和真实视频集合，主要关注韩国主题。在本文中，我们提供了用于构建数据集的方法的详细描述，通过实验显示了KoDF和现有deepfake检测数据集的分布之间的差异，并强调了使用多个数据集进行真实世界泛化的重要性。KoDF在https://moneybrain-research.github.io/kodf上完整公开（即真实剪辑、合成剪辑、带有对抗攻击的剪辑和元数据）。
2021-08-23 cs.CV cs.LG
Scalable, Energy-Efficient Optical-Neural Architecture for Multiplexed Deepfake Video Detection
Electrical and Computer Engineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校电气与计算机工程系）；Bioengineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校生物工程系）；California NanoSystems Institute (CNSI), University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校加州纳米系统研究所）
本文提出了一种结合轻量级数字前端和空间复用光学解码后端的混合深度伪造视频检测框架，通过可编程空间光调制器实现大规模并行模拟推理，从而在降低计算成本的同时提高视频真实性预测的吞吐量和准确性。
2026-05-19 cs.CV cs.LG cs.NE
Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling
University of Quebec in Outaouais（魁北克大学乌塔韦校区）
本文提出一种可解释的视频深度伪造检测框架，通过显式编码多域取证特征并利用LSTM建模时序依赖，在四个基准上取得高F1分数，兼具鲁棒性与跨数据集泛化能力。
2026-10-05 cs.CV
Human-AI Ensembles Improve Deepfake Detection in Low-to-Medium Quality Videos
研究通过对比人类与AI检测器在DF40和CharadesDF数据集上的表现，发现人类在低质量视频中检测深度伪造更有效，且人类-人工智能组合能减少高置信度错误。
2026-03-15 cs.AI cs.CV
In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection under Rebalanced Deepfake Detection Protocol
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
针对完美深度伪造无伪影可辨的问题，本文提出再平衡检测协议RDDP和基于身份锚定、伪影无关的检测器ID-Miner，通过关注运动与参考影像比对实现鲁棒检测。
2024-05-01 cs.CV cs.MM
Deepfake Video Detection Using Convolutional Vision Transformer
Jimma University（吉姆玛大学）；Addis Ababa University（亚的斯亚贝巴大学）
深度学习模型的快速发展，可以生成和合成被称为Deepfakes的超现实视频，以及它们对公众的易用性，引起了所有相关机构对其可能的恶意使用的担忧。深度学习技术现在可以生成人脸，在视频中的两个主体之间交换人脸，改变面部表情，改变性别和改变面部特征，仅举几例。这些功能强大的视频处理方法在许多领域都有潜在的用途。然而，如果用于身份盗窃、网络钓鱼和诈骗等有害目的，它们也会对每个人构成迫在眉睫的威胁。在这项工作中，我们提出了一种用于检测Deepfakes的卷积视觉Transformer。卷积视觉变换器有两个组件：卷积神经网络（CNN）和视觉Transformer（ViT）。CNN提取可学习的特征，而ViT将学习的特征作为输入，并使用注意力机制对其进行分类。我们在DeepFake Detection Challenge Dataset（DFDC）上训练了我们的模型，并实现了91.5%的准确率，AUC值为0.91，损失值为0.32。我们的贡献是我们在ViT架构中添加了一个CNN模块，并在DFDC数据集上取得了有竞争力的结果。
2021-03-11 cs.CV
Unmasking Deep Fakes: Leveraging Deep Learning for Video Authenticity Detection
BRAC University（布拉克大学）
针对Deepfake视频对数字媒体真实性的威胁，本文提出结合MTCNN人脸检测器与EfficientNet-B5编码器的深度学习检测方法，在Kaggle DFDC数据集上取得了93.80%的AUC与86.82%的F1值。
2025-06-15 cs.CV
Two-branch Recurrent Network for Isolating Deepfakes in Videos
USC Information Sciences Institute（南加州大学信息科学研究所）
目前使用deepfakes人工生成的超现实人脸的峰值需要针对视频流量身定制的媒体取证解决方案，并在视频级别以低误报率可靠地工作。我们提出了一种基于双分支网络结构的deepfake检测方法，该方法通过学习放大伪影同时抑制高级面部内容来隔离数字处理的面部。与当前提取空间频率作为预处理步骤的方法不同，我们提出了一种两分支结构：一个分支传播原始信息，而另一个分支使用高斯拉普拉斯（LoG）作为瓶颈层来抑制人脸内容，同时放大多频带频率。为了更好地隔离操纵的面孔，我们推导出一种新的成本函数，与常规分类不同，它压缩了自然面孔的可变性，并在特征空间中推开了不切实际的面部样本。与之前的工作相比，我们的两个新组件在FaceForensics++、Celeb-DF和Facebook的DFDC预览基准测试中显示出了令人鼓舞的结果。然后，我们提供了一个完整的，详细的消融研究我们的网络架构和成本函数。最后，尽管要在非常低的误报率下获得非常显著的数字，标准仍然很高，但我们的研究表明，在视频级AUC方面进行交叉测试时，我们可以实现良好的视频级性能。
2020-09-04 cs.CV cs.CY cs.LG
Cross-Domain Local Characteristic Enhanced Deepfake Video Detection
Shanghai Jiao Tong University（上海交通大学）
随着超真实人脸伪造技术的出现，出于安全考虑，深度伪造检测引起了越来越多的关注。许多检测器不能实现准确的结果时，检测看不见的操纵，尽管在已知的fortunes的优秀性能。在本文中，我们的动机是观察到真实和虚假视频之间的差异是非常微妙和局部化的，并且不一致或不规则性可能存在于各种信息域中的一些关键面部区域。为此，我们提出了一种新的管道，跨域本地取证（XDLF），用于更一般的deepfake视频检测。在建议的管道中，提出了一个专门的框架，同时利用本地伪造模式从空间，频率和时间域，从而学习跨域的功能来检测伪造。此外，该框架利用人脸的四个高级别伪造敏感局部区域来指导模型增强微妙的伪影并定位潜在的异常。在几个基准数据集上的大量实验证明了我们的方法的令人印象深刻的性能，并且我们在跨数据集泛化方面优于几种最先进的方法。我们还研究了通过烧蚀对其性能做出贡献的因素，这表明利用跨域局部特征是开发更通用的deepfake检测器的一个值得注意的方向。
2022-11-07 cs.CV
Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies
USC Information Sciences Institute（南加州大学信息科学研究所）；USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明氏电气与计算机工程学院）；Clemson University（克莱姆森大学）；Holcombe Department of Electrical and Computer Engineering（霍尔科姆电气与计算机工程学院）
针对现有有监督Deepfake检测依赖标注数据、难泛化到新生成方法的问题，提出基于模态内与跨模态不一致性的无监督检测方法，在FakeAVCeleb数据集上性能超越此前SOTA，兼具可扩展性、泛化性、可靠性与可解释性。
2024-06-20 cs.CV
GOTCHA: Real-Time Video Deepfake Detection via Challenge-Response
Tandon School of Engineering, New York University（纽约大学坦登工程学院）
本文提出GOTCHA，一种基于挑战-响应的实时视频深度伪造检测方法，通过针对生成流程局限性的八种挑战，显著降低伪造质量，AUC达88.6%（人类）和80.1%（自动化），实现可解释且可扩展的实时检测。
2024-05-23 cs.AI cs.CR cs.CV
CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系（DEIB））
提出CUPID方法，利用3D人脸重建的UV纹理图和掩码自编码器，无需深度伪造视频训练即可检测特定人物深度伪造，并实现可解释性和鲁棒性。
2026-07-13 cs.CV
Towards More General Video-based Deepfake Detection through Facial Component Guided Adaptation for Foundation Model
Academia Sinica（中央研究院）；Microsoft（微软公司）；National Taiwan University（台湾大学）；National Taiwan University of Science and Technology（台湾科技大学）
针对基于视频的 Deepfake 检测在未见伪造样本上泛化不足的问题，提出基于侧网络的 CLIP 解码器并引入 FCG，提升了泛化性、数据与参数效率及鲁棒性。
2025-03-16 cs.CV
Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection
Hunan University（湖南大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
提出Mover模型，利用面部部件不一致性，通过掩码与恢复机制学习非特定特征，以双网络结构有效检测Deepfake视频。
2023-05-06 cs.CV cs.MM
Deepfake Detection Scheme Based on Vision Transformer and Distillation
Sunmoon University（鲜文大学）
Deepfake是使用生成式深度学习技术制作的操纵视频，例如任何人都可以使用的生成对抗网络（GANs）或自动编码器。最近，随着Deepfake视频的增加，已经积极创建了一些由卷积神经网络组成的分类器，这些分类器可以区分假视频和deepfake数据集。然而，以往基于CNN结构的研究不仅存在过拟合问题，而且存在将假视频误判为真视频的问题。在本文中，我们提出了一个视觉Transformer模型与蒸馏方法检测虚假视频。我们设计了一个基于CNN特征和块的定位模型，学习与所有位置进行交互，以找到伪影区域，从而解决假阴性问题。通过对Deepfake Detection（DFDC）数据集的比较分析，我们验证了所提出的以补丁嵌入为输入的方案优于使用组合CNN特征的最新技术。在没有集成技术的情况下，我们的模型获得了0.978的AUC和91.9的f1评分，而以前的SOTA模型在相同条件下获得了0.972的AUC和90.6的f1评分。
2021-04-03 cs.AI cs.CV
VoD: Learning Volume of Differences for Video-Based Deepfake Detection
本文提出基于差异体积（VoD）的深度伪造检测框架，利用连续帧差分和逐步扩展网络捕获时空不一致性，在数据集内和跨数据集测试中均表现优异，并通过消融研究优化了框架配置。
2025-03-10 cs.CV
Leveraging large multimodal models for audio-video deepfake detection: a pilot study
Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）
本文提出AV-LMMDetect，利用大型多模态模型进行音频视频深度伪造检测，通过监督微调和分阶段训练，在多个数据集上达到新的性能水平。
2026-02-25 cs.CV cs.SD
DeepFake Detection: Current Challenges and Next Steps
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
人工智能算法生成的高质量虚假视频和音频（深度伪造）已经开始挑战视频和音频作为事件确凿证据的地位。在本文中，我们强调了其中的一些挑战，并讨论了在这个方向的研究机会。
2020-03-11 cs.CV
