Diffusion Deepfake
Yeungnam University(岭南大学);University of Surrey(萨里大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文针对扩散模型生成的深度伪造检测难题,构建了两个更具挑战性的大规模数据集,并提出动量难度提升策略优化模型训练,显著提升了检测方法的泛化能力和性能。
2024-04-02 cs.CV
My Face Is Mine, Not Yours: Facial Protection Against Diffusion Model Face Swapping
City University of Hong Kong(香港城市大学);University of St Andrews(圣安德鲁斯大学)
本文提出一种针对扩散模型换脸的主动防御策略,通过对抗性攻击预防性保护面部图像,克服现有方法依赖特定架构和全局扰动的局限。
2025-05-21 cs.CV
Text-image guided Diffusion Model for generating Deepfake celebrity interactions
The University of Western Australia(西澳大学)
本文改造 stable diffusion 并结合图像锚定潜变量与 Dreambooth,实现文本-图像提示控制的高逼真多人名人互动深度伪造生成。
2023-09-26 cs.CV
The Effectiveness of Temporal Dependency in Deepfake Video Detection
University of York(约克大学)
Deepfakes是一种合成图像生成形式,用于为恶意目的生成个人的虚假视频。由此产生的视频可能被用来传播错误信息,降低对媒体的信任,或作为一种勒索形式。这些威胁需要自动化的deepfake视频检测方法。本文研究了时间信息是否可以提高深度学习模型的deepfake检测性能。为了调查这一点,我们提出了一个框架,分类新的和现有的方法,其定义特征。这些是特征提取的类型:自动或手动,以及帧之间的时间关系:依赖或独立。我们应用这个框架来研究时间依赖性对模型的deepfake检测性能的影响。我们发现,时间依赖性在使用自动特征选择对模型的真实图像进行分类时,在统计学上显著(p < 0.05)提高了性能,这表明时空信息可以提高deepfake视频检测模型的性能。
2022-05-13 cs.CV
Deepfake Synthesis vs. Detection: An Uneven Contest
United International University(国际大学);National University of Singapore(国立新加坡大学);BRAC University(布拉克大学)
本研究发现现有深度伪造检测模型在面对现代合成技术生成的深度伪造时表现不佳,亟需改进以应对不断演变的生成技术。
2026-02-08 cs.CV
DiffMark: Diffusion-based Robust Watermark Against Deepfakes
College of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Silk Road Multilingual Cognitive Computing International Cooperation Joint Laboratory(丝绸之路多语种认知计算国际合作联合实验室);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机科学与信息工程学院);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Department of Computer Science, State University of New York(纽约州立大学计算机科学系)
提出基于扩散模型的鲁棒水印框架DiffMark,通过时间步加权面部条件、交叉信息融合模块及抗深度伪造引导,增强水印对深度伪造操纵的鲁棒性,实验验证其有效性。
2025-10-10 cs.CV eess.IV
How Do Deepfakes Move? Motion Magnification for Deepfake Source Detection
Binghamton University(宾汉姆顿大学);Intel Labs(英特尔实验室)
随着深度生成模型的激增,deepfakes每天都在质量和数量上提高。然而,原始视频中存在微妙的真实性信号,SOTA GANs无法复制。我们通过运动放大来对比deepfake和真实视频中的运动,以构建一个通用的deepfake源检测器。不同的生成模型对面部肌肉下运动有不同的解释,这反映在它们的生成残差中。我们的方法利用真实运动和放大的GAN指纹之间的差异,通过结合深度和传统的运动放大,来检测视频是否是假的,如果是,则检测其源生成器。在两个多源数据集上的视频源检测结果表明,该方法的检测率分别为97.17%和94.03%。我们与现有的deepfake源检测器和其他复杂的架构进行了比较。分析了放大倍数、相位提取窗口、主干网络结构、样本数和样本长度等参数对相位提取的重要性。最后,我们报告了不同肤色的结果,以评估偏见。
2022-12-28 cs.AI cs.CV
Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities
University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Leonardo S.p.A.(莱昂纳多公司)
本文提出专为深度伪造检测设计的新型嵌入空间CoDE,通过对比学习与全局-局部相似性进行训练,并构建含920万张扩散模型生成图像的数据集,实现了最先进的检测准确率与卓越的泛化能力。
2024-07-29 cs.AI cs.CV cs.MM
Explainable Deepfake Video Detection using Convolutional Neural Network and CapsuleNet
BRAC University(BRAC大学)
本研究利用CNN、CapsuleNet和LSTM检测深度伪造视频帧,并通过可解释AI阐明模型决策,以提升透明度和安全性。
2024-04-19 cs.CV cs.LG eess.IV
Data-Driven Deepfake Image Detection Method -- The 2024 Global Deepfake Image Detection Challenge
AI Innovation Center(人工智能创新中心)
本文提出基于Swin Transformer V2-B的深度伪造图像检测方法,结合在线数据增强与离线样本生成提升泛化能力,并在2024年全球深度伪造图像检测挑战赛中获得优秀奖。
2025-08-15 cs.CV
Linguistic Profiling of Deepfakes: An Open Database for Next-Generation Deepfake Detection
University of Southampton(南安普顿大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(中国科学院深圳先进技术研究院)
本文提出开放深度伪造数据库DFLIP-3K,包含约300K样本、3K生成模型及190K语言学足迹,建立涵盖检测、模型识别和提示预测的基准,推动下一代可解释深度伪造检测。
2024-01-04 cs.CV
Integrating Audio-Visual Features for Multimodal Deepfake Detection
Cupertino High School(库比蒂诺高中);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
针对现有视听Deepfake检测方法常不及单模态分析的问题,提出结合细粒度识别与二分类、按单模态标签分四类的视听检测方法,提升域内和跨域检测性能。
2023-10-05 cs.CV
DeepFake Detection with Inconsistent Head Poses: Reproducibility and Analysis
Naval Postgraduate School(海军研究生院)
深度学习在合成媒体生成中的应用允许创建令人信服的伪造,称为DeepFakes,具有有限的技术专长。DeepFake检测是一个越来越活跃的研究领域。在本文中,我们分析了现有的基于头部姿态估计的DeepFake检测技术,该技术可以在使用基于自动编码器的人脸交换生成假图像时应用。现有文献表明,这种方法是一种有效的DeepFake检测器,其激励原理非常简单。为了使用这些原理开发新的DeepFake探测器,我们对现有方法进行了再现性研究。我们的结论是,它的优点被大大夸大了,尽管其著名的地位。通过研究这种差异,我们发现了一些重要的和可推广的见解,涉及面部标志检测,身份不可知的头部姿势估计,以及DeepFake检测器中的算法偏见。我们的研究结果纠正了当前文献对DeepFake检测最先进性能的看法。
2021-08-28 cs.CV
Exploring Active Data Selection Strategies for Continuous Training in Deepfake Detection
National Institute of Informatics(信息学研究所)
针对深度伪造检测模型需持续训练以应对新伪造方法的问题,提出基于模型置信度得分从冗余池集主动选数据的方法,仅用15%池集数据持续训练即实现2.5%的EER,显著提升检测性能。
2025-02-11 cs.CV
DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
针对现有深度伪造检测方法泛化性差的问题,提出基于预训练ViT的参数高效微调方法DeepFake-Adapter,通过双层适配器融合高层语义与高低层伪造线索,在跨数据集、跨操纵场景下检测性能显著提升。
2024-12-07 cs.CV
DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion
Xiamen University(厦门大学);Youtu Lab, Tencent(腾讯优图实验室);Osaka University(大阪大学)
针对现有深度伪造检测方法跨域泛化性差的问题,提出即插即用框架DiffusionFake,通过引导预训练Stable Diffusion重建源/目标人脸,约束检测网络学习解耦表征,显著提升多类检测器的跨域泛化能力且推理无额外参数。
2024-10-06 cs.CV
DiffFake: Exposing Deepfakes using Differential Anomaly Detection
University of Warwick(华威大学)
DiffFake将深度伪造检测视为异常检测任务,通过差分框架学习人脸自然变化,并在五个数据集上达到或超越现有方法。
2025-02-22 cs.CV
GazeForensics: DeepFake Detection via Gaze-guided Spatial Inconsistency Learning
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对传统生物特征方法冻结提取器且忽视视线真实性的问题,提出GazeForensics方法,利用3D视线估计正则化模型表示并融合一般特征,有效提升了DeepFake检测性能并超越现有方法。
2023-11-22 cs.CV
Revisiting Simple Baselines for In-The-Wild Deepfake Detection
Georgia Institute of Technology(佐治亚理工学院)
针对现有开源深度伪造检测器在真实场景基准上性能落后商用模型的问题,通过优化Ojha等人提出的简单基线方法的超参数,在Deepfake-Eval-2024基准上取得81%的准确率,接近商用检测器水平并分析了实际部署的权衡。
2025-09-04 cs.CV
MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes
Huawei Inc.(华为公司);Tencent Blade Team(腾讯刃影团队)
Deepfakes引发了人们对视觉内容真实性的严重担忧。之前的工作揭示了通过向源数据添加对抗性扰动来破坏deepfakes的可能性,但我们认为这种威胁尚未消除。本文介绍了MagDR,这是一种用于防御deepfakes免受对抗攻击的掩码引导检测和重建管道。MagDR从一个检测模块开始,定义了一些判断deepfakes输出异常的标准,然后用它来指导可学习的重建过程。提取自适应掩模以捕获局部面部区域的变化。在实验中,MagDR防御了deepfakes的三个主要任务,学习的重建管道在输入数据之间传输,在防御黑盒和白盒攻击方面表现出良好的性能。
2021-03-26 cs.CV
FReTAL: Generalizing Deepfake Detection using Knowledge Distillation and Representation Learning
Sungkyunkwan University(成均馆大学)
随着基于GAN的视频和图像处理技术变得越来越复杂和容易获得,迫切需要有效的深度伪造检测技术。此外,在过去几年中出现了各种deepfake生成技术。虽然已经提出了许多deepfake检测方法,但它们的性能受到新型deepfake方法的影响,这些方法没有得到足够的训练。为了检测新类型的deepfake,模型应该从额外的数据中学习,而不会丢失关于deepfake的先验知识(灾难性遗忘),特别是当新的deepfake显著不同时。在这项工作中,我们采用的表示学习(ReL)和知识蒸馏(KD)范式介绍了一个迁移学习为基础的表示特征迁移自适应学习(FReTAL)方法。我们使用FReTAL在新的deepfake数据集上执行领域自适应任务,同时最大限度地减少灾难性遗忘。我们的学生模型可以通过从预先训练的教师模型中提取知识并在领域自适应期间应用迁移学习而无需使用源领域数据来快速适应新类型的deepfake。通过在FaceForensics++数据集上的实验,我们证明了FReTAL在领域自适应任务上优于所有基线,在低质量的deepfake上的准确率高达86.97%。
2021-05-28 cs.CV
DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Tencent AI Lab(腾讯AI实验室);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
本文提出首个深度伪造检测综合基准DeepfakeBench,通过统一数据管理、集成15种先进方法和9个数据集及标准化评估协议,系统揭示各检测器性能差异,并提供多视角分析以促进该领域可复现研究与创新。
2023-10-28 cs.CV
FractalForensics: Proactive Deepfake Detection and Localization via Fractal Watermarks
National University of Singapore(新加坡国立大学);Shandong University(山东大学)
针对被动检测器难以识别高质量Deepfake且现有主动水印方法缺乏定位与可解释性的问题,提出基于分形水印的FractalForensics框架,通过参数驱动生成、半脆弱水印嵌入及条目到图像块策略,实现了鲁棒的主动检测、篡改定位与结果可解释性。
2025-11-04 cs.CV
CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition
Chengdu University of Information Technology(成都信息工程大学);University at Buffalo, SUNY(纽约州立大学布法罗分校);Purdue University(普渡大学);Microsoft Research Asia(微软亚洲研究院);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
本文提出深度信息分解(DID)框架,通过自适应分离面部特征中的深度伪造相关信息与无关信息并进行去相关优化,以提升跨数据集深度伪造检测的泛化能力和鲁棒性。
2024-10-20 cs.CV
1M-Deepfakes Detection Challenge
Monash University(莫纳什大学);Flinders University(弗林德斯大学);Curtin University(科廷大学);Qualcomm(高通公司);Queen Mary University of London(伦敦大学玛丽皇后学院);American University of Sharjah(沙迦美国大学)
本研究推出基于超百万条篡改视频的AV-Deepfake1M数据集的1M-Deepfakes检测挑战赛,号召学界开发高逼真音视频深度伪造检测定位方法,相关资源将开源,助力下一代检测系统研发。
2024-09-11 cs.CV
Adversarial Threats to DeepFake Detection: A Practical Perspective
UC San Diego(加州大学圣迭戈分校);Facebook AI(Facebook人工智能)
经过面部处理的图像和视频或DeepFakes可以被恶意地用于提供错误信息或诽谤个人。因此,检测DeepFakes对于提高社交媒体平台和其他媒体共享网站的可信度至关重要。最先进的DeepFake检测技术依赖于基于神经网络的分类模型,已知这些模型容易受到对抗性示例的影响。在这项工作中,我们从实用的角度研究了最先进的DeepFake检测方法的漏洞。我们在黑盒设置中对DeepFake检测器进行对抗攻击,其中对手不完全了解分类模型。我们研究了对抗性扰动在不同模型之间转移的程度,并提出了提高对抗性示例可转移性的技术。我们还使用Universal Adversarial Perturbations创建了更容易访问的攻击,这构成了一个非常可行的攻击场景,因为它们可以很容易地在攻击者之间共享。我们对DeepFake Detection Challenge(DFDC)的获奖作品进行了评估,并证明它们可以通过设计可转移和可访问的对抗攻击在实际攻击场景中轻松绕过。
2020-11-19 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University(复旦大学);Huya Inc(虎牙公司);Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中,我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是,我们引入了一个多模态多尺度Transformer(M2 TR),它操作在不同大小的补丁,以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影,以通过精心设计的交叉模态融合块补充RGB信息。此外,为了刺激Deepfake检测研究,我们引入了一个高质量的Deepfake数据集SR-DF,该数据集由最先进的面部交换和面部重现方法生成的4,000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性,该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM
University of Wisconsin-Eau Claire(威斯康星大学欧克莱尔分校);Minnesota State University, Mankato(明尼苏达州立大学曼卡托分校)
社交媒体目前被许多人在线用作主要的信息来源。然而,并非所有网上分享的信息都是真实的,甚至照片和视频也可能被篡改。Deepfakes最近随着技术进步的兴起而兴起,并允许邪恶的在线用户将一张脸替换为他们想要的任何人的计算机生成的脸,包括重要的政治和文化人物。Deepfakes现在是一种能够传播大量错误信息的工具。现在非常需要创建能够检测deepfake的模型,并防止它们作为看似真实的图像或视频传播。在本文中,我们使用两种流行的机器学习算法提出了一种新的deepfake检测模式。
2023-01-27 cs.CV
Decoupling Forgery Semantics for Generalizable Deepfake Detection
Nanchang University(南昌大学)
针对深度伪造检测泛化性不足的问题,提出通过语义解耦提取通用伪造语义的新方法,结合自适应高通模块与两阶段训练策略,在多个数据集上实现优异的检测泛化性能。
2024-11-28 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
针对现有DeepFake检测仅支持单步操控二分类的局限,该研究提出序列DeepFake操控检测新任务,构建了首个对应数据集及扰动版本,并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播,这引起了严重的社会问题。在本文中,我们提出了一种新的视频Transformer,用于检测深度伪造视频。为了更好地对齐输入的人脸图像,我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势,眨眼和嘴巴运动信息,因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略,可以在少量数据上微调所提出的模型,并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明,所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能,并从序列数据中增强了特征学习。
2021-08-11 cs.CV
Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University of Berlin(柏林洪堡大学)
本文提出一种新型人脸替换自编码器与融合技术生成高质量深度伪造,发现最先进检测器在现实场景中对此表现不佳,并证明用此类高质量样本微调可提升检测泛化能力。
2023-05-16 cs.CV
Robust Deepfake On Unrestricted Media: Generation And Detection
National Institute of Informatics(国立情报学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学);University of Tokyo(东京大学)
深度学习的最新进展导致了deepfake生成的实质性改进,从而使虚假媒体具有更真实的外观。尽管Deepfake媒体在广泛的领域有潜在的应用,并引起了学术界和工业界的广泛关注,但它也导致了严重的社会和犯罪问题。本章探讨了deepfake生成和检测的演变和挑战。它还讨论了提高针对各种媒体的深度伪造检测的鲁棒性的可能方法(例如,野外图像和视频)。最后,它提出了未来假媒体研究的重点。
2022-02-13 cs.CV
D4: Detection of Adversarial Diffusion Deepfakes Using Disjoint Ensembles
University of Michigan(密歇根大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出D4方法,通过在频谱不相交子集上构建模型集成降低对抗子空间维数,显著提升扩散深度伪造检测的黑盒对抗鲁棒性,并优于现有最先进防御方法。
2023-08-06 cs.CV cs.LG
PUDD: Towards Robust Multi-modal Prototype-based Deepfake Detection
School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
PUDD 提出基于原型的统一深度伪造检测框架,通过相似性比较实现视频分类与未知伪造识别,在 Celeb-DF 上达到 95.1% 准确率,且重训练仅需 2.7 秒,碳排放大幅降低。
2024-06-30 cs.CV
Explaining Deepfake Detection by Analysing Image Matching
MEGVII Technology(旷视科技)
本文旨在解释deepfake检测模型如何在二进制标签监督下学习图像的伪影特征。为此,从图像匹配的角度提出三个假设如下。1. Deepfake检测模型基于既不与源相关也不与目标相关的视觉概念来指示真实/虚假图像,即,将此类视觉概念视为伪影相关。2.除了监督二进制标签外,deepfake检测模型还通过训练集中的FST匹配(即匹配的假图像、源图像和目标图像)隐式地学习与伪影相关的视觉概念。3.通过原始训练集中的FST匹配来隐含学习的伪影视觉概念易受视频压缩的影响。在实验中,上述假设在各种DNN之间得到了验证。此外,基于这种理解,我们提出了FST匹配深度伪造检测模型,以提高压缩视频的伪造检测性能。实验结果表明,我们的方法取得了很好的性能,特别是在高度压缩(如c40)的视频。
2022-07-20 cs.CV
Conditioned Prompt-Optimization for Continual Deepfake Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出Prompt2Guard,利用视觉-语言模型、只读提示集成和深度伪造定制文本提示条件化,实现高效无样本持续深度伪造检测,并在CDDB-Hard基准上取得最先进性能。
2024-07-31 cs.CV
Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm
The University of Melbourne(墨尔本大学);National University of Singapore(新加坡国立大学)
本文提出基于监督对比学习的开集深度伪造分类算法,旨在提升对新兴深度伪造技术的检测能力,通过FaceForensics++数据集验证,实现领先性能。
2026-03-26 cs.CV
ExpSpeech-Net: Multimodal Fusion of Expression and Speech for Deepfake Detection
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出轻量级ExpSpeech-Net模型,通过融合面部表情和语音模式,利用SqueezeNet和RNN骨干网络及智能特征选择,实现高效深度伪造检测,准确率达94.5%。
2026-06-04 cs.CV
Scaling Laws for Deepfake Detection
University of Technology Sydney(悉尼技术大学)
本文构建含580万真实图与880万伪造图的ScaleDF数据集,系统研究deepfake检测的缩放定律,发现检测误差随真实域或生成方法数量呈幂律衰减。
2026-10-07 cs.CV
FFR_FD: Effective and Fast Detection of DeepFakes Based on Feature Point Defects
Yunnan University(云南大学);Wuhan University(武汉大学)
互联网上充斥着由深度生成模型合成的虚假人脸图像和视频。这些逼真的DeepFake对确定多媒体内容的真实性提出了挑战。作为对策,基于伪影的检测方法遭受不够细粒度的特征,导致有限的检测性能。基于DNN的检测方法不够有效,因为DeepFake可以通过移动应用程序轻松创建,并且基于DNN的模型需要大量的计算资源。这是我们第一次发现DeepFake人脸的特征点比真实人脸少,特别是在某些面部区域。受特征点检测器描述符在像素级提取区分特征的启发,我们提出了融合面部区域特征描述符(FFR_FD),用于有效和快速的DeepFake检测。FFR_FD仅是从面部提取的向量,并且它可以从任何特征点检测器描述符构造。我们使用FFR_FD训练了一个随机森林分类器,并在六个大规模DeepFake数据集上进行了广泛的实验,结果表明我们的方法优于大多数基于DNN的模型。
2021-08-26 cs.CV
Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder
Texas A&M University(德克萨斯A&M大学)
随着深度学习技术的进步,现在可以生成超逼真的图像和视频,即,deepfakes.这些deepfakes可能会接触到大众,并对我们的社会产生不利影响。尽管已经投入了大量的努力来检测deepfake,但它们的性能在以前看不见但相关的操作上显着下降,并且检测泛化能力仍然是一个问题。受deepfakes的细粒度性质和空间局部性特征的影响,我们提出了局部感知自动编码器(LAE)来弥合泛化差距。在训练过程中,我们使用逐像素掩码来正则化LAE的局部解释,以强制模型从伪造区域学习内在表示,而不是捕获训练集中的伪影并学习表面相关性来执行检测。我们进一步提出了一个主动学习框架来选择具有挑战性的候选人进行标记,这需要不到3%的训练数据的人类面具,大大减少了注释工作,以规范解释。三个深度伪造检测任务的实验结果表明,LAE可以专注于伪造区域来做出决策。分析进一步表明,LAE在三个深度伪造检测任务中,在以前看不见的操作的泛化准确性方面,分别比最先进的算法高出6.52%、12.03%和3.08%。
2020-09-20 cs.CV
Deepfake Detection: A Comparative Analysis
SFI-MediaFutures, University of Bergen(卑尔根大学SFI媒体未来研究中心);University of Bergen(卑尔根大学)
本文比较了有监督与自监督模型在四个深度伪造基准上的检测性能,分析泛化能力、数据增强影响及模型规模与性能的权衡,为构建更可靠的检测系统提供指导。
2023-08-07 cs.CV
GenConViT: Deepfake Video Detection Using Generative Convolutional Vision Transformer
Ghent University(根特大学);imec;Addis Ababa University(亚的斯亚贝巴大学);State University of New York Polytechnic Institute(纽约州立大学理工学院)
本文提出GenConViT模型,结合ConvNeXt和Swin Transformer提取特征,并利用自编码器和变分自编码器学习潜在分布,在多个数据集上实现了高准确率的深度伪造视频检测,但泛化能力仍需提升。
2025-03-04 cs.CV
Fit for Purpose? Deepfake Detection in the Real World
Purdue University(普渡大学)
本研究基于真实世界政治深度伪造数据集构建了首个系统性基准,评估了学术界、政府和工业界的检测器,发现现有模型难以有效泛化且易受简单操纵,呼吁开发具有政治上下文的检测框架。
2025-10-30 cs.CV
Penny-Wise and Pound-Foolish in Deepfake Detection
University of Southampton(南安普顿大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
针对深度伪造检测中现有方法过度拟合单数据集、泛化性与知识保留差的“小事精明、大事糊涂”问题,提出基于预训练视觉-语言模型的PoundNet框架,通过可学习提示和平衡目标实现性能显著提升。
2024-08-15 cs.CV
How Close are Other Computer Vision Tasks to Deepfake Detection?
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);The University of Tokyo(东京大学)
该研究质疑ImageNet有监督预训练模型用于深度伪造检测的适用性,提出模型可分离性度量与相关基准,发现自监督预训练模型及人脸识别预训练模型与深度伪造检测关联更紧密,为相关模型开发提供参考。
2023-10-02 cs.CV
Deepfake Detection using ImageNet models and Temporal Images of 468 Facial Landmarks
Vellore Institute of Technology(韦洛尔理工学院)
本文介绍了我们关于使用时间图像进行深度伪造检测的结果和发现。我们通过使用这些面部标志处的像素值构建图像(称为时间图像),将存在于给定视频的帧之间的468个面部标志的运动中的时间关系建模为空间关系。CNN能够识别给定图像的像素之间存在的空间关系。研究中考虑了10种不同的ImageNet模型。
2022-08-15 cs.CV
A Novel Unified Approach to Deepfake Detection
本文提出了一种结合空间域和频域特征交叉注意力及血液检测模块的深度伪造检测统一架构,实现了优于现有最佳方法的检测性能。
2026-09-29 cs.CV
Hybrid Transformer Network for Deepfake Detection
MediaFutures(媒体未来研究中心)
Deepfake媒体现在变得越来越普遍,因为很容易获得的工具和移动应用程序可以生成逼真的deepfake视频/图像,而不需要任何技术知识。随着这一技术领域在不久的将来的进一步发展,deepfake媒体的数量和质量也有望蓬勃发展,同时使deepfake媒体成为传播错误/虚假信息的新实用工具。由于这些担忧,deepfake媒体检测工具正在成为必需品。在这项研究中,我们提出了一种新的混合Transformer网络,利用早期特征融合策略进行深度伪造视频检测。我们的模型采用两个不同的CNN网络,即,(1)XceptionNet和(2)EfficientNet-B4作为特征提取器。我们在FaceForensics++、DFDC基准测试上以端到端的方式对两个特征提取器和Transformer进行训练。我们的模型虽然具有相对简单的架构,但在FaceForensics++和DFDC基准测试中进行评估时,可以获得与其他更先进的最先进方法相当的结果。除此之外,我们还提出了新的人脸裁剪增强,以及随机裁剪增强。我们表明,所提出的增强提高了我们的模型的检测性能,并减少过拟合。除此之外,我们还证明了我们的模型能够从相当少量的数据中学习。
2022-08-11 cs.CV
Learning Pairwise Interaction for Generalizable DeepFake Detection
Norwegian University of Science and Technology(挪威科技大学);University Federico II of Naples(那不勒斯费德里科二世大学)
DeepFake生成技术的快速发展挑战了为已知类型DeepFake设计的检测方案。可靠的Deepfake检测方法必须对生成类型不可知,这可能会呈现不同的质量和外观。如果检测器不能在开集场景中处理看不见的攻击,则不同生成方案的有限通用性将限制检测器的大规模部署。我们提出了一种新的方法,多通道Xception注意力成对交互(MCX-API),利用成对学习的力量和互补信息,从不同的颜色空间表示在一个细粒度的方式。我们首先使用四种不同的Deepfake方案在类内设置(闭集)中的公开数据集上验证我们的想法。此外,我们使用三个公共数据集在类间设置(开集)中使用平衡开集分类(BOSC)准确性报告了所有结果。我们的实验表明,我们提出的方法可以比最先进的Deepfakes检测器更好地推广。我们在FF++数据集上获得了98.48%的BOSC准确率,在CelebDF数据集上获得了90.87%的BOSC准确率,这表明DeepFake检测的推广是一个有希望的方向。我们进一步利用t-SNE和注意力地图来解释和可视化我们提出的网络的决策过程。https://github.com/xuyingzhongguo/MCX-API
2023-02-26 cs.CV
Enhancing Deepfake Detection using SE Block Attention with CNN
Department of Computer Science North Carolina A\&T State University Greensboro, USA
针对现有深度伪造检测模型存储内存消耗大的问题,提出融合SE注意力的轻量CNN检测模型,在Style GAN数据集上取得94.14%准确率与0.985的AUC-ROC,实现低资源下的高效检测。
2025-06-12 cs.CV
Identity-Driven DeepFake Detection
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
到目前为止,DeepFake检测一直由“伪影驱动”方法主导,当图像伪影的类型未知或伪影太难找到时,检测性能会显着下降。在这项工作中,我们提出了一种替代方法:身份驱动的DeepFake检测。我们的方法将可疑图像/视频以及目标身份信息(参考图像或视频)作为输入。我们输出关于可疑图像/视频中的身份是否与目标身份相同的决定。我们的动机是防止最常见和最有害的DeepFakes传播目标人物的虚假信息。基于身份的方法是根本不同的,因为它不试图检测图像伪影。相反,它关注的是嫌疑人图像/视频中的身份是否真实。为了方便基于身份的检测研究,我们提出了一个新的大规模数据集“Vox-DeepFake”,其中每个可疑内容与从目标身份的视频中收集的多个参考图像相关联。我们还提出了一个简单的基于身份的检测算法,称为OuterFace,这可以作为进一步研究的基线。即使在没有虚假视频的情况下进行训练,OuterFace算法也可以实现卓越的检测精度,并很好地推广到不同的DeepFake方法,并且在视频降级技术方面具有鲁棒性-这是现有检测算法无法实现的性能。
2020-12-07 cs.CV
Implicit Identity Leakage: The Stumbling Block to Improving Deepfake Detection Generalization
MEGVII Technology(旷视科技)
在本文中,我们分析了二进制分类器在深度伪造检测任务中的泛化能力。我们发现,他们的推广的绊脚石是由意想不到的学习身份表示的图像。这种现象被称为隐式身份泄漏,已经在各种DNN中得到了定性和定量的验证。此外,基于这样的理解,我们提出了一种简单而有效的方法,称为ID未知的Deepfake检测模型,以减少这种现象的影响。大量的实验结果表明,我们的方法优于国家的最先进的在数据集内和跨数据集的评估。该代码可在https://github.com/megvii-research/CADDM上获得。
2023-03-10 cs.CV