Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook
Department of Computer Science, University of Bucharest(布加勒斯特大学计算机科学系);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Department of Computer Science, University of Central Florida(中佛罗里达大学计算机科学系)
综述了深度伪造生成与检测技术,涵盖图像、视频、音频和多模态内容,构建了分类体系,并提出了新的多模态基准测试,发现现有检测器对未见生成器的深度伪造泛化能力不足。
2026-08-03 cs.AI cs.CV cs.LG
Countering Malicious DeepFakes: Survey, Battleground, and Horizon
Alibaba Group(阿里巴巴集团);Wuhan University(武汉大学);East China Normal University(华东师范大学);Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Zhejiang Sci-Tech University(浙江理工大学)
通过被称为DeepFake的深度生成方法来创建或操纵面部外观已经取得了重大进展,并促进了广泛的良性和恶意应用,例如,电影中的视觉效果辅助和通过假冒名人产生错误信息。这项新技术的邪恶一面提出了另一项流行的研究,即,DeepFake检测,旨在从真实面孔中识别虚假面孔。随着DeepFake相关研究在社区的快速发展,双方形成了战场关系,推动彼此的改进并激发新的方向,例如,逃避DeepFake检测。然而,由于相关出版物的迅速增加,这些战场和新方向的概况并不清楚,并且被最近的调查所忽视,限制了对趋势和未来工作的深入了解。为了填补这一空白,本文对DeepFake生成、DeepFake检测以及DeepFake检测规避等主题的研究工作进行了全面的概述和详细的分析,对超过318篇研究论文进行了仔细的调查。我们介绍了各种DeepFake生成方法的分类和各种DeepFake检测方法的分类,更重要的是,我们通过对手(DeepFake生成)和防御者(DeepFake检测)之间的详细交互来展示双方之间的战场。战场允许对DeepFake研究的最新景观进行新的视角,并可以对研究挑战和机遇以及研究趋势和未来方向提供有价值的分析。我们还精心设计了交互式图表(http://www.xujuefei.com/dfsurvey),让研究人员在流行的DeepFake生成器或检测器上探索自己的兴趣。
2022-03-23 cs.CV
Deepfake for the Good: Generating Avatars through Face-Swapping with Implicit Deepfake Generation
Jagiellonian University(雅盖隆大学);University of Cambridge(剑桥大学)
针对虚拟化身创建需求,结合NeRF、GS和深度伪造技术提出ImplicitDeepfake策略,通过修改训练图像后训练模型,生成更合理的3D深度伪造虚拟化身。
2024-12-02 cs.CV
Age-Diverse Deepfake Dataset: Bridging the Age Gap in Deepfake Detection
College of Engineering and Technology(工程与技术学院);Grand Canyon University(大峡谷大学)
本文提出一个年龄多样化的深度伪造数据集,通过整合现有数据集与合成数据填补年龄分布空白,缓解检测模型的人口统计学偏差,提升了各年龄组的公平性、整体准确率和跨数据集泛化能力。
2025-08-06 cs.CV cs.LG
A Timely Survey on Vision Transformer for Deepfake Detection
National University of Singapore (NUS)(新加坡国立大学);Southwest Jiaotong University (SWJTU)(西南交通大学)
本综述针对深度伪造技术发展带来的安全风险,梳理了基于Vision Transformer的深度伪造检测模型,按架构分类并阐述特点,为相关研究与应用提供参考。
2024-05-14 cs.CV
Deepfake Detection using Biological Features: A Survey
VJTI(维杰亚瓦尔马吉技术学院)
Deepfake是一种基于深度学习的技术,可以轻松更改或修改图像和视频。在调查和法庭上,通常使用视觉证据,但由于deepfake的技术进步,这些证据现在可能会受到怀疑。Deepfakes被用来勒索个人,策划恐怖袭击,传播虚假信息,诽谤个人,煽动政治动荡。这项研究描述了Deepfake的历史,它的发展和检测,以及基于生理测量的挑战,如眉毛识别,眨眼检测,眼球运动检测,耳朵和嘴巴检测以及心跳检测。本研究还提出了这一领域的范围,并比较了不同的生物特征及其分类器。Deepfake是使用生成对抗网络(GANs)模型创建的,并且由于可见的伪影而曾经很容易被人类检测到。然而,随着技术的进步,deepfake已经变得与自然图像高度不可区分,因此审查检测方法变得非常重要。
2023-01-14 cs.AI cs.CV cs.CY
Deepfake Detection: A Comprehensive Survey from the Reliability Perspective
The University of Hong Kong(香港大学);Hunan University(湖南大学);University of Guelph(圭尔夫大学);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院))
该综述从可靠性视角梳理Deepfake检测研究,指出可迁移性等三大挑战,提出基于随机采样与公开基准的模型可靠性评估指标,并通过案例验证方法的实际应用价值,为领域发展指明方向。
2024-10-04 cs.CV cs.MM
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
Universidad Autonoma de Madrid(马德里自治大学)
对大型公共数据库的免费访问,以及深度学习技术的快速发展,特别是生成对抗网络,导致了非常逼真的虚假内容的生成,并在这个假新闻时代对社会产生了相应的影响。这项调查提供了一个全面的审查技术,用于操纵面部图像,包括DeepFake方法,以及方法来检测这种操纵。特别是,审查了四种类型的面部操作:i)整个面部合成,ii)身份交换(DeepFakes),iii)属性操作和iv)表情交换。对于每个操纵组,我们提供了有关操纵技术,现有公共数据库和假冒检测方法技术评估的关键基准的详细信息,包括这些评估的结果摘要。在调查中讨论的所有方面中,我们特别关注最新一代的DeepFakes,强调其在假货检测方面的改进和挑战。除了调查信息,我们还讨论了开放的问题和未来的趋势,应该考虑在该领域的进步。
2020-06-18 cs.CV cs.MM
Exploring Strengths and Weaknesses of Super-Resolution Attack in Deepfake Detection
ISTI-CNR;CNIT;Mercatorum University(梅尔卡托鲁姆大学)
本研究探究不同技术与缩放比例下的超分辨率攻击对深度伪造检测器的影响,发现其可掩盖深度伪造伪影但无法隐藏全合成图像痕迹,并提出改进检测器训练以提升鲁棒性的方案。
2024-10-05 cs.CV eess.IV
Conditioned Prompt-Optimization for Continual Deepfake Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出Prompt2Guard,利用视觉-语言模型、只读提示集成和深度伪造定制文本提示条件化,实现高效无样本持续深度伪造检测,并在CDDB-Hard基准上取得最先进性能。
2024-07-31 cs.CV
DeepFake Detection with Inconsistent Head Poses: Reproducibility and Analysis
Naval Postgraduate School(海军研究生院)
深度学习在合成媒体生成中的应用允许创建令人信服的伪造,称为DeepFakes,具有有限的技术专长。DeepFake检测是一个越来越活跃的研究领域。在本文中,我们分析了现有的基于头部姿态估计的DeepFake检测技术,该技术可以在使用基于自动编码器的人脸交换生成假图像时应用。现有文献表明,这种方法是一种有效的DeepFake检测器,其激励原理非常简单。为了使用这些原理开发新的DeepFake探测器,我们对现有方法进行了再现性研究。我们的结论是,它的优点被大大夸大了,尽管其著名的地位。通过研究这种差异,我们发现了一些重要的和可推广的见解,涉及面部标志检测,身份不可知的头部姿势估计,以及DeepFake检测器中的算法偏见。我们的研究结果纠正了当前文献对DeepFake检测最先进性能的看法。
2021-08-28 cs.CV
Machine Learning based Medical Image Deepfake Detection: A Comparative Study
Northwood High School(诺斯伍德高中);Irvine Unified School District(尔湾联合学区);Fowler School of Engineering(福勒工程学院);Chapman University(查普曼大学)
近年来,深度生成网络在消费各种形式的数字信息时加强了谨慎的必要性。Deepfake创建的一个途径是从医学扫描中注射和移除肿瘤。未能检测到医疗深度伪造可能会导致医院资源的重大挫折,甚至导致生命损失。本文试图通过结构化的案例研究来解决此类攻击的检测问题。具体来说,我们评估了八种不同的机器学习算法,包括三种传统的机器学习方法,支持向量机,随机森林,决策树,和五种深度学习模型,DenseNet121,DenseNet201,ResNet50,ResNet101,VGG19,在区分篡改和未篡改图像方面。对于深度学习模型,五种模型用于特征提取,则对每个预训练模型执行微调。这项工作的结果显示,在检测肿瘤注射和切除的情况下,近乎完美的准确性。
2022-04-06 cs.CV cs.LG
A Survey of Deep Fake Detection for Trial Courts
Sam Houston State University(萨姆休斯顿州立大学)
近来,由于先进的图像编辑工具的进步,图像操纵已经实现了快速增长。最近使用神经网络生成的虚假图像和视频激增是DeepFake。DeepFake算法可以创建人类无法区分的虚假图像和视频。GAN(GANs)已被广泛用于创建逼真的图像,而无需访问原始图像。因此,检测虚假视频以避免传播虚假信息变得至关重要。本文介绍了迄今为止文献中用于检测DeepFakes的方法和可用于检测DeepFakes的数据集。我们提出了与DeepFake技术相关的广泛讨论和研究趋势。
2022-05-31 cs.AI cs.CV
Media Forensics and Deepfake Systematic Survey
The Superior University(超级大学);Northumbria University(诺森比亚大学);Tongmyong University(东明大学)
该综述系统梳理了Deepfake的四类面部操纵技术、相关数据集与检测基准,构建了通用深度学习检测模型,分析了其最新进展与现存挑战,为后续Deepfake成像工具与检测技术发展提供参考。
2024-06-19 cs.AI cs.CV cs.MM
A Lightweight and Interpretable Deepfakes Detection Framework
University of Engineering and Technology Taxila(塔克西拉工程技术大学);Oakland University(奥克兰大学)
本文提出一个融合混合面部关键点与新型心率特征的轻量级XGBoost统一框架,用于检测换脸、唇形同步和木偶大师三类深度伪造,在WLDR数据集上取得优于对比方法的性能,且比深度学习模型更具可解释性。
2025-01-21 cs.AI cs.CV
The Deepfake Detection Challenge (DFDC) Preview Dataset
Facebook AI(脸书人工智能研究院)
在本文中,我们介绍了Deepfakes Detection Challenge(DFDC)数据集的预览,该数据集由具有两种面部修改算法的5K视频组成。开展了一项数据汇集活动,参与活动的行为者同意在我们创建数据集时使用和操纵他们的相似性。多个方面的多样性(性别、肤色、年龄等)被认为是和演员录制视频与任意的背景,从而带来视觉可变性。最后,定义了一组评估性能的具体指标,并测试了两个现有的检测deepfakes的模型,以提供参考性能基线。DFDC数据集预览可从以下网址下载:deepfakedetectionchallenge.ai
2019-10-23 cs.CV cs.CY
Deepfakes on Demand: the rise of accessible non-consensual deepfake image generators
Oxford Internet Institute(牛津互联网研究所);University of Oxford(牛津大学)
本文通过分析 Hugging Face 和 Civitai 上的模型元数据,揭示了可公开获取的深度伪造模型数量激增,并指出 LoRA 微调技术使非自愿亲密图像生成在消费级硬件上广泛可行,呼吁加强监管与平台治理。
2025-05-06 cs.AI cs.CV cs.CY
De-Fake: Style based Anomaly Deepfake Detection
提出基于风格特征的深度伪造检测方法SafeVision,在不访问真实面部图像的前提下有效识别换脸伪造,同时提供隐私保护。
2025-07-14 cs.AI cs.CV
Deepfake Detection with Deep Learning: Convolutional Neural Networks versus Transformers
Singapore Technologies Engineering(新加坡科技工程有限公司)
本研究对比了CNNs与Transformers等八种深度学习架构在Deepfake检测中的表现,在多个数据集上取得高准确率与AUC,并分析了模型优势及数据集关系以助力未来发展。
2023-04-07 cs.CR cs.CV cs.LG
Deep Learning Technology for Face Forgery Detection: A Survey
本文全面综述了基于深度学习的人脸伪造检测技术,分析了deepfake技术、数据集及各类检测方法,并指出现有缺陷与未来研究方向,以提升检测性能与泛化能力。
2024-11-14 cs.CV
Towards Solving the DeepFake Problem : An Analysis on Improving DeepFake Detection using Dynamic Face Augmentation
Shahjalal University of Science and Technology(沙贾拉尔科技大学);Mapbox;University of Alberta(阿尔伯塔大学);Fordham University(福特汉姆大学)
由于DeepFake生成方法的改进,更改和操纵面部的创建变得更加普遍。同时,我们已经看到了检测模型的发展,用于区分图像或视频内容中的操纵人脸和原始人脸。在本文中,我们将重点关注现有Deepfake检测框架的局限性和缺点。我们通过对现有方法和数据集的定量和定性分析,确定了围绕deepfake检测的一些关键问题。我们发现deepfake数据集是高度过采样的,导致模型很容易过拟合。这些数据集是使用一小部分真实人脸来生成多个假样本的。当在这些数据集上训练时,模型倾向于记住演员的脸和标签,而不是学习假特征。为了缓解这个问题,我们提出了一个简单的数据增强方法,称为面裁剪。我们的方法动态地削减了使用面部地标信息的图像区域。它帮助模型选择性地只关注输入的相关区域。我们的评估实验表明,Face-Cutout可以成功地改善数据的变化,减轻过拟合的问题。与其他基于遮挡的技术相比,我们的方法在不同的数据集上实现了15.2%至35.3%的LogLoss减少。此外,我们还提出了一个通用的数据预处理指南,以训练和评估现有的架构,使我们能够提高这些模型在深度伪造检测中的通用性。
2021-08-25 cs.AI cs.CV cs.LG
Deepfake Generation and Detection: A Benchmark and Survey
East China Normal University(华东师范大学);Zhejiang University(浙江大学);Nanjing University(南京大学);Youtu Lab, Tencent(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
本文综述了深度伪造生成与检测的最新进展,分析了相关技术、数据集及未来研究方向。
2026-03-09 cs.CV
Face Deepfakes -- A Comprehensive Review
Queensland University of Technology(昆士兰科技大学);Michigan State University(密歇根州立大学)
本文综述人脸深度伪造的生成与检测方法,评估其对人脸生物特征识别的影响,并梳理应用、研究空白与未来方向。
2025-02-13 cs.CV cs.LG
Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection
Fudan University(复旦大学);University of Maryland(马里兰大学)
图像和视频形式的在线媒体数据正在成为主流传播渠道。然而,深度学习的最新进展,特别是深度生成模型,为以低成本生成令人信服的图像和视频打开了大门,这不仅对数字信息的可信度构成了严重威胁,而且还具有严重的社会影响。这激发了对媒体篡改检测(即,使用深度学习技术来检查媒体数据是否被恶意操纵。根据目标图像的内容,媒体伪造可以分为图像篡改和Deepfake技术。前者通常移动或擦除普通图像中的视觉元素,而后者则操纵人脸的表情甚至身份。因此,防御手段包括图像篡改检测和Deepfake检测,它们共享各种各样的属性。在本文中,我们提供了一个全面的审查,目前的媒体篡改检测方法,并讨论了未来的研究在这一领域的挑战和趋势。
2022-12-12 cs.CV
DFGC 2021: A DeepFake Game Competition
Shenzhen University(深圳大学);Huazhong University of Science and Technology(华中科技大学);Guangdong University of Technology(广东工业大学);University of Science and Technology of China(中国科学技术大学);iFlytek Co., Ltd.(科大讯飞股份有限公司);iFlytek Research(讯飞研究院)
本文对DFGC 2021竞赛进行了总结。DeepFake技术发展迅速,现实的面部交换越来越具有欺骗性,难以检测。与此同时,DeepFake的检测方法也在不断改进。DeepFake的创建者和探测器之间存在一个双方博弈。这项比赛为当前最先进的DeepFake创建和检测方法之间的对抗游戏提供了一个共同的平台。在本文中,我们介绍了这次比赛的组织,结果和顶级解决方案,并分享了我们在这次活动中获得的见解。我们还发布了从参与者那里收集的DFGC-21测试数据集,以进一步使研究社区受益。
2021-06-02 cs.CV
An Experimental Evaluation on Deepfake Detection using Deep Face Recognition
School of Computing, Wichita State University(威奇托州立大学计算机学院)
深度学习的重大进展已经为各种计算机视觉应用获得了标志性的准确率。然而,深度生成模型的进步也导致了非常逼真的虚假内容的产生,也被称为deepfakes,对隐私,民主和国家安全造成了威胁。目前的大多数deepfake检测方法被认为是使用两类卷积神经网络(CNN)区分真实图像或视频与虚假图像或视频的二进制分类问题。这些方法基于检测由深度生成模型产生的视觉伪影、时间或颜色不一致。然而,这些方法需要大量的真实和虚假数据进行模型训练,并且在使用高级deepfake生成技术生成的样本进行交叉数据集评估时,其性能显着下降。在本文中,我们使用不同的损失函数和deepfake生成技术,彻底评估了深度人脸识别在识别deepfake方面的有效性。对具有挑战性的Celeb-DF和FaceForensics++ deepfake数据集的实验研究表明,深度人脸识别在识别两类CNN和眼部模式的deepfake方面的有效性。报告的结果表明,在Celeb-DF数据集上使用人脸识别检测深度伪造时,最大曲线下面积(AUC)为0.98,相等出错率(EER)为7.1%。与两类CNN和Celeb-DF数据集上的眼模态获得的EER相比,该EER低16.6%。进一步在FaceForensics++数据集上,获得了0.99的AUC和2.04%的EER。使用生物特征面部识别技术的优点是绕过了对大量虚假数据进行模型训练的需要,并获得了更…
2021-10-04 cs.AI cs.CV cs.LG
Linguistic Profiling of Deepfakes: An Open Database for Next-Generation Deepfake Detection
University of Southampton(南安普顿大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(中国科学院深圳先进技术研究院)
本文提出开放深度伪造数据库DFLIP-3K,包含约300K样本、3K生成模型及190K语言学足迹,建立涵盖检测、模型识别和提示预测的基准,推动下一代可解释深度伪造检测。
2024-01-04 cs.CV
Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption
针对深度伪造检测泛化性差的问题,提出通过伪伪造生成器创建时空规律破坏的伪伪造视频进行训练,并设计时空增强块联合捕获时空破坏,在多个数据集上取得卓越性能。
2023-06-25 cs.CV
Comparative Analysis of Deepfake Detection Models: New Approaches and Perspectives
UNIVERSIDADE FEDERAL DE ITAJUBÁ(伊塔尤巴联邦大学)
本研究比较了多种深度伪造检测方法,发现微调后的 GenConViT 模型在准确率与泛化能力上表现最优,为对抗虚假信息提供了更稳健的解决方案。
2025-04-03 cs.CV cs.LG stat.CO
Fit for Purpose? Deepfake Detection in the Real World
Purdue University(普渡大学)
本研究基于真实世界政治深度伪造数据集构建了首个系统性基准,评估了学术界、政府和工业界的检测器,发现现有模型难以有效泛化且易受简单操纵,呼吁开发具有政治上下文的检测框架。
2025-10-30 cs.CV
Conditional Uncertainty-Aware Political Deepfake Detection with Stochastic Convolutional Neural Networks
本文提出基于随机卷积神经网络的条件不确定性政治深度伪造检测方法,通过校准概率输出和不确定性估计,提升高风险政治场景下的检测可靠性。
2026-02-10 cs.CV cs.LG
Unmasking Facial DeepFakes: A Robust Multiview Detection Framework for Natural Images
University of Quebec in Outaouais(魁北克大学 Outaouais分校)
针对深度伪造检测在姿态变化和遮挡下的不足,提出融合全局、中间、局部及朝向四种编码器的多视角框架,在挑战性数据集上超越单视角方法。
2025-10-17 cs.CV
Passive Deepfake Detection Across Multi-modalities: A Comprehensive Survey
University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院);University of Science(科学大学)
本文全面综述了跨图像、视频、音频和多模态的被动深度伪造检测方法,分析了泛化、鲁棒性、归因等真实部署维度及现有数据集与指标,并提出了未来研究方向。
2025-04-05 cs.CR cs.CV
DeepFake Detection in Dyadic Video Calls using Point of Gaze Tracking
Department of Computer Science, Clarkson University, Potsdam, NY 13699 USA (e-mail: );Department of Electrical \& Computer Engineering, Clarkson University, Potsdam, NY 13699 USA (e-mail: )
本文提出了一种基于注视点追踪的实时深度伪造检测方法,利用双人视频通话中的注视模式进行生物特征分析,实现了82%的准确率。
2026-01-10 cs.AI cs.CV
Using Deep Learning to Detecting Deepfakes
University of Wisconsin – Eau Claire(威斯康星大学欧克莱尔分校)
近年来,社交媒体已成为许多在线用户的主要信息来源。这导致了错误信息通过deepfakes的传播。Deepfakes是用另一个计算机生成的面孔取代一个人的面孔的视频或图像,通常是社会上更容易识别的人。随着最近技术的进步,几乎没有技术经验的人也可以生成这些视频。这使他们能够模仿社会中的权力人物,如总统或名人,从而造成传播错误信息和其他恶意使用deepfake的潜在危险。为了应对这种在线威胁,研究人员开发了旨在检测deepfake的模型。这项研究着眼于使用深度学习算法来对抗这种迫在眉睫的威胁的各种deepfake检测模型。本次调查的重点是全面概述deepfake检测模型的现状,以及许多研究人员解决这一问题的独特方法。的好处,局限性,并为今后的工作建议将在整个本文中进行深入讨论。
2022-07-27 cs.AI cs.CV cs.LG
Towards More General Video-based Deepfake Detection through Facial Component Guided Adaptation for Foundation Model
Academia Sinica(中央研究院);Microsoft(微软公司);National Taiwan University(台湾大学);National Taiwan University of Science and Technology(台湾科技大学)
针对基于视频的 Deepfake 检测在未见伪造样本上泛化不足的问题,提出基于侧网络的 CLIP 解码器并引入 FCG,提升了泛化性、数据与参数效率及鲁棒性。
2025-03-16 cs.CV
FSBI: Deepfakes Detection with Frequency Enhanced Self-Blended Images
King Fahd University of Petroleum and Minerals(法赫德国王石油矿产大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心)
本文提出FSBI方法,利用离散小波变换从自混合图像中提取频率特征训练卷积网络,以检测时域难以发现的伪造伪影,在FF++和Celeb-DF数据集跨数据集评估中超越现有技术。
2024-06-25 cs.CV
FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection
Reichman University(赖希曼大学)
FakeOut利用多模态域外自监督骨干网络,适应视频深度伪造检测,在跨数据集泛化上达到最先进结果,证明域外训练可提升检测鲁棒性。
2024-02-07 cs.CV
Fighting deepfakes by detecting GAN DCT anomalies
University of Catania(卡塔尼亚大学)
为了正确对比Deepfake现象,需要设计新的Deepfake检测算法;滥用这种强大的AI。技术给每个相关人员的私人生活带来严重后果。最先进的解决方案使用深度神经网络来检测虚假的多媒体内容,但不幸的是,这些算法似乎既不能推广也不能解释。然而,生成对抗网络(GAN)引擎在创建Deepfakes期间留下的痕迹可以通过分析ad-hoc频率来检测。出于这个原因,在本文中,我们提出了一个新的管道能够检测所谓的GAN特定频率(GSF)代表不同的生成架构的独特指纹。通过离散余弦变换(DCT),检测异常频率。由AC系数分布推断的\BETA统计数据是识别GAN引擎生成数据的关键。还进行了鲁棒性测试,以证明该技术的有效性,使用不同的攻击图像,如JPEG压缩,镜像,旋转,缩放,添加随机大小的矩形。实验表明,该方法是创新的,超过了最先进的,也给出了许多见解方面的可解释性。
2021-08-11 cs.CV
Evolving from Single-modal to Multi-modal Facial Deepfake Detection: Progress and Challenges
University of Nevada, Reno(内华达大学雷诺分校);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Institute of High Performance Computing (IHPC)(高性能计算研究所);Centre for Advanced Technologies in Online Safety (CATOS)(网络安全先进技术中心)
本综述系统回顾了深度伪造检测从单模态向多模态的演进,涵盖检测分类、泛化挑战、主动防御及新兴数据集,并探讨了VLMs和MLLMs在增强检测鲁棒性中的作用。
2025-04-03 cs.CV
Patch-Discontinuity Mining for Generalized Deepfake Detection
Artificial Intelligence Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院);Chinese Academy of Military Science(中国军事科学院)
本文提出GenDF框架,通过简单网络设计实现高效深度伪造检测,具备跨领域和跨操纵的强泛化能力。
2025-12-26 cs.CV
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
TU Darmstadt(达姆施塔特工业大学)
BabelFake是一个多语言音视频深度伪造基准,包含399k个片段和五种语言,通过模块化管道生成,用于评估检测器性能,发现检测难度受生成配对影响且人类感知与机器检测不一致。
2026-10-09 cs.CV
DFA-CON: A Contrastive Learning Approach for Detecting Copyright Infringement in DeepFake Art
University of Bradford(布拉德福德大学)
针对生成式 AI 艺术的版权侵权与伪造问题,本文提出对比学习框架 DFA-CON,通过拉近原作与伪造作表征并跨多种攻击训练,实现优于预训练基础模型的稳健检测。
2025-05-13 cs.AI cs.CV cs.LG
Anomaly Detection and Localization for Speech Deepfakes via Feature Pyramid Matching
Politecnico di Milano(米兰理工大学)
针对现有语音深度伪造检测方法泛化性差、缺乏可解释性的问题,提出基于师生特征金字塔匹配的可解释单类异常检测框架,仅用真实语音训练即可检测伪造语音并定位异常区域,性能优于基线方法。
2025-03-23 cs.CV cs.MM cs.SD
Understanding Audiovisual Deepfake Detection: Techniques, Challenges, Human Factors and Perceptual Insights
Academia Sinica(中央研究院);National Tsing Hua University(国立清华大学);National Chengchi University(国立政治大学)
本综述全面回顾了结合音频与视觉模态的音视频深度伪造检测技术、生成方法及开源数据集,旨在弥合单模态与多模态方法间的差距,提升检测有效性并指导未来网络安全研究。
2024-11-12 cs.AI cs.CV cs.LG
Cross-Domain Generalization Limits of Vision Foundation Models in Facial Deepfake Detection
Department of Software Engineering, Faculty of Computer and Information Sciences(软件工程系,计算机与信息科学学院)
本文通过系统评估三种视觉基础模型(RoPE-ViT、DINOv3、NVIDIA C-RADIOv4-H)在DF40基准上的线性探测性能,揭示了它们在面部深度伪造检测中的跨域泛化极限,发现基础模型对全脸合成保持高判别力,但对局部编辑技术存在根本性边界。
2026-05-24 cs.AI cs.CV cs.LG
Diffusion Deepfake
Yeungnam University(岭南大学);University of Surrey(萨里大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文针对扩散模型生成的深度伪造检测难题,构建了两个更具挑战性的大规模数据集,并提出动量难度提升策略优化模型训练,显著提升了检测方法的泛化能力和性能。
2024-04-02 cs.CV
Making DeepFakes more spurious: evading deep face forgery detection via trace removal attack
University of Technology Sydney(悉尼科技大学);Swinburne University of Technology(斯威本科技大学);City University of Macau(澳门城市大学)
DeepFakes引发了重大的社会问题。尽管已经开发了各种DeepFake检测器作为取证对策,但这些检测器仍然容易受到攻击。最近,一些攻击,主要是对抗攻击,成功地掩盖了DeepFake图像以逃避检测。然而,这些攻击具有典型的特定于检测器的设计,这需要关于检测器的先验知识,从而导致较差的可移植性。此外,这些攻击只考虑简单的安全场景。关于它们在检测器或攻击者的知识变化的高级场景中的有效性知之甚少。在本文中,我们通过为DeepFake反取证提出一种新的检测器不可知的痕迹删除攻击来解决上述挑战。我们的攻击不是调查检测器端,而是调查原始的DeepFake创建管道,试图删除所有可检测的自然DeepFake痕迹,以使假图像更加“真实”。为了实现这种攻击,首先,我们执行DeepFake跟踪发现,识别三个可识别的跟踪。在此基础上,提出了一种基于一个生成器和多个鉴别器的对抗性学习框架的痕迹去除网络(TR-Net)。每一个跟踪器负责一个单独的跟踪表示,以避免交叉跟踪干扰。这些鉴别器平行排列,这促使发生器同时去除各种迹线。为了评估攻击的有效性,我们制作了异构的安全场景,其中检测器嵌入了不同级别的防御,攻击者对数据的背景知识各不相同。实验结果表明,所提出的攻击可以显着损害六个最先进的DeepFake检测器的检测准确性,而对原始DeepFake样本的视觉质量只造成微不足道的损失。
2022-03-22 cs.CR cs.CV cs.MM
Deepfake Forensics Adapter: A Dual-Stream Network for Generalizable Deepfake Detection
Shenzhen Technology University(深圳技术大学);Singapore Institute of Technology(新加坡理工学院);The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学)
本文提出深度伪造取证适配器,通过双流网络结合CLIP模型实现高效通用深度伪造检测。
2026-03-02 cs.CV
The Tug-of-War Between Deepfake Generation and Detection
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Computer and Information Technology, Purdue University(普渡大学计算机与信息技术学院);Miraflow;Department of Computer Science and Engineering, Yonsei University(延世大学计算机科学与工程学院)
本文综述了深度伪造视频生成与检测的对抗现状,分析了生成技术及检测方法,并强调通过多样化数据集、标准化评估和主动合作来应对日益逼真的伪造内容。
2024-08-21 cs.CV
RAIDX: A Retrieval-Augmented Generation and GRPO Reinforcement Learning Framework for Explainable Deepfake Detection
University of Liverpool(利物浦大学);Beihang University(北航大学);The Chinese University of Hong Kong(香港中文大学)
RAIDX提出首个融合RAG与GRPO的统一框架,通过外部知识增强检测精度,并自主生成细粒度文本解释与显著性图,在多个基准上实现最先进性能,兼顾准确性与可解释性。
2025-08-06 cs.AI cs.CV
Zero-Shot Visual Deepfake Detection: Can AI Predict and Prevent Fake Content Before It's Created?
School of Computer Sciences, University of Petroleum and Energy Studies (UPES), Dehradun(计算机科学学院,石油与能源研究大学(UPES),德里加恩)
本文探索零样本深度伪造检测方法及AI驱动的预防策略,分析其面临的挑战并提出未来研究方向,强调构建一体化防御框架和跨学科协作的重要性。
2025-09-22 cs.AI cs.CV cs.GR
What's wrong with this video? Comparing Explainers for Deepfake Detection
Politecnico di Milano(米兰理工大学)
Deepfake是计算机操纵的视频,其中一个人的脸被另一个人的脸所取代。制造这种威胁的软件易于使用,越来越流行,对个人声誉和公共安全造成严重威胁。随着越来越大的数据集的发布,用于检测deepfakes的分类器的质量有所提高,但是对为什么特定视频被标记为虚假的理解并没有跟上。在这项工作中,我们开发,扩展和比较白盒,黑盒和模型特定的技术来解释真实和虚假视频的标签。特别是,我们调整SHAP,GradCAM和自我注意力模型来解释基于EfficientNet的最先进检测器的预测任务,这些检测器在Deepfake Detection Challenge(DFDC)数据集上进行了训练。我们比较所获得的解释,提出指标来量化他们的视觉功能和理想的特性,也进行了用户调查,收集用户的意见,解释者的有用性。
2021-05-12 cs.CV
Tell me Habibi, is it Real or Fake?
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学)
针对多语言和语码转换语音的深度伪造检测挑战,本文提出了首个大规模阿拉伯语-英语视听深度伪造数据集ArEnAV,包含387k个视频和超过765小时的真实与伪造视频,并利用集成多个TTS和lip-sync模型的新颖管道生成数据,通过基准测试和人类评估展示了其推进深度伪造研究的潜力。
2025-05-28 cs.AI cs.CV