Perception Matters: Exploring Imperceptible and Transferable Anti-forensics for GAN-generated Fake Face Imagery Detection
University of British Columbia(英属哥伦比亚大学);Department of Statistics, University of British Columbia(英属哥伦比亚大学统计系);Department of Electrical and Computer Engineering, University of British Columbia(英属哥伦比亚大学电气与计算机工程系);School of Information and Communications Engineering, Xi’an Jiaotong University(西安交通大学信息与通信工程学院)
最近,生成对抗网络(GANs)可以生成逼真的假人脸图像,这些图像在感知上与真实人脸照片无法区分,促进了假人脸检测的研究。虽然虚假人脸取证可以达到很高的检测准确率,其反取证的研究较少。在这里,我们探索更多的\textit{imperceptible}和\textit{transferable}反取证的虚假人脸图像检测的基础上对抗攻击。由于面部和背景区域通常是平滑的,即使是很小的扰动也可能导致假面部图像中明显的感知损伤。因此,它使得现有的对抗攻击作为反取证方法无效。我们的扰动分析揭示了直接应用现有攻击时感知退化问题的直观原因。然后,我们提出了一种新的对抗攻击方法,更好地适用于图像反取证,在变换的颜色域考虑视觉感知。该方法简单而有效,可以欺骗基于深度学习和非深度学习的取证检测器,实现更高的攻击成功率和显著改善的视觉质量。特别地,当攻击者将不可感知性作为约束条件时,所提出的反取证方法在两次基准攻击的基础上,可以将虚假人脸图像的平均攻击成功率提高约30%. \textit{More imperceptible}和\textit{more transferable},该方法提出了新的安全问题,虚假的人脸图像检测。我们已经发布了我们的代码供公众使用,并希望所提出的方法可以进一步探讨在相关的法医应用程序作为反法医基准。
2020-10-29 cs.CV eess.IV
FakeSpotter: A Simple yet Robust Baseline for Spotting AI-Synthesized Fake Faces
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Kyushu University(九州大学);East China Normal University(华东师范大学);Zhejiang University(浙江大学)
近年来,生成对抗网络(GANs)及其变体在图像合成方面取得了前所未有的成功。它们被广泛用于合成面部图像,这给人类带来了潜在的安全问题,因为假货传播并助长了错误信息。然而,这些人工智能合成的假面孔的强大检测器仍处于起步阶段,还没有准备好完全解决这一新兴挑战。在这项工作中,我们提出了一种名为FakeSpotter的新方法,该方法基于监测神经元行为来发现人工智能合成的假面孔。关于神经元覆盖和交互的研究已经成功地表明,它们可以作为深度学习系统的测试标准,特别是在暴露于对抗攻击的情况下。在这里,我们推测监测神经元行为也可以作为检测假面孔的资产,因为逐层神经元激活模式可以捕获对假检测器重要的更微妙的特征。通过检测四种由最新GANs合成的虚假人脸并避免四种扰动攻击的实验结果表明了该方法的有效性和鲁棒性。
2020-07-16 cs.CR cs.CV cs.LG
One-Shot GAN Generated Fake Face Detection
University of Houston(休斯顿大学)
虚假人脸检测是智能系统面临的一个重大挑战,因为生成模型每天都变得越来越强大。随着虚假人脸质量的提高,训练模型在检测新的虚假人脸时变得越来越低效,因为相应的训练数据被认为是过时的。在这种情况下,鲁棒的One-Shot学习方法更符合多变的训练数据的要求。在本文中,我们提出了一种通用的One-Shot GAN生成的假人脸检测方法,可以用于异常检测的显着不同的领域。该方法基于场景理解模型从人脸中提取背景外对象。为此,我们使用最先进的场景理解和目标检测方法作为预处理工具来检测面部中的怪异物体。第二,我们根据所有训练数据创建一个单词包,其中包含所有检测到的上下文外对象。通过这种方式,我们将每个图像转换为稀疏向量,其中每个特征表示与图像中每个检测到的对象相关的置信度得分。我们的实验表明,我们可以区分假面孔从真正的上下文特征。这意味着,当我们用场景理解和目标检测模型对假人脸进行分析时,与真实人脸相比,在假人脸中检测到不同的目标集合。我们证明,该方法可以优于以前的方法基于我们的实验上的Style-GAN生成的假脸。
2020-03-27 cs.CV cs.LG eess.IV
FakeLocator: Robust Localization of GAN-Based Face Manipulations
East China Normal University(华东师范大学);Shanghai Industrial Control Safety Innovation Technology Co., LTD(上海工业控制安全创新科技有限公司);Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学);Zhejiang Sci-Tech University(浙江理工大学)
基于生成对抗网络(GANs)及其变体的全脸合成和部分脸操作已经引起了广泛的关注。在多媒体取证领域,检测并最终定位伪造图像已成为一项迫切的任务。在这项工作中,我们研究了现有的基于GAN的人脸操作方法的体系结构,并观察到其中上采样方法的不完善性可以作为GAN合成的假图像检测和伪造定位的重要资产。基于这一基本观察,我们提出了一种新的方法,称为FakeObserver,以获得高定位精度,在全分辨率下,在操纵的面部图像。据我们所知,这是第一次尝试用灰度虚假图来解决基于GAN的虚假定位问题,该图保留了更多虚假区域的信息。为了提高Fakeprostry在各种面部属性上的通用性,我们引入了一个注意力机制来指导模型的训练。为了提高不同DeepFake方法之间的Faketranks的通用性,我们提出了部分数据增强和训练图像上的单样本聚类。在流行的FaceForensics++、DFFD数据集和七种不同的基于GAN的人脸生成方法上的实验结果表明了我们方法的有效性。与基线相比,我们的方法在各种指标上表现更好。此外,所提出的方法是对各种现实世界的人脸图像退化,如JPEG压缩,低分辨率,噪声和模糊鲁棒性。
2021-11-23 cs.CV cs.LG
Undercover Deepfakes: Detecting Fake Segments in Videos
National University of Singapore(新加坡国立大学);University of Melbourne(墨尔本大学)
针对现有检测方法对“仅轻微篡改片段的部分伪造视频”研究不足的问题,本文提出结合空间与时序Transformer的帧级+视频级检测方法,构建含细微过渡的新基准数据集,实验表现优异,可助力深度伪造精准审核。
2023-08-25 cs.CV
A Survey of Deep Fake Detection for Trial Courts
Sam Houston State University(萨姆休斯顿州立大学)
近来,由于先进的图像编辑工具的进步,图像操纵已经实现了快速增长。最近使用神经网络生成的虚假图像和视频激增是DeepFake。DeepFake算法可以创建人类无法区分的虚假图像和视频。GAN(GANs)已被广泛用于创建逼真的图像,而无需访问原始图像。因此,检测虚假视频以避免传播虚假信息变得至关重要。本文介绍了迄今为止文献中用于检测DeepFakes的方法和可用于检测DeepFakes的数据集。我们提出了与DeepFake技术相关的广泛讨论和研究趋势。
2022-05-31 cs.AI cs.CV
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
Universidad Autonoma de Madrid(马德里自治大学)
对大型公共数据库的免费访问,以及深度学习技术的快速发展,特别是生成对抗网络,导致了非常逼真的虚假内容的生成,并在这个假新闻时代对社会产生了相应的影响。这项调查提供了一个全面的审查技术,用于操纵面部图像,包括DeepFake方法,以及方法来检测这种操纵。特别是,审查了四种类型的面部操作:i)整个面部合成,ii)身份交换(DeepFakes),iii)属性操作和iv)表情交换。对于每个操纵组,我们提供了有关操纵技术,现有公共数据库和假冒检测方法技术评估的关键基准的详细信息,包括这些评估的结果摘要。在调查中讨论的所有方面中,我们特别关注最新一代的DeepFakes,强调其在假货检测方面的改进和挑战。除了调查信息,我们还讨论了开放的问题和未来的趋势,应该考虑在该领域的进步。
2020-06-18 cs.CV cs.MM
FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network
Sungkyunkwan University(成均馆大学)
由于生成对抗网络(GANs)的进步,创建像“Deepfake”这样的虚假图像和视频变得更加容易。此外,最近的研究,如少样本学习,可以创建高度逼真的个性化假图像,只有几个图像。因此,Deepfake被用于各种恶意目的的威胁变得普遍,例如传播虚假图像和视频。检测这些机器生成的假图像比以往任何时候都更具挑战性。在这项工作中,我们提出了一个轻量级的强大的微调神经网络为基础的分类器架构,称为假检测微调网络(FDFtNet),它能够检测许多新的假脸图像生成模型,可以很容易地与现有的图像分类网络和微调几个数据集。与许多现有方法相比,我们的方法旨在重用流行的预训练模型,仅使用少量图像进行微调,以有效地检测假图像。我们的方法的核心是引入一个基于图像的自我注意模块,称为微调Transformer,只使用注意模块和下采样层。该模块被添加到预训练的模型中,并对一些数据进行微调,以搜索新的特征空间集来检测虚假图像。我们在基于GAN的数据集(Progressive Growing GAN)和基于Deepfake的数据集(Deepfake和Face2Face)上使用FDFtNet进行了实验,其小输入图像分辨率为64x64,使检测变得复杂。我们的FDFtNet在检测基于GANs的数据集生成的虚假图像方面达到了90.29%的整体准确率,优于最先进的技术。
2020-08-10 cs.CV
Exposing Deep-faked Videos by Anomalous Co-motion Pattern Detection
Northwestern University(西北大学)
最近的基于深度学习的视频合成方法,特别是可以伪造身份的应用程序,如“DeepFake”,已经引起了很大的安全问题。因此,提出了相应的深度取证方法来解决这个问题。然而,现有的方法要么是基于不可解释的深层网络,这大大降低了媒体取证的主要可解释性因素,要么依赖于脆弱的图像统计数据,如噪声模式,在现实世界中,数据压缩很容易恶化。在本文中,我们提出了一种完全可解释的视频取证方法,专门用于揭露深度伪造的视频。为了增强具有各种内容的视频的通用性,我们对视频中多个特定空间位置的时间运动进行建模,以提取一个强大且可靠的表示,称为Co-Motion Pattern。这种联合模式是在独立于视频内容的局部运动特征中挖掘的,从而也可以在很大程度上减轻实例变化。更重要的是,我们提出的共同运动模式具有优越的可解释性和足够的鲁棒性对数据压缩的深度伪造的视频。我们进行了大量的实验,以经验证明我们的方法在分类和异常检测评估设置下对最先进的深度取证方法的优越性和有效性。
2020-08-11 cs.CV cs.LG eess.IV
Learning Human-Perceived Fakeness in AI-Generated Videos via Multimodal LLMs
该研究推出首个标注人类感知深度伪造痕迹的细粒度时空基准DeeptraceReward,训练多模态奖励模型模拟人类判断,7B模型表现超GPT-5 34.7%,揭示伪造检测难度梯度,为可信视频生成提供测试与训练支撑。
2025-10-01 cs.AI cs.CL cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS(新里斯本大学计算机科学与信息学实验室);Universidad Autonoma de Madrid(马德里自治大学);University of Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统,深入分析相关文献,评估现有检测方法在无约束场景下的性能,并发布iFakeFaceDB数据库,指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
A new face swap method for image and video domains: a technical report
Sber AI(Sber人工智能研究院);Samara National Research University(萨马拉国立研究大学);MSU(莫斯科国立大学)
深度伪造技术在过去几年中成为研究的热点领域。研究人员研究了复杂的生成对抗网络(GAN),自动编码器和其他方法,以建立精确和强大的人脸交换算法。实现的结果表明,深度假无监督合成任务在生成数据的视觉质量方面存在问题。这些问题通常导致专家分析时的高假检测精度。第一个问题是,现有的图像到图像方法不考虑视频域特异性,并且逐帧处理导致面部抖动和其他清晰可见的失真。另一个问题是所生成的数据分辨率,由于高计算复杂性,对于许多现有方法而言,所生成的数据分辨率较低。第三个问题出现在源面具有较大比例(如较大的脸颊)时,并且在替换后,它在面边界上变得可见。我们的主要目标是开发这样一种方法,可以解决这些问题,并在许多线索指标上优于现有的解决方案。我们引入了一个新的面孔交换管道,它是基于FaceShifter架构,并解决了上述问题。通过新的眼睛损失函数,超分辨率块和基于高斯的面部掩模生成导致质量的改善,这在评估期间得到了证实。
2022-02-07 cs.CV
Face Presentation Attack Detection in Learned Color-liked Space
Northwestern Polytechnical University(西北工业大学);University of Cagliari(卡利亚里大学)
人脸呈现攻击检测(PAD)已经成为生物识别系统中的一个棘手问题,人们提出了许多解决方法,但大多数方法都是在现有的颜色空间(如RGB、HSV和YCbCr)中直接提取特征描述符并区分真假人脸。不幸的是,我们不知道哪种颜色空间是最好的,或者如何将不同的空间组合在一起。更糟糕的是,真实和虚假的脸在现有的颜色空间中重叠。因此,在本文中,一个学习可区分的颜色喜欢的空间来处理人脸PAD的问题。更具体地说,我们提出了一个端到端的深度学习网络,可以将现有的颜色空间映射到一个新的学习颜色空间。受生成对抗网络(GAN)生成器的启发,该网络由空间生成器和特征提取器组成。在训练类颜色空间时,提出了一种新的点到中心的三元组组合机制,以最大化类间距离和最小化类内距离,并在真实人脸和呈现的假人脸之间保持安全的边界。在两个标准的人脸PAD数据库上进行了广泛的实验,即,中继攻击和OULU-NPU,表明我们提出的基于颜色空间分析的对策显着优于国家的最先进的方法,并显示出良好的泛化能力。
2018-11-12 cs.CV
Learning to Detect Fake Face Images in the Wild
National Pingtung University of Science and Technology(国立屏东科技大学);National United University(国立联合大学)
生成对抗网络(GAN)虽然可以用来生成真实感图像,但使用不当会带来隐患。例如,GAN可用于为特定人员和不适当事件生成篡改视频,从而创建对特定人员有害的图像,甚至可能影响该人员的人身安全。在本文中,我们将开发一种深度伪造检测器(DeepFD),以有效地检测计算机生成的图像。直接学习一个二元分类器是相对棘手的,因为很难找到共同的判别特征来判断不同GANs生成的假图像。为了解决这个缺点,我们采用对比损失来寻找由不同GANs生成的合成图像的典型特征,然后连接一个分类器来检测这样的计算机生成的图像。实验结果表明,所提出的DeepFD成功地检测到94.7%的虚假图像产生的几个国家的最先进的GANs。
2018-10-18 cs.CV cs.MM
VGMShield: Mitigating Misuse of Video Generative Models
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VGMShield,通过虚假视频检测、来源追溯和向查询图像添加不可见扰动的预防方法,构建覆盖生成全生命周期的多方位缓解方案,在七个开源模型上实现超过90%的检测与追溯准确率。
2025-07-04 cs.AI cs.CR cs.CV
Copy Motion From One to Another: Fake Motion Video Generation
Zhejiang University(浙江大学);Zhejiang Gongshang University(浙江工商大学);National University of Singapore(新加坡国立大学);Shandong Normal Unversity(山东师范大学);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学)
人工智能的一个引人注目的应用是生成目标人执行任意期望运动(来自源人)的视频。虽然现有技术的方法能够合成展示类似的宽笔划运动细节的视频,但是它们通常缺乏纹理细节。一个相关的表现是扭曲的脸,脚和手,这些缺陷是非常敏感的人类观察者感知。此外,当前方法通常采用具有L2损失的GANs来评估所生成视频的真实性,固有地需要大量的训练样本来学习纹理细节以用于适当的视频生成。在这项工作中,我们从三个方面解决这些挑战:1)我们将每个视频帧分解为前景(人)和背景,重点是生成前景以减少网络输出的底层维度。2)我们提出了一个理论上有动机的Gromov-Wasserstein损失,便于学习从姿势到前景图像的映射。3)为了增强纹理细节,我们使用几何指导对面部特征进行编码,并使用本地GANs来优化面部,脚部和手部。大量的实验表明,我们的方法是能够生成逼真的目标人物视频,忠实地复制复杂的运动从源人。
2022-12-23 cs.AI cs.CV
DepthFake: a depth-based strategy for detecting Deepfake videos
Sapienza University of Rome(罗马第一大学)
针对深度伪造视频检测问题,提出DepthFake方法,通过单目深度估计获取深度图结合RGB信息构建RGBD检测架构,在FaceForensic++数据集上实现最高11.7%的性能提升。
2022-08-23 cs.CV
FAKER: Full-body Anonymization with Human Keypoint Extraction for Real-time Video Deidentification
Nana Co., LTD.(娜娜有限公司)
本研究提出了一种基于人体关键点提取和姿态估计的小型模型方法,实现视频中个人的实时全身匿名化,有效去除肤色和体型等识别信息,同时保留位置与姿态信息,可无缝集成至CCTV或IP摄像机系统。
2024-08-06 cs.CV cs.LG eess.IV
Evaluation of Pre-Trained CNN Models for Geographic Fake Image Detection
National Higher School of Telecommunications and ICT(国家电信与信息通信技术高等学院);University of Ibn Khaldoun(伊本·赫勒敦大学);Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心);Sorbonne Center for Artificial Intelligence, Sorbonne University Abu Dhabi(索邦大学阿布扎比分校索邦人工智能中心)
由于生成对抗网络(GANs)的显着进步,生成/操作图像变得越来越容易。现有的作品主要集中在面部图像和视频中的deepfake。然而,我们目前正在目睹虚假卫星图像的出现,这些图像可能会误导甚至威胁国家安全。因此,迫切需要开发能够区分真假卫星图像的检测方法。为了推进这一领域,在本文中,我们探讨了几种卷积神经网络(CNN)架构对虚假卫星图像检测的适用性。具体来说,我们通过进行广泛的实验来评估四个CNN模型对各种图像失真的性能和鲁棒性。这项工作允许建立新的基线,并可能有助于开发基于CNN的方法来检测假卫星图像。
2022-10-01 cs.CV
Defending against GAN-based Deepfake Attacks via Transformation-aware Adversarial Faces
Duke University(杜克大学);Accenture Labs(埃森哲实验室)
Deepfake代表了一类利用自动编码器或生成对抗网络等机器学习模型的面部交换攻击。虽然换脸的概念并不新鲜,但其最近的技术进步使得虚假内容(例如,图像、视频)更真实,人类无法察觉。已经探索了各种针对Deepfake攻击的检测技术。然而,这些方法是针对Deepfakes的被动措施,因为它们是在生成高质量虚假内容后的缓解策略。更重要的是,我们希望通过强大的防御来领先于攻击者。这项工作旨在采取攻击性措施,阻止高质量虚假图像或视频的生成。具体来说,我们建议使用新的变换感知的对抗性扰动面孔作为对基于GAN的Deepfake攻击的防御。与朴素的对抗性人脸不同,我们提出的方法在生成过程中利用了可微的随机图像变换。我们还建议使用基于集成的方法来增强黑盒设置下对基于GAN的Deepfake变体的防御鲁棒性。我们发现,使用对抗性人脸训练Deepfake模型可能会导致合成人脸的质量显着下降。这种退化是双重的。一方面,合成人脸的质量随着更多的视觉伪影而降低,使得合成人脸更明显地是假的或对人类观察者更不可信。另一方面,可以基于各种度量容易地检测合成的面部。
2020-06-12 cs.CR cs.CV eess.IV
Cross-View Exocentric to Egocentric Video Synthesis
Cisco Systems(思科系统公司);University of Trento(特伦托大学);Stevens Institute of Technology(史蒂文斯理工学院);Illinois Institute of Technology(伊利诺伊理工学院)
跨视点视频合成任务旨在从一个显著不同的视点生成另一个视点的视频序列。在本文中,我们研究了从离心(第三人称)视角到自我中心(第一人称)视角的视频生成任务。这是具有挑战性的,因为自我中心的观点有时与离心的观点明显不同。因此,在两个不同的视图之间转换外观是一项重要的任务。特别是,我们提出了一种新的双向时空注意力融合生成对抗网络(STA-GAN)学习空间和时间信息,以生成自我中心的视频序列从偏心视图。STA-GAN由时间分支、空间分支和注意力融合三部分组成。首先,时间和空间分支生成伪帧序列及其相应的特征。在时间和空间分支的下游和上游方向上生成伪帧。接下来,生成的四个不同的假帧及其相应的功能(在两个方向上的空间和时间分支)被送入一个新的多代注意力融合模块,以产生最终的视频序列。同时,我们还提出了一种新的时间和空间的双重优化更强大的网络优化。在Side 2 Ego和Top2 Ego数据集上的大量实验表明,所提出的STA-GAN显著优于现有方法。
2021-07-07 cs.CV cs.MM
In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
深度生成网络的新发展显着提高了生成逼真假脸视频的质量和效率。在这项工作中,我们描述了一种新的方法来揭露假脸视频生成的神经网络。我们的方法是基于视频中眨眼的检测,这是一种在合成的假视频中没有很好呈现的生理信号。我们的方法在眨眼检测数据集的基准上进行了测试,并且在检测DeepFake生成的视频时也表现出了良好的性能。
2018-06-11 cs.CV
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);Hong Kong University of Science and Technology(香港科技大学)
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题,提出得分梯度匹配蒸馏(SGMD),通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标,实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Detecting High-Quality GAN-Generated Face Images using Neural Networks
Sabanci University(萨班哲大学);University of Padua(帕多瓦大学);Florida International University(佛罗里达国际大学)
在过去的几十年里,在计算机视觉中过度使用上一代GAN(生成对抗网络)模型,使得人工人脸图像的创建在视觉上与真实人脸图像无法区分。这些图像特别用于对抗性环境中,以创建虚假的社交媒体帐户和其他虚假的在线个人资料。此类恶意活动可能会对用户身份的可信度产生负面影响。另一方面,GAN模型的最新发展可以创建高质量的人脸图像,而没有空间伪影的证据。因此,重新组装均匀的颜色通道相关性是一个具有挑战性的研究问题。为了应对这些挑战,我们需要开发能够区分虚假和真实人脸图像的有效工具。在本章中,我们提出了一种新的策略,通过利用光谱带差异来区分GAN生成的图像和真实图像,重点是人工人脸图像合成。特别是,我们使数字保存的人脸图像使用跨波段共生矩阵和空间共生矩阵。然后,我们实现这些技术,并将它们馈送到卷积神经网络(CNN)架构中,以识别真实的人工人脸。此外,我们表明,性能提升是特别显着的,并在不同的后处理环境中达到92%以上。最后,我们提供了几个研究观察表明,这种策略改进了一个可比的检测方法,只基于带内空间同现。
2022-03-03 cs.CR cs.CV cs.LG
Vision Transformer Based Video Hashing Retrieval for Tracing the Source of Fake Videos
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,虚假视频的传播给个人乃至国家带来了巨大影响。重要的是要为假视频提供强大而可靠的结果。传统的检测方法的结果是不可靠的,不健全的看不见的视频。另一种替代和更有效的方法是找到假视频的原始视频。比如,俄乌战争、香港修法风波的假视频,都是通过找到原视频来反驳的。我们使用一种改进的检索方法来找到原始视频,命名为ViTHash。具体来说,追踪假视频的来源需要找到唯一的一个,当原始视频中只有很小的差异时,这是很困难的。为了解决上述问题,我们设计了一种新的损失散列三重损失。此外,我们还设计了一个名为Localizator的工具来比较原始跟踪视频和假视频之间的差异。我们已经在FaceForensics++、Celeb-DF和DeepFakeDetection上做了大量的实验,我们还在我们构建的三个数据集上做了额外的实验:DAVIS 2016-TL(视频修复)、VSTL(视频拼接)和DFTL(类似视频)。实验表明,我们的性能优于最先进的方法,特别是在跨数据集模式。实验还表明,ViTHash在各种伪造检测中是有效的:视频修复,视频拼接和deepfakes。我们的代码和数据集已在GitHub上发布:\url{https://github.com/lajlksdf/vtl}。
2022-09-06 cs.CV
FakeBuster: A DeepFakes Detection Tool for Video Conferencing Scenarios
Indian Institute of Technology Ropar(印度理工学院罗巴尔分校);Monash University(莫纳什大学)
本文提出了一种新的DeepFake检测器FakeBuster,用于检测视频会议期间的冒名顶替者和社交媒体上的操纵面孔。FakeBuster是一个独立的基于深度学习的解决方案,它使用户能够检测在基于视频会议的会议期间是否有人的视频被操纵或欺骗。该工具独立于视频会议解决方案,并已通过Zoom和Skype应用程序的测试。它使用3D卷积神经网络来预测视频分段的虚假分数。该网络是在Deeperforensics、DFDC、VoxCeleb和deepfake视频等数据集的组合上训练的,这些视频是使用本地捕获的(用于视频会议场景)图像创建的。这导致了数据集中不同的环境和扰动,从而提高了deepfake网络的泛化能力。
2021-01-09 cs.CV
FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals
Binghamton University(宾汉姆顿大学);Intel Corporation(英特尔公司)
最近,虚假肖像视频的泛滥对社会、法律和隐私构成了直接威胁。相信政客的假视频,传播名人的假色情内容,制作假冒的假视频作为法庭证据,只是深度造假的一些现实世界后果。我们提出了一种新的方法来检测肖像视频中的合成内容,作为对深度伪造的新兴威胁的预防性解决方案。换句话说,我们引入了一个深度假检测器。我们观察到,盲目利用深度学习的检测器在捕捉虚假内容方面并不有效,因为生成模型会产生非常逼真的结果。我们的关键主张是,隐藏在肖像视频中的生物信号可以用作真实性的隐式描述符,因为它们在假内容中既没有空间也没有时间保留。为了证明和利用这一论断,我们首先对成对分离问题进行了几次信号变换,达到了99.39%的准确率。其次,我们利用这些发现,通过分析建议的信号变换和相应的特征集,为虚假内容制定一个通用的分类器。第三,我们生成新的信号图,并采用CNN来改进我们传统的分类器来检测合成内容。最后,我们发布了一个“野生”的假肖像视频数据集,我们收集了这些视频作为我们评估过程的一部分。我们在几个数据集上评估了FakeCatcher,分别在Face Forensics,Face Forensics++,CelebDF和我们新的Deep Fakes数据集上获得了96%,94.65%,91.50%和91.07%的准确率。我们还分析了来自不同面部区域的信号,根据图像失真,不同的片段持续时间,来自不同的生成器,对看不见的数据集,…
2020-07-19 cs.CV
Visual Representations of Physiological Signals for Fake Video Detection
Monash University(莫纳什大学);IIT Ropar(印度理工学院罗巴尔分校)
鉴于我们不断增加的在线存在和信息摄入量,真实的假视频是传播有害错误信息的潜在工具。提出了一种基于多模态学习的真假视频检测方法。该方法结合了来自三种模态的信息-音频、视频和生理学。我们调查两种策略相结合的视频和生理方式,无论是通过增强视频与信息的生理或新颖的学习这两种方式的融合与建议的图卷积网络架构。这两种策略相结合的两种方式依赖于一种新的方法,用于生成生理信号的视觉表示。然后,基于音频和修改的视频模态之间的相异性来检测真实视频和虚假视频。该方法在两个基准数据集上进行了评估,结果表明,与以前的方法相比,检测性能显着提高。
2022-07-18 cs.CV
Exposing Deep Fakes Using Inconsistent Head Poses
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
在本文中,我们提出了一种新的方法来暴露人工智能生成的假人脸图像或视频(通常称为Deep Fakes)。我们的方法是基于这样的观察,即深度假是通过将合成的面部区域拼接到原始图像中来创建的,并且在这样做的过程中,引入了从面部图像估计3D头部姿势时可以发现的错误。我们进行实验来证明这种现象,并进一步开发了一种基于此线索的分类方法。使用基于此线索的特征,使用一组真实面部图像和Deep Fakes来评估SVM分类器。
2018-11-13 cs.CV
Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples
University of California San Diego(加州大学圣迭戈分校)
视频处理技术的最新进展使得生成假视频比以往任何时候都更容易。被操纵的视频会助长虚假信息,降低对媒体的信任。因此,虚假视频的检测在学术界和工业界引起了极大的兴趣。最近开发的Deepfake检测方法依赖于深度神经网络(DNN)来区分AI生成的假视频和真实视频。在这项工作中,我们证明了可以通过对使用现有Deepfake生成方法合成的假视频进行逆向修改来绕过此类检测器。我们进一步证明了我们的对抗扰动对图像和视频压缩编解码器是鲁棒的,使它们成为现实世界的威胁。我们在白盒和黑盒攻击场景中提供了流水线,可以欺骗基于DNN的Deepfake检测器将假视频分类为真实视频。
2020-11-07 cs.CV
Fake face detection via adaptive manipulation traces extraction network
Hunan University(湖南大学);Nanjing University of Information Science and Technology(南京信息工程大学)
随着Face2Face和Deepfake等人脸图像处理技术的普及,更多的虚假人脸图像正在互联网上传播,这给公众的信心带来了严重挑战。人脸图像的伪造检测在特定的人脸暴露方面已经取得了长足的进步,但在复杂的场景下,如进一步压缩、模糊、缩放等,仍然缺乏鲁棒的伪造人脸检测器。由于卷积神经网络(CNN)结构相对固定,倾向于学习图像内容表示。但是,CNN应该学习图像取证任务的微妙操纵痕迹。因此,我们提出了一个自适应的操作痕迹提取网络(AMTEN),它作为预处理,以抑制图像内容和突出的操作痕迹。AMTEN利用自适应卷积层来预测图像中的操作轨迹,这些轨迹在后续层中被重用,以通过在反向传播过程中更新权重来最大化操作伪影。通过将AMTEN与CNN集成,构建了一个假人脸检测器,即AMTENnet。实验结果表明,该算法实现了较好的预处理效果。在检测各种人脸识别技术生成的虚假人脸图像时,AMTENnet的平均准确率高达98.52%,优于最先进的作品。当检测未知后处理操作的人脸图像时,检测器的平均准确率也达到95.17%。
2020-12-16 cs.CV
Multimodal Fake News Video Explanation: Dataset, Analysis and Evaluation
School of Computer Science and Technology Soochow University(苏州大学计算机科学与技术学院)
针对多模态虚假新闻视频缺乏可解释性的问题,提出虚假新闻视频解释任务,构建包含2672条样本的FakeVE数据集,提出多模态关系图Transformer模型并建立基准,验证了模型解释生成的有效性。
2025-04-17 cs.CV cs.MM
Representative Forgery Mining for Fake Face Detection
Beijing University of Posts and Telecommunications(北京邮电大学)
虽然基于普通卷积神经网络(CNN)的检测器在虚假人脸检测上取得了令人满意的性能,但我们观察到检测器倾向于在有限的人脸区域上寻找伪造,这表明检测器对伪造的理解不足。因此,我们提出了一个基于注意力的数据增强框架,以指导检测器细化和扩大其注意力。具体来说,我们的方法跟踪并遮挡前N个敏感的面部区域,鼓励检测器更深入地挖掘之前忽略的区域,以获得更具代表性的伪造。特别是,我们的方法是简单易用,可以很容易地集成到各种CNN模型。大量的实验表明,用我们的方法训练的检测器能够分别指出由不同操作技术生成的假面孔的代表性伪造,并且我们的方法使基于香草CNN的检测器能够在不修改结构的情况下实现最先进的性能。
2021-04-14 cs.CV
Improving Unsupervised Video Object Segmentation via Fake Flow Generation
Yonsei University(延世大学)
提出通过从单张图像模拟伪造光流来生成大规模训练数据,改进无监督视频对象分割,并在所有公开基准上取得最先进性能。
2024-07-16 cs.CV
Use of a Capsule Network to Detect Fake Images and Videos
SOKENDAI (The Graduate University for Advanced Studies)(総合研究大学院大学(高等研究科大学院));National Institute of Informatics(情报学研究所);The University of Tokyo(东京大学);The University of Edinburgh(爱丁堡大学)
计算机硬件的革命,特别是图形处理单元和张量处理单元的革命,使得计算机图形学和人工智能算法取得了重大进展。除了在日常生活和商业中的许多有益应用外,计算机生成/操纵的图像和视频还可用于违反安全系统、隐私和社会信任的恶意目的。deepfake现象及其变体使普通用户能够使用他或她的个人电脑轻松地从一个简短的真实在线视频中创建任何人的虚假视频。已经引入了几种对策来应对使用此类视频的攻击。然而,它们中的大多数针对某些域,并且当应用于其他域或新攻击时是无效的。在本文中,我们介绍了一种胶囊网络,它可以检测各种攻击,从使用打印图像和重放视频的演示攻击到使用深度学习创建的假视频的攻击。它使用的参数比传统的卷积神经网络少得多,但性能相似。此外,我们解释,有史以来第一次在文献中,背后的理论应用胶囊网络的取证问题,通过详细的分析和可视化。
2019-10-29 cs.CV
Temporally Coherent Person Matting Trained on Fake-Motion Dataset
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
我们提出了一种新的基于神经网络的方法来执行抠图的视频描绘的人,不需要额外的用户输入,如trimaps。我们的架构通过使用基于运动估计的图像分割算法输出平滑,结合U-Net跳过连接上的卷积LSTM模块,实现了所产生的alpha蒙版的时间稳定性。我们还提出了一种假运动算法,该算法可以为视频抠图网络生成训练剪辑,给出具有地面真实阿尔法抠图和背景视频的照片。我们将随机运动应用于照片及其蒙版,以模拟人们在真实视频中发现的运动,并将结果与背景剪辑合成。它允许我们在没有大型注释视频数据集的情况下训练对视频进行操作的深度神经网络,并提供地面实况训练剪辑前景光流,用于损失函数。
2021-09-10 cs.CV
Beyond Real versus Fake Towards Intent-Aware Video Analysis
BITS Pilani Hyderabad, India(比斯·比兰尼 Hyderabad,印度);Inria Center at Université Côte d’Azur, France(法国阿尔卑斯海岸大学 Inria 中心);da/sec – Biometrics and Security Research Group, Hochschule Darmstadt, Germany(德国达姆施塔特高等学院 da/sec 生物识别与安全研究组)
本文提出IntentHQ基准,通过多模态模型分析视频意图,涵盖23种细粒度类别,用于识别视频背后的动机和目标。
2025-11-27 cs.CV
FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection
Reichman University(赖希曼大学)
FakeOut利用多模态域外自监督骨干网络,适应视频深度伪造检测,在跨数据集泛化上达到最先进结果,证明域外训练可提升检测鲁棒性。
2024-02-07 cs.CV
Nip Rumors in the Bud: Retrieval-Guided Topic-Level Adaptation for Test-Time Fake News Video Detection
University of Electronic Science and Technology of China(电子科技大学);Aiwen Technology Co., Ltd.(爱文科技有限公司);Intelligent Digital Media Technology Key Laboratory of Sichuan Province(四川省智能数字媒体技术重点实验室)
RADAR通过检索引导适应方法,在测试时有效检测未见主题的虚假新闻视频,提升适应能力。
2026-01-17 cs.CV
FreqBlender: Enhancing DeepFake Detection by Blending Frequency Knowledge
School of Computer Science and Technology, Ocean University of China(中国海洋大学计算机科学与技术学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)数据科学学院)
本文提出FreqBlender方法,通过频率解析网络提取并混合伪造相关频率知识来生成伪假脸,从而增强DeepFake检测的泛化能力,并可作为即插即用策略。
2024-11-23 cs.CV
Exploring Adversarial Fake Images on Face Manifold
University of Chinese Academy of Sciences(中国科学院大学);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心)
基于强大生成对抗网络(GAN)的方法合成的图像引起了道德和隐私方面的关注。虽然图像取证模型在从真实图像中检测假图像方面已经达到了很好的性能,但这些模型很容易被简单的对抗攻击所欺骗。但是,加入对抗性样本的噪音也引起了怀疑。在本文中,而不是添加对抗性噪声,我们最佳地搜索人脸流形上的对抗点,以产生反取证假人脸图像。我们在生成模型(例如Style-GAN)的潜在空间中迭代地每一小步进行梯度下降,以找到一个对抗潜在向量,这类似于基于范数的对抗攻击,但在潜在空间中。然后,在GANs的帮助下,由对抗性潜向量驱动生成的假图像可以击败主流的取证模型。例如,它们使基于Xception或EfficientNet的deepfake检测模型的准确率从90%以上下降到近0%,同时保持高视觉质量。另外,我们发现在不同的层次上操纵风格向量$z$或噪声向量$n$对攻击成功率有影响。生成的对抗图像主要有面部纹理或面部属性的变化。
2021-05-19 cs.CV
Generalized Face Liveness Detection via De-fake Face Generator
University of Chinese Academy of Sciences (UCAS)(中国科学院大学)
针对人脸反欺骗方法跨域泛化性差的问题,提出异常线索引导的AG-FAS方法,通过去伪脸生成器利用大规模真实人脸生成异常线索,结合OA-Net聚焦欺骗区域,在9个公开数据集跨域评估中达SOTA并获理论验证。
2024-12-11 cs.CV
DF26: We Cannot Tell Fake From Real Anymore
Ukrainian Catholic University(乌克兰天主教大学);Czech Technical University in Prague(布拉格捷克技术大学);Hover Inc.(Hover公司);Institute of Software Systems of the National Academy of Sciences of Ukraine(乌克兰国家科学院软件系统研究所)
DF26基准包含271个真实和2420个AI生成视频,测试显示人类与先进检测器均接近随机猜测,凸显现有评估局限,需关注模型分布偏移鲁棒性。
2026-09-09 cs.CV
FTFDNet: Learning to Detect Talking Face Video Manipulation with Tri-Modality Interaction
Northwestern Polytechnical University(西北工业大学);Nanchang University(南昌大学)
本文提出FTFDNet,通过跨模态融合视觉、音频和光流运动特征,并引入音视频注意力机制AVAM,提升伪造说话人脸及DeepFake视频检测性能。
2023-07-08 cs.CV
Open Set Face Forgery Detection via Dual-Level Evidence Collection
Michigan State University(密歇根州立大学);Rochester Institute of Technology(罗切斯特理工学院)
本文提出双层证据检测方法,用于识别新型伪造类别,通过不确定性估计提升实际应用,实验显示在识别新伪造类别时性能优于现有方法。
2026-05-16 cs.CV
IDRetracor: Towards Visual Forensics Against Malicious Face Swapping
school of computer science, Wuhan University(武汉大学计算机学院);school of cyber science and engineering, Wuhan University(武汉大学网络空间科学与工程学院)
针对现有深度伪造检测仅能输出二分类标签、缺乏可追溯证据的问题,本文提出人脸溯源任务与IDRetracor模型,通过映射解析器和映射感知卷积从伪造人脸还原原始身份,实验验证了其优异的溯源性能。
2024-08-13 cs.CV
Enhancing Fake News Video Detection via LLM-Driven Creative Process Simulation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Media Synthesis and Forensics Lab(媒体合成与取证实验室);National University of Singapore(新加坡国立大学)
针对现有假新闻视频检测因训练数据不足、多样性差导致的性能受限问题,提出LLM驱动的AgentAug数据增强框架,模拟创作过程生成多样假新闻视频并结合主动学习筛选样本,有效提升检测器性能。
2025-10-05 cs.CV cs.MM
RASR: Retrieval-Augmented Semantic Reasoning for Fake News Video Detection
School of Informatics, Xiamen University(厦门大学信息学院);School of Computer Science and Information Security, Guilin University of Electronic Technology(桂林电子科技大学计算机科学与信息安全学院);School of Computer and Big Data, Minjiang University(闽江学院计算机与大数据学院);Xiamen University(厦门大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出RASR框架,通过跨实例语义解析器和检索器、领域引导多模态推理模块和多视图特征解耦融合模块,提升虚假新闻视频检测的准确性和跨域泛化能力。
2026-07-01 cs.CV
From Cheap Fakes to Pure Synthesis: Addressing the New Era of T2V Fake News Videos
Hong Kong Baptist University(香港浸会大学);Beijing Normal University(北京师范大学)
该研究针对纯合成T2V假新闻视频带来的新威胁,构建了首个纯合成假新闻视频数据集,提出R-T2V框架,在10种主流基准上取得最优检测性能。
2026-08-10 cs.AI cs.CV cs.MM
Single-Side Domain Generalization for Face Anti-Spoofing
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
现有的人脸反欺骗领域泛化方法都是通过提取共同的差异特征来提高泛化能力。然而,由于不同领域的假人脸分布差异很大,很难为假人脸寻求一个紧凑的和广义的特征空间。在这项工作中,我们提出了一个端到端的单边领域泛化框架(SSDG),以提高人脸反欺骗的泛化能力。其主要思想是学习一个广义的特征空间,其中真实人脸的特征分布是紧凑的,而假的是分散在域之间,但在每个域内紧凑。具体来说,训练特征生成器,使来自不同领域的真实人脸无法区分,而不是虚假的,从而形成单边对抗学习。此外,一个不对称的三重态损失的设计,以限制不同领域的假脸分离,而真正的聚集。以上两点以端到端的训练方式整合到一个统一的框架中,从而产生更广义的类边界,特别适用于来自新领域的样本。特征和权值归一化的结合进一步提高了泛化能力。大量的实验表明,我们提出的方法是有效的,并优于国家的最先进的方法在四个公共数据库。
2020-04-29 cs.CV
Combining EfficientNet and Vision Transformers for Video Deepfake Detection
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
Deepfakes是数字操纵的结果,以伪造逼真但虚假的图像。随着深度生成模型的惊人进步,现在使用变分自编码器(VAE)或生成对抗网络(GANs)获得虚假图像或视频。这些技术变得越来越容易获得和准确,导致虚假视频很难被检测到。传统上,卷积神经网络(CNN)已被用于执行视频深度伪造检测,使用基于EfficientNet B7的方法获得了最佳结果。在这项研究中,我们专注于人脸的视频深度虚假检测,因为大多数方法在生成逼真的人脸时变得非常准确。具体来说,我们将各种类型的视觉Transformer与用作特征提取器的卷积EfficientNet B0相结合,获得了与使用视觉Transformer的一些最新方法相当的结果。与最先进的方法不同,我们既不使用蒸馏方法,也不使用系综方法。此外,我们提出了一个简单的推理过程的基础上,一个简单的投票计划处理多个面孔在同一个视频镜头。最佳模型的AUC为0.951,F1得分为88.0%,非常接近DeepFake Detection Challenge(DFDC)的最新水平。
2022-01-20 cs.CV
Unmasking Deep Fakes: Leveraging Deep Learning for Video Authenticity Detection
BRAC University(布拉克大学)
针对Deepfake视频对数字媒体真实性的威胁,本文提出结合MTCNN人脸检测器与EfficientNet-B5编码器的深度学习检测方法,在Kaggle DFDC数据集上取得了93.80%的AUC与86.82%的F1值。
2025-06-15 cs.CV
Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption
针对深度伪造检测泛化性差的问题,提出通过伪伪造生成器创建时空规律破坏的伪伪造视频进行训练,并设计时空增强块联合捕获时空破坏,在多个数据集上取得卓越性能。
2023-06-25 cs.CV
FakingRecipe: Detecting Fake News on Short Video Platforms from the Perspective of Creative Process
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
针对短视频假新闻多模态异构信息检测难题,提出从创作过程视角分析素材选择与编辑特征的FakingRecipe模型,并构建英文数据集FakeTT,在多数据集实验中验证了其优越性。
2024-07-23 cs.CV cs.CY cs.MM