Deepfake Detection of Occluded Images Using a Patch-based Approach
Shahid Beheshti University(沙希德·贝赫什提大学)
本研究提出一种基于整脸和人脸分块的三路径决策深度学习方法,用于检测存在遮挡的Deepfake图像,新构建数据集实验表明该方法在早期周期表现更优,并将SoTA结果提升了0.4%-7.9%。
2023-04-10 cs.CV
Evidence Packing for Cross-Domain Image Deepfake Detection with LVLMs
Anhui University(安徽大学);Hefei University of Technology(合肥工业大学);IAI, Hefei Comprehensive National Science Center(合肥综合国家科学中心人工智能研究院);United Arab Emirates University(阿拉伯联合酋长国大学)
本文提出SCEP框架,通过证据驱动推理提升跨领域图像深度伪造检测性能,无需微调大视觉语言模型,有效识别伪造线索。
2026-03-18 cs.CV
LOGER: Local--Global Ensemble for Robust Deepfake Detection in the Wild
Shanghai Jiao Tong University(上海交通大学);INTSIG Information(INTSIG信息)
LOGER通过局部-全局集成框架提升深度伪造检测鲁棒性,利用多尺度视觉基础模型捕捉全局异常,结合多实例学习策略提取局部伪造痕迹,有效应对真实世界退化。
2026-04-04 cs.CV
FractalForensics: Proactive Deepfake Detection and Localization via Fractal Watermarks
National University of Singapore(新加坡国立大学);Shandong University(山东大学)
针对被动检测器难以识别高质量Deepfake且现有主动水印方法缺乏定位与可解释性的问题,提出基于分形水印的FractalForensics框架,通过参数驱动生成、半脆弱水印嵌入及条目到图像块策略,实现了鲁棒的主动检测、篡改定位与结果可解释性。
2025-11-04 cs.CV
Deepfake Detection for Facial Images with Facemasks
超现实人脸图像的生成和处理已经引起了许多不道德的社会问题,例如,侵犯隐私、安全威胁和恶意政治操纵,这导致了近年来随着深度伪造取证需求的不断增长,深度伪造检测方法的发展。到目前为止,提出的deepfake检测方法已经显示出显着的检测性能和鲁棒性。然而,在新冠肺炎爆发后的大流行危机期间,没有一种建议的deepfake检测方法评估了戴口罩的deepfake的性能。在本文中,我们彻底评估了最先进的deepfake检测模型在带面罩的deepfake上的性能。此外,我们提出了两种方法来增强掩蔽的deepfakes检测:面部补丁和面部裁剪。通过各种deepfake数据集上的基线deepfake检测模型来评估这两种方法的实验评估。我们广泛的实验表明,在这两种方法中,面部裁剪的性能优于面部补丁,可以作为深度伪造检测模型的训练方法,以检测真实世界中带面罩的虚假人脸。
2022-02-23 cs.AI cs.CV cs.LG
Deepfake Detection Scheme Based on Vision Transformer and Distillation
Sunmoon University(鲜文大学)
Deepfake是使用生成式深度学习技术制作的操纵视频,例如任何人都可以使用的生成对抗网络(GANs)或自动编码器。最近,随着Deepfake视频的增加,已经积极创建了一些由卷积神经网络组成的分类器,这些分类器可以区分假视频和deepfake数据集。然而,以往基于CNN结构的研究不仅存在过拟合问题,而且存在将假视频误判为真视频的问题。在本文中,我们提出了一个视觉Transformer模型与蒸馏方法检测虚假视频。我们设计了一个基于CNN特征和块的定位模型,学习与所有位置进行交互,以找到伪影区域,从而解决假阴性问题。通过对Deepfake Detection(DFDC)数据集的比较分析,我们验证了所提出的以补丁嵌入为输入的方案优于使用组合CNN特征的最新技术。在没有集成技术的情况下,我们的模型获得了0.978的AUC和91.9的f1评分,而以前的SOTA模型在相同条件下获得了0.972的AUC和90.6的f1评分。
2021-04-03 cs.AI cs.CV
Fighting deepfakes by detecting GAN DCT anomalies
University of Catania(卡塔尼亚大学)
为了正确对比Deepfake现象,需要设计新的Deepfake检测算法;滥用这种强大的AI。技术给每个相关人员的私人生活带来严重后果。最先进的解决方案使用深度神经网络来检测虚假的多媒体内容,但不幸的是,这些算法似乎既不能推广也不能解释。然而,生成对抗网络(GAN)引擎在创建Deepfakes期间留下的痕迹可以通过分析ad-hoc频率来检测。出于这个原因,在本文中,我们提出了一个新的管道能够检测所谓的GAN特定频率(GSF)代表不同的生成架构的独特指纹。通过离散余弦变换(DCT),检测异常频率。由AC系数分布推断的\BETA统计数据是识别GAN引擎生成数据的关键。还进行了鲁棒性测试,以证明该技术的有效性,使用不同的攻击图像,如JPEG压缩,镜像,旋转,缩放,添加随机大小的矩形。实验表明,该方法是创新的,超过了最先进的,也给出了许多见解方面的可解释性。
2021-08-11 cs.CV
MSU Team at the Explainable Deepfake Detection Challenge 2026: Grounded Artifact Evidence for Deepfake Detection
Lomonosov Moscow State University(莫斯科国立大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
针对可解释深度伪造检测挑战,提出多骨干检测器结合伪影证据图与对比学习,并利用类条件语言模型生成解释,在 XPlainVerse 上取得高检测与解释分数。
2026-10-08 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University(复旦大学);Huya Inc(虎牙公司);Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中,我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是,我们引入了一个多模态多尺度Transformer(M2 TR),它操作在不同大小的补丁,以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影,以通过精心设计的交叉模态融合块补充RGB信息。此外,为了刺激Deepfake检测研究,我们引入了一个高质量的Deepfake数据集SR-DF,该数据集由最先进的面部交换和面部重现方法生成的4,000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性,该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
DeepShield: Fortifying Deepfake Video Detection with Local and Global Forgery Analysis
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);Guilin University of Electronic Technology(桂林电子科技大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室)
DeepShield通过局部和全局伪造分析提升深度伪造检测的鲁棒性,有效应对未知伪造攻击。
2026-01-23 cs.CV
Curvelet-Based Frequency-Aware Feature Enhancement for Deepfake Detection
Department of Computer Science, College of Science, University of Zakho(扎赫大学计算机科学系);PRIME Lab, Scientific Research Center, University of Zakho(扎赫大学PRIME实验室)
本文提出基于曲线变换的深度伪造检测方法,通过楔形注意力和尺度感知空间掩码提升特征质量,利用改进的预训练Xception网络实现高精度分类,在FaceForensics++数据集上取得高准确率和AUC。
2026-04-13 cs.AI cs.CV
Locate and Verify: A Two-Stream Network for Improved Deepfake Detection
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Black Sesame Technologies(黑芝麻智能科技);University College London(伦敦大学学院)
本文提出一种双流网络,通过扩大伪造证据提取区域、多流多尺度协作学习及半监督补丁相似性学习估计伪造位置,提升深度伪造检测的鲁棒性和泛化能力,并在多个基准上取得显著性能提升。
2023-09-20 cs.CV
FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection
University of Luxembourg(卢森堡大学);National School of Computer Sciences(国家计算机科学学院);University of Manouba(马努巴大学)
本文提出FakeFormer框架,通过易受伪影影响的图像块引导的显式注意力学习扩展ViT,以高效提取局部伪造痕迹,在多个数据集上以更低计算成本实现领先的深度伪造检测泛化性能。
2024-11-25 cs.CV
Loupe: A Generalizable and Adaptive Framework for Image Forgery Detection
Loupe提出了一种轻量且高效的图像伪造检测与定位框架,通过补丁级融合和条件查询设计提升分类准确性和空间定位性能,在挑战中取得领先成绩。
2026-01-05 cs.AI cs.CV
On the Exploitation of DCT-Traces in the Generative-AI Domain
University of Catania(卡塔尼亚大学)
本文通过频域DCT系数分析GAN与扩散模型生成的深度伪造图像,利用机器学习分类器和LIME算法识别判别性系数指纹,并验证其在JPEG压缩下的鲁棒性。
2024-07-30 cs.CV cs.LG
Patch DCT vs LeNet
Imense Ltd.(Imense有限公司)
本文比较了一个神经网络的性能采取的DCT(离散余弦变换)的图像补丁与leNet分类MNIST手写数字的输出。DCT基础的基函数与Visual Transformer的一些学习的基函数有一点相似,但应用起来要快一个数量级。
2022-11-04 cs.CV
SFANet: Spatial-Frequency Attention Network for Deepfake Detection
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校);Monash University(墨尔本大学)
针对深度伪造检测现有方法泛化性不足的问题,提出结合Transformer架构与纹理方法的SFANet集成框架,通过多项创新技术在DFWild-Cup数据集上取得最优性能,为实际应用提供鲁棒方案。
2025-10-06 cs.AI cs.CV cs.MM
Specialist-Generalist Fusion with Outcome-Supervised Rationales for Deepfake Detection
Computer Vision Lab, CAIDAS, University of Würzburg(计算机视觉实验室,CAIDAS,乌尔姆大学)
提出利用多模态大语言模型的双编码器架构和两阶段训练,通过语言正则化缓解过拟合,提升深度伪造检测的泛化性和可解释性。
2026-08-25 cs.CV
FairForensics: Seeing Expressions and Parsing Demographics via Vision-Language Modeling for Generalizable Fair Deepfake Detection
Shenzhen University(深圳大学);Shandong Artificial Intelligence Institute(山东省人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Tianjin University of Technology(天津理工大学)
本文构建人口统计平衡的深度伪造检测基准,提出FairForensics视觉-语言模型,通过表情感知与人口统计正则化实现通用公平检测,在基准上达到泛化与公平性的SOTA。
2026-08-04 cs.CV
Data Diversity, Not Frequency Invariance: A Controlled and Self-Audited Study of Compression-Robust Deepfake Detection
ADA University(ADA大学);MegaSec AI Company(MegaSec人工智能公司)
该研究通过受控实验发现,抗压缩深度伪造检测的关键是数据多样性而非频率不变性,普通EfficientNet-B0优于CAFRL,对抗分支无增益,需匹配训练配方并利用编解码器多样性提升鲁棒性。
2026-11-10 cs.CV cs.LG cs.MM
PatchDCT: Patch Refinement for High Quality Instance Segmentation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
高质量的实例分割在计算机视觉中显示出越来越重要的作用。DCT-Mask不需要任何细化,直接通过压缩矢量生成高分辨率的掩码。为了进一步细化压缩向量得到的掩码,我们首次提出了一个基于压缩向量的多级细化框架。然而,香草组合并没有带来显著的收益,因为DCT向量的某些元素的变化会影响整个掩码的预测。因此,我们提出了一种简单而新颖的方法命名PatchDCT,它分离的DCT矢量解码的掩码成几个补丁和细化每个补丁的设计分类器和回归。具体地说,分类器用于区分混合补丁从所有补丁,并纠正以前错误预测的前景和背景补丁。相反,回归器用于混合块的DCT向量预测,进一步细化边界位置处的分割质量。COCO上的实验表明,我们的方法在COCO,LVIS和Cityscapes上分别比Mask-RCNN提高了2.0%,3.2%,4.5% AP和3.4%,5.3%,7.0%边界AP。在COCO、LVIS和Cityscapes上,它也超过了DCT-Mask 0.7%、1.1%、1.3% AP和0.9%、1.7%、4.2%边界AP。此外,PatchDCT的性能也与其他国家的最先进的方法竞争。
2023-02-07 cs.CV
DCT2net: an interpretable shallow CNN for image denoising
Inria Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所);UMR144-CNRS Institut Curie PSL(巴黎文理研究大学居里研究所法国国家科学研究中心144联合研究单元)
本文研究了图像去噪问题,重点研究了著名的DCT图像去噪算法。后者起源于信号处理,多年来已得到很好的研究。虽然非常简单,但它仍然用于最先进的“传统”去噪算法(如BM 3D)的关键部分。然而,几年来,深度卷积神经网络(CNN)的性能已经超过了传统网络,使得信号处理方法的吸引力减弱。在本文中,我们证明了DCT去噪器可以被看作是一个浅层的CNN,从而可以通过梯度下降以监督的方式调整其原始线性变换,大大提高其性能。这就产生了一个完全可解释的CNN,称为DCT 2net。针对DCT 2net产生的残留伪影问题,提出了一种DCT和DCT 2net的混合解决方案,该方案综合了DCT和DCT 2net的优点; DCT 2net用于处理非平稳图像块,而DCT用于处理分段平滑图像块。在人工噪声图像上的实验表明,双层DCT 2net提供了与BM 3D相当的结果,并且与由十几层组成的DnCNN算法一样快。
2021-07-31 cs.CV cs.LG eess.IV
Dynamic PET cardiac and parametric image reconstruction: a fixed-point proximity gradient approach using patch-based DCT and tensor SVD regularization
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Sun Yat-sen University(中山大学);SUNY Upstate Medical University(纽约州立大学上州医科大学);Old Dominion University(老道明大学)
我们的目的是通过改进图像重建,使用复杂的稀疏惩罚模型,结合2D空间+1D时间(3DT)信息,以提高动态正电子发射断层扫描(PET)摄取图像的视觉质量和定量准确性。我们开发了两种新的3DT PET重建算法,基于离散余弦变换(DCT)w/ patches和张量核范数(TNN)w/ patches结合不同的时间和空间惩罚,并与逐帧方法进行比较;传统的2D有序子集期望最大化(OSEM)w/后滤波和2D-DCT和2D-TNN。模拟并重建了具有动态摄取的3DT脑体模(2-组织模型)和移动的3DT心/肺体模。对于心脏/肺体模,重建了额外的心脏门控2D-OSEM集。研究了结构相似性指数(SSIM)和相对均方根误差(rRMSE)相对地面真值。心脏/肺图像的图像导出的左心室(LV)体积通过区域生长和脑模型的参数图像计算。对于心/肺体模,3DT-TNN产生最佳图像,3DT-DCT对于脑体模最佳。与心脏门控2D-OSEM和2D-OSEM相比,3DT-TNN图像的最佳LV体积平均分别接近真实值11和55个百分点。与2D-OSEM相比,基于3DT-DCT图像的参数图像通常具有较小的偏差和较高的SSIM。我们的新方法,结合2D空间和1D时间的处罚产生了更高质量的动态PET图像比传统的2D方法,w/o需要后滤波。同时捕获呼吸和心脏运动,无需呼吸或心脏门控。LV体积恢复得更好,随后拟合的参数图像通常偏差较小,质量较…
2019-06-13 cs.CV physics.med-ph
FakeTransformer: Exposing Face Forgery From Spatial-Temporal Representation Modeled By Facial Pixel Variations
Sun Yat-sen University(中山大学)
随着生成模型的快速发展,基于人工智能的人脸操作技术DeepFakes变得越来越现实。这种人脸伪造手段可以攻击任何目标,对个人隐私和财产安全构成了新的威胁。此外,合成视频的滥用显示了许多领域的潜在危险,如身份骚扰,色情和新闻谣言。受生理信号的空间一致性和时间一致性在生成的内容中被破坏的事实的启发,我们试图从与生理信息高度相关的面部像素的变化中找到能够区分真实视频和合成视频的不一致模式。该方法首先对原始视频进行多个高斯尺度下的欧拉视频放大(EVM),以放大面部血容量变化引起的生理变化,然后将原始视频和放大后的视频转换为多尺度欧拉视频时空图(MEMSTmap),该图可以表示不同倍频程上随时间变化的生理增强序列。然后,这些地图被重新整形为以列为单位的帧块,并发送到视觉Transformer以学习帧级别的时空描述符。最后,我们对特征嵌入进行排序,输出判断视频真假的概率。我们在FaceForensics++和DeepFake Detection数据集上验证了我们的方法。实验结果表明,该模型在伪造检测方面取得了良好的性能,同时在跨数据域中也表现出了良好的泛化能力。
2021-11-15 cs.CV
GLCF: A Global-Local Multimodal Coherence Analysis Framework for Talking Face Generation Detection
Alibaba Group(阿里巴巴集团);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
提出首个大规模多场景说话人脸数据集MSTF及GLCF检测框架,通过全局-局部多模态一致性分析实现高效伪造检测,优于现有深度伪造方法。
2025-02-24 cs.CV
Deepfake Video Detection with Spatiotemporal Dropout Transformer
Institute of Information Engineering, Chinese Academy of Science(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
虽然Deepfake技术的滥用最近引起了严重的关注,但由于每帧的高照片真实感合成,如何检测Deepfake视频仍然是一个挑战。现有的图像级方法通常专注于单帧,忽略了隐藏在deepfake视频中的时空线索,导致泛化能力和鲁棒性较差。视频级检测器的关键是充分利用deepfake视频中不同帧中局部面部区域中分布的时空不一致性。受此启发,本文提出了一种简单而有效的补丁级方法,通过时空丢弃Transformer来促进深度伪造视频检测。该方法将每个输入视频重新组织成补丁包,然后将其馈送到视觉Transformer以实现鲁棒表示。具体而言,时空dropout操作,提出了充分发掘块级时空线索,并作为有效的数据增强,以进一步提高模型的鲁棒性和泛化能力。操作灵活,可以轻松插入现有的视觉Transformer。大量的实验证明了我们的方法对25个国家的最先进的令人印象深刻的鲁棒性,概括性和表示能力的有效性。
2022-07-14 cs.AI cs.CV
PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs
Harbin Institute of Technology(哈尔滨工业大学)
本研究提出PATE-Forensics,采用“感知即工具”范式,基于DINOv3构建取证感知工具,结合通用MLLM实现可解释深度伪造取证,在DDL-X Track 3数据集上取得0.89的最佳官方分数,较次席高出0.19分。
2026-08-20 cs.CV
Exploiting Fine-Grained DCT Representations for Hiding Image-Level Messages within JPEG Images
Hunan University(湖南大学)
针对JPEG图像中隐藏图像级消息的难题,提出EFDR模型,利用细粒度DCT表示并嵌入量化DCT系数,实现高容量、高不可感知性的图像隐藏,首次实现等尺寸彩色图像嵌入。
2023-05-11 cs.CV
MetaCloak-JPEG: JPEG-Robust Adversarial Perturbation for Preventing Unauthorized DreamBooth-Based Deepfake Generation
Computer Science and Engineering(计算机科学与工程)
针对DreamBooth驱动的文本到图像合成,提出MetaCloak-JPEG,通过在JPEG压缩管道中引入可微JPEG层,提升对抗扰动效果,实现高PSNR和高JPEG生存率。
2026-04-20 cs.CV
Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
近年来,随着人脸编辑和生成的快速发展,越来越多的虚假视频在社交媒体上流传,引发了公众的极度担忧。现有的基于频域的人脸伪造检测方法发现,与真实图像相比,GAN伪造图像在频谱上存在明显的网格状视觉伪影。但对于合成视频,这些方法只局限于单帧,对不同帧间最具鉴别力的部分和时频线索关注较少。为了充分利用视频序列中丰富的信息,本文在时空频域上进行视频伪造检测,并提出一种基于离散余弦变换的伪造线索增强网络(FCAN-DCT),以实现更全面的时空特征表示。FCAN-DCT由一个主干网络和两个分支组成:紧凑特征提取(CFE)模块和频率时间注意(FTA)模块。我们对两个基于可见光(VIS)的数据集WildDeepfake和Celeb-DF(v2)以及我们自建的视频伪造数据集DeepfakeNIR进行了全面的实验评估,DeepfakeNIR是第一个近红外模式的视频伪造数据集。实验结果表明,我们的方法在检测伪造视频在可见光和近红外场景的有效性。
2022-07-05 cs.CV
ViGText: Deepfake Image Detection with Vision-Language Model Explanations and Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Old Dominion University(旧 Dominion 大学)
ViGText结合视觉-语言模型解释和图神经网络,提升深度伪造检测的泛化能力和鲁棒性。
2026-02-20 cs.AI cs.CV cs.LG
Change Detection in Synthetic Aperture Radar Images Using a Dual-Domain Network
Ocean University of China(中国海洋大学);Mississippi State University(密西西比州立大学);Southwest Jiaotong University(西南交通大学)
合成孔径雷达(SAR)图像变化检测是一项关键而又具有挑战性的任务。现有的方法主要集中在空间域的特征提取,对频域的关注较少。此外,在逐块特征分析中,边缘区域中的一些噪声特征可能被引入。为了解决上述两个问题,我们提出了一个双域网络。具体地说,我们从离散余弦变换域的功能考虑和整形的DCT系数集成到所提出的模型作为频域分支。从频域和空间域的特征表示被用来减轻斑点噪声。此外,我们进一步提出了一个多区域卷积模块,它强调了每个补丁的中心区域。上下文信息和中心区域特征自适应建模。在三个SAR数据集上的实验结果证明了该模型的有效性。我们的代码可在https://github.com/summitgao/SAR_CD_DDNet上获得。
2021-04-15 cs.CV eess.IV
EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training
Christian Doppler Laboratory ATHENA(Christian Doppler实验室ATHENA);Alpen-Adria-Universität Klagenfurt(阿尔卑斯-亚德里亚大学克雷格福特);College of Information and Communication Engineering(信息与通信工程学院)
本文提出EPS方法,通过低复杂度的DCT基空间-时间特征评估补丁复杂度,分类并选择高信息补丁,减少75%训练补丁数量,提升训练效率82.1倍。
2026-04-21 cs.CV
Detection of Deepfake Videos Using Long Distance Attention
Sun Yat-sen University(中山大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学);Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人社会研究院)
随着近年来深度伪造技术的快速发展,面部视频伪造可以生成具有高度欺骗性的视频内容,并带来严重的安全威胁。而对此类伪造视频的检测则更为紧迫和具有挑战性。大多数现有的检测方法处理的问题,作为一个香草二进制分类问题。在本文中,这个问题被视为一个特殊的细粒度分类问题,因为假脸和真脸之间的差异是非常微妙的。据观察,大多数现有的人脸伪造方法在空间域和时间域中留下一些共同的伪影,包括空间域中的生成缺陷和时间域中的帧间不一致。在此基础上,提出了一种时空模型,该模型由两部分组成,分别从全局角度捕获伪造痕迹的时空信息。这两个组件的设计使用了一种新的长距离注意力机制。空间域的一个分量用于捕获单个帧中的伪像,而时域的另一个分量用于捕获连续帧中的伪像。它们以补丁的形式生成注意力地图。注意力方法具有更广阔的视野,有助于更好地聚集全局信息和提取局部统计信息。最后,注意力地图用于引导网络专注于面部的关键部分,就像其他细粒度分类方法一样。在不同公开数据集上的实验结果表明,所提方法达到了最佳的检测性能,并且所提的长距离注意方法能够有效地捕捉人脸伪造的关键部位。
2021-06-24 cs.CV
Spatial Artifact Coherence Determines Codec Robustness in Patch-Based rPPG
PlesmoSense SARL(PlesmoSense公司)
提出空间伪影相干性(SAC)度量,解释编解码压缩下基于补丁的rPPG方法优于全局投影方法的原因,并设计PatchPCA算法族,实验表明SAC解释了93.8%的PCA优势方差。
2026-06-02 cs.CV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing(北京科技大学);Microsoft Research(微软研究院);Shunde Graduate School of University of Science and Technology Beijing(北京科技大学顺德研究生院)
压缩视频超分辨率(VSR)旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展,但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战,因为大多数帧通常都是高度退化的。在本文中,我们提出了一种新的频率变换器压缩视频超分辨率(FTVSR),进行自关注的联合空间-时间-频率域。首先,我们将一个视频帧分成补丁,并将每个补丁转换成DCT频谱图,其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注,使得可以将真实的视觉纹理与伪影区分开,并且进一步用于视频帧恢复。其次,我们研究了不同的自注意方案,并发现一个分开的注意,进行联合空间频率注意之前,每个频带上应用时间注意,导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明,FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Real, fake and synthetic faces -- does the coin have three sides?
American University of Sharjah(沙迦美国大学);Flinders University(弗林德斯大学)
本文通过八种深度学习模型和图像属性分析,发现 ViT Patch-16 在区分真实、深度伪造与合成人脸时表现最佳,证明这三类图像确为不同类别。
2024-04-02 cs.AI cs.CV
InfoDense: Density-Aware Regional Decisive Replay for Memory-Efficient Incremental Face Forgery Detection
Huazhong Agricultural University(华中农业大学);Peking University(北京大学);National University of Singapore(新加坡国立大学);Nantong University(南通大学);Wuhan University(武汉大学)
针对人脸伪造技术发展带来的检测挑战及传统方法的问题,提出密度感知区域决定性重放策略InfoDense,通过定位决定性补丁、排序候选片段、自适应合并样本等步骤,有效减轻灾难性遗忘,提升跨域泛化能力。
2026-07-21 cs.CV
HexMIL: Hierarchical Attention MIL for Ante-Hoc Explainable Detection of AI-Manipulated CT Volumes
University of Catania(卡塔尼亚大学);State University of New York Polytechnic Institute(纽约州立大学理工学院)
HexMIL是一种无掩码的医疗深度伪造检测器,采用分层注意力多实例学习,利用二元体积级监督实现AI篡改CT体积的事前可解释检测,在跨生成器泛化任务中性能优于基线。
2026-08-06 cs.CV cs.MM
WMamba: Wavelet-based Mamba for Face Forgery Detection
CMFT Co., Ltd.(CMFT公司);Guangzhou Pixel Solutions Co., Ltd.(广州像素解决方案公司)
针对现有小波人脸伪造检测方法未充分挖掘小波特性的问题,提出基于Mamba架构的WMamba,结合动态轮廓卷积与线性复杂度长程建模,实现人脸伪造检测的SOTA性能。
2025-10-21 cs.CV
Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
Harbin Institute of Technology(哈尔滨工业大学);University of Agder(阿格德大学)
针对通用AIGC音频-视频检测,现有方法假设不总成立,本文提出DAV-Det系统,通过决策级融合独立建模各模态取证证据,视觉和音频检测器分别利用多粒度表示及门控双分支架构,在挑战赛中排名第一。
2026-07-29 cs.AI cs.CV