Unleashing the Potential of Consistency Learning for Detecting and Grounding Multi-Modal Media Manipulation
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAIR, HKISI, Chinese Academy of Sciences（中国科学院计算机辅助研究部）；School of Computer Science and Engineering, the Faculty of Innovation Engineering, M.U.S.T（慕斯科技大学计算机科学与工程学院）；Sangfor Technologies Inc.（Sangfor技术有限公司）；Beijing Jiaotong University（北京交通大学）；Alibaba Group（阿里巴巴集团）
本文提出上下文-语义一致性学习CSCL，通过图像与文本双分支中的上下文一致性和语义一致性解码器捕获细粒度伪造线索，在DGM4任务上取得最先进性能。
2025-06-06 cs.CV
Forgery Blind Inspection for Detecting Manipulations of Gel Electrophoresis Images
Fu Jen Catholic University（辅仁大学）；Academia Sinica（中央研究院）；National Tsing Hua University（国立清华大学）
最近，在涉及研究不当行为的论文中发现了伪造的图像。然而，尽管已经有许多图像伪造检测方法，但没有一个是针对分子生物学实验图像设计的。本文提出了一种快速的盲查询方法FBI $_{GEL}$，用于两种常见的分子实验图像的完整性查询，Western blot（WB）和聚合酶链反应（PCR）。FBI $_{GEL}$基于能够突出显示局部残基的优化的伪背景，可以在WB/PCR图像上揭示暗示不适当的局部修饰的可追踪痕迹。此外，因为优化的伪背景是根据封闭形式的解决方案导出的，所以FBI $_{GEL}$在计算上是高效的，因此适合于WB/PCR图像完整性的大规模查询任务。我们应用联邦调查局$_{GEL}$对公众质疑的几篇论文在\textbf{PUBPEER}，我们的结果表明，这些论文的数字确实包含可疑的不自然的模式。
2020-10-28 cs.CV eess.IV
Pixel-Inconsistency Modeling for Image Manipulation Localization
Nanyang Technology University（南洋理工大学）；School of Electrical and Electronic Engineering（电子电气工程学院）；Rapid-Rich Object Search (ROSE) Lab（快速富对象搜索实验室）；School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；City University of Hong Kong（香港城市大学）；University of Campinas（坎皮纳斯大学）；Institute of Computing（计算机研究所）；Artificial Intelligence Laboratory (Recod.ai)（人工智能实验室（Recod.ai））
本文提出基于像素不一致性建模的图像篡改定位方法，通过全局与局部双流特征、学习加权模块及像素不一致性数据增强策略，在12个数据集上取得领先的泛化与鲁棒性表现。
2024-11-19 cs.CR cs.CV eess.IV
Towards Generalizable and Robust Face Manipulation Detection via Bag-of-local-feature
University of Science and Technology of China（中国科学技术大学）
近年来，为了解决人脸操纵技术被恶意滥用的问题，人脸操纵检测技术得到了相当的重视并取得了显著的进展。然而，大多数现有的方法都有很差的推广能力和鲁棒性。本文提出了一种新的人脸操作检测方法，该方法利用局部特征袋提高了人脸操作检测的泛化能力和鲁棒性。具体来说，我们扩展Transformers使用袋的功能的方法来编码补丁间的关系，使其能够学习本地伪造功能，而无需任何明确的监督。大量的实验表明，我们的方法可以在FaceForensics++，Celeb-DF和DeeperForensics-1.0数据集上胜过竞争对手的最先进的方法。
2021-03-14 cs.CV
Robust Watermarks Leak: Channel-Aware Feature Extraction Enables Adversarial Watermark Manipulation
Zhejiang University（浙江大学）
针对AI生成内容水印的鲁棒性-隐蔽性悖论，提出基于预训练视觉模型多通道特征学习的攻击框架，仅用单张带水印图像即可实现伪造与检测规避，在检测规避成功率和伪造准确率上较现有方法分别提升60%和51%。
2025-02-10 cs.CR cs.CV
TriPINet: Tripartite Progressive Integration Network for Image Manipulation Localization
Nankai University（南开大学）
图像处理定位的目的是区分伪造区域从整个测试图像。虽然已经提出了许多优秀的现有技术用于该任务，但仍有两个问题需要进一步研究：1）如何将不同类型的特征与伪造线索融合; 2）如何渐进地整合多级特征以获得更好的定位性能。在本文中，我们提出了一个三方渐进集成网络（TriPINet）的端到端的图像处理本地化。首先，我们提取视觉感知信息，例如，RGB输入图像，以及视觉不可感知的特征，例如，用于取证特征学习的频率和噪声痕迹。其次，我们开发了一个引导式跨通道双注意（gCMDA）模块来融合不同类型的伪造线索。第三，我们设计了一组渐进式集成挤压和激励（PI-SE）模块，通过适当地将多尺度功能的解码器，以提高本地化性能。进行了大量的实验，比较我们的方法与国家的最先进的图像取证方法。建议的TriPINet在几个基准数据集上获得了有竞争力的结果。
2022-12-25 cs.CV
HRFNet: High-Resolution Forgery Network for Localizing Satellite Image Manipulation
University of California, Riverside（加州大学河滨分校）；Sungkyunkwan University（成均馆大学）
针对现有高分辨率卫星图像伪造定位方法边界不准、易生伪影的问题，提出带深浅分支的HRFNet模型，融合全局与局部的RGB及重采样特征，在保证内存与速度的同时实现了更优的定位性能。
2023-07-20 cs.CV
Learning Expressive And Generalizable Motion Features For Face Forgery Detection
Hikvision（海康威视）
针对人脸伪造检测中外观特征易受攻击、现有序列方法忽略专用运动信息的问题，研究提出含运动一致性模块与辅助异常检测模块的序列检测框架，提升了通用视频分类网络在三个主流数据集上的检测效果与泛化性。
2024-03-08 cs.CV
On the Detection of Digital Face Manipulation
Michigan State University（密歇根州立大学）
检测被操纵的面部图像和视频是数字媒体取证中越来越重要的主题。随着先进的人脸合成和操作方法的出现，正在创建新型的假脸表示，这引起了人们对它们在社交媒体中使用的严重关注。因此，它是至关重要的，以检测被操纵的人脸图像和定位被操纵的区域。我们提出利用注意力机制来处理和改进分类任务的特征图，而不是简单地使用多任务学习来同时检测被操纵的图像和预测被操纵的掩模（区域）。学习的注意力地图突出信息区域，以进一步改进二进制分类（真脸与假脸），并可视化操纵区域。为了使我们的研究操纵的人脸检测和定位，我们收集了一个大规模的数据库，其中包含许多类型的面部表情。通过这个数据集，我们对数据驱动的假人脸检测进行了全面的分析。我们表明，使用一个注意力机制提高了面部伪造检测和操纵区域定位。
2020-10-24 cs.CV
Fake face detection via adaptive manipulation traces extraction network
Hunan University（湖南大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
随着Face2Face和Deepfake等人脸图像处理技术的普及，更多的虚假人脸图像正在互联网上传播，这给公众的信心带来了严重挑战。人脸图像的伪造检测在特定的人脸暴露方面已经取得了长足的进步，但在复杂的场景下，如进一步压缩、模糊、缩放等，仍然缺乏鲁棒的伪造人脸检测器。由于卷积神经网络（CNN）结构相对固定，倾向于学习图像内容表示。但是，CNN应该学习图像取证任务的微妙操纵痕迹。因此，我们提出了一个自适应的操作痕迹提取网络（AMTEN），它作为预处理，以抑制图像内容和突出的操作痕迹。AMTEN利用自适应卷积层来预测图像中的操作轨迹，这些轨迹在后续层中被重用，以通过在反向传播过程中更新权重来最大化操作伪影。通过将AMTEN与CNN集成，构建了一个假人脸检测器，即AMTENnet。实验结果表明，该算法实现了较好的预处理效果。在检测各种人脸识别技术生成的虚假人脸图像时，AMTENnet的平均准确率高达98.52%，优于最先进的作品。当检测未知后处理操作的人脸图像时，检测器的平均准确率也达到95.17%。
2020-12-16 cs.CV
Face X-ray for More General Face Forgery Detection
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种新的图像表示称为面部X射线检测伪造的人脸图像。输入面部图像的面部X射线是灰度图像，其揭示输入图像是否可以被分解为来自不同源的两个图像的混合。它通过显示伪造图像的混合边界和真实图像的混合缺失来实现。我们观察到，大多数现有的人脸操作方法都有一个共同的步骤：将改变后的人脸融合到现有的背景图像中。因此，人脸X射线为检测现有的人脸篡改算法所产生的伪造图像提供了一种有效的方法。面部X射线是通用的，因为它仅假设存在混合步骤，并且不依赖于与特定面部操作技术相关联的伪影的任何知识。事实上，用于计算面部X射线的算法可以在没有由任何最先进的面部操作方法生成的假图像的情况下进行训练。大量的实验表明，当应用于由看不见的面部操纵技术生成的伪造时，面部X射线仍然有效，而大多数现有的面部伪造检测或deepfake检测算法都经历了显着的性能下降。
2020-04-19 cs.CV
Learning to Discover Forgery Cues for Face Forgery Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；RealAI Inc（RealAI公司）
本文提出弱监督模型 FoCus，通过分类注意力区域提议和互补学习在不成对人脸中定位伪造线索，生成更优篡改图以提升检测器的可解释性与性能。
2024-09-02 cs.CV
Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
本文提出协同特征学习方法，同时进行人脸伪造检测与细粒度篡改区域分割，并构建含像素级标注的整脸与局部伪造数据集，实验证明检测与分割可相互促进且性能优于现有方法。
2023-04-17 cs.CV
Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection
Imperial College London（伦敦帝国学院）；Facebook London（伦敦脸书公司）
尽管目前基于深度学习的人脸伪造检测器在受限场景中实现了令人印象深刻的性能，但它们容易受到由看不见的操纵方法创建的样本的影响。最近的一些作品在泛化方面有所改进，但依赖于容易被常见的后处理操作（如压缩）破坏的线索。在本文中，我们提出了LipForensics，一种检测方法，能够推广到新的操作和承受各种扭曲。LipForensics针对嘴部运动中的高级语义不规则性，这在许多生成的视频中很常见。它包括首先预训练时空网络来执行视觉语音识别（唇读），从而学习与自然嘴部运动相关的丰富的内部表示。随后，对真实和伪造数据的固定嘴嵌入进行时间网络微调，以便基于嘴部运动检测假视频，而不会过度拟合到低级别的特定于操作的伪影。大量的实验表明，这种简单的方法显着超越了国家的最先进的概括看不见的操纵和鲁棒性扰动方面，以及阐明的因素负责其性能。代码可以在GitHub上找到。
2021-08-15 cs.CV
Fine-Grained DINO Tuning with Dual Supervision for Face Forgery Detection
针对现有DINOv2微调方法忽略不同深度伪造差异化痕迹的问题，本文提出DFF-Adapter，通过双监督多任务协同优化，仅用3.5M可训练参数实现了媲美甚至超越现有SOTA的人脸伪造检测精度。
2025-11-15 cs.CV
AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出AVFakeBench，首个涵盖人类和通用主体的音频视频伪造检测基准，包含12K问题，涵盖七类伪造类型和四级标注，评估11种AV-LMMs及两种检测方法，展示其在伪造检测中的潜力与局限。
2026-03-13 cs.CV
Energy-Regularized Imitation Learning for Force- and Work-Aware Robotic Manipulation
Toyota Technological Institute（丰田工业大学）
本文提出能量正则化模仿学习方法，通过可微分能量预测器将机械功作为正则项微调操作策略，在RLBench上降低2.1%平均功并提升成功率，实现无需显式动力学模型的节能操作。
2026-09-17 cs.CV cs.RO
On the Holistic Approach for Detecting Human Image Forgery
Michigan State University（密歇根州立大学）
HuForDet通过双分支架构，结合异构专家和多模态大语言模型，实现了对人类图像伪造的全面检测，提升了对各类伪造的检测性能和鲁棒性。
2026-01-08 cs.CV
InfoDense: Density-Aware Regional Decisive Replay for Memory-Efficient Incremental Face Forgery Detection
Huazhong Agricultural University（华中农业大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Nantong University（南通大学）；Wuhan University（武汉大学）
针对人脸伪造技术发展带来的检测挑战及传统方法的问题，提出密度感知区域决定性重放策略InfoDense，通过定位决定性补丁、排序候选片段、自适应合并样本等步骤，有效减轻灾难性遗忘，提升跨域泛化能力。
2026-07-21 cs.CV
Deep Image Composition Meets Image Forgery
Yildiz Technical University（伊兹密尔技术大学）
本研究提出利用SOTA深度图像合成技术自动生成高质量拼接图像数据集，以解决现有图像伪造检测数据集在规模、真实感和像素级标注上的不足，实验证明该数据集比现有数据集更难被检测。
2024-04-25 cs.CV
ForensicTransfer: Weakly-supervised Domain Adaptation for Forgery Detection
University Federico II of Naples（那不勒斯费德里科二世大学）；Technical University of Munich（慕尼黑工业大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
随着新的复杂图像伪造方法的出现，区分操纵图像和真实图像变得越来越困难。基于卷积神经网络（CNN）的朴素分类方法在特定伪造方法上训练时，在检测图像操纵方面表现出优异的性能。然而，在看不见的操纵方法的例子中，它们的性能显着下降。为了解决这种可转移性的限制，我们引入了Forensic-Transfer（FT）。我们设计了一种基于学习的取证检测器，它可以很好地适应新的领域，即，新的操作方法，可以处理在训练过程中只有少数假例子可用的情况。为此，我们学习了一种基于新型自动编码器架构的取证嵌入，该架构可用于区分真实图像和虚假图像。学习的嵌入充当异常检测器的一种形式;也就是说，从看不见的方法操作的图像将被检测为假的，只要它映射到离真实图像集群足够远的地方。与以前的作品相比，FT显示出显着的可移植性，我们证明了在一系列的实验中的尖端基准的改善。例如，在看不见的例子中，我们的准确率高达85%，而在少数可见的例子中，我们的性能已经达到了95%左右。
2019-11-27 cs.CV
DevFD: Developmental Face Forgery Detection by Learning Shared and Orthogonal LoRA Subspaces
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS部门）；China Mobile Financial Technology Co., Ltd.（中国移动金融科技有限公司）；CAIR, HKSIS, Chinese Academy of Sciences（中国科学院CAIR部门，香港创新技术研究所）；School of Computer Science and Engineering, the Faculty of Innovation Engineering, M.U.S.T（澳门科技大学计算机科学与工程学院，创新工程学院）
本文提出发展式人脸伪造检测方法 DevFD，以持续学习应对不断演化的伪造类型，通过 Real-LoRA 与多个正交 Fake-LoRA 的专家混合架构在适应新伪造的同时避免遗忘旧知识。
2025-11-09 cs.CV
Analysis of adversarial attacks against CNN-based image forgery detectors
University Federico II of Naples（那不勒斯费德里科二世大学）
随着社交网络的普及，图像正成为一种占主导地位的强大的沟通渠道。毫不奇怪，他们也越来越多地受到旨在歪曲信息和传播假新闻的操纵。近年来，科学界投入了大量的精力来对抗这种威胁，并提出了许多图像伪造检测器。目前，由于深度学习在许多多媒体处理任务中的成功，人们对基于CNN的检测器有很高的兴趣，早期的结果已经非常有希望。然而，最近在计算机视觉方面的研究表明，CNN非常容易受到对抗攻击的影响，输入数据的小扰动会导致网络分类错误。在本文中，我们分析了基于CNN的图像取证方法对对抗攻击的脆弱性，考虑了几种检测器和几种类型的攻击，并测试了各种常见操作的性能，包括容易检测和难以检测。
2018-08-25 cs.CV
Multi-Forgery Detection Challenge 2022: Push the Frontier of Unconstrained and Diverse Forgery Detection
在本文中，我们介绍了在CVPR 2022上与IEEE计算机协会生物识别研讨会同时举行的多伪造检测挑战赛。我们的多重伪造检测挑战赛旨在检测自动图像操作，包括但不限于图像编辑，图像合成，图像生成，图像Photoshop等。我们的挑战赛吸引了来自世界各地的674支队伍，约2000个有效结果提交计数。我们邀请了前10名的团队来展示他们的解决方案，其中三支团队在总决赛中获奖。在本文中，我们介绍了前三名团队的解决方案，以推动在图像伪造检测领域的研究工作。
2022-07-27 cs.CV
FakeRadar: Probing Forgery Outliers to Detect Unknown Deepfake Videos
Guilin University of Electronic Technology（桂林电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Sun Yat-sen University（中山大学）；Guangxi Key Laboratory of Image and Graphic Intelligent Processing（广西图像与图形智能处理重点实验室）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
FakeRadar通过动态子聚类建模和异常引导训练，有效检测未知深度伪造视频，提升跨域泛化能力。
2025-12-16 cs.AI cs.CV
Copy-Move Forgery Classification via Unsupervised Domain Adaptation
IIT Mandi（曼迪印度理工学院）
在当今时代，由于图像处理和计算机视觉技术中的现代工具，图像操纵变得越来越容易，产生看起来更自然的图像。分离伪造图像的任务变得非常具有挑战性。要解决这些问题，公开的数据集是不够的。在本文中，我们提出了一种使用深层语义图像修补算法来创建合成伪造数据集。此外，我们使用一个无监督的领域自适应网络来检测图像中的复制-移动伪造。我们的方法可以帮助在这些情况下，数据的分类是不可用的。
2019-11-14 cs.CV
SDiFL: Stable Diffusion-Driven Framework for Image Forgery Localization
本文首次将 Stable Diffusion 的多模态生成与感知能力引入图像伪造定位，利用 SD3 在潜在空间融合高频伪造残差模态，在多个基准上最高提升 12% 性能，并能泛化到训练中未见过的真实伪造图像。
2025-08-27 cs.CV
FaceForensics: A Large-scale Video Dataset for Forgery Detection in Human Faces
Technical University of Munich（慕尼黑工业大学）；University Federico II of Naples（那不勒斯腓特烈二世大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
随着计算机视觉和图形学的最新进展，现在可以生成具有极其逼真的合成人脸的视频，即使是实时的。无数的应用是可能的，其中一些提出了合理的警报，要求可靠的检测器的假视频。事实上，区分原始视频和经过处理的视频对于人类和计算机来说都是一个挑战，特别是当视频被压缩或分辨率较低时，因为它经常发生在社交网络上。由于缺乏足够的数据集，人脸操作检测的研究受到严重阻碍。为此，我们引入了一个新的人脸操作数据集，其中包含大约50万张编辑过的图像（来自1000多个视频）。操作已经产生了一个国家的最先进的面部编辑方法。它超过了所有现有的视频处理数据集至少一个数量级。使用我们的新数据集，我们引入了经典图像取证任务的基准，包括分类和分割，考虑到以各种质量水平压缩的视频。此外，我们引入了一个基准评估，用于使用已知的地面事实创建不可区分的forecast;例如，使用生成细化模型。
2018-03-24 cs.CV
M2SFormer: Multi-Spectral and Multi-Scale Attention with Edge-Aware Difficulty Guidance for Image Forgery Localization
Department of Electrical and Computer Engineering, Inha University（电子与计算机工程系，inha大学）；DeepCardio
本文提出基于Transformer编码器的M2SFormer框架，通过统一多频率与多尺度注意力并引入难度引导注意力模块，有效解决图像伪造定位中的计算开销与细节丢失问题，在多个基准数据集上取得优于现有模型的泛化性能。
2025-06-26 cs.CV
Language-guided Hierarchical Fine-grained Image Forgery Detection and Localization
Michigan State University（密歇根州立大学）；Shanghai Jiao Tong University（上海交通大学）
针对不同域图像伪造属性差异大导致统一IFDL困难的问题，提出语言引导的分层细粒度方法HiFi-Net++，结合多分支结构与CLIP增强表示，构建对应数据集，在多基准上验证了检测定位与属性分类的有效性。
2024-10-31 cs.CV
Resampling Forgery Detection Using Deep Learning and A-Contrario Analysis
NAVAIR（美国海军航空系统司令部）；Mayachitra Inc.（玛雅奇特拉公司）
数字图像记录的数量最近呈指数级增长，随着软件的进步，如Photoshop或GIMP，它已经变得更容易操纵图像。然而，互联网上的大多数图像都没有被操纵，任何自动操纵检测算法都必须仔细控制误报率。在本文中，我们讨论了一种方法，使用深度学习自动检测局部reservation，同时使用a-contrario分析控制误报率。自动化程序包括三个主要步骤。首先，计算图像块的恢复特征。然后使用深度学习分类器来生成指示图像块是否已被重采样的热图。我们预计其中一些块会被错误地识别为重新采样。我们使用一个相反的假设检验，以确定是否被操纵的块的模式表明，如果图像已被篡改，并本地化的操纵。我们证明，这种策略是有效的，如果一个图像已被操纵和本地化的操纵。
2018-03-01 cs.CV
A novel framework for image forgery localization
University Federico II of Naples（那不勒斯费德里科二世大学）
图像伪造定位是一个非常活跃和开放的研究领域，难以处理的各种各样的恶意用户可以通过越来越复杂的图像编辑工具执行的操作。在这里，我们提出了一个本地化框架的基础上融合三个非常不同的工具，分别基于传感器噪声，补丁匹配，和机器学习。这些工具提供的二进制掩码最后融合的基础上，一些合适的可靠性指标。根据对训练集的初步实验，所提出的框架通常提供了非常好的定位精度，有时还提供了有价值的视觉审查线索。
2013-11-27 cs.CV
Enhancing General Face Forgery Detection via Vision Transformer with Low-Rank Adaptation
如今，伪造的面孔提出了紧迫的安全问题，假新闻，欺诈，冒充等，尽管在域内人脸伪造检测的成功证明，现有的检测方法缺乏泛化能力，往往遭受显着的性能下降时，部署到不可预见的领域。为了解决这个问题，本文设计了一个更通用的基于视觉Transformer（ViT）架构的虚假人脸检测模型。在训练阶段，冻结预训练的ViT权重，并且仅更新低秩适应（LoRA）模块。此外，单中心损失（SCL）被用来监督训练过程，进一步提高了模型的泛化能力。该方法在交叉操作和交叉数据集评估方面都达到了最先进的检测性能。
2023-03-27 cs.CV
Do You Really Mean That? Content Driven Audio-Visual Deepfake Dataset and Multimodal Method for Temporal Forgery Localization
Monash University（莫纳什大学）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）
针对现有deepfake检测忽略内容语义篡改的问题，提出内容驱动的音视频数据集LAV-DF及3DCNN基线方法BA-TFD，通过边界匹配等损失函数指导，实现时间伪造定位与检测。
2023-05-04 cs.CV
ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors
The University of Tokyo（东京大学）；Max Planck Institute for Informatics, SIC（信息研究所马克斯·普朗克研究院）
ExposeAnyone通过基于音频生成表情的自监督扩散模型，实现个性化人脸伪造检测，优于现有方法并具备鲁棒性。
2026-01-05 cs.CV
ForgeryNet -- Face Forgery Analysis Challenge 2021: Methods and Results
SenseTime Research（商汤科技研究院）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）；Baidu Inc.（百度公司）；DiDi（滴滴出行）
真实感合成技术的快速发展已经达到了一个临界点，真实图像和操纵图像之间的边界开始模糊。最近，一个大规模的深度人脸伪造数据集ForgeryNet已经发布，其中包括290万张图像和221，247个视频。它是迄今为止在数据规模、操作（7种图像级方法，8种视频级方法）、扰动（36种独立和更多混合扰动）和注释（630万个分类标签，290万个操作区域注释和221，247个时间伪造片段标签）方面最大的公开可用的。本文报告了ForgeryNet - Face Forgery Analysis Challenge 2021的方法和结果，该挑战采用了ForgeryNet基准。模型评估在私有测试集上离线进行。共有186名参赛者报名参赛，11支队伍提交了有效作品。我们将分析排名靠前的解决方案，并对未来的工作方向进行一些讨论。
2021-12-15 cs.CV
TrainFors: A Large Benchmark Training Dataset for Image Manipulation Detection and Localization
USC Information Sciences Institute（南加州大学信息科学研究所）
本文提出标准化的IMDL基准训练数据集TrainFors，覆盖拼接、复制移动、移除和增强伪造，并修正现有数据集问题，在统一条件下公平评估现有方法性能。
2023-08-10 cs.CV
EVAS: Efficient Multimodal Temporal Forgery Localization via Audio-Visual Synergy and Steered Boundary Calibration
Soochow University（苏州大学）；Tsinghua University（清华大学）
针对人工智能生成内容带来的多模态取证挑战，提出EVAS框架，利用多阶段视听协同机制和边界感知细化策略，结合解耦训练范式与轻量级网络，有效定位长视频中稀疏分布的伪造片段。
2026-07-07 cs.CV
GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning
Shenzhen University（深圳大学）；Great Bay University（湾区大学）；Nanyang Technological Uni（南洋理工大学）
针对逼真扩散模型生成图像带来的伪造检测挑战，本文提出了大规模细粒度高保真人脸伪造基准GenFace，并设计了跨外观-边缘学习（CAEL）检测器与外观-边缘交叉注意力（AECA）模块，在多种跨设置评估中超越现有技术。
2024-09-27 cs.CV
MC-LCR: Multi-modal contrastive classification by locally correlated representations for effective face forgery detection
Yunnan University（云南大学）；Jiangnan University（江南大学）；Wuhan University（武汉大学）
随着人脸操作技术的飞速发展，人脸伪造检测技术也成为当前的研究热点。现有的大多数检测方法都是在全局监督下训练一个二元分类器来判断真假。然而，高级操作仅执行小规模篡改，这对全面捕获细微和局部伪造工件构成了挑战，特别是在高压缩设置和跨数据集场景中。为了解决这些限制，我们提出了一个新的框架命名为多模态对比分类局部相关表示（MC-LCR），有效的人脸伪造检测。而不是特定的外观特征，我们的MC-LCR的目的是从空间和频率域放大真实和伪造的面孔之间的隐式局部差异。具体来说，我们设计了浅层风格表示块，它测量浅层特征图的成对相关性，对局部风格信息进行编码，以在空间域中提取更具鉴别力的特征。此外，我们做了一个关键的观察，微妙的伪造文物可以进一步暴露在补丁式的相位和幅度谱，并表现出不同的线索。根据幅值和相位信息的互补性，我们提出了一种分块幅值和相位双重注意模块，用于捕捉频域中局部相关的不一致信息。除了上述两个模块，我们进一步介绍了监督对比损失与交叉熵损失的合作。它有助于网络学习更多的判别和广义表示。通过大量的实验和全面的研究，我们实现了最先进的性能，并证明了我们的方法的鲁棒性和通用性。
2022-04-01 cs.CV
Exploiting Facial Relationships and Feature Aggregation for Multi-Face Forgery Detection
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（西安交通大学电子与信息工程学院）
针对现有方法多聚焦单人脸伪造检测、对多人脸伪造场景探索不足的问题，提出含人脸关系学习与全局特征聚合双模块的检测框架，在两个公开多人脸伪造数据集上取得当前最优性能。
2023-10-07 cs.CV
Representative Forgery Mining for Fake Face Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
虽然基于普通卷积神经网络（CNN）的检测器在虚假人脸检测上取得了令人满意的性能，但我们观察到检测器倾向于在有限的人脸区域上寻找伪造，这表明检测器对伪造的理解不足。因此，我们提出了一个基于注意力的数据增强框架，以指导检测器细化和扩大其注意力。具体来说，我们的方法跟踪并遮挡前N个敏感的面部区域，鼓励检测器更深入地挖掘之前忽略的区域，以获得更具代表性的伪造。特别是，我们的方法是简单易用，可以很容易地集成到各种CNN模型。大量的实验表明，用我们的方法训练的检测器能够分别指出由不同操作技术生成的假面孔的代表性伪造，并且我们的方法使基于香草CNN的检测器能够在不修改结构的情况下实现最先进的性能。
2021-04-14 cs.CV
CFL-Net: Image Forgery Localization Using Contrastive Learning
Center for Computational & Data Sciences, Independent University, Bangladesh（孟加拉国独立大学计算与数据科学中心）；Sungkyunkwan University（成均馆大学）
传统的伪造定位方法通常依赖于不同的伪造足迹，诸如JPEG伪影、边缘不一致、相机噪声等，利用交叉熵损失来定位操纵区域。然而，这些方法具有过度拟合和仅关注少数特定伪造足迹的缺点。另一方面，现实生活中的操纵图像是通过各种伪造操作生成的，因此会留下各种伪造痕迹。因此，我们需要一个更通用的方法，可以很好地工作在各种伪造条件下的图像伪造定位。在潜在的伪造区域定位的一个关键假设是，在每个伪造图像样本中，未篡改和操纵区域之间的特征分布仍然存在差异，而不管伪造类型如何。在本文中，我们的目标是利用这种差异的特征分布，以帮助图像伪造定位。具体来说，我们使用对比度损失来学习映射到一个特征空间，其中未篡改区域和操作区域之间的特征对于每个图像都是分离的。此外，我们的方法具有本地化的操纵区域，而不需要任何先验知识或假设的伪造类型的优点。我们证明了我们的工作优于现有的几种方法在三个基准图像处理数据集。代码可在https://github.com/niloy193/CFLNet上获得。
2022-10-04 cs.CV
TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization
University Federico II of Naples（那不勒斯费德里科二世大学）；Google Research（谷歌研究院）
本文提出TruFor取证框架，通过Transformer融合RGB图像与自监督学习的噪声敏感指纹，以异常检测方式实现廉价伪造和深度伪造的可靠检测与像素级定位，并输出可靠性图以减少误报，性能优于现有方法。
2023-05-25 cs.CV
Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans
Carnegie Mellon University（卡内基梅隆大学）；FAIR, AI at Meta（Meta人工智能研究院（FAIR））
本文提出一种分解式方法，从大规模人类视频学习人类交互计划，再通过少量领域内数据训练转化模块，将人类计划映射到机器人操作策略，实现跨40个物体、16种技能和100个真实任务的零样本泛化操作。
2023-12-01 cs.CV cs.LG cs.RO
Analysing Statistical methods for Automatic Detection of Image Forgery
图像处理和伪造检测已经是十多年的研究课题。新时代的工具和大规模的社交平台为被操纵的媒体提供了蓬勃发展的空间。这些介质可能具有潜在危险，因此设计和测试了无数方法来证明它们在检测伪造方面的鲁棒性。然而，最先进的系统报告的结果表明，监督方法实现了几乎完美的性能，但仅限于特定的数据集。在这项工作中，我们分析了目前国家的最先进的图像伪造检测技术，通过几个实验的分布泛化的问题。我们的研究重点是模型，利用手工制作的图像伪造检测功能。我们发现，所开发的方法未能在跨数据集评估和野生操纵媒体上表现良好。因此，提出了一个问题，目前的评估和高估的性能正在审议的系统。注：这项工作是在ITMR实验室，IIIT-Allahabad在Anupam Agarwal教授的监督下进行的夏季研究实习期间完成的。
2021-11-24 cs.CV
Glitch in the Matrix: A Large Scale Benchmark for Content Driven Audio-Visual Forgery Detection and Localization
Monash University（莫纳什大学）；Curtin University（科廷大学）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）
针对现有深度伪造基准忽视局部音频及音视频内容操控的问题，本文提出 LAV-DF 数据集，并设计 BA-TFD 与基于多尺度 ViT、多损失优化的 BA-TFD+，提升时序伪造定位与检测性能。
2023-07-16 cs.CV
Few-shot Forgery Detection via Guided Adversarial Interpolation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
针对小样本下未知伪造方法检测性能下降的问题，提出引导对抗插值方法，结合教师网络引导的伪影插值兼顾多类信息多样性与少类信息重要性，在构建的基准上取得SOTA且对类别选择鲁棒。
2023-08-27 cs.CV
DeepShield: Fortifying Deepfake Video Detection with Local and Global Forgery Analysis
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；Guilin University of Electronic Technology（桂林电子科技大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）
DeepShield通过局部和全局伪造分析提升深度伪造检测的鲁棒性，有效应对未知伪造攻击。
2026-01-23 cs.CV
Comprint: Image Forgery Detection and Localization using Compression Fingerprints
Ghent University – imec（根特大学-imec）；Università degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）
逼真地编辑图像的操纵工具随处可见，任何人都可以轻松创建和传播错误信息。为了打击假新闻，设计了伪造检测和定位方法。然而，现有的方法难以准确地揭示在互联网上的图像中发现的操纵，即，在野外这是因为伪造的类型通常是未知的，除了篡改痕迹被重新压缩损坏之外。本文提出了一种基于压缩指纹或压缩图像的伪造检测和定位方法Comprint。它仅在原始数据上进行训练，提供泛化以检测不同类型的操纵。此外，我们提出了一种Comprint与最先进的Noiseprint的融合，它利用了互补的相机模型指纹。我们进行了广泛的实验分析，并证明了Comprint在五个评估数据集上具有很高的准确性，这些数据集代表了广泛的操作类型，模仿了野外环境。最值得注意的是，所提出的融合显着优于国家的最先进的参考方法。因此，Comprint和Comprint+Noiseprint的融合代表了一个有前途的取证工具，以分析在野外篡改图像。
2022-10-05 cs.AI cs.CV cs.MM
FaceForensics++: Learning to Detect Manipulated Facial Images
Technical University of Munich（慕尼黑工业大学）；University Federico II of Naples（那不勒斯费德里科二世大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
合成图像生成和操作的快速发展现在已经到了一个地步，它对社会的影响提出了重大的关注。充其量，这会导致人们对数字内容失去信任，但可能会通过传播虚假信息或假新闻造成进一步的伤害。本文探讨了最先进的图像处理的现实主义，以及如何难以检测到它们，无论是自动或由人类。为了规范检测方法的评估，我们提出了一个自动基准面部操作检测。特别是，该基准基于DeepFakes，Face2Face，FaceSwap和NeuralTextures作为随机压缩级别和大小的面部操作的突出代表。该基准测试是公开的，包含一个隐藏的测试集以及一个超过180万张操纵图像的数据库。这个数据集比可比的、公开可用的伪造数据集大一个数量级。基于这些数据，我们对数据驱动的伪造检测器进行了全面的分析。我们表明，使用额外的特定领域的知识提高伪造检测到前所未有的准确性，即使在存在强大的压缩，并明显优于人类观察员。
2019-08-26 cs.CV
Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues
SenseTime Research（商汤科技研究院）；University of Electronic Science and Technology of China（电子科技大学）；College of Software, Beihang University（北京航空航天大学软件学院）；Northwestern Polytechnical University（西北工业大学）
随着真实感人脸操作技术的发展，社会对这些技术可能被恶意滥用的担忧引发了人脸伪造检测的研究。然而，这是非常具有挑战性的，因为最近的进步能够伪造人脸，超越人眼的感知能力，特别是在压缩图像和视频中。我们发现，挖掘伪造模式与频率的意识可能是一种治疗，频率提供了一个补充的观点，无论是微妙的伪造文物或压缩错误可以很好地描述。为了将频率引入到人脸伪造检测中，提出了一种新的人脸伪造网络中的频率（F3-Net），利用两种不同但互补的频率感知线索：1）频率感知的分解图像分量和2）局部频率统计，通过我们的双流协同学习框架深入挖掘伪造模式。我们应用DCT作为所应用的频域变换。通过全面的研究，我们表明，在具有挑战性的FaceForensics++数据集中，所提出的F3-Net在所有压缩质量上都明显优于竞争对手的最先进方法，特别是在低质量媒体上取得了很大的领先优势。
2020-10-27 cs.CV
SeeTheSeams: Localized Detection of Seam Carving based Image Forgery in Satellite Imagery
Mayachitra, Inc.（Mayachitra公司）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
接缝雕刻是用于内容感知图像重定向的流行技术。它可以用来故意操纵图像，例如，改变建筑物的GPS位置或插入/删除卫星图像中的道路。本文提出了一种新的方法来检测和定位接缝在这样的图像。虽然存在检测基于接缝雕刻的操作的方法，但这是第一次使接缝雕刻伪造的鲁棒定位和检测成为可能。我们还提出了一个接缝定位分数（SLS）的度量来评估本地化的有效性。所提出的方法进行了广泛的评估，从不同来源的大量图像，在这些数据集上表现出高水平的检测和定位性能。在这项工作中策划的数据集将向公众发布。
2021-08-28 cs.CV
Local Relation Learning for Face Forgery Detection
Xiamen University（厦门大学）；Tencent（腾讯）
随着人脸处理技术的快速发展，基于安全考虑的人脸伪造检测在数字媒体取证中受到了广泛的关注。现有的方法大多将人脸伪造检测归结为一个分类问题，并利用二进制标签或操作区域掩码作为监督。然而，在不考虑局部区域之间的相关性的情况下，这些全局监督不足以学习广义特征并且容易过拟合。为了解决这个问题，我们提出了一个新的视角，通过局部关系学习人脸伪造检测。具体来说，我们提出了一个多尺度补丁相似性模块（MPSM），它衡量的相似性之间的特征的局部区域，并形成一个强大的和广义的相似性模式。此外，我们提出了一个RGB频率注意力模块（RFAM），融合在RGB和频域的信息，更全面的局部特征表示，这进一步提高了相似性模式的可靠性。大量的实验表明，该方法始终优于国家的最先进的广泛使用的基准。此外，详细的可视化显示了我们的方法的鲁棒性和可解释性。
2021-05-06 cs.CV
