FractalForensics: Proactive Deepfake Detection and Localization via Fractal Watermarks
National University of Singapore（新加坡国立大学）；Shandong University（山东大学）
针对被动检测器难以识别高质量Deepfake且现有主动水印方法缺乏定位与可解释性的问题，提出基于分形水印的FractalForensics框架，通过参数驱动生成、半脆弱水印嵌入及条目到图像块策略，实现了鲁棒的主动检测、篡改定位与结果可解释性。
2025-11-04 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University（复旦大学）；Huya Inc（虎牙公司）；Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中，我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是，我们引入了一个多模态多尺度Transformer（M2 TR），它操作在不同大小的补丁，以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影，以通过精心设计的交叉模态融合块补充RGB信息。此外，为了刺激Deepfake检测研究，我们引入了一个高质量的Deepfake数据集SR-DF，该数据集由最先进的面部交换和面部重现方法生成的4，000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性，该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
DeepShield: Fortifying Deepfake Video Detection with Local and Global Forgery Analysis
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；Guilin University of Electronic Technology（桂林电子科技大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）
DeepShield通过局部和全局伪造分析提升深度伪造检测的鲁棒性，有效应对未知伪造攻击。
2026-01-23 cs.CV
Deepfake Detection for Facial Images with Facemasks
超现实人脸图像的生成和处理已经引起了许多不道德的社会问题，例如，侵犯隐私、安全威胁和恶意政治操纵，这导致了近年来随着深度伪造取证需求的不断增长，深度伪造检测方法的发展。到目前为止，提出的deepfake检测方法已经显示出显着的检测性能和鲁棒性。然而，在新冠肺炎爆发后的大流行危机期间，没有一种建议的deepfake检测方法评估了戴口罩的deepfake的性能。在本文中，我们彻底评估了最先进的deepfake检测模型在带面罩的deepfake上的性能。此外，我们提出了两种方法来增强掩蔽的deepfakes检测：面部补丁和面部裁剪。通过各种deepfake数据集上的基线deepfake检测模型来评估这两种方法的实验评估。我们广泛的实验表明，在这两种方法中，面部裁剪的性能优于面部补丁，可以作为深度伪造检测模型的训练方法，以检测真实世界中带面罩的虚假人脸。
2022-02-23 cs.AI cs.CV cs.LG
MSU Team at the Explainable Deepfake Detection Challenge 2026: Grounded Artifact Evidence for Deepfake Detection
Lomonosov Moscow State University（莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
针对可解释深度伪造检测挑战，提出多骨干检测器结合伪影证据图与对比学习，并利用类条件语言模型生成解释，在 XPlainVerse 上取得高检测与解释分数。
2026-10-08 cs.CV
Deepfake Detection Scheme Based on Vision Transformer and Distillation
Sunmoon University（鲜文大学）
Deepfake是使用生成式深度学习技术制作的操纵视频，例如任何人都可以使用的生成对抗网络（GANs）或自动编码器。最近，随着Deepfake视频的增加，已经积极创建了一些由卷积神经网络组成的分类器，这些分类器可以区分假视频和deepfake数据集。然而，以往基于CNN结构的研究不仅存在过拟合问题，而且存在将假视频误判为真视频的问题。在本文中，我们提出了一个视觉Transformer模型与蒸馏方法检测虚假视频。我们设计了一个基于CNN特征和块的定位模型，学习与所有位置进行交互，以找到伪影区域，从而解决假阴性问题。通过对Deepfake Detection（DFDC）数据集的比较分析，我们验证了所提出的以补丁嵌入为输入的方案优于使用组合CNN特征的最新技术。在没有集成技术的情况下，我们的模型获得了0.978的AUC和91.9的f1评分，而以前的SOTA模型在相同条件下获得了0.972的AUC和90.6的f1评分。
2021-04-03 cs.AI cs.CV
Locate and Verify: A Two-Stream Network for Improved Deepfake Detection
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Black Sesame Technologies（黑芝麻智能科技）；University College London（伦敦大学学院）
本文提出一种双流网络，通过扩大伪造证据提取区域、多流多尺度协作学习及半监督补丁相似性学习估计伪造位置，提升深度伪造检测的鲁棒性和泛化能力，并在多个基准上取得显著性能提升。
2023-09-20 cs.CV
FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection
University of Luxembourg（卢森堡大学）；National School of Computer Sciences（国家计算机科学学院）；University of Manouba（马努巴大学）
本文提出FakeFormer框架，通过易受伪影影响的图像块引导的显式注意力学习扩展ViT，以高效提取局部伪造痕迹，在多个数据集上以更低计算成本实现领先的深度伪造检测泛化性能。
2024-11-25 cs.CV
Segmentation-Guided Spatial Indexing for Generalizable and Explainable Deepfake Detection
University of Central Florida（佛罗里达大学）
提出分割引导的空间索引方法，通过冻结的FaRL解析器为DINOv3 ViT-L/16的patch token分配语义标签，仅选择语义相关的区域进行分类，实现可泛化且可解释的深度伪造检测。
2026-05-25 cs.CV eess.IV
Loupe: A Generalizable and Adaptive Framework for Image Forgery Detection
Loupe提出了一种轻量且高效的图像伪造检测与定位框架，通过补丁级融合和条件查询设计提升分类准确性和空间定位性能，在挑战中取得领先成绩。
2026-01-05 cs.AI cs.CV
Specialist-Generalist Fusion with Outcome-Supervised Rationales for Deepfake Detection
Computer Vision Lab, CAIDAS, University of Würzburg（计算机视觉实验室，CAIDAS，乌尔姆大学）
提出利用多模态大语言模型的双编码器架构和两阶段训练，通过语言正则化缓解过拟合，提升深度伪造检测的泛化性和可解释性。
2026-08-25 cs.CV
FairForensics: Seeing Expressions and Parsing Demographics via Vision-Language Modeling for Generalizable Fair Deepfake Detection
Shenzhen University（深圳大学）；Shandong Artificial Intelligence Institute（山东省人工智能研究院）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Tianjin University of Technology（天津理工大学）
本文构建人口统计平衡的深度伪造检测基准，提出FairForensics视觉-语言模型，通过表情感知与人口统计正则化实现通用公平检测，在基准上达到泛化与公平性的SOTA。
2026-08-04 cs.CV
SFANet: Spatial-Frequency Attention Network for Deepfake Detection
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Monash University（墨尔本大学）
针对深度伪造检测现有方法泛化性不足的问题，提出结合Transformer架构与纹理方法的SFANet集成框架，通过多项创新技术在DFWild-Cup数据集上取得最优性能，为实际应用提供鲁棒方案。
2025-10-06 cs.AI cs.CV cs.MM
Short Range Correlation Transformer for Occluded Person Re-Identification
College of Automation and Artificial Intelligence, Nanjing University of Posts and Telecommunications（南京邮电大学自动化与人工智能学院）
被遮挡人的再识别是计算机视觉的一个具有挑战性的研究领域，面临着特征表示效率低、识别准确率低等问题。卷积神经网络更注重于局部特征的提取，对遮挡行人的特征提取比较困难，效果不理想。最近，视觉Transformer被引入到重识别领域，并取得了最先进的成果，通过构建补丁序列之间的全局特征的关系。但视觉Transformer在提取局部特征方面的性能不如卷积神经网络。因此，我们设计了一个基于部分特征变换的人物再识别框架PFT。提出的PFT利用三个模块，以提高效率的视觉Transformer。(1)修补全维度增强模块。我们设计了一个与补丁序列大小相同的可学习张量，它是全维的，并深深嵌入补丁序列中，以丰富训练样本的多样性。(2)融合和重建模块。我们提取得到的补丁序列的不太重要的部分，并将其与原始补丁序列融合，重建原始补丁序列。(3)空间切片模块。从空间方向对序列进行切片和分组，有效地提高了序列的短程相关性。在遮挡和整体重识别数据集上的实验结果表明，所提出的PFT网络实现了卓越的性能一致，优于最先进的方法。
2022-01-04 cs.AI cs.CV
Deepfake Video Detection with Spatiotemporal Dropout Transformer
Institute of Information Engineering, Chinese Academy of Science（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
虽然Deepfake技术的滥用最近引起了严重的关注，但由于每帧的高照片真实感合成，如何检测Deepfake视频仍然是一个挑战。现有的图像级方法通常专注于单帧，忽略了隐藏在deepfake视频中的时空线索，导致泛化能力和鲁棒性较差。视频级检测器的关键是充分利用deepfake视频中不同帧中局部面部区域中分布的时空不一致性。受此启发，本文提出了一种简单而有效的补丁级方法，通过时空丢弃Transformer来促进深度伪造视频检测。该方法将每个输入视频重新组织成补丁包，然后将其馈送到视觉Transformer以实现鲁棒表示。具体而言，时空dropout操作，提出了充分发掘块级时空线索，并作为有效的数据增强，以进一步提高模型的鲁棒性和泛化能力。操作灵活，可以轻松插入现有的视觉Transformer。大量的实验证明了我们的方法对25个国家的最先进的令人印象深刻的鲁棒性，概括性和表示能力的有效性。
2022-07-14 cs.AI cs.CV
Dynamic Patch-aware Enrichment Transformer for Occluded Person Re-Identification
Sichuan University（四川大学）
提出DPEFormer，通过动态块token选择模块和特征混合模块自动区分人体与遮挡，并结合SAM的真实遮挡增强策略，在遮挡行人重识别任务上取得显著提升。
2024-02-16 cs.CV
FakeTransformer: Exposing Face Forgery From Spatial-Temporal Representation Modeled By Facial Pixel Variations
Sun Yat-sen University（中山大学）
随着生成模型的快速发展，基于人工智能的人脸操作技术DeepFakes变得越来越现实。这种人脸伪造手段可以攻击任何目标，对个人隐私和财产安全构成了新的威胁。此外，合成视频的滥用显示了许多领域的潜在危险，如身份骚扰，色情和新闻谣言。受生理信号的空间一致性和时间一致性在生成的内容中被破坏的事实的启发，我们试图从与生理信息高度相关的面部像素的变化中找到能够区分真实视频和合成视频的不一致模式。该方法首先对原始视频进行多个高斯尺度下的欧拉视频放大（EVM），以放大面部血容量变化引起的生理变化，然后将原始视频和放大后的视频转换为多尺度欧拉视频时空图（MEMSTmap），该图可以表示不同倍频程上随时间变化的生理增强序列。然后，这些地图被重新整形为以列为单位的帧块，并发送到视觉Transformer以学习帧级别的时空描述符。最后，我们对特征嵌入进行排序，输出判断视频真假的概率。我们在FaceForensics++和DeepFake Detection数据集上验证了我们的方法。实验结果表明，该模型在伪造检测方面取得了良好的性能，同时在跨数据域中也表现出了良好的泛化能力。
2021-11-15 cs.CV
PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs
Harbin Institute of Technology（哈尔滨工业大学）
本研究提出PATE-Forensics，采用“感知即工具”范式，基于DINOv3构建取证感知工具，结合通用MLLM实现可解释深度伪造取证，在DDL-X Track 3数据集上取得0.89的最佳官方分数，较次席高出0.19分。
2026-08-20 cs.CV
Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition
Chonnam National University（全南国立大学）
针对真实场景下面部遮挡导致FER性能下降、标注数据获取成本高的问题，提出Latent-OFER方法，通过潜向量实现遮挡检测、面部重建与表情识别，在多个数据库上性能优于现有最优方法。
2023-07-21 cs.CV
Occlusion-Guided Feature Purification Learning via Reinforced Knowledge Distillation for Occluded Person Re-Identification
Department of Information and Intelligence, University of Science and Technology of China（信息与智能学院，中国科学技术大学）
提出OGFR方法，通过师生蒸馏架构和遮挡感知视觉Transformer建模多样遮挡模式，并利用强化学习驱动的特征擦除与净化模块去除整体图像中的噪声patch tokens，将净化后的判别性知识传递给遮挡分支，有效解决未见遮挡场景和特征污染问题，实现鲁棒的遮挡行人重识别。
2025-07-11 cs.CV
On the Minimal Recognizable Image Patch
Technion（以色列理工学院）
与人类视觉相反，常见的识别算法通常在部分遮挡的图像上失败。我们提出的特征，经验，算法的限制，找到一个最小的可识别的补丁（MRP），本身就足以识别图像。一个专门的深度网络使我们能够找到给定大小的信息量最大的补丁，并作为一种实验工具。最近的一项人类视觉研究描述了相关（但不同）的最小可识别配置（MIRC）[1]，我们为此指定了计算模拟（表示为cMIRC）。与这些MIRC的尺寸减小相关的人类决策准确性的下降是实质性的和急剧的。有趣的是，在我们指定的计算版本中也发现了这种急剧的减少。
2020-10-12 cs.CV
Making Deep Heatmaps Robust to Partial Occlusions for 3D Object Pose Estimation
Graz University of Technology（格拉茨工业大学）
我们介绍了一种新的方法，强大的和准确的三维物体姿态估计从一个单一的彩色图像下大的闭塞。根据最近的方法，我们首先预测与目标对象相关的3D点的2D投影，然后使用几何方法从这些对应关系计算3D姿态。不幸的是，正如我们的实验结果所示，使用常规CNN或卷积姿态机预测这些2D投影对部分遮挡高度敏感，即使这些方法是用部分遮挡的例子训练的。我们的解决方案是独立地从多个小块预测热图，并积累结果以获得准确和鲁棒的预测。训练随后变得具有挑战性，因为具有相似外观但在对象上具有不同位置的补丁对应于不同的热图。然而，我们提供了一个简单而有效的解决方案来处理这种歧义。我们证明了我们的方法在两个具有挑战性的数据集上优于现有的方法：被遮挡的LineMOD数据集和YCB-Video数据集，这两个数据集都表现出具有高度遮挡对象的杂乱场景。项目网址：https://www.tugraz.at/institute/icg/research/team-lepetit/research-projects/robust-object-pose-estimation/
2018-07-26 cs.CV
Occlusion-Aware Video Object Inpainting
The Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）
传统的视频修复既不是面向对象的，也不是遮挡感知的，使得它容易明显的文物时，大的遮挡对象区域被修复。本文提出了一种基于遮挡感知的视频对象修复方法，通过对视频中被遮挡对象的可见掩模分割，恢复被遮挡对象的完整形状和外观。为了促进这项新的研究，我们构建了第一个大规模的视频对象修复基准YouTube-VOI，以提供逼真的遮挡场景，同时提供遮挡和可见的对象掩模。我们的技术贡献VOIN共同执行视频对象形状完成和遮挡纹理生成。特别地，形状完成模块对长距离对象相干性进行建模，而流完成模块恢复具有尖锐运动边界的准确流，用于跨帧将时间一致的纹理传播到相同的移动对象。为了获得更真实的结果，VOIN使用T-PatchGAN和一种新的基于时空注意力的多类神经网络进行了优化。最后，我们比较了VOIN和YouTube-VOI上的强基线。实验结果清楚地表明，我们的方法，包括修复复杂和动态对象的有效性。VOIN会随着不准确的输入可见掩码而优雅地降级。
2021-08-15 cs.CV
Patchwise Joint Sparse Tracking with Occlusion Detection
Sharif University of Technology（谢里夫理工大学）
本文提出了一种鲁棒的跟踪方法来处理的挑战，如遮挡和外观变化。在这里，目标被划分为多个补丁。然后，使用由先前帧中的对应目标补丁组成的字典来对每个补丁的外观进行建模。在每一帧中，通过似然测度，在由粒子滤波器生成的一组候选者中找到目标，该似然测度被示出为与每个候选者的块重构误差的总和成比例。由于目标的外观往往在视频序列中变化缓慢，因此假设当前帧中的目标和少量先前帧的最佳候选者属于公共子空间。这是使用联合稀疏表示来强制目标和先前的最佳候选者具有共同的稀疏模式。此外，提出了一种遮挡检测方案，使用补丁重建误差和先验概率的遮挡，从自适应马尔可夫链中提取，计算每个补丁的遮挡概率。在每一帧中，当更新字典时，被遮挡的补丁被排除。在几个具有挑战性的序列上的大量实验结果表明，该方法优于最先进的跟踪器。
2014-02-05 cs.CV
Efficient dynamic point cloud coding using Slice-Wise Segmentation
Charles Sturt University（查尔斯特大学）
随着沉浸式视频序列的快速增长，实现无缝和高质量的压缩3D内容变得更加重要。MPEG最近开发了用于动态点云编码的基于视频的点云压缩（V-PCC）标准。然而，使用V-PCC重建的点云遭受不同的伪影，包括在应用现有视频编码技术之前的预处理期间丢失数据，例如，高效视频编码（HEVC）。在3D到2D投影中的块生成和自遮挡点是使用V-PCC丢失数据的主要原因。本文提出了一种新的方法，引入重叠切片作为替代补丁生成，以减少生成的补丁的数量和数据丢失量。在所提出的方法中，整个点云已被横截面成可变大小的切片的数量的基础上的自遮挡点，使数据丢失可以最小化的补丁生成过程和投影。为此，考虑了可变数量的层，部分重叠以保留自遮挡点。所提出的方法的附加优点是减少位的要求，并编码的几何数据使用切片的基础位置。实验结果表明，该方法比标准V-PCC方法灵活得多，提高了率失真性能，并显着减少了数据丢失。
2022-08-17 cs.CV cs.MM eess.IV
Detection of Deepfake Videos Using Long Distance Attention
Sun Yat-sen University（中山大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）；Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人社会研究院）
随着近年来深度伪造技术的快速发展，面部视频伪造可以生成具有高度欺骗性的视频内容，并带来严重的安全威胁。而对此类伪造视频的检测则更为紧迫和具有挑战性。大多数现有的检测方法处理的问题，作为一个香草二进制分类问题。在本文中，这个问题被视为一个特殊的细粒度分类问题，因为假脸和真脸之间的差异是非常微妙的。据观察，大多数现有的人脸伪造方法在空间域和时间域中留下一些共同的伪影，包括空间域中的生成缺陷和时间域中的帧间不一致。在此基础上，提出了一种时空模型，该模型由两部分组成，分别从全局角度捕获伪造痕迹的时空信息。这两个组件的设计使用了一种新的长距离注意力机制。空间域的一个分量用于捕获单个帧中的伪像，而时域的另一个分量用于捕获连续帧中的伪像。它们以补丁的形式生成注意力地图。注意力方法具有更广阔的视野，有助于更好地聚集全局信息和提取局部统计信息。最后，注意力地图用于引导网络专注于面部的关键部分，就像其他细粒度分类方法一样。在不同公开数据集上的实验结果表明，所提方法达到了最佳的检测性能，并且所提的长距离注意方法能够有效地捕捉人脸伪造的关键部位。
2021-06-24 cs.CV
Robust LSTM-Autoencoders for Face De-Occlusion in the Wild
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
人脸识别技术近年来得到了长足的发展。然而，识别部分遮挡的人脸仍然是具有挑战性的现有的人脸识别器，这是非常需要在现实世界中的应用有关的监视和安全。虽然许多研究工作已经致力于发展的人脸去遮挡方法，其中大多数只能在约束条件下，如所有的脸是从一个预定义的封闭集很好地工作。在本文中，我们提出了一个强大的LSTM自动编码器（RLA）模型，有效地恢复部分遮挡的脸，即使在野外。RLA模型由两个LSTM组件组成，分别针对遮挡鲁棒的人脸编码和经常性遮挡去除。第一种是多尺度空间LSTM编码器，它顺序读取不同尺度的人脸图像块，输出一个潜在的表示，由于遮挡只对部分图像块产生影响，因此实现了遮挡鲁棒性。接收编码器学习的表示，具有双通道架构的LSTM解码器重建整体面部并同时检测遮挡，并且通过LSTM的特性，解码器将面部去遮挡的任务分解为逐步恢复被遮挡的部分。此外，为了最大限度地减少识别信息损失并保证人脸识别的准确性，我们引入了一个身份保持对抗训练计划，以进一步提高RLA。大量的实验上的合成和真实的数据集的人脸遮挡清楚地表明，我们提出的RLA在消除不同类型的面部遮挡在不同的位置的有效性。所提出的方法也提供了显着更大的性能增益比其他去遮挡方法在促进识别性能超过部分遮挡的脸。
2016-12-27 cs.CV
ViGText: Deepfake Image Detection with Vision-Language Model Explanations and Graph Neural Networks
New Jersey Institute of Technology（新泽西理工学院）；Old Dominion University（旧 Dominion 大学）
ViGText结合视觉-语言模型解释和图神经网络，提升深度伪造检测的泛化能力和鲁棒性。
2026-02-20 cs.AI cs.CV cs.LG
PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰霍普金斯大学）；University of California, San Diego（加州大学圣地亚哥分校）；CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心）
PASR通过将2D基础模型知识蒸馏到3D编码器，解决单视图3D形状检索中姿态感知与遮挡问题，实现更鲁棒的检索与多任务能力。
2026-04-28 cs.CV
Inner-Scene Similarities as a Contextual Cue for Object Detection
Technion（以色列理工学院）
利用图像上下文是提高目标检测的有效方法。以前提出的方法使用依赖于语义或空间信息的上下文线索。在这项工作中，我们探索了一种不同的上下文信息：内部场景相似性。我们提出了CISS（上下文的内部场景相似性）算法，这是基于观察，两个视觉上相似的子图像补丁很可能共享语义身份，特别是当两者都出现在同一幅图像。CISS使用由碱基检测器提供的碱基分数，并作为检测后阶段执行。对于每个候选子图像（表示为锚点），CISS算法找到一些类似的子图像（表示为支持者），并且使用它们来计算锚点的新的增强分数。这是通过利用支持者的基本分数和预先训练的依赖模型来完成的。新的分数被建模为锚和支持者的基本分数的线性函数，并使用最小均方误差优化进行估计。这一方法的结果是：（a）改进了对部分被遮挡对象的检测（当场景中存在类似的未被遮挡对象时），以及（b）更少的误报警（当基本检测器错误地将背景块分类为对象时）。这项工作涉及邓肯和汉弗莱斯的“相似性理论”，一种心理物理学研究。这表明人类视觉系统在感知上对相似的图像区域进行分组，并且一个区域的分类受到另一个区域的估计身份的影响。实验结果表明，一个基地检测器的PASCAL VOC数据集上的分数的增强。
2017-07-14 cs.CV
Fusing Global and Local Features for Generalized AI-Synthesized Image Detection
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；NVIDIA（英伟达）
随着生成对抗网络（GANs）和DeepFakes的发展，人工智能合成的图像现在质量如此之高，以至于人类几乎无法将它们与真实图像区分开来。媒体取证必须开发检测器来准确地暴露它们。现有的检测方法在生成图像检测方面表现出了很高的性能，但在真实场景中，它们往往泛化能力较差，其中合成图像通常是使用未知的源数据使用不可见模型生成的。在这项工作中，我们强调了将整个图像和信息块的信息结合起来以提高AI合成图像检测的泛化能力的重要性。具体来说，我们设计了一个两个分支模型，结合全局空间信息从整个图像和局部信息功能从多个补丁选择一个新的补丁选择模块。进一步利用多头注意力机制融合全局和局部特征。我们收集了一个高度多样化的数据集，由19个具有不同对象和分辨率的模型合成，以评估我们的模型。实验结果表明，该方法在检测生成图像时具有较高的准确性和较好的泛化能力。我们的代码可在https://github.com/littlejuyan/FusingGlobalandLocal上获得。
2022-11-22 cs.CV
Restoration of marker occluded hematoxylin and eosin stained whole slide histology images using generative adversarial networks
Image Data Analytics, Informatics IT, Merck \& Co., Inc., West Point, PA 19486, USA Image Data Analytics, Informatics IT, Merck \& Co., Inc., Rahway, NJ 07065, USA
对于病理学家来说，用标记物直接在载玻片上注释组织的特定区域（例如肿瘤）是常见的。尽管这种做法在组织学全载玻片数字化出现之前是有帮助的，但由于数字病理成像技术的最新进展，它经常掩盖与免疫肿瘤学越来越相关的重要细节。目前的工作使用具有周期损失的生成对抗网络来去除这些注释，同时通过解决图像到图像的转换问题来保持组织的底层结构。我们训练我们的网络上多达300个完整的幻灯片图像与标记墨水，并显示70%的校正图像补丁是无法区分的，从原来未受污染的图像组织的人类专家。当我们用深度残差网络取代人类专家时，这一部分增加了97%。通过计算图像梯度幅度之间的相关性，我们证明了该方法对原始图像的保真度。在我们的数据集中，我们观察到每张载玻片上多达94，000个细胞核的复苏，其中大部分位于组织边界上。
2019-10-14 cs.AI cs.CV cs.LG
Overcoming Occlusions in the Wild: A Multi-Task Age Head Approach to Age Estimation
Universidad de León（莱昂大学）
本文提出一种结合GAN和Transformer的多任务年龄头方法，用于在遮挡情况下更准确地估计年龄。
2025-06-16 cs.CV eess.IV
InfoDense: Density-Aware Regional Decisive Replay for Memory-Efficient Incremental Face Forgery Detection
Huazhong Agricultural University（华中农业大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Nantong University（南通大学）；Wuhan University（武汉大学）
针对人脸伪造技术发展带来的检测挑战及传统方法的问题，提出密度感知区域决定性重放策略InfoDense，通过定位决定性补丁、排序候选片段、自适应合并样本等步骤，有效减轻灾难性遗忘，提升跨域泛化能力。
2026-07-21 cs.CV
Real, fake and synthetic faces -- does the coin have three sides?
American University of Sharjah（沙迦美国大学）；Flinders University（弗林德斯大学）
本文通过八种深度学习模型和图像属性分析，发现 ViT Patch-16 在区分真实、深度伪造与合成人脸时表现最佳，证明这三类图像确为不同类别。
2024-04-02 cs.AI cs.CV
ORFormer: Occlusion-Robust Transformer for Accurate Facial Landmark Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；MediaTek Inc.（联发科技股份有限公司）；NVIDIA（英伟达）
针对现有FLD方法在遮挡等不可见人脸场景下性能下降的问题，提出带信使token的ORFormer，通过识别不可见区域并恢复特征生成鲁棒热图，集成到现有方法后在WFLW、COFW数据集上性能超越SOTA。
2025-01-14 cs.AI cs.CV cs.LG
GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection
University at Buffalo (UB), State University of New York（纽约州立大学布法罗分校）；National Institute of Standards and Technology (NIST)（美国国家标准与技术研究院）
针对AI合成图像检测在现实场景中性能下降的问题，提出GLFF框架，融合全局多尺度特征与局部精细伪影特征，并构建含6种生成模型及多种后处理的DF 3数据集，实验验证其优越性。
2023-09-04 cs.CV
MLEP: Multi-granularity Local Entropy Patterns for Universal AI-generated Image Detection
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对AI生成图像检测现有方法泛化性不足的问题，提出多粒度局部熵模式MLEP，通过多尺度打乱小块的熵特征捕捉像素关系、降低内容偏差，在32种生成模型的开放世界测试中准确率和泛化性均优于SOTA方法。
2025-05-21 cs.CV
HexMIL: Hierarchical Attention MIL for Ante-Hoc Explainable Detection of AI-Manipulated CT Volumes
University of Catania（卡塔尼亚大学）；State University of New York Polytechnic Institute（纽约州立大学理工学院）
HexMIL是一种无掩码的医疗深度伪造检测器，采用分层注意力多实例学习，利用二元体积级监督实现AI篡改CT体积的事前可解释检测，在跨生成器泛化任务中性能优于基线。
2026-08-06 cs.CV cs.MM
WMamba: Wavelet-based Mamba for Face Forgery Detection
CMFT Co., Ltd.（CMFT公司）；Guangzhou Pixel Solutions Co., Ltd.（广州像素解决方案公司）
针对现有小波人脸伪造检测方法未充分挖掘小波特性的问题，提出基于Mamba架构的WMamba，结合动态轮廓卷积与线性复杂度长程建模，实现人脸伪造检测的SOTA性能。
2025-10-21 cs.CV
Deep Local Global Refinement Network for Stent Analysis in IVOCT Images
Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）；Ruijin Hospital, Shanghai Jiaotong University School of Medicine（上海交通大学医学院附属瑞金医院）
冠状动脉内支架植入术是心血管疾病患者的常见治疗选择。通过人工目视检查血管内光学相干断层扫描（IVOCT）图像的新生内膜覆盖，评估支架植入的安全性和有效性。然而，这种手动评估需要检测支架内的数千个支柱点。这是一项具有挑战性、繁琐且耗时的任务，因为支柱点通常表现为具有不均匀纹理的小的不规则形状的对象，并且经常被阴影、伪影和血管壁遮挡。传统的基于纹理、边缘检测或简单分类器的方法用于IVOCT图像中的支撑点的自动检测，其召回率和精确度低，无法充分表示用于检测的支撑点的视觉特征。在这项研究中，我们提出了一个局部-全局细化网络，将局部补丁内容与全局内容相结合，用于从IVOCT图像中检测支撑点。我们的方法密集检测潜在的支撑点在局部图像补丁，然后根据全局外观约束，以减少误报。我们在7，000张IVOCT图像的临床数据集上的实验结果表明，我们的方法优于最先进的方法，对于支柱点检测的召回率为0.92，精确度为0.91。
2019-09-23 cs.CV eess.IV
PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation
MoneyBrain Inc.（MoneyBrain公司）
图像动画生成源图像的视频跟随驱动视频的运动。最先进的自监督图像动画方法根据驱动视频的运动来扭曲源图像，并通过修复来恢复扭曲伪影。这些方法大多使用vanilla卷积进行图像修复，vanilla卷积不区分有效像素和无效像素。因此，视觉伪影在修复后仍然很明显。CutMix是一种最先进的正则化策略，可以剪切和混合图像块，并在不同的计算机视觉任务中得到广泛研究。在剩余的计算机视觉任务中，基于扭曲的图像动画是CutMix效果尚待研究的领域之一。本文首先对CutMix在基于变形的图像动画中的作用进行了初步的研究。我们在研究中观察到，CutMix仅有助于提高像素值，但会扰乱像素之间的空间关系。基于这样的观察，我们提出了PriorityCut，一种新的增强方法，使用前景的前k个百分比的遮挡像素来正则化基于扭曲的图像动画。通过利用基于扭曲的图像动画中的领域知识，PriorityCut显著减少了不同数据集上最先进的基于扭曲的图像动画模型中的扭曲伪影。
2021-03-22 cs.CV cs.LG
Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
Harbin Institute of Technology（哈尔滨工业大学）；University of Agder（阿格德大学）
针对通用AIGC音频-视频检测，现有方法假设不总成立，本文提出DAV-Det系统，通过决策级融合独立建模各模态取证证据，视觉和音频检测器分别利用多粒度表示及门控双分支架构，在挑战赛中排名第一。
2026-07-29 cs.AI cs.CV
Methods and Trends in Detecting AI-Generated Images: A Comprehensive Review
Knight Foundation School of Computing and Information Sciences, Florida International University（骑士基金会计算与信息科学学院，佛罗里达国际大学）
本综述全面回顾了检测AI生成图像的最新方法，将其分为空间域、频域、指纹、补丁、无训练及多模态推理等框架，并比较了泛化性、鲁棒性与可解释性，强调混合框架的未来潜力。
2025-10-17 cs.AI cs.CV
