A Novel Framework for Assessment of Learning-based Detectors in Realistic Conditions with Application to Deepfake Detection
Multimedia Signal Processing Group (MMSPG)(多媒体信号处理组)
深度卷积神经网络在多个检测任务上表现出了显著的效果。尽管取得了重大进展,但这种探测器的性能往往在非现实条件下的公共基准中进行评估。具体而言,没有充分研究传统失真和处理操作(诸如压缩、噪声和增强)的影响。本文提出了一个严格的框架,以评估性能的学习为基础的检测器在更现实的情况下。在deepfake检测上下文中示出了说明性示例。受评估结果的启发,设计了一种基于自然图像退化过程的数据增强策略,显著提高了两种deepfake检测器的泛化能力。
2022-03-22 cs.CV eess.IV
DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对不同质量真实与伪造人脸难以区分的问题,本文提出 DeepFidelity 框架,通过感知伪造保真度评分和 SSAAFormer 增强特征建模,在多个基准上优于现有方法。
2023-12-07 cs.CV
Deepfake Synthesis vs. Detection: An Uneven Contest
United International University(国际大学);National University of Singapore(国立新加坡大学);BRAC University(布拉克大学)
本研究发现现有深度伪造检测模型在面对现代合成技术生成的深度伪造时表现不佳,亟需改进以应对不断演变的生成技术。
2026-02-08 cs.CV
Assessment Framework for Deepfake Detection in Real-world Situations
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出首个面向真实场景的深度伪造检测评估框架,系统测量检测器在真实处理操作下的性能与鲁棒性,并设计随机退化数据增强方法显著提升检测器鲁棒性。
2023-04-12 cs.CV eess.IV
Improving Generalization in Deepfake Detection with Face Foundation Models and Metric Learning
本文提出基于人脸基础模型FSFM并结合三元组损失与归因监督的深度伪造检测框架,通过多数据集微调提升模型在真实场景中的泛化能力。
2025-11-10 cs.CV
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
TU Darmstadt(达姆施塔特工业大学)
BabelFake是一个多语言音视频深度伪造基准,包含399k个片段和五种语言,通过模块化管道生成,用于评估检测器性能,发现检测难度受生成配对影响且人类感知与机器检测不一致。
2026-10-09 cs.CV
Detecting Deepfakes with Metric Learning
MANAS Lab IIT Mandi(印度理工学院曼迪分校MANAS实验室)
随着FaceApp、SnapChat、MixBooth、FaceBlender等几款换脸应用的出现,数字媒体内容的真实性正悬在一个非常松散的线程上。在社交媒体平台上,视频通常以高压缩系数广泛传播。在这项工作中,我们分析了几种深度学习方法在高压缩场景下的deepfakes分类的背景下,并证明了基于度量学习的方法可以非常有效地执行这样的分类。使用较少的帧每视频来评估其真实性,使用三元组网络架构的度量学习方法被证明是富有成效的。它学习增强真实和虚假视频嵌入向量的聚类之间的特征空间距离。我们在两个数据集上验证了我们的方法,以分析不同环境中的行为。我们在Celeb-DF数据集上实现了99.2%的最新AUC评分,在高度压缩的神经纹理数据集上实现了90.71%的准确率。我们的方法在社交媒体平台上特别有用,因为在这些平台上,数据压缩是不可避免的。
2020-03-19 cs.CV
Enhancing Deepfake Detection using SE Block Attention with CNN
Department of Computer Science North Carolina A\&T State University Greensboro, USA
针对现有深度伪造检测模型存储内存消耗大的问题,提出融合SE注意力的轻量CNN检测模型,在Style GAN数据集上取得94.14%准确率与0.985的AUC-ROC,实现低资源下的高效检测。
2025-06-12 cs.CV
MRI-GAN: A Generalized Approach to Detect DeepFakes using Perceptual Image Assessment
San José State University(圣何塞州立大学)
DeepFakes是通过将原始图像的面部与其他人的面部交换而生成的合成视频。在本文中,我们描述了我们开发基于深度学习的通用模型来对DeepFake内容进行分类的工作。我们提出了一个新的框架,使用生成对抗网络(GAN)为基础的模型,我们称之为MRI-GAN,利用图像中的感知差异来检测合成视频。我们使用DeepFake Detection Challenge Dataset测试了我们的MRI-GAN方法和基于纯帧的模型。我们的基于普通框架的模型达到了91%的测试准确度,而使用我们的MRI-GAN框架和结构相似性指数测量(SSIM)的感知差异模型达到了74%的测试准确度。MRI-GAN的结果是初步的,并且可以通过修改损失函数的选择、调谐超参数或通过使用更高级的感知相似性度量来进一步改进。
2022-02-28 cs.CV cs.LG eess.IV
Conditioned Prompt-Optimization for Continual Deepfake Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出Prompt2Guard,利用视觉-语言模型、只读提示集成和深度伪造定制文本提示条件化,实现高效无样本持续深度伪造检测,并在CDDB-Hard基准上取得最先进性能。
2024-07-31 cs.CV
SpecXNet: A Dual-Domain Convolutional Network for Robust Deepfake Detection
Sungkyunkwan University(成均馆大学)
本文提出SpecXNet双域卷积网络,通过双域特征耦合器和双傅里叶注意力联合空间与频域特征,在跨数据集和未见操纵场景下实现鲁棒且实时的深度伪造检测。
2025-09-26 cs.CV
Diffusion Deepfake
Yeungnam University(岭南大学);University of Surrey(萨里大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文针对扩散模型生成的深度伪造检测难题,构建了两个更具挑战性的大规模数据集,并提出动量难度提升策略优化模型训练,显著提升了检测方法的泛化能力和性能。
2024-04-02 cs.CV
Visual Realism Assessment for Face-swap Videos
Beijing University of Civil Engineering and Architecture(北京建筑大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文针对换脸视频的视觉真实感评估(VRA)构建了基于DFGC 2022数据集的基准,通过11个模型和3种协议的综合实验,验证了自动VRA模型的可行性及深度伪造检测特征的有效性。
2023-07-30 cs.CV
M3D-Net: Multi-Modal 3D Facial Feature Reconstruction Network for Deepfake Detection
College of Mathematics and Informatics(数学与信息学院);South China Agricultural University(华南农业大学);Wushan Road, Tianhe District(天河南路);Guangzhou(广州);China(中国)
本文提出M3D-Net,通过多模态特征融合和3D重建模块提升深度伪造检测的准确性和鲁棒性,实验表明其在多个数据集上表现优异。
2026-04-16 cs.CV
Deepfake Detection with Spatio-Temporal Consistency and Attention
The University of Western Australia(西澳大利亚大学)
针对现有深度伪造检测方法未充分利用时空不一致性、无法关注篡改特定模式的不足,提出基于ResNet的检测器,通过空间注意力强化帧级特征、距离注意力融合时序特征,在两大数据集上性能超SOTA且具内存与计算优势。
2025-02-12 cs.CV
TalkingHeadBench: A Multi-Modal Benchmark & Analysis of Talking-Head DeepFake Detection
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Michigan State University(密歇根州立大学)
TalkingHeadBench是一个多模态基准,用于评估和分析最先进的谈话头深度伪造检测方法,通过精心设计的协议和数据集提升检测模型的鲁棒性和泛化能力。
2026-01-20 cs.CV
OpenFake: An Open Dataset and Platform Toward Real-World Deepfake Detection
McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);IVADO
针对现有深度伪造检测基准的不足,提出OpenFake大规模政治背景数据集及众包对抗平台,含近四百万图像,训练检测器在分布内、泛化及真实社交媒体测试上均显著优于现有方法。
2025-10-06 cs.AI cs.CV cs.LG
Media Forensics and DeepFakes: an overview
Università Federico II di Napoli(那不勒斯费德里科二世大学)
本文为媒体取证综述,聚焦深度伪造检测,分析视觉媒体完整性验证方法与数据驱动取证技术,指出现有工具局限与未来研究方向。
2020-01-18 cs.CV
Leveraging Failed Samples: A Few-Shot and Training-Free Framework for Generalized Deepfake Detection
提出少样本免训练框架FTNet,通过利用单张失败伪造样本与测试样本进行最近邻比较分类,在29个生成模型上实现8.7%的平均性能提升。
2025-08-13 cs.CV
Evolving from Single-modal to Multi-modal Facial Deepfake Detection: Progress and Challenges
University of Nevada, Reno(内华达大学雷诺分校);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Institute of High Performance Computing (IHPC)(高性能计算研究所);Centre for Advanced Technologies in Online Safety (CATOS)(网络安全先进技术中心)
本综述系统回顾了深度伪造检测从单模态向多模态的演进,涵盖检测分类、泛化挑战、主动防御及新兴数据集,并探讨了VLMs和MLLMs在增强检测鲁棒性中的作用。
2025-04-03 cs.CV
DF40: Toward Next-Generation Deepfake Detection
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Tencent Youtu Lab(腾讯优图实验室)
本研究针对现有深度伪造检测数据集多样性不足、真实性欠缺及评估协议单一的问题,构建了含40种伪造技术的DF40数据集,通过多协议多方法评估得出7项新发现并提出4个研究方向,推动检测领域迈向新一代。
2024-10-31 cs.CV
Identifying Invariant Texture Violation for Robust Deepfake Detection
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
现有的deepfake检测方法通过访问已发布的大规模数据集,报告了有希望的分布结果。然而,由于非平滑合成方法,该数据集中的假样本可能暴露明显的伪像(例如,明显的视觉对比度、不平滑的边界),这是上述大多数帧级检测方法严重依赖的。由于这些伪影不会出现在真实的媒体中,因此当应用于接近真实的假图像时,上述方法可能会遭受很大的退化。为了提高对高真实度虚假数据的鲁棒性,我们提出了不变纹理学习(InTeLe)框架,该框架仅访问视觉质量较低的已发布数据集。我们的方法是基于源人脸的微观面部纹理不可避免地被从目标人转移的纹理所侵犯的先验,因此可以被视为所有假图像之间共享的不变特征。为了学习这种用于deepfake检测的不变性,我们的InTeLe引入了一个自动编码器框架,该框架具有用于原始图像和假图像的不同解码器,这些解码器还附加了一个浅层分类器,以分离出明显的伪影效应。配备了这样的分离,提取嵌入编码器可以捕获纹理违规假图像,随后由分类器的最终原始/假预测。作为一个理论保证,我们证明了这种不变性纹理违反,即,从观测数据中精确推断出来。我们的方法的有效性和实用性证明了有前途的推广能力,从低质量的图像与明显的伪影与高真实感的假图像。
2020-12-19 cs.CV cs.LG eess.IV
Divide and Conquer: Reliable Multi-View Evidential Learning for Deepfake Detection
School of Computer Science, Wuhan University, Wuhan, China(武汉大学计算机学院);School of Integrated Circuits, Peking University, Beijing, China(北京大学集成电路学院);School of Information, Huazhong Agricultural University, Wuhan, China(华中农业大学信息学院);College of Cyber Security, Tarim University, Alaer, China(塔里木大学网络安全学院);School of Cyber Science and Engineering, Wuhan University, Wuhan, China(武汉大学网络安全与工程学院)
提出分治多视图证据学习框架(DiCoME),通过几何视图净化解耦语义与伪影特征,并利用不确定性感知证据学习融合视图,提升深度伪造检测的泛化性和可靠性。
2026-06-01 cs.CV
Gram-MMD: A Texture-Aware Metric for Image Realism Assessment
AMIAD
本文提出Gram-MMD,通过预训练网络的中间激活计算Gram矩阵,捕捉特征图间的相关性,以更精细的粒度评估图像真实感,实验表明其在跨域场景中优于现有语义度量。
2026-04-03 cs.CV
From Explicit References to Scene Manifolds: Distributional Fidelity and Realism for Radiance Field Quality Assessment
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(imec研究院);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
针对辐射场渲染视图质量评估,提出SCODA方法,通过场景流形建模和失真感知判别器,实现无需参考图像的客观评估,在多个基准上验证了与人类判断的高度一致性。
2026-09-09 cs.CV
Cross-Branch Orthogonality for Improved Generalization in Face Deepfake Detection
The Signal Processing, Artificial Intelligence and Vision Technologies (SAIVT)(信号处理、人工智能与视觉技术(SAIVT))
本文提出基于特征正交性解耦的跨分支策略,融合从粗到细的空间与语义信息以提升人脸深度伪造检测的泛化能力,在Celeb-DF和DFDC跨数据集评测中分别超越现有方法5%和7%。
2025-05-08 cs.AI cs.CV
Do Deepfake Detectors Work in Reality?
Duke University(杜克大学);Georgia Tech(佐治亚理工学院);Texas A&M(得克萨斯农工大学)
本文指出现实中常用的超分辨率等后处理会严重削弱deepfake检测器,并发布首个采集自在线平台的真实换脸数据集,验证现有方法性能接近随机猜测。
2026-10-27 cs.AI cs.CV
Attribution-Guided Multimodal Deepfake Detection via Cross-Modal Forensic Fingerprints
School of Interdisciplinary Science, Beijing Institute of Technology, Beijing 100081, China(交叉学科学院,北京理工大学,北京100081,中国)
本文提出AMDD框架,通过跨模态取证指纹一致性损失,引导模型学习生成器特定的取证特征,提升多模态深度伪造检测的准确性和鲁棒性。
2026-04-29 cs.CV
Deepfakes and Synthetic Media: Generation, Detection, and Governance
Heriot-Watt University(赫瑞-瓦特大学);Democritus University of Thrace(德谟克利特色雷斯大学);National and Technical University of Athens(雅典国立技术大学);Salvezza Energy Systems Ltd.(Salvezza能源系统有限公司);Hellenic Open University(希腊开放大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Technical University of Sofia(索非亚技术大学);Hellenic Naval Academy(希腊海军学院)
本文综述深度伪造的生成、检测与治理,涵盖GAN、扩散等生成模型及CNN、Transformer等检测方法,强调跨生成器泛化挑战,并提出整合取证、溯源与问责的纵深防御治理方案。
2026-09-23 cs.CV
GenAI Mirage: The Impostor Bias and the Deepfake Detection Challenge in the Era of Artificial Illusions
University of Catania(卡塔尼亚大学)
本文提出“冒名顶替者偏见”概念,分析其对法医学决策的负面影响及成因后果,给出应对策略,以提升法医调查的客观性与可靠性。
2024-06-16 cs.CV
ExDDV: A New Dataset for Explainable Deepfake Detection in Video
University of Bucharest(布加勒斯大学);West University of Timişoara(蒂米什瓦拉西大学)
ExDDV通过引入文本和点击监督,开发出可解释的深度伪造检测模型,以提高视频中深度伪造内容的识别能力。
2025-11-25 cs.AI cs.CL cs.CV
DeMark: A Query-Free Black-Box Attack on Deepfake Watermarking Defenses
UNSW Sydney(新南威尔士大学悉尼分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
DeMark通过利用潜在空间漏洞,对深度伪造水印防御方案发起无需查询的黑盒攻击,显著降低检测准确率并揭示现有防御方案的脆弱性。
2026-01-23 cs.AI cs.CR cs.CV
Listening Deepfake Detection: A New Perspective Beyond Speaking-Centric Forgery Analysis
Beijing Institute of Technology(北京理工大学);University of Science and Technology Beijing(北京科技大学);University of Science(科学技术大学)
本文提出监听深度伪造检测任务,引入首个专门为此任务设计的ListenForge数据集,并提出MANet网络以捕捉监听伪造中的细微运动不一致,实验表明现有说话深度伪造检测模型在监听场景中表现不佳。
2026-04-14 cs.CV cs.MM
Beyond Global Realism: Virtual Try-On Evaluation and Optimization with Dimension-wise Garment Fidelity Assessment
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Harbin Institute of Technology(哈尔滨工业大学)
针对现有虚拟试穿评估指标难以捕捉服装多维保真度的问题,提出DAT框架,分解服装一致性为7个维度并训练专用评估模型,其性能优于多款专有模型,还可用于优化Qwen-Image-Edit的虚拟试穿生成。
2026-09-01 cs.CV
Exposing Deepfake with Pixel-wise AR and PPG Correlation from Faint Signals
Tongji University(同济大学)
Deepfake对司法证据的可靠性和知识产权保护构成严重威胁。尽管对Deepfake识别的需求迫切,但现有的像素级检测方法越来越无法抵抗虚假视频日益增长的真实感,并且缺乏泛化能力。在本文中,我们提出了一种通过隐藏在人脸视频中的微弱信号来暴露Deepfake的方案。该方案提取隐藏在人脸像素之间的两类微小信息--光电容积脉搏波(PPG)特征和自回归(AR)特征,分别作为时间域和空间域取证的基础。根据PPG的原理,跟踪血细胞对光的吸收允许远程估计面部视频的时域心率(HR),并且不规则的HR波动可以被视为篡改的痕迹。另一方面,AR系数能够反映像素间的相关性,并且还可以反映在生成假人脸的过程中由上采样引起的平滑痕迹。此外,该方案结合基于非对称卷积块(ACBlock)的改进密集连接网络(DenseNets)来实现人脸视频真实性取证。其非对称卷积结构增强了网络对输入特征图像上下左右翻转的鲁棒性,使得特征拼接的顺序不影响检测结果。仿真结果表明,我们提出的方案在多个深度伪造数据集上提供了更准确的真实性检测结果,并且与基准策略相比具有更好的泛化能力。
2021-10-29 cs.CV eess.IV
Harnessing CLIP and DINO: An Uncertainty-Aware Cascaded Fusion Network for Generalizable Deepfake Image Detection
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
针对深度伪造检测泛化问题,提出UCF-Net,融合CLIP和DINO先验,通过层次特征提取、逐层专家聚合和熵不确定性加权融合,在统一基准上取得最佳平均AUC。
2026-09-09 cs.AI cs.CV
Curvelet-Based Frequency-Aware Feature Enhancement for Deepfake Detection
Department of Computer Science, College of Science, University of Zakho(扎赫大学计算机科学系);PRIME Lab, Scientific Research Center, University of Zakho(扎赫大学PRIME实验室)
本文提出基于曲线变换的深度伪造检测方法,通过楔形注意力和尺度感知空间掩码提升特征质量,利用改进的预训练Xception网络实现高精度分类,在FaceForensics++数据集上取得高准确率和AUC。
2026-04-13 cs.AI cs.CV
A New Approach to Improve Learning-based Deepfake Detection in Realistic Conditions
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
深度卷积神经网络在多个检测和识别任务上取得了优异的成绩。然而,这样的检测器的性能往往是在公共基准的约束和非现实的情况下进行评估。在成像工作流程中发现的传统失真和处理操作(例如压缩、噪声和增强)的影响尚未得到充分研究。目前,只有少数研究已经完成,以提高检测器的鲁棒性不可见的扰动。本文提出了一种更有效的数据增强方案的基础上,现实世界的图像退化过程。这项新技术被部署用于deepfake检测任务,并已通过更现实的评估框架进行了评估。大量的实验表明,所提出的数据增强方案提高了不可预测的数据失真和不可见的数据集的泛化能力。
2022-03-22 cs.CV eess.IV
Impact of Video Processing Operations in Deepfake Detection
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
视频中数字人脸篡改的检测由于增加了公众信任的风险而引起了广泛的关注。为了对抗这些技术的恶意使用,已经开发了基于深度学习的deepfake检测方法,并显示出令人印象深刻的结果。然而,这些检测器的性能通常使用几乎不能反映真实情况的基准进行评估。例如,各种视频处理操作对检测准确性的影响尚未得到系统评估。为了解决这一差距,本文首先分析了众多的现实世界的影响因素和典型的视频处理操作。然后,提出了一种更系统的评估方法,该方法允许在不同处理操作的影响下对检测器的鲁棒性进行定量评估。此外,还在三种流行的深度伪造检测器上进行了大量实验,详细分析了每种操作的影响,并为未来的研究提供了见解。
2023-03-30 cs.CV eess.IV
A Quality-Centric Framework for Generic Deepfake Detection
Shenzhen University(深圳大学);Tencent Youtu Lab(腾讯优图实验室)
针对深度伪造检测器泛化性不足的问题,提出以质量为中心的框架,结合质量评估、学习节奏策略与低质量样本频率增强,可即插即用提升现有检测器的泛化能力。
2025-05-17 cs.CR cs.CV cs.LG
Naïve Exposure of Generative AI Capabilities Undermines Deepfake Detection
生成AI能力的盲目暴露导致深度伪造检测失效,商业AI系统因高逼真度和易用性成为更大安全风险。
2026-03-11 cs.AI cs.CR cs.CV
Beyond Face Swapping: A Diffusion-Based Digital Human Benchmark for Multimodal Deepfake Detection
本文提出DigiFakeAV数据集和DigiShield检测模型,用于多模态深度伪造检测,通过融合时空和跨模态特征提升检测性能。
2026-01-28 cs.AI cs.CV
GazeVaLM: A Multi-Observer Eye-Tracking Benchmark for Evaluating Clinical Realism in AI-Generated X-Rays
Northwestern University(西北大学);Loyola University Chicago(洛约拉大学芝加哥分校);DuPage Medical Group(杜佩奇医疗集团);Emory University(埃默里大学)
GazeVaLM通过眼动数据和临床标签,评估AI生成X光片的临床真实性,对比人类专家与LLM的诊断准确性。
2026-04-13 cs.CV
Leveraging Unlabeled Data from Unknown Sources via Dual-Path Guidance for Deepfake Face Detection
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学学院);Visual Intelligence +X International Cooperation Joint Laboratory of MOE(教育部视觉智能+X国际合作联合实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出双路径引导网络DPGNet,通过文本引导和课程驱动方法有效利用未知来源的未标记数据,提升深度伪造人脸检测性能。
2025-11-25 cs.AI cs.CV
SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model
University of Liverpool, UK(利物浦大学);Nanyang Technological University, SG(南洋理工大学);WMG, University of Warwick(沃里克大学工程学院);The Chinese University of Hong Kong, Shenzhen, Guangdong, China(香港中文大学(深圳))
针对社交媒体深度伪造图像检测数据集缺失及现有方法局限的问题,提出大型多模态框架SIDA与包含30万图像的SID-Set,实现图像真伪鉴别、篡改区域定位及判断依据解释,性能超越现有模型。
2025-06-25 cs.AI cs.CV
X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection
School of Data Science, The Chinese University of Hong Kong, Shenzhen, Guangdong, 518172, P.R. China(1 数据科学学院,香港中文大学(深圳));School of Electronic and Computer Engineering, Peking University, P.R. China(2 电子与计算机工程学院,北京大学);Department of Computer Science, University of Liverpool, Liverpool, L69 7ZX, UK(3 计算机科学系,利物浦大学);Department of Computer Science and Engineering, University at Buffalo, State University of New York, Buffalo, NY, USA(4 计算机科学与工程系,布法罗大学)
本文提出X2-DFD框架,通过模型特征评估、可解释数据集构建与微调推理三阶段,结合强特征强化与弱特征补充,提升了多模态大语言模型在深度伪造检测中的可检测性与可解释性,且支持即插即用集成。
2025-05-29 cs.CV
3DSPA: A 3D Semantic Point Autoencoder for Evaluating Video Realism
University of California, San Diego, CA, USA(加州大学圣迭戈分校);University of British Columbia, Vancouver, BC, Canada(不列颠哥伦比亚大学);Vector Institute, Toronto, ON, Canada(向量研究所)
3DSPA通过整合3D语义与时空点轨迹,实现无需参考视频的视频真实性自动评估。
2026-02-23 cs.CV
Synthetic Art Generation and DeepFake Detection A Study on Jamini Roy Inspired Dataset
本研究通过微调Stable Diffusion 3并结合ControlNet和IPAdapter生成Jamini Roy风格合成艺术,创建新数据集,利用傅里叶域和自相关等方法分析,揭示现有深度伪造检测在高质量文化特定场景下的不足。
2025-03-29 cs.AI cs.CV
Unmasking Synthetic Realities in Generative AI: A Comprehensive Review of Adversarially Robust Deepfake Detection Systems
Department of Computer Science(计算机科学系);Hamad bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
该综述系统梳理了深度伪造检测的两大核心范式及现有方法的性能,指出其普遍存在对抗鲁棒性不足的缺陷,搭建了开源实现仓库,并提出未来需发展可扩展的模态无关鲁棒检测架构。
2025-07-24 cs.CR cs.CV
Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学);Shandong University(山东大学)
面部活性验证(FLV)广泛用于许多安全敏感领域的身份认证,并由领先的云供应商作为平台即服务(PaaS)提供。然而,随着合成媒体技术的快速发展(例如,deepfake),FLV的安全性面临着前所未有的挑战,迄今为止对此知之甚少。为了弥补这一差距,在本文中,我们进行了第一次系统的研究,在现实世界中的FLV的安全性。具体来说,我们介绍了LiveBugger,这是一个新的基于deepfake的攻击框架,可以对FLV进行可定制的自动化安全评估。利用LiveBugger,我们对代表性的FLV平台进行了全面的实证评估,得出了一系列有趣的发现。例如,大多数FLV API不使用反深度伪造检测;即使对于那些具有这种防御的API,其有效性也是令人担忧的(例如,它可以检测高质量的合成视频,但不能检测低质量的视频)。然后,我们对影响LiveBugger攻击性能的因素进行了深入分析:a)偏见(例如,性别或种族)可以被用来选择受害者; b)对抗性训练使deepfake更有效地绕过FLV; c)输入质量对不同的deepfake技术有不同的影响,以绕过FLV。基于这些发现,我们提出了一种定制的两阶段方法,可以将攻击成功率提高70%。此外,我们对FLV的几个代表性应用程序(即,FLV API的客户端)来说明实际影响:由于API的漏洞,许多下游应用程序都容易受到deepfake的攻击。最后,我们讨论了潜在的对策,以提高…
2022-02-22 cs.CR cs.CV cs.LG
Vulnerability of Automatic Identity Recognition to Audio-Visual Deepfakes
Idiap Research Institute(伊迪亚普研究院)
本文构建了首个逼真音视频深度伪造数据库SWAN-DF及音频深度伪造数据库LibriTTS-DF,并证明经身份调优的预训练模型可在超过90%的情况下欺骗人脸和说话人识别系统。
2023-11-29 cs.AI cs.CV cs.MM
The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media
The Partnership on AI(人工智能合作组织);XPRIZE Foundation(XPRIZE基金会);Syntiant Corp(Syntiant公司);Thoughtful Technology Project(深思技术项目)
合成媒体检测技术将媒体标记为合成或非合成,并且越来越多地被记者、网络平台和公众用于识别错误信息和其他形式的有问题内容。随着资源丰富的组织和非技术性的公众产生更复杂的合成媒体,有问题内容的提供者适应的能力引发了\newterm{detection dilemma}:随着检测方法变得更容易获得,它们变得更容易规避。本文介绍了来自学术界、技术平台、媒体实体和民间社会组织的多利益相关者群体如何积极参与合成媒体检测及其社会技术影响,评估检测困境。具体而言,我们提供了对检测环境和对手能力的评估,这些能力来自更广泛的全球人工智能和媒体诚信社区,这些社区关注如何减轻有害合成媒体的传播。人物角色的集合说明了在他们的技术能力背景下,不成熟和资源丰富的错误信息赞助商之间的交集。这项工作的结论是,有没有“最好的”方法来导航检测器的困境,但从多利益相关者的输入,以更好地通知检测过程中的决策和政策,在实践中得出一组的影响。
2021-02-11 cs.CV cs.CY cs.LG
Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images
Beijing Jiaotong University(北京交通大学);Microsoft Research Asia(微软亚洲研究院);Shenzhen University(深圳大学)
本文形式化了AIGC图像的语义异常检测与推理,提出大规模基准AnomReason和多智能体流程AnomAgent,并验证微调模型在语义匹配指标上优于基线,为提升AI生成图像语义合理性奠定基础。
2025-10-11 cs.CV
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
NJU-LINK Team, Nanjing University(南京大学NJU-LINK团队);Kling Team, Kuaishou Technology(快手技术 Kling 团队);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出T2AV-Compass基准,通过分类学驱动的500个复杂提示和双层次评估框架(客观信号指标+主观MLLM评判),系统评估文本到音频-视频生成模型,发现现有模型在跨模态对齐和指令遵循方面显著不足。
2026-06-03 cs.CV