Through the Lens: Benchmarking Deepfake Detectors Against Moiré-Induced Distortions
Sungkyunkwan University（顺天大学）；CSIRO’s Data61（CSIRO数据61）
该研究针对真实场景中屏幕拍摄产生的摩尔纹干扰深度伪造检测的问题，构建相关数据集系统评估多款SOTA检测器，发现摩尔纹会显著降低检测精度，去摩尔纹方法反而加剧性能下降，为此推出DMF数据集以推动实用检测研究。
2025-10-28 cs.CV
Omni-Fake: Benchmarking Unified Multimodal Social Media Deepfake Detection
University of Liverpool（利物浦大学）；University of Exeter（埃克塞特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）
本文提出Omni-Fake多模态深度伪造检测基准，包含大规模数据集和分布外基准，支持联合检测-定位-解释协议，并提出基于强化学习的多模态检测器，提升检测准确性和可解释性。
2026-05-02 cs.CV
BanglaFake: Constructing and Evaluating a Specialized Bengali Deepfake Audio Dataset
Institute of Information Technology（信息科技研究院）
本文构建了包含12,260个真实和13,260个深度伪造音频的孟加拉语数据集，通过合成语音生成和多维度评估，提升低资源语言深度伪造检测能力。
2025-05-16 cs.AI cs.MM cs.SD
Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model
Neural Defend Inc.（Neural Defend公司）
本文跨基准家族评估Neural Defend ARCAS 1B深度伪造检测模型，保留原生聚合并补充记录级度量，以可追溯协议揭示测试群体差异，支持研究、平台安全与取证解读。
2026-09-23 cs.AI cs.CR
Towards Quantitative Evaluation of Explainable AI Methods for Deepfake Detection
Information Technologies Institute（信息技术研究所）
提出新框架通过对抗攻击评估解释方法识别深度伪造图像关键区域的能力，实验表明LIME方法在解释深度伪造检测器决策上表现最佳。
2024-04-29 cs.AI cs.CV
Towards a satellite image manipulation and deepfake localization benchmark dataset
Oak Ridge National Laboratory（橡树岭国家实验室）
针对遥感领域缺乏合适卫星图像篡改定位基准数据集的问题，构建含60张图像的原型数据集，支持像素级定位等分析，以推动相关研究。
2026-08-06 cs.AI cs.CV
LAION-Mobile: Evaluating Deepfake Detectors On One Million Smartphone Photos
Stralsund University（施特拉尔松德大学）；IMLA, Offenburg University（奥芬堡大学IMLA）
本文提出LAION-Mobile数据集，含百万智能手机照片，评估十二种深度伪造检测器，发现现代AI内容上性能低下且真实照片误报率高，揭示现有检测器在计算摄影时代的局限性。
2026-09-11 cs.CV
DeepFake Doctor: Diagnosing and Treating Audio-Video Fake Detection
TU Darmstadt（图宾根大学）
本文针对音视频DeepFake检测基准测试中数据集、检测方法和评估协议的关键问题，首次为DeepSpeak v1数据集提出评估协议，并提出极简多模态基线SIMBA及音频捷径缓解策略，为领域发展指明方向。
2025-06-06 cs.AI cs.MM cs.SD
Generation and Detection of Sign Language Deepfakes - A Linguistic and Visual Analysis
本文构建含1200余段视频的手语深度伪造数据集，结合专家、语言与视觉分析验证生成质量，并建立机器学习检测基线。
2025-02-17 cs.AI cs.CV
DFGC 2021: A DeepFake Game Competition
Shenzhen University（深圳大学）；Huazhong University of Science and Technology（华中科技大学）；Guangdong University of Technology（广东工业大学）；University of Science and Technology of China（中国科学技术大学）；iFlytek Co., Ltd.（科大讯飞股份有限公司）；iFlytek Research（讯飞研究院）
本文对DFGC 2021竞赛进行了总结。DeepFake技术发展迅速，现实的面部交换越来越具有欺骗性，难以检测。与此同时，DeepFake的检测方法也在不断改进。DeepFake的创建者和探测器之间存在一个双方博弈。这项比赛为当前最先进的DeepFake创建和检测方法之间的对抗游戏提供了一个共同的平台。在本文中，我们介绍了这次比赛的组织，结果和顶级解决方案，并分享了我们在这次活动中获得的见解。我们还发布了从参与者那里收集的DFGC-21测试数据集，以进一步使研究社区受益。
2021-06-02 cs.CV
TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Jilin University（吉林大学）；VinUniversity
TriDF提出一个全面的可解释深度伪造检测基准，评估模型感知、检测和幻觉能力，揭示三者间的相互作用，为构建可信系统提供基础。
2026-03-28 cs.CR cs.CV
Improving the Perturbation-Based Explanation of Deepfake Detectors Through the Use of Adversarially-Generated Samples
Information Technologies Institute - CERTH（信息技术研究所 - 塞萨洛尼基研究与技术中心）
本文提出利用对抗生成样本构建扰动掩码来改进深度伪造检测器的可视化解释，并在FaceForensics++上验证了该方法对LIME、SHAP、SOBOL和RISE四种解释方法的性能提升。
2025-02-06 cs.AI cs.CR cs.CV
DeepFake-O-Meter v2.0: An Open Platform for DeepFake Detection
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Amazon Lab126（亚马逊Lab126）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文介绍了开源在线平台DeepFake-O-Meter v2.0，集成最先进方法检测图像、视频和音频Deepfake，通过架构升级提供便捷分析服务，并作为研究人员的评估基准平台。
2024-06-27 cs.CR cs.CV
Linguistic Profiling of Deepfakes: An Open Database for Next-Generation Deepfake Detection
University of Southampton（南安普顿大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）；Shenzhen Institute of Advanced Technology, Chinese Academy of Science（中国科学院深圳先进技术研究院）
本文提出开放深度伪造数据库DFLIP-3K，包含约300K样本、3K生成模型及190K语言学足迹，建立涵盖检测、模型识别和提示预测的基准，推动下一代可解释深度伪造检测。
2024-01-04 cs.CV
OpenFake: An Open Dataset and Platform Toward Real-World Deepfake Detection
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；IVADO
针对现有深度伪造检测基准的不足，提出OpenFake大规模政治背景数据集及众包对抗平台，含近四百万图像，训练检测器在分布内、泛化及真实社交媒体测试上均显著优于现有方法。
2025-10-06 cs.AI cs.CV cs.LG
WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection
Sungkyunkwan University（成均馆大学）；Sogang University（西江大学）；Seoul National University（首尔大学）
本文提出片段级多模态深度伪造检测基准FakeMix及新指标TA和FDM，揭示现有模型在视频级高精度下对逐帧篡改检测能力大幅下降的问题。
2024-08-06 cs.CV
Improving Fairness in Deepfake Detection
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Carnegie Mellon University（卡内基梅隆大学）；Indiana University–Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
针对深度伪造检测器因训练数据偏差导致不同种族性别检测准确率不均的问题，提出适用于有无人口统计信息两种场景的新型损失函数，可改造现有检测器以提升公平性，实验验证了其有效性与灵活性。
2023-11-08 cs.CV cs.CY cs.LG
Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
Bitdefender；Politehnica Bucharest（巴尔干理工大学）
本文揭示广泛使用的音视频深度伪造数据集存在开头静音的虚假捷径特征，提出仅在真实数据上训练模型并对齐自监督音视频表示的无监督学习方法，消除了对数据集特定偏差的依赖，提升了检测鲁棒性。
2025-05-29 cs.CV cs.LG cs.SD
Are DeepFakes Realistic Enough? Exploring Semantic Mismatch as a Novel Challenge
Instituto de Telecomunicações, Universidade da Beira Interior（电信研究所，贝拉内里大学）
本文提出新的评估框架，通过引入语义不匹配类别，评估现有模型在面对语义不一致的深度伪造数据时的鲁棒性，并提出语义强化策略提升检测性能。
2026-07-14 cs.CV
Echoes: A semantically-aligned music deepfake detection dataset
National University of Science and Technology POLITEHNICA Bucharest（波兰亚西夫技术大学布加勒斯特分校）；Fraunhofer AISEC（弗劳恩霍夫信息安全研究所）
Echoes数据集通过语义对齐提升音乐深度伪造检测的鲁棒性，证明提供者多样性与语义对齐能提升检测能力。
2026-07-17 cs.AI cs.SD eess.AS
Multi-Speaker Conversational Audio Deepfake: Taxonomy, Dataset and Pilot Study
Univ. of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
本文提出多说话人对话音频深度伪造的分类方法，并引入MsCADD数据集，评估了三种基线模型在检测合成语音方面的性能，揭示了多说话人深度伪造检测的挑战。
2026-01-30 cs.AI cs.SD eess.AS
DeepfakeBench-MM: A Comprehensive Benchmark for Multimodal Deepfake Detection
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对多模态深度伪造检测缺乏大规模数据与统一基准的问题，构建了含10万真实及110万伪造样本的Mega-MMDF数据集，并提出首个统一基准DeepfakeBench-MM，支持5个数据集和11个检测器，为领域发展奠定基础。
2025-10-26 cs.CR cs.CV cs.MM
Individualized Deepfake Detection Exploiting Traces Due to Double Neural-Network Operations
NC State University（北卡罗来纳州立大学）
针对特定公众人物的深度伪造检测问题，提出利用神经网络幂等性进行双重操作以优化检测器，使AUC提升至0.94，并发布了包含45位公众人物约3.2万张图像的数据集。
2025-04-04 cs.CR cs.CV cs.LG
Hindi audio-video-Deepfake (HAV-DF): A Hindi language-based Audio-video Deepfake Dataset
BML Munjal University（BML蒙贾尔大学）；School of Engineering & Technology, BML Munjal University（BML蒙贾尔大学工程与技术学院）；Center for Advanced Data and Computational Science, BML Munjal University（BML蒙贾尔大学高级数据与计算科学中心）
针对印度面临的印地语深度伪造虚假信息风险，本文创建首个印地语音视频深度伪造数据集HAV-DF，采用多方法生成，可用于训练音视频联合检测器，且对现有检测方法构成更大挑战，填补了印地语特定数据集空白。
2024-11-23 cs.AI cs.CR cs.GR
DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models
Shanghai Jiao Tong University（上海交通大学）
本文提出大规模深度伪造基准DFBench，含54万张图像并支持双向评估，同时提出基于多智能体混合的MoA-DF检测方法，验证了大型多模态模型在深度伪造检测中的有效性。
2025-06-03 cs.CV
CCDF: A Benchmark Dataset for Deepfake Detection in Surveillance Footage
Hochschule Darmstadt（达姆施塔特应用科学大学）；Michigan State University（密歇根州立大学）；Inria Center at Université Côte d’Azur（蔚蓝海岸大学INRIA中心）
针对现有深度伪造数据集偏重良性内容且生成器过时的问题，构建了包含1840个真实与商业工具生成监控视频的CCDF数据集，评估表明现有最先进检测器无法可靠区分其生成视频。
2026-10-19 cs.CV
Benchmarking histopathology foundation models in a multi-center dataset for skin cancer subtyping
Universitat Politècnica de València (UPV)（瓦伦西亚理工大学）；Artikode Intelligence S.L.（Artikode Intelligence公司）
本文提出一个基于AI4SkIN多中心数据集的基准，用于评估组织病理学基础模型在MIL分类框架中作为补丁级特征提取器的表现，并引入FM-SI指标衡量模型在分布偏移下的一致性，发现低偏差特征可提升分类性能。
2025-06-23 cs.AI cs.CV
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta（阿德温塔公司）
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现，发现全量微调稳健但top-tuning能以更低计算成本达到相近性能，并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Design and Realization of a Benchmarking Testbed for Evaluating Autonomous Platooning Algorithms
Northeastern University（东北大学）
本文设计并实现了一个基于1/10比例车辆的基准测试平台，用于评估自主车队协同算法，实验证明分布式模型预测控制算法在硬件和仿真中均优于线性反馈。
2024-02-14 cs.AI cs.MA cs.RO
Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues
ROSE Lab, Nanyang Technological University（南洋理工大学ROSE实验室）
本文建立了首个结合视觉外观与生理rPPG线索的联合人脸欺骗与伪造检测基准，通过双分支生理网络和加权归一化多模态融合机制，显著提升了模型在联合训练下的泛化能力。
2024-01-08 cs.CV
Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform
University at Buffalo（布法罗大学）
地理搜索是地理信息检索的一项重要任务。一个地理解析系统，被称为地理解析器，将一些文本作为输入，并输出识别的地点提及及其位置坐标。2019年6月，作为SemEval 2019的任务之一，举办了一场地理解析竞赛，即科学论文中的地名解析。获奖团队开发了基于神经网络的地理分析器，取得了出色的性能（超过90%的准确率，召回率和地名识别的F1得分）。这一令人兴奋的结果带来了一个问题“我们到了吗？也就是说，我们是否达到了足够高的性能，可以认为地理解析的问题已经解决了？这种竞争的一个限制是，开发的地理分析器只在一个数据集上进行测试，该数据集有45篇从生物医学特定领域收集的研究文章。众所周知，相同的地理解析器在不同的数据集上可以具有非常不同的性能。因此，这项工作使用我们最近开发的基准测试平台EUPEG对这些最先进的地理解析器进行了系统的评估，该平台具有8个注释数据集，9个基线地理解析器和8个性能指标。评估结果表明，这些新的地理解析器确实提高了多个数据集上的地理解析的性能，但仍然存在一些挑战。
2020-07-15 cs.AI cs.CL cs.LG
A War Beyond Deepfake: Benchmarking Facial Counterfeits and Countermeasures
Hanoi University of Science and Technology（河内理工大学）；Griffith University（格里菲斯大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Deakin University（迪肯大学）；The University of Queensland（昆士兰大学）
近年来，视觉伪造已经达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了各种各样的恶意应用，如假新闻、诽谤或勒索名人、在政治战中冒充政客，以及传播谣言以吸引观点。因此，人们提出了一套丰富的视觉取证技术，试图阻止这种危险的趋势。在本文中，我们提出了一个基准，提供了深入的见解视觉伪造和视觉取证，使用全面的和经验的方法。更具体地说，我们开发了一个独立的框架，集成了最先进的伪造发生器和检测器，并使用各种标准来衡量这些技术的性能。我们还对基准测试结果进行了详尽的分析，以确定在措施和对策之间这场永无止境的战争中作为比较参考的方法的特征。
2022-04-08 cs.CV
Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models
University of Kansas（堪萨斯大学）
本研究通过评估5个基准套件在26个开源SLMs上的表现，发现现有以LLM为中心的安全基准无法可靠评估SLMs，模糊性会导致模型排名出现显著变化。
2026-08-19 cs.AI cs.CR
Benchmarking Deepart Detection
Xi’an Jiaotong University（西安交通大学）；Singapore Management University（新加坡管理大学）；University of Southampton（南安普顿大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
Deepfake技术已经模糊了真实和虚幻之间的界限，可能导致恶意事件。通过利用新出现的deepfake技术，deepfake研究人员已经做出了巨大的颠覆，创造了deepfake艺术品（deeparts），进一步缩小了现实和幻想之间的差距。为了解决可能出现的伦理问题，本文建立了一个deepart检测数据库（DDDB），该数据库由一组高质量的传统艺术图像（conarts）和五组由五个最先进的deepfake模型生成的deepart图像组成。该数据库使我们能够探索一次性的deepart检测和连续的deepart检测。对于这两个新的问题，我们建议四个基准评估和四个家庭的解决方案上构造的DDDB。全面的研究表明，所提出的解决方案的有效性，建立的基准数据集，这是能够铺平道路，更有趣的方向deepart检测。构建的基准数据集和源代码将公开提供。
2023-02-28 cs.CV cs.LG
Evaluating the Efficacy of Foundational Models: Advancing Benchmarking Practices to Enhance Fine-Tuning Decision-Making
Rochester Institute of Technology（罗切斯特理工学院）
本研究评估Gemma-2B和Gemma-7B在网络安全、医学和金融等领域的表现，提出ThroughCut离群点检测技术，发现模型大小和提示类型显著影响响应质量，强调全面基准测试框架的重要性。
2024-08-20 cs.AI cs.CL cs.LG
Evaluating Fake Music Detection Performance Under Audio Augmentations
本研究探讨了虚假音乐检测模型在音频增强下的鲁棒性，通过构建真实与合成音乐数据集并应用多种音频变换，发现即使引入轻度增强，最先进检测模型的分类准确率也显著下降。
2025-07-07 cs.AI cs.LG cs.SD
Deceptive Beauty: Evaluating the Impact of Beauty Filters on Deepfake and Morphing Attack Detection
本研究全面评估了美颜滤镜对 Deepfake 和 Morphing 攻击检测器性能的影响，发现滤镜会导致检测性能退化，突显了面部增强带来的漏洞，并强调了开发对此类篡改具有鲁棒性的检测模型的必要性。
2025-09-17 cs.CV
How Do Deepfakes Move? Motion Magnification for Deepfake Source Detection
Binghamton University（宾汉姆顿大学）；Intel Labs（英特尔实验室）
随着深度生成模型的激增，deepfakes每天都在质量和数量上提高。然而，原始视频中存在微妙的真实性信号，SOTA GANs无法复制。我们通过运动放大来对比deepfake和真实视频中的运动，以构建一个通用的deepfake源检测器。不同的生成模型对面部肌肉下运动有不同的解释，这反映在它们的生成残差中。我们的方法利用真实运动和放大的GAN指纹之间的差异，通过结合深度和传统的运动放大，来检测视频是否是假的，如果是，则检测其源生成器。在两个多源数据集上的视频源检测结果表明，该方法的检测率分别为97.17%和94.03%。我们与现有的deepfake源检测器和其他复杂的架构进行了比较。分析了放大倍数、相位提取窗口、主干网络结构、样本数和样本长度等参数对相位提取的重要性。最后，我们报告了不同肤色的结果，以评估偏见。
2022-12-28 cs.AI cs.CV
SynthForensics: Benchmarking and Evaluating People-Centric Synthetic Video Deepfakes
iCTLab s.r.l.（iCTLab公司）；University of Catania（卡塔尼亚大学）
本文提出SynthForensics基准测试，评估合成视频深度伪造的可检测性，通过20445个视频数据集验证了人类和算法在识别合成视频中的性能差异。
2026-05-08 cs.CV
From Variability to Stability: Advancing RecSys Benchmarking Practices
Skoltech（斯科尔特科技大学）；Sber AI Lab（Sber人工智能实验室）；MIPT（莫斯科物理技术学院）；AIRI（人工智能研究所）；HSE University（高等经济大学）；BIMSA（北京数学与系统科学研究院）
本文提出一种新颖的推荐系统基准测试方法，利用30个数据集和11种协同过滤算法在9个指标上进行评估，验证了数据集特征对算法性能的影响及多数据集结果聚合的可行性，实现了公平稳健的算法比较。
2024-08-27 cs.AI cs.IR cs.LG
A Scalable Approach to Benchmarking the In-Conversation Differential Diagnostic Accuracy of a Health AI
August AI（奥古斯特人工智能公司）；Medical Evaluation（医学评估机构）
本研究提出一种可扩展的基准测试方法，通过400个临床案例和AI患者角色评估健康AI对话系统，August在诊断准确率上显著优于传统症状检查工具，并展示了其在医疗保健中的潜力。
2024-12-17 cs.AI cs.HC
Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework
MOSTLY AI
提出一个多维评估框架，通过基于留出集的基准测试策略，结合分布比较、嵌入相似性和最近邻度量，量化合成表格数据的分布保真度与隐私保护，支持可解释质量诊断与可重复性。
2025-04-02 cs.AI cs.LG
Explainable Benchmarking for Iterative Optimization Heuristics
Leiden University（莱顿大学）；LIACS（莱顿高级计算机科学研究所）
本文提出可解释基准测试方法并引入IOH-Xplainer框架，系统分析迭代优化启发式算法中不同组件和超参数对性能的影响，以提升基准测试和算法设计的透明性与可理解性。
2024-02-23 cs.AI cs.NE
Dyport: Dynamic Importance-based Hypothesis Generation Benchmarking Technique
Center for Bioinformatics and Computational Biology（生物信息学与计算生物学中心）；University of Delaware（特拉华大学）；Computer and Information Sciences（计算机与信息科学学院）
本文提出开源基准框架 Dyport，通过整合精选数据库构建动态图并量化发现重要性，以在现实条件下评估生物医学假设生成系统的准确性与研究影响。
2023-12-06 cs.AI cs.CL cs.LG
AV-Deepfake1M++: A Large-Scale Audio-Visual Deepfake Benchmark with Real-World Perturbations
Monash University（墨尔本大学）；Curtin University（Curtin大学）；American University of Sharjah（沙迦美国大学）
针对深度伪造检测缺乏含真实扰动的大规模数据集的问题，研究团队提出含200万片段、带多样化篡改与音视频扰动的基准AV-Deepfake1M++，完成基准测试并基于其主办2025年1M-Deepfakes检测挑战赛，助力深度伪造领域研究。
2025-07-28 cs.CV
Do You Really Mean That? Content Driven Audio-Visual Deepfake Dataset and Multimodal Method for Temporal Forgery Localization
Monash University（莫纳什大学）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）
针对现有deepfake检测忽略内容语义篡改的问题，提出内容驱动的音视频数据集LAV-DF及3DCNN基线方法BA-TFD，通过边界匹配等损失函数指导，实现时间伪造定位与检测。
2023-05-04 cs.CV
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
TU Darmstadt（达姆施塔特工业大学）
BabelFake是一个多语言音视频深度伪造基准，包含399k个片段和五种语言，通过模块化管道生成，用于评估检测器性能，发现检测难度受生成配对影响且人类感知与机器检测不一致。
2026-10-09 cs.CV
Benchmarking Foundation Models for Zero-Shot Biometric Tasks
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出了一个全面的基准测试，评估41个VLMs在人脸和虹膜等六项生物识别任务中的零样本和少样本性能，发现无需微调即可达到高TMR，并验证了预训练模型在通用人工智能中的潜力。
2025-05-30 cs.AI cs.CV
DREAM: A Benchmark Study for Deepfake photoREalism AssessMent
New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新技术实验室，自动化研究所，中国科学院）
本文提出DREAM基准，用于评估深度伪造照片的真实感，包含高质量视频数据集、14万评分及描述文本，分析18种方法，包括基于大视觉语言模型和新提出描述对齐CLIP方法。
2026-03-18 cs.CV
Pixels Don't Lie (But Your Detector Might): Bootstrapping MLLM-as-a-Judge for Trustworthy Deepfake Detection and Reasoning Supervision
MBZUAI；Monash University（墨尔本大学）
本文提出DeepfakeJudge框架，通过生成器-评估器过程提升深度伪造检测的推理忠实性，实现高准确率和高一致性的推理监督。
2026-02-23 cs.CV
Deepfake Generation and Detection: A Benchmark and Survey
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；Nanjing University（南京大学）；Youtu Lab, Tencent（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文综述了深度伪造生成与检测的最新进展，分析了相关技术、数据集及未来研究方向。
2026-03-09 cs.CV
Benchmarking General Mobile Assistants in Challenging Real-World Scenarios
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
该研究提出名为GMA的移动助手基准，涵盖七个应用与300个不同难度任务，评估八个前沿模型发现其性能随任务复杂度提升而下降，还证实合适的智能体控制设计可显著提升性能。
2026-08-31 cs.AI cs.CV
CRITERIA: a New Benchmarking Paradigm for Evaluating Trajectory Prediction Models for Autonomous Driving
University of Toronto（多伦多大学）；Huawei Technologies Canada（华为技术加拿大公司）
针对现有自动驾驶轨迹预测基准存在场景偏差、指标有局限的问题，提出CRITERIA新型基准范式，通过细粒度场景提取、无偏差指标及大量实验，实现更准确的模型排名与行为表征。
2024-08-19 cs.CV cs.LG cs.RO
Evaluating and Benchmarking Foundation Models for Earth Observation and Geospatial AI
European Space Agency (ESA)（欧洲空间局（ESA））；Trust Stamp；VITO
本文评估了地球观测基础模型在有限标注数据下优于特定模型，并提出了一个基准来标准化比较，证明其在下游任务中的标签效率。
2024-06-26 cs.CV cs.LG
