Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；NVIDIA（英伟达）；ASU（亚利桑那州立大学（ASU））
基于3D点云数据的深度神经网络在现实世界中得到了广泛的应用，尤其是在安全关键型应用中。然而，他们对腐败的鲁棒性研究较少。在本文中，我们提出了ModelNet 40-C，这是第一个全面的3D点云腐败鲁棒性基准测试，包括15个常见和现实的腐败。我们的评估显示，ModelNet 40和ModelNet 40-C的最先进（SOTA）模型的性能之间存在显着差距。为了减少差距，我们提出了一个简单而有效的方法，通过结合PointCutMix-R和TENT评估了广泛的增强和测试时自适应策略。我们确定了一些关键的见解，为未来的研究腐败的鲁棒性点云识别。例如，我们揭示了具有适当训练配方的基于transformer的架构实现了最强的鲁棒性。我们希望我们的深入分析将推动在3D点云领域开发强大的训练策略或架构设计。我们的代码库和数据集包含在https://github.com/jiachens/ModelNet40-C中
2022-01-28 cs.AI cs.CV cs.LG
UnsafeBench: Benchmarking Image Safety Classifiers on Real-World and AI-Generated Images
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心）；TU Delft（代尔夫特理工大学）
针对图像安全分类器在真实与AI生成图像上性能未知的问题，提出UnsafeBench基准测试框架，评估发现现有分类器不够全面有效且存在分布偏移，并构建PerspectiveVision工具提升其有效性与鲁棒性。
2025-09-11 cs.CR cs.CV cs.SI
Beyond Rebalancing: Benchmarking Binary Classifiers Under Class Imbalance Without Rebalancing Techniques
Department of Information Systems and Security, College of Information Technology and Center for Artificial Intelligence and Digital Innovation, United Arab Emirates University（信息系统与安全系，信息技术学院和人工智能与数字创新中心，阿联酋大学）；College of Engineering and Technology, American University of the Middle East（工程与技术学院，中东大学）
本研究系统评估了多种二分类器在无显式重平衡技术下对类别不平衡的鲁棒性，发现TabPFN和基于提升的集成模型在极端不平衡下仍保持较高性能。
2026-06-16 cs.AI cs.IT cs.LG
Algorithm Selection with Probing Trajectories: Benchmarking the Choice of Classifier Model
Edinburgh Napier University（爱丁堡龙比亚大学）
本研究通过大规模基准测试，比较17种分类器在基于探测轨迹的算法选择任务中的表现，发现特征与区间模型最优，为分类器选择提供指南。
2025-01-20 cs.LG cs.NE
Enhancing Classifier Evaluation: A Fairer Benchmarking Strategy Based on Ability and Robustness
Federal University of Pará - UFPA（帕拉联邦大学）；Vale Technological Institute - ITV（淡水河谷技术研究所）；Federal Institute of Pará - IFPA（帕拉联邦学院）；Federal University of Pernambuco - UFPE（伯南布哥联邦大学）
针对传统分类器基准测试忽略数据集复杂性与算法泛化能力联合考量的局限，本研究结合项目反应理论（IRT）与Glicko-2评分系统提出新评估方法，在OpenML-CC18基准验证其公平性与细致性，为分类器评估提供更可靠策略。
2025-04-13 cs.LG
ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）
本文提出利用扩散模型生成多样化图像构建新基准 ImageNet-D，用于测试视觉感知模型鲁棒性，实验显示该基准使从 ResNet 到 CLIP 等模型的准确率最高降低 60%。
2024-03-27 cs.AI cs.CV cs.LG
I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
IBM Research – Zurich（IBM瑞士研究中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出符号基准I-RAVEN-X，通过增加操作数复杂度、属性范围和感知不确定性，评估大语言模型与大推理模型在类比与数学推理上的泛化与鲁棒性，发现LRMs表现更优但仍难以应对不确定性推理。
2025-10-31 cs.AI cs.LG
Natural Perturbed Training for General Robustness of Neural Network Classifiers
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（UvA-博世三角洲实验室）
我们专注于神经网络的分类的鲁棒性。为了允许公平的方法之间的比较，以实现鲁棒性，我们首先介绍了一个标准的基础上测定分类器的退化。然后，我们提出自然扰动训练来增强网络的鲁棒性。在实践中会遇到自然扰动：同一对象的两个图像的差异可以通过弹性变形（当它们具有略微不同的视角时），通过遮挡（当它们以不同的方式隐藏在对象后面时）或通过饱和度，高斯噪声等来近似。我们对六个不同大小和粒度的数据集进行了广泛的实验。自然扰动学习在干净、对抗以及自然扰动图像上表现出比对抗训练更好、更快的性能。它甚至提高了对训练期间未看到的扰动的总体鲁棒性。对于Cifar-10和STL-10，自然扰动训练甚至提高了干净数据的准确性，达到了最先进的性能。消融研究验证了自然扰动训练的有效性。
2021-03-21 cs.AI cs.CV cs.LG
Quantifying Robustness: A Benchmarking Framework for Deep Learning Forecasting in Cyber-Physical Systems
Institute of Artificial Intelligence（人工智能研究所）；Helmut Schmidt University（海姆·施密特大学）
本文提出了一种用于工业网络物理系统深度学习预测的鲁棒性评估框架，通过分布鲁棒性定义和实际干扰模拟，量化模型性能并促进研究可重复性。
2025-12-15 cs.AI cs.LG
VideoMarkBench: Benchmarking Robustness of Video Watermarking
Duke University（杜克大学）；Ant Group（蚂蚁集团）
本文提出VideoMarkBench，首个系统评估视频水印在去除和伪造攻击下鲁棒性的基准，涵盖多模型、风格、水印方法及威胁模型，揭示现有方法的脆弱性。
2025-05-27 cs.AI cs.CR cs.CV
Benchmarking Deep Learning Classifiers for SAR Automatic Target Recognition
University of Southern California（南加州大学）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
该研究针对SAR自动目标识别场景，对5种深度学习分类器在3个异质数据集上开展多维度基准测试，发现GNN在吞吐量与延迟上占优，但不存在适配所有指标的通用最优模型。
2023-12-12 cs.CV cs.LG eess.IV
RobustSpring: Benchmarking Robustness to Image Corruptions for Optical Flow, Scene Flow and Stereo
University of Stuttgart（斯图加特大学）；NVIDIA（英伟达）；University of Mannheim（曼海姆大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出RobustSpring基准测试，用于评估光流、场景流和立体视觉模型对图像破坏的鲁棒性，通过20种不同图像破坏生成20,000张破坏图像，提供新的鲁棒性度量标准，促进更准确和抗扰的模型。
2026-04-13 cs.CV cs.LG
Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming
University of Tübingen（图宾根大学）
无论图像失真或天气条件如何，检测物体的能力对于自动驾驶等深度学习的现实应用至关重要。我们在这里提供了一个易于使用的基准来评估图像质量下降时目标检测模型的性能。这三个基准数据集，称为Pascal-C，Coco-C和Cityscapes-C，包含各种各样的图像损坏。我们表明，一系列标准的目标检测模型遭受严重的性能损失损坏的图像（下降到30- 60\ %的原始性能）。然而，一个简单的数据增强技巧-风格化训练图像-导致跨损坏类型、严重程度和数据集的鲁棒性大幅增加。我们设想我们的综合基准来跟踪构建强大的目标检测模型的未来进展。基准、代码和数据是公开的。
2020-03-31 cs.CV cs.LG stat.ML
BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
New York University Abu Dhabi（纽约大学阿布扎比分校）
该研究提出BRUCE基准测试框架，通过RCI与T-RCI指标分析VLMs在科学视觉-语言推理任务中随污染升级的鲁棒性退化，实现可解释的失败分析。
2026-09-01 cs.CV
RobustART: Benchmarking Robustness on Architecture Design and Training Techniques
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；SenseTime（商汤科技）；Berkeley Artificial Intelligence Research Lab, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Oxford（牛津大学）；JD Explore Academy（京东探索研究院）
深度神经网络（DNN）易受对抗性噪声的影响，这激发了模型鲁棒性的基准测试。现有的基准主要集中在评估防御，但没有全面的研究如何架构设计和训练技术影响鲁棒性。对它们之间的关系进行全面的基准测试有利于更好地理解和开发强大的DNN。因此，我们提出了RobustART，这是ImageNet上关于架构设计（49个人类设计的现成架构和来自神经架构搜索的1200多个网络）和训练技术（10多个技术，例如，数据增强）对各种噪声（对抗性噪声、自然噪声和系统噪声）的影响。广泛的实验首次证实了几个见解，例如，(1)对抗性训练对于Transformers和MLP-混合器的所有噪声类型的鲁棒性是有效的;（2）给定可比较的模型大小和对齐的训练设置，CNN> Transformers > MLP-混合器对自然和系统噪声的鲁棒性; Transformers > MLP-混合器> CNN对对抗性鲁棒性;（3）对于一些轻量级架构，增加模型大小或使用额外的数据不能提高鲁棒性。我们的基准提供：（1）用于全面鲁棒性评估的开源平台;（2）各种预训练模型，以促进鲁棒性评估;（3）更好地理解设计鲁棒DNN的机制的新视图。我们将继续为社区发展这个生态系统。
2022-01-14 cs.CV
Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
Adobe Inc（Adobe公司）
研究提示包装器格式差异对模型分数的影响，引入格式敏感性指数（FSI）和可解析性敏感性指数（PSI），通过大量实验发现平均FSI在不同模型间变化超30倍，且可解析性是准确性有力预测指标，指出不考虑包装器差异和合规性报告准确性不可靠并给出建议。
2026-07-14 cs.AI cs.CL cs.LG
Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
最先进的深度神经网络容易受到常见的破坏（例如，由天气变化、系统误差和处理引起的输入数据劣化、失真和干扰）。虽然在分析和提高图像理解中模型的鲁棒性方面已经取得了很大的进展，但在视频理解中的鲁棒性在很大程度上尚未探索。在本文中，我们建立了一个腐败的鲁棒性基准，迷你动力学-C和迷你SSV 2-C，它认为时间腐败超过空间腐败的图像。我们第一次尝试进行一个详尽的研究腐败的鲁棒性，建立基于CNN和基于变换器的时空模型。该研究为鲁棒模型的设计和训练提供了一定的指导：基于变换器的模型比基于CNN的模型具有更好的鲁棒性，时空模型的泛化能力意味着对时间扰动的鲁棒性;模型腐败鲁棒性（特别是时间域中的鲁棒性）随着计算成本和模型容量而增强，这可能与当前提高模型计算效率的趋势相矛盾。此外，我们发现图像相关任务的鲁棒性干预（例如，具有噪声的训练模型）可能不适用于空间-时间模型。
2022-08-22 cs.CV
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Peng Cheng Laboratory（鹏城实验室）；Zhongguancun Laboratory（中关村实验室）；Alibaba Group（阿里巴巴集团）
深度神经网络在对抗性样本、常见腐败和分布偏移下通常缺乏鲁棒性，这成为深度学习发展中的一个重要研究问题。虽然新的深度学习方法和鲁棒性改进技术不断被提出，但由于其快速发展、多样的噪声模式和简单的评估指标，现有方法的鲁棒性评估往往是不足的。如果没有全面的鲁棒性评估，就很难理解该领域的进展并确定有效的方法。在本文中，我们建立了一个全面的鲁棒性基准称为\textbf{ARES-Bench}的图像分类任务。在我们的基准测试中，我们评估了ImageNet上55个典型深度学习模型的鲁棒性，这些模型具有不同的架构（例如，CNN、Transformers）和学习算法（例如，正态监督训练、预训练、对抗训练）在众多对抗攻击和分布外（OOD）数据集下。以鲁棒性曲线为主要评价标准，我们进行了大规模的实验，并得出了几个重要的发现，包括：1）对于同一模型架构，对抗性鲁棒性和自然鲁棒性之间存在内在的权衡; 2）对抗性训练有效地提高了对抗性鲁棒性，特别是在Transformer架构上进行时; 3）基于更多训练数据或自监督学习的预训练显著提高了自然鲁棒性。基于ARES-Bench，我们进一步分析了ImageNet上大规模对抗训练中的训练技巧。通过相应地设计训练设置，我们实现了新的最先进的对抗鲁棒性。我们已经公开了基准测试结果和代码平台。
2023-02-28 cs.CV
Statistical Multicriteria Benchmarking via the GSD-Front
Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出基于广义随机占优排序的GSD前沿方法，用于在多个质量指标下进行统计可靠的分类器比较，并构造了相应的统计估计与检验，在PMLB和OpenML上验证了其有效性。
2024-06-06 cs.LG stat.ME stat.ML
OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；China Academy of Information and Communications Technology（中国信息通信研究院）
本文提出OODFace基准，从常见损坏和外观变化两方面系统评估人脸识别模型在分布外场景下的鲁棒性，发现现有模型脆弱，并提供统一工具包与改进方向。
2025-03-27 cs.AI cs.CR cs.CV
Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
Texas A&M University-San Antonio（德州农工大学圣安东尼奥分校）
该研究针对医学图像与报告跨域检索场景，构建遮挡检索任务基准测试四种主流对比学习模型的鲁棒性，发现模型均对分布外数据敏感，领域训练数据和模型鲁棒性提升是关键方向。
2025-01-15 cs.AI cs.CL cs.CV
MultiRobustBench: Benchmarking Robustness Against Multiple Attacks
Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
针对现有对抗防御多聚焦单一攻击的问题，本文提出首个多攻击鲁棒性统一框架及基准MultiRobustBench，评估16种防御模型对9类共180次攻击的表现，发现现有方法最坏攻击鲁棒性仍弱于随机猜测。
2023-07-20 cs.CR cs.LG
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari（卡利亚里大学）；University of Genova（热那亚大学）；Pluribus One（普里布斯一号公司）
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题，提出可跨模型泛化的ImageNet-Patch数据集，经仿射变换后可快速评估鲁棒性，已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
DispBench: Benchmarking Disparity Estimation to Synthetic Corruptions
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学小组）；Max-Planck-Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克研究所信息学研究所萨尔兰信息学校区）
本文提出DispBench基准测试工具，系统评估视差估计方法在对抗攻击和2D Common Corruptions等合成损坏下的鲁棒性，并通过迄今最广泛的分析揭示准确率、可靠性与泛化能力之间的关键相关性。
2025-05-08 cs.CV cs.LG
Benchmarking Robustness of Adaptation Methods on Pre-trained Vision-Language Models
LMU Munich（慕尼黑大学）；University of Oxford（牛津大学）；Siemens AG（西门子公司）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
该研究评估了11种适应方法在多模态损坏下的鲁棒性，发现适应方法对文本损坏更敏感，全量微调未必最优，增加数据和参数反而可能降低鲁棒性。
2023-11-18 cs.CL cs.CV cs.LG
RobustMQ: Benchmarking Robustness of Quantized Models
Beihang University（北京航空航天大学）；Institute of Dataspace（数据空间研究院）；ETH Zurich（苏黎世联邦理工学院）；Zhongguancun Laboratory（中关村实验室）
本文提出RobustMQ基准，在ImageNet上全面评估量化模型对对抗攻击、自然损坏和系统噪声的鲁棒性，揭示了量化位宽对不同噪声的影响差异，为鲁棒量化模型的现实部署提供了重要见解。
2023-08-04 cs.CR cs.CV cs.LG
RAD: A Comprehensive Dataset for Benchmarking the Robustness of Image Anomaly Detection
Huazhong University of Science and Technology（华中科技大学）；School of Mechanical Science and Engineering（机械科学与工程学院）
本文提出RAD数据集，含视角、光照和模糊噪声，评估11种无监督和零样本异常检测方法，发现记忆库和合成异常辅助方法鲁棒性更强，利用基础模型知识可提升鲁棒性。
2024-07-22 cs.CV
Benchmarking System One decision models against trained classifiers and language models for automated decision gates
Texas State University（德克萨斯州立大学）
本研究基准测试系统一决策模型、训练分类器及语言模型在自动化决策门控中的表现，发现模型排名依赖条件，并提出了条件依赖的设计规则。
2026-10-08 cs.LG
Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift
College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大大学）；Imperial College London（伦敦帝国理工学院）；Radiology Department, Vietnam National Cancer Hospital（越南国家癌症医院放射科）；VinUni-Illinois Smart Health Center, VinUniversity（文大大学 - 伊利诺伊智能健康中心，文大大学）；The Computer Vision and Medical AI Lab, VinUniversity（计算机视觉与医学人工智能实验室，文大大学）
研究在域转移下乳腺钼靶成像基础模型的稳健性，用统一协议在多数据集上训练评估15种模型主干，发现特定视觉语言模型性能强，DINOv3是有竞争力基线，适应预训练未持续提升泛化，强调数据集级OOD评估是核心标准。
2026-08-28 cs.AI cs.CV
CheXphoto: 10,000+ Photos and Transformations of Chest X-rays for Benchmarking Deep Learning Robustness
VinBrain
用于胸部X射线判读的深度学习算法的临床部署需要一种可以集成到全球范围内的广泛临床工作流程中的解决方案。一种有吸引力的大规模部署方法是利用智能手机的普及，通过捕获X光照片，使用WhatsApp等消息服务与临床医生共享。然而，将胸部X射线算法应用于胸部X射线照片需要在存在伪影的情况下进行可靠的分类，伪影通常在用于训练机器学习模型的数字X射线中不会遇到。我们介绍CheXphoto，一个智能手机照片数据集和从CheXpert数据集采样的胸部X射线的合成摄影变换。为了生成CheXphoto，我们（1）在不同的设置下自动和手动捕获数字X射线的照片，（2）生成数字X射线的合成转换，使它们看起来像数字X射线和X射线胶片的照片。我们将此数据集作为一种资源发布，用于测试和提高深度学习算法的鲁棒性，以便在智能手机胸部X光照片上进行自动胸部X光解读。
2020-12-11 cs.CV cs.LG eess.IV
AudioMarkBench: Benchmarking Robustness of Audio Watermarking
Duke University（杜克大学）；Google（谷歌公司）
针对音频水印鲁棒性研究不足的问题，提出首个系统基准AudioMarkBench，涵盖多语言数据集、3种水印方法及15种扰动，在无盒、黑盒和白盒设置下评估其抗水印移除与伪造能力，揭示了现有技术的漏洞。
2024-11-13 cs.CR cs.LG cs.SD
Towards an Intrinsic Definition of Robustness for a Classifier
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；Université Côte d’Azur（蔚蓝海岸大学）；University of Münster（明斯特大学）；Université de Bretagne Occidentale（西布列塔尼大学）
在过去的几年中，分类器的鲁棒性已经成为一个至关重要的问题。事实上，已经证明，最先进的深度学习架构很容易被其输入的细微变化所欺骗。因此，找到一个训练好的分类器的鲁棒性的良好措施是该领域的一个关键问题。在本文中，我们指出，平均的样本在一个验证集的鲁棒性半径是一个统计上弱的措施。相反，我们建议根据样本的难度来衡量样本的重要性。我们激励提出的分数通过使用逻辑回归的理论案例研究，在那里我们表明，提出的分数是独立的选择的样本进行评估。我们还根据经验证明了所提出的分数能够在更复杂的环境中测量分类器的鲁棒性，而对样本的选择几乎没有依赖性，包括深度卷积神经网络和真实数据集。
2020-06-11 cs.CV stat.ML
Polyp-E: Benchmarking the Robustness of Deep Segmentation Models via Polyp Editing
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；The Fifth Medical Center, Chinese PLA General Hospital（中国人民解放军总医院第五医学中心）；Children’s Hospital of Zhejiang University School of Medicine（浙江大学医学院附属儿童医院）
本文提出Polyp-E基准，利用Latent Diffusion Model对真实息肉进行属性编辑生成高真实感数据，评估并揭示了深度分割模型对息肉位置和大小变化高度敏感，同时该编辑流程可作为数据增强提升模型泛化能力。
2024-10-22 cs.CV
BEARD: Benchmarking the Adversarial Robustness for Dataset Distillation
School of Electronic and Information Engineering, Beihang University（北京航空航天大学电子信息工程学院）；Department of Computer Science, University of Liverpool（利物浦大学计算机系）
本文提出BEARD基准测试，用于系统评估数据集蒸馏方法的对抗鲁棒性，引入三个关键指标并分析多种攻击、IPC设置及对抗训练效果，填补了该领域安全评估的空白。
2024-11-14 cs.CV
Signing Outside the Studio: Benchmarking Background Robustness for Continuous Sign Language Recognition
Hanyang University（汉阳大学）
这项工作的目标是背景鲁棒的连续手语识别。大多数现有的连续手语识别（CLR）基准具有固定的背景，并且在具有静态单色背景的工作室中拍摄。然而，签约并不仅限于现实世界中的工作室。为了分析背景变化下的CSLR模型的鲁棒性，我们首先评估现有的国家的最先进的CSLR模型在不同的背景。为了合成具有各种背景的标志视频，我们提出了一个管道，利用现有的CSLR基准自动生成基准数据集。我们新构建的基准数据集由不同的场景组成，以模拟真实世界的环境。我们观察到，即使是最新的CSLR方法也不能很好地识别具有变化背景的新数据集上的注释。在这方面，我们还提出了一个简单而有效的训练方案，包括（1）背景随机化和（2）CSL模型的特征解纠缠。在我们的数据集上的实验结果表明，我们的方法可以很好地推广到其他看不见的背景数据，只需最少的额外训练图像。
2022-11-01 cs.CV
Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（深圳北理莫斯科大学人工智能研究院）；Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（粤港澳情感智能与普适计算联合实验室）；Shenzhen University（深圳大学）；South China University of Technology（华南理工大学）
时间动作检测（Temporal Action Detection，简称TMF）是在长时间未修剪的视频中定位动作位置并识别动作类别的一种方法。虽然许多方法已经取得了可喜的成果，但其鲁棒性尚未得到深入研究。在实践中，我们观察到视频中的时间信息偶尔会被破坏，例如丢失或模糊的帧。有趣的是，现有的方法往往会导致显着的性能下降，即使只有一个帧受到影响。为了形式化地评估鲁棒性，我们建立了两个时间腐败鲁棒性基准测试，即THUMOS 14-C和ActivityNet-v1. 3-C。在本文中，我们广泛地分析了七种主要的特征提取方法的鲁棒性，并得到了一些有趣的发现：1）现有的方法特别容易受到时间破坏，并且端到端的方法往往比那些使用预训练的特征提取器的方法更容易受到影响; 2）脆弱性主要来自定位错误而不是分类错误; 3）当损坏发生在动作实例的中间时，可重构模型往往会产生最大的性能下降。除了建立一个基准，我们进一步开发了一个简单但有效的鲁棒训练方法，以抵御时间腐败，通过FrameDrop增强和时间鲁棒一致性损失。值得注意的是，我们的方法不仅提高了鲁棒性，而且在干净的数据上产生了有希望的改进。我们相信，这项研究将作为一个基准，为未来的研究在强大的视频分析。源代码和模型可在www.example.com上获得。
2024-03-29 cs.CV
ImageNet-E: Benchmarking Neural Network Robustness via Attribute Editing
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Inst. of Comput. Tech., CAS（中国科学院计算技术研究所）
最近的研究表明，ImageNet上更高的准确性通常会导致对不同腐败的更好的鲁棒性。因此，在本文中，我们不遵循传统的研究范式，即研究新的分布外损坏或扰动深度模型可能会遇到，我们在分布数据中进行模型调试，以探索模型可能对哪些对象属性敏感。为了实现这一目标，我们创建了一个工具包的对象编辑与控制的背景，大小，位置和方向，并创建一个严格的基准名为ImageNet-E（编辑）的图像分类器的鲁棒性评估对象属性。通过我们的ImageNet-E，我们评估了当前深度学习模型的性能，包括卷积神经网络和视觉Transformer。我们发现，大多数模型是相当敏感的属性变化。背景中的微小变化可导致top-1准确度平均下降9.23%。我们还评估了一些鲁棒模型，包括对抗训练模型和其他鲁棒训练模型，发现一些模型对属性变化的鲁棒性比香草模型差。基于这些发现，我们发现了通过预处理、架构设计和训练策略来增强属性鲁棒性的方法。我们希望这项工作可以为社区提供一些见解，并为鲁棒计算机视觉的研究开辟一条新的途径。代码和数据集可在https://github.com/alibaba/easyrobust上获得。
2023-03-30 cs.CV
Benchmarking the Robustness of UAV Tracking Against Common Corruptions
University of North Texas（北得克萨斯大学）；Purdue University（普渡大学）
针对无人机跟踪在常见扰动下鲁棒性评估缺乏平台的问题，提出大规模基准UAV-C，含18种扰动和超10K序列，评估12种算法，发现现有跟踪器易受扰动且复合扰动危害更大。
2024-03-18 cs.CV
Is Synthetic Data all We Need? Benchmarking the Robustness of Models Trained with Synthetic Images
TU Darmstadt（达姆施塔特工业大学）
本文首次对使用纯合成数据训练的有监督、自监督和多模态模型进行鲁棒性基准评测，发现合成克隆在部分指标上可比肩真实数据模型，但对噪声更敏感，并证明混合真实与合成数据及优化提示词可提升鲁棒性。
2024-07-01 cs.CV
Benchmarking Robustness of Multimodal Image-Text Models under Distribution Shift
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云服务）；University of Chicago（芝加哥大学）；Boson AI（玻色人工智能）；Mirelo AI（Mirelo人工智能）
本文构建覆盖五项任务、33种图文扰动的新基准，评估12个开源多模态模型的分布偏移鲁棒性，并提出MMI与MOR两项指标。
2024-01-19 cs.CV
Benchmarking CXR Foundation Models With Publicly Available MIMIC-CXR and NIH-CXR14 Datasets
Imperial College London（帝国理工学院伦敦分校）
本文评估了两种CXR基础模型在不同数据集上的性能，发现MedImageInsight在多数任务表现更优，而CXR-Foundation具有良好的跨数据集稳定性，强调了标准化评估的重要性。
2025-12-03 cs.CV
$\text{R}^2$-Bench: Benchmarking the Robustness of Referring Perception Models under Perturbations
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Michigan（密歇根大学）
针对指代表达感知模型鲁棒性研究不足的问题，构建了覆盖五大任务的$\text{R}^2$-Bench基准与基于LLM的$\text{R}^2$-Agent评估智能体，揭示模型脆弱性并提供鲁棒性评估工具。
2024-03-07 cs.CV
Benchmarking the Robustness of Agentic Systems to Adversarially-Induced Harms
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
该研究提出智能体系统危害分类法与BAD-ACTS基准，评估LLM类智能体对抗恶意诱导的鲁棒性，发现其攻击成功率达40%-90%，并提出零样本消息监控防御方法。
2026-08-11 cs.LG
MamaBench: Benchmarking LLM Robustness in Maternal and Child Health Diagnosis through Counterfactual Clinical Perturbation
Helpmum Africa（非洲帮助妈妈组织）；University of Ibadan（伊巴丹大学）
研究针对大语言模型在母婴健康诊断中缺乏对临床相似表现区分能力的问题，提出MamaBench基准及EA - RAG方法，通过实验揭示基础准确率高估稳健准确率现象，EA - RAG有效降低BTR，提升稳健准确率，为临床人工智能反事实稳健性研究提供参考。
2026-07-21 cs.CL cs.LG
Benchmarking Sensor Robustness in Plasma Diagnostic Models: A Systematic Evaluation on TokaMark
Independent Researcher（独立研究者）
研究针对托卡马克等离子体诊断模型，利用TokaMark数据集在多种故障场景和插补策略下评估多种模型，引入鲁棒性分数，发现临近破裂传感器故障对序列模型影响大，统计模型较稳定，还得出等离子体电流是关键诊断指标等结论。
2026-07-15 cs.LG physics.plasm-ph
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）；Wharton School of Business（沃顿商学院）
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法，它可以提高鲁棒性分布偏移，通过结合专家知识的“高层次”的数据结构与标准分类。具体来说，我们引入两阶段分类器称为记忆分类器。首先，它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如，对于图像数据，可以使用数字图像处理算法来提取特征。然后，在每个聚类中，我们通过深度神经网络等标准模型，基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明，该方法可以提高图像数据集的泛化能力，并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
A framework for benchmarking class-out-of-distribution detection and its application to ImageNet
Technion（以色列理工学院）；Amazon（亚马逊）
当部署用于风险敏感型任务时，深度神经网络必须能够检测到带有标签的实例，这些标签来自它们所训练的分布之外。在本文中，我们提出了一个新的框架，以基准的图像分类器的能力，以检测类的分布实例（即，其真实标签不出现在训练分布中的实例）。我们将这种技术应用于ImageNet，并对525个预训练的、公开可用的ImageNet-1 k分类器进行了基准测试。为任何ImageNet-1 k分类器生成基准的代码，以及为上述525个模型准备的基准，可在https://github.com/mdabbah/COOD_benchmarking上获得。通过分析这些模型的测试结果，证明了该框架的有效性及其相对于现有基准测试的优势，这些结果揭示了许多新的观察结果，包括：（1）知识蒸馏一致地提高了分布外类（C-OOD）检测性能;（3）语言-视觉CLIP模型实现了良好的zero-shot检测性能，其最佳实例优于所有其他评估模型的96%;（4）准确度和分布内排名与C-OOD检测呈正相关;（5）我们比较了C-OOD检测的各种置信函数。我们的配套论文也发表在ICLR 2023（我们可以从523个Imagenet分类器的选择性预测和不确定性估计性能中学到什么），研究了这些分类器在分布环境中的不确定性估计性能（排名，校准和选择性预测性能）。
2023-02-23 cs.CV cs.LG
SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness
KAIST（韩国科学技术院）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Kakao Enterprise；Inha University（仁荷大学）
随机平滑是目前最先进的方法，用于从神经网络构建可证明鲁棒的分类器来对抗$\ell_2$对抗性扰动。在该范例下，分类器的鲁棒性与预测置信度一致，即，来自平滑分类器的更高置信度意味着更好的鲁棒性。这促使我们重新思考在校准平滑分类器的置信度方面准确性和鲁棒性之间的基本权衡。在本文中，我们提出了一个简单的训练方案，创造SmoothMix，通过自混合来控制平滑分类器的鲁棒性：它沿着每个输入的对抗扰动方向对样本的凸组合进行训练。所提出的过程有效地识别过度自信，近类样本的平滑分类器的情况下，有限的鲁棒性的原因，并提供了一种直观的方式来自适应地设置一个新的决策边界这些样本之间的更好的鲁棒性。我们的实验结果表明，该方法可以显着提高认证的$\ell_2$ -鲁棒性的平滑分类器相比，现有的国家的最先进的强大的训练方法。
2021-11-17 cs.AI cs.LG
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
本文提出ARBiBench基准，系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性，发现数据集相关性和黑盒优势，为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
Investigating the Corruption Robustness of Image Classifiers with Random Lp-norm Corruptions
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所（BAuA））；University of Stuttgart（斯图加特大学）
本研究提出使用随机p范数扰动增强图像分类器训练数据，评估模型对不可感知扰动的鲁棒性，并发现组合p范数扰动增强显著提升鲁棒性，优于现有数据增强方案。
2024-01-10 cs.AI cs.CV cs.LG
Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation
Department of Mathematics and Computer Science（数学与计算机科学系）；Saarland University（萨尔大学）
最近的工作表明，最先进的分类器是相当脆弱的，在这个意义上，一个小的对抗性的变化，原来具有高置信度正确分类的输入导致错误的分类再次具有高置信度。这引起了人们的担忧，这种分类器容易受到攻击，并质疑其在安全关键系统中的使用。在本文中，我们展示了第一次正式保证的鲁棒性的分类器给出特定于实例的下限的规范所需的输入操作改变分类器的决定。在此基础上，我们提出了Cross-Lipschitz正则化泛函。我们表明，使用这种形式的正则化核方法分别。神经网络提高了分类器的鲁棒性，而没有任何预测性能的损失。
2017-11-05 cs.AI cs.CV cs.LG
Benchmarking Adversarial Robustness
Tsinghua University（清华大学）；RealAI
深度神经网络容易受到对抗性样本的攻击，这成为深度学习发展中最重要的研究问题之一。虽然近年来已经做了很多努力，但对对抗攻击和防御算法进行正确和完整的评估具有重要意义。在本文中，我们建立了一个全面的，严格的，连贯的基准来评估对抗图像分类任务的鲁棒性。在简要回顾了大量具有代表性的攻击和防御方法后，以两条鲁棒性曲线作为公平的评价标准，进行了大规模的实验，以充分了解这些方法的性能。根据评估结果，我们得出了几个重要的发现，并为未来的研究提供见解。
2019-12-26 cs.CR cs.CV cs.LG
Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
University of California, Berkeley（加州大学伯克利分校）
针对深度神经分类器中准确率与对抗鲁棒性的权衡问题，提出混合标准与鲁棒模型输出概率的方法，无需额外训练即可显著改善权衡，并在鲁棒性可证明时提供理论保证。
2024-06-03 cs.CV cs.LG
