How does Disagreement Help Generalization against Label Corruption?
University of Technology Sydney（悉尼科技大学）；RIKEN-AIP（理化学研究所先进智能项目中心）；Alibaba Damo Academy（阿里巴巴达摩院）；University of Tokyo（东京大学）
带噪标签的学习是弱监督学习中最热门的问题之一。基于深度神经网络的记忆效应，在小损失实例上进行训练对于处理噪声标签变得非常有前途。这促进了最先进的方法“协同教学”，该方法使用小损失技巧交叉训练两个深度神经网络。然而，随着时代的增加，两个网络收敛到一个共识，合作教学减少到自我训练的MentorNet。为了解决这个问题，我们提出了一个强大的学习范式，称为合作教学+，它的桥梁“更新的分歧”的战略与原来的合作教学。首先，两个网络前馈并预测所有数据，但仅保留预测不一致的数据。然后，在这些不一致的数据中，每个网络选择其小损失数据，但是从其对等网络反向传播小损失数据并更新其自己的参数。在基准数据集上的实证结果表明，Co-teaching+在训练模型的鲁棒性方面远远优于许多最先进的方法。
2019-05-12 cs.LG stat.ML
Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
多样的数据增强策略是提高计算机视觉模型鲁棒性的自然方法，以应对数据分布中不可预见的变化。然而，定制这样的策略以使模型针对特定类别的腐败或攻击而不对其他类别的腐败造成实质性损失的能力仍然是难以捉摸的。在这项工作中，我们成功地强化了一个模型，以抵御基于傅立叶的攻击，同时在CIFAR-10-C和CIFAR-100-C数据集上产生优于AugMix的准确性和校准结果;对于一些高严重性的噪声和数字类型的损坏，分类误差降低了10个百分点以上。我们实现这一点，将傅立叶基扰动的AugMix图像增强框架。因此，我们证明了AugMix框架可以被定制为有效地针对特定的分布偏移，同时提高整体模型的鲁棒性。
2022-02-24 cs.CV cs.LG
Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts
Laboratory of Intelligent Systems（智能系统实验室）
本文提出类特定专家混合架构，通过为每个类别训练专门网络片段并聚合输出，以增强神经网络对常见污染的鲁棒性，并强调使用常见污染基准进行全面评估的重要性。
2023-11-16 cs.AI cs.CV cs.LG
Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research（谷歌研究院）
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计，这是已知的是有效的标签腐败在实践中。在标签损坏的情况下，我们证明了这个简单的估计在广泛的广义线性模型，包括高斯回归，泊松回归和二项式回归上实现了极大极小近似最优风险。最后，我们将估计量扩展到更具挑战性的标签和协变量腐败设置，并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
RADAR: Defending RAG Dynamically against Retrieval Corruption
School of Intelligence Science and Technology, Nanjing University, Suzhou, China（南京大学智能科学与技术学院，中国，苏州）；City University of Hong Kong, Hong Kong, China（香港城市大学，中国，香港）；Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所，北京，中国）
RADAR通过将可靠的上下文选择建模为图基能最小化问题，利用最大流最小割算法进行精确求解，采用贝叶斯记忆节点递归更新信念状态，以平衡稳定性和对抗性攻击，同时适应真实知识变化，在动态数据集上实现了比基线方法更优越的鲁棒性和响应质量，且存储开销小。
2026-05-21 cs.CR cs.LG
Picket: Guarding Against Corrupted Data in Tabular Data during Learning and Inference
UW-Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University in Australia（澳大利亚卡内基梅隆大学）
数据损坏是现代机器学习部署的一个障碍。损坏的数据可能会严重影响学习模型，也可能导致无效的推断。我们提出了Picket，一个简单的框架，以防止在表格数据上训练和部署机器学习模型期间发生数据损坏。对于训练阶段，Picket从训练数据中识别并移除损坏的数据点，以避免获得有偏差的模型。对于部署阶段，Picket以在线方式标记损坏的查询指向一个经过训练的机器学习模型，该模型由于噪声将导致不正确的预测。为了检测损坏的数据，Picket使用了一种用于混合类型表格数据的自监督深度学习模型，我们称之为PicketNet。为了最大限度地减少部署负担，学习PicketNet模型不需要任何人工标记的数据。Picket被设计为一个插件，可以增加任何机器学习管道的鲁棒性。我们在各种现实数据上评估Picket，考虑不同的腐败模型，包括训练和测试期间的系统性和对抗性噪声。我们表明，Picket在从SVM到神经网络的各种模型的训练和部署过程中始终可以防止数据损坏，击败了从数据质量验证模型到强大的离群检测模型的各种竞争方法。
2021-07-26 cs.LG stat.ML
A Fourier Perspective on Model Robustness in Computer Vision
UC Berkeley（加州大学伯克利分校）；Google Research, Brain team（谷歌研究院大脑团队）
实现对分布偏移的鲁棒性是计算机视觉的长期且具有挑战性的目标。数据增强是用于提高鲁棒性的常用方法，然而鲁棒性增益通常跨损坏类型是不一致的。实际上，在存在随机噪声的情况下提高性能通常会遇到在诸如对比度变化的其他破坏上降低的性能。了解何时以及为什么会发生这种权衡是减轻它们的关键一步。为此，我们研究了最近观察到的由高斯数据增强和对抗训练引起的权衡。我们发现，这两种方法都提高了鲁棒性的腐败集中在高频域，而降低了鲁棒性的腐败集中在低频域。这表明，通过数据增强减轻这些权衡的一种方法是使用更多样化的增强集。为此，我们观察到，AutoAugment，最近提出的数据增强政策优化干净的准确性，实现了最先进的CIFAR-10-C基准的鲁棒性。
2020-09-17 cs.CV cs.LG stat.ML
NSA: Naturalistic Support Artifact to Boost Network Confidence
University of British Columbia（不列颠哥伦比亚大学）；TrojAI Inc.（TrojAI公司）；Western University（韦仕敦大学）
本文提出自然主义支持伪影（NSA），通过DC-GAN生成高保真自然外观物体，在不访问模型参数时提升视觉AI对自然损坏和对抗攻击的鲁棒性，实验显示预测置信度提升四倍，对抗准确率平均提高8%。
2023-07-27 cs.CV cs.LG
DispBench: Benchmarking Disparity Estimation to Synthetic Corruptions
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学小组）；Max-Planck-Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克研究所信息学研究所萨尔兰信息学校区）
本文提出DispBench基准测试工具，系统评估视差估计方法在对抗攻击和2D Common Corruptions等合成损坏下的鲁棒性，并通过迄今最广泛的分析揭示准确率、可靠性与泛化能力之间的关键相关性。
2025-05-08 cs.CV cs.LG
VisMoDAl: Visual Analytics for Evaluating and Improving Corruption Robustness of Vision-Language Models
Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）；George Mason University（乔治·马歇尔大学）
本文提出可视化分析框架VisMoDAl，用于评估视觉-语言模型在多种数据损坏下的鲁棒性并识别低表现样本，从而指导数据增强策略制定。
2025-09-18 cs.AI cs.HC cs.LG
DeepMoM: Robust Deep Learning With Median-of-Means
Department of Mathematics, Ruhr University, Bochum（波鸿鲁尔大学数学系）
深度学习中使用的数据是出了名的有问题。例如，数据通常来自不同的来源，很少彻底清理和审查，有时甚至故意损坏。针对算法弱点的故意破坏已经在“对抗性攻击”的标签下得到了广泛的研究。相反，对反映数据质量有限的更常见的损坏情况的研究要少得多。这种“随机”损坏是由于测量误差、不可靠的来源、方便的采样等。这种腐败在深度学习中很常见，因为数据很少根据严格的协议收集-与经典统计学某些部分的正式数据收集形成强烈对比。本文件涉及这种腐败。我们介绍了一种方法的动机是最近的见解中位数的手段和Le Cam的原则，我们表明，该方法可以很容易地实现，我们证明，它在实践中表现得很好。总之，我们相信我们的方法是基于最小二乘和交叉熵损失的标准参数训练的一个非常有前途的替代方案。
2021-11-08 cs.LG stat.CO stat.ML
MNIST-C: A Robustness Benchmark for Computer Vision
Google Inc.（谷歌公司）
我们介绍了MNIST-C数据集，这是一个适用于MNIST测试集的15种损坏的综合套件，用于对计算机视觉中的分布鲁棒性进行基准测试。通过几个实验和可视化，我们证明了我们的腐败显着降低性能的最先进的计算机视觉模型，同时保留测试图像的语义内容。与对抗性鲁棒性的流行概念相反，我们的模型不可知的腐败不寻求最坏情况下的性能，而是被设计为广泛和多样化，捕获现代模型的多种故障模式。事实上，我们发现，根据MNIST-C的测量，之前发布的几种对抗性防御显著降低了鲁棒性。我们希望我们的基准作为一个有用的工具，在未来的工作中设计的系统，能够学习强大的功能表示，捕捉输入的底层语义。
2019-06-05 cs.CV cs.LG
Certified Robust Neural Networks: Generalization and Corruption Resistance
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种新型分布鲁棒损失函数，通过整体鲁棒（HR）训练方法在理论上和实证上同时保证了对数据规避与投毒攻击的认证鲁棒性和泛化能力，有效缓解了对抗训练中的过拟合问题。
2023-05-18 cs.AI cs.LG stat.ML
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
PDA: Progressive Data Augmentation for General Robustness of Deep Neural Networks
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
对抗性图像旨在误导深度神经网络（DNN），近年来引起了极大的关注。虽然有几种防御策略对对抗性样本具有令人鼓舞的鲁棒性，但它们中的大多数都未能提高对常见损坏的鲁棒性，例如噪声，模糊和天气/数字效果（例如霜冻，像素化）。为了解决这个问题，我们提出了一种简单而有效的方法，称为渐进式数据增强（PDA），它通过在训练过程中逐步注入不同的对抗性噪声来实现DNN的一般鲁棒性。换句话说，使用PDA训练的DNN能够获得比最近最先进的方法更强的抵抗对抗攻击以及常见腐败的鲁棒性。我们还发现，PDA比现有技术更有效，并且能够在不被攻击的情况下防止干净样本的准确性下降。此外，我们从理论上证明了PDA可以控制扰动界，并保证更好的推广能力比现有的工作。在CIFAR-10，SVHN和ImageNet等许多基准上进行的大量实验表明，PDA在各种实验设置中的表现明显优于其同行。
2020-02-24 cs.CV cs.LG stat.ML
Noisy Learning for Neural ODEs Acts as a Robustness Locus Widening
Institut de Recherche Technologique SystemX（SystemX技术研究院）；Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔计算机、信号与自动化研究中心）
我们调查的问题和挑战评估的鲁棒性微分方程为基础的（DE）网络对合成分布偏移。我们提出了一种新的和简单的精度度量，可用于评估固有的鲁棒性和验证数据集腐败模拟器。我们还提出了方法论建议，注定要评估神经DE的鲁棒性的许多方面，并严格比较它们与离散的同行。然后，我们使用这个标准来评估一种廉价的数据增强技术，作为一种可靠的方法来证明神经ODE对多个数据集上模拟图像损坏的自然鲁棒性。
2022-06-16 cs.LG
Robust Learning with Jacobian Regularization
Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）；Diffeo Labs（Diffeo实验室）
可靠系统的设计必须保证对输入扰动的稳定性。在机器学习中，这种保证需要防止过拟合并确保模型的鲁棒性以防止输入数据的损坏。为了最大限度地提高稳定性，我们分析并开发了一种计算效率高的雅可比正则化实现，增加了神经网络的分类边缘。雅可比正则化器的稳定效果导致鲁棒性的显著改善，如针对随机和对抗性输入扰动所测量的，而不会严重降低干净数据的泛化性能。
2019-08-07 cs.LG stat.ML
Robust Federated Training via Collaborative Machine Teaching using Trusted Instances
Symantec Research Labs（赛门铁克研究实验室）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
联邦学习使用代理托管的本地数据执行分布式模型训练。它只共享模型参数更新，以便在服务器上进行迭代聚合。虽然它是隐私保护的设计，联邦学习是容易受到本地代理的噪音腐败，如在以前的研究对抗数据投毒威胁联邦学习系统。即使是一个噪声破坏的代理也会使模型训练产生偏差。在我们的工作中，我们提出了一个具有多个分布式教师的协作和隐私保护的机器教学范例，以提高联邦训练过程对本地数据损坏的鲁棒性。我们假设每个本地代理（教师）都有资源来验证一小部分可信实例，但这本身可能不足以进行学习。在建议的协作机器教学方法中，这些可信的实例指导分布式代理共同选择一个紧凑的，而信息丰富的训练子集，从他们自己托管的数据。同时，智能体学习将有限幅度的变化添加到所选择的数据实例中，以提高联邦训练模型的测试性能，尽管训练数据损坏。玩具和真实数据上的实验表明，我们的方法可以有效地识别训练集错误，并建议适当的修改标签。我们的算法是迈向可信的机器学习的一步。
2019-05-08 cs.AI cs.LG stat.ML
Defending Against Image Corruptions Through Adversarial Augmentations
DeepMind
现代神经网络在图像分类方面表现出色，但它们仍然容易受到模糊、斑点噪声或雾等常见图像损坏的影响。最近专注于这个问题的方法，如AugMix和DeepAugment，引入了对图像损坏分布进行预期操作的防御。与此相反，$\ell_p$ -范数有界扰动的文献侧重于对最坏情况下的腐败的防御。在这项工作中，我们调和这两种方法，提出AdversarialAugment，一种技术，优化图像到图像模型的参数，以生成adversarially损坏的增强图像。我们从理论上激励我们的方法，并给出其理想化版本以及DeepAugment的一致性的充分条件。我们的分类器改进了CIFAR-10-C上预期进行的常见图像损坏基准测试的最新技术，并提高了CIFAR-10和ImageNet上针对$\ell_p$范数有界扰动的最坏情况性能。
2021-12-16 cs.CV cs.LG
Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对现有图像损坏数据集覆盖不全的问题，提出MUFIA算法识别致模型失效的频率分量组合，发现SOTA鲁棒模型也难抵御其生成的低可见度损坏，凸显需更全面方法增强模型抗损坏鲁棒性。
2023-06-12 cs.AI cs.CR cs.CV
How Does Frequency Bias Affect the Robustness of Neural Image Classifiers against Common Corruption and Adversarial Perturbations?
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research（新加坡科技研究局）
模型鲁棒性对于机器学习模型在实际应用中的可靠部署至关重要。最近的研究表明，数据增强可能导致模型过度依赖低频域中的特征，从而牺牲低频损坏的性能，突出了频率和鲁棒性之间的联系。在这里，我们进一步通过其雅可比矩阵的镜头更直接地研究模型的频率偏差及其对模型鲁棒性的影响。为了实现这一点，我们提出了雅可比频率正则化模型的雅可比有一个更大的比例的低频分量。通过对四个图像数据集的实验，我们表明，将分类器偏向低（高）频分量可以带来针对高（低）频腐败和对抗性扰动的性能增益，尽管低（高）频腐败的性能有所折衷。我们的方法阐明了频率偏差和深度学习模型的鲁棒性之间更直接的联系。
2022-05-09 cs.CV cs.LG
A Flat Minima Perspective on Understanding Augmentations and Model Robustness
本文从平坦极小值角度理论揭示了标签保持增强提升模型鲁棒性的通用条件，并通过实验验证其在不同分布偏移下的有效性。
2025-12-14 cs.AI cs.LG
CorrGAN: Input Transformation Technique Against Natural Corruptions
UT Dallas（德克萨斯大学达拉斯分校）；Siemens Corporation, Technology（西门子公司技术部）
由于深度神经网络（DNN）在不同任务上的准确性不断提高，许多实时的系统都在使用DNN。这些DNN容易受到对抗性干扰和破坏。具体来说，雾、模糊、对比度等自然损坏会影响自动驾驶汽车中DNN的预测。在实时的中，需要检测这些损坏，并且还需要对损坏的输入进行去噪以正确地预测。在这项工作中，我们提出了CorrGAN方法，它可以生成良性输入时，提供了一个损坏的输入。在这个框架中，我们训练生成对抗网络（GAN）与新的中间输出为基础的损失函数。GAN可以对损坏的输入进行降噪并生成良性输入。通过实验，我们发现高达75.2%的错误分类输入可以通过使用CorrGAN的DNN正确分类。
2022-04-19 cs.CV cs.LG
Fixed-Set Robustness in Programming by Example: Example Corruption and Semantic Partition Recovery
研究编程示例系统中对抗性示例损坏的鲁棒性，提出版本空间分区聚合（VPA）防御方法，实验表明低裕度任务易受攻击，VPA仅在语义分区投票裕度存在时有效。
2026-07-03 cs.LG cs.PL
Mint: A Simple Test-Time Adaptation of Vision-Language Models against Common Corruptions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对CLIP等视觉语言模型在输入损坏下性能下降的问题，提出Mint测试时自适应方法，通过最大化伪标签类间方差提升嵌入质量，在多个基准上有效。
2025-10-25 cs.CV cs.LG
Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；NVIDIA（英伟达）；ASU（亚利桑那州立大学（ASU））
基于3D点云数据的深度神经网络在现实世界中得到了广泛的应用，尤其是在安全关键型应用中。然而，他们对腐败的鲁棒性研究较少。在本文中，我们提出了ModelNet 40-C，这是第一个全面的3D点云腐败鲁棒性基准测试，包括15个常见和现实的腐败。我们的评估显示，ModelNet 40和ModelNet 40-C的最先进（SOTA）模型的性能之间存在显着差距。为了减少差距，我们提出了一个简单而有效的方法，通过结合PointCutMix-R和TENT评估了广泛的增强和测试时自适应策略。我们确定了一些关键的见解，为未来的研究腐败的鲁棒性点云识别。例如，我们揭示了具有适当训练配方的基于transformer的架构实现了最强的鲁棒性。我们希望我们的深入分析将推动在3D点云领域开发强大的训练策略或架构设计。我们的代码库和数据集包含在https://github.com/jiachens/ModelNet40-C中
2022-01-28 cs.AI cs.CV cs.LG
Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
最先进的深度神经网络容易受到常见的破坏（例如，由天气变化、系统误差和处理引起的输入数据劣化、失真和干扰）。虽然在分析和提高图像理解中模型的鲁棒性方面已经取得了很大的进展，但在视频理解中的鲁棒性在很大程度上尚未探索。在本文中，我们建立了一个腐败的鲁棒性基准，迷你动力学-C和迷你SSV 2-C，它认为时间腐败超过空间腐败的图像。我们第一次尝试进行一个详尽的研究腐败的鲁棒性，建立基于CNN和基于变换器的时空模型。该研究为鲁棒模型的设计和训练提供了一定的指导：基于变换器的模型比基于CNN的模型具有更好的鲁棒性，时空模型的泛化能力意味着对时间扰动的鲁棒性;模型腐败鲁棒性（特别是时间域中的鲁棒性）随着计算成本和模型容量而增强，这可能与当前提高模型计算效率的趋势相矛盾。此外，我们发现图像相关任务的鲁棒性干预（例如，具有噪声的训练模型）可能不适用于空间-时间模型。
2022-08-22 cs.CV
Benchmarking the Robustness of Quantized Models
Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Beihang University（北京航空航天大学）
本文在ImageNet上全面评估了量化模型对对抗攻击、自然损坏和系统噪声的鲁棒性，发现低位量化对对抗攻击更具弹性但更易受自然和系统噪声影响。
2023-04-08 cs.AI cs.LG
Benchmarking the Robustness of UAV Tracking Against Common Corruptions
University of North Texas（北得克萨斯大学）；Purdue University（普渡大学）
针对无人机跟踪在常见扰动下鲁棒性评估缺乏平台的问题，提出大规模基准UAV-C，含18种扰动和超10K序列，评估12种算法，发现现有跟踪器易受扰动且复合扰动危害更大。
2024-03-18 cs.CV
AR2: Attention-Guided Repair for the Robustness of CNNs Against Common Corruptions
Zhejiang University（浙江大学）；Kyushu University（九州大学）
本文提出AR2方法，通过对齐干净与损坏图像的类激活图并迭代微调，无需改架构即可增强预训练CNN对常见损坏的鲁棒性，在多个基准上优于现有方法。
2025-07-08 cs.CV cs.LG cs.SE
Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective
Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；New York University（纽约大学）
本文从融合策略角度评估并提升激光雷达-相机融合模型在恶劣天气下的鲁棒性，提出灵活加权特征融合方法，在多种模型上验证了其广泛适用性与有效性。
2024-02-05 cs.CV cs.LG
A Survey on the Robustness of Computer Vision Models against Common Corruptions
该综述梳理了提升计算机视觉模型抗常见扰动鲁棒性的三类方法，发布统一基准框架解决评估不一致问题，实验发现鲁棒性不随模型与数据规模必然提升，指出需开发高效利用有限数据的新型学习策略。
2024-09-14 cs.CV
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems（智能系统实验室）
本文提出对抗对比学习框架，通过生成实例级对抗样本并优化对比损失，同时增强目标检测器对对抗攻击和常见损坏的鲁棒性，以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
Improving robustness against common corruptions with frequency biased models
University of Freiburg（弗莱堡大学）；Inria（法国国家信息与自动化研究所）
当训练和测试分布是独立同分布时，CNN的表现非常好，但是看不见的图像损坏可能会导致性能大幅下降。在各种真实场景中，诸如随机噪声、压缩伪影或天气失真之类的意外失真是常见现象。提高受损图像的性能不能导致i.i.d性能下降这是许多最先进的鲁棒方法所面临的挑战。图像损坏类型在频谱中具有不同的特征，并且将受益于目标类型的数据增强，然而，这在训练期间通常是未知的。在本文中，我们介绍了两个专家模型的混合物专门在高，低频鲁棒性，分别。此外，我们提出了一种新的正则化方案，最大限度地减少卷积特征映射的总变差（TV），以增加高频鲁棒性。该方法在不降低分发性能的情况下改进了损坏的图像。我们在ImageNet-C上演示了这一点，并在汽车数据集上演示了真实世界的损坏，包括对象分类和目标检测。
2021-03-30 cs.CV
Adaptive Sensitivity Analysis for Robust Augmentation against Natural Corruptions in Image Segmentation
University of Maryland（马里兰大学）；Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）；Adobe Research（Adobe研究）
本研究针对图像分割模型应对自然损坏鲁棒性不足及传统灵敏度分析计算成本高的问题，提出自适应灵敏度引导的增强方法，实现高效实时估计，仅需少量微调即可在真实与合成数据集上取得优于现有技术的鲁棒性。
2025-06-16 cs.CV
Benchmarking Large Multimodal Models against Common Corruptions
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Sea AI Lab（Sea AI 实验室）；ByteDance（字节跳动）；University of Chicago（芝加哥大学）
该报告提出 MMCBench 基准，系统评估超过 100 个多模态大模型在常见扰动下跨文本、图像和语音四类生成任务中的输出自洽性与可靠性。
2024-01-22 cs.CL cs.CR cs.CV
Co-Seg: An Image Segmentation Framework Against Label Corruption
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）；The University of Alabama（阿拉巴马大学）
受监督的深度学习性能与高质量标签的可用性密切相关。如果直接在噪声数据集上训练，神经网络会逐渐过拟合损坏的标签，导致测试时性能严重下降。在本文中，我们提出了一种新的深度学习框架，即Co-Seg，用于在包含低质量噪声标签的数据集上协作训练分割网络。我们的方法首先同时训练两个网络来筛选所有样本，并获得具有可靠标签的子集。然后，一个有效的但易于实现的标签校正策略，以丰富的可靠子集。最后，使用更新的数据集，我们重新训练分割网络以确定其参数。在两个有噪声的标签场景中的实验表明，我们提出的模型可以实现与无噪声标签上训练的监督学习所获得的结果相当的结果。此外，我们的框架可以很容易地在任何分割算法中实现，以增加其对噪声标签的鲁棒性。
2021-01-31 cs.CV cs.LG
Robustness of SAM: Segment Anything Under Corruptions and Beyond
Kyung Hee University（庆熙大学）
本研究首次全面评估SAM在风格变化、15种常见损坏、局部遮挡及对抗攻击下的鲁棒性，揭示其实际部署中的性能局限。
2023-09-04 cs.CV
Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（深圳北理莫斯科大学人工智能研究院）；Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（粤港澳情感智能与普适计算联合实验室）；Shenzhen University（深圳大学）；South China University of Technology（华南理工大学）
时间动作检测（Temporal Action Detection，简称TMF）是在长时间未修剪的视频中定位动作位置并识别动作类别的一种方法。虽然许多方法已经取得了可喜的成果，但其鲁棒性尚未得到深入研究。在实践中，我们观察到视频中的时间信息偶尔会被破坏，例如丢失或模糊的帧。有趣的是，现有的方法往往会导致显着的性能下降，即使只有一个帧受到影响。为了形式化地评估鲁棒性，我们建立了两个时间腐败鲁棒性基准测试，即THUMOS 14-C和ActivityNet-v1. 3-C。在本文中，我们广泛地分析了七种主要的特征提取方法的鲁棒性，并得到了一些有趣的发现：1）现有的方法特别容易受到时间破坏，并且端到端的方法往往比那些使用预训练的特征提取器的方法更容易受到影响; 2）脆弱性主要来自定位错误而不是分类错误; 3）当损坏发生在动作实例的中间时，可重构模型往往会产生最大的性能下降。除了建立一个基准，我们进一步开发了一个简单但有效的鲁棒训练方法，以抵御时间腐败，通过FrameDrop增强和时间鲁棒一致性损失。值得注意的是，我们的方法不仅提高了鲁棒性，而且在干净的数据上产生了有希望的改进。我们相信，这项研究将作为一个基准，为未来的研究在强大的视频分析。源代码和模型可在www.example.com上获得。
2024-03-29 cs.CV
Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization
Syndey AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；Department of Automation, University of Science and Technology of China（中国科学技术大学自动化系）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）
鲁棒泛化的目的是解决最具挑战性的数据分布，这些数据分布在训练集中是罕见的，并且包含严重的噪声，即，光子限制的腐败常见的解决方案，如分布鲁棒优化（DRO）专注于最坏情况下的经验风险，以确保在不常见的噪声分布上的低训练误差。然而，由于过度参数化的模型是在稀缺的最坏情况下的数据进行优化，DRO无法产生一个平滑的损失景观，从而努力推广到测试集。因此，我们不是专注于最坏情况下的风险最小化，而是通过惩罚最坏情况分布的锐度来提出SharpDRO，该分布测量学习参数邻居周围的损失变化。通过最坏情况下的锐度最小化，所提出的方法成功地产生一个平坦的损失曲线上的损坏的分布，从而实现鲁棒的推广。此外，通过考虑分布注释是否可用，我们将SharpDRO应用于两个问题设置，并设计了一个最坏情况下的选择过程，以实现鲁棒泛化。理论上，我们证明了SharpDRO具有很好的收敛保证。在实验中，我们使用CIFAR 10/100和ImageNet 30数据集模拟光子限制的腐败，并表明SharpDRO对严重的腐败表现出很强的泛化能力，并超过了众所周知的基线方法，具有很大的性能增益。
2023-03-23 cs.CV
Benchmarks for Corruption Invariant Person Re-identification
Southern University of Science and Technology（南方科技大学）
在安全关键型应用中部署人员重新识别（ReID）模型时，了解模型对各种图像损坏的鲁棒性至关重要。然而，目前对人ReID的评估只考虑了干净数据集的性能，而忽略了各种损坏场景中的图像。在这项工作中，我们全面建立了六个ReID基准，用于学习腐败不变表示。在ReID领域，我们是第一个对单模态和跨模态数据集（包括Market-1501，CUHK 03，MSMT 17，RegDB，SYSU-MM 01）中的腐败不变学习进行详尽研究的人。在复制和检查了21种最近的ReID方法的鲁棒性性能之后，我们有一些观察结果：1）与基于CNN的模型相比，基于transformer的模型对损坏的图像更鲁棒，2）增加随机擦除（一种常用的增强方法）的概率会损害模型的损坏鲁棒性，3）跨数据集泛化随着损坏鲁棒性的增加而提高。通过分析上述观察结果，我们提出了单模态和跨模态ReID数据集的强基线，从而提高了针对不同损坏的鲁棒性。我们的代码可在https://github.com/MinghuiChen43/CIL-ReID上获得。
2022-04-25 cs.CV
Robo3D: Towards Robust and Reliable 3D Perception against Corruptions
Shanghai AI Laboratory（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；Hochschule Bremerhaven（不来梅哈芬应用技术大学）；East China Normal University（华东师范大学）；The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）
Robo3D提出首个针对3D感知在自然干扰下的鲁棒性基准，涵盖八种干扰类型，并引入密度不敏感训练框架与灵活体素化策略以提升模型韧性。
2023-09-02 cs.CV cs.RO
Sample-adaptive Augmentation for Point Cloud Recognition Against Real-world Corruptions
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出 AdaptPoint 自动增强框架，通过样本结构自适应的变形与掩码模拟损坏，并结合判别器和感知反馈生成适当难度样本，同时发布真实损坏数据集 ScanObjectNN-C，在多个基准上取得最优性能。
2023-09-19 cs.CV
Target-Guided Adversarial Point Cloud Transformer Towards Recognition Against Real-world Corruptions
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有基于Transformer的点云识别模型易过拟合、抗损坏鲁棒性不足的问题，提出集成对抗显著性标识符与目标引导提示器的APCT架构，通过迭代对抗特征擦除增强全局结构捕捉，在多个损坏基准上达SOTA。
2024-11-01 cs.CV
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh（匹兹堡大学）
最近，为了解决卷积神经网络中的一些普遍弱点，已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性，因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出，数据增强仍然是必不可少的模型是强大的腐败，我们建议探索的影响，该架构对腐败的鲁棒性。我们发现，视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现，参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
CSI: Enhancing the Robustness of 3D Point Cloud Recognition against Corruption
Peking University（北京大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
针对点云识别模型在数据损坏下泛化性不足的问题，提出结合密度感知采样与自熵最小化的关键子集识别方法CSI，显著提升了损坏基准上的识别鲁棒性。
2023-10-05 cs.CV
Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出基于图像退化启发的成员推断攻击方法，用于检测目标图像是否被用于训练大视觉-语言模型，通过图像退化和文本嵌入相似性进行攻击。
2026-02-04 cs.CR cs.CV
DSRC: Learning Density-insensitive and Semantic-aware Collaborative Representation against Corruptions
Academy for Engineering and Technology, Fudan University（复旦大学工程技术研究院）；Innovation Platform for Academicians of Hainan Province（海南省院士创新平台）；Duke Kunshan University（昆山杜克大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车股份有限公司）
本文提出DSRC，一种鲁棒性增强的协作感知方法，通过语义引导的稀疏到密集蒸馏和特征到点云重建，在真实世界损坏条件下实现密度不敏感与语义感知的协作表示，优于现有最先进方法。
2025-02-27 cs.CV
Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption
NTT, Inc.（NTT公司）；Kyoto University（京都大学）；Yokohama National University（横滨国立大学）
针对CLIP等视觉语言模型难以应对图像损坏类分布偏移的问题，提出感知均匀性信息平衡测试时适应（UnInfo）方法，提升了图像损坏下的分类准确率。
2026-09-03 cs.CV
Enhancing Sampling Protocol for Point Cloud Classification Against Corruptions
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；College of Computing, City University of Hong Kong（香港城市大学计算机学院）；SWJTU-Leeds Joint School, Southwest Jiaotong University（西南交通大学-利兹学院）
针对3D点云采样协议在噪声下鲁棒性差的问题，提出架构无关的增强采样协议PointSP，通过关键点重加权、局部-全局平衡下采样和切平面插值提升抗损坏能力，在多个基准上显著提高分类准确性与鲁棒性。
2025-02-03 cs.AI cs.CV
In Rain or Shine: Understanding and Overcoming Dataset Bias for Improving Robustness Against Weather Corruptions for Autonomous Vehicles
Carnegie Mellon University（卡内基梅隆大学）；Symbiosis Institute of Technology (SIT), Symbiosis International (Deemed University)（共生技术学院，共生国际（视为大学））；Symbiosis Centre for Applied Artificial Intelligence (SCAAI), Symbiosis International (Deemed University)（共生应用人工智能中心，共生国际（视为大学））
几种流行的计算机视觉（CV）数据集，特别是用于自动驾驶任务中的目标检测（OD）的数据集，由于包括天气和照明条件在内的一系列因素而表现出偏差。这些偏差可能会损害模型的泛化能力，使其在新的和看不见的数据集中对OD无效。特别是在自动驾驶中，它可能对车辆及其周围环境具有极高的风险和不安全性。这项工作的重点是通过识别这种“好天气”偏差来更好地理解这些数据集。还证明了减轻这种偏差的方法，从而使OD模型能够更好地执行并提高鲁棒性。提出了一个简单而有效的OD框架，用于研究偏差缓解。使用这个框架，流行的数据集上的性能进行了分析，并观察到模型性能的显着差异。此外，提出了一种知识转移技术和合成图像腐败技术，以减轻所识别的偏见。最后，使用DAWN数据集，在OD任务上验证了研究结果，证明了我们的技术在减轻现实世界中的“好天气”偏见方面的有效性。实验结果表明，所提出的技术优于基线方法的平均四倍的改善。
2023-01-04 cs.CV
Indoor scene recognition from images under visual corruptions
Universidade Federal de Pernambuco（伯南布哥联邦大学）；University of Twente（特温特大学）
本文提出一种基于多模态数据融合的室内场景识别方法，通过GCN将CNN视觉特征与语义描述结合，显著提升了模型在图像损坏条件下的准确性和鲁棒性。
2024-08-23 cs.CV
Assessing Visually-Continuous Corruption Robustness of Neural Networks Relative to Human Performance
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
本文提出视觉连续损坏鲁棒性 VCR 及人类感知指标，通过 7,718 名参与者和多类鲁棒模型实验，揭示现有基准遗漏的神经网络鲁棒性缺陷及更大的人机差距。
2024-02-29 cs.CV
Different Corruptions, Different Signals: Uncertainty and Loss in Federated Data Quality
University of Glasgow（格拉斯哥大学）
本文在联邦学习中比较了输入条件不确定性与预测-标签损失两种损坏检测信号，发现标签翻转宜用损失检测，图像噪声宜用期望熵不确定性，强调信号需与损坏类型匹配。
2026-09-28 cs.AI cs.CV cs.LG
