Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Faculty of Engineering, Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学工程学院）；Department of Computer Science, University of Genoa（热那亚大学计算机科学系）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨研究中心）
针对现有鲁棒性评估缺乏理论依据的问题，本文基于后验一致性理论提出新框架，在协变量偏移下无需监督即可更可靠、更具区分度地评估模型鲁棒性。
2025-10-17 cs.LG
Verified Training for Counterfactual Explanation Robustness under Data Shift
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
针对数据漂移下反事实解释有效性无保障的问题，提出联合训练分类器与解释器的VeriTraCER方法，通过专用损失函数实现CE对小幅模型更新的可验证鲁棒性，实证表现媲美前沿方法。
2024-03-06 cs.LG
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联，通过基准测试不同神经架构，用公平性与鲁棒性指标量化噪声影响，发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
Edit at your own risk: evaluating the robustness of edited models to distribution shifts
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
本文研究模型编辑在分布偏移下的鲁棒性，发现编辑会降低总体鲁棒性且退化程度因算法和层而异，并提出利用权重空间插值平衡准确率与鲁棒性的 1-LI 算法。
2023-07-17 cs.LG
Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts
Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对现有基准分布偏移程度固定易导致OOD性能评估偏差的问题，提出覆盖多偏移程度的精细评估设置，发现模型鲁棒性在不同偏移下脆弱且不一致，CLIP等大模型对微小偏移敏感，呼吁未来开展更广范围的偏移评估。
2023-12-15 cs.LG
Certifying Model Accuracy under Distribution Shifts
University of Maryland（马里兰大学）
本文提出在有界 Wasserstein 分布偏移下认证模型准确率的随机化框架，支持逐样本变化的扰动预算，并用于自然图像变换、对抗分布偏移及不可学习投毒数据集的性能下界证明。
2023-07-16 cs.LG
Benchmarking Adversarial Robustness of Compressed Deep Learning Models
University of California, Davis（加州大学戴维斯分校）
本文构建跨攻击与模型的基准，研究未经对抗训练模型在剪枝后的对抗鲁棒性，发现压缩保留泛化与推理优势且不降低鲁棒性。
2023-08-16 cs.LG
OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；University of Luxembourg（卢森堡大学）
提出OODRobustBench基准，通过23种数据集偏移和6种威胁偏移对706个模型进行60.7K次评估，发现对抗鲁棒性存在严重OOD泛化问题且与ID鲁棒性正线性相关，并指出需新方法突破现有预测。
2024-06-04 cs.CV cs.LG
Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift
本文通过多数据集与多架构的系统性研究，发现子类型偏移下模型校准失效，仅靠准确率评估子类型鲁棒性不足，需结合校准指标。
2026-08-17 cs.LG
Measuring Robustness to Natural Distribution Shifts in Image Classification
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）
我们研究了当前ImageNet模型对数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究集中在合成图像扰动（噪声，模拟天气伪影，对抗性示例等），这使得关于合成分布偏移的鲁棒性如何与真实数据中出现的分布偏移相关成为可能。通过对213种不同测试条件下的204个ImageNet模型进行评估，我们发现从当前合成到自然分布偏移的鲁棒性通常很少或根本没有转移。此外，大多数当前技术对我们的测试平台中的自然分布偏移不提供鲁棒性。主要的例外是在更大和更多样化的数据集上进行训练，这在很多情况下都提高了鲁棒性，但仍然远远没有缩小性能差距。我们的研究结果表明，分布偏移产生的实际数据是目前一个开放的研究问题。我们在https://modestyachts.github.io/imagenet-testbed/上提供我们的测试平台和数据作为未来工作的资源。
2020-09-14 cs.CV cs.LG stat.ML
Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data
Manipal Institute of Technology, MAHE（马尼帕尔理工学院，马尼帕尔高等教育学院）
大多数机器学习模型都假设训练、测试和部署数据是独立同分布的。这种假设在自然环境中通常不成立。通常，部署数据受到各种类型的分布偏移的影响。模型性能的大小与数据集分布的这种变化成正比。因此，有必要评估模型的不确定性和对分布变化的鲁棒性，以获得对真实世界数据的预期性能的现实估计。目前的方法来评估不确定性和模型的鲁棒性是缺乏的，往往无法描绘全貌。此外，到目前为止，大多数分析主要集中在分类任务上。在本文中，我们使用Shifts天气预测数据集为一般回归任务提出了更有见地的指标。我们还提出了使用这些指标的基线方法的评估。
2021-12-13 cs.AI cs.LG
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
A New Framework to Analyse the Distributional Robustness of Deep Neural Networks
Microsoft（微软）；Ashoka University（阿什oka大学）
本文提出了一种新框架，通过研究层权重与激活之间的相互作用来分析和量化深度神经网络的分布鲁棒性，展示了该框架在CIFAR-10和ImageNet上模型的实用性，并表明所提指标能区分记忆训练数据和未记忆的网络。
2026-05-20 cs.LG
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen（图宾根大学）；DeepMind（深度思维）
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒，例如给定$p$范数的$\ell_p$范数有界扰动。然而，用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击，并且仍然容易受到看不见的分布偏移的影响。在这项工作中，我们描述了如何获得对抗鲁棒的模型汤（即，参数的线性组合），其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明，这种汤允许我们控制鲁棒性的类型和水平，并且可以实现对所有威胁的鲁棒性，而无需对所有威胁进行联合训练。在某些情况下，所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后，我们表明，对抗性强的模型汤可以是一个可行的工具，以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
Robustness to distribution shifts of compressed networks for edge devices
McGill University（麦吉尔大学）
本文研究边缘设备压缩网络在域偏移和对抗扰动下的鲁棒性，发现压缩会降低鲁棒性，且大网络更易受损，知识蒸馏优于剪枝，而训练后量化在鲁棒性上表现最佳。
2024-01-22 cs.AI cs.CV cs.LG
A Novel Unsupervised Post-Processing Calibration Method for DNNS with Robustness to Domain Shift
Laval University（拉瓦尔大学）
不确定性估计在实际决策应用中是至关重要的，特别是当训练数据和测试数据之间存在分布偏移时。文献中提出了许多校准方法来改善DNN的预测不确定性，DNN通常没有很好地校准。然而，它们中没有一个是专门设计用于在域移位条件下正常工作的。在本文中，我们提出了无监督温度标度（UTS）作为一个强大的校准方法域移位。它利用未标记的测试样本而不是训练样本来调整深度模型对测试分布的不确定性预测。UTS采用了一种新的损失函数，加权NLL，它允许无监督校准。我们在广泛的模型数据集上评估UTS，以显示无标签校准的可能性，并证明UTS与其他方法（例如，TS，MC-脱落，SVI，系综）。
2019-11-25 cs.LG stat.ML
Improving Out-of-Distribution Robustness via Selective Augmentation
Stanford University（斯坦福大学）；University of California San Diego（加州大学圣地亚哥分校）；Renmin University of China（中国人民大学）；Rutgers University（罗格斯大学）
机器学习算法通常假设训练和测试示例来自相同的分布。然而，分布偏移在实际应用中是一个常见的问题，并且可能导致模型在测试时表现得非常差。在本文中，我们特别考虑了亚群转移的问题（例如，不平衡数据）和域转移。虽然先前的工作通常寻求明确地将模型的内部表示或预测因子正则化为域不变，但我们的目标是在不限制模型的内部表示或预测因子的情况下学习不变预测因子。这导致了一种简单的基于混合的技术，该技术通过称为LISA的选择性增强来学习不变预测器。LISA选择性地内插具有相同标记但不同结构域或具有相同结构域但不同标记的样品。从经验上讲，我们研究了LISA在9个基准上的有效性，从亚群转移到域转移，我们发现LISA始终优于其他最先进的方法，并导致更多的不变预测。我们进一步分析了线性设置，并从理论上展示了LISA如何导致更小的最坏组误差。
2022-06-19 cs.LG
Non-adversarial Robustness of Deep Learning Methods for Computer Vision
The Institute of Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研发研究所）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）
本文综述了提升计算机视觉深度学习模型非对抗性鲁棒性的最新技术，总结了常用基准数据集，并分析了各方法的优势、局限及总体趋势。
2023-05-24 cs.CV cs.LG
TASER: Task-Aware Stein Regularisation for Geometry-Driven Smoothness
Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系）
提出TASER（任务感知斯坦正则化），一种基于Langevin斯坦算子的训练时正则化框架，通过惩罚训练分布下的逐点斯坦残差，诱导各向异性数据感知平滑性，从而提升模型在分布偏移和对抗扰动下的鲁棒性。
2026-10-19 cs.LG
A Flat Minima Perspective on Understanding Augmentations and Model Robustness
本文从平坦极小值角度理论揭示了标签保持增强提升模型鲁棒性的通用条件，并通过实验验证其在不同分布偏移下的有效性。
2025-12-14 cs.AI cs.LG
Distribution Shift Aware Neural Tabular Learning
针对表格学习在分布偏移下性能下降的问题，本文提出偏移感知特征转换框架SAFT，将离散搜索转化为连续可微优化，并通过去相关、重加权、嵌入平均和归一化对齐提升鲁棒性与泛化能力。
2025-08-27 cs.LG
Benchmarking Low-Shot Robustness to Natural Distribution Shifts
Georgia Institute of Technology（佐治亚理工学院）
本文首次系统评测低样本场景下模型对自然分布偏移的鲁棒性，发现不存在普遍更鲁棒的单一模型，且现有干预方法在部分数据集上失效，呼吁社区重视该实际问题。
2023-09-23 cs.AI cs.CV cs.LG
Optimal Attention Temperature Improves the Robustness of In-Context Learning under Distribution Shift in High Dimensions
MLIP Research Group, KUIS AI Center, Koç University（MLIP研究组、KUIS人工智能中心、科克大学）；Department of EEE, Koç University, İstanbul, Turkey（电子工程系、科克大学、伊斯坦布尔，土耳其）
本文研究了在高维分布偏移下通过调整注意力温度提升预训练Transformer上下文学习鲁棒性的方法，推导了通用误差闭式表达式并验证了理论。
2026-05-11 cs.LG stat.ML
An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tsinghua University（清华大学）
机器学习模型在分布偏移下的性能一直是近年来社会各界关注的焦点。目前的大多数方法都是从算法的角度来提高对分布偏移的鲁棒性，即，设计更好的训练算法，以帮助推广移动测试分布。本文从预训练和数据增强的角度研究了分布偏移问题，这两个因素是深度学习实践中的重要因素，但现有工作尚未系统地研究。通过评估七个预训练模型，包括ResNets和ViT的自我监督和监督模式，在五个重要的分布偏移数据集上，从WILDS和DomainBed基准测试，使用五种不同的学习算法，我们提供了第一个全面的实证研究，重点是预训练和数据增强。通过我们从1，330个模型中获得的经验结果，我们提供了以下主要观察结果：1）如果我们选择一个适当的预训练模型，那么结合数据增强的ERM可以实现最先进的性能; 2）在处理特定类型的分布偏移时，专用算法进一步提高了ERM的鲁棒性，例如，3）通过比较不同的预训练模式、体系结构和数据规模，提出了基于分布偏移的预训练方法，为不同类型分布偏移的预训练策略的设计和选择提供了参考。总之，我们的实证研究为广泛的预训练模型提供了一个全面的基线，这些模型通过数据增强进行了微调，这可能会激发研究在未来的分布偏移研究中利用预训练和数据增强的力量。
2022-05-25 cs.CV cs.LG
The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization
UC Berkeley（加州大学伯克利分校）；UChicago（芝加哥大学）；Google（谷歌）
我们介绍了四个新的真实世界的分布偏移数据集，包括图像风格，图像模糊，地理位置，相机操作等的变化。通过我们的新数据集，我们评估了以前提出的用于提高分布外鲁棒性的方法，并对其进行了测试。我们发现，使用更大的模型和人工数据增强可以提高对现实世界的分布偏移的鲁棒性，与先前工作中的要求相反。我们发现人工鲁棒性基准的改进可以转移到现实世界的分布偏移，与先前工作中的要求相反。由于我们观察到数据增强可以帮助真实世界的分布偏移，我们还引入了一种新的数据增强方法，该方法提高了最新技术水平，并且优于使用1000倍以上标记数据预训练的模型。总的来说，我们发现，一些方法始终有助于纹理和局部图像统计的分布偏移，但这些方法并不有助于其他一些分布偏移，如地理变化。我们的研究结果表明，未来的研究必须同时研究多个分布偏移，因为我们证明，没有评估的方法一致地提高鲁棒性。
2021-07-24 cs.CV cs.LG stat.ML
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Concurrent Misclassification and Out-of-Distribution Detection for Semantic Segmentation via Energy-Based Normalizing Flow
Panasonic AI Lab（松下人工智能实验室）；Panasonic Holdings Corporation（松下控股株式会社）
提出基于能量归一化流的生成模型FlowEneDet，无需重训即可扩展已有分割模型，实现并发IDM与OOD检测，在多个基准上表现优异。
2023-05-16 cs.AI cs.CV cs.LG
Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications
Norwegian University of Science and Technology（挪威科技大学）
本文利用范德瓦尔斯方程生成合成数据，并通过 KL 散度、Jensen-Shannon 距离和 Mahalanobis 距离等统计度量量化分布偏移与不确定性，提出以插值/外推区域判断作为增强模型鲁棒性和泛化能力的互补方法。
2024-05-03 cs.LG stat.ML
Generalizability of Adversarial Robustness Under Distribution Shifts
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
该研究探究分布偏移下经验与认证对抗鲁棒性的泛化性，发现两类鲁棒性可泛化到未见领域且泛化水平与领域视觉相似度相关性弱，还验证了对抗增强在医疗场景中提升鲁棒泛化的效果。
2023-11-07 cs.AI cs.CV cs.LG
Latent Domain Modeling Improves Robustness to Geographic Shifts
Microsoft（微软公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种基于潜在领域建模的框架，通过整合地理坐标提升对地理偏移的鲁棒性，在多个数据集上取得显著改进。
2026-02-09 cs.CV cs.LG
Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts
Johns Hopkins University（约翰斯·霍普金斯大学）
提出Density-Softmax无采样确定性框架，结合密度函数与softmax，降低模型规模与测试延迟，在分布偏移下提升不确定性估计与鲁棒性。
2024-05-28 cs.LG stat.ML
Effective Robustness against Natural Distribution Shifts for Models with Different Training Data
UCLA（加州大学洛杉矶分校）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；Google（谷歌）；OpenAI；UCSB（加州大学圣塔芭芭拉分校）
本文针对不同训练数据模型的有效鲁棒性评估问题，提出一种基于多个分布内测试集的新评估指标，揭示了零样本 CLIP 类模型在单一 ImageNet 测试下的有效鲁棒性增益会被削弱。
2023-10-28 cs.CV cs.LG
Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们的目标是提高部署在野外的机器学习（ML）系统的可靠性。当测试示例与训练示例相似时，ML模型表现得非常好。然而，真实世界的应用程序需要在任何测试示例的分布上执行。当前的ML系统在测试示例中可能会因分布偏移而静默失败。为了提高ML模型的可靠性，由于协变量或域转移，我们提出的算法，使模型：（a）推广到一个更大的家庭的测试分布，（b）评估准确性下分布偏移，（c）适应目标分布。我们研究了域转移鲁棒性受损的原因，并提出了训练域鲁棒模型的算法。模型脆弱性的一个关键来源是由于域过拟合，我们的新训练算法抑制并鼓励域一般假设。虽然我们在某些问题设置上提高了标准训练方法的鲁棒性，但ML系统的性能仍然会随着域的变化而发生巨大变化。对于开发人员和利益相关者来说，了解模型漏洞和输入的操作范围至关重要，这些可以在部署期间进行动态评估，尽管成本很高。相反，我们主张主动估计精度表面的任何组合的预先指定的和可解释的域变化的性能预测。我们提出了一个标签有效的估计，以解决估计域移位的组合空间。此外，当发现模型在目标域上的性能较差时，传统方法使用目标域的资源来适应模型。标准的自适应方法假设可以访问足够的标记资源，这对于部署的模型来说可能是不切实际的。我们开始研究轻量级的适应技术，只有未标记的数据资源，重点是语言应用程序。
2023-03-05 cs.AI cs.LG
Considerations for Distribution Shift Robustness of Diagnostic Models in Healthcare
Apple（苹果公司）
针对医疗诊断中 $Y$ 因果导致 $X$ 且存在捷径依赖的分布偏移问题，本文结合因果理论证明纳入特定协变量可获得鲁棒预测，并通过模拟和 PTB-XL 验证。
2024-10-25 cs.LG stat.ML
Control+Shift: Generating Controllable Distribution Shifts
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
该研究提出Control+Shift方法，利用基于解码器的生成模型生成不同强度分布偏移的数据集，评估常用网络性能，发现偏移增强会致性能下降，数据增强、超量扩训练集难提升鲁棒性，强归纳偏置可增强鲁棒性。
2024-09-12 cs.CV cs.LG
When Are Learning Biases Equivalent? A Unifying Framework for Fairness, Robustness, and Distribution Shift
针对机器学习中公平性、鲁棒性等失效模式被单独研究的问题，提出统一理论框架，通过信息论度量将偏差形式化为条件独立性违反，证明多种偏差的等价条件，实证验证等价性并支持去偏方法跨域迁移。
2025-11-09 cs.AI cs.LG stat.ML
Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts
University of Cambridge（剑桥大学）；Apple（苹果公司）
本研究通过比较16个鲁棒与较不鲁棒的CLIP视觉编码器的表示空间，发现离群特征仅存在于鲁棒模型中，可作为无需偏移数据即可评估ImageNet分布偏移鲁棒性的指标。
2024-11-07 cs.AI cs.CV cs.LG
Conformal Prediction under Levy-Prokhorov Distribution Shifts: Robustness to Local and Global Perturbations
Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA（加州大学伯克利分校电子工程与计算机科学系）；Laboratory for Information and Decision Systems, MIT, USA（麻省理工学院信息与决策系统实验室）
针对共形预测在分布偏移下鲁棒性不足的问题，提出基于Lévy-Prokhorov模糊集建模分布偏移的方法，通过得分函数传播将高维偏移降为一维以量化最坏情况，构建鲁棒预测区间，实验验证了有效性。
2025-05-19 cs.LG math.ST stat.ME
On Robustness and Transferability of Convolutional Neural Networks
Google Research（谷歌研究院）
现代深度卷积网络（CNN）经常被批评在分布移位下不能泛化。然而，最近在迁移学习方面的几项突破表明，这些网络可以应对严重的分布偏移，并从几个训练样本中成功适应新任务。在这项工作中，我们首次研究了现代图像分类CNN的分布外和传输性能之间的相互作用，并研究了预训练数据大小、模型规模和数据预处理管道的影响。我们发现，增加训练集和模型的大小显着提高分布移位的鲁棒性。此外，我们表明，也许令人惊讶的是，简单的变化，如修改图像分辨率的预处理可以显着减轻鲁棒性问题，在某些情况下。最后，我们概述了现有的鲁棒性评估数据集的缺点，并介绍了一个合成数据集SI-Score，我们使用它来系统地分析视觉数据中常见的变化因素，如对象的大小和位置。
2021-03-23 cs.CV cs.LG
Evaluating Latent Space Robustness and Uncertainty of EEG-ML Models under Realistic Distribution Shifts
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mayo Clinic（梅奥诊所）
最近生物医学中大数据集的可用性激发了多种医疗保健应用的表示学习方法的发展。尽管在预测性能方面取得了进展，但当暴露于真实世界数据时，此类方法的临床实用性受到限制。本研究开发了模型诊断措施，以在部署前检测潜在的陷阱，而无需假设访问外部数据。具体而言，我们专注于通过数据变换对电生理信号（EEG）中的现实数据偏移进行建模，并通过分析a）模型的潜在空间和b）这些变换下的预测不确定性来扩展传统的基于任务的评估。我们使用公开的大规模临床EEG对多个EEG特征编码器和两个临床相关的下游任务进行实验。在这个实验环境中，我们的研究结果表明，潜在的空间完整性和模型的不确定性的措施下提出的数据转移可能有助于预测部署过程中的性能下降。
2022-10-14 cs.LG eess.SP
Toward Certified Robustness Against Real-World Distribution Shifts
Stanford University（斯坦福大学）；NRI Secure（NRI安全公司）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们考虑证明深度神经网络对现实世界分布偏移的鲁棒性的问题。要做到这一点，我们弥合手工制作的规范和现实的部署设置之间的差距，提出了一种新的神经符号验证框架，在该框架中，我们训练生成模型学习扰动数据和定义规范的输出学习模型。从这种设置中产生的一个独特的挑战是，现有的验证器不能紧密地近似sigmoid激活，这是许多最先进的生成模型的基础。为了解决这一挑战，我们提出了一个通用的元算法来处理sigmoid激活，它利用了经典的概念，反例指导的抽象细化。其关键思想是“懒惰地”细化sigmoid函数的抽象，以排除在先前抽象中发现的虚假反例，从而保证验证过程的进展，同时保持状态空间较小。在MNIST和CIFAR-10数据集上的实验表明，我们的框架在一系列具有挑战性的分布偏移方面显着优于现有方法。
2023-03-06 cs.AI cs.LG cs.LO
VISAT: Benchmarking Adversarial and Distribution Shift Robustness in Traffic Sign Recognition with Visual Attributes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Brown University（布朗大学）；William & Mary（威廉与玛丽学院）
本文提出VISAT数据集与基准测试套件，基于MTSD构建对抗攻击与分布偏移基准，利用PGD和ImageNet-C评估ResNet-152与ViT-B/32等基础及多任务模型鲁棒性，揭示MTL任务间虚假相关性，促进自动驾驶鲁棒模型开发。
2025-10-29 cs.AI cs.CR cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University（清华大学）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；SenseTime Research（商汤科技研究院）；Northeastern University（东北大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而，对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架，该框架在保持对抗鲁棒性的同时实现了模型压缩，从根本上解决了对抗训练的困境。此外，这项工作研究了两个假设的权重修剪在传统的设置，并发现权重修剪是必要的，以减少网络模型的大小在对抗设置，从头开始训练一个小的模型，即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Assessing the Robustness of Climate Foundation Models under No-Analog Distribution Shifts
Centre for Artificial Intelligence（人工智能中心）；Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；Division of Emerging Interdisciplinary Areas（新兴交叉学科领域）；Hong Kong University of Science and Technology（香港科技大学）；University of Oxford（牛津大学）
本文研究了在无类比分布偏移下气候基础模型的鲁棒性，通过时间外推和跨情景驱动偏移评估三种模型，发现ClimaX模型在绝对误差最低但分布偏移下稳定性较差。
2026-04-22 cs.AI cs.LG
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Fudan University（复旦大学）；New York University（纽约大学）
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型的变化（例如输入图像的风格或照明的变化）具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练，以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法，对抗性批量归一化（AdvBN），是一个单一的网络层，在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调，我们观察到网络对各种看不见的分布变化（包括风格变化和图像损坏）的鲁棒性有所提高。此外，我们表明，我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法，从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
SURE-VQA: Systematic Understanding of Robustness Evaluation in Medical VQA Tasks
German Cancer Research Center (DKFZ) Heidelberg, Division of Medical Image Computing（德国癌症研究中心（DKFZ）海德堡，医学影像计算部门）；Helmholtz Imaging, German Cancer Research Center (DKFZ), Heidelberg, Germany（海德堡影像技术，德国癌症研究中心（DKFZ），海德堡，德国）；Faculty of Mathematics and Computer Science, University of Heidelberg, Germany（海德堡大学数学与计算机科学学院，德国）；German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems（德国癌症研究中心（DKFZ）海德堡，智能医学系统部门）；German Cancer Research Center (DKFZ) Heidelberg, Interactive Machine Learning Group（德国癌症研究中心（DKFZ）海德堡，交互式机器学习小组）；Pattern Analysis and Learning Group, Department of Radiation Oncology, Heidelberg University Hospital, Germany（放射肿瘤科，海德堡大学医院模式分析与学习小组，德国）；National Center for Tumor Diseases (NCT) Heidelberg, Germany（海德堡国家肿瘤疾病中心（NCT），德国）
本文提出SURE-VQA框架，通过真实分布偏移评估、LLM语义评估和健全性基线三个要求，系统分析医学VQA中视觉-语言模型的鲁棒性，并揭示不同微调方法的鲁棒性规律。
2025-07-03 cs.CV cs.LG
A Fine-Grained Analysis on Distribution Shift
DeepMind
对分布偏移的鲁棒性对于在现实世界中部署机器学习模型至关重要。尽管有这种必要性，但在定义导致这些变化的潜在机制和评估算法在多个不同分布偏移中的鲁棒性方面的工作很少。为此，我们引入了一个框架，使细粒度的分析各种分布偏移。我们通过评估19种不同的方法，对当前最先进的方法进行了全面分析，这些方法分为五类，包括合成数据集和真实数据集。总的来说，我们训练了超过85 K的模型。我们的实验框架可以很容易地扩展到包括新的方法，变化和数据集。我们发现，不像以前的工作~ \citep{Gulrajani20}，在标准的ERM基线上已经取得了进展，特别是，预训练和增强（学习或启发式）在许多情况下提供了很大的收益。然而，最好的方法在不同的数据集和偏移上并不一致。
2021-11-25 cs.CV cs.LG
In Shift and In Variance: Assessing the Robustness of HAR Deep Learning Models against Variability
Concordia University（康考迪亚大学）；University of Sussex（萨塞克斯大学）
本文利用HARVAR与REALDISP数据集及MMD指标，分离评估受试者、设备、位置和方向变异对深度学习HAR模型的分布偏移与性能影响。
2025-03-14 cs.HC cs.LG eess.SP
Robustness via Cross-Domain Ensembles
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑联邦理工学院））；UC Berkeley（加州大学伯克利分校）
我们提出了一种方法，使神经网络预测强大的变化，从训练数据分布。所提出的方法是基于通过一组不同的线索（称为“中间域”）进行预测，并将它们集成为一个强预测。这个想法的前提是，通过不同的线索做出的预测对分布偏移的反应不同，因此应该能够将它们合并到一个鲁棒的最终预测中。我们基于与每个预测相关的不确定性，以简单但有原则的方式执行合并。评估使用多个任务和数据集（Taskonomy，EML，ImageNet，CIFAR）在广泛的对抗和非对抗分布偏移下进行，这表明所提出的方法比其标准学习对应物，传统的深度集成和其他几个基线更加强大。
2021-09-03 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick（利默里克大学）；Computer Science and Information Systems（计算机科学与信息系统）
针对对抗训练存在的干净样本泛化差、类别性能失衡问题，研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性，同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
多样的数据增强策略是提高计算机视觉模型鲁棒性的自然方法，以应对数据分布中不可预见的变化。然而，定制这样的策略以使模型针对特定类别的腐败或攻击而不对其他类别的腐败造成实质性损失的能力仍然是难以捉摸的。在这项工作中，我们成功地强化了一个模型，以抵御基于傅立叶的攻击，同时在CIFAR-10-C和CIFAR-100-C数据集上产生优于AugMix的准确性和校准结果;对于一些高严重性的噪声和数字类型的损坏，分类误差降低了10个百分点以上。我们实现这一点，将傅立叶基扰动的AugMix图像增强框架。因此，我们证明了AugMix框架可以被定制为有效地针对特定的分布偏移，同时提高整体模型的鲁棒性。
2022-02-24 cs.CV cs.LG
Improving robustness against common corruptions by covariate shift adaptation
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）；LMU Munich（慕尼黑大学）
当今最先进的机器视觉模型容易受到图像损坏（如模糊或压缩伪影）的影响，从而限制了它们在许多现实应用中的性能。我们在这里认为，流行的基准来衡量模型的鲁棒性对常见的腐败（如ImageNet-C）低估了模型的鲁棒性在许多（但不是所有）应用场景。关键的见解是，在许多情况下，多个未标记的腐败示例是可用的，并且可以用于无监督的在线自适应。用受损图像的统计数据替换训练集上通过批量归一化估计的激活统计数据，一致地提高了25种不同流行计算机视觉模型的鲁棒性。使用校正后的统计数据，ResNet-50在ImageNet-C上达到62.2%的mCE，而在没有自适应的情况下为76.7%。通过更强大的DeepAugment+AugMix模型，我们将ResNet 50模型的最新技术水平从53.6%mCE提高到45.4%mCE。即使适应单个样本也可以提高ResNet-50和AugMix模型的鲁棒性，32个样本足以提高ResNet-50架构的当前技术水平。我们认为，无论何时报告腐败基准和其他分布外泛化设置中的分数，都应包括适应统计数据的结果。
2020-10-23 cs.CV cs.LG stat.ML
Causal Information Splitting: Engineering Proxy Features for Robustness to Distribution Shifts
California Institute of Technology（加州理工学院）；Amazon Research（亚马逊研究院）
针对目标因果与反因果变量未被观测的分布偏移场景，基于信息论开发代理特征选择与工程技术，并利用辅助训练任务提取增强稳定性的信息，在合成与真实数据上验证了有效性。
2023-07-31 cs.AI cs.IT cs.LG
Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study
Washington University in St. Louis（圣路易斯华盛顿大学）；Virginia Tech（弗吉尼亚理工大学）；UC Davis（加利福尼亚大学戴维斯分校）；UC Berkeley（加利福尼亚大学伯克利分校）
本文通过涵盖自然与合成分布偏移及对抗攻击的大规模基准，初步评估了CLIP等零样本多模态模型的鲁棒性，发现其鲁棒性显著低于监督模型，并指出数据重叠是部分原因，凸显了全面评估与改进的必要性。
2024-03-15 cs.AI cs.CL cs.CV
