FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）
提出FRAMES-VQA基准，整合十个VQA数据集，分类ID与近/远OOD，评估鲁棒微调方法，量化多模态偏移，指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Discovery of Shifting Patterns in Sequence Classification
University of Minnesota（明尼苏达大学）
本文从多示例学习的角度研究了多变量序列分类问题。真实世界的序列数据通常只在特定的时间段显示出有区别的模式。例如，我们可以在生长季节识别农田，但它看起来类似于收获后或种植前的贫瘠土地。此外，即使在同一类中，判别模式也可能出现在不同的时序数据周期中。由于这种性质，这些区别性图案也被称为移位图案。在没有足够的训练数据的情况下，序列数据中的移位模式严重降低了传统分类方法的性能。提出了一种新的序列分类方法，通过自动挖掘多变量序列的移动模式。该方法采用多实例学习方法来检测移位模式，同时还通过LSTM模型对每个多实例包内的时间关系进行建模，以进一步提高分类性能。我们广泛地评估我们的方法在两个现实世界的应用-耕地映射和情感状态识别。实验表明，我们提出的方法在序列分类性能和检测歧视性移位模式的优越性。
2017-12-19 cs.LG stat.ML
Task Shift: From Classification to Regression in Overparameterized Linear Models
Georgia Institute of Technology（佐治亚理工学院）
本文研究过参数化线性模型中从分类到回归的任务迁移，证明零样本迁移不可能，并提出利用有限回归数据渐近恢复真实预测器的后处理算法。
2025-02-18 cs.LG stat.ML
Distribution-free uncertainty quantification for classification under label shift
Carnegie Mellon University（卡内基梅隆大学）
ML模型的可信部署需要适当的不确定性度量，特别是在安全关键型应用中。我们专注于不确定性量化（UQ）的分类问题，通过两个途径-预测集使用共形预测和校准的概率预测后，特设分箱-因为这些拥有分布免费保证独立同分布。数据两种常见的归纳方法超越了独立同分布。设置包括处理协变量和标签偏移。在免分配用户数量的背景下，前者已经受到关注，但后者尚未受到关注。众所周知，标签移位会损害预测，我们首先认为它也会损害UQ，因为它会降低覆盖率和校准。借助最近在解决标签偏移（为了更好的预测）方面的进展，我们研究了通过重新加权上述适形和校准程序来实现UQ的正确方法，只要来自目标分布的一些未标记数据可用。我们研究这些技术理论上在一个免费的分布框架，并展示了其出色的实际性能。
2021-07-07 cs.LG stat.ML
Neyman-Pearson Classification under Both Null and Alternative Distributions Shift
Univ Rennes, Ensai, CNRS, CREST–UMR 9194（里昂大学、ENSAI、CNRS、CREST–UMR 9194）；Columbia University, Department of Statistics（哥伦比亚大学统计系）
本文研究Neyman-Pearson分类中零假设与备择假设分布同时偏移的迁移学习问题，提出一种自适应程序，在源域有信息时改善两类错误，在源域无信息时自动避免负迁移，并兼具统计与计算效率保证。
2025-11-10 cs.LG stat.ML
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布（IID）假设。不幸的是，解决协变量偏移的常用方法，试图通过使用重要性加权来消除训练和测试分布之间的偏差，通常在理论上提供较差的性能保证，在实践中提供具有高方差的不可靠预测。最近开发的方法，构建一个预测，固有的强大的学习困难下协变量偏移的限制，以最大限度地减少对数损失，并可能过于保守，当面对高维学习任务。我们以两种方式解决这些限制：通过稳健地最小化各种损失函数，包括非凸函数，在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图，分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
Fair Classification under Covariate Shift and Missing Protected Attribute -- an Investigation using Related Features
本研究使用一种简单的方法研究了协变量偏移和缺失保护属性下的公平分类问题，该方法基于使用重要性权重来处理协变量偏移，并使用Related Features arXiv：2104.14537来处理缺失保护属性。
2022-04-17 cs.CY cs.LG
How Robust is Unsupervised Representation Learning to Distribution Shift?
University of Oxford（牛津大学）；ETH Zurich（苏黎世联邦理工学院）
在监督学习（SL）的背景下，主要讨论了机器学习算法对分布偏移的鲁棒性。因此，缺乏对从无监督方法（诸如自监督学习（SSL）和基于自动编码器的算法（AE））学习的表示对分布偏移的鲁棒性的了解。我们认为，无监督算法的输入驱动的目标，导致表示比SL的目标驱动的目标更强大的分布偏移。我们通过广泛评估SSL和AE在合成和现实分布偏移数据集上的性能来验证这一点。在观察到用于分类的线性层本身可能容易受到虚假相关性的影响之后，我们使用在少量分布外（OOD）数据上训练的线性头部来评估表示，以将学习表示的鲁棒性与线性头部的鲁棒性隔离开来。我们还开发了“可控”的版本，现有的现实域概括数据集的可调程度的分布偏移。这使我们能够研究不同的学习算法的鲁棒性下，通用而现实的分布偏移条件。我们的实验表明，从无监督学习算法中学习到的表示在各种极端和现实的分布偏移下比SL更好地概括。
2022-12-16 cs.LG stat.ML
Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能项目）；Tokyo Institute of Technology（东京工业大学）
该研究针对协变量偏移下的分类问题，提出一种利用数据邻域信息的新型不相似性度量来刻画过剩误差，实现了更优或可比的收敛速度，且在支持集不包含假设下有效，填补了迁移学习理论与实证间的空白。
2024-12-11 cs.LG stat.ML
Optimal Classification under Performative Distribution Shift
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université Paris Dauphine（巴黎多芬大学）；Université PSL（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
本研究提出将表现性效应建模为推前测度，仅需偏移算子即可估计梯度，在特定方向性假设下证明分类风险凸性，并建立与对抗鲁棒分类的联系，提升学习效率与可扩展性。
2024-11-04 cs.LG stat.ML
Classification Tree Pruning Under Covariate Shift
Columbia University（哥伦比亚大学）
针对训练数据分布不均且存在协变量偏移的情况，本文提出首个高效的最优分类树剪枝方法，基于放宽的“平均差异”概念，平衡偏差与方差，优于交叉验证等方法。
2023-06-22 cs.LG stat.ML
Statistical Properties of Robust Learning under Distributional Shifts
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University College London（伦敦大学学院）
本文研究分布偏移下鲁棒学习的统计特性，推导DRO和RS在偏移目标环境中的有限样本泛化误差界，提出信息导向超参数校准并将框架应用于网络批量规模问题，为比较DRO与RS提供原则性基础。
2026-08-14 cs.LG stat.ML
A Novel Unsupervised Post-Processing Calibration Method for DNNS with Robustness to Domain Shift
Laval University（拉瓦尔大学）
不确定性估计在实际决策应用中是至关重要的，特别是当训练数据和测试数据之间存在分布偏移时。文献中提出了许多校准方法来改善DNN的预测不确定性，DNN通常没有很好地校准。然而，它们中没有一个是专门设计用于在域移位条件下正常工作的。在本文中，我们提出了无监督温度标度（UTS）作为一个强大的校准方法域移位。它利用未标记的测试样本而不是训练样本来调整深度模型对测试分布的不确定性预测。UTS采用了一种新的损失函数，加权NLL，它允许无监督校准。我们在广泛的模型数据集上评估UTS，以显示无标签校准的可能性，并证明UTS与其他方法（例如，TS，MC-脱落，SVI，系综）。
2019-11-25 cs.LG stat.ML
Audited Conformal Prediction for Classification under Unknown Distribution Shift
Department of Data Sciences and Operations, University of Southern California（数据科学与运营系，南加州大学）；AI Foundations, Capital One（Capital One人工智能基础）；Department of Data Sciences and Operations, Thomas Lord Department of Computer Science, University of Southern California（数据科学与运营系，托马斯·劳德计算机科学系，南加州大学）
提出审计共形预测方法，利用目标群体小标注数据训练审计模型识别旧模型可能失败的输入，结合共形预测框架在保证边际覆盖的同时提高条件覆盖，并提供理论保证。
2026-06-16 cs.LG stat.ML
Shift-Invariance Sparse Coding for Audio Classification
Stanford University（斯坦福大学）
稀疏编码是一种无监督学习算法，它只在给定未标记数据的情况下学习输入的简洁高级表示;它将每个输入表示为一组基函数的稀疏线性组合。稀疏编码最初被应用于人类视觉皮层的建模，也被证明是有用的自学学习，其中的目标是解决监督分类任务，获得额外的未标记的数据从不同的类比监督学习的问题。移位不变稀疏编码（Shift-Invariant Sparse Coding，SISC）是稀疏编码的一种扩展，它使用所有可能移位中的所有基函数来重建（通常是时间序列）输入。在本文中，我们提出了一个有效的算法学习SISC基地。我们的方法是基于迭代求解两个大的凸优化问题：第一个，计算线性系数，是一个L1正则化线性最小二乘问题，潜在的数十万个变量。现有的方法通常使用启发式选择一个小的变量子集进行优化，但我们提出了一种方法来有效地计算精确的解决方案。第二，解决基地，是一个约束线性最小二乘问题。通过在傅立叶域中对复值变量进行优化，我们减少了不同变量之间的耦合，从而有效地解决了问题。我们表明，SISC学习到的语音和音乐的高级表示为这些领域内的分类任务提供了有用的特征。当应用于分类时，在某些条件下，学习的特征优于最先进的谱特征和倒谱特征。
2012-06-20 cs.LG stat.ML
Measuring Robustness to Natural Distribution Shifts in Image Classification
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）
我们研究了当前ImageNet模型对数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究集中在合成图像扰动（噪声，模拟天气伪影，对抗性示例等），这使得关于合成分布偏移的鲁棒性如何与真实数据中出现的分布偏移相关成为可能。通过对213种不同测试条件下的204个ImageNet模型进行评估，我们发现从当前合成到自然分布偏移的鲁棒性通常很少或根本没有转移。此外，大多数当前技术对我们的测试平台中的自然分布偏移不提供鲁棒性。主要的例外是在更大和更多样化的数据集上进行训练，这在很多情况下都提高了鲁棒性，但仍然远远没有缩小性能差距。我们的研究结果表明，分布偏移产生的实际数据是目前一个开放的研究问题。我们在https://modestyachts.github.io/imagenet-testbed/上提供我们的测试平台和数据作为未来工作的资源。
2020-09-14 cs.CV cs.LG stat.ML
Shift-Robust Node Classification via Graph Adversarial Clustering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Emory University（埃默里大学）
图神经网络（GNN）是图结构数据中的节点分类模型。然而，在测试时间期间，这些算法假设没有数据移位，即，$\Pr_\text{train}(X,Y) = \Pr_\text{test}(X,Y)$。域自适应方法可以用于数据转移，但它们中的大多数被设计为仅鼓励源数据和目标数据之间的相似特征分布。类上的条件转移仍然会影响这种适应。幸运的是，图在不同的数据分布中产生图同构。作为回应，我们提出了移位鲁棒节点分类（SRNC），以解决这些限制。我们在目标图上引入一个无监督的聚类GNN，根据图的同质性对相似的节点进行分组。在聚类目标上使用了带有源图标签信息的对抗损失。然后在聚类GNN生成的训练图和目标图上的对抗样本上分别优化了一个具有平移鲁棒性的分类器。我们分别对开集移位和表示移位进行了实验，实验结果证明了SRNC在推广到具有数据移位的测试图上的优越精度。SRNC始终优于先前的图上的SoTA域自适应算法，该算法逐步使用目标图上的模型预测进行训练。
2022-03-07 cs.LG
Classification under Nuisance Parameters and Generalized Label Shift in Likelihood-Free Inference
Carnegie Mellon University（卡内基梅隆大学）；Università di Padova（帕多瓦大学）；Istituto Nazionale di Fisica Nucleare（国家核物理研究所）；Lulea Techniska Universitet（吕勒奥理工大学）；Universal Scientific Education and Research Network（环球科学教育与研究网络）；Universidade Federal de São Carlos（圣卡洛斯联邦大学）
本文针对训练与目标数据在标签和干扰参数分布不同的广义标签偏移问题，提出基于干扰参数空间 ROC 估计的鲁棒分类与不确定性量化方法，使预训练分类器具备领域自适应能力并返回有效预测集。
2024-07-01 cs.LG stat.ML
Robust Classification using Robust Feature Augmentation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）；Stony Brook University（石溪大学）
现有的深度神经网络，比如用于图像分类的深度神经网络，已经被证明容易受到对抗性图像的攻击，这些图像可能会导致DNN错误分类，而不会对图像产生任何可感知的变化。在这项工作中，我们提出了冲击吸收鲁棒特征，如二值化，例如，舍入和组提取，例如，颜色或形状，以增强分类管道，从而产生更强大的分类器。实验表明，使用这些技术增强ML模型可以提高对抗性输入的整体鲁棒性，并显着改善训练时间。在MNIST数据集上，我们实现了14倍的训练时间加速，获得了90%的对抗准确率，与Madry等人的最先进的对抗训练方法相比，并在更广泛的攻击范围内保持更高的对抗准确性。我们还发现鲁棒性改进交通标志分类使用强大的功能增强。最后，我们给出了理论上的见解，为什么人们可以期望鲁棒的特征增强来减少对抗性输入空间
2019-09-18 cs.LG stat.ML
Learning Under Adversarial and Interventional Shifts
New York University（纽约大学）；Harvard University（哈佛大学）
机器学习模型通常在来自一个分布的数据上进行训练，并部署在其他分布上。因此，设计对分布偏移具有鲁棒性的模型变得非常重要。大多数现有的工作集中在优化对抗性转变或干预性转变。对抗性方法在表示合理的变化时缺乏表现力，因为它们考虑了数据中联合分布的变化。干预方法允许更多的表达，但提供了鲁棒性无限的变化，导致过于保守的模型。在这项工作中，我们结合了这两种方法的互补优势，并提出了一个新的配方，RISe，设计强大的模型对一组分布偏移，在交叉的对抗和干预的转变。我们采用分布式鲁棒优化框架来优化监督和强化学习设置中的最终目标。对来自医疗保健的合成和真实世界数据集的广泛实验证明了所提出的方法的有效性。
2021-03-29 cs.LG stat.ML
Sparse Robust Classification via the Kernel Mean
Decisions 360；Google Research, NY（谷歌研究纽约分部）；University of Tübingen（图宾根大学）
本文提出让核评估的权重相等以简化分类规则，探讨了该核均值分类规则的一致性、鲁棒性和稀疏化。
2025-10-13 cs.LG stat.ML
Minimax Regret Optimization for Robust Machine Learning under Distribution Shift
Google Research（谷歌研究院）；HKUST（香港科技大学）
在本文中，我们考虑的学习场景下，学习的模型进行评估的一个未知的测试分布可能不同于训练分布（即分布偏移）。学习器可以访问一系列权重函数，使得测试分布是这些函数之一下的训练分布的重新加权，通常以分布鲁棒优化（DRO）的名义进行研究。我们考虑在经典学习理论的背景下推导遗憾界的问题，并要求所得的遗憾界对所有潜在的测试分布一致。我们表明，DRO制定不保证一致的小遗憾下分布偏移。相反，我们提出了一种替代方法，称为极小极大遗憾优化（MRO），并表明在适当的条件下，这种方法实现了所有测试分布均匀低遗憾。我们还调整我们的技术，有更强的保证时，测试分布是异构的相似性的训练数据。考虑到目前强大的机器学习方法中最坏情况风险的最佳化，我们认为MRO可以成为解决分布偏移场景的强大替代方案。
2022-02-11 cs.LG stat.ML
Causal Transfer Random Forest: Combining Logged Data and Randomized Experiments for Robust Prediction
Duke University（杜克大学）；Microsoft（微软）
预测模型对训练数据和测试数据之间的分布变化具有鲁棒性通常至关重要。从因果关系的角度来看，挑战是区分稳定的因果关系和不稳定的虚假相关性。我们描述了一个因果转移随机森林（CTRF），结合现有的训练数据与少量的数据，从一个随机化的实验训练的模型，这是强大的功能转变，因此转移到一个新的目标分布。从理论上讲，我们证明的鲁棒性的方法对功能的变化与因果学习的知识。从经验上讲，我们使用Bing Ads平台中的合成数据实验和真实世界实验来评估CTRF，包括点击预测任务和端到端反事实优化系统。建议的CTRF产生强大的预测和性能优于大多数基线方法相比，存在的功能转变。
2021-01-14 cs.LG stat.ML
Robust prediction under missingness shifts
Fraunhofer IKS（弗劳恩霍夫IKS）
该研究探讨缺失偏移下的预测鲁棒性，证明可忽略缺失偏移下贝叶斯预测器不变，其实验发现不同方法对不同偏移鲁棒性不同，不可忽略偏移下高信息性缺失时忽略缺失值效果最优。
2024-06-24 cs.LG stat.ML
Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification
SNAP GmbH（SNAP有限公司）
本文提出函数神经网络（FNNs），将多层感知机和卷积神经网络扩展到函数型数据，实现平移不变并保持平滑性，在准确率上优于FDA基准模型并成功用于脑电图分类。
2023-08-10 cs.LG stat.ME stat.ML
Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）
最近的研究对卷积网络通常假设的移位不变性提出了质疑，表明输入中的微小移位会对输出预测产生重大影响。在本文中，我们分析了解决基于CNN的声音事件分类中缺乏移位不变性的好处。具体来说，我们评估了两种池化方法，以提高CNN中的移位不变性，基于低通滤波和对传入特征图的自适应采样。这些方法是通过插入到CNN的池化层中的小的架构修改来实现的。我们使用不同容量的模型并在强正则化的情况下评估这些架构变化对FSD 50 K数据集的影响。我们表明，这些修改一贯提高声音事件分类在所有情况下考虑。我们还实证证明，所提出的池化方法增加了网络中的移位不变性，使其对输入频谱图中的时间/频率移位更具鲁棒性。这是通过添加可忽略不计的可训练参数来实现的，这使得这些方法成为传统池化层的有吸引力的替代方案。结果是在FSD 50 K分类基准上获得了0.541的最新mAP。
2021-07-22 cs.LG cs.SD eess.AS
Positive-Unlabeled Classification under Class-Prior Shift: A Prior-invariant Approach Based on Density Ratio Estimation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从正的和未标记的（PU）数据中学习是各种应用中的一个重要问题。大多数最近的PU分类方法假设训练未标记数据集中的类先验（阳性样本的比率）与测试数据中的类先验相同，这在许多实际情况下并不成立。此外，我们通常不知道训练和测试数据的类先验，因此我们不知道如何在没有它们的情况下训练分类器。为了解决这些问题，我们提出了一种新的PU分类方法的基础上密度比估计。我们所提出的方法的一个显着的优点是，它不需要类先验在训练阶段，类先验移位只在测试阶段。我们从理论上证明我们提出的方法，并通过实验证明其有效性。
2021-12-15 cs.LG
A Classification-Based Study of Covariate Shift in GAN Distributions
Massachusetts Institute of Technology（麻省理工学院）
在生成对抗网络（GANs）的背景下，一个基本的，而且在很大程度上仍然没有答案的问题是，它们是否真的能够捕捉到它们所训练的分布的所有基本特征。特别是，评估GAN分布的多样性是具有挑战性的，现有的方法只能部分地理解这个问题。在本文中，我们开发了定量和可扩展的工具来评估GAN分布的多样性。具体来说，我们采取基于分类的观点，并将多样性损失视为GANs引入的协变量偏移的一种形式。我们研究两种具体形式的这种转变：模式坍塌和边界失真。与之前的工作相比，我们的方法只需要最少的人工监督，并且可以很容易地应用于大型规范数据集上的最先进的GANs。使用我们的工具检查流行的GANs表明，这些GANs在再现其训练数据集的更多分布特性方面存在重大问题。
2018-06-06 cs.CV cs.LG cs.NE
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Causal Strategic Classification: A Tale of Two Shifts
Technion – Israel Institute of Technology（以色列理工学院）
针对传统策略分类假设特征修改不改变真实结果的局限，提出因果策略分类框架，刻画策略行为与因果效应导致的两类分布偏移，提出平衡二者的端到端学习算法，实验验证了方法有效性。
2023-06-09 cs.LG
CATS: Mitigating Correlation Shift for Multivariate Time Series Classification
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院）；Visa Research（Visa研究院）
针对多变量时间序列分类中跨域相关性变化被忽视的问题，本文提出即插即用的相关性适配器CATS，通过时间卷积和图注意力建模并对齐多变量相关性，以约1%的额外参数实现超过10%的平均准确率提升。
2025-04-05 cs.AI cs.LG stat.ML
Sparse joint shift in multinomial classification
针对多项分类中的稀疏联合偏移（SJS）问题，研究推导了SJS的特征传递、后验校正、可识别性及与协变量偏移的关系等新结论，指出现有估计算法的不一致性并提出改进方向。
2024-03-24 cs.LG math.ST stat.ML
High Dimensional Binary Classification under Label Shift: Phase Transition and Regularization
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）；Hong Kong Baptist University（香港浸会大学）
标签偏移被广泛认为对机器学习模型的泛化性能有害。研究人员已经提出了许多方法来减轻标签偏移的影响，例如，平衡所述训练数据。然而，这些方法往往考虑欠参数化的制度，其中的样本量是远远大于数据维度。在过度参数化制度下的研究是非常有限的。为了弥补这一差距，我们提出了一个新的渐近分析的Fisher线性判别分类器的二进制分类与标签偏移。具体来说，我们证明了存在一个相变现象：在一定的过参数化制度下，使用不平衡数据训练的分类器优于减少平衡数据的分类器。此外，我们研究了正则化对标签偏移的影响：当正则化变强时，上述相变消失。
2022-12-08 cs.LG math.ST stat.TH
Benchmarking Uncertainty Quantification on Biosignal Classification Tasks under Dataset Shift
University of Cambridge（剑桥大学）
生物信号是可以从人体连续测量的信号，例如呼吸声、心脏活动（ECG）、脑电波（EEG）等，基于这些信号，机器学习模型已经被开发出用于自动疾病检测和健康状态监测的非常有前途的性能。然而，数据集转移，即，推断的数据分布不同于训练的分布，这对于基于真实生物信号的应用并不罕见。为了提高鲁棒性，采用具有不确定性量化的概率模型来捕获预测的可靠性。然而，评估估计的不确定性的质量仍然是一个挑战。在这项工作中，我们提出了一个框架，以评估能力的估计不确定性，在捕捉不同类型的生物信号数据集的变化与不同程度的。特别是，我们使用三个分类任务的基础上呼吸音和心电图信号基准五个代表性的不确定性量化方法。大量的实验表明，尽管Entrance和Bayesian模型在数据集漂移的情况下能够提供相对较好的不确定性估计，但所有被测试的模型在可信预测和模型校正方面都未能达到预期的效果。我们的工作为全面评估任何新开发的生物信号分类器铺平了道路。
2022-01-25 cs.LG
Learning Optimal Classification Trees Robust to Distribution Shifts
Center for Artificial Intelligence in Society, University of Southern California（人工智能社会中心，南加州大学）；Department of Industrial and Systems Engineering, University of Southern California（工业与系统工程系，南加州大学）
针对训练与部署数据分布偏移问题，提出基于混合整数鲁棒优化的最优分类树学习方法，通过两阶段线性鲁棒优化与约束生成求解，在多个数据集上最坏情况准确率提升高达12.48%。
2025-08-25 cs.LG math.OC stat.ML
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在协变量偏移下，训练（源）数据和测试（目标）数据在输入空间分布上不同，但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知（RBA）预测提供了条件标签分布，该条件标签分布对目标分布的最坏情况对数损失是鲁棒的，同时匹配来自源分布的特征期望约束。然而，采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测，同时为目标数据预测留下太多不确定性。为了克服这个问题，我们扩展的代表定理的RBA设置，使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法，我们建立了一致性保证，并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集，以及数据集，有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Binary Classification: Counterbalancing Class Imbalance by Applying Regression Models in Combination with One-Sided Label Shifts
Ulm University（乌尔姆大学）
在许多现实世界的模式识别场景中，例如在医疗应用中，对应的分类任务可能具有不平衡的性质。在目前的研究中，我们专注于二元，不平衡的分类任务，即~二元分类任务，其中两个类中的一个类（少数类）与另一个类（多数类）相比代表性不足。在文献中，已经提出了许多不同的方法，例如欠采样或过采样，以对抗类不平衡。在目前的工作中，我们介绍了一种新的方法，它解决了类不平衡的问题。为此，我们首先将二元分类任务转换为等效的回归任务。随后，我们生成一组负目标标签和正目标标签，使得相应的回归任务相对于重新定义的目标标签集变得平衡。我们评估我们的方法在一些公开的数据集结合支持向量机。此外，我们比较我们提出的方法，最流行的过采样技术（SMOTE）之一。基于我们的实验评估结果的详细讨论，我们提供了有前途的想法，为未来的研究方向。
2020-11-30 cs.LG
Online Bayesian Node Classification on Inductive Graphs under Distribution Shift
University of Georgia（佐治亚大学）；University of Rochester（罗切斯特大学）
针对演化图分布偏移下的节点分类，提出在线变分贝叶斯最后一层（GVBLL）方法，联合训练编码器与近似后验，测试时在线更新，在五个基准上均取得最佳准确率与负对数似然。
2026-09-15 cs.LG stat.ME stat.ML
Robust Logistic Regression using Shift Parameters (Long Version)
Stanford University（斯坦福大学）
注释错误可能会严重损害分类器的性能，但随着Amazon Mechanical Turk和自动生成标签的远程监督等技术的使用越来越多，数据集只会变得越来越嘈杂。在本文中，我们提出了一个强大的扩展逻辑回归，将错误标记的可能性直接纳入目标。我们的模型可以通过与逻辑回归几乎相同的方法进行训练，并在高维数据集上保持其效率。通过命名实体识别实验，我们证明，当存在注释错误时，我们的方法可以比标准模型提供显着的改进。
2014-04-29 cs.AI cs.LG stat.ML
Robust Federated Learning: The Case of Affine Distribution Shifts
UC Santa Barbara（加州大学圣巴巴拉分校）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式范例，其旨在使用分布在网络中的多个用户之间的样本来训练模型，同时将样本保存在用户的设备上，以提高效率并保护用户隐私。在这样的设置中，训练数据通常在统计上是异构的，并且表现出跨用户的各种分布偏移，这降低了学习模型的性能。本文的主要目标是开发一个强大的联邦学习算法，实现令人满意的性能对分布偏移在用户的样本。为了实现这一目标，我们首先考虑用户数据中的结构化仿射分布偏移，它捕获联邦设置中依赖于设备的数据异构性。该扰动模型适用于各种联邦学习问题，例如图像分类，其中图像经历依赖于设备的缺陷，例如不同的强度、对比度和亮度。为了解决用户之间的仿射分布偏移，我们提出了一个联邦学习框架对仿射分布偏移（FLRA）的鲁棒性，该框架可证明对观察样本的仿射Wasserstein偏移具有鲁棒性。为了解决FLRA的分布式极大极小问题，我们提出了一种快速有效的优化方法，并通过梯度下降上升（GDA）方法提供收敛保证。我们进一步证明了泛化误差界的学习分类器，以显示适当的推广，从经验分布的样本，真正的底层分布。我们进行了几个数值实验，经验支持FLRA。我们表明，仿射分布偏移确实足以显着降低新测试用户中学习分类器的性能，并且与标准的联邦学习和对抗训练方法相比，我们提出的算法取得了显着的收益。
2020-06-16 cs.LG math.OC stat.ML
Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Caltech（加州理工学院）
针对上下文赌博机在上下文与策略分布同时偏移时的离线评估问题，提出基于稳健回归奖励模型的直接与双重稳健估计量，并给出有限样本偏差界和显著优于基线的实验结果。
2024-08-09 cs.LG
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Mind the Gap: Bridging Prior Shift in Realistic Few-Shot Crop-Type Classification
Technical University of Munich (TUM)（慕尼黑技术大学）；TUM School of Engineering and Design（慕尼黑技术大学工程与设计学院）；Department of Aerospace and Geodesy（航空航天与大地测量系）；Chair of Remote Sensing Technology（遥感技术教授团）；Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所）；ELLIS Unit Jena（耶拿ELLIS单元）；University of Jena（耶拿大学）
本文提出DirPA方法，通过模拟目标域的标签分布偏移，解决少样本作物分类中因训练集与现实世界分布不匹配导致的泛化问题。
2025-11-20 cs.LG
Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift
Continental AG（大陆集团）；Technische Universität Berlin（柏林工业大学）
研究自然分布偏移对CNN感知性能的影响，构建新数据集评估分类与定位任务，并基准测试Ensembles和MC-Dropout等不确定性量化方法，发现ConvNeXt-Tiny更鲁棒且MC-Dropout层选择依赖偏移类型与任务。
2024-09-05 cs.AI cs.CV cs.LG
Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
图分类在各个领域都有实际应用。最近的研究表明，基于图的机器学习模型由于图数据的非独立同分布性质而特别容易受到对抗性扰动的影响。通过添加或删除图中的少量边，对手可以极大地改变由图分类模型预测的图标签。在这项工作中，我们提出了建立一个平滑的图分类模型与认证的鲁棒性保证。我们已经证明，所得到的图分类模型将输出相同的预测下的图$l_0$有界对抗扰动。我们还评估了我们的方法的有效性下的图卷积网络（GCN）的多类图分类模型。
2020-09-12 cs.CR cs.LG stat.ML
InsectUp: Crowdsourcing Insect Observations to Assess Demographic Shifts and Improve Classification
Massachussets Institute of Technology（麻省理工学院）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Ecole CentraleSupélec（中央理工-高等电力学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Mines ParisTech（巴黎高等矿业学院）
昆虫在生态系统中发挥着至关重要的作用，以至于仅仅几个物种的人口变化就可能在环境、社会和经济层面产生破坏性后果。尽管如此，昆虫人口统计学的评估是非常有限的困难，收集足够规模的普查数据。我们提出了一种方法来收集和利用旁观者，徒步旅行者和昆虫学爱好者的观察，以提供研究人员的数据，可以显着帮助预测和识别环境威胁。最后，我们表明，双方确实有兴趣进行这种合作。
2020-01-29 cs.AI cs.CV cs.LG
DeconDTN-Toolkit: A Library for Evaluation and Enhancement of Robustness to Provenance Shift
University of Washington（华盛顿大学）；University of Minnesota（明尼苏达大学）
本文提出DeconDTN-Toolkit，通过模拟不同程度的溯源转移，评估和增强模型对溯源转移的鲁棒性，揭示经验风险最小化方法的脆弱性，并提供理论和实用工具以应对溯源混淆问题。
2026-05-11 cs.LG
Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification
University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Hausdorff Center for Mathematics, University of Bonn（波恩大学豪斯多夫数学中心）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
神经网络的可靠性对于它们在安全关键应用中的使用是至关重要的。现有方法通常旨在提高神经网络对真实世界分布偏移（例如，常见的破坏和扰动、空间变换和自然对抗示例）或最坏情况的分布偏移（例如，优化的对抗性示例）。在这项工作中，我们提出了决策区域量化（DRQ）算法，以提高任何可微的预训练模型对真实世界和最坏情况下的数据分布偏移的鲁棒性。DRQ分析给定数据点附近的局部决策区域的鲁棒性，以做出更可靠的预测。我们从理论上激励DRQ算法，它有效地平滑虚假的决策表面的局部极值。此外，我们提出了一个实现使用有针对性和无针对性的对抗攻击。一项广泛的实证评估表明，DRQ提高了对抗性和非对抗性训练模型对几个计算机视觉基准数据集上真实世界和最坏情况分布偏移的鲁棒性。
2022-05-19 cs.LG
Radio Galaxy Zoo: Using semi-supervised learning to leverage large unlabelled data-sets for radio galaxy classification under data-set shift
University of Manchester（曼彻斯特大学）；The Alan Turing Institute（阿兰·图灵研究所）；CSIRO Space & Astronomy（联邦科学与工业研究组织空间与天文学研究所）；University of Western Australia（西澳大学）；University of Tasmania（塔斯马尼亚大学）；Tsinghua University（清华大学）
在这项工作中，我们研究了一个国家的最先进的半监督学习（SSL）算法应用于射电星系的形态分类的分类精度和鲁棒性。我们测试了具有较少标签的SSL是否可以达到与监督的最先进水平相当的测试精度，以及在合并以前未见过的数据时是否如此。我们发现，对于考虑的射电星系分类问题，SSL提供了额外的正规化和优于基线测试的准确性。然而，与计算机科学基准测试数据集上报告的模型性能指标相比，我们发现改进仅限于窄范围的标签卷，在低标签卷时性能迅速下降。此外，我们表明，SSL不提高模型校准，无论分类是否得到改善。此外，我们发现，当不同的基础目录从同一个无线电调查被用来提供SSL所需的标记和未标记的数据集，分类性能的显着下降被掩盖，突出了数据集转移下应用SSL技术的困难。我们表明，类不平衡的未标记数据池通过先验概率偏移对性能产生负面影响，我们建议可以解释这种性能下降，并且使用标记和未标记数据集之间的Frechet距离作为数据集偏移的度量可以提供模型性能的预测，但是对于具有标记样本量O（1000）的典型射电星系数据集，与该技术相关联的样本方差很高，并且该技术通常不足以鲁棒地替换训练测试循环。
2022-05-04 astro-ph.GA cs.LG
Robustness to distribution shifts of compressed networks for edge devices
McGill University（麦吉尔大学）
本文研究边缘设备压缩网络在域偏移和对抗扰动下的鲁棒性，发现压缩会降低鲁棒性，且大网络更易受损，知识蒸馏优于剪枝，而训练后量化在鲁棒性上表现最佳。
2024-01-22 cs.AI cs.CV cs.LG
Predictive uncertainty estimation in deep learning for lung carcinoma classification in digital pathology under real dataset shifts
KU Leuven（鲁汶大学）；Gauhati University（古瓦哈蒂大学）；UZ Leuven（鲁汶大学医院）
该研究针对真实数据集偏移下肺癌分类深度学习模型的可靠性问题，系统评估三种主流预测不确定性估计方法在不同临床相关分布偏移下的性能与校准效果，填补了该领域大规模基准研究的空白。
2024-08-15 cs.AI cs.CV cs.LG
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen（图宾根大学）；DeepMind（深度思维）
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒，例如给定$p$范数的$\ell_p$范数有界扰动。然而，用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击，并且仍然容易受到看不见的分布偏移的影响。在这项工作中，我们描述了如何获得对抗鲁棒的模型汤（即，参数的线性组合），其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明，这种汤允许我们控制鲁棒性的类型和水平，并且可以实现对所有威胁的鲁棒性，而无需对所有威胁进行联合训练。在某些情况下，所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后，我们表明，对抗性强的模型汤可以是一个可行的工具，以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
Text Classification Under Class Distribution Shift: A Survey
Department of Computer Science, University of Bucharest（计算机科学系，布加勒斯特大学）
本文综述了文本分类中类别分布偏移问题，探讨了开放集学习、零样本学习等方法，并提出了连续学习作为解决分布偏移的潜在方案。
2026-01-15 cs.AI cs.CL cs.LG
How Robust is Your Fairness? Evaluating and Sustaining Fairness under Unseen Distribution Shifts
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
近年来，人们越来越关注深度学习的公平性。现有的公平性感知机器学习方法主要关注分布数据的公平性。然而，在实际应用中，训练数据和测试数据之间的分布偏移是常见的。在本文中，我们首先表明，现有的方法实现的公平性可以很容易地打破轻微的分布偏移。为了解决这个问题，我们提出了一种新的公平性学习方法，称为CUrvature匹配（CUrvature MAtching），它可以实现鲁棒的公平性推广到未知分布变化的未知域。具体来说，通过匹配两个群体的损失曲率分布，CNOAA强制模型在多数群体和少数群体上具有相似的泛化能力。我们在三个流行的公平数据集上评估我们的方法。与现有的方法相比，在不牺牲整体精度或分布内公平性的情况下，在不可见的分布偏移下，CRAMA实现了优异的公平性。
2022-07-04 cs.LG
