Preventing dataset shift from breaking machine-learning biomarkers
McGill University（麦吉尔大学）；INRIA（法国国家信息与自动化研究所）
机器学习带来了从具有丰富生物医学测量的队列中提取新生物标志物的希望。一个好的生物标志物是一个可靠的检测相应的条件。然而，生物标志物通常从与目标人群不同的队列中提取。这种不匹配被称为数据集转移，可能会破坏生物标志物对新个体的应用。生物医学研究中经常发生数据集转移，例如，由于招募偏见。当数据集发生变化时，标准的机器学习技术不足以提取和验证生物标志物。本文概述了数据集偏移何时以及如何破坏机器学习提取的生物标志物，以及检测和校正策略。
2021-07-21 cs.LG math.ST q-bio.QM
MIMII DUE: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection with Domain Shifts due to Changes in Operational and Environmental Conditions
Hitachi, Ltd.（日立制作所）
在本文中，我们介绍了MIMII DUE，一个新的数据集故障工业机器的调查和检查与域的变化，由于操作和环境条件的变化。用于异常声音检测的常规方法面临实际挑战，因为由于各种现实因素，特征的分布在训练和操作阶段之间变化（称为域移位）。为了检查对域偏移的鲁棒性，我们需要一个实际包含域偏移的数据集，但到目前为止还不存在这样的数据集。我们创建的新数据集由五种不同类型的工业机器在两种不同的操作/环境条件（源域和目标域）下的正常和异常操作声音组成，独立于正常/异常，两个域之间发生域转移。实验结果表明，源域和目标域之间存在显著的性能差异，表明数据集包含域偏移。这些发现表明，该数据集将有助于检查对域移位的鲁棒性。该数据集是DCASE 2021挑战任务2数据集的子集，可在www.example.com免费下载
2021-09-27 cs.LG cs.SD eess.AS
Shifts: A Dataset of Real Distributional Shift Across Multiple Large-Scale Tasks
Yandex（俄罗斯搜索引擎公司）
在开发用于提高对分布偏移和不确定性估计的鲁棒性的方法方面已经进行了重要的研究。相比之下，只有有限的工作审查了开发标准数据集和基准，以评估这些方法。此外，大多数关于不确定性估计和鲁棒性的工作已经开发了基于小规模回归或图像分类任务的新技术。然而，许多实际感兴趣的任务具有不同的模式，例如表格数据、音频、文本或传感器数据，这带来了涉及回归和离散或连续结构化预测的重大挑战。因此，鉴于该领域的现状，有必要建立一个标准化的大规模任务数据集，涵盖受分布变化影响的各种模式。这将使研究人员能够有意义地评估最近开发的大量不确定性量化方法，以及评估标准和最先进的基线。在这项工作中，我们提出了移位数据集的不确定性估计和鲁棒性分布移位的评估。该数据集从工业来源和服务中收集，由三个任务组成，每个任务对应于特定的数据模式：表格天气预测，机器翻译和自动驾驶汽车（SDC）车辆运动预测。所有这些数据模式和任务都受到真实的“野外”分布变化的影响，并对不确定性估计提出了有趣的挑战。在这项工作中，我们为所有任务提供了数据集和基线结果的描述。
2022-02-11 cs.AI cs.LG stat.ML
Limitations of Public Chest Radiography Datasets for Artificial Intelligence: Label Quality, Domain Shift, Bias and Evaluation Challenges
研究指出公共胸部X光数据集在标签质量、领域偏移、偏见和评估方面存在局限，通过跨模型架构分析发现外部性能显著下降，且专家审查揭示标签存在显著分歧，强调需更公平的评估框架和临床验证数据集。
2026-03-16 cs.DL cs.LG
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen（哥本哈根大学）；MIT（麻省理工学院）
我们给出了一种方法，用于主动识别小的，合理的分布变化，导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的，其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术（例如重要性采样）来估计单个参数偏移下的损失，但所产生的最坏情况优化问题是非凸的，并且估计可能遭受大的方差。然而，对于小的移位，我们可以构造移位下损失的局部二阶近似，并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题，对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位，我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务（从图像中分类性别），揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
Shifts 2.0: Extending The Dataset of Real Distributional Shifts
University of Cambridge（剑桥大学）；DeepSea；University of Basel（巴塞尔大学）；University of Lausanne（洛桑大学）；University of Applied Sciences of Western Switzerland（瑞士西部应用科学大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
分布偏移，或训练和部署数据之间的不匹配，是机器学习在高风险工业应用（如自动驾驶和医疗）中使用的重大障碍。这就需要能够评估ML模型的泛化能力以及其不确定性估计的质量。标准ML基线数据集不允许评估这些属性，因为训练，验证和测试数据通常是相同分布的。最近，出现了一系列专门的基准测试，具有分布匹配和移动数据。在这些基准测试中，Shifts数据集在任务的多样性以及它所具有的数据形式方面脱颖而出。虽然大多数基准测试主要由2D图像分类任务主导，但Shifts包含表格天气预报，机器翻译和车辆运动预测任务。这使得模型的鲁棒性能够在不同的工业规模任务上进行评估，并得出通用或直接适用的特定任务结论。在本文中，我们扩展了移位数据集，其中两个数据集来自具有高度社会重要性的工业高风险应用。具体来说，我们考虑的任务的白质多发性硬化症病变的3D磁共振脑图像的分割和估计的功耗在海上货船。这两项任务的特点是无处不在的分布变化和严格的安全要求，由于错误的高成本。这些新的数据集将使研究人员能够进一步探索新情况下的鲁棒泛化和不确定性估计。在这项工作中，我们为这两项任务提供了数据集和基线结果的描述。
2022-09-15 cs.AI cs.LG stat.ML
Towards proactive self-adaptive AI for non-stationary environments with dataset shifts
Instituto Universitario de Tecnologías de la Información y Comunicaciones（信息与通信技术大学学院）；Universitat Politècnica de Valéncia（瓦伦西亚理工大学）
针对非平稳环境中数据集偏移导致AI性能下降的问题，提出基于Functional Data Analysis的主动自适应方法，通过多项式样条基建模参数轨迹并短期预测参数值，无需更新训练数据即可显著提升模型抵御偏移的性能。
2025-04-30 cs.AI cs.LG
MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task
Hitachi, Ltd.（日立制作所）
我们提出了一个机器声音数据集的基准领域泛化技术异常声音检测（ASD）。域偏移是数据分布的差异，会降低检测性能，处理它们是ASD系统应用的主要问题。虽然目前可用的ASD任务数据集假设域偏移的发生是已知的，但在实践中，它们可能难以检测。为了处理这样的域转移，应该研究无论域如何都表现良好的领域泛化技术。在本文中，我们提出了第一个ASD数据集的领域泛化技术，称为MIMII DG。该数据集由五种机器类型和每种机器类型的三种域转移场景组成。该数据集专用于领域泛化任务，其特征包括导致领域偏移的参数的多个不同值以及可能难以检测的领域偏移的引入，例如背景噪声中的偏移。使用两个基线系统的实验结果表明，数据集再现域转移的情况下，是有用的基准领域泛化技术。
2022-11-22 cs.AI cs.LG cs.SD
A Unifying Causal Framework for Analyzing Dataset Shift-stable Learning Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Brex Inc.（Brex公司）；Bayesian Health（贝叶斯健康公司）
最近对预测模型的外部有效性的兴趣（即，不同的训练和测试分布的问题（称为数据集移位）已经产生了许多用于找到预测分布的方法，这些预测分布对于数据集移位是不变的，并且可以用于在新的、不可见的环境中进行预测。然而，这些方法考虑了不同类型的偏移，并且是在不同的框架下开发的，因此很难从理论上分析解决方案在稳定性和准确性方面的差异。从因果关系图的角度来看，我们使用灵活的图形表示来表达各种类型的数据集变化。给定一个已知的图形的数据生成过程中，我们表明，所有不变的分布对应于一个因果层次的图形操作符，禁用边缘的图形负责的转变。该层次结构提供了一个共同的理论基础，以了解何时以及如何实现稳定的转变，以及在什么方式稳定分布可以不同。我们用它来建立跨环境的极大极小最优性能的条件，并推导出新的算法，找到最佳的稳定分布。使用这个新的角度来看，我们经验证明，有一个权衡极大极小和平均性能。
2022-07-18 cs.AI cs.LG stat.ML
Counterfactual Normalization: Proactively Addressing Dataset Shift and Improving Reliability Using Causal Mechanisms
Johns Hopkins University（约翰斯·霍普金斯大学）
由于数据集的变化，预测模型可能无法从训练环境推广到部署环境，从而对模型的可靠性和下游决策的安全性构成威胁。我们不是使用来自目标分布的样本来反应性地纠正数据集偏移，而是使用与预测问题中的变量相关的因果机制的图形知识来主动删除不跨环境泛化的关系，即使这些关系可能依赖于未观察到的变量（违反“没有未观察到的混杂因素”假设）。为了实现这一点，我们识别具有统计影响的不稳定路径的变量，并将其从模型中删除。我们还用潜在的反事实变量来增强因果图，这些变量隔离了统计影响的不稳定路径，使我们能够保留否则会被删除的稳定路径。我们的实验表明，去除脆弱变量并使用潜变量估计值的模型传递得更好，尽管在训练域中有一些准确性损失，但在目标域中通常表现出色。
2018-08-09 cs.LG stat.ML
DSLOB: A Synthetic Limit Order Book Dataset for Benchmarking Forecasting Algorithms under Distributional Shift
University of Southern California（南加州大学）；J.P.Morgan AI Research（摩根大通人工智能研究院）
在电子交易市场中，限价订单簿（LOB）提供关于给定证券在不同价格水平的待决买入/卖出订单的信息。最近，人们对使用LOB数据来解决下游机器学习任务（例如，预测）。然而，处理分布外（OOD）LOB数据是具有挑战性的，因为在当前公开可用的LOB数据集中，分布偏移是未标记的。因此，构建一个带有标记的OOD样本的合成LOB数据集作为开发模型的测试平台至关重要，这些模型可以很好地推广到看不见的场景。在这项工作中，我们利用多智能体市场模拟器来构建一个合成LOB数据集，命名为DSLOB，有和没有市场压力的情况下，它允许设计的控制分布转移基准。使用所提出的合成数据集，我们提供了一个全面的分析三种不同的国家的最先进的预测方法的预测性能。我们的研究结果反映了需要增加研究人员的努力，以开发具有鲁棒性的算法，在高频时间序列数据的分布变化。
2022-11-17 cs.AI cs.LG q-fin.ST
A unified framework for dataset shift diagnostics
University of Michigan（密歇根大学）；Federal University of São Carlos（圣卡洛斯联邦大学）；Trustly；Experian LatAm DataLab（益博睿拉丁美洲数据实验室）；University of São Paulo（圣保罗大学）
本文提出DetectShift框架，通过统一测试统计量量化多种数据集偏移，适用于回归分类及多模态数据，在有限标注下提升预测器适应性。
2023-09-12 cs.AI cs.LG stat.ME
Factorizable Joint Shift in Multinomial Classification
Independent Researcher, 8032 Zurich, Switzerland
可因子化联合移位（FJS）是最近提出的一种数据集移位类型，其完整特征可以通过称为联合重要性对齐的方法从测试数据集上的特征数据观测来估计。对于多项（多类）分类设置，我们推导出一个表示的factorizable联合移位的源（训练）分布，目标（测试）先验类概率和目标边缘分布的功能。在此结果的基础上，我们提出了替代联合重要性对齐，并在同一时间，指出，可因式分解的联合移位是不完全可识别的，如果没有类标签信息的测试数据集是可用的，没有额外的假设。本文的其他结果包括一般数据集移位和可因子分解联合移位下后验类概率的校正公式。此外，我们还研究了假设可因子分解的联合移位对样本选择引起的偏差的影响。
2022-09-16 cs.LG math.ST stat.ML
BREEDS: Benchmarks for Subpopulation Shift
MIT（麻省理工学院）
我们开发了一种方法来评估模型对亚群迁移的鲁棒性-具体来说，就是它们推广到训练过程中未观察到的新数据亚群的能力。我们的方法利用现有数据集的类结构来控制组成训练和测试分布的数据子群体。这使我们能够合成现实的分布偏移，其来源可以精确控制和特点，在现有的大规模数据集。将这种方法应用于ImageNet数据集，我们创建了一套不同粒度的子群体迁移基准。然后，我们通过获得人类基线来验证相应的变化是易于处理的。最后，我们利用这些基准来衡量标准模型架构的敏感性以及现成的训练时间鲁棒性干预的有效性。代码和数据可在https://github.com/MadryLab/BREEDS-Benchmarks获得。
2020-08-11 cs.CV cs.LG stat.ML
Distribution Shift Is Key to Learning Invariant Prediction
本研究发现分布偏移对模型学习和不变预测具有关键作用，通过理论和实证证明，较大的分布偏移可提升ERM性能，接近不变预测模型。
2026-01-18 cs.LG
Forecasting the Past: Gradient-Based Distribution Shift Detection in Trajectory Prediction
Mercedes-Benz AG（梅赛德斯-奔驰集团）
本文提出一种自监督方法，通过在事后训练解码器预测轨迹后半部分，利用梯度的L2范数检测分布偏移，提升轨迹预测在Shifts和Argoverse数据集上的性能，并用于早期检测深度Q网络运动规划器的碰撞。
2026-04-14 cs.LG
MUST-CNN: A Multilayer Shift-and-Stitch Deep Convolutional Architecture for Sequence-based Protein Structure Prediction
University of Virginia（弗吉尼亚大学）
从蛋白质的一级氨基酸序列预测蛋白质的溶剂可及性和二级结构等性质是生物信息学中的一项重要任务。最近，一些深度学习模型已经超越了传统的基于窗口的多层感知器。从图像分类领域获得灵感，我们提出了一种深度卷积神经网络架构MUST-CNN，用于预测蛋白质性质。这种架构使用了一种新的多层移位和缝合（MUST）技术，以产生完全密集的蛋白质序列的每位置预测。我们的模型比最先进的模型要简单得多，但效果更好。通过结合MUST和高效的卷积运算，我们可以考虑更多的参数，同时保持非常快的预测速度。我们在两个大型蛋白质性质预测数据集上击败了最先进的性能。
2016-05-10 cs.LG
Conformal Prediction for Molecular Properties under Label Shift
Mogam Institute for Biomedical Research（慕庵生物医学研究院）；Intellicode（智码公司）
针对药物开发中分子性质预测的分布偏移与传统点预测指导有限的问题，提出标签偏移下的共形预测框架，无需重训练即可生成严谨预测区间，提升AI预测可信度与决策可靠性。
2026-08-19 cs.LG
Biquality Learning: a Framework to Design Algorithms Dealing with Closed-Set Distribution Shifts
Orange Innovation（奥兰治创新公司）；AgroParisTech（巴黎高科农业学院）
针对弱监督与数据集偏移并存挑战，提出双质量学习框架，利用可信与不可信数据集设计两种算法，实验验证其应对分布偏移的有效性。
2023-08-29 cs.LG
Failing Conceptually: Concept-Based Explanations of Dataset Shift
University of Cambridge（剑桥大学）
尽管机器学习技术在各种视觉任务上表现出色，但它们往往屈服于数据分布偏移。因此，最近的一系列工作探索了检测这些变化的技术。不幸的是，目前的技术没有解释是什么触发了变化的检测，从而限制了它们提供可操作的见解的效用。在这项工作中，我们提出了概念瓶颈移位检测（CBSD）：一种新的可解释的移位检测方法。CBSD通过识别和排名高级人类可理解的概念受变化影响的程度来提供解释。使用两个案例研究（dSprites和3dshapes），我们演示了CBSD如何准确地检测受移位影响的基本概念，并实现更高的检测精度相比，国家的最先进的移位检测方法。
2021-05-01 cs.LG
Split Conformal Prediction with Label-Shift-Adjusted Bayesian Scores
MOGAM Institute for Biomedical Research（MOGAM生物医学研究所）；CROID Research（CROID研究）；aSSIST University（aSSIST大学）
针对标签偏移下共形预测失效问题，提出标签偏移调整的贝叶斯分数（LSA分数），通过后验预测倾斜恒等式修正贝叶斯分数，在分子性质预测中生成更短区间且覆盖相当。
2026-09-14 cs.LG
Detection of Dataset Shifts in Learning-Enabled Cyber-Physical Systems using Variational Autoencoder for Regression
Vanderbilt University（范德堡大学）
信息物理系统（CPS）广泛使用学习使能组件（LEC）来处理高不确定性环境下的各种复杂任务。然而，训练和测试阶段之间的数据集转换可能会导致LEC无法有效地进行大误差预测，并进一步危及整个系统的安全性。在我们的论文中，我们首先为学习型CPS中不同类型的数据集偏移提供了正式定义。然后，我们提出了一种方法来有效地检测数据集的回归问题的变化。我们的方法是基于归纳共形异常检测，并利用一个变分自编码器的回归模型，使该方法能够考虑LEC输入和输出检测数据集的变化。此外，为了提高检测的鲁棒性，分层相关传播（LRP）被纳入我们的方法。我们通过使用在自动驾驶汽车开源模拟器中实施的先进紧急制动系统来演示我们的方法。评估结果表明，我们的方法可以检测到不同类型的数据集的变化与少量的虚警，而执行时间小于系统的采样周期。
2021-04-14 cs.LG
Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation
MIT（麻省理工学院）
本文提出数据集接口框架，利用文本反演生成可控反事实样本，以诊断模型在多种分布偏移下的失败，并在ImageNet上验证其有效性。
2023-06-19 cs.LG
Source Component Shift Adaptation via Offline Decomposition and Online Mixing Approach
NEC Corporation（日本电报电话株式会社）
针对源成分偏移自适应问题，提出基于离线分解与在线混合的方法，通过 EM 算法离线学习源成分并利用在线凸优化更新混合权重，显著提升了自适应性能并降低了累积测试损失。
2025-08-14 cs.LG
Ensembling Shift Detectors: an Extensive Empirical Evaluation
Dataiku Lab（Dataiku实验室）
术语数据集移位是指用于训练机器学习模型的数据与模型运行的位置不同的情况。虽然几种类型的移位自然发生，但现有的移位检测器通常被设计为仅处理特定类型的移位。我们提出了一种简单而强大的技术来集成互补移位检测器，同时调整每个检测器对数据集的统计测试的显著性水平。这实现了更稳健的移位检测，能够解决所有不同类型的移位，这在精确移位类型通常未知的现实生活设置中是必不可少的。这种方法是验证了一个大规模的统计上健全的基准研究，在各种合成的转变，适用于现实世界的结构化数据集。
2021-06-28 cs.LG
Estimating Test Performance for AI Medical Devices under Distribution Shift with Conformal Prediction
Massachusetts General Hospital（麻省总医院）；Harvard University（哈佛大学）；University of Colorado（科罗拉多大学）
估计基于软件AI的医疗器械在分布偏移下的测试性能对于在临床部署之前评价安全性、有效性和可用性至关重要。由于受监管医疗器械软件的性质以及难以获取大量标记的医疗数据集，我们考虑的任务是，在不修改原始训练过程或原始源数据的任何分布假设的情况下，预测任意黑盒模型在未标记目标域上的测试精度（即，我们将模型视为“黑盒”，仅使用预测的输出响应）。我们提出了一个“黑盒”测试估计技术的基础上共形预测和评估它对其他方法的三个医学成像数据集（乳腺X线摄影，皮肤病，组织病理学）下的几个临床相关类型的分布偏移（机构，硬件扫描仪，图集，医院）。我们希望通过推广实用有效的黑箱模型估计技术，医疗器械制造商能够开发出更加标准化和真实的评估程序，以提高临床AI工具的稳健性和可信度。
2022-07-12 cs.LG
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布（IID）假设。不幸的是，解决协变量偏移的常用方法，试图通过使用重要性加权来消除训练和测试分布之间的偏差，通常在理论上提供较差的性能保证，在实践中提供具有高方差的不可靠预测。最近开发的方法，构建一个预测，固有的强大的学习困难下协变量偏移的限制，以最大限度地减少对数损失，并可能过于保守，当面对高维学习任务。我们以两种方式解决这些限制：通过稳健地最小化各种损失函数，包括非凸函数，在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图，分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
Frame Shift Prediction
Minerva University（密涅瓦大学）；Federal University of Juiz de Fora（茹伊斯迪福拉联邦大学）；University of Leipzig（莱比锡大学）；International Computer Science Institute（国际计算机科学研究所）
框架转换是翻译中的一种跨语言现象，它导致对应的语言材料对产生不同的框架。预测帧移位的能力使得能够通过注释投影自动创建多语言FrameNet。在这里，我们提出了帧移预测任务，并证明了图形注意力网络与辅助训练相结合，可以学习跨语言帧到帧的对应关系并预测帧移。
2022-01-05 cs.AI cs.CL cs.LG
Time Series Prediction under Distribution Shift using Differentiable Forgetting
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
时间序列预测通常由于分布偏移而变得复杂，这需要自适应模型来适应时变分布。我们框架下的时间序列预测分布偏移作为一个加权的经验风险最小化问题。经验风险中先前观测值的权重由遗忘机制确定，该机制控制用于预测模型估计的相关性和有效样本大小之间的权衡。与以前的工作相比，我们提出了一个基于梯度的学习方法的参数的遗忘机制。这加速了优化，因此允许更多的表达性遗忘机制。
2022-07-23 cs.LG q-fin.ST
Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift
Vo Thien Nhan Institute of Engineering, Ho Chi Minh City University of Technology (HUTECH), Vietnam（冯贤南工程学院，胡志明市技术大学（HUTECH），越南）
该研究评估重要性加权在深度学习数据集偏移场景下的效果，发现其训练早期作用显著但随优化减弱，仅L2正则化可维持效果，在复杂协变量偏移中无明显增益，质疑其现实效用。
2025-06-17 cs.LG
NMR shift prediction from small data quantities
Tartu University（塔尔图大学）；Leipzig University（莱比锡大学）
针对杂核等数据不足场景，提出一种新型机器学习模型，仅需较少数据即可准确预测特定溶剂中小分子的19F和13C NMR化学位移。
2023-04-06 cs.LG physics.chem-ph
Prediction of Survival Outcomes under Clinical Presence Shift: A Joint Neural Network Architecture
Vincent Jeanselme Department of Biomedical Informatics, Columbia University MRC Biostatistics Unit, University of Cambridge Glen Martin Matthew Sperrin Division of Informatics, Imaging \& Data Sciences, University of Manchester Niels Peek The Healthcare Improvement Studies (THIS) Institute, University of Cambridge Brian Tom Jessica Barrett MRC Biostatistics Unit, University of Cambridge
针对电子健康记录预测模型忽略临床存在导致性能与可迁移性受限的问题，提出联合建模观测间时间与缺失过程的多任务循环神经网络，在MIMIC-III死亡率预测中提升性能与可迁移性。
2025-08-07 cs.LG
Molecular Property Prediction under Structural Shift with Tabular Foundation Models
Nums AI
本研究针对结构偏移下的分子性质预测，提出MolPAIR框架，通过分子对上下文增强表格基础模型的上下文学习，在58个任务中多数优于基线，无需参数更新。
2026-10-01 cs.LG
Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation
The Australian National University（澳大利亚国立大学）；NEC Laboratories America, Inc. (NEC Labs)（NEC美国实验室（NEC Labs））
这项工作的目的是评估如何以及一个模型下执行分布偏移不使用标签。虽然最近的方法研究预测的信心，这项工作报告预测分散性是另一个信息线索。置信度反映了单个预测是否确定;分散度表明总体预测如何在所有类别中分布。我们的关键见解是，一个表现良好的模型应该给出高置信度和高分散性的预测。也就是说，我们需要考虑这两个属性，以便做出更准确的估计。为此，我们使用的核规范，已被证明是有效的，在这两个属性的特征。大量的实验验证了核范数对各种模型的有效性（例如，ViT和ConvNeXt）、不同的数据集（例如，ImageNet和CUB-200）和各种类型的分布偏移（例如，风格转变和复制转变）。我们表明，核范数是更准确和更强大的精度估计比现有的方法。此外，我们还验证了其他测量方法的可行性（例如，互信息最大化）用于表征分散性和置信度。最后，我们研究了核范数的局限性，研究了其在严重类不平衡下的改进变体，并讨论了潜在的方向。
2023-02-02 cs.LG
PAC Prediction Sets Under Covariate Shift
University of Pennsylvania（宾夕法尼亚大学）
现代机器学习面临的一个重要挑战是如何严格量化模型预测的不确定性。当基础数据分布发生变化，可能导致预测模型无效时，传达不确定性尤为重要。然而，大多数现有的不确定性量化算法在这种变化的存在下崩溃。我们提出了一种新的方法，解决了这一挑战，通过构建\emph{probably approximately correct (PAC)}预测集的存在下，协变量偏移。我们的方法侧重于从源分布（我们标记了训练样本）到目标分布（我们希望量化不确定性）存在协变量偏移的设置。我们的算法假设给定的重要性权重，该权重编码训练样本的概率在协变量偏移下如何变化。在实践中，重要性权重通常需要估计，因此，我们扩展我们的算法的设置，我们给出的重要性权重的置信区间。我们证明了我们的方法的有效性协变量偏移基于DomainNet和ImageNet。我们的算法满足PAC约束，并给出预测集的最小平均归一化大小之间的方法，总是满足PAC约束。
2022-03-16 cs.LG stat.ML
Benchmarking Uncertainty Quantification on Biosignal Classification Tasks under Dataset Shift
University of Cambridge（剑桥大学）
生物信号是可以从人体连续测量的信号，例如呼吸声、心脏活动（ECG）、脑电波（EEG）等，基于这些信号，机器学习模型已经被开发出用于自动疾病检测和健康状态监测的非常有前途的性能。然而，数据集转移，即，推断的数据分布不同于训练的分布，这对于基于真实生物信号的应用并不罕见。为了提高鲁棒性，采用具有不确定性量化的概率模型来捕获预测的可靠性。然而，评估估计的不确定性的质量仍然是一个挑战。在这项工作中，我们提出了一个框架，以评估能力的估计不确定性，在捕捉不同类型的生物信号数据集的变化与不同程度的。特别是，我们使用三个分类任务的基础上呼吸音和心电图信号基准五个代表性的不确定性量化方法。大量的实验表明，尽管Entrance和Bayesian模型在数据集漂移的情况下能够提供相对较好的不确定性估计，但所有被测试的模型在可信预测和模型校正方面都未能达到预期的效果。我们的工作为全面评估任何新开发的生物信号分类器铺平了道路。
2022-01-25 cs.LG
WQLCP: Weighted Adaptive Conformal Prediction for Robust Uncertainty Quantification Under Distribution Shifts
University of Victoria（维多利亚大学）
针对分布偏移下共形预测覆盖率不可靠的问题，提出加权自适应共形预测方法WQLCP，通过加权可交换性调整分位数阈值，在保持覆盖率的同时减小预测集大小。
2025-05-26 cs.CV cs.LG
Simple yet Effective Node Property Prediction on Edge Streams under Distribution Shifts
Kim Jaechul Graduate School of AI, KAIST（金哉澈人工智能研究生院，韩国科学技术院）
针对时序图神经网络在缺乏节点特征和分布偏移下效果不佳的问题，提出轻量级SPLASH方法，通过特征增强与自动选择及基于MLP的架构提升鲁棒性与效率，并在七个数据集上验证其优异性能。
2025-04-01 cs.LG
Robust Conformal Prediction Using Privileged Information
Technion（以色列理工学院）
针对训练数据损坏导致的分布偏移，本文提出利用仅训练期可用的特权信息，推广加权保形预测以获得有理论覆盖率保证且更具信息量的预测集。
2025-01-09 cs.LG
Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
University of Pennsylvania（宾夕法尼亚大学）
可靠的不确定性估计是帮助自主智能体或人类决策者理解和利用预测模型的重要工具。然而，现有的估计不确定性的方法在很大程度上忽略了协变量偏移的可能性--即，其中真实世界数据分布可能不同于训练分布。因此，现有的算法可能会高估确定性，可能会对预测模型产生错误的信心。我们提出了一种算法，用于校准预测，占协变量偏移的可能性，给定标记的例子从训练分布和未标记的例子从现实世界的分布。我们的算法使用重要性加权来校正从训练到真实世界分布的转变。然而，重要性加权依赖于训练和真实世界分布足够接近。基于领域自适应的思想，我们还学习了一个试图均衡这两个分布的特征图。在实证评估中，我们表明，我们提出的方法优于现有的方法校准预测时，有协变量偏移。
2020-05-21 cs.LG stat.ML
Robust prediction under missingness shifts
Fraunhofer IKS（弗劳恩霍夫IKS）
该研究探讨缺失偏移下的预测鲁棒性，证明可忽略缺失偏移下贝叶斯预测器不变，其实验发现不同方法对不同偏移鲁棒性不同，不可忽略偏移下高信息性缺失时忽略缺失值效果最优。
2024-06-24 cs.LG stat.ML
Deep Kernel Learning for Mortality Prediction in the Face of Temporal Shift
University of Vienna（维也纳大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）
神经模型具有提供新颖表示的能力，在医疗保健的预测任务中显示出有希望的结果。然而，患者的人口统计数据，医疗技术和护理质量随着时间的推移而变化。这通常会导致潜在患者的神经模型性能下降，特别是在校准方面。深度内核学习（DKL）框架可能对这种变化具有鲁棒性，因为它将神经模型与高斯过程相结合，高斯过程知道预测的不确定性。我们的假设是，分布外的测试点将导致概率更接近全局平均值，从而防止过度自信的预测。我们假设，这反过来将导致对前瞻性数据的更好校准。本文探讨了DKL的行为时，面对一个时间的转变，这是自然引入时，一个信息系统，饲料队列数据库发生了变化。我们比较DKL的性能的神经基线的基础上循环神经网络。我们表明，DKL确实产生了优越的校准预测。我们还证实，DKL的预测确实不那么尖锐。此外，DKL的辨别能力甚至得到了改善：其AUC为0.746（± 0.014标准差），而基线为0.739（± 0.028标准差）。本文证明了在神经计算中包括不确定性的重要性，特别是对于它们的未来用途。
2022-12-01 cs.LG
Robust Calibration For Improved Weather Prediction Under Distributional Shift
ML Collective（机器学习社区）；RV College of Engineering（RV工程学院）
本文针对分布偏移下的域外天气预报与不确定性估计问题，提出结合混合专家、先进数据增强与鲁棒事后校准的深度神经网络方法，在表格数据上取得了比提升树模型更准确且校准更好的结果。
2024-01-08 cs.AI cs.LG
Label Distribution Shift-Aware Prediction Refinement for Test-Time Adaptation
KAIST（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
本文提出DART方法，通过训练预测精化模块识别并纠正类别级混淆模式，以应对测试时自适应中的标签分布偏移问题，在多个基准上提升伪标签准确率和现有TTA方法的性能，且无偏移时无性能损失。
2025-02-05 cs.AI cs.CV cs.LG
Conformal Drug Property Prediction with Density Estimation under Covariate Shift
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carle Illinois College of Medicine（卡勒伊利诺伊医学院）
提出CoDrug方法，利用能量模型和核密度估计评估分子密度并加权样本以校正协变量偏移，从而在药物发现中提供更可靠的保形预测集，将覆盖差距降低超过35%。
2023-10-18 cs.LG stat.ML
CUQDS: Conformal Uncertainty Quantification under Distribution Shift for Trajectory Prediction
University of Connecticut（康涅狄格大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出 CUQDS 框架，结合学习型高斯过程回归与统计型共形 P 控制，在分布偏移下对现有轨迹预测模型进行在线不确定性量化，并同时提升预测精度、降低估计不确定性。
2025-02-04 cs.LG cs.RO
SHIFT15M: Fashion-specific dataset for set-to-set matching with several distribution shifts
ZOZO Research（ZOZO研究院）
本文讨论了集对集匹配问题，它涉及到基于某些标准匹配两个不同的项目集，特别是在高维项目的情况下，如图像。虽然神经网络已经被应用于解决这个问题，但大多数基于机器学习的方法都假设训练数据和测试数据遵循相同的分布，这在现实世界中并不总是正确的。为了解决这一限制，我们引入了SHIFT 15 M，这是一个数据集，当数据分布在训练和测试之间发生变化时，可用于评估集对集匹配模型。我们进行基准实验，证明性能下降的幼稚方法由于分布偏移。此外，我们还提供了以简单的方式处理SHIFT 15 M数据集的软件，该软件的URL将在本文发表后提供。我们相信，建议的SHIFT 15 M数据集提供了一个宝贵的资源，评估集到集匹配模型下的分布偏移。
2023-03-08 cs.CV cs.LG
Coverage Guarantees for Pseudo-Calibrated Conformal Prediction under Distribution Shift
Elmore Family School of Electrical and Computer Engineering, Purdue University（艾洛姆家族电气与计算机工程学院，普渡大学）
针对分布漂移下保形预测覆盖失效问题，利用伪校准和领域自适应工具，推导目标覆盖下界，并提出通过松弛参数膨胀保形阈值的方法及源调优伪校准算法，实验证明其能缓解覆盖退化。
2026-07-20 cs.LG eess.IV
Wasserstein-regularized Conformal Prediction under General Distribution Shift
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Harbin Institute of Technology（哈尔滨工业大学）；Lehigh University（理海大学）
针对一般联合分布偏移下保形预测覆盖差距难以控制的问题，提出基于Wasserstein距离的覆盖差距上界及WR-CP算法，通过分离协变量与概念偏移影响，在准确性与效率间取得平衡，实验证明覆盖差距降至3.2%，预测集平均缩小37%。
2025-03-06 cs.LG stat.ML
Non-exchangeable Conformal Prediction with Optimal Transport: Tackling Distribution Shifts with Unlabeled Data
Qualcomm AI Research（高通人工智能研究）
本文利用最优传输理论，提出一种无需先验分布偏移类型信息的方法，以估计并缓解非交换保形预测中的覆盖率损失，实现任意分布偏移下的稳健不确定性量化。
2025-10-24 cs.LG stat.ML
Adapting Prediction Sets to Distribution Shifts Without Labels
School of Engineering University of Guelph（工程学院 温哥华大学）；Vector Institute for Artificial Intelligence（人工智能矢量研究所）；Harvard University（哈佛大学）
本文研究在测试期无标签且存在分布偏移时如何改进 conformal prediction (CP)，提出 ECP 和 EACP 两种方法，利用基础模型自身的不确定性评估调整得分函数，实验表明其性能显著优于基线并接近全监督方法。
2025-06-09 cs.LG stat.ML
PAC Prediction Sets Under Label Shift
University of Pennsylvania（宾夕法尼亚大学）；POSTECH（浦项科技大学）
针对分布偏移下保形预测集失效问题，提出一种在标签偏移下通过估计目标域类别概率和混淆矩阵并利用高斯消元算法计算重要性权重置信区间来构建预测集的新算法，在五个数据集上验证其满足PAC保证且预测集更小更具信息量。
2023-10-19 cs.LG stat.ML
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift
Google Research（谷歌研究院）
协变量偏移已被证明会大幅降低预测准确性和深度学习模型的不确定性估计的校准。这是令人担忧的，因为协变量偏移在广泛的现实世界部署设置中普遍存在。然而，在本文中，我们注意到，经常有可能在预测时间之前访问少量未标记的移位数据。这个有趣的观察使一个简单但令人惊讶的有效方法，我们称之为预测时间批量归一化，显着提高模型的准确性和校准下协变量偏移。使用这一行代码更改，我们在最近的协变量偏移基准测试中实现了最先进的技术，在具有挑战性的ImageNet-C数据集上实现了60.28\%的mCE;据我们所知，这是任何不包含额外数据增强或修改训练管道的模型的最佳结果。我们发现，预测时间批量归一化提供了互补的好处，现有的国家的最先进的方法，以提高鲁棒性（例如，深度集成）和结合这两个进一步提高性能。我们的研究结果得到了详细测量的效果，这种策略对模型的行为在严格的消融在各种数据集模式。然而，当与预训练一起使用时，该方法的结果好坏参半，并且在更自然的数据集转移类型下似乎表现不佳，因此值得进一步研究。我们在图中包含了数据链接以提高可重复性，包括一个Python笔记本，可以在https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof上运行以轻松修改我们的分析。
2021-01-14 cs.LG stat.ML
Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts
University of California, Berkeley（加州大学伯克利分校）
提出预测驱动风险监控（PPRM），一种基于预测驱动推断的半监督方法，通过结合合成标签与少量真实标签构建运行风险的随时有效下界，实现对有害漂移的检测，并在图像分类、大语言模型和电信监控任务中验证有效性。
2026-06-11 cs.LG eess.SP
