Segmented Confidence Sequences and Multi-Scale Adaptive Confidence Segments for Anomaly Detection in Nonstationary Time Series
NVIDIA；DGXC Applied AI Lab（DGXC应用人工智能实验室）
针对非平稳时间序列中传统静态阈值易失效的问题，提出两种基于统计在线学习的自适应阈值框架SCS和MACS，在保持误报率的同时显著提升了异常检测的F1分数。
2025-08-08 cs.AI cs.LG
Improving self-training under distribution shifts via anchored confidence with theoretical guarantees
Northwestern University（西北大学）
针对分布偏移下自训练置信度与准确率偏差大、现有改进方法计算成本高的问题，提出基于时序一致性的锚定置信度方法，在无额外计算开销下稳定提升自训练性能8%-16%，且有理论保证。
2024-11-01 cs.LG
From matrix inversion to constraints: provably tighter confidence regions for importance weights in label shift
The Pennsylvania State University（宾夕法尼亚州立大学）
针对标签偏移中重要性权重估计的不确定性，提出直接矩阵约束框架替代基于求逆的推断，通过线性规划提取边际区间，获得可证明更紧且有限样本有效的置信域，在多个基准上优于现有方法。
2026-11-10 cs.LG stat.ML
Confidence intervals for class prevalences under prior probability shift
在数据集漂移的情况下，类患病率的点估计是二十多年来的一个热门研究课题。较少关注的是建设的置信区间和预测区间估计类患病率。一个很少考虑的问题是是否有必要区分置信区间和预测区间。另一个问题，到目前为止，还没有得到最终的答案是，是否或不歧视的权力的分类或评分的基础上的估计方法的问题，为准确性的估计类患病率。本文提出了一种模拟研究，旨在阐明这些问题和其他相关问题。
2019-06-14 cs.LG stat.AP stat.ML
Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）
机器学习模型通常部署在与训练设置不同的测试设置中，由于域转移，可能导致模型性能下降。如果我们可以估计预训练模型在特定部署设置（例如某个诊所）的数据上实现的性能，我们就可以判断模型是否可以安全地部署，或者它的性能是否会在特定数据上出现不可接受的下降。现有的方法基于对来自部署域的未标记的测试数据进行的预测的置信度来估计这一点。我们发现现有的方法与目前的类不平衡的数据斗争，因为用于校准置信度的方法不考虑类不平衡引起的偏差，因此无法估计类的准确性。在这里，我们介绍类的校准不平衡数据集的性能估计的框架内。具体来说，我们得到类特定的修改国家的最先进的置信度为基础的模型评估方法，包括温度缩放（TS），置信度（DoC）的差异，和平均阈值置信度（ATC）。我们还扩展了图像分割中Dice相似系数（DSC）的估计方法。我们在四个任务上进行了实验，发现所提出的修改一致地提高了不平衡数据集的估计精度。与现有方法相比，我们的方法在自然域偏移下的分类中将准确率估计提高了18%，并且在分割任务中的估计准确率提高了一倍。
2022-07-20 cs.CV cs.LG
Q-Learning with Shift-Aware Upper Confidence Bound in Non-Stationary Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）
本文提出Density-QUCB算法，通过转移密度函数检测分布变化，提升Q学习上置信界在非平稳强化学习中的探索与利用平衡，理论和实验均证明其优于QUCB。
2026-03-29 cs.LG
Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models
School of Mathematics and Computer Science, Institute of Business Administration（商业管理学院数学与计算机科学学院）；Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
本文提出CalShift方法，通过结合Fisher信息惩罚和置信度失准惩罚，同时缓解协变量偏移和过度自信问题，在少样本视觉-语言分类中显著改善模型校准与鲁棒性。
2025-04-08 cs.CV cs.LG
Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation
The Australian National University（澳大利亚国立大学）；NEC Laboratories America, Inc. (NEC Labs)（NEC美国实验室（NEC Labs））
这项工作的目的是评估如何以及一个模型下执行分布偏移不使用标签。虽然最近的方法研究预测的信心，这项工作报告预测分散性是另一个信息线索。置信度反映了单个预测是否确定;分散度表明总体预测如何在所有类别中分布。我们的关键见解是，一个表现良好的模型应该给出高置信度和高分散性的预测。也就是说，我们需要考虑这两个属性，以便做出更准确的估计。为此，我们使用的核规范，已被证明是有效的，在这两个属性的特征。大量的实验验证了核范数对各种模型的有效性（例如，ViT和ConvNeXt）、不同的数据集（例如，ImageNet和CUB-200）和各种类型的分布偏移（例如，风格转变和复制转变）。我们表明，核范数是更准确和更强大的精度估计比现有的方法。此外，我们还验证了其他测量方法的可行性（例如，互信息最大化）用于表征分散性和置信度。最后，我们研究了核范数的局限性，研究了其在严重类不平衡下的改进变体，并讨论了潜在的方向。
2023-02-02 cs.LG
Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift
Continental AG（大陆集团）；Technische Universität Berlin（柏林工业大学）
研究自然分布偏移对CNN感知性能的影响，构建新数据集评估分类与定位任务，并基准测试Ensembles和MC-Dropout等不确定性量化方法，发现ConvNeXt-Tiny更鲁棒且MC-Dropout层选择依赖偏移类型与任务。
2024-09-05 cs.AI cs.CV cs.LG
Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
深度神经网络通常在训练时数据分布下不太可能表现出较差的性能，例如受损坏影响的数据。以前的工作表明，测试时间适应数据移位，例如使用熵最小化，有效地提高了性能，这样的移位分布。本文重点介绍了完全测试时间适应设置，其中只需要从目标分布的未标记的数据。这允许适应任意的预训练网络。具体来说，我们提出了一种新的损失，提高了测试时的适应，解决过早收敛和不稳定的熵最小化。这是通过用非饱和代理替换熵并添加基于分批熵最大化的多样性正则化器来实现的，该正则化器防止收敛到平凡的塌陷解。此外，我们建议在网络中添加一个输入转换模块，可以部分撤销测试时间分布的变化。令人惊讶的是，这种预处理可以单独使用完全测试时自适应损失以端到端的方式学习，而无需任何目标域标签或源域数据。我们表明，我们的方法在提高公开可用的预训练图像分类器对ImageNet-C等具有挑战性的基准测试中常见腐败的鲁棒性方面优于以前的工作。
2021-06-28 cs.LG stat.ML
Confidence Calibration for Domain Generalization under Covariate Shift
SRI International（SRI国际）；School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）
现有的校准算法通过无监督的领域自适应来解决协变量偏移的问题。然而，这些方法受到以下限制：1）它们需要来自目标域的未标记数据，这在现实世界应用中的校准阶段可能不可用，以及2）它们的性能严重依赖于源域和目标域的分布之间的差异。为了解决这两个限制，我们提出了新的校准解决方案，通过领域泛化。我们的核心思想是利用多个校准域来减少目标和校准域之间的有效分布差异，以改善校准传递，而不需要来自目标域的任何数据。我们提供了理论依据和经验的实验结果来证明我们提出的算法的有效性。与针对领域自适应设计的最先进的校准方法相比，我们观察到预期校准误差降低了8.86个百分点，或者相当于，在多类分类的改进率上增加了35个百分点。
2021-08-19 cs.CV cs.LG
Deep Neural Network Calibration by Reducing Classifier Shift with Stochastic Masking
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；CSIRO's Data61 and Monash University (adjunct)（CSIRO的数据61与墨尔本大学（兼职））；King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科技大学）
针对DNNs校准不良及现有方法忽略信心不足误差的问题，提出基于掩码的分类器校准方法MaC-Cal，利用随机稀疏性动态调整掩码保留率，实现卓越的校准性能与鲁棒性。
2025-08-12 cs.LG
Two-stage Modeling for Prediction with Confidence
Zu Chongzhi Center for Mathematics and Computational Sciences（祖冲之数学与计算科学中心）；Duke Kunshan University（昆山杜克大学）
神经网络的使用在各种各样的应用中已经非常成功。然而，最近观察到，很难概括分布移位条件下的神经网络的性能。已作出若干努力，以确定潜在的分发外投入。尽管现有文献在图像和文本数据方面取得了重大进展，但金融一直被忽视。本文的目的是研究分布转移的信用评分问题，最重要的金融应用之一。对于潜在的分布移动问题，我们提出了一个新的两阶段模型。使用分布外检测方法，首先将数据分为置信集和非置信集。作为第二步，我们利用领域知识与均值方差优化，以提供可靠的界限不自信的样本。使用实证结果，我们证明了我们的模型为绝大多数数据集提供了可靠的预测。只有一小部分数据集本质上很难判断，我们把它们留给人类来判断。基于两阶段模型，做出了高度可信的预测，并显著降低了与模型相关的潜在风险。
2022-09-19 cs.AI cs.LG q-fin.CP
Predicting with Confidence on Unseen Distributions
UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；Toyota Research Institute（丰田研究所）
最近的研究表明，当对从接近但不同于训练分布的分布中提取的数据评估模型时，机器学习模型的性能可能会有很大变化。因此，预测未知分布的模型性能是一个重要的挑战。我们的工作连接了来自领域自适应和预测不确定性文献的技术，并允许我们在不访问标记数据的情况下预测具有挑战性的未知分布的模型准确性。在分布偏移的背景下，分布距离通常用于调整模型并提高其在新域上的性能，然而在这些研究中，精度估计或其他形式的预测不确定性往往被忽略。通过调查广泛的既定分布距离，如Frechet距离或最大平均离散，我们确定，他们不能引起可靠的估计性能下分布偏移。另一方面，我们发现分类器的预测的置信度（DoC）的差异成功地估计了分类器的性能变化在各种转变。我们专门研究了合成和自然分布偏移之间的区别，并观察到，尽管它的简单性DoC始终优于其他量化的分布差异。$DoC$在几个现实的和具有挑战性的分布偏移上将预测误差减少了几乎一半（$46\%$），例如，在ImageNet-Vid-Robust和ImageNet-Rendition数据集上。
2021-08-19 cs.CV cs.LG stat.ML
Temperature Scaling Attack Disrupting Model Confidence in Federated Learning
College of Computing, Yonsei University（延世大学计算机学院）；Department of Mobile Systems Engineering, Dankook University（Dankook大学移动系统工程系）
温度缩放攻击通过破坏联邦学习中的模型置信度，显著降低校准性同时保持准确率，揭示了校准完整性作为关键攻击面的重要性。
2026-09-04 cs.AI cs.ET cs.LG
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift
University of Cambridge（剑桥大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alan Turing Institute（艾伦图灵研究所）
现代神经网络已被证明是功能强大的函数逼近器，在许多应用中提供最先进的性能。然而，他们缺乏量化预测信心的能力-这在涉及关键决策的高风险应用中至关重要。贝叶斯神经网络（BNN）的目标是通过在网络参数上放置先验分布来解决这个问题，从而诱导出封装预测不确定性的后验分布。虽然基于蒙特卡罗丢弃的BNN的现有变体对分布内数据产生可靠的（尽管是近似的）不确定性估计，但它们倾向于在对特征分布与训练数据不同的目标数据进行的预测中表现出过度自信，即，协变量偏移设置。在本文中，我们开发了一个近似的贝叶斯推断计划的基础上后验正则化，其中未标记的目标数据被用作“伪标签”的模型的信心，用于正则化模型的损失标记的源数据。我们表明，这种方法显着提高了协变量移位数据集的不确定性量化的准确性，对底层模型架构的修改最小。我们证明了我们的方法在全球不同人群中转移前列腺癌预后模型的背景下的实用性。
2020-06-26 cs.LG stat.ML
CAdam: Confidence-Based Optimization for Online Learning
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Tencent TEG（腾讯科技（探索）院）；East China Normal University（华东师范大学）
CAdam 通过评估动量与梯度的一致性来决定是否更新参数，以区分分布偏移与噪声，从而提升在线学习在分布变化和噪声环境下的适应速度与模型性能。
2025-06-04 cs.AI cs.LG stat.ML
Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications
DEI（迪埃学院）；ARCES（自动控制与电子工程系）；University of Bologna（博洛尼亚大学）；CEMSE（计算与建模工程中心）；KAUST（科威特大学）；Italy（意大利）；Saudi Arabia（沙特阿拉伯）
本文提出MACS框架，通过分析中间激活生成分类图，用于统一检测分布外样本、对抗攻击和分布内误分类，实验表明其性能优于现有方法。
2025-12-22 cs.AI cs.LG
Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study
University of Florida（佛罗里达大学）；Wichita State University（威奇托州立大学）；Nanchang Hangkong University（南昌航空大学）
本研究提出EcoTrust框架，结合风险估计与置信度规则，在环境AI案例中比较自动操作与审查的成本，发现丰富风险信号未必优于标定置信度。
2026-09-10 cs.LG cs.SE
Deep Convolutional Architectures for EEG Classification: A Comparative Study with Temporal Augmentation and Confidence-Based Voting
Department of Computer Science（计算机科学系）；California State University, Fresno（加州州立大学，弗雷斯诺分校）
本文比较了深度学习架构在EEG信号分类中的应用，通过时间增强和置信度投票机制提升分类性能，发现3D CNN在AUC和平衡准确率上优于2D架构。
2026-02-25 cs.AI cs.CV cs.LG
CalTwin: Towards Calibrated, Shift-Robust Medical World Models via Fisher-Information Regularisation
Institute of Business Administration Karachi（卡拉奇商业管理学院）；Gachon University（嘉泉大学）；St. John’s University（圣约翰大学）
本研究提出CalTwin方法，结合Fisher信息偏移惩罚与置信度失配惩罚，应用于GRU医学世界模型，在PhysioNet脓毒症挑战赛上显著降低了分布外隐状态预测误差，同时改善了置信度校准。
2026-07-30 cs.LG
Robust Conformal Prediction under Distribution Shift via Physics-Informed Structural Causal Model
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Lehigh University（利哈伊大学）
针对分布偏移下保形预测覆盖失效问题，利用累积密度函数与Wasserstein距离界定覆盖差异上界，并提出物理信息结构因果模型（PI-SCM）降低该上界，有效提升了多任务下的覆盖鲁棒性。
2024-03-22 cs.LG stat.ML
Useful Confidence Measures: Beyond the Max Score
Weizmann Institute（魏茨曼研究所）；Columbia University（哥伦比亚大学）；Google（谷歌）
在安全批评应用程序中部署机器学习（ML）的一个重要组成部分是对ML模型的预测具有可靠的置信度测量。对于在候选类上产生概率向量$f(x)$的分类器$f$，置信度通常被认为是$\max_i f(x)_i$。这种方法可能是有限的，因为它忽略了概率向量的其余部分。在这项工作中，我们得出了几个置信度的措施，依赖于信息超出最大分数，如基于边际和基于熵的措施，并实证评估其有用性，专注于NLP任务与分布偏移和基于变换器的模型。我们表明，当模型进行评估的分布外的数据“开箱即用”，只使用最大分数来告知置信度是非常次优的。在后处理方案中（其中$f$的评分可以使用额外的分发中保留数据来改善），这仍然是正确的，尽管不太显著。总的来说，我们的研究结果表明，基于熵的信心是一个令人惊讶的有用措施。
2022-10-25 cs.LG
$TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
本研究提出 $TCP_α$ 置信度目标，通过边际控制惩罚解决现有置信度估计的歧义问题，在音乐信息检索的 rāga 识别等任务中提升了失败预测性能与域偏移鲁棒性。
2026-08-21 cs.LG eess.AS
Temp-SCONE: A Novel Out-of-Distribution Detection and Domain Generalization Framework for Wild Data with Temporal Shift
Department of Computer Science, San Diego State University（计算机科学系，圣地亚哥州立大学）
Temp-SCONE通过引入时间一致性正则化损失，提升动态环境下分布外检测和领域泛化的鲁棒性。
2025-12-04 cs.LG
Post-hoc Selective Classification for Reliable Synthetic Image Detection
University of Waterloo（滑铁卢大学）；Reality Defender
本文提出ReSIDe框架，通过改进选择性分类策略提升合成图像检测在协变量偏移下的可靠性，实验显示其在常见偏移下显著提升性能。
2026-05-09 cs.CV cs.LG
SENTRY: Selective Entropy Optimization via Committee Consistency for Unsupervised Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）
许多现有的无监督领域自适应（UDA）方法集中于仅在数据分布偏移下进行自适应，并且在附加的跨域标签分布偏移下提供有限的成功。最近基于使用目标伪标签的自训练的工作已经显示出希望，但是在具有挑战性的移位中，伪标签可能是高度不可靠的，并且使用它们进行自训练可能会导致错误累积和域不对齐。我们提出了选择性熵优化通过委员会一致性（SENTRY），一个UDA算法，判断一个目标实例的可靠性的基础上，其预测一致性下的一个委员会的随机图像变换。然后，我们的算法选择性地最小化预测熵以增加对高度一致的目标实例的置信度，同时最大化预测熵以降低对高度不一致的目标实例的置信度。结合基于伪标签的近似目标类平衡，我们的方法导致了显着的改进，超过了最先进的27/31域从标准的UDA基准转换，以及基准设计的标签分布偏移下的压力测试适应。
2021-10-10 cs.CV cs.LG
Beyond Correctness: Confidence-Aware Reward Modeling for Enhancing Large Language Model Reasoning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University（上海数据科学关键实验室，计算机科学学院，复旦大学）
针对小规模大语言模型纯规则奖励强化学习导致推理链质量差或过程与答案不一致的问题，提出置信度感知奖励模型，惩罚错误答案和低置信度正确响应，提升STEM推理能力，在基准上优于现有模型并开源。
2025-11-09 cs.AI cs.LG
Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift
本文通过多数据集与多架构的系统性研究，发现子类型偏移下模型校准失效，仅靠准确率评估子类型鲁棒性不足，需结合校准指标。
2026-08-17 cs.LG
Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains
Department of Computer Science, University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校计算机科学系）；School of ECEE, Arizona State University（亚利桑那州立大学电子、计算机与能源工程学院）
从基线优先视角重新审视人工智能生成文本检测，发现普通微调RoBERTa能匹配或超越专门检测器。分布转移是挑战，研究两种轻量级域适应方法应对，指出检测进展应兼顾分布内性能和分布转移下的鲁棒性。
2026-07-07 cs.CL cs.LG
Distance Matters For Improving Performance Estimation Under Covariate Shift
Imperial College London（帝国理工学院）
本文提出一种基于测试样本与训练分布距离的“距离检查”方法，用于改善协变量偏移下的模型性能估计，在13个图像分类任务上取得显著提升。
2023-08-14 cs.CV cs.LG
RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty
Korea University（高丽大学）
RL-ARC是一种校准感知训练框架，联合利用推理与答案置信度，可改善推理模型校准效果，缓解分布偏移下的过度自信问题，且不大幅牺牲推理性能。
2026-10-09 cs.AI cs.CL cs.LG
Confidence and Dispersity as Signals: Unsupervised Model Evaluation and Ranking
School of Computing, The Australian National University（澳大利亚国立大学计算机学院）；University of Canberra（堪培拉大学）
本文提出无监督模型评估与排序框架，利用模型预测的置信度和分散度两类互补信号，系统验证混合指标（尤其预测矩阵核范数）在分布偏移下更稳健准确。
2025-10-03 cs.CV cs.LG
Reliable and Trustworthy Machine Learning for Health Using Dataset Shift Detection
University of Washington（华盛顿大学）
不可预测的ML模型在看不见的数据上的行为，特别是在健康领域，引起了对其安全性的严重担忧，因为错误的影响可能是致命的。在本文中，我们探讨了使用最先进的分布外检测器进行可靠和值得信赖的诊断预测的可行性。我们选择与各种健康状况相关的公开可用的深度学习模型（例如，皮肤癌、肺音和帕金森病）使用各种输入数据类型（例如，图像、音频和运动数据）。我们证明了这些模型对分布外数据集的预测是不合理的。我们表明，基于马氏距离和革兰氏矩阵的分布外检测方法能够检测出分布外的数据，具有高精度的健康模型，在不同的方式。然后，我们将分布外得分转换为人类可解释的CONFIDENCE SCORE，以研究其对用户与健康ML应用程序交互的影响。我们的用户研究表明，\textsc{confidence score}帮助参与者只相信高分的结果，做出医疗决策，而忽略低分的结果。通过这项工作，我们证明了数据集转移是高风险ML应用程序（如医疗诊断和医疗保健）的关键信息，可以为用户提供可靠和值得信赖的预测。
2021-10-26 cs.LG
Analysis of Kernel Mean Matching under Covariate Shift
University of Alberta（阿尔伯塔大学）
在实际的监督学习场景中，训练样本和测试样本遵循不同的概率分布并不罕见，因此有必要校正采样偏差。针对一个特殊的协变量偏移问题，我们得到了核均值匹配（KMM）估计的高概率置信界，其收敛速度依赖于回归函数的一些正则性度量，也依赖于核的一些容量度量。通过比较KMM和自然插入估计，我们建立了前者的优越性，从而提供了具体的证据/理解下的协变量偏移的KMM的有效性。
2012-06-18 cs.LG stat.ML
Nonparametric Goodness-of-fit Testing under Covariate Shift
Hong Kong University of Science and Technology（香港科技大学）
本文针对协变量偏移场景，提出结合截断重要性加权核岭回归与乘数自助法的非参数拟合优度检验方法，经理论证明与数值实验验证其有效性。
2026-08-07 cs.LG math.ST stat.ME
Distribution-free binary classification: prediction sets, confidence intervals and calibration
Carnegie Mellon University（卡内基梅隆大学）
我们研究了三个概念的不确定性量化-校准，置信区间和预测集-二进制分类的分布自由设置，即不作任何分布假设的数据。随着对校准的重点，我们建立了一个“三脚架”的定理，连接这三个概念的分数为基础的分类。一个直接的含义是，分布免费校准是唯一可能的，甚至渐近，使用评分函数的水平集划分的特征空间至多可数许多集。参数校准方案，如普拉特缩放的变体不满足这一要求，而非参数方案的基础上分仓。为了闭合循环，我们推导出固定宽度和均匀质量分箱的分箱概率的无分布置信区间。作为我们的“三脚架”定理的结果，这些分组概率的置信区间导致无分布校准。我们还推导出扩展设置流数据和协变量移位。
2022-02-16 cs.AI cs.LG math.ST
Training a HyperDimensional Computing Classifier using a Threshold on its Confidence
University of Antwerp（安特卫普大学）；imec（IMEC（微电子研究中心））
本文提出在超维计算训练中引入可调置信度阈值，同时利用低置信度的正确分类样本进行训练，在四个数据集上验证了该方法能持续提升分类精度和预测置信度。
2023-11-30 cs.LG cs.NE
The Label Complexity of Useful Class-Conditional Prediction Sets under Distribution Shift
University of Washington（华盛顿大学）
研究分布偏移下类条件覆盖的标签复杂性，指出无标签方法难以兼顾有效性和效率，精确了恢复每类有效性的成本，通过骨架动作识别等案例研究表明相关现象在多模态基准上存在。
2026-10-06 cs.CV cs.LG
Privacy Preserving Recalibration under Domain Shift
Stanford University（斯坦福大学）
部署在高风险现实世界应用中的分类器必须输出校准的置信度分数，即它们的预测概率应该反映经验频率。重新校准算法可以极大地提高模型的概率估计;然而，现有算法不适用于测试数据遵循与训练数据不同的分布的真实情况，并且隐私保护是至关重要的（例如，保护患者记录）。我们引入了一个框架，抽象出的属性重新校准问题下的差分隐私的约束。这个框架允许我们适应现有的重新校准算法，以满足差分隐私，同时保持有效的域转移的情况。在我们框架的指导下，我们还设计了一种新的重新校准算法，精确温度缩放，它在私有数据集上的性能优于以前的工作。在一个广泛的实证研究中，我们发现，我们的算法提高了校准下的差分隐私的约束下的域转移基准。在ImageNet-C数据集的15个最严重的扰动上，我们的方法实现了0.029的中值ECE，比下一个最好的重新校准方法好2倍以上，比没有重新校准的方法好近5倍。
2020-08-21 cs.AI cs.LG stat.ML
How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks
Department of Electrical and Electronic Engineering Federal University of Santa Catarina (UFSC)（电子与电气工程系联邦圣卡塔琳娜大学（UFSC））
本文通过事后方法修复深度神经网络中损坏的置信度估计器，提出对logits进行p-范数归一化后取最大logit作为置信度估计，显著提升选择性分类性能，使其几乎完全由准确率决定。
2024-05-24 cs.LG
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
现实世界的机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，这可能导致性能下降。在这项工作中，我们研究的方法，预测目标域的准确性，只使用标记的源数据和未标记的目标数据。我们提出了平均保留置信度（ATC），这是一种实用的方法，它可以学习模型置信度的阈值，预测精度为模型置信度超过该阈值的未标记示例的比例。ATC在几种模型架构、分布偏移类型（例如，由于合成腐败，数据集复制或新的亚群）和数据集（Wilds，ImageNet，Breeds，CIFAR和MNIST）。在我们的实验中，ATC估计目标性能$2$ - $4\times$比以前的方法更准确。我们还探讨了这个问题的理论基础，证明，在一般情况下，识别的准确性是一样困难的识别最佳预测，因此，任何方法的有效性取决于（也许未说明）的性质的转变的假设。最后，分析我们的方法在一些玩具分布，我们提供了有关它的工作时的见解。代码可在https://github.com/saurabhgarg1996/ATC_code/上获得。
2022-10-15 cs.LG stat.ML
Improving the Sensitivity of Gravitational Wave Detection with Weighted Conformal Prediction
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；University of Southampton（南安普顿大学）
针对引力波探测中多流水线输出结合及分布偏移问题，提出加权保形预测框架，通过似然比重新加权恢复校准覆盖并提高阈值附近事件置信度，恢复被遗漏的真实信号。
2026-09-11 cs.LG gr-qc stat.ML
Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework
University of California Irvine（加州大学欧文分校）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无限时域MDP离线策略评估中的分布偏移与误差量化问题，提出统一边缘化重要性权重错误设定误差和采样不确定性的区间估计框架，借助判别器与局部鞅结构获得紧致、鲁棒且可证明收敛的置信区间。
2023-10-02 cs.LG stat.ML
Generalized Conformal Predictive Systems Under Distributional Shifts
IDLab Seminar for Statistics（统计研究所研讨会）；Department of Electronics（电子系）；ETH Zurich（苏黎世联邦理工学院）；Information Systems Zurich, Switzerland（苏黎世信息系统，瑞士）；Ghent University（根特大学）
针对分布偏移，通过观测特定置换权重编码偏移，扩展广义共形预测系统，提出偏移感知预测系统，并引入权重不确定性框构建鲁棒共形预测系统包络，提供有限样本或渐近置信保证。
2026-06-09 cs.LG stat.ML
Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
University of Pennsylvania（宾夕法尼亚大学）
可靠的不确定性估计是帮助自主智能体或人类决策者理解和利用预测模型的重要工具。然而，现有的估计不确定性的方法在很大程度上忽略了协变量偏移的可能性--即，其中真实世界数据分布可能不同于训练分布。因此，现有的算法可能会高估确定性，可能会对预测模型产生错误的信心。我们提出了一种算法，用于校准预测，占协变量偏移的可能性，给定标记的例子从训练分布和未标记的例子从现实世界的分布。我们的算法使用重要性加权来校正从训练到真实世界分布的转变。然而，重要性加权依赖于训练和真实世界分布足够接近。基于领域自适应的思想，我们还学习了一个试图均衡这两个分布的特征图。在实证评估中，我们表明，我们提出的方法优于现有的方法校准预测时，有协变量偏移。
2020-05-21 cs.LG stat.ML
Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）；IBM Research AI（IBM研究院人工智能部门）
子网络初始化（彩票）存在于过参数化网络的初始化中的假设，当孤立地训练时，产生高度概括的模型，这导致了对网络初始化的重要见解，并实现了有效的推理。具有未校准置信度的监督模型即使在做出错误预测时也倾向于过度自信。在本文中，我们首次研究了过参数化网络中的显式置信度校准如何影响所得彩票的质量。更具体地说，我们采用了一套校准策略，从混合正则化，方差加权置信度校准到新提出的基于似然的校准和归一化bin分配策略。此外，我们还探索了架构和数据集的不同组合，并就置信度校准的作用提出了一些关键发现。我们的实证研究表明，包括校准机制始终导致更有效的彩票，在准确性以及经验校准指标方面，即使使用相对于源数据集具有挑战性分布变化的数据进行再训练。
2020-09-30 cs.LG stat.ML
PAC Prediction Sets Under Covariate Shift
University of Pennsylvania（宾夕法尼亚大学）
现代机器学习面临的一个重要挑战是如何严格量化模型预测的不确定性。当基础数据分布发生变化，可能导致预测模型无效时，传达不确定性尤为重要。然而，大多数现有的不确定性量化算法在这种变化的存在下崩溃。我们提出了一种新的方法，解决了这一挑战，通过构建\emph{probably approximately correct (PAC)}预测集的存在下，协变量偏移。我们的方法侧重于从源分布（我们标记了训练样本）到目标分布（我们希望量化不确定性）存在协变量偏移的设置。我们的算法假设给定的重要性权重，该权重编码训练样本的概率在协变量偏移下如何变化。在实践中，重要性权重通常需要估计，因此，我们扩展我们的算法的设置，我们给出的重要性权重的置信区间。我们证明了我们的方法的有效性协变量偏移基于DomainNet和ImageNet。我们的算法满足PAC约束，并给出预测集的最小平均归一化大小之间的方法，总是满足PAC约束。
2022-03-16 cs.LG stat.ML
A Baseline Analysis of Reward Models' Ability To Accurately Analyze Foundation Models Under Distribution Shift
Scale AI
本文评估奖励模型在分布偏移下的准确率与校准，发现其对响应偏移更敏感，并适配分类中的 OOD 检测技术识别提示与响应偏移。
2024-01-24 cs.CL cs.LG
Quantification under prior probability shift: the ratio estimator and its extensions
量化问题包括确定给定标签在目标人群中的流行程度。然而，人们通常可以访问来自训练群体的样本中的标签，但不能访问目标群体中的标签。在这种情况下，一个常见的假设是先验概率转移，也就是说，一旦标签已知，特征的分布在训练和目标群体中是相同的。在先验移位假设下，本文给出了量化问题风险的一个新的下界。补充这个下限，我们提出了一个新的近似极小极大类估计，比估计，推广了以前的几个建议在文献中。使用较弱版本的先验移位假设，这可以测试，我们表明，比率估计可以用来建立量化问题的置信区间。我们还扩展了比率估计量，以便它可以：（i）将标签从目标人群中，当他们可用和（ii）估计阳性标签的患病率如何根据某些协变量的函数而变化。
2019-04-05 cs.LG stat.ML
A General Framework for Abstention Under Label Shift
Stanford University（斯坦福大学）
在机器学习的安全关键应用中，避免对低置信度示例进行预测通常很重要。标准的弃权方法往往侧重于优化前k的准确性，但在许多应用中，准确性并不是我们感兴趣的指标。此外，标签移位（训练时间和预测时间之间的类比例的移位）在实际设置中是普遍存在的，并且现有的消除方法不能很好地处理标签移位。在这项工作中，我们提出了一个通用的框架，可以应用于优化任何感兴趣的指标，这是适应标签移位在测试时，并与任何分类器，可以校准的开箱即用。我们的方法利用了最近的报告，校准的概率估计可以用作真实类别标签的代理，从而使我们能够估计任意度量的变化，如果一个例子被弃权。我们提出了计算效率高的算法，在我们的框架下优化灵敏度在目标特异性，auROC，和加权科恩的Kappa，并引入了一种新的强基线的基础上，从先验类概率的JS分歧。合成，生物和临床数据的实验支持我们的发现。
2022-06-19 cs.LG stat.ML
Stable Adversarial Learning under Distributional Shifts
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。最近，有鲁棒的学习方法，针对这个问题，通过最小化最坏情况下的不确定性集的风险。然而，它们在构建决策集时对所有协变量一视同仁，而不考虑其与目标的相关性的稳定性，导致决策集过于庞大，学习者的置信度较低。本文提出了稳定对抗学习（SAL）算法，该算法利用异构数据源构建更实用的不确定性集，并进行差异化鲁棒性优化，其中根据协变量与目标的相关性的稳定性来区分协变量。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2021-05-11 cs.LG stat.ML
Semiparametric Inference for Counterfactual Regression under Intervention-Driven Shift
Korea University（高丽大学）
该研究针对干预驱动分布偏移下的反事实回归问题，提出半参数框架并建立相关理论，通过模拟与SMS提醒应用验证了方法的有限样本性能与适用性。
2026-09-04 cs.LG stat.ME stat.ML
