Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation
CROID Research and aSSIST University（CROID研究院和aSSIST大学）
研究标签偏移下共形贝叶斯方法，通过重要性加权共形校准恢复目标域覆盖，比较事后校准与训练内适应两种策略，后者在偏差训练中起到去偏作用。
2026-06-29 cs.LG stat.ML
Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility
Tsinghua University（清华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
二分排序，其目的是学习一个评分函数，排名积极的个人高于消极的标记数据，被广泛采用在各种应用中，需要样本优先级。最近，人们越来越关注学习的评分函数是否会导致由敏感属性定义的不同保护组之间的系统差异。虽然公平性和性能之间可能存在权衡，但在本文中，我们提出了一个与模型无关的后处理框架，用于在二分排名场景中平衡它们。具体来说，我们通过直接调整各组样本的相对排序来最大化效用和公平性的加权和。通过制定这个问题的最佳翘曲路径在不同的保护组的识别，我们提出了一个非参数的方法来搜索这样的最佳路径，通过一个动态规划过程。我们的方法是兼容的各种分类模型，并适用于各种排名公平性指标。一套基准数据集和两个真实世界的病人电子健康记录库的综合实验表明，我们的方法可以实现算法的效用和排名的公平性之间的很大的平衡。此外，我们实验验证了我们的方法的鲁棒性，当面对较少的训练样本和训练和测试之间的排名分数分布的差异。
2021-06-07 cs.LG stat.ML
Quantifying Model Complexity via Functional Decomposition for Better Post-Hoc Interpretability
LMU Munich（慕尼黑大学）
可以采用诸如部分依赖图的事后模型不可知解释方法来解释复杂的机器学习模型。尽管这些解释方法可以应用于模型的复杂性，但如果模型太复杂，特别是w.r.t.，它们可能会产生误导和冗长的结果。功能交互。为了量化任意机器学习模型的复杂性，我们提出了基于功能分解的模型不可知复杂性度量：使用的特征数量，交互强度和主效应复杂性。我们表明，事后解释的模型，最大限度地减少了三个措施是更可靠和紧凑。此外，我们展示了这些措施的应用程序中的多目标优化方法，同时最大限度地减少损失和复杂性。
2019-09-23 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Instance-Wise Monotonic Calibration by Constrained Transformation
School of Computer Science and Engineering（计算机科学与工程学院）；University of New South Wales（新南威尔士大学）
本文提出一类基于约束变换的实例级单调事后校准方法，在保持概率排序的同时实现高表达力、鲁棒性与可解释性，并在多个数据集上取得最优性能。
2025-07-09 cs.LG stat.ML
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics
Stanford University（斯坦福大学）
本文提出可训练的核校准度量，将校准视为分布匹配任务，统一分类与回归中的校准方法，并可直接用于经验风险最小化，从而提升校准、锐度与决策性能。
2023-10-31 cs.LG stat.ML
Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Georgia Tech（佐治亚理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
预测多类深度网络的校准置信度得分对于避免罕见但代价高昂的错误非常重要。一种常见的方法是学习事后校准函数，该函数将原始网络的输出转换为校准的置信度分数，同时保持网络的准确性。然而，先前的事后校准技术仅适用于简单的校准函数，可能缺乏足够的表示来校准深度网络的复杂函数景观。在这项工作中，我们的目标是学习可以保留任何深度网络的top-k预测的一般事后校准函数。我们称这类函数为内部保序函数。我们提出了一种新的神经网络架构，表示一类内部保序功能，通过结合常见的神经网络组件。此外，我们引入了顺序不变和对角子族，当训练数据很小时，它们可以作为正则化以获得更好的泛化能力。我们在广泛的数据集和分类器中显示了所提出的方法的有效性。我们的方法优于国家的最先进的事后校准方法，即温度缩放和狄利克雷校准，在几个评估指标的任务。
2020-10-23 cs.CV cs.LG stat.ML
Calibrating Deep Neural Network Classifiers on Out-of-Distribution Datasets
UC Riverside（加州大学河滨分校）
为了提高深度神经网络（DNN）分类器的可信度，表示正确性真实可能性的准确预测置信度至关重要。为此，已经提出了许多事后校准方法来利用轻量级模型将目标DNN的输出层映射到校准的置信度。尽管如此，在实践中，在分布外（OOD）数据集上，目标DNN通常会以高置信度对样本进行错误分类，这对现有的校准方法产生准确的置信度带来了重大挑战。在本文中，我们提出了一种新的事后置信度校准方法，称为CCAC（带有辅助类的置信度校准），用于OOD数据集上的DNN分类器。CCAC的关键新颖之处在于校准模型中的一个辅助类，它将错误分类的样本与正确分类的样本分开，从而有效地减轻了目标DNN的错误。我们还提出了一个简化版本的CCAC，以减少自由参数，并促进转移到一个新的看不见的数据集。我们在不同DNN模型，数据集和应用程序上的实验表明，CCAC可以始终优于先前的事后校准方法。
2020-06-16 cs.LG stat.ML
Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods
Imperial College Business School, Imperial College London（帝国理工学院商学院）
本文提出无分布、模型无关的非参数回归校准方法，首次以最小假设同时实现个体校准和有限样本保证，并建立匹配的校准误差上下界。
2023-10-26 cs.LG stat.ME stat.ML
Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods
University of Oslo（奥斯陆大学）
本研究评估了多种模型无关后验校准方法在二分类任务中的表现，发现文恩-阿伯斯预测器在降低对数损失方面表现最佳，而Platt缩放效果较弱，同时指出某些常用校准方法可能对现代模型产生负面影响。
2026-01-19 cs.LG stat.AP stat.ML
TaylorPODA: A Taylor Expansion-Based Method to Improve Post-Hoc Attributions for Opaque Models
研究针对不透明模型事后归因方法缺乏普遍标准的问题，提出基于泰勒展开框架的TaylorPODA方法，通过引入假设、分析矛盾、设计可控分配机制等，使其既满足假设又适应下游目标，提升了归因与用户定义效用的对齐及解释的可交流性。
2026-07-29 cs.AI cs.LG stat.ML
Estimating Classification Confidence Using Kernel Densities
San Diego State University（圣地亚哥州立大学）；Perelman School of Medicine at the University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）；Helix
本文研究了“探索性”机器学习分类问题的置信度事后校准。这些问题的困难来自于持续的愿望，即在管理数据集时推动哪些类别有足够的例子来概括，以及对这些类别的有效性的混淆。我们认为，对于这样的问题，必须使用“一对所有”的方法（顶标签校准），而不是“校准全响应矩阵”的方法主张在文献中的其他地方。我们介绍和测试四个新的算法，旨在处理的特质，特定类别的置信度估计。在这些方法中，主要是使用核密度比进行置信度校准，包括一种新颖的，防弹算法来选择带宽。我们测试我们的主张，并探讨校准的生物信息学应用程序（PhANN）以及经典的MNIST基准的限制。最后，我们的分析认为，事后校准应始终执行，应仅基于测试数据集，并应进行目视检查。
2022-09-15 cs.LG stat.ML
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
Saarland University（萨尔大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文提出通过双层Stackelberg公式将标准校准器与神经网络骨干端到端联合训练，以实现准确且校准良好的模型，该方法复杂度低、性能优于SOTA校准器，可避免单独校准组件的开销。
2026-10-12 cs.AI cs.LG stat.ML
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations
Ïndraprastha Institute of Information Technology Delhi（印度理工学院德里）
本文提出EAGLE框架，通过信息论主动学习问题选择扰动，提升模型可解释性，实验证明其在可解释性和扰动质量上优于现有方法。
2026-08-18 cs.AI cs.LG stat.ML
Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning
Lawrence Livermore National Laboratories（劳伦斯利弗莫尔国家实验室）
研究了机器学习分类器的事后校正问题。我们介绍了以下不确定度校准的必要条件：（a）保持准确性，（b）数据效率，（c）高表达能力。我们表明，没有一种现有的方法满足所有三个要求，并演示如何混合n匹配校准策略（即，集成和合成）可以帮助实现显著更好的数据效率和表达能力，同时可证明地保持原始分类器的分类准确性。Mix-n-Match策略是通用的，因为它们可以用于提高任何现成校准器的性能。我们还揭示了标准评估实践中的潜在问题。流行的方法（例如，基于直方图预期校准误差（ECE））可能提供误导性结果，尤其是在小数据范围内。因此，我们提出了一种替代的数据有效的核密度为基础的估计的校准性能的可靠评估，并证明其渐近无偏性和一致性。在大多数实验环境中，我们的方法在校准和评估任务上都优于最先进的解决方案。我们的代码可在https://github.com/zhang64-llnl/Mix-n-Match-Calibration上获得。
2020-06-30 cs.LG stat.ML
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS（亚马逊云科技）；Amazon（亚马逊）
当我们远离数据时，预测的不确定性应该增加，因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验（DAP）校准，这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布，这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的，并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
h-calibration: Rethinking Classifier Recalibration with Probabilistic Error-Bounded Objective
Research Inst. of Trustworthy Autonomous Systems & Dept. of Computer Science and Engineering, SUSTech, China（可信自主系统研究所及计算机科学与工程系，深圳技术大学，中国）；Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation, Dept. of Computer Science and Engineering, SUSTech, and Peng Cheng Lab, China（脑启发智能计算广东省重点实验室、计算机科学与工程系，深圳技术大学，以及鹏城实验室，中国）；Faculty of Engineering and Information Technology, University of Technology Sydney, Australia（工程与信息技术学院，悉尼大学，澳大利亚）；Inst. of Biomedical Engineering, Dept. of Engineering Science, University of Oxford, UK（生物医学工程研究所、工程科学系，牛津大学，英国）
本文提出概率学习框架 h-calibration，通过构造误差有界的规范校准等价目标，设计简单事后校准算法，克服以往方法十大局限并在标准基准上取得最先进性能。
2025-06-22 cs.AI cs.CV cs.LG
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University（莫纳什大学）
来自神经网络的概率预测在分类期间解释预测不确定性，这在许多现实世界和高影响决策制定设置中是至关重要的。然而，在实践中，大多数数据集都是在非概率神经网络上训练的，默认情况下，这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展，例如普拉特缩放（逻辑），等渗和β校准，将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络，它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集，但它们在表格和小数据领域的应用有限。在本文中，我们证明了贝叶斯神经网络产生竞争力的性能相比，校准的神经网络，并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
Short-Term Solar Irradiance Forecasting Using Calibrated Probabilistic Models
Stanford University（斯坦福大学）；Open Climate Fix（开放气候修复）；National Center for Atmospheric Research（美国国家大气研究中心）
推进概率太阳能预测方法对于支持太阳能融入电网至关重要。在这项工作中，我们开发了各种最先进的概率模型预测太阳辐照度。我们调查使用事后校准技术，以确保良好校准的概率预测。我们训练和评估的模型使用公共数据从七个站在SURFRAD网络，并证明，最好的模型，NGBoost，实现更高的性能在每小时内的分辨率比最好的基准太阳辐照度预测模型在所有站点。此外，我们表明，NGBoost与CRUDE事后校准实现了相当的性能数值天气预报模型的小时分辨率预报。
2020-10-14 cs.LG stat.AP stat.ML
Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；KTH（瑞典皇家理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
针对GNN推理阶段鲁棒性不足的问题，提出模型无关的事后方法RobustCRF，基于条件随机场增强鲁棒性，并在基准数据集上验证有效性。
2024-11-08 cs.LG cs.SI stat.AP
Towards Model Agnostic Federated Learning Using Knowledge Distillation
EPFL（洛桑联邦理工学院）；UC Berkeley（加州大学伯克利分校）
有没有可能为联邦学习设计一个通用的API，让一组特定的数据持有者（代理）相互协作并执行联邦学习？这样的API必须是模型不可知的，即不对代理使用的模型架构做出任何假设，也不能依赖于手头有代表性的公共数据。知识蒸馏（KD）是设计此类协议的首选工具。然而，令人惊讶的是，我们发现大多数基于KD的自然联邦学习协议的性能很差。为了研究这一点，我们提出了一个新的理论框架，联邦核岭回归，它可以捕捉模型的异质性以及数据的异质性。我们的分析表明，退化很大程度上是由于数据异构下的知识蒸馏的基本限制。我们进一步验证我们的框架，分析和设计新的协议的基础上KD。他们在使用神经网络的真实世界实验中的表现，尽管仍然不令人满意，但与我们的理论预测非常吻合。
2022-05-11 cs.DC cs.LG math.OC
Distributed Conformal Prediction via Message Passing
针对去中心化场景下设备校准数据有限、仅能邻接通信的问题，提出两种基于消息传递的分布式共形预测方法Q-DCP与H-DCP，通过实验验证了其在不同拓扑下的性能权衡，代码已开源。
2025-05-21 cs.AI cs.LG stat.ML
Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在部署生产数据时，可靠地预测机器学习（ML）系统的潜在故障风险是值得信赖的AI的一个重要方面。本文介绍了Risk Advisor，一种新的事后元学习器，用于估计任何已经训练好的黑盒分类模型的失败风险和预测不确定性。除了提供风险评分外，风险顾问还将不确定性估计分解为任意和认知不确定性分量，从而对引起故障的不确定性来源提供信息性见解。因此，Risk Advisor可以区分由数据可变性、数据偏移和模型限制引起的故障，并就缓解措施（例如，收集更多数据以对抗数据移位）。在各种黑盒分类模型系列以及涵盖常见ML故障场景的真实世界和合成数据集上进行的广泛实验表明，Risk Advisor可以可靠地预测所有场景中的部署时故障风险，并优于强大的基线。
2021-09-09 cs.IR cs.LG stat.ML
Stratification of uncertainties recalibrated by isotonic regression and its impact on calibration error statistics
研究指出保序回归会使回归预测不确定性产生同值分层，导致基于等频分箱的 ENCE 等校准统计量受数据顺序和排序决胜规则影响，并通过示例说明其诊断偏差。
2023-06-08 physics.chem-ph physics.data-an stat.ME
