Uncertainty Quantification for Regression using Proper Scoring Rules
Department of Machine Learning, MBZUAI（机器学习部门，MBZUAI）；ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz（林兹ELLIS单元和LIT AI实验室，机器学习研究所，林兹约翰内斯·开普勒大学）
针对现有不确定性量化研究多聚焦分类、难以拓展至回归的问题，提出基于恰当评分规则的统一回归UQ框架，推导闭式表达式并实现两类不确定性分解，经多数据集评估为度量选择提供指导。
2025-09-30 cs.LG
Evaluating and Calibrating Uncertainty Prediction in Regression Tasks
General Motors Israel（通用汽车以色列公司）；Technion（以色列理工学院）；Bar-Ilan University（巴伊兰大学）
不仅预测目标，而且准确测量不确定性对于许多机器学习应用，特别是安全关键应用都很重要。在这项工作中，我们研究了在现实世界中经常出现的回归任务的不确定性预测的校准。我们发现，回归不确定性校准的现有定义[Kuleshov et al. 2018]在区分信息性和非信息性不确定性预测方面存在严重局限性。我们提出了一个新的定义，逃避这个警告和评价方法，使用一个简单的直方图为基础的方法。我们的方法聚类的例子与类似的不确定性预测，并比较预测与经验的不确定性对这些例子。我们还提出了一个简单的，基于缩放的校准方法，以及更复杂的预制件。我们显示结果的合成，控制问题和目标检测边界框回归任务使用COCO和KITTI数据集。
2020-02-03 cs.LG stat.ML
Uncertainty Prediction for Deep Sequential Regression Using Meta Models
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
为序贯回归生成高质量的不确定性估计，特别是深度递归网络，仍然是一个具有挑战性和开放性的问题。现有的方法往往作出限制性的假设（如平稳性），但在实践中仍然表现不佳，特别是在现实世界的非平稳信号和漂移的存在。本文介绍了一种灵活的方法，可以产生对称和非对称的不确定性估计，不作任何假设平稳性，并优于漂移和非漂移情况下的竞争基线。这项工作有助于使序贯回归在现实世界的应用中更加有效和实用，并且是一般序贯不确定性量化建模工具箱的强大新添加。
2021-07-22 cs.LG stat.ML
Beta quantile regression for robust estimation of uncertainty in the presence of outliers
University of Southern California（南加州大学）；Amazon Web Services（亚马逊云科技）
针对分位数回归对异常特征敏感的问题，提出结合稳健散度概念的稳健分位数回归方法，并在真实数据集和医学图像转换任务中验证了其优越性。
2023-09-14 cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Mondrian Forests for Large-Scale Regression when Uncertainty Matters
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
许多现实世界的回归问题需要测量与每个预测相关的不确定性。标准决策森林提供了高效的最先进的预测性能，但缺乏高质量的不确定性估计。高斯过程（GP）提供不确定性估计，但将GP扩展到大规模数据集的代价是近似不确定性估计。我们将Lakshminarayanan等人（2014）首次提出的Mondrian森林用于分类问题，扩展到大规模非参数回归设置。使用一种新的分层高斯先验，与蒙德里安森林框架，我们得到原则性的不确定性估计，同时仍然保留决策森林的计算优势。通过结合说明性的例子，真实世界的大规模数据集，和贝叶斯优化基准，我们证明，蒙德里安森林优于近似GP的大规模回归任务，并提供更好的校准比基于决策森林的方法的不确定性评估。
2016-05-27 cs.LG stat.ML
Comparison of Uncertainty Quantification with Deep Learning in Time Series Regression
University of Groningen（格罗宁根大学）
越来越多的高风险决策是使用神经网络来进行预测的。具体来说，气象学家和对冲基金将这些技术应用于时间序列数据。在预测方面，机器学习模型存在一定的局限性（例如缺乏表达能力，域转移的脆弱性和过度自信），可以使用不确定性估计来解决。关于不确定性应该如何“表现”，有一套期望。例如，更宽的预测范围应该导致更多的不确定性，或者模型的置信度应该与其准确性成正比。本文比较了不同的不确定性估计方法对气象时间序列数据的预测，并对这些期望进行了评价。结果显示了每种不确定性估计方法在预测任务中的表现，这部分地评估了预测不确定性的鲁棒性。
2022-11-11 cs.LG
Uncertainty quantification for distributed regression
WIAS Berlin（柏林魏尔斯特拉斯应用分析与随机研究所）
不断增长的数据集规模使得经过充分研究的学习技术（如核岭回归）变得不适用，从而带来了严重的计算挑战。分治是一种常见的补救措施，建议将数据集分割成不相交的分区，获得局部估计并对其进行平均，它允许扩展否则无效的基本方法。在目前的研究中，我们提出了一个完全数据驱动的方法来量化平均估计的不确定性。也就是说，我们同时构建元素的置信带的预测所产生的平均估计在一个给定的确定性预测集。新的方法具有严格的理论证明了广泛的一类基础学习与核岭回归是一个特殊的情况。作为我们分析的副产品，我们也得到了一个超范数一致性结果的分治核岭回归。模拟研究支持了理论研究结果。
2021-05-24 cs.LG stat.ML
SLURP: Side Learning Uncertainty for Regression Problems
SATIE, Paris-Saclay University（巴黎萨克雷大学 SATIE 实验室）
对于深度学习算法来说，量化其输出不确定性以满足可靠性约束并提供准确的结果已经变得至关重要。回归的不确定性估计受到的关注比分类少，因为后一类任务的标准化输出更直接，而且它们的重要性更高。然而，回归问题在计算机视觉的广泛应用中遇到。我们提出了SLURP，一个通用的方法回归不确定性估计通过侧学习，利用输出和中间表示产生的主要任务模型。我们在计算机视觉中的两个关键回归任务上测试SLURP：单目深度和光流估计。此外，我们进行了详尽的基准测试，包括转移到不同的数据集和添加任意噪声。结果表明，我们的建议是通用的，很容易适用于各种回归问题，并具有较低的计算成本相对于现有的解决方案。
2022-01-03 cs.CV cs.LG
Likelihood Annealing: Fast Calibrated Uncertainty for Regression
University of Tübingen（图宾根大学）；Inria（法国国家信息与自动化研究所）；Google Research（谷歌研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出名为 Likelihood Annealing 的快速校准不确定性估计方法，无需事后校准即可加速深度回归模型收敛，并在高维和低维回归任务及多种网络架构中验证了其广泛适用性。
2023-07-02 cs.AI cs.CV cs.LG
How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts?
Uppsala University（乌普萨拉大学）；ETH Zürich（苏黎世联邦理工学院）
该研究针对真实世界分布偏移下回归模型不确定性估计的可靠性问题，构建含8个图像回归数据集的基准，评估多种常用方法后发现无偏移时校准良好的方法在多数据集上会过度自信，为领域研究提出新挑战。
2023-11-07 cs.CV cs.LG
Uncertainty Quantification for Regression: A Unified Framework based on kernel scores
LMU Munich（慕尼黑莱茵恩大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；DLR-German Aerospace Center University of Tromsø（德国航空航天中心-特罗姆瑟大学）；German Research Center for Artificial Intelligence (DFKI, DSA)（德国人工智能研究中心）
针对回归任务中不确定性量化问题，尤其是安全关键领域，介绍基于严格恰当核得分的多元回归不确定性度量族，证明核属性与不确定性度量行为对应关系，通过实验展示其在下游任务有效性及不同核选择的权衡。
2026-07-07 cs.LG
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon（俄勒冈大学）
回归树（GBRT）是解决表格回归问题的一种非常流行的方法，但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树（IBUG），一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布，其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量，并且可以通过采样树或训练实例来改进。从经验上讲，我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现，IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能，并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现，以前的方法在某些数据集上的概率校准较差，这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
Uncertainty-Guided Alignment for Unsupervised Domain Adaptation in Regression
EPFL（洛桑联邦理工学院）；Intelligent Maintenance and Operations Systems（智能维护与运营系统（机构））
本文提出不确定性引导对齐（UGA），将证据深度学习预测的不确定性融入特征对齐过程，以解决回归任务无监督域自适应中传统特征对齐失效和特征坍缩问题，并在多个基准上取得优于现有方法的性能。
2024-11-21 cs.CV cs.LG
Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression
综述符号回归中的不确定性量化方法，涵盖频率派、贝叶斯和模型选择三个研究方向，指出该领域尚待探索。
2026-06-04 cs.LG
AdaPRL: Adaptive Pairwise Regression Learning with Uncertainty Estimation for Universal Regression Tasks
Tencent Music Entertainment（腾讯音乐娱乐）；Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）
针对深度回归模型逐点学习忽视数据间相对顺序及训练数据偶然不确定性导致过拟合的问题，提出AdaPRL自适应成对学习框架，结合深度概率模型量化预测不确定性，在多任务及多元时间序列预测中兼容不同骨干网络，无额外推理成本且性能领先。
2025-02-10 cs.LG
Uncertainty estimation under model misspecification in neural network regression
ETH Zürich（苏黎世联邦理工学院）
虽然神经网络是功能强大的函数逼近器，但底层建模假设最终定义了可能性，从而定义了它们参数化的假设类。在分类中，这些假设是最小的，因为常用的softmax能够表示任何分类分布。然而，在回归中，通常会对要实现的连续分布类型进行限制性假设，例如通过均方误差及其潜在的高斯假设进行训练的主导选择。最近，建模的进步允许对要建模的连续分布的类型不可知，赋予回归分类模型的灵活性。虽然过去的研究强调这种灵活的回归模型在性能方面的好处，在这里，我们研究的不确定性估计的模型选择的效果。我们强调，根据模型误指定，任意的不确定性没有被正确捕获，贝叶斯处理的误指定模型导致不可靠的认知不确定性估计。总的来说，我们的研究提供了一个概述，如何在回归模型的选择可能会影响不确定性估计，从而任何下游的决策过程。
2021-11-23 cs.LG stat.ML
An Axiomatic Assessment of Entropy- and Variance-based Uncertainty Quantification in Regression
LMU Munich（慕尼黑莱布尼茨大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；DLR-German Aerospace Center University of Tromsø（德国航空航天中心图勒大学）；German Research Center for Artificial Intelligence (DFKI, DSA)（德国人工智能研究中心）
针对机器学习中不确定性量化研究多聚焦分类、回归领域形式化论证与评估有限的问题，用通用参数公式表示连续空间不确定性，提出公理集严格评估相关不确定性测度，以熵和方差测度为例分析其局限性。
2026-07-07 cs.LG stat.ML
Uncertainty separation via ensemble quantile regression
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出一种基于分位数回归模型集成（E-QR）的可扩展框架，通过渐进采样算法迭代改进偶然与认知不确定性的分离，在大型数据集和合成基准上超越Deep Ensembles和MC dropout等方法。
2024-12-18 cs.AI cs.CE cs.LG
Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts
Johns Hopkins University（约翰斯·霍普金斯大学）
针对深度集成方法不确定性估计存在的存储高、推理慢问题，提出单次前向传播的Density-Regression方法，证明其具备距离感知能力，实验验证其在多任务分布偏移场景下性能相当且更高效。
2024-03-07 cs.LG stat.ML
Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出变分不平衡回归（VIR）模型，通过借用相似标签数据计算潜在表示的变分分布并预测整个正态逆伽马分布分布进行实现概率重加权，在准确性和不确定性性估计上优于现有不平衡回归模型。
2024-11-10 cs.CV cs.LG cs.NE
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial；Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计，改进了批量均值收敛速率并实现了最小最大最优性，通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
Average-Over-Time Spiking Neural Networks for Uncertainty Estimation in Regression
CWI（荷兰数学和计算机科学研究学会）；University of Amsterdam（阿姆斯特丹大学）
本文将 AOT-SNN 框架扩展到回归任务，提出异方差高斯与 RAC 两种不确定性估计方法，并在玩具及基准数据集上验证其性能可媲美或优于现有深度神经网络。
2024-11-29 cs.AI cs.LG cs.NE
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Uncertainty Quantification for Deep Regression using Contextualised Normalizing Flows
Arquimea Research Center（阿奎米亚研究中心）；Department of Computer Science, University of York（约克大学计算机科学系）；Department of Elect. Eng., and Computer Science and Eng., Cyprus University of Technology（塞浦路斯技术大学电子工程与计算机科学系）
本文提出MCNF方法，通过上下文化规范化流实现深度回归模型的不确定性量化，生成预测区间和完整条件分布，无需重新训练模型，提升高风险领域的决策可靠性。
2025-11-30 cs.LG
On Monocular Depth Estimation and Uncertainty Quantification using Classification Approaches for Regression
Paris-Saclay University（巴黎萨克雷大学）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
单目深度在许多任务中都很重要，例如3D重建和自动驾驶。基于深度学习的模型在该领域实现了最先进的性能。一组新的方法来估计单眼深度包括将回归任务转换为分类任务。然而，在社区中缺乏对回归分类方法（CAR）的详细描述和比较，并且没有深入探索其不确定性估计的潜力。为此，本文将介绍CAR方法的分类和总结，CAR的一种新的不确定性估计解决方案，并在KITTI数据集上对基于CAR的模型的深度精度和不确定性量化进行了一系列实验。实验反映了两个主干上的各种CAR方法的可移植性的差异。同时，新提出的不确定性估计的方法可以优于集成方法，只有一个前向传播。
2022-06-29 cs.CV cs.LG
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Regression with Uncertainty Quantification in Large Scale Complex Data
Rochester Institute of Technology（罗切斯特理工学院）
虽然最近提出了几种预测深度网络上不确定性的方法，但它们并不容易转化为大型复杂的数据集。在本文中，我们利用简化形式的混合密度网络（MDNs）产生一个一次性的方法来量化回归问题中的不确定性。我们表明，我们的不确定性界限是在标准杆或优于其他现有的方法。当应用于标准回归基准数据集时，与现有的最先进的方法相比，我们在预测对数似然和均方根误差方面有所改进。我们还证明了这种方法的有效性随机，高度波动的时间序列数据，股票价格预测的下一个时间间隔。由此产生的不确定性图总结了股票价格图中的显著异常。此外，我们将此方法应用于具有挑战性的IMDb-Wiki数据集的50万张人脸图像的年龄估计任务。我们成功地预测了与预测相关的不确定性，并实证分析了不确定性的根本原因。这种不确定性量化可用于预处理低质量数据集并进一步实现学习。
2019-12-04 cs.LG stat.ML
Uncertainty Voting Ensemble for Imbalanced Deep Regression
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出 UVOTE，用负对数似然训练专家并以任意不确定性加权融合预测，在不平衡回归基准上提升精度与不确定性校准。
2024-10-25 cs.LG
Wasserstein-type Gaussian Process Regressions for Input Measurement Uncertainty
Lawrence Berkeley National Laboratory（伯克利国家实验室）
本文提出基于Wasserstein距离的高斯过程回归方法，通过将噪声输入表示为概率测度，解决输入测量误差导致的后验区间过窄和决策偏差问题。
2026-03-18 cs.LG stat.ME
Efficient Analytic Uncertainty Quantification for Multi-Modal Regression
Google（谷歌）；Google DeepMind（谷歌DeepMind）
针对多模态回归中现有不确定性量化方法效率低或假设过强的问题，提出基于变分贝叶斯推断的统一框架，将分位数回归和分类恢复模型转化为解析ELBO和闭式预测密度，实现高效准确的不确定性量化，在三个大规模基准上超越现有方法。
2026-06-25 cs.LG
A hybrid data driven-physics constrained Gaussian process regression framework with deep kernel for uncertainty quantification
The Chinese University of Hong Kong（香港中文大学）
针对传统高斯过程回归依赖大量数据的问题，提出融合深度核的数据驱动-物理约束混合GPR框架，通过Boltzmann-Gibbs分布编码物理约束、深度神经网络构成协方差函数，在少量标注数据的高维UQ任务中实现良好精度与不确定性传递效果。
2022-11-10 cs.LG
Uncertainty Quantification Metrics for Deep Regression
Lund University（隆德大学）；Linköping University（林雪平大学）
针对深度回归任务的不确定性量化评估问题，研究四类典型指标在合成数据集下的表现与稳定性，发现校准误差最稳定可解释，推荐用AUSE替代斯皮尔曼等级相关系数。
2024-10-29 cs.LG cs.RO
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Model Agnostic Explainable Selective Regression via Uncertainty Estimation
Scoula Normale Superiore（比萨高等师范学校）；University Southampton（南安普顿大学）；Alexandra Institute（亚历山德拉研究所）
本文提出一种模型无关的非参数不确定性估计方法用于选择性回归，在69个数据集上优于现有方法，并利用可解释AI分析驱动因素，开源了实现代码。
2023-11-15 cs.LG stat.ML
Robust Neural Regression via Uncertainty Learning
School of Information Technology, Deakin University（迪肯大学信息技术学院）
深度神经网络往往会低估不确定性，并产生过于自信的预测。最近提出的解决方案，如MC Dropout和SDENet，需要复杂的训练和/或辅助分布外数据。我们提出了一个简单的解决方案，通过扩展经过时间考验的迭代加权最小二乘（IRLS）在广义线性回归。我们使用两个子网络参数化的预测和不确定性估计，使复杂的输入和非线性响应的简单处理。这两个子网络具有共享的表示，并通过两个互补的损失函数进行训练，用于预测和不确定性估计，并具有如合作游戏中的交错步骤。与更复杂的模型（如MC-Dropout或SDE-Net）相比，我们提出的网络更容易实现，更鲁棒（对变化的任意和认知不确定性不敏感）。
2021-10-12 cs.AI cs.LG stat.ML
Efficient Epistemic Uncertainty Estimation in Regression Ensemble Models Using Pairwise-Distance Estimators
Department of Computer Science（计算机科学系）；McGill University（麦吉尔大学）
本文提出利用成对距离估计器（PaiDEs）高效估计回归集成模型的认知不确定性，加速BALD主动学习，在多个基准上验证了其在高维任务中的优越性能。
2025-09-26 cs.AI cs.LG
Moment Multicalibration for Uncertainty Estimation
University of Pennsylvania（宾夕法尼亚大学）；Rice University（莱斯大学）
我们展示了如何实现Hébert-Johnson et al. [2018]中的“多重校准”概念，不仅适用于均值，还适用于方差和其他高阶矩。非正式地说，这意味着我们可以找到回归函数，给定一个数据点，不仅可以预测其标签的期望值，还可以预测其标签分布的更高时刻，并且这些预测不仅在总体上平均时匹配真实分布量，而且在大量精细定义的子组上平均时也是如此。它产生了一个原则性的方法来估计预测的不确定性在许多不同的子组，并诊断潜在的来源不公平的预测能力的功能，跨子组。作为一个应用程序，我们表明，我们的时刻估计可以用来获得边际预测区间，同时有效的平均在所有的（足够大的）子组的时刻multicalibration已获得。
2020-08-18 cs.LG stat.ML
Towards Reliable Uncertainty Quantification via Deep Ensembles in Multi-output Regression Task
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Seoul National University（首尔大学）
本研究针对导弹气动性能预测的多输出回归任务，提出结合事后校准的深度集成框架以解决不确定性低估问题，在精度、可靠性和效率上优于高斯过程回归，且可扩展至任意回归任务。
2023-11-24 cs.CE cs.LG
Improved probabilistic regression using diffusion models
Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Tromsø（特罗姆斯大学）；DLR-German Aerospace Center（德国航空航天中心）
本文提出一种基于扩散模型的非参数概率回归框架，通过建模扩散噪声的完整分布来增强不确定性量化，在多种回归任务中优于现有基线。
2025-10-06 cs.LG
Deep Monte Carlo Quantile Regression for Quantifying Aleatoric Uncertainty in Physics-informed Temperature Field Reconstruction
College of Aerospace Science and Engineering National University of Defense Technology（国防科技大学航空航天学院）；Defense Innovation Institute Chinese Academy of Military Science（中国人民解放军军事科学院国防创新研究院）
对于温度场重建（TFR）这一复杂的图像到图像回归问题，由于卷积层具有良好的图像特征提取能力，卷积神经网络（CNN）是一种强大的代理模型。然而，训练CNN需要大量的标记数据，而普通的CNN无法量化数据噪声引起的随机不确定性。在实际工程中，很难获得无噪声的、有标记的TFR训练数据。针对这两个问题，提出了一种深度蒙特卡罗分位数回归（Deep MC-QR）方法，用于温度场重建和量化数据噪声引起的随机不确定性。一方面，Deep MC-QR方法利用物理知识指导CNN的训练。因此，深度MC-QR方法可以在没有任何标记的训练数据的情况下重建准确的TFR代理模型。另一方面，Deep MC-QR方法为每个训练时期中的每个输入构建分位数级别图像。然后，训练好的CNN模型可以在预测阶段通过分位数水平的图像采样来量化任意的不确定性。最后，通过大量实验验证了所提出的Deep MC-QR方法的有效性，并分析了数据噪声对TFR的影响。
2022-02-14 cs.LG
Fully Heteroscedastic Count Regression with Deep Double Poisson Networks
Brigham Young University, Department of Computer Science（Brigham Young 大学计算机科学系）；Arizona State University, School of Computing and Augmented Intelligence（亚利桑那州立大学计算与增强智能学院）；Ohio State University, Department of Marketing（俄亥俄州立大学市场营销系）
针对计数回归领域缺乏类似连续回归的异方差不确定性建模方法的问题，提出输出双泊松分布参数的深度双泊松网络DDPN，可灵活表征计数数据的偶然不确定性并提升集成后的认知不确定性估计，在多数据集上的准确率、校准度和分布外检测均达最优水平。
2025-10-01 cs.LG
Aleatoric uncertainty for Errors-in-Variables models in deep regression
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
本文提出将变量误差概念引入贝叶斯深度回归，以量化输入不确定性，实现更完整的偶然与认知不确定性分解，在不损失预测性能的同时提升不确定性估计的可靠性。
2023-05-12 cs.AI cs.LG stat.ML
Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests
Texas Tech University（德克萨斯理工大学）；University of Nebraska - Lincoln（内布拉斯加大学林肯分校）
针对保形预测难以给出样本自适应异方差区间的问题，本文用深度回归森林方差逐样本量化不确定性，提升了药物响应预测中归一化归纳保形预测的效率与覆盖率。
2024-02-21 cs.AI cs.LG stat.ML
Analytical results for uncertainty propagation through trained machine learning regression models
National Physical Laboratory（国家物理实验室）
本文针对已训练 ML 回归模型的不确定性传播问题，推导多种主流模型输出均值与方差的解析表达式，并通过数值实验和锂离子电池 EIS 计量应用验证其有效性与计算效率。
2024-05-08 cs.LG stat.ML
On weight and variance uncertainty in neural networks for regression tasks
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德法尔多西大学）
本文提出在回归任务中引入方差不确定性以提升贝叶斯神经网络的预测性能，并通过实验验证其有效性。
2026-02-28 cs.LG stat.ML
Training-Free Uncertainty Estimation for Dense Regression: Sensitivity as a Surrogate
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Rutgers University（罗格斯大学）
不确定性估计是评估计算机视觉中深度学习模型鲁棒性的重要步骤，尤其是在应用于风险敏感领域时。然而，大多数最先进的深度学习模型要么无法获得不确定性估计，要么需要进行重大修改（例如，大多数以前的方法都不能把一个任意的模型从货架上拿下来，产生不确定性估计，而不重新训练或重新设计它。为了解决这个差距，我们进行了系统的探索到训练免费密集回归的不确定性估计，一个未被认识到的重要问题，并提供了一个理论建设证明这样的估计。我们提出了三种简单且可扩展的方法来分析训练网络在可容忍扰动下的输出方差：推断转换，推断噪声和推断辍学。它们仅在推理期间操作，而不需要重新训练、重新设计或微调模型，而这通常是最先进的不确定性估计方法所要求的。令人惊讶的是，即使在训练中不涉及这种扰动，与需要训练的最先进的方法相比，我们的方法也能产生相当甚至更好的不确定性估计。
2022-01-11 cs.CV cs.LG
Combined Data and Deep Learning Model Uncertainties: An Application to the Measurement of Solid Fuel Regression Rate
Data Intensive Studies Center（数据密集型研究中心）；Tufts University（塔夫茨大学）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
在复杂的物理过程表征中，例如测量固体混合火箭燃料的回归率，其中观测数据和所使用的模型都具有来自多个来源的不确定性，以系统的方式将这些数据结合起来以获得感兴趣的量（QoI）仍然是一个挑战。在本文中，我们提出了一个前向传播不确定性量化（UQ）的过程，以产生一个概率分布的观测回归率$\dot{r}$。我们表征了来自实验的两个输入数据不确定性来源（来自相机$U_c$和非零角度燃料放置$U_γ$的失真）、来自深度神经网络（$U_m$）的预测和模型形式不确定性以及来自用于训练它的手动分割图像（$U_s$）的可变性。我们进行了七个案例研究，这些不确定性来源的组合与模型形式的不确定性。本文的主要贡献是调查和列入实验图像数据的不确定性，以及如何将它们包括在一个工作流程时，生活质量是多个顺序过程的结果。
2023-03-18 cs.LG
Deep Heteroskedastic Regression: Post-Hoc Variance Estimation from Latent Representations
Technical University of Denmark（丹麦技术大学）；Google DeepMind（谷歌DeepMind）
本文提出一种简单高效的方法，通过在预训练网络中间层进行事后拟合，解决深度异方差回归中的不确定性量化与均值预测权衡问题，实现与现有最先进水平相当的不确定性量化性能。
2026-11-13 cs.LG
UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression
School of Electrical Engineering, Computing and Mathematical Sciences, Curtin University（电气工程、计算与数学科学学院，科廷大学）；North South University（北南大学）；BRAC University（布拉克大学）；The Australian National University（澳大利亚国立大学）；University of ÓBuda（奥布达大学）
UPLME通过不确定性感知的概率语言建模框架，有效应对共情回归任务中的标签噪声问题，实现性能提升。
2025-11-23 cs.CL cs.LG
Accurate Uncertainties for Deep Learning Using Calibrated Regression
Stanford University（斯坦福大学）
在不确定性条件下进行推理的方法是准确可靠的机器学习系统的关键组成部分。贝叶斯方法提供了一个量化不确定性的一般框架。然而，由于模型错误指定和近似推理的使用，贝叶斯不确定性估计通常是不准确的-例如，90%的可信区间可能不包含90%的真实结果。在这里，我们提出了一个校准任何回归算法的简单过程;当应用于贝叶斯和概率模型时，它保证在给定足够数据的情况下产生校准的不确定性估计。我们的程序的灵感来自普拉特缩放和扩展以前的工作分类。我们在贝叶斯线性回归、前馈和递归神经网络上评估了这种方法，发现它始终输出校准良好的可信区间，同时提高了时间序列预测和基于基于模型的强化学习任务的性能。
2018-07-01 cs.LG stat.ML
Bayesian Uncertainty and Expected Gradient Length -- Regression: Two Sides Of The Same Coin?
Mercedes-Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
主动学习算法选择数据的子集进行注释，以在预算范围内最大化模型性能。一种这样的算法是预期梯度长度，顾名思义，它使用采样过程中每个示例引起的近似梯度。虽然预期梯度长度已成功用于分类和回归，但回归公式仍然是直观驱动的。因此，我们的理论贡献包括推导这个公式，从而支持实验证据。随后，我们证明了回归中的期望梯度长度等价于贝叶斯不确定性。如果某些假设是不可行的，我们的算法贡献（EGL++）近似的合奏与一个单一的确定性网络的效果。而不是计算每个输入的多个可能的推断，我们利用以前注释的样本来量化以前的标签是真实标签的概率。这种方法使我们能够将预期的梯度长度扩展到一个新的任务：人体姿态估计。我们在两个人体姿态数据集（MPII和LSP/LSPET）上进行了实验验证，突出了EGL++与不同的主动学习算法用于人体姿态估计的可解释性和竞争力。
2021-10-22 cs.CV cs.LG
Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks
Husqvarna Group（富世华集团）；Zenseact（Zenseact公司）
针对图像回归任务中传统损失函数概率分布估计差、过度自信的问题，提出改进Wasserstein损失的hinge-Wasserstein方法，可更好估计多模态偶然不确定性，在地平线检测等任务上效果显著。
2024-06-21 cs.LG stat.ML
Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection
e:fs TechHub GmbH（e:fs科技中心有限公司）；Ruhr West University of Applied Sciences（鲁尔西区应用科学大学）
可靠的空间不确定性评估的目标检测模型是特别感兴趣的，一直是最近的工作主题。在这项工作中，我们回顾了现有的定义概率回归任务的不确定性校准。我们检查常见的检测网络的校准特性，并扩展最先进的重新校准方法。我们的方法使用高斯过程（GP）重新校准方案，该方案产生参数分布作为输出（例如高斯或柯西）。GP重新校准的使用允许通过捕获相邻样本之间的依赖性来进行局部（条件）不确定性校准。诸如高斯的参数分布的使用允许在随后的过程中简化校准的适应，例如，用于卡尔曼滤波范围内的目标跟踪。此外，我们使用GP重新校准方案来执行协方差估计，其允许输出量之间的局部相关性的事后引入，例如，位置、宽度或高度。为了测量多变量和可能相关的数据的联合校准，我们引入了分位数校准误差，该误差基于预测分布和地面真实值之间的Mahalanobis距离来确定地面真实值是否在预测分位数内。我们的实验表明，常见的检测模型高估了空间的不确定性相比，观察到的误差。我们表明，简单的等渗回归重新校准方法是足以实现一个很好的不确定性量化校准的分位数。相比之下，如果后续过程需要正态分布，我们的GP-正态重新校准方法会产生最佳结果。最后，我们表明，我们的协方差估计方法是能够实现最佳的联合多变量校准结果。
2022-08-19 cs.LG
