Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Understanding the Under-Coverage Bias in Uncertainty Estimation
Salesforce Research（赛富时研究院）；University of California, Berkeley（加州大学伯克利分校）
估计回归任务中的数据不确定性通常通过学习分位数函数或以输入为条件的真实标签的预测区间来完成。经常观察到分位数回归--一种学习具有渐近保证的分位数的普通算法--倾向于\emph{under-cover}而不是现实中期望的覆盖水平。虽然已经提出了各种解决方案，但对于为什么这种覆盖不足的偏见首先发生的更根本的理解仍然难以捉摸。本文对分位数学习中的不确定性估计算法的覆盖率进行了严格的理论研究。我们证明了分位数回归存在固有的覆盖不足偏差，在香草设置中，我们学习了一个可实现的线性分位数函数，并且数据比参数多。更定量地，对于$α>0.5$和小$d/n$，通过分位数回归学习的$α$分位数大致实现覆盖$α- (α-1/2)\cdot d/n$，而不管噪声分布如何，其中$d$是输入维度，而$n$是训练数据的数量。我们的理论表明，这种覆盖不足的偏见源于一定的高维参数估计误差，这是不暗示现有的理论分位数回归。模拟和真实数据上的实验验证了我们的理论，并进一步说明了各种因素，如样本大小和模型容量的影响下覆盖偏差在更实际的设置。
2021-06-10 cs.LG math.ST stat.ML
Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests
Texas Tech University（德克萨斯理工大学）；University of Nebraska - Lincoln（内布拉斯加大学林肯分校）
针对保形预测难以给出样本自适应异方差区间的问题，本文用深度回归森林方差逐样本量化不确定性，提升了药物响应预测中归一化归纳保形预测的效率与覆盖率。
2024-02-21 cs.AI cs.LG stat.ML
Integrating Uncertainty Awareness into Conformalized Quantile Regression
针对现有共形分位数回归未区分偶然与认知不确定性导致高认知不确定区域区间过窄的问题，提出不确定性感知CQR方法，在保留无分布覆盖保证的同时提升了条件覆盖性能。
2024-03-12 stat.ME stat.ML
Regression Analysis of Unmeasured Confounding
当研究$x$对$y$的因果效应时，研究人员可以进行回归并报告斜率系数$β_{x}$的置信区间。该常用置信区间提供了抽样误差的不确定性评估，但不评估混杂的不确定性。对$x$进行干预可能会在$y$中产生非预期的反应，当存在混杂因素$w$时，我们会对斜率产生误解。当测量$w$时，我们可以进行多元回归，但当未测量$w$时，通常的做法是在报告置信区间时包括预防性声明，警告不要进行不必要的因果解释。如果目标是可靠的因果解释，那么我们可以做更多的信息。三个混杂参数规格的不确定性可以通过公式传播，以产生混杂区间。在这里，我们开发支持的数学理论，并描述一个示例应用程序。我们提出的方法适用于连续反应或罕见结果的研究。它是一种量化模型不确定性误差的通用方法。置信区间用于评估未测量个体的不确定性，而混杂区间可用于评估未测量属性的不确定性。
2019-08-22 stat.ME
Deep Quantile Regression for Uncertainty Estimation in Unsupervised and Supervised Lesion Detection
University of Southern California（南加利福尼亚大学）；Amazon Web Services（亚马逊云科技）
尽管在各种各样的机器学习任务上表现出令人印象深刻的最先进的性能，但深度学习方法可能会产生过于自信的预测，特别是在训练数据有限的情况下。因此，量化不确定性在病变检测和临床诊断等关键应用中尤为重要，在这些应用中，对不确定性的现实评估对于确定手术切缘、疾病状态和适当治疗至关重要。在这项工作中，我们提出了一种新的方法，使用分位数回归量化任意的不确定性在监督和无监督的病变检测问题。所得到的置信区间可以用于病变检测和分割。在无监督设置中，我们将分位数回归与变分自编码器（VAE）相结合。在这里，我们解决的问题，量化的不确定性的图像重建的VAE作为原则性离群值或病变检测的基础。VAE将输出建模为以其均值和方差为特征的条件独立高斯。不幸的是，在VAE的均值和方差的联合优化导致众所周知的问题收缩或低估的方差。在这里，我们描述了一种替代的分位数回归VAE（QR-VAE），避免了这种方差收缩问题，直接估计输入图像的条件分位数。使用估计的分位数，我们计算输入图像的条件均值和方差，然后通过以错误发现率校正的p值进行阈值处理来检测离群值。在监督设置，我们开发二进制分位数回归（BQR）的监督病变分割任务。我们展示了如何BQR可以用来捕捉病变边界的不确定性的方式，其特点是专家的分歧。
2022-04-26 cs.AI cs.LG eess.IV
Adjusting Regression Models for Conditional Uncertainty Calibration
University of Florida（佛罗里达大学）；Netflix（网飞公司）；Cornell University（康奈尔大学）
针对Conformal Prediction缺乏条件覆盖保证的问题，提出一种新颖的端到端回归训练算法，通过控制条件与名义覆盖率差距的上界来改善条件覆盖，并在合成和真实数据集上验证了其有效性。
2024-09-26 cs.AI cs.LG stat.ML
Isotonic Quantile Regression Averaging for uncertainty quantification of electricity price forecasts
Doctoral School, Faculty of Management, Wrocław University of Science and Technology（沃斯克拉大学管理学院博士学院）；Department of Operations Research and Business Intelligence, Wrocław University of Science and Technology（沃斯克拉大学运筹学与商业智能系）
本文提出保序分位数回归平均（iQRA）方法，通过在分位数回归平均框架中引入随机序约束，为电价点预测集成生成校准良好的概率预测，并在德国日前电力市场中验证其在可靠性和锐度上优于现有后处理方法。
2026-11-09 cs.LG q-fin.ST stat.AP
Combinations of distributional regression algorithms with application in uncertainty estimation of corrected satellite precipitation products
National Technical University of Athens（雅典国立技术大学）
本文面向卫星降水产品校正的空间预测，提出结合GAMLSS、分布回归森林及堆叠、等权平均的分布回归集成方法，并通过大型多源降水数据验证其在分位数性能与稳定性上的优势。
2025-01-06 cs.LG stat.AP stat.ME
Distribution Free Uncertainty for the Minimum Norm Solution of Over-parameterized Linear Regression
Tel Aviv University（特拉维夫大学）
学习理论的一个基本原则是，在预测规则的复杂性和它的泛化能力之间存在一个权衡。现代的机器学习模型并不遵循这种范式：即使与训练集完美拟合，它们也会产生准确的预测。我们研究过参数化线性回归模型，重点是最小范数解：这是具有最小范数的解，可以完美拟合训练集。我们利用最近提出的预测归一化最大似然（pNML）的学习者，这是最小-最大遗憾的解决方案的分布自由设置。我们推导出这个最小-最大遗憾，这是与预测的不确定性的上限。我们发现，如果测试样本主要是在一个子空间中的特征向量与大的特征值的经验相关矩阵的训练数据，该模型的推广，尽管其过参数化的性质。我们展示了使用pNML遗憾作为合成数据上的逐点可学习性度量，并成功地观察到UCI数据集上的过参数化模型的双下降现象。
2021-06-17 cs.LG stat.ML
Deep Evidential Learning for Bayesian Quantile Regression
DTU Management（DTU管理学院）
针对传统不确定性量化方法计算成本高、单次前向模型依赖高斯假设的问题，提出基于证据学习的深度贝叶斯分位数回归模型，可单次前向解耦两类不确定性，在非高斯分布和分布外场景下表现优异。
2023-08-21 cs.AI cs.LG stat.ML
Conformalized Selective Regression
University of Notre Dame（圣母大学）
针对选择性回归中传统不确定性代理忽视模型偏差的问题，本文提出基于 conformal prediction 的 conformalized selective regression，并建立标准化评估框架，实验表明其优于多个最先进基线。
2024-10-28 cs.LG stat.ML
Negative impact of heavy-tailed uncertainty and error distributions on the reliability of calibration statistics for machine learning regression tasks
Institut de Chimie Physique（物理化学研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
该研究指出重尾分布会导致基于MSE与MV差值的校准误差估计不可靠，ZMS统计量相对更可靠，同时重尾问题也影响条件校准统计量及事后校准方法，并提出了相应规避方案。
2024-08-19 cs.LG stat.ML
Adaptive Conformal Prediction for Image Regression Models with Application to an Inertial Confinement Fusion Emulator
Texas A&M University（德州农工大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对图像回归模型的不确定性量化问题，提出基于最近邻的自适应共形预测框架ACPNN，利用高斯过程学习距离度量，在ICF仿真扩散模型上实现可靠的自适应不确定性估计。
2026-10-02 cs.LG stat.ML
Uncertainty Quantification for nonparametric regression using Empirical Bayesian neural networks
我们提出了一种新的，两步经验贝叶斯类型的神经网络的方法。我们表明，在上下文中的非参数回归模型的程序（对数因子）提供了最佳的恢复感兴趣的基本功能参数，并提供贝叶斯可信的频率覆盖保证集。该方法只需拟合神经网络一次，因此比Bootstrapping类型的方法快得多。我们证明了我们的方法在合成数据，观察良好的估计性能和可靠的不确定性量化的适用性。
2022-04-28 math.ST stat.TH
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程（GP）被广泛用于非参数回归的概率建模和推断。然而，它们的计算复杂性与样本量成比例，使得它们对于大数据集不可行。为了加快计算速度，在文献中提出了各种分布式方法。然而，这些方法的理论基础有限。在我们的工作中，我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型，恢复和不确定性量化。作为具体的例子，我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
Uncertainty quantification for sparse spectral variational approximations in Gaussian process regression
本文分析以谱特征为诱导变量的稀疏变分高斯过程回归，给出可信集频率学派覆盖保证、局限及达到极小极大后验收缩率所需诱导变量数的充要下界，并用数值实验验证更广泛方法中的类似现象。
2023-09-28 math.ST stat.TH
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下，结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验，从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中，实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标，在自相似条件下，构造了具有均匀覆盖的回归函数的自适应置信带。此外，我们表明，树后验使最佳推理的形式，有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
Sampling-based vs. Design-based Uncertainty in Regression Analysis
考虑一个研究人员根据美国所有50个州的数据或对网站的所有访问的数据来估计回归函数的参数。估计参数和标准误差的解释是什么？在实践中，研究人员通常假设样本是从大量感兴趣的人群中随机抽取的，并报告旨在捕获抽样变异的标准误差。即使在很难明确说明感兴趣的群体是什么以及它与样本有何不同的应用中，这也很常见。在这篇文章中，我们探讨了一种替代方法的推理，这是部分基于设计。在基于设计的设置中，可以通过策略干预来操纵某些回归变量的值。基于设计的不确定性源于缺乏对回归结果在替代干预下所取值的了解。我们推导出标准误差，该误差考虑了基于设计的不确定性，而不是基于采样的不确定性。我们表明，我们的标准误差一般小于通常的无限人口抽样为基础的标准误差，并提供条件下，他们一致。
2019-06-21 econ.EM math.ST stat.TH
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程，建立了逐点可信集频率学派覆盖率的理论保证，并精确刻画其渐近行为，揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Uncertainty Quantification in Ensembles of Honest Regression Trees using Generalized Fiducial Inference
由于它们的准确性，基于回归树集合的方法是一种流行的预测方法。一些常见的例子包括贝叶斯加性回归树，boosting和随机森林。本文主要研究诚实随机森林，它是在原始随机森林的基础上增加了诚实性，并被证明具有更好的统计性质。主要贡献是一个新的方法，量化的不确定性的估计和预测所产生的诚实的随机森林。该方法是基于广义的基准方法，并提供了一个基准密度函数，衡量每一个单一的诚实的树是真实的模型。利用这样的密度函数，可以获得估计和预测，以及它们的置信/预测区间。通过与几种最先进的方法的数值比较，并通过应用到一些实际数据集，证明了所提出的方法的有前途的经验性质。最后，所提出的方法在理论上支持了一个强大的渐近保证。
2019-11-14 math.ST stat.ME stat.ML
