Learnable Bernoulli Dropout for Bayesian Deep Learning
Texas A&M University（得克萨斯农工大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在这项工作中，我们提出了可学习的伯努利辍学（LBD），一个新的模型不可知的辍学计划，认为辍学率的参数联合优化与其他模型参数。通过对Bernoulli dropout进行概率建模，我们的方法可以在深度模型中实现更鲁棒的预测和不确定性量化。特别地，当与变分自动编码器（VAE）相结合时，LBD使灵活的半隐式后验表示成为可能，从而产生新的半隐式VAE~（SIVAE）模型。我们使用Augment-REINFORCE-Merge（ARM），一种无偏和低方差梯度估计器，解决了关于辍学参数的训练优化问题。我们的一系列任务的实验表明，我们的方法相比，其他常用的辍学计划的优越性能。总体而言，LBD导致图像分类和语义分割中的准确性和不确定性估计的提高。此外，使用SIVAE，我们可以在几个公共数据集上实现最先进的协同过滤性能。
2020-02-12 cs.LG stat.ML
Surrogate Modelling of Proton Dose with Monte Carlo Dropout Uncertainty Quantification
Institute for Mathematical Innovation University of Bath, Bath, UK（数学创新研究所 英国巴斯大学）；Department of Mathematical Sciences University of Bath, Bath, UK（数学科学系 英国巴斯大学）
本文提出一种集成蒙特卡洛丢弃的神经代理模型，用于快速可微的质子剂量预测，并通过一维至三维实验验证其精度、方差分解及对认知与参数不确定性的区分能力，在保持不确定性信息的同时显著加速蒙特卡洛计算。
2025-09-16 cs.LG physics.data-an stat.AP
Robust Uncertainty Quantification Using Conformalised Monte Carlo Prediction
University of York（约克大学）
本文提出混合不确定性量化方法MC-CP，通过自适应MC dropout节省资源并结合共形预测生成稳健预测集合/区间，在分类与回归基准上优于多种先进方法且易于部署。
2024-01-22 cs.AI cs.LG stat.ML
Is MC Dropout Bayesian?
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
MC Dropout是医学成像中用于近似贝叶斯计算（ABC）的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络（NN）中的不确定性量化的艰巨任务;属于变分推理（VI）框架;并提出了一个高度多模态，忠实的预测后验。我们质疑MC Dropout的近似推理属性，因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性，而是设计假象。为了满足任意模型对VI的需求，我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化（对角线加低秩）多元正常变分家庭，及其混合物的实现。它的目的是作为一个去没有免费午餐的方法，解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
2021-10-08 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架，通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较，并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
An Analysis of Temporal Dropout in Earth Observation Time Series for Regression Tasks
University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对地球观测时间序列回归中缺失数据导致的不确定性问题，提出MC-TD与MC-ConcTD方法，在推理时随机丢弃时间步以量化输入级不确定性，实验证明其提升预测性能与校准，并优于手动调参。
2025-04-09 cs.AI cs.CV cs.LG
Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications
Earth Science Analytics（地球科学分析公司）
深度神经网络在地球科学中提供了许多潜在的应用，例如，人们可以说它们是预测地震数据集中断层的最先进方法。在定量储层表征工作流程中，通常合并预测的不确定性，因此此类地下模型应在其预测中提供校准的概率和相关的不确定性。研究表明，流行的基于深度学习的模型经常被错误校准，并且由于其确定性，无法解释其预测的不确定性。我们比较了三种不同的方法来获得概率模型的基础上卷积神经网络在贝叶斯形式主义，即深度集成，混凝土辍学，和随机加权平均高斯（SWAG）。这些方法始终适用于故障检测案例研究，其中Deep Ensembles使用独立训练的模型来提供故障概率，Concrete Dropout代表了对流行的Dropout技术的扩展，以近似贝叶斯神经网络，最后，我们应用SWAG，这是一种基于小批量随机梯度下降的贝叶斯推理等价性的最新方法。我们提供定量结果的模型校准和不确定性表示，以及定性结果的合成和真实的地震数据集。我们的研究结果表明，近似贝叶斯方法，混凝土辍学和SWAG，都提供了良好的校准的预测和不确定性属性在较低的计算成本相比，基线深度包围的方法。由此产生的不确定性也提供了进一步提高模型性能以及增强模型可解释性的可能性。
2021-05-25 cs.CV cs.LG physics.geo-ph
DADEE: Well-calibrated uncertainty quantification in neural networks for barriers-based robot safety
University of Maine（缅因大学）
本文针对基于控制屏障函数的机器人安全控制，提出DADEE方法，通过结合模型方差类与直接估计类不确定性量化算法，提升域内与域外不确定性估计精度，从而获得更安全的CBF机器人控制器。
2024-06-30 cs.LG cs.RO cs.SY
Controlled Dropout for Uncertainty Estimation
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
神经网络中的不确定性量化是安全关键应用中讨论最多的主题之一。尽管神经网络（NN）在许多应用中已经达到了最先进的性能，但它们仍然提供不可靠的点预测，缺乏关于不确定性估计的信息。在众多使神经网络能够估计不确定性的方法中，蒙特卡罗（MC）丢弃法由于其简单性而在短时间内得到了广泛的应用。在这项研究中，我们提出了一个新版本的传统dropout层，我们能够固定的dropout配置的数量。因此，每一层都可以在MC方法中采用并应用新的dropout层，以量化与NN预测相关的不确定性。我们在玩具和真实数据集上进行了实验，并将结果与使用传统dropout层的MC方法进行了比较。利用不确定性评估指标的性能分析证实，我们的dropout层在大多数情况下提供更好的性能。
2022-05-06 cs.CV cs.LG
Entropy-Regularized $2$-Wasserstein Distance between Gaussian Measures
Aalto University（阿尔托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
高斯分布在处理不确定性量化和扩散性的应用中很丰富。此外，它们是为概率测度提供几何的框架的重要特例，因为高斯上的结果几何通常可以在框架下以封闭形式表示。在这项工作中，我们研究了高斯几何下的熵正则化2-瓦瑟斯坦距离，通过提供封闭形式的解决方案的距离和插值元素之间。此外，我们提供了一个固定点的人口重心时，限制到高斯流形，它允许通过固定点迭代算法的计算。因此，结果得到2-Sinkhorn发散的封闭形式的表达式。由于通过改变正则化幅度的几何形状的变化，我们研究的极限情况下的消失和无限的幅度，重新确认著名的结果的限制的Sinkhorn发散。最后，我们说明了由此产生的几何与数值研究。
2020-06-05 cs.LG stat.ML
An Uncertainty-aware Loss Function for Training Neural Networks with Calibrated Predictions
University of Tehran（德黑兰大学）；Deakin University（迪肯大学）；University of Calgary（卡尔加里大学）
机器学习和深度学习方法的不确定性量化在增强对所获得结果的信任方面起着重要作用。近年来，许多不确定度量化方法被引入。蒙特卡罗丢弃（MC-丢弃）是量化深度学习方法中不确定性的最知名技术之一。在这项研究中，我们提出了两个新的损失函数结合交叉熵与预期校准误差（ECE）和预测熵（PE）。所获得的结果清楚地表明，新提出的损失函数导致具有校准的MC-Dropout方法。我们的研究结果证实了新的混合损失函数的巨大影响，在不牺牲模型的整体性能的情况下，最大限度地减少正确和不正确预测的不确定性估计分布之间的重叠。
2023-02-06 cs.CV cs.LG
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Argonne National Laboratory（阿贡国家实验室）
随着神经网络开始为社会执行越来越重要的任务，从驾驶汽车到确定药物开发的候选人，它们在预测中执行不确定性量化（UQ）的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法，涉及将随机性注入模型的推理阶段，并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性，从而减轻该技术的计算和能量负担，这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法，其中UQ是至关重要的。我们的研究结果表明，尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification
Ruhr University Bochum（波鸿鲁尔大学）
神经网络中的不确定性量化在过去几年中得到了很多关注。最流行的方法，贝叶斯神经网络（BNN），蒙特卡罗丢弃和深度集成有一个共同点：它们都基于某种混合模型。虽然BNN构建无限混合模型并通过变分推理推导，但后两者构建使用最大似然法训练的有限混合模型。在这项工作中，我们研究的效果训练的无限混合分布的最大似然方法，而不是变分推理。我们发现，所提出的目标导致随机网络的预测方差增加，这提高了基于不确定性的识别误分类和鲁棒性对对抗攻击相比，一个标准的BNN与等效的网络结构。新模型还在分布外数据上显示出更高的熵。
2020-08-17 cs.AI cs.LG stat.ML
Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning
The University of Edinburgh（爱丁堡大学）
本文提出Wasserstein梯度提升框架，将梯度提升扩展到分布值监督学习，通过拟合Wasserstein梯度伪残差实现基于树的证据学习，并在概率预测上优于现有不确定性量化方法。
2024-08-29 cs.LG stat.ME stat.ML
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
ConfEviSurrogate: A Conformalized Evidential Surrogate Model for Uncertainty Quantification
The Ohio State University（俄亥俄州立大学）
针对代理模型不确定性量化成本高、无法分离来源及缺乏覆盖率保证的问题，提出ConfEviSurrogate模型，通过学习高阶证据分布与保形预测校准，实现预测区间分离并提升可靠性。
2025-04-03 cs.GR cs.LG stat.ML
A generalized Wasserstein-2 distance approach for efficient reconstruction of random field models using stochastic neural networks
Department of Mathematics, University of Houston（休斯顿大学数学系）；Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所）；Nuffield School of Medicine, University of Oxford（牛津大学Nuffield医学院）
本文提出广义Wasserstein-2距离方法训练随机神经网络以重建含连续和分类分量的随机场模型，并证明其逼近能力，在分类、混合分布重建和含噪动力系统学习等任务中验证了有效性。
2025-07-07 cs.LG
A local squared Wasserstein-2 method for efficient reconstruction of models with uncertainty
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Nuffield Department of Medicine, University of Oxford（牛津大学纳菲尔德医学系）
本文提出局部平方Wasserstein-2方法，无需潜变量先验即可基于观测数据经验分布高效重建含不确定性模型，并在线性回归、贝叶斯神经网络和随机ODE等UQ任务中验证了有效性。
2024-06-10 cs.LG math.PR stat.ML
A Benchmark on Uncertainty Quantification for Deep Learning Prognostics
ONERA（法国国家航空航天研究院）；Université de Toulouse（图卢兹大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
可靠的RUL预测的不确定性量化是至关重要的预测性维护的信息决策。在这种情况下，我们评估了一些最新的发展领域的不确定性量化的统计学深度学习。这包括贝叶斯神经网络（BNN）的最先进的变分推理算法以及流行的替代方案，如蒙特卡罗丢弃（MCD），深度集成（DE）和异方差神经网络（HNN）。所有的推理技术共享相同的初始深度学习架构作为功能模型。我们进行超参数搜索，以优化算法的主要变分和学习参数。的方法的性能进行评估的一个子集的大型NASA NCMAPSS数据集的飞机发动机。评估包括RUL预测准确性，预测不确定性的质量，以及将总预测不确定性分解为任意和认知部分的可能性。结果表明，没有一种方法在所有情况下都明显优于其他方法。虽然所有方法在准确性方面都很接近，但我们发现它们估计不确定性的方式存在差异。因此，DE和MCD通常提供比BNN更保守的预测不确定性。令人惊讶的是，HNN可以在不增加BNN的训练复杂性和额外参数的情况下实现强大的结果。对于像主动学习这样需要分离认识和任意不确定性的任务，径向BNN和MCD似乎是最好的选择。
2023-02-09 cs.LG stat.ML
Structure-Aware Epistemic Uncertainty Quantification for Neural Operator PDE Surrogates
本文提出了一种结构意识的epistemic不确定性量化方法，通过在神经运算PDE代理中引入模块化扰动，提升不确定性带的准确性与空间忠实性，从而在科学计算中实现更可靠的不确定性量化。
2026-02-24 cs.AI cs.LG
Dropout Robustness and Cognitive Profiling of Transformer Models via Stochastic Inference
Lyle School of Engineering, Southern Methodist University, Dallas, TX, USA（莱尔工程学院，南方 Methodist 大学，德克萨斯州达拉斯）
本文通过随机推断分析19种变换器模型的丢弃鲁棒性，揭示其在不确定性应用中的可靠性差异，提出认知分解框架以指导模型选择。
2026-03-18 cs.AI cs.LG
Second-Order Uncertainty Quantification: A Distance-Based Approach
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；PRECISE Center, University of Pennsylvania（宾夕法尼亚大学PRECISE中心）
本文针对二阶分布不确定性度量的理论缺陷，提出形式化准则和通用框架，并基于Wasserstein距离给出满足全部准则的具体方法。
2023-12-02 cs.LG stat.ML
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc（三星公司）；Cornell University（康奈尔大学）
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法，辍学推断突出其简单性和有效性。然而，这种技术在推理期间需要通过网络的多次前向传递，因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单，易于优化的蒸馏方法，用于学习预训练的辍学模型的条件预测分布，用于计算机视觉任务中的快速，无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性，并证明了我们的方法可以显着减少推理时间，实现实时的【形】不确定性量化，同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML
A Unified Perspective on Conformal Prediction and Wasserstein Distributionally Robust Optimization for Uncertainty Quantification
Contextual Robotics Institute, University of California San Diego（加州大学圣迭戈分校语境机器人研究所）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）；ETH Zürich（苏黎世联邦理工学院）
该研究建立了共形预测与Wasserstein分布鲁棒优化的统一概率视角，分析了两者校正经验分位数的不同方式、构造差异及尾部表现，指出DRO可避免CP的过冲问题。
2026-09-01 cs.LG cs.SY eess.SY
Multivariate Uncertainty Quantification with Tomographic Quantile Forests
Kobe Gakuin University（神户学院大学）
本文提出Tomographic Quantile Forests，一种非参数、不确定性感知的树回归模型，用于多变量目标的条件分布估计，通过多方向量化聚合和 sliced Wasserstein 距离最小化实现多变量分布重建。
2026-04-01 cs.LG stat.ML
Uncertainty quantification for trustworthy deep learning: Methods and measures
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）
本综述针对深度学习的不确定性量化，梳理五大类方法及相关任务，整合评估框架，还探讨大语言模型不确定性与开放研究方向，为可信深度学习提供结构化批判性参考。
2026-07-31 cs.LG stat.ML
Uncertainty Quantification for Traffic Forecasting: A Unified Approach
Aalborg University（奥尔堡大学）；University of Electronic Science and Technology of China（电子科技大学）；Southern University of Science and Technology（南方科技大学）
不确定性是时间序列预测任务的重要考虑因素。在这项工作中，我们特别关注量化交通预测的不确定性。为了实现这一目标，我们开发了深度时空不确定性量化（DeepSTUQ），它可以估计任意和认知的不确定性。我们首先利用时空模型来模拟交通数据的复杂时空相关性。随后，两个独立的子神经网络最大化的异质对数似然估计任意的不确定性。为了估计认知不确定性，我们分别通过集成Monte Carlo dropout和Adaptive Weight Averaging再训练方法，结合了变分推理和深度集成的优点。最后，我们提出了一种基于温度标度的后处理校准方法，提高了模型估计不确定性的泛化能力。在四个公共数据集上进行了大量的实验，实验结果表明，该方法在点预测和不确定性量化方面都优于最先进的方法。
2022-08-11 cs.LG
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎萨克雷大学）
深度神经网络是各种任务的强大预测器。然而，它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力，同时受益于更好的计算可扩展性。然而，构建神经网络的集成是一项具有挑战性的任务，因为除了为集成的每个成员选择正确的神经架构或超参数之外，还需要增加训练每个模型的成本。我们提出AutoDEUQ，一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意（数据）和认知（模型）的不确定性。我们表明，AutoDEUQ优于概率反向传播，蒙特卡罗辍学，深度集成，分布自由集成，超集成方法在一些回归基准。
2022-07-04 cs.LG
Deeply Uncertain: Comparing Methods of Uncertainty Quantification in Deep Learning Algorithms
Fermi National Accelerator Laboratory（费米国家加速器实验室）；Kavli Institute for Cosmological Physics, University of Chicago（芝加哥大学卡夫利宇宙物理研究所）；University of Chicago（芝加哥大学）
我们在一个简单的物理系统的背景下，提出了一个深度学习算法的不确定性量化（UQ）的方法比较。三种最常见的不确定性量化方法-贝叶斯神经网络（BNN），具体辍学（CD）和深度集成（DE）-进行了比较，标准的分析误差传播。我们讨论了这种比较特有的机器学习（“认识”和“任意”）和物理科学（“统计”和“系统”）。比较的单摆-一个典型的物理系统，用于研究测量和分析技术的模拟实验测量。我们的研究结果突出了使用这些UQ方法时可能发生的一些陷阱。例如，当训练集中的噪声变化很小时，所有方法都预测了相同的相对不确定性，而与输入无关。这个问题在BNN中尤其难以避免。另一方面，当测试集包含远离训练分布的样本时，我们发现没有任何方法能够充分增加与其预测相关的不确定性。这一问题对裁谈会来说尤其明显。根据这些结果，我们提出了一些建议的使用和解释的UQ方法。
2020-07-22 cs.LG physics.comp-ph stat.ML
Wasserstein Generative Learning of Conditional Distribution
University of Iowa（爱荷华大学）；Wuhan University（武汉大学）
条件分布是描述响应与预测因子之间关系的基本量。我们提出了一个Wasserstein生成方法来学习条件分布。所提出的方法使用一个条件发生器来转换一个已知的分布到目标条件分布。通过匹配涉及条件生成器和目标联合分布的联合分布来估计条件生成器，使用Wasserstein距离作为这些联合分布的差异度量。我们建立了所提出的方法产生的条件抽样分布的非渐近误差界，并表明它是能够减轻维数灾难，假设数据分布是支持一个低维集。我们进行数值实验来验证所提出的方法，并说明其应用于条件样本生成，非参数条件密度估计，预测不确定性量化，双变量响应数据，图像重建和图像生成。
2021-12-19 cs.LG math.ST stat.TH
Clarifying Trust of Materials Property Predictions using Neural Networks with Distribution-Specific Uncertainty Quantification
University of Michigan（密歇根大学）；Catalysis Science and Technology Institute, University of Michigan（密歇根大学催化科学与技术研究所）
机器学习（ML）模型预测对于高通量催化剂发现方法是可信的是至关重要的。不确定性量化（UQ）方法允许估计ML模型的可信度，但这些方法在多相催化领域还没有得到很好的探索。在本文中，我们研究了应用于晶体图卷积神经网络（CGCNN）的不同UQ方法，以预测来自Open Catalyst 2020（OC 20）数据集（现有最大的非均相催化剂数据集）的分子在合金上的吸附能。我们采用三种UQ方法的吸附能预测，即k倍集成，蒙特卡罗辍学，证据回归。每种UQ方法的有效性都是根据准确度、清晰度、分散度、校准度和紧密度进行评估的。证据回归被证明是一个强大的方法，用于快速获得可调的，有竞争力的值得信赖的UQ估计多相催化应用时，使用神经网络。重新校准模型的不确定性是必不可少的，在实际筛选应用中的催化剂使用的不确定性。
2023-02-06 cs.LG
Conformal Prediction for Neural Operators: Distribution-Free Uncertainty Quantification in Physics Simulation
Independent Researcher（独立研究者）
提出将分裂共形预测应用于神经算子物理模拟，实现无分布预测区间和有限样本覆盖保证，并通过归一化共形预测方案生成自适应宽度区间。
2026-06-07 cs.AI cs.LG
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum（波鸿鲁尔大学）
机器学习系统，特别是自动语音识别（ASR）系统容易受到对抗性攻击，其中攻击者恶意地改变输入。在ASR系统的情况下，最有趣的情况是有针对性的攻击，其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的，准不可察觉的攻击提出了对策的问题。在本文中，我们专注于混合ASR系统，并比较了四种声学模型在攻击下指示不确定性的能力：前馈神经网络和三个专门为不确定性量化设计的神经网络，即贝叶斯神经网络，蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型，用于评估输入是良性的还是敌对的。基于这种方法，我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性，这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD
Score-based generative models are provably robust: an uncertainty quantification perspective
University of Chicago（芝加哥大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
通过不确定性量化视角，利用Wasserstein不确定性传播定理证明基于分数的生成模型对多种实现误差具有可证明的鲁棒性，并阐明误差来源间的权衡。
2024-05-24 cs.LG math.ST stat.ML
A Novel Regression Loss for Non-Parametric Uncertainty Optimization
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bochum（波鸿大学）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；University of Bonn（波恩大学）
量化不确定性是建立安全机器学习最有前途的方法之一。尽管它很重要，但它远未得到普遍解决，特别是对于神经网络。到目前为止，最常用的方法之一是蒙特卡罗丢弃，这是计算成本低，易于应用于实践。但是，它可能低估了不确定性。我们提出了一个新的目标，称为二阶矩损失（SML），以解决这个问题。虽然鼓励全网络对均值进行建模，但dropout网络明确用于优化模型方差。我们深入研究了新目标在各种UCI回归数据集上的性能。与最先进的深度集成相比，SML导致相当的预测精度和不确定性估计，而只需要一个单一的模型。在分布偏移下，我们观察到适度的改善。作为一个副作用，我们引入了一个直观的Wasserstein距离为基础的不确定性措施，是非饱和的，从而允许解决任何两个不确定性估计之间的质量差异。
2021-01-07 cs.LG stat.ML
Uncertainty quantification in neural network-based glucose prediction for diabetes
Gryphon Center for A.I. and Theoretical Sciences（格里芬人工智能与理论科学中心）；University of Pennsylvania, Perelman School of Medicine（宾夕法尼亚大学佩雷尔曼医学院）
本文研究了用于1型糖尿病血糖预测和不良血糖事件识别的不确定性感知神经网络模型，通过LSTM、GRU和Transformer架构的三种序列模型，结合蒙特卡洛dropout或证据输出层进行不确定性量化，发现基于Transformer的模型在预测准确性和不确定性校准方面表现最佳。
2026-03-28 cs.LG physics.med-ph
Prediction and Uncertainty Quantification of SAFARI-1 Axial Neutron Flux Profiles with Neural Networks
The South African Nuclear Energy Corporation SOC Ltd (Necsa)（南非核能集团有限公司（Necsa））；North Carolina State University（北卡罗来纳州立大学）
人工神经网络（ANN）已成功地用于各种核工程应用中，例如在合理的时间内以高精度水平预测反应堆物理参数。尽管取得了这一成功，但它们无法提供有关模型预测不确定性的信息，因此难以评估ANN预测的可信度，特别是在外推域中。在这项研究中，深度神经网络（DNN）用于预测SAFARI-1研究反应堆中的组件轴向中子通量分布，在ANN预测和外推到训练过程中未使用的周期中具有量化的不确定性。训练数据集由铜线活化测量值、轴向测量位置和从反应堆历史循环中获得的测量控制组位置组成。常规DNN模型预测的不确定性量化使用蒙特卡罗丢弃（MCD）和通过变分推断（BNN VI）求解的贝叶斯神经网络来执行。常规DNN、用MCD和BNN VI求解的DNN结果彼此之间以及与训练过程中未使用的新测量数据集非常一致，从而表明良好的预测和泛化能力。MCD和BNN VI产生的不确定度带非常一致，并且通常它们可以完全覆盖噪声测量数据点。所开发的人工神经网络是有用的，在支持实验测量活动和中子学代码验证和确认（V&V）。
2022-11-16 cs.LG physics.comp-ph stat.ML
Low-Order Flow Reconstruction and Uncertainty Quantification in Disturbed Aerodynamics Using Sparse Pressure Measurements
UCLA（美国大学）
本文提出基于稀疏压力测量的机器学习框架，重构低阶阵风流场与升力系数，并采用蒙特卡洛丢弃法和统计参数分别量化认知与偶然不确定性，实现高效准确预测。
2025-01-06 cs.LG physics.flu-dyn
A Deep Bayesian Convolutional Spiking Neural Network-based CAD system with Uncertainty Quantification for Medical Images Classification
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
针对深度SNN在医学图像分类中缺乏不确定性量化导致的不可靠问题，提出一种基于贝叶斯卷积SNN的CAD系统，采用蒙特卡洛Dropout量化不确定性，实验证明其准确可靠，可替代传统深度学习方法。
2025-04-23 cs.CV cs.LG eess.IV
UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed effects deep learning for clustered non-iid data
这项工作证明了为模型拟合、固定效应协方差系数和预测置信度生成易于解释的统计指标的能力。重要的是，这项工作比较了4个合适的和常用的认知UQ方法，BNN，SWAG，MC辍学，和合奏的方法，在他们的能力来计算这些统计指标的ARMED MEDL模型。在我们对AD预后的实验中，不仅UQ方法提供了这些益处，而且几种UQ方法保持了原始ARMED方法的高性能，有些甚至提供了适度的（但不具有统计学显著性）性能改善。集成模型，特别是具有90%子采样的集成方法，在我们测试的所有指标中表现良好，具有（1）与非UQ ARMED模型相当的高性能，（2）适当地对混淆探针进行去权重，并为其分配统计学上不显著的p值，（3）获得相对较高的输出预测置信度校准。结果表明，在保持ARMED方法的基本性能的同时，集成方法（尤其是90%子采样的集成方法）在预测和不确定性估计方面提供了最好的综合性能，并实现了我们的目标：提供模型拟合的统计显著性、统计显著性协变量系数和预测置信度
2022-11-29 cs.AI cs.LG stat.ME
Calibrating Ensembles for Scalable Uncertainty Quantification in Deep Learning-based Medical Segmentation
University of Cambridge（剑桥大学）；Cancer Research UK Cambridge Centre（英国癌症研究中心剑桥中心）；Cancer Research UK Cambridge Institute（英国癌症研究中心剑桥研究所）；Danube Private University（多瑙河私立大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
自动图像分析中的不确定性量化在许多应用中是高度期望的。通常，分类或分割中的机器学习模型仅被开发用于提供二进制答案;然而，量化模型的不确定性可以在例如主动学习或人机交互中发挥关键作用。当使用基于深度学习的模型时，不确定性量化尤其困难，这在许多成像应用中是最先进的。目前的不确定性量化方法在高维现实世界的问题中不能很好地扩展。可扩展的解决方案通常依赖于经典的技术，例如在推理或训练具有不同随机种子的相同模型的集合以获得后验分布期间的dropout。在本文中，我们表明，这些方法无法近似的分类概率。相反，我们提出了一个可扩展和直观的框架来校准深度学习模型的集合，以产生近似分类概率的不确定性量化测量。在看不见的测试数据，我们证明了改进的校准，灵敏度（在三分之二的情况下）和精度相比，与标准的方法。我们进一步激励我们的方法在主动学习中的使用，创建伪标签来从未标记的图像和人机协作中学习。
2022-09-20 cs.CV cs.LG eess.IV
Uncertainty Quantification for Eosinophil Segmentation
University of Virginia（弗吉尼亚大学）
针对嗜酸性食管炎诊断中嗜酸性粒细胞计数的繁琐性问题，研究改进了现有深度图像分割计数方法，引入Monte Carlo Dropout实现不确定性量化，可视化结果可辅助评估模型、理解算法并辅助病理诊断。
2023-11-07 cs.CV cs.LG eess.IV
Uncertainty Quantification Is Indispensable for Reliable Connectome-Based Graph Learning: A Narrative Review and Case Study
Tarbiat Modares University（塔比阿特莫达勒斯大学）
本文综述了连接组图学习中的不确定性量化方法，并通过案例证明未校准的GNN预测存在严重过度自信，强调UQ与校准对临床可靠部署不可或缺。
2026-10-07 cs.LG
Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution
Westlake University（西湖大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
提出LE-PDE-UQ方法，通过在潜空间中联合演化系统状态及其不确定性估计，为PDE正逆问题提供高效精确的不确定性量化，在长期预测中超越强基线。
2024-02-13 cs.AI cs.LG
Physics-Informed Conformal Prediction: Embedding PDE Consistency into Distribution-Free Uncertainty Quantification for Neural Operators
针对神经算子求解PDE缺乏严格不确定性估计的问题，提出物理信息保形预测框架，将PDE残差嵌入非一致性得分，生成具有无分布覆盖保证且空间自适应的预测区间，并揭示FNO平移等变性的近似障碍，在六个物理场景中验证了89-91%的稳定覆盖率。
2026-09-14 cs.LG
ON-Traffic: An Operator Learning Framework for Online Traffic Flow Estimation and Uncertainty Quantification from Lagrangian Sensors
Eindhoven University of Technology（埃因霍温理工大学）
本文提出 ON-Traffic 深度算子网络与滚动时域学习框架，利用移动探测车辆数据和下游边界输入实现在线时空交通状态估计及不确定性量化。
2025-03-18 cs.AI cs.LG cs.SY
Benchmarking GNNs for OOD Materials Property Prediction with Uncertainty Quantification
School of Computer Science and Engineering（计算机科学与工程学院）
本文提出MatUQ基准框架，结合不确定性量化测试GNN的分布外材料属性预测能力，设计新划分策略、训练协议与度量D-EviU，通过实验给出误差表现与模型选型参考。
2025-11-12 cond-mat.mtrl-sci cs.LG
Can Uncertainty Quantification Improve Learned Index Benefit Estimation?
School of Computer Science and Technology, Harbin Institute of Technology（计算机科学与技术学院，哈尔滨工业大学）
针对学习型索引收益估计模型存在的稳定性、可解释性及管理问题，提出结合自编码器与蒙特卡洛dropout的不确定性量化框架Beauty，辅以what-if工具，实验证明其性能优于现有方法，可消除调优最坏情况、提升最优情况出现频次。
2025-09-02 cs.DB cs.LG
Machine-Learned HASDM Model with Uncertainty Quantification
West Virginia University（西弗吉尼亚大学）；Space Environment Technologies（空间环境技术公司）
基于SET HASDM密度数据库建立了第一个具有稳健可靠不确定性估计的热层中性质量密度模式。该数据库由空间环境技术公司（SET）创建，包含来自美国太空部队高精度卫星阻力模型（HASDM）的20年输出，该模型代表了密度和阻力建模的最新技术水平。我们利用主成分分析（PCA）进行降维，创建用于训练非线性机器学习（ML）回归模型的系数。这些模型使用三个独特的损失函数：均方误差（MSE），预测密度的负对数（NLPD）和连续排序概率得分（CRPS）。三个输入集也进行了测试，表现出改进的性能时，引入地磁指数的时间历程。这些模型利用蒙特卡罗（MC）丢失来提供不确定性估计，并且使用NLPD损失函数可以在不牺牲模型准确性的情况下得到良好校准的不确定性估计（<10%平均绝对误差）。通过比较最好的HASDM-ML模型沿卫星轨道的HASDM数据库，我们发现，该模型提供了强大的和可靠的不确定性在密度空间在所有空间天气条件。风暴时间的比较表明，HASDM-ML在极端事件期间也提供了有意义的不确定性测量。
2021-09-16 cs.LG physics.space-ph
Uncertainty Quantification for Physics-Informed Neural Networks with Extended Fiducial Inference
本文提出基于扩展置信推断的新方法，利用窄瓶颈超网络为物理信息神经网络提供严格不确定性量化，克服贝叶斯和dropout方法局限，仅凭观测数据构建诚实置信集，提升可靠性、可解释性并扩展至大规模模型。
2025-10-16 cs.LG stat.ML
UncertaINR: Uncertainty Quantification of End-to-End Implicit Neural Representations for Computed Tomography
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）
针对高风险场景下隐式神经表征推理的不确定性量化需求，提出贝叶斯重构方法UncertaINR，在CT重建中精度可比肩主流方法，且用少量验证图像就能实现更优校准。
2023-05-02 cs.CV cs.LG eess.IV
Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training
Booz Allen Hamilton（博思艾伦汉密尔顿）；Jura Bio, Inc.（朱拉生物公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
不确定性的量化对于机器学习的采用非常重要，特别是将分布外（OOD）数据拒绝回人类专家进行审查。然而，进展缓慢，因为必须在计算效率和不确定性估计的质量之间取得平衡。出于这个原因，许多人使用神经网络的深度集成或蒙特卡罗丢弃，以相对最小的计算和内存进行合理的不确定性估计。令人惊讶的是，当我们关注$\leq 1\%$假阳性率（FPR）的现实世界适用约束时，现有方法无法可靠地检测OOD样本本身。值得注意的是，即使是高斯随机噪声也无法触发这些流行的OOD技术。我们通过设计一个简单的对抗训练方案来帮助缓解这个问题，该方案结合了对辍学合奏预测的认知不确定性的攻击。我们证明了这种方法提高了标准数据上的OOD检测性能（即，非对抗性制作），并将标准化部分AUC从接近随机猜测性能提高到$\geq 0.75$。
2022-09-09 cs.LG
Uncertainty Tube Visualization of Particle Trajectories
SCI Institute（SCI研究所）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种计算高效的不确定性管可视化方法，利用超椭圆管表示神经网络粒子轨迹预测中的非对称不确定性，并结合深度集成、MC Dropout和SWAG在合成与模拟数据上验证其有效性。
2025-08-19 cs.HC cs.LG
Benchmarking Machine Learning Uncertainty Quantification Methodologies for Predicting Turbine Gas Temperature Degradation
Computational Science Laboratory（计算科学实验室）；Department of Computer Science（计算机科学系）；Virginia Tech（弗吉尼亚理工大学）
本文研究了五种预测区间构建方法（Delta法、贝叶斯蒙特卡洛Dropout、Bootstrap法、下上界估计和均值方差估计），在统一实验框架下评估其捕捉涡轮燃气温度神经网络预测不确定性的能力，并基于覆盖概率、归一化平均预测区间宽度和覆盖宽度准则等指标比较了各方法的可靠性、锐度及权衡，为发动机健康管理中的预测区间方法选择和调优提供了实用指南。
2026-05-28 cs.AI cs.CE cs.LG
