Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
不确定性估计和集成方法齐头并进。不确定度估计是评价集成性能的主要基准之一。与此同时，深度学习集成在不确定性估计方面提供了最先进的结果。在这项工作中，我们专注于域内不确定性的图像分类。我们探讨了其量化的标准，并指出现有的指标的陷阱。为了避免这些陷阱，我们对不同的集成技术进行了广泛的研究。为了在这项研究中提供更多的见解，我们引入了深度集成等效分数（DEE），并表明许多复杂的集成技术在测试性能方面相当于只有少数独立训练的网络的集成。
2021-07-18 cs.LG stat.ML
Inhibited Softmax for Uncertainty Estimation in Neural Networks
Sigmoidal
提出了一种新的不确定性估计和softmax输出的神经网络的分布外检测方法。我们扩展了softmax层，增加了一个常数输入。相应的附加输出能够表示网络的不确定性。所提出的方法既不需要额外的参数，也不需要多次向前传递，也不需要输入预处理，也不需要分布外的数据集。我们表明，我们的方法执行更昂贵的计算方法，并优于我们的实验基线从图像识别和情感分析域。
2019-04-07 cs.LG stat.ML
Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts
Technical University of Munich（慕尼黑工业大学）
任意和认知不确定性的准确估计对于建立安全可靠的系统至关重要。传统的方法，如dropout和ensemble方法，通过从不同的子模型中采样概率预测来估计不确定性，这导致在推理时缓慢的不确定性估计。最近的工作解决了这个缺点，直接预测参数的先验分布的概率预测与神经网络。虽然这种方法已经证明了准确的不确定性估计，但它需要为分布内数据定义任意目标参数，并做出不切实际的假设，即分布外（OOD）数据在训练时已知。在这项工作中，我们提出了后验网络（PostNet），它使用归一化流来预测任何输入样本的预测概率上的个体封闭形式后验分布。PostNet学习的后验分布准确地反映了分布内和分布外数据的不确定性，而无需在训练时访问OOD数据。PostNet在OOD检测和数据集偏移下的不确定性校准方面取得了最先进的成果。
2020-10-22 cs.LG stat.ML
Adversarial Attack for Uncertainty Estimation: Identifying Critical Regions in Neural Networks
Bournemouth University（伯恩茅斯大学）
我们提出了一种新的方法来捕获神经网络中决策边界附近的数据点，这些数据点通常被称为特定类型的不确定性。在我们的方法中，我们试图执行不确定性估计的基础上的思想，对抗攻击方法。在本文中，不确定性估计来自输入扰动，不像以前的研究，提供扰动模型的参数，在贝叶斯方法。我们能够产生不确定性与对输入的扰动。有趣的是，我们将所提出的方法应用于来自区块链的数据集。我们比较了模型的不确定性与最新的不确定性方法的性能。我们表明，所提出的方法已经揭示了一个显着优于其他方法，并提供更小的风险，以捕捉模型的不确定性在机器学习。
2021-12-18 cs.LG stat.ML
Frustratingly Easy Uncertainty Estimation for Distribution Shift
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；UBC Okanagan（不列颠哥伦比亚大学奥卡那根分校）
分布偏移是深度图像分类中的一个重要问题，由源图像的损坏或完全改变产生，解决方案涉及域自适应。虽然主要目标是提高分布偏移下的准确性，但一个重要的次要目标是不确定性估计：评估模型预测正确的概率。虽然提高精度很难，但不确定性估计却容易得令人沮丧。先前的工作已经以各种方式将不确定性估计附加到模型和训练范例中。相反，我们表明，我们可以通过简单地将原始模型暴露于损坏的图像，并对图像输出进行简单的统计校准来估计不确定性。我们令人沮丧的简单方法在广泛的分布变化以及无监督域适应任务上表现出卓越的性能，通过广泛的实验进行测量。
2021-10-17 cs.LG stat.ML
Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑（非贝叶斯）深度神经分类背景下的不确定性估计问题。在这种情况下，所有已知的方法都是基于从经过优化的训练网络中提取不确定性信号，以解决当前的分类问题。我们证明，这种技术往往会引入有偏估计的情况下，其预测应该是高度自信的。我们认为，这种缺陷是SGD类优化器训练动态的产物，它具有一些类似于过拟合的性质。基于这一观察，我们开发了一种不确定性估计算法，该算法使用训练模型的早期快照选择性地估计高度置信点的不确定性，然后再进行抖动估计（并且在它们准备好进行实际分类之前）。我们提出了广泛的实验表明，该算法提供的不确定性估计，始终优于所有已知的方法。
2019-04-24 cs.LG stat.ML
Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts
Johns Hopkins University（约翰斯·霍普金斯大学）
针对深度集成方法不确定性估计存在的存储高、推理慢问题，提出单次前向传播的Density-Regression方法，证明其具备距离感知能力，实验验证其在多任务分布偏移场景下性能相当且更高效。
2024-03-07 cs.LG stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation
Southern University of Science and Technology（南方科技大学）；Chongqing Jiaotong University（重庆交通大学）；Tsinghua University（清华大学）；China Automotive Engineering Research Institute（中国汽车工程研究院股份有限公司）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
变分自编码器（Variational autoencoder，VAE）是一种基于深度神经网络结构和贝叶斯方法的具有丰富表示能力的生成模型。然而，VAE模型有一个弱点，即分配更高的可能性外的分布（OOD）的输入比分布（ID）的输入。为了解决这个问题，一个可靠的不确定性估计被认为是深入了解面向对象设计输入的关键。在这项研究中，我们提出了一种改进的噪声对比先验（INCP），能够集成到编码器的VAE，称为INCPVAE。INCP具有可扩展性、可训练性和与VAE的兼容性，并且在不确定性估计中吸收了INCP的优点。在不同数据集上的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面具有优势，并且在异常检测任务中具有鲁棒性。INCPVAE模型获得了OOD输入的可靠的不确定性估计，解决了VAE模型中的OOD问题。
2021-11-01 cs.LG stat.ML
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科技学院（Skoltech））；Yandex（Yandex（扬德克斯））
机器学习模型的不确定性估计在许多场景中非常重要，例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中，我们表明，修改神经网络中的辍学层的采样分布，提高了不确定性估计的质量。我们的主要思想包括两个主要步骤：计算神经元之间的数据驱动相关性和生成样本，其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中，我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是，它不需要对模型或训练过程进行任何修改，可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Efficient Evaluation-Time Uncertainty Estimation by Improved Distillation
KTH（瑞典皇家理工学院）
在这项工作中，我们的目标是通过深度网络获得计算效率高的不确定性估计。为此，我们提出了一个修改后的知识蒸馏程序，实现国家的最先进的不确定性估计的分布样本。我们的贡献包括：a）证明和适应蒸馏的正则化效应b）提出一种新型的目标教师分布c）一种简单的增强程序，以改善分布外不确定性估计d）通过一组全面的实验揭示蒸馏过程。
2019-06-12 cs.LG stat.ML
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
UncertaintyPlayground: A Fast and Simplified Python Library for Uncertainty Estimation
University of Lausanne（洛桑大学）
本文介绍了基于PyTorch和GPyTorch的Python库UncertaintyPlayground，通过SVGPRs和MDN实现监督学习中的快速不确定性估计与预测区间可视化，并提供跨平台持续集成与完善文档。
2023-10-23 cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能，但校准和不确定性估计仍然是主要的挑战，特别是在分布偏移的情况下。在本文中，我们提出了摊销条件归一化最大似然（ACNML）方法，作为一种可扩展的通用方法，用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然（CNML）编码方案，它具有极大极小最优属性根据最小描述长度的原则，但计算上难以准确评估，但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合，提供了易于处理的模型参数的后验密度。我们证明，ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation
Intel（英特尔）；Mobileye（莫比尔眼）；DermaDetect Ltd.（DermaDetect有限公司）
深度神经网络（DNN）在过去十年中在许多领域都发生了革命。然而，在具有高安全要求的任务中，例如医疗或自动驾驶应用，提供模型可靠性的评估可能至关重要。DNN的不确定性估计已经使用贝叶斯方法解决，为可靠性评估提供数学上建立的模型。这些模型在计算上是昂贵的，并且对于许多实时用例通常是不切实际的。近年来，非贝叶斯方法被提出来更有效地处理不确定性估计。我们提出了一种有效的方法，在DNN实现高精度的不确定性估计。我们模拟的概念，多任务学习单任务的问题，从类似的模型产生并行预测不同的损失。这种多损失方法允许单任务学习的单阶段训练与不确定性估计。我们保持我们的推理时间相对较低，利用深度子集成方法提出的优势。这项工作的新颖之处在于提出了一个简单方便的训练过程的准确变分推理，同时在计算时间方面保持竞争力。我们使用不同的架构在SVHN、CIFAR 10、CIFAR 100以及Imager-Net上进行了实验。我们的研究结果表明，提高了准确性的分类任务和竞争力的结果上的几个不确定性措施。
2020-11-11 cs.LG stat.ML
On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
Ecole Polytechnique（巴黎综合理工学院）；Google Brain（谷歌大脑）；Google Brain Zürich（苏黎世谷歌大脑）
深度学习的不确定性量化是一个具有挑战性的开放问题。贝叶斯统计提供了一个数学基础的框架，原因的不确定性;然而，现代神经网络的近似后验仍然需要高昂的计算成本。我们提出了一个家庭的算法分为两个阶段：表示学习和不确定性估计的分类任务。我们比较了四个具体的情况下，不确定性估计是通过一个合奏的随机梯度下降或随机梯度朗之万动力学快照，一个合奏的自举逻辑斯谛回归，或通过一些蒙特卡罗辍学通过。我们评估了它们在\emph{selective}分类（风险覆盖率）方面的性能，以及它们检测分布外样本的能力。我们的实验表明，在深度分类器中添加多个不确定性层的价值有限，我们观察到这些简单的方法在一些复杂的基准测试中（如ImageNet）远远优于普通点估计SGD。
2020-01-22 cs.LG stat.ML
Uncertainty estimation for classification and risk prediction on medical tabular data
Pacmed（帕克医疗）
在医疗保健等数据稀缺的领域，模型通常会对罕见疾病的患者进行预测，测量模型预测的不确定性的能力可能会提高决策支持工具的有效性并增加用户的信任。这项工作推进了医疗表格数据的分类和风险预测的不确定性估计的理解，在一个双重的方式。首先，我们扩展和完善了一套诊断学，以选择一种不确定性估计技术，引入临床相关场景的测试，如推广到不常见的病理，临床协议的变化和模拟损坏的数据。我们还根据临床用例对这些药物进行了区分。其次，我们观察到，合奏和相关技术表现不佳，当涉及到检测域外的例子，一个关键的任务，这是更成功地进行自动编码器。这些评论丰富的考虑类不平衡，建模后校准和其他建模程序的不确定性估计的相互作用。我们的研究结果得到了一系列玩具和现实数据实验的支持。
2020-05-23 cs.LG stat.ML
Density Uncertainty Layers for Reliable Uncertainty Estimation
Columbia University（哥伦比亚大学）
针对现有贝叶斯深度学习方法难以可靠估计预测不确定性的问题，提出基于输入经验密度的不确定性准则及密度不确定性层架构，在基准测试中实现了更可靠的不确定性估计与鲁棒的分布外检测。
2024-03-04 cs.LG stat.ML
One step closer to unbiased aleatoric uncertainty estimation
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of California（加利福尼亚大学）
本文指出现有方差衰减方法高估偶然不确定性，提出主动去噪观测数据的新估计方法，实验证明其更接近真实数据不确定性。
2023-12-20 cs.LG stat.ML
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器学习分类器本质上是概率性的，因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性（或置信度）估计，对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计，而不需要重新训练，也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说，我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准的事后校准技术校准该信号（而不是模型的估计）。我们表明，我们的方法产生更好的不确定性估计比最近提出的方法，通过广泛评估多个数据集和模型。此外，我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc（三星公司）；Cornell University（康奈尔大学）
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法，辍学推断突出其简单性和有效性。然而，这种技术在推理期间需要通过网络的多次前向传递，因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单，易于优化的蒸馏方法，用于学习预训练的辍学模型的条件预测分布，用于计算机视觉任务中的快速，无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性，并证明了我们的方法可以显着减少推理时间，实现实时的【形】不确定性量化，同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML
Towards calibrated and scalable uncertainty representations for neural networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Shutterstock（Shutterstock公司）；Rochester Institute of Technology（罗切斯特理工学院）
对于许多应用来说，了解神经网络预测的不确定性是至关重要的。虽然已经提出了各种神经网络参数估计方法用于不确定性估计，但是它们没有在不确定性度量之间进行严格的比较。我们评估这些参数估计方法校准不确定性估计使用四种不同的不确定性度量：熵，互信息，任意的不确定性和认知的不确定性。我们评估这些参数估计方法的校准使用预期的校准误差。此外，我们提出了一种新的神经网络参数估计方法，称为RECST，它结合了余弦退火与热重启与随机梯度Langevin动力学，捕捉更多样化的参数分布。当基准对残缺的图像数据，我们表明，RECAST是良好的校准和预测熵和认知不确定性相结合时，它提供了最好的校准措施的不确定性相比，最近的方法。
2019-12-04 cs.CV cs.LG stat.ML
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨理工大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
除了在临床医学中的广泛使用外，法医学中的生物年龄（BA）还用于评估身份证明文件不可用的应用中未知的实际年龄（CA）。在文献中提出的年龄估计的自动方法是预测点估计，这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中，我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性，我们将数据不确定性解释为生物学变异，即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
Sparsity Regularized and Robust Mean Variance Portfolio Selection Under Ellipsoidal Uncertainty
Bilkent University（比尔肯特大学）；EPFL（洛桑联邦理工学院）
针对椭球不确定性下的均值-方差投资组合选择，提出带$\ell_0$惩罚的稳健稀疏优化框架，刻画极值结构并设计分支定界算法及高效剪枝规则，实验验证其有效性与竞争力。
2026-09-11 cs.LG math.OC stat.ML
A Simple Probabilistic Model for Uncertainty Estimation
本文以单导联心电图检测心房颤动为例，重点研究了模型的预测不确定性。为此，该模型预测贝塔分布在类概率上的参数，而不是这些概率本身。结果表明，所描述的方法允许检测非典型记录，并显着提高算法的质量，对置信度的预测。
2018-07-24 cs.CV cs.LG stat.ML
Disrupting Deep Uncertainty Estimation Without Harming Accuracy
Technion（以色列理工学院）
深度神经网络（DNN）已被证明是强大的预测器，并广泛用于各种任务。然而，对它们的预测进行可信的不确定性估计，对于它们在许多风险敏感应用中的部署至关重要。在本文中，我们提出了一种新颖而简单的攻击，与对抗攻击不同，它不会导致不正确的预测，而是削弱了网络的不确定性估计的能力。结果是，在攻击之后，DNN对其错误预测的信心比其正确预测的信心更大，而其准确性不会降低。我们提出了两个版本的攻击。第一种情况集中在黑盒机制（攻击者不知道目标网络），第二种情况攻击白盒设置。所提出的攻击只需要很小的幅度，其扰动造成严重的不确定性估计的损害，与更大的幅度导致完全不可用的不确定性估计。我们展示了对三种最流行的不确定性估计方法的成功攻击：vanilla softmax score，Deep Ensembles和MC-Dropout。此外，我们展示了对选择性分类架构SelectiveNet的攻击。我们在几个当代架构上测试了所提出的攻击，例如MobileNetV 2和EfficientNetB 0，所有这些架构都经过训练以分类ImageNet。
2021-10-26 cs.CR cs.LG stat.ML
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
UAFS: Uncertainty-Aware Feature Selection for Problems with Missing Data
缺失数据是许多现实世界数据集中的一个问题，通常需要插补方法来估计缺失数据的值，但是具有过度缺失和高维的数据集挑战大多数插补方法。在这里，我们表明，适当的特征选择可以是一个有效的预处理步骤填补，允许更准确的填补和后续的模型预测。这种预处理的关键特征是它包含了不确定性：通过在选择特征时考虑由于缺失而导致的不确定性，我们可以降低缺失的程度，同时限制用于构建预测模型的无信息特征的数量。我们介绍了一种方法来执行不确定性感知特征选择（UAFS），提供了一个理论的动机，并测试UAFS的真实和合成的问题，表明在各种数据集和缺失水平，我们可以提高插补的准确性。由于UAFS而改进的插补也导致在使用这些插补数据集执行监督学习时提高了预测准确性。我们的UAFS方法是通用的，可以卓有成效地耦合到各种插补方法。
2021-04-20 cs.LG physics.data-an stat.ME
Understanding a Version of Multivariate Symmetric Uncertainty to assist in Feature Selection
Polytechnic School, National University of Asunción（亚松森国立大学理工学院）；Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）
本文通过统计模拟分析多变量对称不确定性（MSU）在混合特征下的行为，发现属性数、基数和样本大小影响MSU，并提出保持其高质量的条件，为降维提供新准则。
2017-09-25 cs.IT cs.LG math.IT
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Seismic Bayesian evidential learning: Estimation and uncertainty quantification of sub-resolution reservoir properties
我们提出了一个框架，使估计低维次分辨率储层属性直接从地震资料，而不需要解决一个高维地震逆问题。我们的工作流程基于贝叶斯证据学习方法，并利用学习地震资料和储层性质之间的直接关系来有效地估计储层性质。我们开发的理论框架允许将非线性统计模型用于地震估计问题。使用近似贝叶斯计算进行不确定性量化。借助一个估算次分辨率薄砂岩储层中储层净总饱和度和平均流体饱和度的综合实例，展望了无监督和监督学习方法在地震估算问题中的适用性。最后，我们通过使用三维叠前地震资料估计来自海上三角洲数据集的亚分辨率薄砂岩储层中储层净对总的后验不确定性来证明我们的方法的有效性。
2019-05-14 physics.geo-ph stat.ML
