Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Position: Epistemic uncertainty estimation methods are fundamentally incomplete
Department of Data Analysis and Mathematical Modeling, Ghent University, Ghent, Belgium（数据分析与数学建模系，根特大学，根特，比利时）
本文指出epistemic不确定性估计方法存在固有缺陷，导致不确定性量化不准确且难以解释，需在高风险决策中谨慎使用。
2026-02-06 cs.LG stat.ML
The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
LORIA（洛里亚计算机科学与应用实验室）；CentraleSupélec（中央高等电力学院）
本文通过实验揭示贝叶斯深度学习中认知不确定性随模型增大或数据稀少而异常坍缩的“认知不确定性漏洞”，并评估其对分布外样本检测的影响。
2024-07-02 cs.LG stat.ML
DEUP: Direct Epistemic Uncertainty Prediction
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Massachusetts Institute of Technology（麻省理工学院）
认知不确定性是对学习者缺乏知识的一种衡量，随着证据的增加而减少。虽然现有的工作集中在使用贝叶斯后验方差由于参数的不确定性作为衡量认知的不确定性，我们认为，这并没有捕捉到的一部分，缺乏知识引起的模型误指定。我们讨论如何超额风险，这是预测和贝叶斯预测的泛化误差之间的差距，是一个很好的措施，认识的不确定性，捕捉模型误设定的影响。因此，我们提出了一个原则性的框架，通过学习泛化误差的次级预测器并减去任意不确定性的估计，即，内在的不可预测性我们讨论了这种新的认识不确定性的措施的优点，并强调它是如何不同于基于方差的认识不确定性的措施，并解决其主要的陷阱。我们的框架，直接认知不确定性预测（DEUP）是特别有趣的互动学习环境中，学习者被允许在每一轮获得新的例子。通过大量的实验，我们说明了如何在顺序模型优化的现有方法可以改善与DEUP的认知不确定性估计，以及如何DEUP可以用来驱动探索强化学习。我们还评估了DEUP的概率图像分类和预测药物组合协同作用的不确定性估计的质量。
2023-02-03 cs.LG stat.ML
Epistemic Uncertainty Sampling
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；UMR CNRS 7253 Heudiasyc（法国国家科学研究中心联合研究单位7253 Heudiasyc）；Sorbonne Universités（索邦大学）；Université de Technologie de Compiègne（贡比涅技术大学）
在机器学习文献中已经提出了用于主动学习的各种策略。在不确定性抽样中，这是最流行的方法之一，主动学习器顺序查询那些实例的标签，其当前的预测是最大的不确定性。预测以及用于量化不确定性程度的度量，如熵，几乎完全是概率性质的。在本文中，我们主张在主动学习的背景下，区分两种不同类型的不确定性，称为认识性和任意性。粗略地说，这些概念分别捕捉了预测中总不确定性的可约部分和不可约部分。我们猜想，在不确定性抽样，一个实例的有用性更好地反映了其认识比任意的不确定性。这使我们建议的原则，“认知不确定性采样”，我们通过一个具体的方法来测量认知和任意的不确定性，例示。在实验研究中，认知不确定性抽样确实显示出有前途的表现。
2019-08-31 cs.LG stat.ML
(Implicit) Ensembles of Ensembles: Epistemic Uncertainty Collapse in Large Models
研究发现模型复杂度增加会导致认知不确定性坍缩，提出隐式集成作为解释，并通过理论分析和多种架构实验验证，开发提取技术以恢复不确定性。
2025-05-24 cs.LG stat.ML
Quantifying Aleatoric and Epistemic Uncertainty with Proper Scoring Rules
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文基于适当评分规则提出量化偶然与认知不确定性的新度量，统一了置信集与二阶分布两种表示，为安全关键应用提供理论基础。
2024-04-19 cs.LG stat.ML
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich（慕尼黑工业大学）；Autonomous Intelligent Driving GmbH（自主智能驾驶有限公司）；Google（谷歌）
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量，因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作，使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量（例如蒙特卡洛dropout）。我们的主要贡献是近似的认识不确定性估计这些方法，不需要采样，从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务（即，语义分割和深度回归），以证明我们的方法相比，基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Aleatoric and Epistemic Uncertainty with Random Forests
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
由于机器学习与实际应用的相关性稳步增加，其中许多都带有安全要求，因此在过去几年中，不确定性的概念在机器学习研究中受到越来越多的关注。特别是，最近在监督学习的背景下研究了区分两种重要类型的不确定性的想法，这两种不确定性通常被称为任意的和认识的。在本文中，我们建议量化这些不确定性与随机森林。更具体地说，我们将展示如何测量学习者的任意性和认知的不确定性在预测的两种一般方法可以实例化与决策树和随机森林的学习算法在分类设置。在这方面，我们还比较了随机森林与深度神经网络，它们已被用于类似的目的。
2020-01-03 cs.LG stat.ML
Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation
University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
近年来，不确定性量化在机器学习中受到越来越多的关注。特别是，在这方面，任意和认识的不确定性之间的区别已被发现是有用的。后者指的是学习者的（缺乏）知识，似乎特别难以衡量和量化。在本文中，我们分析了最近的建议的基础上的想法，二阶学习，产生的预测的形式分布的概率分布。虽然标准（一阶）的学习者可以训练预测准确的概率，即通过最小化合适的损失函数的样本数据，我们表明，损失最小化不工作的二阶预测：提出的损失函数诱导这种预测不激励学习者代表其认知的不确定性，在一个忠实的方式。
2022-10-13 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Tracing sources of epistemic uncertainty in deep learning predictions: homo- and hetero-scedastic linearized estimators
本研究将两类经典统计估计器适配深度学习，借助近似Fisher信息矩阵追踪认知不确定性的来源，实验验证其可区分测试点受不确定性来源的差异，能提升实际应用的鲁棒性。
2026-08-11 cs.LG stat.ML
Aleatoric and Epistemic Uncertainty in Machine Learning: An Introduction to Concepts and Methods
Paderborn University（帕德博恩大学）；Ghent University（根特大学）
不确定性的概念在机器学习中非常重要，并且构成了机器学习方法的关键要素。根据统计学的传统，不确定性一直被认为是标准概率和概率预测的同义词。然而，由于机器学习与实际应用和相关问题（如安全要求）的相关性不断增加，机器学习学者最近发现了新的问题和挑战，这些问题可能需要新的方法开发。特别是，这包括区分（至少）两种不同类型的不确定性的重要性，通常被称为任意性和认识性。在本文中，我们介绍了机器学习中的不确定性主题，并概述了迄今为止处理不确定性的尝试，特别是将这种区别形式化。
2020-09-16 cs.LG stat.ML
Rethinking Aleatoric and Epistemic Uncertainty
University of Oxford（牛津大学）
本文指出偶然与认知不确定性二分法表达力不足，提出决策论视角统一不确定性、预测性能与统计离散度，并分析信息论量在数据获取中的局限与价值。
2025-08-18 cs.LG stat.ML
On Second-Order Scoring Rules for Epistemic Uncertainty Quantification
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
众所周知，准确的概率预测器可以通过经验风险最小化与适当的评分规则作为损失函数来训练。虽然这样的学习器捕获所谓的任意预测不确定性，但是最近已经开发了各种机器学习方法，其目标是让学习器也表示其认知不确定性，即，缺乏知识和数据造成的不确定性。一个新兴的分支文献提出了使用二阶学习器，提供预测的概率分布的分布。然而，最近的工作揭示了严重的理论缺陷，二阶预测的基础上损失最小化。在本文中，我们概括了这些发现，并证明了一个更根本的结果：似乎没有损失函数，提供了一个激励二阶学习者忠实地代表其认知的不确定性，以同样的方式适当的评分规则做标准（一阶）的学习者。作为一个主要的数学工具来证明这一结果，我们引入了广义的概念，二阶评分规则。
2023-01-30 cs.LG stat.ML
Adaptive Sampling to Reduce Epistemic Uncertainty Using Prediction Interval-Generation Neural Networks
Montana State University（蒙大拿州立大学）
本文提出一种利用预测区间生成神经网络度量认知不确定性，并结合高斯过程批量采样策略的自适应采样方法，在合成与农业数据集上比现有方法更快收敛到最低不确定性。
2024-12-13 cs.LG stat.ML
Label-wise Aleatoric and Epistemic Uncertainty Quantification
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出一种基于标签级分解的不确定性量化新方法，在单个类别层面量化分类任务中的总、偶然和认知不确定性，采用方差等非类别度量克服了基于熵方法的局限，并在多种基准数据集上验证了其有效性和理想性质。
2024-06-04 cs.LG stat.ML
Epistemic Uncertainty in Conformal Scores: A Unified Approach
Department of Statistics Federal University of São Carlos（统计系巴西圣卡洛斯联邦大学）；Institute of Mathematics and Computer Science University of São Paulo（数学与计算机科学研究所圣保罗大学）
本文提出模型无关的EPICSCORE框架，利用贝叶斯方法将认知不确定性显式融入任意conformal分数，在保持有限样本边际覆盖并实现渐近条件覆盖的同时，自适应改善数据稀疏区域的预测区间。
2025-06-10 cs.LG stat.ML
Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation
Faculty of Computer Science, Dalhousie University, Halifax, NS（计算机科学学院，达尔豪西大学，哈利法克斯，NS）
提出方差门控集成（VGE）框架，通过从集成统计量计算信噪比门控注入认知敏感性，实现高效且可微的不确定性估计，在计算效率与性能上匹配或超越现有方法。
2026-06-02 cs.LG stat.ML
A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty
University of Toronto（多伦多大学）；Defence Research and Development Canada (DRDC) Toronto Research Centre（加拿大国防研究与发展署多伦多研究中心）
本文提出一种统一算法，通过扩展分布式RL量化认知与偶然不确定性的综合效应，解决现有加性组合导致过度冒险的问题，实现了更优的风险敏感探索。
2024-01-05 cs.LG
Epistemic Uncertainty Quantification in Deep Learning Classification by the Delta Method
University of Bergen（卑尔根大学）
Delta方法是量化统计模型中认知不确定性的经典方法，但由于参数$P$数量庞大，无法直接应用于深度神经网络。我们基于Fisher信息矩阵的顶部$K$特征对，提出了适用于$L_2$正则化深度神经网络的Delta方法的低成本变体。我们解决有效的计算满秩近似特征分解的精确逆Hessian，梯度近似的逆外积或所谓的三明治估计。此外，我们提供了一个界的预测类概率的不确定性的近似误差。我们观察到，当Fisher信息矩阵的最小特征值接近$L_2$ -正则化率时，即使当$K\ll P$时，近似误差也接近于零。使用TensorFlow实现演示了该方法，并且我们表明，使用MNIST和CIFAR-10数据集，可以为两个基于LeNet的神经网络获得基于预测不确定性的有意义的图像排名。此外，我们观察到假阳性平均具有比真阳性更高的预测认知不确定性。这表明，在不确定性度量中存在着单独分类无法获取的补充信息。
2021-02-28 cs.LG stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Credal Two-Sample Tests of Epistemic Uncertainty
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）；Gatsby Computational Neuroscience Unit（盖茨计算神经科学单元）；University of Adelaide（阿德莱德大学）
本文提出 credal 两样本检验框架，用基于置换的非参数方法比较有限生成 credal 集，以刻画并整合认知不确定性。
2025-03-13 cs.LG stat.ML
Epistemic Uncertainty Is Not the Reducible Kind
University of Cambridge（剑桥大学）
证明标准定义中认知不确定性为可被更多数据移除的部分，与互信息度量在扩展上不一致，并提出三部分分解：偶然、样本可约简认知和机制可约简认知不确定性。
2026-06-12 cs.IT cs.LG math.IT
Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties
Faculty of Mechanical Engineering, Delft University of Technology, Mekelweg 2, Delft, 2628 CD, The Netherlands（代尔夫特理工大学机械工程学院）；School of Engineering, Brown University, 184 Hope St., Providence, RI 02912, USA（布朗大学工程学院）
提出通过合作训练方差估计网络与贝叶斯神经网络，实现偶然不确定性与认知不确定性的分离，并提升均值估计性能。
2026-08-03 cs.LG stat.ML
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Stanford University（斯坦福大学）；Stanford Intelligent Systems Laboratory（斯坦福智能系统实验室）
表征预测奖励的任意性和认知不确定性有助于构建可靠的强化学习（RL）系统。随机不确定性是由不可约的环境随机性导致的，它导致了固有的风险状态和行为。认知的不确定性是由于在学习过程中积累的有限信息而导致的。表征任意性和认知不确定性可以用于加速训练环境中的学习，提高对类似测试环境的泛化，并在异常测试环境中标记不熟悉的行为。在这项工作中，我们介绍了一个框架，在RL解开任意和认知的不确定性。(1)我们首先定义了四个desiderata捕获任意和认知不确定性估计在RL在训练和测试时的期望行为。(2)然后，我们提出了四个受监督学习启发的RL模型（即蒙特卡洛辍学，集成，深度内核学习模型和证据网络），以实例化任意和认知的不确定性。最后，（3）提出了一种实用的评估方法，用于评估无模型强化学习中基于分布外环境检测和扰动环境推广的不确定性估计。我们提出了理论和实验证据来验证，仔细装备无模型RL代理监督学习不确定性方法可以满足我们的需求。
2022-06-03 cs.LG
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
On the Epistemic Uncertainty of Overparametrized Neural Networks
Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文通过非可辨识性视角分析过参数化神经网络的认知不确定性，刻画了离散和连续残余不确定性来源，并以单隐层ReLU网络为例验证理论。
2026-05-24 cs.AI cs.LG stat.CO
Is the Volume of a Credal Set a Good Measure for Epistemic Uncertainty?
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Pennsylvania（宾夕法尼亚大学）
该研究探讨credal集体积作为认知不确定性度量的适用性，理论证明其在二分类中有效、多分类中适用性较弱，强调了合理选用不确定性度量的重要性。
2023-06-16 cs.AI cs.LG stat.ML
A Survey on Epistemic (Model) Uncertainty in Supervised Learning: Recent Advances and Applications
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件工程学院）；The Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University（深圳大学广东省智能信息处理重点实验室）；College of Mathematics and Statistics, Shenzhen University（深圳大学数学与统计学院）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
量化监督学习模型的不确定性在做出更可靠的预测方面起着重要的作用。认知的不确定性，通常是由于对模型的知识不足，可以通过收集更多的数据或改进学习模型来减少。在过去的几年里，学者们提出了许多认知不确定性处理技术，这些技术大致可以分为两类，即，贝叶斯和合奏。本文综述了近五年来监督学习中认知不确定性学习技术的研究进展。因此，我们首先将认知不确定性分解为偏差和方差项。然后，介绍了认知不确定性学习技术的层次分类及其代表模型。此外，一些应用，如计算机视觉（CV）和自然语言处理（NLP），随后的研究差距和可能的未来研究方向进行了讨论。
2021-11-04 cs.LG
Optimal Conformal Prediction under Epistemic Uncertainty
LMU Munich（慕尼黑莱茵姆大学）；CISPA（Cybersecurity Institute for Safer Applications）；LMU Munich MCML（慕尼黑莱茵姆大学MCML）；Ghent University（根特大学）；University of Cologne（科隆大学）；DFKI（德国达姆施塔特研究所）
研究如何在能表达偶然和认知不确定性的信念集上最优应用共形预测，提出概率伯努利预测集及变体，处理信念集有效性无保证场景，通过共形风险控制得出PAC风格保证，并经实证验证理论发现。
2026-07-09 cs.LG stat.ML
Epistemic Wrapping for Uncertainty Quantification
Oxford Brookes University（奥克斯福德布鲁克斯大学）；Delft University of Technology（代尔夫特理工大学）；KU Leuven University（根特大学）
本文提出认知包装方法，将贝叶斯神经网络输出转化为信念函数后验，以高效捕捉认知不确定性，并在多个图像分类数据集上验证其显著提升泛化能力与不确定性量化效果。
2025-08-18 cs.LG
Query The Agent: Improving sample efficiency through epistemic uncertainty estimation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
目标条件强化学习代理的课程通常依赖于对代理的认知不确定性的较差估计，或者完全没有考虑代理的认知不确定性，从而导致较差的样本效率。我们提出了一种新的算法，查询代理（QTA），这显着提高了样本效率估计代理的认知不确定性，在整个状态空间和高度不确定的领域设置目标。鼓励代理在高度不确定的状态下收集数据，允许代理快速提高其对价值函数的估计。QTA利用一种新的技术来估计认知的不确定性，预测不确定性网络（PUN），让QTA评估代理的不确定性，在所有以前观察到的状态。我们证明，QTA提供了决定性的样本效率的改进，比现有的方法。
2022-10-05 cs.AI cs.LG
Quantifying Epistemic Uncertainty in Diffusion Models
Berkeley Lab & ICSI（伯克利实验室与ICS实验室）；UC Berkeley & ICSI（加州大学伯克利分校与ICS实验室）；Berkeley Lab（伯克利实验室）；New York University（纽约大学）
本文提出FLARE方法，通过基于信息量的随机近似技术，有效分离扩散模型的先验不确定性，提升生成数据的可信度评估。
2026-02-09 cs.AI cs.LG stat.ML
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
Excess risk analysis for epistemic uncertainty with application to variational inference
Osaka university（大阪大学）；The University of Tokyo（东京大学）
贝叶斯深度学习在评估认知不确定性（EU）方面发挥着重要作用。由于计算复杂性问题，近似方法如变分推断（VI）已在实践中用于获得后验分布，并且它们的泛化能力已被广泛地分析，例如，通过PAC-Bayesian理论;然而，对EU的分析却很少，尽管人们对它进行了大量的数值试验，我们分析了监督学习在近似贝叶斯推断中的有效性，重点是它的超额风险。首先，我们从理论上证明了推广误差和广泛使用的EU测量之间的新关系，如预测分布的方差和互信息，并推导出它们的收敛行为。接下来，我们将阐明VI的目标函数如何规范欧盟。通过这种分析，我们提出了一个新的目标函数VI直接控制的预测性能和欧盟的基础上的PAC贝叶斯理论。数值实验表明，我们的算法显着改善欧盟评价现有的VI方法。
2022-10-11 cs.LG stat.ML
The Hidden Uncertainty in a Neural Networks Activations
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
神经网络的潜在表示的分布已被成功地用于检测分布外（OOD）数据。这项工作调查是否这种分布，而且与模型的认知不确定性，从而表明它的能力，概括到新的输入。我们首先经验验证，认识的不确定性可以确定的惊喜，从而负对数似然，观察到一个特定的潜在的代表。此外，我们证明了隐藏表示的输出条件分布也允许通过预测分布的熵来量化任意的不确定性。我们分析了从不同层的表示推断出的认识和任意的不确定性，并得出结论，更深的层导致不确定性与建立类似的行为-但计算更昂贵-方法（例如深合奏）。虽然我们的方法不需要修改训练过程，但我们遵循先前的工作，并实验了额外的正则化损失，以增加潜在表征中的信息。我们发现，这导致改进的OOD检测的认知不确定性的模糊校准接近的数据分布的成本。我们验证了我们的研究结果的分类和回归模型。
2021-02-23 cs.LG stat.ML
Biased Dreams: Limitations to Epistemic Uncertainty Quantification in Latent Dynamics Models
研究探讨了潜在空间模型中知识不确定性量化存在的偏差问题，指出潜在过渡偏向于高代表性的区域，导致环境动态差异在潜在空间中不显现，影响不确定性估计的可靠性。
2026-07-28 cs.LG
Exploration via Epistemic Value Estimation
DeepMind；University College London（伦敦大学学院）
如何在强化学习中进行有效的探索是一个有待解决的问题。许多探索算法使用其自身价值预测的认知不确定性-例如计算探索奖金或置信上限。不幸的是，所需的不确定性是难以估计的一般函数近似。我们提出了认识值估计（EVE）：一个配方，是兼容的顺序决策和神经网络函数逼近。它配备了一个易于处理的后验的所有参数，认知价值的不确定性，可以有效地计算代理。我们使用的配方，以获得一个认知的Q-学习代理，并观察一系列基准的竞争力表现。实验证实，EVE配方有助于在硬探索任务中的有效探索。
2023-03-07 cs.AI cs.LG stat.ML
Single-Model Uncertainties for Deep Learning
HEC Lausanne（洛桑高等商学院）；Facebook AI Research（Facebook人工智能研究院）
我们为深度神经网络提供了任意和认知不确定性的单模型估计。为了估计任意不确定性，我们提出了同步分位数回归（SQR），这是一个学习给定目标变量的所有条件分位数的损失函数。这些分位数可用于计算校准良好的预测区间。为了估计认知的不确定性，我们提出了标准正交证书（OCs），这是一个将所有训练样本映射到零的各种非常数函数的集合。这些证书将分布外的示例映射到非零值，表示认知的不确定性。我们的不确定性估计器在计算上具有吸引力，因为它们不需要集成或重新训练深度模型，并且具有竞争力的性能。
2019-09-06 cs.LG stat.ML
Normalizing Flow Ensembles for Rich Aleatoric and Epistemic Uncertainty Modeling
McGill University（麦吉尔大学）
本研究提出基于固定dropout掩码的归一化流集成方法，利用NF基分布无采样估计随机不确定性并推导微分熵无偏估计，在多个基准实验中验证了其同时精准捕捉两类不确定性的优势。
2023-10-03 cs.LG
Where to Measure: Epistemic Uncertainty-Based Sensor Placement with ConvCNPs
Marine Data Science University of Rostock（海洋数据科学罗斯托克大学）；Visual and Analytic Computing in Ocean Technologies University of Rostock（海洋技术视觉与分析计算罗斯托克大学）
本文提出基于epistemic不确定性的传感器布置方法，通过扩展ConvCNPs并引入MDNs输出头，更有效地减少模型误差。
2025-11-27 cs.AI cs.LG
Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design
本研究利用活动子空间近似后验分布，为JT-VAE分子设计模型提供无需改动架构的认知不确定性量化方法，并验证其对分子优化的潜在价值。
2024-08-15 cs.LG q-bio.QM stat.ML
CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk
Department of Operations, HEC, University of Lausanne（洛桑大学运营管理系）；Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计系）；Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）；BegooAI
提出校准方法CLEAR，用两个参数结合测量噪声偶然不确定性与数据有限认知不确定性，提升回归任务预测区间条件覆盖率，与多种估计器兼容，在多数据集上效果良好。
2026-07-07 cs.LG stat.ME stat.ML
Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文质疑了机器学习中用条件熵和互信息分别量化偶然性和认知不确定性的做法，指出其理论不协调性及总不确定性加性分解的问题，并通过计算机视觉实验验证了这些发现。
2023-06-25 cs.LG
Deep Ensembles for Epistemic Uncertainty: A Frequentist Perspective
EECS, MIT, Cambridge MA, USA（麻省理工学院电子工程与计算机科学系）
本文从频数视角探讨深度集成在量化epistemic不确定性中的有效性，通过bootstrap估计器和数据变异性的分解，揭示了深度集成捕捉训练随机性成分的机制。
2026-02-08 cs.AI cs.LG math.ST
Quantifying Epistemic Uncertainty in Deep Learning
Columbia University（哥伦比亚大学）
本文提出一个理论框架，将深度学习中的认知不确定性分解为程序变异性和数据变异性，并基于影响函数和批处理提出两种估计方法，实验验证其有效性和指导意义。
2023-06-18 cs.LG stat.ME stat.ML
Hybrid Uncertainty Sensitivity Analysis Based on the HSIC for High-Dimensional Responses with Aleatory--Epistemic Separation
School of Power and Energy, Northwestern Polytechnical University（能源学院，西北工业大学）
提出双空间张量积RKHS框架，通过分解核函数和双重Möbius反演，将全局依赖度量正交分解为纯偶然效应、纯认知效应及其交互贡献，实现高维响应下混合不确定性的灵敏度分析。
2026-09-22 cs.LG stat.ML
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Epistemic Deep Learning
Demspter-Shafer证据理论中提出的不确定性量化的信度函数方法是建立在集值观测的一般数学模型（称为随机集）上的。集值预测是机器学习中最自然的不确定性表示。在本文中，我们引入了一个称为认知深度学习的概念，该概念基于对信念函数的随机集解释来建模深度神经网络中的认知学习。我们提出了一种新的随机集卷积神经网络的分类，通过学习集值地面真值表示产生的类集的分数。我们评估不同配方的熵和距离措施的信念功能作为可行的损失函数，这些随机集网络。我们还讨论了评估认知预测的质量和认知随机集神经网络的性能的方法。我们通过实验证明，与传统的估计不确定性的方法相比，认知方法产生更好的性能结果。
2022-06-15 cs.LG cs.NE stat.ML
Rethinking Epistemic Uncertainty in Node Classification through Information Growth
University of Trento（特伦托大学）；Fondazione Bruno Kessler, FBK（布鲁诺·凯斯勒基金会）；University of Tromsø（特罗姆瑟大学）
针对现有图证据深度学习在节点分类中认知不确定性不可约减的问题，提出统计框架与图自助集成方法，通过信息增长实验验证其一致性，有效减少认知不确定性。
2026-10-05 cs.AI cs.LG
On the Calibration of Epistemic Uncertainty: Principles, Paradoxes and Conflictual Loss
CentraleSupélec（中央高等电力学院）；Université Paris Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）
本文研究深度集成等模型中认知不确定性校准的悖论，发现其违反随数据增大而减小、随模型增强而增大的要求，并提出冲突损失正则化方法，实验证明其恢复两项要求且不损性能。
2024-07-16 cs.LG
A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement
University of Groningen（格罗宁根大学）；Pontifical Catholic University of Peru（秘鲁天主大学）
神经网络在许多任务中无处不在，但信任它们的预测是一个悬而未决的问题。不确定性量化是许多应用所需要的，而解开任意和认知的不确定性是最好的。在本文中，我们概括的方法，以产生解开的不确定性与不同的不确定性量化方法，并评估其能力，产生解开的不确定性。我们的研究结果表明：在学习任意性和认知不确定性之间存在交互作用，这是出乎意料的并且违反了关于任意性不确定性的假设，一些方法如Flipout产生零认知不确定性，任意性不确定性在分布外设置中是不可靠的，并且集合提供总体上最好的解开质量。我们还探讨了采样softmax函数中的样本数超参数所产生的误差，推荐N > 100个样本。我们希望我们的公式和结果可以帮助从业者和研究人员选择不确定性方法，并扩大使用解开的不确定性，以及激励更多的研究这一主题。
2022-04-20 cs.CV cs.LG
