Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty
University of Toronto（多伦多大学）；Defence Research and Development Canada (DRDC) Toronto Research Centre（加拿大国防研究与发展署多伦多研究中心）
本文提出一种统一算法，通过扩展分布式RL量化认知与偶然不确定性的综合效应，解决现有加性组合导致过度冒险的问题，实现了更优的风险敏感探索。
2024-01-05 cs.LG
Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Stanford University（斯坦福大学）；Stanford Intelligent Systems Laboratory（斯坦福智能系统实验室）
表征预测奖励的任意性和认知不确定性有助于构建可靠的强化学习（RL）系统。随机不确定性是由不可约的环境随机性导致的，它导致了固有的风险状态和行为。认知的不确定性是由于在学习过程中积累的有限信息而导致的。表征任意性和认知不确定性可以用于加速训练环境中的学习，提高对类似测试环境的泛化，并在异常测试环境中标记不熟悉的行为。在这项工作中，我们介绍了一个框架，在RL解开任意和认知的不确定性。(1)我们首先定义了四个desiderata捕获任意和认知不确定性估计在RL在训练和测试时的期望行为。(2)然后，我们提出了四个受监督学习启发的RL模型（即蒙特卡洛辍学，集成，深度内核学习模型和证据网络），以实例化任意和认知的不确定性。最后，（3）提出了一种实用的评估方法，用于评估无模型强化学习中基于分布外环境检测和扰动环境推广的不确定性估计。我们提出了理论和实验证据来验证，仔细装备无模型RL代理监督学习不确定性方法可以满足我们的需求。
2022-06-03 cs.LG
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
Query The Agent: Improving sample efficiency through epistemic uncertainty estimation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
目标条件强化学习代理的课程通常依赖于对代理的认知不确定性的较差估计，或者完全没有考虑代理的认知不确定性，从而导致较差的样本效率。我们提出了一种新的算法，查询代理（QTA），这显着提高了样本效率估计代理的认知不确定性，在整个状态空间和高度不确定的领域设置目标。鼓励代理在高度不确定的状态下收集数据，允许代理快速提高其对价值函数的估计。QTA利用一种新的技术来估计认知的不确定性，预测不确定性网络（PUN），让QTA评估代理的不确定性，在所有以前观察到的状态。我们证明，QTA提供了决定性的样本效率的改进，比现有的方法。
2022-10-05 cs.AI cs.LG
Exploration via Epistemic Value Estimation
DeepMind；University College London（伦敦大学学院）
如何在强化学习中进行有效的探索是一个有待解决的问题。许多探索算法使用其自身价值预测的认知不确定性-例如计算探索奖金或置信上限。不幸的是，所需的不确定性是难以估计的一般函数近似。我们提出了认识值估计（EVE）：一个配方，是兼容的顺序决策和神经网络函数逼近。它配备了一个易于处理的后验的所有参数，认知价值的不确定性，可以有效地计算代理。我们使用的配方，以获得一个认知的Q-学习代理，并观察一系列基准的竞争力表现。实验证实，EVE配方有助于在硬探索任务中的有效探索。
2023-03-07 cs.AI cs.LG stat.ML
Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design
本研究利用活动子空间近似后验分布，为JT-VAE分子设计模型提供无需改动架构的认知不确定性量化方法，并验证其对分子优化的潜在价值。
2024-08-15 cs.LG q-bio.QM stat.ML
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Deep Epistemic Value Functions for Optimistic Exploration
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对深度认知价值函数在探索中的脆弱性，本文通过系统实证分析揭示其表示、传播和优化中的失败模式，提出DEVOTE算法，在无奖励探索和连续控制任务中更有效地到达新状态并获得更高回报。
2026-09-29 cs.LG
Improving Active Learning with a Bayesian Representation of Epistemic Uncertainty
Warwick Mathematics Institute, University of Warwick（华威大学华威数学研究所）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学学院）
针对主动学习中两类不确定性难以区分且缺乏通用最优策略的问题，提出结合概率与可能性理论表示认知不确定性的新主动学习策略，引入可能性GP并在分类任务的模拟及真实数据集上验证了优异性能。
2024-12-11 cs.LG stat.ME
Learning to Forecast Aleatoric and Epistemic Uncertainties over Long Horizon Trajectories
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
赋予自主智能体预测自己的结果和不确定性的能力，将使它们能够交流自己的能力，并更安全地使用。我们完成这一点，通过使用一个学习的世界模型的代理系统，以预测在很长一段时间内的全部代理轨迹。现实世界的系统涉及任意和认知不确定性的重要来源，它们在轨迹预测中随着时间的推移而复合和相互作用。我们开发了一个深度生成的世界模型，它量化了任意的不确定性，同时在学习过程中纳入了认知不确定性的影响。我们展示了两个强化学习问题，我们的不确定性模型在整个轨迹范围内产生校准的结果不确定性估计。
2023-02-17 cs.AI cs.LG cs.RO
Epistemic Robust Offline Reinforcement Learning
GERAD, Department of Decision Sciences, HEC Montréal（GERAD，蒙特利尔高等商学院决策科学系）
本文提出一种统一框架，通过紧凑的Q值不确定性集替代离散集合，引入Epinet模型优化鲁棒Bellman目标，提升离线强化学习在风险敏感行为策略下的鲁棒性和泛化能力。
2026-04-08 cs.LG
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
Zenseact AB（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Scool INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲Scool团队）；CRIStAL, CNRS（法国国家科学研究中心CRIStAL实验室）；University of Neuchatel（纳沙泰尔大学）；University of Oslo（奥斯陆大学）
在本文中，我们考虑风险敏感的顺序决策的强化学习（RL）。我们的贡献是双重的。首先，我们介绍了一种新的和一致的量化风险，即复合风险，它量化的偶然性和认知风险的联合作用在学习过程中。现有的作品要么单独考虑偶然风险或认识风险，要么将其视为相加的组合。我们证明了当认知风险测度被期望所取代时，可加性公式是复合风险的一个特例。因此，复合风险是更敏感的偶然性和认知的不确定性比个人和添加剂配方。我们还提出了一个算法，SENTINEL-K，系综自举和分布式RL的基础上表示认知和偶然的不确定性。K学习器的集成使用跟随正规化领导者（FTRL）来聚合收益分布并获得复合风险。我们通过实验验证了SENTINEL-K可以更好地估计收益分布，并且在与复合风险估计一起使用时，表现出比最先进的风险敏感和分布式RL算法更高的风险敏感性能。
2022-06-29 cs.LG
It's Not Always Sycophancy: Measuring LLM Conformity as a Function of Epistemic Uncertainty
Vanderbilt University（范德比尔特大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）；Intuit AI Research（Intuit AI研究院）
本文提出MUSE框架，通过区分谄媚从众和不确定性驱动的从众，揭示LLM在用户反驳时改变立场的行为机制，并发现两种从众均随用户感知专业性和建议合理性增强。
2026-05-26 cs.AI cs.CL cs.LG
A robust Bayesian approach to modelling epistemic uncertainty in common-cause failure models
在一个标准的贝叶斯方法的α因子模型的共同原因失败，一个精确的狄利克雷先验分布模型的α因子的认知不确定性。该狄利克雷先验然后用观测数据更新以获得后验分布，其形成进一步推断的基础。在本文中，我们适应不精确的狄利克雷模型的瓦利代表认知的不确定性的阿尔法因素。在这种方法中，认知不确定性通过每个α因子的下限和上限期望以及确定模型从观测数据中学习的速度的学习参数来更谨慎地表达。对于这个应用程序，我们专注于学习参数的启发，并发现1到10的范围内的值似乎是合理的。凯利和阿特伍德的最低信息狄利克雷之前的α因子模型，其中包括精确的平均值的α因子，但这是相当分散的方法进行比较。接下来，我们将探索使用一组Gamma先验来建模边际故障率中的认知不确定性，通过对该率的上下期望来表示，再次与学习参数一起。由于零计数在这里通常不是一个问题，我们发现这个学习参数的选择不那么重要。最后，我们展示了如何将这两种认知不确定性模型相结合，以达到所有共因故障率的较低和较高的期望。因此，我们有效地提供了一个完整的敏感性分析的共因故障率，正确地反映了认识的不确定性的分析师的共因故障模型的各个层面。
2013-01-03 math.ST stat.ME stat.TH
Model-Value Inconsistency as a Signal for Epistemic Uncertainty
DeepMind（深度思维）；University of Oxford（牛津大学）
使用环境模型和价值函数，智能体可以通过将模型展开不同的长度并使用其价值函数进行自举来构建状态值的许多估计。我们的主要观点是，可以将这组值估计视为一种集成，我们称之为\emph{implicit value ensemble}（IVE）。因此，这些估计之间的差异可以用作代理的认知不确定性;我们将此信号称为\emph{model-value inconsistency}或\emph{self-inconsistency}。与通过训练许多模型和/或价值函数的集合来估计不确定性的现有工作不同，这种方法仅需要在大多数基于基于模型的强化学习算法中已经学习的单个模型和价值函数。我们提供了经验证据，在表格和函数近似设置从像素的自我不一致性是有用的（i）作为一个信号的探索，（ii）安全地采取行动下分布偏移，和（iii）鲁棒基于值的规划与学习模型。
2022-06-29 cs.AI cs.LG
When Alpha Breaks: Two-Level Uncertainty for Safe Deployment of Cross-Sectional Stock Rankers
本文提出两阶段部署策略，通过直接信念不确定性预测（DEUP）来预测排名位移并定义信念不确定性信号，以应对非平稳环境下横截面股票排名器的失效问题，提升风险调整后的表现。
2026-02-24 cs.AI cs.LG q-fin.PM
Analytical Extraction of Conditional Aleatory Sensitivities Across Epistemic Space via a Single PCE Model
Northwestern Polytechnical University（西北工业大学）
研究如何在混合不确定性量化中高效评估认知不确定性下任意敏感性的变化，提出统一贝叶斯框架，利用张量积结构解析分解全局展开，通过代数后处理计算条件Sobol指标，降低计算成本。
2026-07-07 stat.ME
Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Position: Epistemic uncertainty estimation methods are fundamentally incomplete
Department of Data Analysis and Mathematical Modeling, Ghent University, Ghent, Belgium（数据分析与数学建模系，根特大学，根特，比利时）
本文指出epistemic不确定性估计方法存在固有缺陷，导致不确定性量化不准确且难以解释，需在高风险决策中谨慎使用。
2026-02-06 cs.LG stat.ML
Epistemic Uncertainty Sampling
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；UMR CNRS 7253 Heudiasyc（法国国家科学研究中心联合研究单位7253 Heudiasyc）；Sorbonne Universités（索邦大学）；Université de Technologie de Compiègne（贡比涅技术大学）
在机器学习文献中已经提出了用于主动学习的各种策略。在不确定性抽样中，这是最流行的方法之一，主动学习器顺序查询那些实例的标签，其当前的预测是最大的不确定性。预测以及用于量化不确定性程度的度量，如熵，几乎完全是概率性质的。在本文中，我们主张在主动学习的背景下，区分两种不同类型的不确定性，称为认识性和任意性。粗略地说，这些概念分别捕捉了预测中总不确定性的可约部分和不可约部分。我们猜想，在不确定性抽样，一个实例的有用性更好地反映了其认识比任意的不确定性。这使我们建议的原则，“认知不确定性采样”，我们通过一个具体的方法来测量认知和任意的不确定性，例示。在实验研究中，认知不确定性抽样确实显示出有前途的表现。
2019-08-31 cs.LG stat.ML
(Implicit) Ensembles of Ensembles: Epistemic Uncertainty Collapse in Large Models
研究发现模型复杂度增加会导致认知不确定性坍缩，提出隐式集成作为解释，并通过理论分析和多种架构实验验证，开发提取技术以恢复不确定性。
2025-05-24 cs.LG stat.ML
Quantifying Aleatoric and Epistemic Uncertainty with Proper Scoring Rules
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文基于适当评分规则提出量化偶然与认知不确定性的新度量，统一了置信集与二阶分布两种表示，为安全关键应用提供理论基础。
2024-04-19 cs.LG stat.ML
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich（慕尼黑工业大学）；Autonomous Intelligent Driving GmbH（自主智能驾驶有限公司）；Google（谷歌）
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量，因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作，使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量（例如蒙特卡洛dropout）。我们的主要贡献是近似的认识不确定性估计这些方法，不需要采样，从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务（即，语义分割和深度回归），以证明我们的方法相比，基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Aleatoric and Epistemic Uncertainty with Random Forests
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
由于机器学习与实际应用的相关性稳步增加，其中许多都带有安全要求，因此在过去几年中，不确定性的概念在机器学习研究中受到越来越多的关注。特别是，最近在监督学习的背景下研究了区分两种重要类型的不确定性的想法，这两种不确定性通常被称为任意的和认识的。在本文中，我们建议量化这些不确定性与随机森林。更具体地说，我们将展示如何测量学习者的任意性和认知的不确定性在预测的两种一般方法可以实例化与决策树和随机森林的学习算法在分类设置。在这方面，我们还比较了随机森林与深度神经网络，它们已被用于类似的目的。
2020-01-03 cs.LG stat.ML
Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation
University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
近年来，不确定性量化在机器学习中受到越来越多的关注。特别是，在这方面，任意和认识的不确定性之间的区别已被发现是有用的。后者指的是学习者的（缺乏）知识，似乎特别难以衡量和量化。在本文中，我们分析了最近的建议的基础上的想法，二阶学习，产生的预测的形式分布的概率分布。虽然标准（一阶）的学习者可以训练预测准确的概率，即通过最小化合适的损失函数的样本数据，我们表明，损失最小化不工作的二阶预测：提出的损失函数诱导这种预测不激励学习者代表其认知的不确定性，在一个忠实的方式。
2022-10-13 cs.LG stat.ML
Tracing sources of epistemic uncertainty in deep learning predictions: homo- and hetero-scedastic linearized estimators
本研究将两类经典统计估计器适配深度学习，借助近似Fisher信息矩阵追踪认知不确定性的来源，实验验证其可区分测试点受不确定性来源的差异，能提升实际应用的鲁棒性。
2026-08-11 cs.LG stat.ML
Aleatoric and Epistemic Uncertainty in Machine Learning: An Introduction to Concepts and Methods
Paderborn University（帕德博恩大学）；Ghent University（根特大学）
不确定性的概念在机器学习中非常重要，并且构成了机器学习方法的关键要素。根据统计学的传统，不确定性一直被认为是标准概率和概率预测的同义词。然而，由于机器学习与实际应用和相关问题（如安全要求）的相关性不断增加，机器学习学者最近发现了新的问题和挑战，这些问题可能需要新的方法开发。特别是，这包括区分（至少）两种不同类型的不确定性的重要性，通常被称为任意性和认识性。在本文中，我们介绍了机器学习中的不确定性主题，并概述了迄今为止处理不确定性的尝试，特别是将这种区别形式化。
2020-09-16 cs.LG stat.ML
A General Framework for quantifying Aleatoric and Epistemic uncertainty in Graph Neural Networks
Kansas State University（堪萨斯州立大学）；ETH Zurich（苏黎世联邦理工学院）
图神经网络（GNN）提供了一个强大的框架，它优雅地将图论与机器学习集成在一起，用于对网络数据进行建模和分析。我们考虑的问题，量化的不确定性预测GNN源于建模误差和测量不确定性。我们认为任意的不确定性的形式的概率链接和噪声的特征向量的节点，而认知的不确定性通过概率分布的模型参数。我们提出了一个统一的方法来处理贝叶斯框架中的两个来源的不确定性，其中假设密度过滤用于量化任意的不确定性和蒙特卡罗退出捕获模型参数的不确定性。最后，将这两个不确定性来源进行汇总，以估计GNN预测中的总不确定性。真实世界数据集的结果表明，贝叶斯模型与频率论模型表现相当，并提供了有关预测不确定性的额外信息，这些信息对数据和模型中的不确定性敏感。
2022-05-20 cs.LG stat.ML
Rethinking Aleatoric and Epistemic Uncertainty
University of Oxford（牛津大学）
本文指出偶然与认知不确定性二分法表达力不足，提出决策论视角统一不确定性、预测性能与统计离散度，并分析信息论量在数据获取中的局限与价值。
2025-08-18 cs.LG stat.ML
On Second-Order Scoring Rules for Epistemic Uncertainty Quantification
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
众所周知，准确的概率预测器可以通过经验风险最小化与适当的评分规则作为损失函数来训练。虽然这样的学习器捕获所谓的任意预测不确定性，但是最近已经开发了各种机器学习方法，其目标是让学习器也表示其认知不确定性，即，缺乏知识和数据造成的不确定性。一个新兴的分支文献提出了使用二阶学习器，提供预测的概率分布的分布。然而，最近的工作揭示了严重的理论缺陷，二阶预测的基础上损失最小化。在本文中，我们概括了这些发现，并证明了一个更根本的结果：似乎没有损失函数，提供了一个激励二阶学习者忠实地代表其认知的不确定性，以同样的方式适当的评分规则做标准（一阶）的学习者。作为一个主要的数学工具来证明这一结果，我们引入了广义的概念，二阶评分规则。
2023-01-30 cs.LG stat.ML
Label-wise Aleatoric and Epistemic Uncertainty Quantification
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出一种基于标签级分解的不确定性量化新方法，在单个类别层面量化分类任务中的总、偶然和认知不确定性，采用方差等非类别度量克服了基于熵方法的局限，并在多种基准数据集上验证了其有效性和理想性质。
2024-06-04 cs.LG stat.ML
Epistemic Errors of Imperfect Multitask Learners When Distributions Shift
University of Manchester（曼彻斯特大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
本文研究了不完美多任务学习者在分布转移时的知识性误差，提出了一种框架来表征和消除可减少的知识性不确定性误差，为贝叶斯迁移学习和分布转移内的ε-邻域提供了专门的误差界。
2026-03-31 cs.LG stat.ML
Epistemic Uncertainty in Conformal Scores: A Unified Approach
Department of Statistics Federal University of São Carlos（统计系巴西圣卡洛斯联邦大学）；Institute of Mathematics and Computer Science University of São Paulo（数学与计算机科学研究所圣保罗大学）
本文提出模型无关的EPICSCORE框架，利用贝叶斯方法将认知不确定性显式融入任意conformal分数，在保持有限样本边际覆盖并实现渐近条件覆盖的同时，自适应改善数据稀疏区域的预测区间。
2025-06-10 cs.LG stat.ML
Epistemic Uncertainty Quantification in Deep Learning Classification by the Delta Method
University of Bergen（卑尔根大学）
Delta方法是量化统计模型中认知不确定性的经典方法，但由于参数$P$数量庞大，无法直接应用于深度神经网络。我们基于Fisher信息矩阵的顶部$K$特征对，提出了适用于$L_2$正则化深度神经网络的Delta方法的低成本变体。我们解决有效的计算满秩近似特征分解的精确逆Hessian，梯度近似的逆外积或所谓的三明治估计。此外，我们提供了一个界的预测类概率的不确定性的近似误差。我们观察到，当Fisher信息矩阵的最小特征值接近$L_2$ -正则化率时，即使当$K\ll P$时，近似误差也接近于零。使用TensorFlow实现演示了该方法，并且我们表明，使用MNIST和CIFAR-10数据集，可以为两个基于LeNet的神经网络获得基于预测不确定性的有意义的图像排名。此外，我们观察到假阳性平均具有比真阳性更高的预测认知不确定性。这表明，在不确定性度量中存在着单独分类无法获取的补充信息。
2021-02-28 cs.LG stat.ML
Credal Two-Sample Tests of Epistemic Uncertainty
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）；Gatsby Computational Neuroscience Unit（盖茨计算神经科学单元）；University of Adelaide（阿德莱德大学）
本文提出 credal 两样本检验框架，用基于置换的非参数方法比较有限生成 credal 集，以刻画并整合认知不确定性。
2025-03-13 cs.LG stat.ML
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
Energy-based Epistemic Uncertainty for Graph Neural Networks
Munich Data Science Institute（慕尼黑数据科学研究所）
提出GEBM，一种基于能量的后处理方法，通过聚合图扩散中不同结构层次的能量来量化GNN的认知不确定性，并在多种分布偏移下实现最佳分离性能。
2025-02-26 cs.LG stat.ML
Epistemic Uncertainty Is Not the Reducible Kind
University of Cambridge（剑桥大学）
证明标准定义中认知不确定性为可被更多数据移除的部分，与互信息度量在扩展上不一致，并提出三部分分解：偶然、样本可约简认知和机制可约简认知不确定性。
2026-06-12 cs.IT cs.LG math.IT
Optimal Conformal Prediction under Epistemic Uncertainty
LMU Munich（慕尼黑莱茵姆大学）；CISPA（Cybersecurity Institute for Safer Applications）；LMU Munich MCML（慕尼黑莱茵姆大学MCML）；Ghent University（根特大学）；University of Cologne（科隆大学）；DFKI（德国达姆施塔特研究所）
研究如何在能表达偶然和认知不确定性的信念集上最优应用共形预测，提出概率伯努利预测集及变体，处理信念集有效性无保证场景，通过共形风险控制得出PAC风格保证，并经实证验证理论发现。
2026-07-09 cs.LG stat.ML
Is the Volume of a Credal Set a Good Measure for Epistemic Uncertainty?
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Pennsylvania（宾夕法尼亚大学）
该研究探讨credal集体积作为认知不确定性度量的适用性，理论证明其在二分类中有效、多分类中适用性较弱，强调了合理选用不确定性度量的重要性。
2023-06-16 cs.AI cs.LG stat.ML
On the Epistemic Uncertainty of Overparametrized Neural Networks
Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文通过非可辨识性视角分析过参数化神经网络的认知不确定性，刻画了离散和连续残余不确定性来源，并以单隐层ReLU网络为例验证理论。
2026-05-24 cs.AI cs.LG stat.CO
A Survey on Epistemic (Model) Uncertainty in Supervised Learning: Recent Advances and Applications
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件工程学院）；The Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University（深圳大学广东省智能信息处理重点实验室）；College of Mathematics and Statistics, Shenzhen University（深圳大学数学与统计学院）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
量化监督学习模型的不确定性在做出更可靠的预测方面起着重要的作用。认知的不确定性，通常是由于对模型的知识不足，可以通过收集更多的数据或改进学习模型来减少。在过去的几年里，学者们提出了许多认知不确定性处理技术，这些技术大致可以分为两类，即，贝叶斯和合奏。本文综述了近五年来监督学习中认知不确定性学习技术的研究进展。因此，我们首先将认知不确定性分解为偏差和方差项。然后，介绍了认知不确定性学习技术的层次分类及其代表模型。此外，一些应用，如计算机视觉（CV）和自然语言处理（NLP），随后的研究差距和可能的未来研究方向进行了讨论。
2021-11-04 cs.LG
Excess risk analysis for epistemic uncertainty with application to variational inference
Osaka university（大阪大学）；The University of Tokyo（东京大学）
贝叶斯深度学习在评估认知不确定性（EU）方面发挥着重要作用。由于计算复杂性问题，近似方法如变分推断（VI）已在实践中用于获得后验分布，并且它们的泛化能力已被广泛地分析，例如，通过PAC-Bayesian理论;然而，对EU的分析却很少，尽管人们对它进行了大量的数值试验，我们分析了监督学习在近似贝叶斯推断中的有效性，重点是它的超额风险。首先，我们从理论上证明了推广误差和广泛使用的EU测量之间的新关系，如预测分布的方差和互信息，并推导出它们的收敛行为。接下来，我们将阐明VI的目标函数如何规范欧盟。通过这种分析，我们提出了一个新的目标函数VI直接控制的预测性能和欧盟的基础上的PAC贝叶斯理论。数值实验表明，我们的算法显着改善欧盟评价现有的VI方法。
2022-10-11 cs.LG stat.ML
Quantifying Epistemic Uncertainty in Diffusion Models
Berkeley Lab & ICSI（伯克利实验室与ICS实验室）；UC Berkeley & ICSI（加州大学伯克利分校与ICS实验室）；Berkeley Lab（伯克利实验室）；New York University（纽约大学）
本文提出FLARE方法，通过基于信息量的随机近似技术，有效分离扩散模型的先验不确定性，提升生成数据的可信度评估。
2026-02-09 cs.AI cs.LG stat.ML
The Hidden Uncertainty in a Neural Networks Activations
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
神经网络的潜在表示的分布已被成功地用于检测分布外（OOD）数据。这项工作调查是否这种分布，而且与模型的认知不确定性，从而表明它的能力，概括到新的输入。我们首先经验验证，认识的不确定性可以确定的惊喜，从而负对数似然，观察到一个特定的潜在的代表。此外，我们证明了隐藏表示的输出条件分布也允许通过预测分布的熵来量化任意的不确定性。我们分析了从不同层的表示推断出的认识和任意的不确定性，并得出结论，更深的层导致不确定性与建立类似的行为-但计算更昂贵-方法（例如深合奏）。虽然我们的方法不需要修改训练过程，但我们遵循先前的工作，并实验了额外的正则化损失，以增加潜在表征中的信息。我们发现，这导致改进的OOD检测的认知不确定性的模糊校准接近的数据分布的成本。我们验证了我们的研究结果的分类和回归模型。
2021-02-23 cs.LG stat.ML
Epistemic Wrapping for Uncertainty Quantification
Oxford Brookes University（奥克斯福德布鲁克斯大学）；Delft University of Technology（代尔夫特理工大学）；KU Leuven University（根特大学）
本文提出认知包装方法，将贝叶斯神经网络输出转化为信念函数后验，以高效捕捉认知不确定性，并在多个图像分类数据集上验证其显著提升泛化能力与不确定性量化效果。
2025-08-18 cs.LG
Single-Model Uncertainties for Deep Learning
HEC Lausanne（洛桑高等商学院）；Facebook AI Research（Facebook人工智能研究院）
我们为深度神经网络提供了任意和认知不确定性的单模型估计。为了估计任意不确定性，我们提出了同步分位数回归（SQR），这是一个学习给定目标变量的所有条件分位数的损失函数。这些分位数可用于计算校准良好的预测区间。为了估计认知的不确定性，我们提出了标准正交证书（OCs），这是一个将所有训练样本映射到零的各种非常数函数的集合。这些证书将分布外的示例映射到非零值，表示认知的不确定性。我们的不确定性估计器在计算上具有吸引力，因为它们不需要集成或重新训练深度模型，并且具有竞争力的性能。
2019-09-06 cs.LG stat.ML
Biased Dreams: Limitations to Epistemic Uncertainty Quantification in Latent Dynamics Models
研究探讨了潜在空间模型中知识不确定性量化存在的偏差问题，指出潜在过渡偏向于高代表性的区域，导致环境动态差异在潜在空间中不显现，影响不确定性估计的可靠性。
2026-07-28 cs.LG
Hybrid Uncertainty Sensitivity Analysis Based on the HSIC for High-Dimensional Responses with Aleatory--Epistemic Separation
School of Power and Energy, Northwestern Polytechnical University（能源学院，西北工业大学）
提出双空间张量积RKHS框架，通过分解核函数和双重Möbius反演，将全局依赖度量正交分解为纯偶然效应、纯认知效应及其交互贡献，实现高维响应下混合不确定性的灵敏度分析。
2026-09-22 cs.LG stat.ML
CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk
Department of Operations, HEC, University of Lausanne（洛桑大学运营管理系）；Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计系）；Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）；BegooAI
提出校准方法CLEAR，用两个参数结合测量噪声偶然不确定性与数据有限认知不确定性，提升回归任务预测区间条件覆盖率，与多种估计器兼容，在多数据集上效果良好。
2026-07-07 cs.LG stat.ME stat.ML
Normalizing Flow Ensembles for Rich Aleatoric and Epistemic Uncertainty Modeling
McGill University（麦吉尔大学）
本研究提出基于固定dropout掩码的归一化流集成方法，利用NF基分布无采样估计随机不确定性并推导微分熵无偏估计，在多个基准实验中验证了其同时精准捕捉两类不确定性的优势。
2023-10-03 cs.LG
Quantifying Epistemic Uncertainty in Deep Learning
Columbia University（哥伦比亚大学）
本文提出一个理论框架，将深度学习中的认知不确定性分解为程序变异性和数据变异性，并基于影响函数和批处理提出两种估计方法，实验验证其有效性和指导意义。
2023-06-18 cs.LG stat.ME stat.ML
Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文质疑了机器学习中用条件熵和互信息分别量化偶然性和认知不确定性的做法，指出其理论不协调性及总不确定性加性分解的问题，并通过计算机视觉实验验证了这些发现。
2023-06-25 cs.LG
