Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
Improving Active Learning with a Bayesian Representation of Epistemic Uncertainty
Warwick Mathematics Institute, University of Warwick（华威大学华威数学研究所）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学学院）
针对主动学习中两类不确定性难以区分且缺乏通用最优策略的问题，提出结合概率与可能性理论表示认知不确定性的新主动学习策略，引入可能性GP并在分类任务的模拟及真实数据集上验证了优异性能。
2024-12-11 cs.LG stat.ME
Estimating Epistemic and Aleatoric Uncertainty with a Single Model
University of Maryland（马里兰大学）
本文提出超扩散模型（HyperDM），用单一模型同时估计认知与偶然不确定性，性能媲美甚至超越多模型集成，并在X射线CT重建和天气温度预测任务上验证了其有效性。
2024-11-06 cs.CV cs.LG
Quantifying Aleatoric and Epistemic Uncertainty with Proper Scoring Rules
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文基于适当评分规则提出量化偶然与认知不确定性的新度量，统一了置信集与二阶分布两种表示，为安全关键应用提供理论基础。
2024-04-19 cs.LG stat.ML
A General Framework for quantifying Aleatoric and Epistemic uncertainty in Graph Neural Networks
Kansas State University（堪萨斯州立大学）；ETH Zurich（苏黎世联邦理工学院）
图神经网络（GNN）提供了一个强大的框架，它优雅地将图论与机器学习集成在一起，用于对网络数据进行建模和分析。我们考虑的问题，量化的不确定性预测GNN源于建模误差和测量不确定性。我们认为任意的不确定性的形式的概率链接和噪声的特征向量的节点，而认知的不确定性通过概率分布的模型参数。我们提出了一个统一的方法来处理贝叶斯框架中的两个来源的不确定性，其中假设密度过滤用于量化任意的不确定性和蒙特卡罗退出捕获模型参数的不确定性。最后，将这两个不确定性来源进行汇总，以估计GNN预测中的总不确定性。真实世界数据集的结果表明，贝叶斯模型与频率论模型表现相当，并提供了有关预测不确定性的额外信息，这些信息对数据和模型中的不确定性敏感。
2022-05-20 cs.LG stat.ML
Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Quantifying Epistemic Uncertainty in Deep Learning
Columbia University（哥伦比亚大学）
本文提出一个理论框架，将深度学习中的认知不确定性分解为程序变异性和数据变异性，并基于影响函数和批处理提出两种估计方法，实验验证其有效性和指导意义。
2023-06-18 cs.LG stat.ME stat.ML
Is the Volume of a Credal Set a Good Measure for Epistemic Uncertainty?
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Pennsylvania（宾夕法尼亚大学）
该研究探讨credal集体积作为认知不确定性度量的适用性，理论证明其在二分类中有效、多分类中适用性较弱，强调了合理选用不确定性度量的重要性。
2023-06-16 cs.AI cs.LG stat.ML
On the Epistemic Uncertainty of Overparametrized Neural Networks
Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文通过非可辨识性视角分析过参数化神经网络的认知不确定性，刻画了离散和连续残余不确定性来源，并以单隐层ReLU网络为例验证理论。
2026-05-24 cs.AI cs.LG stat.CO
Position: Epistemic uncertainty estimation methods are fundamentally incomplete
Department of Data Analysis and Mathematical Modeling, Ghent University, Ghent, Belgium（数据分析与数学建模系，根特大学，根特，比利时）
本文指出epistemic不确定性估计方法存在固有缺陷，导致不确定性量化不准确且难以解释，需在高风险决策中谨慎使用。
2026-02-06 cs.LG stat.ML
Exploration via Epistemic Value Estimation
DeepMind；University College London（伦敦大学学院）
如何在强化学习中进行有效的探索是一个有待解决的问题。许多探索算法使用其自身价值预测的认知不确定性-例如计算探索奖金或置信上限。不幸的是，所需的不确定性是难以估计的一般函数近似。我们提出了认识值估计（EVE）：一个配方，是兼容的顺序决策和神经网络函数逼近。它配备了一个易于处理的后验的所有参数，认知价值的不确定性，可以有效地计算代理。我们使用的配方，以获得一个认知的Q-学习代理，并观察一系列基准的竞争力表现。实验证实，EVE配方有助于在硬探索任务中的有效探索。
2023-03-07 cs.AI cs.LG stat.ML
The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
LORIA（洛里亚计算机科学与应用实验室）；CentraleSupélec（中央高等电力学院）
本文通过实验揭示贝叶斯深度学习中认知不确定性随模型增大或数据稀少而异常坍缩的“认知不确定性漏洞”，并评估其对分布外样本检测的影响。
2024-07-02 cs.LG stat.ML
DEUP: Direct Epistemic Uncertainty Prediction
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Massachusetts Institute of Technology（麻省理工学院）
认知不确定性是对学习者缺乏知识的一种衡量，随着证据的增加而减少。虽然现有的工作集中在使用贝叶斯后验方差由于参数的不确定性作为衡量认知的不确定性，我们认为，这并没有捕捉到的一部分，缺乏知识引起的模型误指定。我们讨论如何超额风险，这是预测和贝叶斯预测的泛化误差之间的差距，是一个很好的措施，认识的不确定性，捕捉模型误设定的影响。因此，我们提出了一个原则性的框架，通过学习泛化误差的次级预测器并减去任意不确定性的估计，即，内在的不可预测性我们讨论了这种新的认识不确定性的措施的优点，并强调它是如何不同于基于方差的认识不确定性的措施，并解决其主要的陷阱。我们的框架，直接认知不确定性预测（DEUP）是特别有趣的互动学习环境中，学习者被允许在每一轮获得新的例子。通过大量的实验，我们说明了如何在顺序模型优化的现有方法可以改善与DEUP的认知不确定性估计，以及如何DEUP可以用来驱动探索强化学习。我们还评估了DEUP的概率图像分类和预测药物组合协同作用的不确定性估计的质量。
2023-02-03 cs.LG stat.ML
Epistemic Uncertainty Sampling
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；UMR CNRS 7253 Heudiasyc（法国国家科学研究中心联合研究单位7253 Heudiasyc）；Sorbonne Universités（索邦大学）；Université de Technologie de Compiègne（贡比涅技术大学）
在机器学习文献中已经提出了用于主动学习的各种策略。在不确定性抽样中，这是最流行的方法之一，主动学习器顺序查询那些实例的标签，其当前的预测是最大的不确定性。预测以及用于量化不确定性程度的度量，如熵，几乎完全是概率性质的。在本文中，我们主张在主动学习的背景下，区分两种不同类型的不确定性，称为认识性和任意性。粗略地说，这些概念分别捕捉了预测中总不确定性的可约部分和不可约部分。我们猜想，在不确定性抽样，一个实例的有用性更好地反映了其认识比任意的不确定性。这使我们建议的原则，“认知不确定性采样”，我们通过一个具体的方法来测量认知和任意的不确定性，例示。在实验研究中，认知不确定性抽样确实显示出有前途的表现。
2019-08-31 cs.LG stat.ML
A Three-Way Testing Framework for Quantifying Epistemic Calibration Uncertainty in SBI
DEs, ICMC（数学与统计系，计算与应用数学研究所）；Federal Univ. of São Carlos（圣卡洛斯联邦大学）；Univ. of São Paulo（圣保罗大学）；Brazil（巴西）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家数字科学研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LJK（拉格朗日计算与分析实验室）
本文提出一种基于三向假设检验的新工具，用于诊断基于模拟推断中校准过程固有的认知不确定性，并评估模拟预算及截断估计的不确定性。
2026-09-22 stat.ME stat.ML
(Implicit) Ensembles of Ensembles: Epistemic Uncertainty Collapse in Large Models
研究发现模型复杂度增加会导致认知不确定性坍缩，提出隐式集成作为解释，并通过理论分析和多种架构实验验证，开发提取技术以恢复不确定性。
2025-05-24 cs.LG stat.ML
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich（慕尼黑工业大学）；Autonomous Intelligent Driving GmbH（自主智能驾驶有限公司）；Google（谷歌）
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量，因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作，使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量（例如蒙特卡洛dropout）。我们的主要贡献是近似的认识不确定性估计这些方法，不需要采样，从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务（即，语义分割和深度回归），以证明我们的方法相比，基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Deep Ensembles for Epistemic Uncertainty: A Frequentist Perspective
EECS, MIT, Cambridge MA, USA（麻省理工学院电子工程与计算机科学系）
本文从频数视角探讨深度集成在量化epistemic不确定性中的有效性，通过bootstrap估计器和数据变异性的分解，揭示了深度集成捕捉训练随机性成分的机制。
2026-02-08 cs.AI cs.LG math.ST
Aleatoric and Epistemic Uncertainty with Random Forests
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
由于机器学习与实际应用的相关性稳步增加，其中许多都带有安全要求，因此在过去几年中，不确定性的概念在机器学习研究中受到越来越多的关注。特别是，最近在监督学习的背景下研究了区分两种重要类型的不确定性的想法，这两种不确定性通常被称为任意的和认识的。在本文中，我们建议量化这些不确定性与随机森林。更具体地说，我们将展示如何测量学习者的任意性和认知的不确定性在预测的两种一般方法可以实例化与决策树和随机森林的学习算法在分类设置。在这方面，我们还比较了随机森林与深度神经网络，它们已被用于类似的目的。
2020-01-03 cs.LG stat.ML
Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation
University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
近年来，不确定性量化在机器学习中受到越来越多的关注。特别是，在这方面，任意和认识的不确定性之间的区别已被发现是有用的。后者指的是学习者的（缺乏）知识，似乎特别难以衡量和量化。在本文中，我们分析了最近的建议的基础上的想法，二阶学习，产生的预测的形式分布的概率分布。虽然标准（一阶）的学习者可以训练预测准确的概率，即通过最小化合适的损失函数的样本数据，我们表明，损失最小化不工作的二阶预测：提出的损失函数诱导这种预测不激励学习者代表其认知的不确定性，在一个忠实的方式。
2022-10-13 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Tracing sources of epistemic uncertainty in deep learning predictions: homo- and hetero-scedastic linearized estimators
本研究将两类经典统计估计器适配深度学习，借助近似Fisher信息矩阵追踪认知不确定性的来源，实验验证其可区分测试点受不确定性来源的差异，能提升实际应用的鲁棒性。
2026-08-11 cs.LG stat.ML
Epistemic Uncertainty Is Not the Reducible Kind
University of Cambridge（剑桥大学）
证明标准定义中认知不确定性为可被更多数据移除的部分，与互信息度量在扩展上不一致，并提出三部分分解：偶然、样本可约简认知和机制可约简认知不确定性。
2026-06-12 cs.IT cs.LG math.IT
Aleatoric and Epistemic Uncertainty in Machine Learning: An Introduction to Concepts and Methods
Paderborn University（帕德博恩大学）；Ghent University（根特大学）
不确定性的概念在机器学习中非常重要，并且构成了机器学习方法的关键要素。根据统计学的传统，不确定性一直被认为是标准概率和概率预测的同义词。然而，由于机器学习与实际应用和相关问题（如安全要求）的相关性不断增加，机器学习学者最近发现了新的问题和挑战，这些问题可能需要新的方法开发。特别是，这包括区分（至少）两种不同类型的不确定性的重要性，通常被称为任意性和认识性。在本文中，我们介绍了机器学习中的不确定性主题，并概述了迄今为止处理不确定性的尝试，特别是将这种区别形式化。
2020-09-16 cs.LG stat.ML
Rethinking Aleatoric and Epistemic Uncertainty
University of Oxford（牛津大学）
本文指出偶然与认知不确定性二分法表达力不足，提出决策论视角统一不确定性、预测性能与统计离散度，并分析信息论量在数据获取中的局限与价值。
2025-08-18 cs.LG stat.ML
On Second-Order Scoring Rules for Epistemic Uncertainty Quantification
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
众所周知，准确的概率预测器可以通过经验风险最小化与适当的评分规则作为损失函数来训练。虽然这样的学习器捕获所谓的任意预测不确定性，但是最近已经开发了各种机器学习方法，其目标是让学习器也表示其认知不确定性，即，缺乏知识和数据造成的不确定性。一个新兴的分支文献提出了使用二阶学习器，提供预测的概率分布的分布。然而，最近的工作揭示了严重的理论缺陷，二阶预测的基础上损失最小化。在本文中，我们概括了这些发现，并证明了一个更根本的结果：似乎没有损失函数，提供了一个激励二阶学习者忠实地代表其认知的不确定性，以同样的方式适当的评分规则做标准（一阶）的学习者。作为一个主要的数学工具来证明这一结果，我们引入了广义的概念，二阶评分规则。
2023-01-30 cs.LG stat.ML
Label-wise Aleatoric and Epistemic Uncertainty Quantification
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出一种基于标签级分解的不确定性量化新方法，在单个类别层面量化分类任务中的总、偶然和认知不确定性，采用方差等非类别度量克服了基于熵方法的局限，并在多种基准数据集上验证了其有效性和理想性质。
2024-06-04 cs.LG stat.ML
A calibration test for evaluating set-based epistemic uncertainty representations
Department of Data Analysis and Mathematical Modeling（数据分析与数学建模系）；Ghent University（根特大学）；Department of Environment（环境系）；Department of Informatics（信息系）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
该研究针对基于集合的认知不确定性表示的有效性验证问题，提出一种依赖实例的凸组合校准统计检验方法，通过恰当评分规则与核估计器实现非参数检验，在合成和真实实验中验证了捕捉实例可变性的优势。
2025-07-29 cs.AI cs.LG stat.ML
Epistemic Errors of Imperfect Multitask Learners When Distributions Shift
University of Manchester（曼彻斯特大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
本文研究了不完美多任务学习者在分布转移时的知识性误差，提出了一种框架来表征和消除可减少的知识性不确定性误差，为贝叶斯迁移学习和分布转移内的ε-邻域提供了专门的误差界。
2026-03-31 cs.LG stat.ML
Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation
Faculty of Computer Science, Dalhousie University, Halifax, NS（计算机科学学院，达尔豪西大学，哈利法克斯，NS）
提出方差门控集成（VGE）框架，通过从集成统计量计算信噪比门控注入认知敏感性，实现高效且可微的不确定性估计，在计算效率与性能上匹配或超越现有方法。
2026-06-02 cs.LG stat.ML
Epistemic Uncertainty Quantification in Deep Learning Classification by the Delta Method
University of Bergen（卑尔根大学）
Delta方法是量化统计模型中认知不确定性的经典方法，但由于参数$P$数量庞大，无法直接应用于深度神经网络。我们基于Fisher信息矩阵的顶部$K$特征对，提出了适用于$L_2$正则化深度神经网络的Delta方法的低成本变体。我们解决有效的计算满秩近似特征分解的精确逆Hessian，梯度近似的逆外积或所谓的三明治估计。此外，我们提供了一个界的预测类概率的不确定性的近似误差。我们观察到，当Fisher信息矩阵的最小特征值接近$L_2$ -正则化率时，即使当$K\ll P$时，近似误差也接近于零。使用TensorFlow实现演示了该方法，并且我们表明，使用MNIST和CIFAR-10数据集，可以为两个基于LeNet的神经网络获得基于预测不确定性的有意义的图像排名。此外，我们观察到假阳性平均具有比真阳性更高的预测认知不确定性。这表明，在不确定性度量中存在着单独分类无法获取的补充信息。
2021-02-28 cs.LG stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Credal Two-Sample Tests of Epistemic Uncertainty
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）；Gatsby Computational Neuroscience Unit（盖茨计算神经科学单元）；University of Adelaide（阿德莱德大学）
本文提出 credal 两样本检验框架，用基于置换的非参数方法比较有限生成 credal 集，以刻画并整合认知不确定性。
2025-03-13 cs.LG stat.ML
Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties
Faculty of Mechanical Engineering, Delft University of Technology, Mekelweg 2, Delft, 2628 CD, The Netherlands（代尔夫特理工大学机械工程学院）；School of Engineering, Brown University, 184 Hope St., Providence, RI 02912, USA（布朗大学工程学院）
提出通过合作训练方差估计网络与贝叶斯神经网络，实现偶然不确定性与认知不确定性的分离，并提升均值估计性能。
2026-08-03 cs.LG stat.ML
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
Energy-based Epistemic Uncertainty for Graph Neural Networks
Munich Data Science Institute（慕尼黑数据科学研究所）
提出GEBM，一种基于能量的后处理方法，通过聚合图扩散中不同结构层次的能量来量化GNN的认知不确定性，并在多种分布偏移下实现最佳分离性能。
2025-02-26 cs.LG stat.ML
CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk
Department of Operations, HEC, University of Lausanne（洛桑大学运营管理系）；Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计系）；Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）；BegooAI
提出校准方法CLEAR，用两个参数结合测量噪声偶然不确定性与数据有限认知不确定性，提升回归任务预测区间条件覆盖率，与多种估计器兼容，在多数据集上效果良好。
2026-07-07 cs.LG stat.ME stat.ML
Optimal Conformal Prediction under Epistemic Uncertainty
LMU Munich（慕尼黑莱茵姆大学）；CISPA（Cybersecurity Institute for Safer Applications）；LMU Munich MCML（慕尼黑莱茵姆大学MCML）；Ghent University（根特大学）；University of Cologne（科隆大学）；DFKI（德国达姆施塔特研究所）
研究如何在能表达偶然和认知不确定性的信念集上最优应用共形预测，提出概率伯努利预测集及变体，处理信念集有效性无保证场景，通过共形风险控制得出PAC风格保证，并经实证验证理论发现。
2026-07-09 cs.LG stat.ML
Epistemic Deep Learning
Demspter-Shafer证据理论中提出的不确定性量化的信度函数方法是建立在集值观测的一般数学模型（称为随机集）上的。集值预测是机器学习中最自然的不确定性表示。在本文中，我们引入了一个称为认知深度学习的概念，该概念基于对信念函数的随机集解释来建模深度神经网络中的认知学习。我们提出了一种新的随机集卷积神经网络的分类，通过学习集值地面真值表示产生的类集的分数。我们评估不同配方的熵和距离措施的信念功能作为可行的损失函数，这些随机集网络。我们还讨论了评估认知预测的质量和认知随机集神经网络的性能的方法。我们通过实验证明，与传统的估计不确定性的方法相比，认知方法产生更好的性能结果。
2022-06-15 cs.LG cs.NE stat.ML
Excess risk analysis for epistemic uncertainty with application to variational inference
Osaka university（大阪大学）；The University of Tokyo（东京大学）
贝叶斯深度学习在评估认知不确定性（EU）方面发挥着重要作用。由于计算复杂性问题，近似方法如变分推断（VI）已在实践中用于获得后验分布，并且它们的泛化能力已被广泛地分析，例如，通过PAC-Bayesian理论;然而，对EU的分析却很少，尽管人们对它进行了大量的数值试验，我们分析了监督学习在近似贝叶斯推断中的有效性，重点是它的超额风险。首先，我们从理论上证明了推广误差和广泛使用的EU测量之间的新关系，如预测分布的方差和互信息，并推导出它们的收敛行为。接下来，我们将阐明VI的目标函数如何规范欧盟。通过这种分析，我们提出了一个新的目标函数VI直接控制的预测性能和欧盟的基础上的PAC贝叶斯理论。数值实验表明，我们的算法显着改善欧盟评价现有的VI方法。
2022-10-11 cs.LG stat.ML
The Hidden Uncertainty in a Neural Networks Activations
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
神经网络的潜在表示的分布已被成功地用于检测分布外（OOD）数据。这项工作调查是否这种分布，而且与模型的认知不确定性，从而表明它的能力，概括到新的输入。我们首先经验验证，认识的不确定性可以确定的惊喜，从而负对数似然，观察到一个特定的潜在的代表。此外，我们证明了隐藏表示的输出条件分布也允许通过预测分布的熵来量化任意的不确定性。我们分析了从不同层的表示推断出的认识和任意的不确定性，并得出结论，更深的层导致不确定性与建立类似的行为-但计算更昂贵-方法（例如深合奏）。虽然我们的方法不需要修改训练过程，但我们遵循先前的工作，并实验了额外的正则化损失，以增加潜在表征中的信息。我们发现，这导致改进的OOD检测的认知不确定性的模糊校准接近的数据分布的成本。我们验证了我们的研究结果的分类和回归模型。
2021-02-23 cs.LG stat.ML
Single-Model Uncertainties for Deep Learning
HEC Lausanne（洛桑高等商学院）；Facebook AI Research（Facebook人工智能研究院）
我们为深度神经网络提供了任意和认知不确定性的单模型估计。为了估计任意不确定性，我们提出了同步分位数回归（SQR），这是一个学习给定目标变量的所有条件分位数的损失函数。这些分位数可用于计算校准良好的预测区间。为了估计认知的不确定性，我们提出了标准正交证书（OCs），这是一个将所有训练样本映射到零的各种非常数函数的集合。这些证书将分布外的示例映射到非零值，表示认知的不确定性。我们的不确定性估计器在计算上具有吸引力，因为它们不需要集成或重新训练深度模型，并且具有竞争力的性能。
2019-09-06 cs.LG stat.ML
Diffusion Epistemic Uncertainty with Asymmetric Learning for Diffusion-Generated Image Detection
Tencent Inc.（腾讯公司）；Hikvision（海康威视）；Microsoft MAI（微软MAI）
本文提出DEUA框架，通过非对称学习和扩散epistemic不确定性估计，提升扩散生成图像检测的性能。
2026-01-21 cs.CV stat.ML
JUCAL: Jointly Calibrating Aleatoric and Epistemic Uncertainty in Classification Tasks
UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；UBS Zurich（瑞士联合银行 Zurich 分部）；Kaiju Worldwide（Kaiju 全球）
JUCAL通过联合校准偶然和本质不确定性，提升分类任务中预测不确定性的准确性。
2026-02-23 cs.LG stat.ME stat.ML
Hybrid Uncertainty Sensitivity Analysis Based on the HSIC for High-Dimensional Responses with Aleatory--Epistemic Separation
School of Power and Energy, Northwestern Polytechnical University（能源学院，西北工业大学）
提出双空间张量积RKHS框架，通过分解核函数和双重Möbius反演，将全局依赖度量正交分解为纯偶然效应、纯认知效应及其交互贡献，实现高维响应下混合不确定性的灵敏度分析。
2026-09-22 cs.LG stat.ML
Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation
University of Illinois at Chicago（伊利诺伊大学香槟分校）；Intel Labs（英特尔实验室）
针对现有估计器将不确定性压缩为单一置信度分数的问题，提出轻量级Uncertainty-Guided Inference-Time Selection框架，在深度特征空间解耦随机与认知不确定性，实现推理时自适应，减少计算量且精度损失小。
2025-11-15 cs.CV stat.ML
