Generalized Regularized Evidential Deep Learning Models: Theory and Comprehensive Evaluation
Rochester Institute of Technology（罗切斯特理工学院）；AI Lab, InterDigital（InterDigital人工智能实验室）
本文提出了一种广义正则化证据深度学习模型，通过理论分析和实验验证，解决了证据更新中的学习冻结问题，提升了模型在多种分类任务中的表现。
2025-12-27 cs.AI cs.LG
First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models
Meituan（美团）
本文提出无训练的TDA方法，利用序列信息挖掘模型稀疏性，在保持性能的同时将生成速度提升18-25%，并理论分析了LLM稀疏性的两大关键特征。
2024-08-21 cs.CL cs.LG
Activation-Space Uncertainty Quantification for Pretrained Networks
Department of Engineering, University of Cambridge, Cambridge, UK（剑桥大学工程系）；Mathematical Institute（数学研究所）；Oxford-Man Institute, University of Oxford, Oxford, UK（牛津大学奥克斯曼研究所）
GAPA通过在激活空间中提供闭合形式的epistemic方差，实现了预训练网络的高效不确定性量化，无需采样或反向传播。
2026-02-23 cs.LG stat.ML
Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results
National Physical Laboratory（国家物理实验室）
本文通过训练的单隐藏层MLP与ReLU激活函数，推导出输入为多元高斯分布时输出均值和方差的精确解析表达式，无需级数展开。
2026-01-23 cs.AI cs.LG cs.NE
An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
RWTH Aachen University（亚琛工业大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（斯泰伦博斯大学）
我们研究了具有二元激活函数（BDNN）的深度神经网络，即激活函数只有两个状态。我们表明，BDNN可以重新制定为一个混合整数线性规划，可以解决经典的整数规划求解器的全局最优性。此外，一个启发式求解算法，我们研究了数据不确定性下的模型，采用两阶段的鲁棒优化方法。我们在随机和真实数据集上实现了我们的方法，并表明BDNN的启发式版本在乳腺癌威斯康星数据集上的表现优于经典的深度神经网络，而在随机数据上的表现更差。
2020-08-07 cs.LG cs.NE math.OC
Dropout Prediction Uncertainty Estimation Using Neuron Activation Strength
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google, Inc.（谷歌公司）
Dropout常被用来量化预测的不确定性，即在给定的输入样本上模型预测的变化。然而，在实践中使用dropout可能是昂贵的，因为它需要多次运行dropout推断。在本文中，我们研究了如何以资源有效的方式估计辍学预测的不确定性。我们证明了我们可以使用神经元激活强度来估计不同dropout设置下的dropout预测不确定性，并使用三个大型数据集MovieLens，Criteo和EMNIST进行各种任务。我们的方法提供了一个推理一次的方法来估计辍学预测的不确定性作为一个廉价的辅助任务。我们还证明，使用激活功能的神经网络层的子集可以足以实现不确定性估计的性能几乎可以与使用激活功能的所有层，从而减少资源，甚至进一步为不确定性估计。
2022-06-16 cs.LG
The Hidden Uncertainty in a Neural Networks Activations
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
神经网络的潜在表示的分布已被成功地用于检测分布外（OOD）数据。这项工作调查是否这种分布，而且与模型的认知不确定性，从而表明它的能力，概括到新的输入。我们首先经验验证，认识的不确定性可以确定的惊喜，从而负对数似然，观察到一个特定的潜在的代表。此外，我们证明了隐藏表示的输出条件分布也允许通过预测分布的熵来量化任意的不确定性。我们分析了从不同层的表示推断出的认识和任意的不确定性，并得出结论，更深的层导致不确定性与建立类似的行为-但计算更昂贵-方法（例如深合奏）。虽然我们的方法不需要修改训练过程，但我们遵循先前的工作，并实验了额外的正则化损失，以增加潜在表征中的信息。我们发现，这导致改进的OOD检测的认知不确定性的模糊校准接近的数据分布的成本。我们验证了我们的研究结果的分类和回归模型。
2021-02-23 cs.LG stat.ML
Revisiting Neural Activation Coverage for Uncertainty Estimation
DLR Institute for AI Safety and Security（德意志航天中心人工智能安全与保密研究所）；Ruhr University Bochum（博德姆鲁尔大学）
本文重新审视神经激活覆盖率技术，将其扩展为已训练神经网络的不确定性估计方法，在回归领域验证其优于其他技术。
2026-04-24 cs.LG
Stationary Activations for Uncertainty Calibration in Deep Learning
Aalto University（阿尔托大学）；Saab Finland Oy（萨博芬兰公司）
我们引入了一个新的家庭的非线性神经网络激活函数，模仿广泛使用的Matérn家庭的内核在高斯过程（GP）模型引起的属性。这一类跨越了一系列的局部平稳模型的各种程度的均方可微性。我们显示了一个明确的链接到相应的GP模型的情况下，网络由一个无限宽的隐藏层。在无限光滑的限制下，Matérn家族导致RBF核，在这种情况下，我们恢复RBF激活。Matérn激活函数与GP模型中的对应函数具有相似的吸引力属性，我们证明了局部平稳性属性以及有限的均方可微性在贝叶斯深度学习任务中表现出良好的性能和不确定性校准。特别是，局部平稳性有助于校准分布外（OOD）的不确定性。我们证明了这些属性的分类和回归基准和雷达辐射源分类任务。
2020-10-19 cs.LG
Post-Hoc Uncertainty Quantification in Pre-Trained Neural Networks via Activation-Level Gaussian Processes
Siemens AG（西门子股份公司）
本文提出GAPA方法，通过激活层面高斯过程在预训练神经网络中进行事后不确定性量化，提升模型的鲁棒性和泛化能力。
2025-02-28 cs.LG math.ST stat.ML
Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs
DataShape - Inria（数据形态 - 法国国家信息与自动化研究所）；Fujitsu Laboratories Ltd.（富士通研究所）
虽然神经网络能够在各种各样的环境中达到惊人的性能，但在复杂任务上正确训练网络需要专业知识，并且从计算的角度来看可能是昂贵的。在工业应用中，来自开放世界环境的数据可能与训练网络的基准数据集有很大不同。能够在不重新训练网络的情况下监测这种变化的存在至关重要。在这篇文章中，我们开发了一种方法来监测训练的神经网络的激活图的拓扑性质的基础上。对于每一个新的观察结果，我们都分配了一个拓扑不确定性，这个分数旨在通过调查整个网络而不是像从业者通常做的那样只调查最后一层来评估预测的可靠性。我们的方法完全在训练后水平上工作，不需要对网络架构、优化方案进行任何假设，也不需要使用数据增强或辅助数据集;并且可以忠实地应用于大范围的网络架构和数据类型。我们通过实验展示了拓扑不确定性在训练网络选择，分布外检测和移位检测的背景下的潜力，无论是在合成的还是真实的图像和图形数据集上。
2021-05-07 cs.AI cs.LG stat.ML
Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off
University of Notre Dame（圣母大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
准确估计神经网络预测中的不确定性对于构建可信的基于DNN的模型非常重要，并且人们越来越关注在许多任务（例如安全摄像头和自动驾驶车辆）上提供准确的不确定性估计。在本文中，我们专注于不确定性估计的两个主要用例，即选择性预测和置信度校准。我们首先揭示了两种用例中不确定性估计常用质量度量的潜在问题，并提出了我们的新度量来缓解这些问题。然后，我们应用这些新的指标来探索模型复杂性和不确定性估计质量之间的权衡，在文献中严重缺失的工作。我们的实证实验结果验证了所提出的指标的优越性，并观察到一些有趣的趋势的复杂性不确定性权衡。
2020-07-12 cs.LG stat.ML
Gaussian Process Manifold Interpolation for Probabilistic Atrial Activation Maps and Uncertain Conduction Velocity
University of Sheffield（谢菲尔德大学）
在房颤患者中，局部激动时间（LAT）标测图通常用于表征患者的病理生理学。LAT标测图的梯度可用于计算传导速度（CV），其与材料电导率直接相关，并可提供心房基质特性的重要测量。在CV计算中包括不确定性将有助于解释这些测量的可靠性。在这里，我们建立在最近的见解降秩高斯过程（GP）进行概率插值不确定LAT直接对人类心房流形。我们的高斯过程流形插值（GPMI）方法考虑了心房的拓扑结构，并允许计算预测CV的统计数据。我们在两个临床病例上展示了我们的方法，并对模拟的地面实况进行了验证。CV不确定性取决于数据密度、波传播方向和CV幅度。GPMI适用于非欧流形上其他不确定量的概率插值。
2020-04-23 cs.LG stat.ML
Towards Principled Uncertainty Estimation for Deep Neural Networks
Sophos PLC（Sophos PLC（索福斯公司））
当错误分类样本的成本很高时，对该样本的预测中的不确定性进行准确估计是有用的。还有多种类型的不确定性，它们以不同的方式进行最佳估计，例如，训练集固有的不确定性可以通过贝叶斯方法很好地处理，而由训练和查询分布之间的偏移引入的不确定性可以通过密度/支持估计更好地解决。在本文中，我们研究了三种类型的不确定性：模型容量的不确定性，内在的数据不确定性，和开放集的不确定性，并审查技术，已得出解决每一个。然后，我们引入了一个统一的分层模型，该模型将贝叶斯推理，可逆潜在密度推理和判别分类的方法结合在一个端到端的深度神经网络拓扑结构中，以在检测环境中产生有效的每样本不确定性估计。这种方法解决了所有三种不确定性类型，可以很容易地适应二进制检测的先验/基本速率。然后，我们将讨论如何将此模型扩展到更通用的多类识别环境。
2019-03-14 cs.LG stat.ML
Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
不确定性估计和集成方法齐头并进。不确定度估计是评价集成性能的主要基准之一。与此同时，深度学习集成在不确定性估计方面提供了最先进的结果。在这项工作中，我们专注于域内不确定性的图像分类。我们探讨了其量化的标准，并指出现有的指标的陷阱。为了避免这些陷阱，我们对不同的集成技术进行了广泛的研究。为了在这项研究中提供更多的见解，我们引入了深度集成等效分数（DEE），并表明许多复杂的集成技术在测试性能方面相当于只有少数独立训练的网络的集成。
2021-07-18 cs.LG stat.ML
Inhibited Softmax for Uncertainty Estimation in Neural Networks
Sigmoidal
提出了一种新的不确定性估计和softmax输出的神经网络的分布外检测方法。我们扩展了softmax层，增加了一个常数输入。相应的附加输出能够表示网络的不确定性。所提出的方法既不需要额外的参数，也不需要多次向前传递，也不需要输入预处理，也不需要分布外的数据集。我们表明，我们的方法执行更昂贵的计算方法，并优于我们的实验基线从图像识别和情感分析域。
2019-04-07 cs.LG stat.ML
Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts
Technical University of Munich（慕尼黑工业大学）
任意和认知不确定性的准确估计对于建立安全可靠的系统至关重要。传统的方法，如dropout和ensemble方法，通过从不同的子模型中采样概率预测来估计不确定性，这导致在推理时缓慢的不确定性估计。最近的工作解决了这个缺点，直接预测参数的先验分布的概率预测与神经网络。虽然这种方法已经证明了准确的不确定性估计，但它需要为分布内数据定义任意目标参数，并做出不切实际的假设，即分布外（OOD）数据在训练时已知。在这项工作中，我们提出了后验网络（PostNet），它使用归一化流来预测任何输入样本的预测概率上的个体封闭形式后验分布。PostNet学习的后验分布准确地反映了分布内和分布外数据的不确定性，而无需在训练时访问OOD数据。PostNet在OOD检测和数据集偏移下的不确定性校准方面取得了最先进的成果。
2020-10-22 cs.LG stat.ML
Adversarial Attack for Uncertainty Estimation: Identifying Critical Regions in Neural Networks
Bournemouth University（伯恩茅斯大学）
我们提出了一种新的方法来捕获神经网络中决策边界附近的数据点，这些数据点通常被称为特定类型的不确定性。在我们的方法中，我们试图执行不确定性估计的基础上的思想，对抗攻击方法。在本文中，不确定性估计来自输入扰动，不像以前的研究，提供扰动模型的参数，在贝叶斯方法。我们能够产生不确定性与对输入的扰动。有趣的是，我们将所提出的方法应用于来自区块链的数据集。我们比较了模型的不确定性与最新的不确定性方法的性能。我们表明，所提出的方法已经揭示了一个显着优于其他方法，并提供更小的风险，以捕捉模型的不确定性在机器学习。
2021-12-18 cs.LG stat.ML
Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑（非贝叶斯）深度神经分类背景下的不确定性估计问题。在这种情况下，所有已知的方法都是基于从经过优化的训练网络中提取不确定性信号，以解决当前的分类问题。我们证明，这种技术往往会引入有偏估计的情况下，其预测应该是高度自信的。我们认为，这种缺陷是SGD类优化器训练动态的产物，它具有一些类似于过拟合的性质。基于这一观察，我们开发了一种不确定性估计算法，该算法使用训练模型的早期快照选择性地估计高度置信点的不确定性，然后再进行抖动估计（并且在它们准备好进行实际分类之前）。我们提出了广泛的实验表明，该算法提供的不确定性估计，始终优于所有已知的方法。
2019-04-24 cs.LG stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation
Southern University of Science and Technology（南方科技大学）；Chongqing Jiaotong University（重庆交通大学）；Tsinghua University（清华大学）；China Automotive Engineering Research Institute（中国汽车工程研究院股份有限公司）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
变分自编码器（Variational autoencoder，VAE）是一种基于深度神经网络结构和贝叶斯方法的具有丰富表示能力的生成模型。然而，VAE模型有一个弱点，即分配更高的可能性外的分布（OOD）的输入比分布（ID）的输入。为了解决这个问题，一个可靠的不确定性估计被认为是深入了解面向对象设计输入的关键。在这项研究中，我们提出了一种改进的噪声对比先验（INCP），能够集成到编码器的VAE，称为INCPVAE。INCP具有可扩展性、可训练性和与VAE的兼容性，并且在不确定性估计中吸收了INCP的优点。在不同数据集上的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面具有优势，并且在异常检测任务中具有鲁棒性。INCPVAE模型获得了OOD输入的可靠的不确定性估计，解决了VAE模型中的OOD问题。
2021-11-01 cs.LG stat.ML
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科技学院（Skoltech））；Yandex（Yandex（扬德克斯））
机器学习模型的不确定性估计在许多场景中非常重要，例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中，我们表明，修改神经网络中的辍学层的采样分布，提高了不确定性估计的质量。我们的主要思想包括两个主要步骤：计算神经元之间的数据驱动相关性和生成样本，其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中，我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是，它不需要对模型或训练过程进行任何修改，可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Efficient Evaluation-Time Uncertainty Estimation by Improved Distillation
KTH（瑞典皇家理工学院）
在这项工作中，我们的目标是通过深度网络获得计算效率高的不确定性估计。为此，我们提出了一个修改后的知识蒸馏程序，实现国家的最先进的不确定性估计的分布样本。我们的贡献包括：a）证明和适应蒸馏的正则化效应b）提出一种新型的目标教师分布c）一种简单的增强程序，以改善分布外不确定性估计d）通过一组全面的实验揭示蒸馏过程。
2019-06-12 cs.LG stat.ML
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
UncertaintyPlayground: A Fast and Simplified Python Library for Uncertainty Estimation
University of Lausanne（洛桑大学）
本文介绍了基于PyTorch和GPyTorch的Python库UncertaintyPlayground，通过SVGPRs和MDN实现监督学习中的快速不确定性估计与预测区间可视化，并提供跨平台持续集成与完善文档。
2023-10-23 cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能，但校准和不确定性估计仍然是主要的挑战，特别是在分布偏移的情况下。在本文中，我们提出了摊销条件归一化最大似然（ACNML）方法，作为一种可扩展的通用方法，用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然（CNML）编码方案，它具有极大极小最优属性根据最小描述长度的原则，但计算上难以准确评估，但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合，提供了易于处理的模型参数的后验密度。我们证明，ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation
Intel（英特尔）；Mobileye（莫比尔眼）；DermaDetect Ltd.（DermaDetect有限公司）
深度神经网络（DNN）在过去十年中在许多领域都发生了革命。然而，在具有高安全要求的任务中，例如医疗或自动驾驶应用，提供模型可靠性的评估可能至关重要。DNN的不确定性估计已经使用贝叶斯方法解决，为可靠性评估提供数学上建立的模型。这些模型在计算上是昂贵的，并且对于许多实时用例通常是不切实际的。近年来，非贝叶斯方法被提出来更有效地处理不确定性估计。我们提出了一种有效的方法，在DNN实现高精度的不确定性估计。我们模拟的概念，多任务学习单任务的问题，从类似的模型产生并行预测不同的损失。这种多损失方法允许单任务学习的单阶段训练与不确定性估计。我们保持我们的推理时间相对较低，利用深度子集成方法提出的优势。这项工作的新颖之处在于提出了一个简单方便的训练过程的准确变分推理，同时在计算时间方面保持竞争力。我们使用不同的架构在SVHN、CIFAR 10、CIFAR 100以及Imager-Net上进行了实验。我们的研究结果表明，提高了准确性的分类任务和竞争力的结果上的几个不确定性措施。
2020-11-11 cs.LG stat.ML
When a Zero-Shooter Cheats: Improving Age Estimation via Activation Steering
BIFOLD & TU Berlin（BIFOLD与柏林技术大学）
本文研究了基于视觉语言模型的零样本年龄估计中出现的'身份捷径'现象，提出激活引导方法以提高年龄估计的准确性，减少均方误差达25%。
2026-05-17 cs.LG
On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
Ecole Polytechnique（巴黎综合理工学院）；Google Brain（谷歌大脑）；Google Brain Zürich（苏黎世谷歌大脑）
深度学习的不确定性量化是一个具有挑战性的开放问题。贝叶斯统计提供了一个数学基础的框架，原因的不确定性;然而，现代神经网络的近似后验仍然需要高昂的计算成本。我们提出了一个家庭的算法分为两个阶段：表示学习和不确定性估计的分类任务。我们比较了四个具体的情况下，不确定性估计是通过一个合奏的随机梯度下降或随机梯度朗之万动力学快照，一个合奏的自举逻辑斯谛回归，或通过一些蒙特卡罗辍学通过。我们评估了它们在\emph{selective}分类（风险覆盖率）方面的性能，以及它们检测分布外样本的能力。我们的实验表明，在深度分类器中添加多个不确定性层的价值有限，我们观察到这些简单的方法在一些复杂的基准测试中（如ImageNet）远远优于普通点估计SGD。
2020-01-22 cs.LG stat.ML
Uncertainty estimation for classification and risk prediction on medical tabular data
Pacmed（帕克医疗）
在医疗保健等数据稀缺的领域，模型通常会对罕见疾病的患者进行预测，测量模型预测的不确定性的能力可能会提高决策支持工具的有效性并增加用户的信任。这项工作推进了医疗表格数据的分类和风险预测的不确定性估计的理解，在一个双重的方式。首先，我们扩展和完善了一套诊断学，以选择一种不确定性估计技术，引入临床相关场景的测试，如推广到不常见的病理，临床协议的变化和模拟损坏的数据。我们还根据临床用例对这些药物进行了区分。其次，我们观察到，合奏和相关技术表现不佳，当涉及到检测域外的例子，一个关键的任务，这是更成功地进行自动编码器。这些评论丰富的考虑类不平衡，建模后校准和其他建模程序的不确定性估计的相互作用。我们的研究结果得到了一系列玩具和现实数据实验的支持。
2020-05-23 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Density Uncertainty Layers for Reliable Uncertainty Estimation
Columbia University（哥伦比亚大学）
针对现有贝叶斯深度学习方法难以可靠估计预测不确定性的问题，提出基于输入经验密度的不确定性准则及密度不确定性层架构，在基准测试中实现了更可靠的不确定性估计与鲁棒的分布外检测。
2024-03-04 cs.LG stat.ML
One step closer to unbiased aleatoric uncertainty estimation
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of California（加利福尼亚大学）
本文指出现有方差衰减方法高估偶然不确定性，提出主动去噪观测数据的新估计方法，实验证明其更接近真实数据不确定性。
2023-12-20 cs.LG stat.ML
Visualizing Uncertainty: Spatial Maps of Missing and Conflicting Evidence in Deep Learning
University of the District of Columbia（哥伦比亚特区大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Virginia Tech（弗吉尼亚理工大学）；U.S. Army DEVCOM Army Research Laboratory（美国陆军DEVCOM陆军研究实验室）；University of Oslo（奥斯陆大学）；Bowie State University（鲍伊州立大学）
提出不确定性激活图（UAM）框架，结合证据深度学习与全梯度类激活映射，生成空间不确定性激活图，区分缺乏证据的空虚和假设冲突的不和谐，填补不确定性量化与可解释性之间的空白。
2026-06-16 cs.AI cs.LG
Density estimation in representation space to predict model uncertainty
Cogent Labs；Apple Inc.（苹果公司）
深度学习模型在使用训练数据集中没有很好表示的测试示例时，经常会做出高置信度的错误预测。我们提出了一种新的和直接的方法来估计预测的不确定性在一个预先训练好的神经网络模型。我们的方法估计的训练数据密度表示空间的一个新的输入。然后，神经网络模型使用这些信息来确定我们是否期望预先训练的模型做出正确的预测。这个不确定性模型是通过预测分布内误差来训练的，但是可以在没有看到任何这样的例子的情况下检测分布外数据。我们测试我们的方法的国家的最先进的图像分类模型中的分布不确定性估计以及分布外检测的设置。
2019-10-03 cs.LG stat.ML
SNAP-UQ: Self-supervised Next-Activation Prediction for Single-Pass Uncertainty in TinyML
Multidisciplinary Faculty of Nador, Mohammed First University（穆罕默德第一大学纳祖尔多学科学院）；Sultan Moulay Slimane University（苏丹穆莱·斯利曼大学）
SNAP-UQ通过单次传递的自监督下一次激活预测，为TinyML提供了一种高效且无需额外状态的不确定性估计方法。
2026-02-18 cs.CL cs.LG
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器学习分类器本质上是概率性的，因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性（或置信度）估计，对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计，而不需要重新训练，也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说，我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准的事后校准技术校准该信号（而不是模型的估计）。我们表明，我们的方法产生更好的不确定性估计比最近提出的方法，通过广泛评估多个数据集和模型。此外，我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc（三星公司）；Cornell University（康奈尔大学）
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法，辍学推断突出其简单性和有效性。然而，这种技术在推理期间需要通过网络的多次前向传递，因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单，易于优化的蒸馏方法，用于学习预训练的辍学模型的条件预测分布，用于计算机视觉任务中的快速，无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性，并证明了我们的方法可以显着减少推理时间，实现实时的【形】不确定性量化，同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML
Towards calibrated and scalable uncertainty representations for neural networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Shutterstock（Shutterstock公司）；Rochester Institute of Technology（罗切斯特理工学院）
对于许多应用来说，了解神经网络预测的不确定性是至关重要的。虽然已经提出了各种神经网络参数估计方法用于不确定性估计，但是它们没有在不确定性度量之间进行严格的比较。我们评估这些参数估计方法校准不确定性估计使用四种不同的不确定性度量：熵，互信息，任意的不确定性和认知的不确定性。我们评估这些参数估计方法的校准使用预期的校准误差。此外，我们提出了一种新的神经网络参数估计方法，称为RECST，它结合了余弦退火与热重启与随机梯度Langevin动力学，捕捉更多样化的参数分布。当基准对残缺的图像数据，我们表明，RECAST是良好的校准和预测熵和认知不确定性相结合时，它提供了最好的校准措施的不确定性相比，最近的方法。
2019-12-04 cs.CV cs.LG stat.ML
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨理工大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
除了在临床医学中的广泛使用外，法医学中的生物年龄（BA）还用于评估身份证明文件不可用的应用中未知的实际年龄（CA）。在文献中提出的年龄估计的自动方法是预测点估计，这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中，我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性，我们将数据不确定性解释为生物学变异，即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
Decomposing Representations for Deterministic Uncertainty Estimation
University of Oxford（牛津大学）
不确定性估计是任何部署的机器学习系统中的关键组件。评估不确定性估计的一种方法是使用“分布外”（OoD）检测，即使用不确定性区分训练数据分布和看不见的不同数据分布。在这项工作中，我们表明，目前的特征密度为基础的不确定性估计不能在不同的OoD检测设置一致地执行。为了解决这个问题，我们建议分解学习的表示，并分别整合对它们的不确定性估计。通过实验，我们证明我们可以大大提高性能和解释的不确定性估计。
2021-12-01 cs.LG
Uncertainty based Class Activation Maps for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是为深度学习模型获得改进的确定性估计和解释的处方。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2020-01-23 cs.CL cs.CV cs.LG
A Simple Probabilistic Model for Uncertainty Estimation
本文以单导联心电图检测心房颤动为例，重点研究了模型的预测不确定性。为此，该模型预测贝塔分布在类概率上的参数，而不是这些概率本身。结果表明，所描述的方法允许检测非典型记录，并显着提高算法的质量，对置信度的预测。
2018-07-24 cs.CV cs.LG stat.ML
Disrupting Deep Uncertainty Estimation Without Harming Accuracy
Technion（以色列理工学院）
深度神经网络（DNN）已被证明是强大的预测器，并广泛用于各种任务。然而，对它们的预测进行可信的不确定性估计，对于它们在许多风险敏感应用中的部署至关重要。在本文中，我们提出了一种新颖而简单的攻击，与对抗攻击不同，它不会导致不正确的预测，而是削弱了网络的不确定性估计的能力。结果是，在攻击之后，DNN对其错误预测的信心比其正确预测的信心更大，而其准确性不会降低。我们提出了两个版本的攻击。第一种情况集中在黑盒机制（攻击者不知道目标网络），第二种情况攻击白盒设置。所提出的攻击只需要很小的幅度，其扰动造成严重的不确定性估计的损害，与更大的幅度导致完全不可用的不确定性估计。我们展示了对三种最流行的不确定性估计方法的成功攻击：vanilla softmax score，Deep Ensembles和MC-Dropout。此外，我们展示了对选择性分类架构SelectiveNet的攻击。我们在几个当代架构上测试了所提出的攻击，例如MobileNetV 2和EfficientNetB 0，所有这些架构都经过训练以分类ImageNet。
2021-10-26 cs.CR cs.LG stat.ML
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Tailored Uncertainty Estimation for Deep Learning Systems
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Volkswagen AG（大众汽车集团）；University of Bonn（波恩大学）
不确定性估计有可能使深度学习（DL）系统更加可靠。然而，用于不确定性估计的标准技术伴随着优点和缺点的特定组合，例如，关于估计质量、泛化能力和计算复杂性。为了实际利用不确定性量化的潜力，需要其属性与给定用例的需求紧密匹配的估计器。在这项工作中，我们提出了一个框架，首先，结构和形状这些要求，其次，指导选择一个合适的不确定性估计方法，第三，提供策略，以验证这种选择，并发现结构上的弱点。通过贡献量身定制的不确定性估计，在这个意义上，我们的框架有助于培养值得信赖的DL系统。此外，它还预测了未来的机器学习法规，例如，在欧盟，机器学习系统技术适用性的证据。我们的框架提供了这样的证据系统组件建模的不确定性。
2022-04-29 cs.LG
Value Activation for Bias Alleviation: Generalized-activated Deep Double Deterministic Policy Gradients
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）
在深度强化学习（Deep Reinforcement Learning，DRL）中，准确地估计价值函数对于智能体执行正确的动作而不是次优的动作至关重要。然而，现有的行动者-批评者方法或多或少地受到低估偏差或高估偏差的影响，这对它们的性能产生了负面影响。在本文中，我们揭示了一个简单而有效的原则：适当的值校正有利于偏差缓解，其中我们提出了广义激活加权算子，使用任何非减函数，即激活函数，作为更好的值估计的权重。特别地，我们将广义激活加权算子集成到值估计中，并引入了一种新的算法，广义激活深度双重确定性策略梯度（GD 3）。我们从理论上表明，GD 3是能够减轻潜在的估计偏差。我们有趣地发现，简单的激活函数导致令人满意的性能，没有额外的技巧，并可能有助于更快的收敛。在许多具有挑战性的连续控制任务上的实验结果表明，具有特定任务激活的GD 3优于常见的基线方法。我们还发现了一个事实，即微调的多项式激活函数在大多数任务上实现了优越的结果。
2021-12-21 cs.AI cs.LG
Towards Generation-Efficient Uncertainty Estimation in Large Language Models
University of Oxford（牛津大学）
本文提出通过部分生成或仅输入信息实现高效不确定性估计，提出Logit Magnitude和MetaUE方法，在通用和领域基准上验证了部分生成的有效性。
2026-05-07 cs.LG
Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture
Monash University（莫纳什大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
不确定性估计是使神经网络在现实世界中值得信赖的关键。已经进行了广泛的研究努力来量化和减少预测的不确定性。然而，大多数现有的工作是专为单峰数据，而多视图不确定性估计还没有得到充分的研究。因此，我们提出了一个新的多视图分类框架，更好的不确定性估计和域外样本检测，在那里我们将每个视图与一个不确定性感知分类器，并结合所有的意见，在一个原则性的方式预测。与真实世界的数据集的实验结果表明，我们提出的方法是一个准确，可靠，校准良好的分类器，主要优于多视图基线测试的预期校准误差，噪声的鲁棒性，以及准确性的域内样本分类和域外样本检测任务。
2022-10-06 cs.LG
Trading Confidence: Comprehensive Uncertainty Estimation in Algorithmic Trading
Nanyang Technological University（南洋理工大学）；Centre for Frontier AI Research（前沿人工智能研究中心）；A*STAR（新加坡科技研究局）；Laval University（拉瓦尔大学）
针对传统强化学习模型在金融交易动态环境中难以应对不确定性问题，提出含分布、认知和随机不确定性估计的框架，用多种方法增强估计，实验表明该框架下的强化学习智能体在收益和风险管理上表现更优。
2026-07-07 cs.LG
Beyond Unimodal: Generalising Neural Processes for Multimodal Uncertainty Estimation
Monash University（莫纳什大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
针对多模态数据不确定性估计的挑战，本文提出多模态神经过程（MNPs），通过泛化NPs并设计针对多模态特征的新机制，实现了更优的估计性能、抗噪鲁棒性、分布外检测可靠性及更快的计算速度。
2023-10-23 cs.AI cs.LG
