On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks
University of Notre Dame（圣母大学）
在许多具有现实后果的应用中，为人工智能决策系统所做的预测开发可靠的不确定性估计至关重要。针对估计不确定性的目标，已经提出了各种基于深度神经网络（DNN）的不确定性估计算法。然而，这些算法返回的不确定性的鲁棒性还没有被系统地探讨。在这项工作中，为了提高研究界对鲁棒不确定性估计的认识，我们表明，最先进的不确定性估计算法可能会在我们提出的对抗攻击下发生灾难性失败，尽管它们在不确定性估计方面表现出色。特别是，我们的目标是攻击域外不确定性估计：在我们的攻击下，不确定性模型将被愚弄，对域外数据进行高置信度的预测，而这些数据最初会被拒绝。在各种基准图像数据集上的大量实验结果表明，最先进的方法估计的不确定性很容易被我们的攻击破坏。
2022-10-12 cs.AI cs.CV cs.LG
Direct Uncertainty Estimation in Reinforcement Learning
AIDEUS；Aix Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；National Research University of Information Technology, Mechanics and Optics（国立信息技术、机械与光学大学）
强化学习中的最优概率方法在计算上是不可行的。它的简化在于忽略了真实环境与使用有限数量的观测估计的模型之间的差异，这导致了勘探与开发问题。不确定性可以用环境模型空间上的概率分布来表示，并且这种不确定性可以经由Bellman迭代传播到动作-价值函数，尽管这在计算上不够有效。我们考虑了直接测量动作-价值函数的不确定度的可能性，并分析了这种简化方法的充分性。
2013-06-25 cs.AI
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器学习分类器本质上是概率性的，因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性（或置信度）估计，对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计，而不需要重新训练，也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说，我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准的事后校准技术校准该信号（而不是模型的估计）。我们表明，我们的方法产生更好的不确定性估计比最近提出的方法，通过广泛评估多个数据集和模型。此外，我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Uncertainty Estimation Using Riemannian Model Dynamics for Offline Reinforcement Learning
Technion Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
基于模型的离线强化学习方法通常依赖于模型误差的界限。估计这些界限通常通过不确定性估计方法来实现。在这项工作中，我们结合了参数和非参数方法的不确定性估计，通过一种新的潜在空间为基础的度量。特别是，我们建立在黎曼几何的生成模型的最新进展，构建一个回调度量的编码器-解码器为基础的前向模型。我们提出的度量标准既衡量了分布外样本的质量，也衡量了数据中示例的差异。我们利用我们的方法在一个悲观的基于模型的框架不确定性估计，显示了显着的改进，当代基于模型的离线方法的连续控制和自动驾驶基准。
2022-10-28 cs.AI cs.LG
Query The Agent: Improving sample efficiency through epistemic uncertainty estimation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
目标条件强化学习代理的课程通常依赖于对代理的认知不确定性的较差估计，或者完全没有考虑代理的认知不确定性，从而导致较差的样本效率。我们提出了一种新的算法，查询代理（QTA），这显着提高了样本效率估计代理的认知不确定性，在整个状态空间和高度不确定的领域设置目标。鼓励代理在高度不确定的状态下收集数据，允许代理快速提高其对价值函数的估计。QTA利用一种新的技术来估计认知的不确定性，预测不确定性网络（PUN），让QTA评估代理的不确定性，在所有以前观察到的状态。我们证明，QTA提供了决定性的样本效率的改进，比现有的方法。
2022-10-05 cs.AI cs.LG
Maximum Likelihood Uncertainty Estimation: Robustness to Outliers
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；German Aerospace Center (DLR)（德国航空航天中心）；University of Luxembourg（卢森堡大学）
我们基准的鲁棒性最大似然为基础的不确定性估计方法的离群值在训练数据回归任务。训练数据中的异常值或噪声标签会导致性能下降以及不确定性的不正确估计。我们建议使用重尾分布（拉普拉斯分布），以提高对离群值的鲁棒性。使用标准回归基准和单目深度估计的高维回归任务来评估此属性，两者都包含离群值。特别地，基于重尾分布的最大似然提供了更好的不确定性估计，更好地分离分布外数据的不确定性，以及在存在离群值的情况下更好地检测对抗攻击。
2022-02-03 cs.AI cs.LG
Uncertainty Estimation based on Geometric Separation
Ben-Gurion University（本-古里安大学）
在机器学习中，准确预测特定输入正确的概率对于风险管理至关重要。这个过程被称为不确定性（或置信度）估计，在自动驾驶等关键任务应用中尤为重要。在这项工作中，我们提出了一种新的几何为基础的方法来改善机器学习模型中的不确定性估计。我们的方法涉及使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准事后技术校准该信号。我们证明，我们的方法导致更准确的不确定性估计比最近提出的方法，通过对各种数据集和模型进行广泛的评估。此外，我们优化了我们的方法，使其可以在近实时应用程序中的大型数据集上实现，使其适用于时间敏感的场景。
2023-01-11 cs.AI cs.LG
Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation
School of Artificial Intelligence, Henan University of Technology（河南工业大学人工智能学院）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所）
本文提出CURE方法，通过分解认知与内在不确定性并细分认知不确定性，利用随机网络蒸馏和MLP回归头估计不确定性，在厨房操作和桌面重排实验中验证了其与实际执行结果更紧密的对齐。
2025-10-09 cs.AI cs.RO
Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
Nara Institute of Science and Technology（奈良科学技术研究院）
本文提出$k$NN-UE方法，结合邻居距离与标签比例进行不确定性估计，在多个NLP任务上优于基线，并验证了近似最近邻搜索可在不明显损失性能的情况下降低推理开销。
2025-02-06 cs.AI cs.CL cs.LG
How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing
Indian Institute of Technology Jammu（贾姆穆印度理工学院）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；The University of Tokyo（东京大学）
本研究针对AMR解析器输出的可靠性问题，首次在黑盒场景下利用top-k束搜索候选进行不确定性估计，通过多方面分析识别出性能与可靠性平衡最佳的解析器，证实不确定性估计是评估AMR解析器的有效补充维度。
2026-10-27 cs.AI cs.CL
Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Imperial College London（帝国理工学院）
针对现有不确定性估计方法受限于低维假设且依赖训练时分布外数据的问题，提出一种基于潜在表示的数据自适应高维假设检验框架，无需重训编码器即可提升OOD检测与不确定性估计的准确性。
2023-10-25 cs.AI cs.CV cs.LG
Uncertainty Quantification with Deep Ensembles for 6D Object Pose Estimation
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute of Photogrammetry and Remote Sensing (IPF)（摄影测量与遥感研究所）
本文针对多阶段6D物体姿态估计方法提出基于深度集成的不确定性量化方案，以SurfEmb为例进行评估，并提出新的回归任务不确定性校准分数。
2024-05-02 cs.AI cs.CV
Average-Over-Time Spiking Neural Networks for Uncertainty Estimation in Regression
CWI（荷兰数学和计算机科学研究学会）；University of Amsterdam（阿姆斯特丹大学）
本文将 AOT-SNN 框架扩展到回归任务，提出异方差高斯与 RAC 两种不确定性估计方法，并在玩具及基准数据集上验证其性能可媲美或优于现有深度神经网络。
2024-11-29 cs.AI cs.LG cs.NE
Holistic Uncertainty Estimation For Open-Set Recognition
Skoltech（斯克里普丘尔技术大学）
针对开集识别中样本质量无法反映类别重叠歧义的问题，提出基于贝叶斯概率模型的 HolUE，联合建模底库与嵌入不确定性，并在图像、音频及鲸豚识别协议上验证其错误识别优势。
2025-06-11 cs.AI cs.CV cs.LG
Elucidating Robust Learning with Uncertainty-Aware Corruption Pattern Estimation
Korea University（高丽大学）；Dongguk University（东国大学）；Seoul National University of Science and Technology（首尔国立科技大学）
鲁棒学习方法旨在从噪声和损坏的训练数据中学习干净的目标分布，其中通常先验地假设特定的损坏模式。我们提出的方法不仅可以成功地从脏数据集学习干净的目标分布，而且可以估计潜在的噪声模式。为此，我们利用混合专家模型，可以区分两种不同类型的预测不确定性，任意和认知不确定性。我们表明，估计不确定性的能力在阐明腐败模式方面发挥着重要作用，因为这两个目标紧密相关。我们还提出了一种新的验证方案，用于评估腐败模式估计的性能。我们提出的方法是广泛评估的鲁棒性和腐败模式估计通过一些领域，包括计算机视觉和自然语言处理。
2023-02-07 cs.AI cs.LG
To Predict or to Reject: Causal Effect Estimation with Uncertainty on Networked Data
The University of Queensland（昆士兰大学）；Health and Wellbeing Queensland（昆士兰健康与福利局）；University of Electronic Science and Technology of China（电子科技大学）
针对网络化数据因果效应估计中违背positivity假设导致不可靠的问题，提出带Lipschitz约束的GraphDKL框架，利用高斯过程建模预测不确定性以识别不可靠估计，是首个解决图上该问题的框架。
2023-09-15 cs.AI cs.LG stat.ME
Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation
Korea University（高丽大学）；Konkuk University（建国大学）
本文提出ETN，一种轻量级模块，将预训练模型转换为证据模型，以提升不确定性估计，同时保持精度并增加极小计算开销。
2026-04-09 cs.AI cs.LG
Accounting for Sycophancy in Language Model Uncertainty Estimation
Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
本文首次研究语言模型中谄媚偏差与不确定性估计的关系，提出推广的谄媚偏差定义和新算法SyRoUP，实验证明用户置信度关键调节谄媚影响，且SyRoUP能更好预测这些影响。
2024-10-17 cs.AI cs.CL cs.HC
Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation
Mila - Quebec Institute of Artificial Intelligence（米拉 - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在无模型深度强化学习（RL）算法中，使用噪声值估计来监督策略评估和优化不利于样本效率。由于这种噪声是异方差的，因此可以在优化过程中使用基于不确定性的权重来减轻其影响。以前的方法依赖于采样集合，这并不能捕捉到不确定性的所有方面。我们提供了一个系统的分析中发生在RL的噪声监督的不确定性的来源，并引入逆方差RL，贝叶斯框架，它结合了概率合奏和批量逆方差加权。我们提出了一种方法，两个互补的不确定性估计方法占Q值和环境随机性，以更好地减轻噪声监督的负面影响。我们的研究结果表明，离散和连续控制任务的样本效率方面的显着改善。
2022-05-03 cs.AI cs.LG cs.RO
PixCUE: Joint Uncertainty Estimation and Image Reconstruction in MRI using Deep Pixel Classification
Monash University（莫纳什大学）
深度学习（DL）模型能够成功地利用MR数据中的潜在表示，并已成为加速MRI重建的最新技术。然而，k空间中的测量值采样不足以及DL的过度或欠参数化和不透明性质使这些模型暴露于不确定性。因此，不确定性估计已成为DL MRI重建中的主要问题。为了估计不确定性，蒙特卡罗（MC）推断技术已经成为一种常见的实践，其中利用多次重建来计算重建中的方差作为不确定性的测量。然而，这些方法需要高的计算成本，因为它们需要通过DL模型进行多次推断。为此，我们介绍了一种方法来估计在MRI重建过程中使用像素分类框架的不确定性。所提出的方法PixCUE（代表像素分类不确定性估计）在通过DL模型的单个前向传递期间产生重建图像以及不确定性图。我们证明，这种方法产生的不确定性地图，高度相关的重建误差相对于各种MR成像序列和许多敌对条件下。我们还表明，估计的不确定性相关的传统MC方法。我们还提供了使用PixCUE和公认的重建指标，如NMSE，PSNR和SSIM的不确定性估计之间的经验关系。我们的结论是，PixCUE是能够可靠地估计在MRI重建的不确定性，以最小的额外计算成本。
2023-03-08 cs.AI cs.CV cs.LG
A 65 nm Bayesian Neural Network Accelerator with 360 fJ/Sample In-Word GRNG for AI Uncertainty Estimation
University of Notre Dame（圣母大学）
不确定性估计是支持AI的安全关键型应用（例如自动驾驶汽车或医疗诊断）不可或缺的功能。贝叶斯神经网络（BNN）使用贝叶斯统计来提供分类预测和不确定性估计两者，但是它们遭受与随机数生成和重复样本迭代相关联的高计算开销。此外，由于在每个RNG操作之后需要频繁的存储器写入，BNN不能立即通过内存计算架构进行加速。为了解决这些挑战，我们提出了一个ASIC，集成360 fJ/样本高斯RNG直接到SRAM存储器字。这种集成减少了RNG开销，并为BNN实现了完全并行的内存计算操作。原型芯片在占用0.45 mm 2的同时实现了5.12 GSa/s的RNG吞吐量和102 GOp/s的神经网络吞吐量，将AI不确定性估计引入边缘计算。
2025-01-22 cs.AI cs.AR cs.LG
Efficient Uncertainty Estimation in Spiking Neural Networks via MC-dropout
CWI（荷兰数学与计算机科学研究所）；Rijksuniversiteit Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
针对 SNNs 难以直接采用 ANN 不确定性估计方法的问题，本文利用其时间步机制提出高效 MC-dropout，在低训练与推理开销下实现高准确率和高质量不确定性估计。
2023-04-20 cs.AI cs.CV cs.LG
How to Enable Uncertainty Estimation in Proximal Policy Optimization
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
虽然深度强化学习（RL）代理在许多领域都展示了强大的结果，但一个主要的问题是它们固有的不透明性和这些系统在现实世界用例中的安全性。为了克服这些问题，我们需要能够量化其不确定性并检测出分布（OOD）状态的代理。现有的不确定性估计技术，如Monte-Carlo Dropout或Deep Ensembles，尚未在策略深度RL中得到广泛采用。我们认为这是由于两个原因：与监督学习相比，不确定性和OOD状态等概念没有很好地定义，特别是对于策略RL方法。其次，RL中不确定性估计方法的实现和比较研究有限。为了克服第一个差距，我们提出了不确定性和OOD的演员-评论RL算法，即近端策略优化（PPO）的定义，并提出了可能适用的措施。特别是，我们讨论了价值和政策不确定性的概念。第二点是通过实现不同的不确定性估计方法并在许多环境中比较它们来解决的。OOD检测性能通过各种RL环境的分发（ID）和OOD状态的自定义评估基准进行评估。我们确定了奖励和OOD检测性能之间的权衡。为了克服这一点，我们制定了一个帕累托优化问题，我们同时优化奖励和OOD检测性能。我们的实验表明，最近提出的方法Masksembles罢工的调查方法之间的有利平衡，使高质量的不确定性估计和OOD检测，同时匹配原始RL代理的性能。
2022-10-07 cs.AI cs.LG cs.MA
