A General Framework for Uncertainty Quantification via Neural SDE-RNN
Kansas State University（堪萨斯州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对不规则采样时间序列插补的不确定性量化难题，提出融合 RNN 与神经 SDE 的框架，可在任意时间尺度插补并解析传播两类不确定性，实验显示性能优于现有方法。
2023-06-01 cs.LG
Ensemble-based Uncertainty Quantification: Bayesian versus Credal Inference
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）
区分和量化两种重要类型的不确定性（通常称为任意性和认知性）的想法在过去几年的机器学习研究中受到了越来越多的关注。在本文中，我们考虑基于集成的方法来量化不确定性。区分不同类型的不确定性感知的学习算法，我们特别关注贝叶斯方法和基于所谓的信任集的方法，这自然会从集成学习的角度提出自己。对于这两种方法，我们都解决了如何量化任意和认识不确定性的问题。在一个带有拒绝选项的分类问题的实证研究中，对相应措施的有效性进行了评估和比较。
2021-12-10 cs.LG
Uncertainty Quantification for Traffic Forecasting: A Unified Approach
Aalborg University（奥尔堡大学）；University of Electronic Science and Technology of China（电子科技大学）；Southern University of Science and Technology（南方科技大学）
不确定性是时间序列预测任务的重要考虑因素。在这项工作中，我们特别关注量化交通预测的不确定性。为了实现这一目标，我们开发了深度时空不确定性量化（DeepSTUQ），它可以估计任意和认知的不确定性。我们首先利用时空模型来模拟交通数据的复杂时空相关性。随后，两个独立的子神经网络最大化的异质对数似然估计任意的不确定性。为了估计认知不确定性，我们分别通过集成Monte Carlo dropout和Adaptive Weight Averaging再训练方法，结合了变分推理和深度集成的优点。最后，我们提出了一种基于温度标度的后处理校准方法，提高了模型估计不确定性的泛化能力。在四个公共数据集上进行了大量的实验，实验结果表明，该方法在点预测和不确定性量化方面都优于最先进的方法。
2022-08-11 cs.LG
Linear Opinion Pooling for Uncertainty Quantification on Graphs
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文针对图上半监督节点分类的不确定性量化问题，提出用狄利克雷分布混合表示认知不确定性，并利用线性意见池化在相邻节点间传播信息，实验验证了方法的有效性。
2024-06-06 cs.LG
A Rigorous Uncertainty-Aware Quantification Framework Is Essential for Reproducible and Replicable Machine Learning Workflows
Brookhaven National Laboratory（布鲁克海文国家实验室）；University at Buffalo（布法罗大学）；Argonne National Laboratory（阿贡国家实验室）；Texas A&M University（德克萨斯农工大学）
针对科学工作流中ML/AI结果可复现性难量化的问题，提出贝叶斯范式下的不确定性量化框架，可评估预测变异性的影响，助力构建可信可复现的科学工作流、加速科研发现。
2023-08-23 cs.LG
Light-Weight Diffusion Multiplier and Uncertainty Quantification for Fourier Neural Operators
PhysicsX London, UK（PhysicsX伦敦）
针对傅里叶神经算子过度参数化且缺乏不确定性量化的问题，提出基于扩散乘子的轻量参数化DINOZAUR，以单时间参数替代稠密张量乘子，并借助贝叶斯先验实现校准的不确定性估计，在多个PDE基准上性能优异。
2025-10-17 cs.LG
Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs
Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系）
本文提出UQ4CT方法，通过混合专家微调框架校准LLM微调中的功能空间不确定性，减少ECE并提升可靠性与泛化能力。
2026-05-13 cs.LG
Uncertainty Quantification on Graph Learning: A Survey
本文综述了图学习中不确定性量化技术，重点分析了图神经网络和图基础模型的不确定性表示与处理方法，旨在填补对图学习中不确定性量化关键挑战和机遇的理解空白。
2026-04-14 cs.LG
Spatial Uncertainty Quantification in Wildfire Forecasting for Climate-Resilient Emergency Planning
针对野火预测缺乏不确定性量化的问题，首次利用多模态地球观测输入系统分析空间不确定性，发现高不确定性集中在火线周边20-60米缓冲区，并确定植被健康与火活动为主要驱动因素，助力气候适应。
2025-10-08 cs.LG
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification
Georgia Tech（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对时空点过程学习中的分布受限、积分近似不准及缺乏不确定性量化问题，提出基于分数匹配的伪似然估计器SMASH，采用无归一化目标并通过置信区域实现预测的不确定性量化，实验证明其性能优越。
2023-10-25 cs.LG
Efficient Data Association and Uncertainty Quantification for Multi-Object Tracking
Massachusetts Institute of Technology（麻省理工学院）
鲁棒的数据关联对于复杂场景中的长期运动轨迹分析至关重要。在没有它的情况下，由于运动学模糊期降低后续分析的质量，轨迹精度受到影响。常见的基于优化的方法往往忽略了这些事件所产生的不确定性量化。因此，我们提出了联合后验跟踪器（JPT），贝叶斯多目标跟踪算法，强大的原因后的关联和轨迹。新颖的，基于置换的建议是精心设计的探索后的模式，对应于合理的关联假设。与现有基线相比，JPT在标准指标上表现出更准确的数据关联不确定性表示。我们还展示了JPT应用于自动调度用户在循环注释以提高轨迹质量的实用程序。
2020-11-13 cs.LG
Fortuna: A Library for Uncertainty Quantification in Deep Learning
AWS（亚马逊云科技）；Amazon（亚马逊公司）；New York University（纽约大学）
我们介绍了一个开源库，用于深度学习中的不确定性量化。Corona支持一系列校准技术，例如可应用于任何经过训练的神经网络以生成可靠的不确定性估计的共形预测，以及可应用于从头开始训练的基于Flax的深度神经网络以提高不确定性量化和准确性的可扩展贝叶斯推理方法。通过为先进的不确定性量化方法提供一个连贯的框架，Rifa简化了基准测试的过程，并帮助从业者构建强大的人工智能系统。
2023-02-08 cs.LG stat.ML
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA（加州大学洛杉矶分校）
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构，用于科学机器学习中的不确定性量化，通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Uncertainty Quantification for cross-subject Motor Imagery classification
University of Groningen（格罗宁根大学）
本研究将多种不确定性量化方法应用于运动想象脑机接口，以预测因被试间变异性导致的错误分类，发现深度集成性能最佳，而标准CNN优于部分先进方法。
2024-03-14 cs.CV cs.LG
Uncertainty Quantification by Ensemble Learning for Computational Optical Form Measurements
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
集成学习的不确定性量化的计算光学形式测量的应用方面进行了探讨。该应用程序需要解决一个大规模的，非线性反问题。包围学习用于扩展最近开发的用于该应用的深度学习方法，以便提供其预测的逆问题的解的不确定性量化。通过系统地插入分布外误差以及噪声数据的可靠性开发的不确定性量化进行了探讨。结果是令人鼓舞的，所提出的应用证明了集成方法在现实世界中的应用中对高维数据进行可靠预测的能力。
2021-03-01 cs.LG eess.IV
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich（慕尼黑大学统计系）
本文从优化视角质疑贝叶斯不确定性量化的有效性，提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）
随着机器学习系统在各种现实任务中的部署越来越多，对预测不确定性的准确量化的需求也越来越大。虽然机器学习中的不确定性量化（UQ）的共同目标是近似目标数据的真实分布，但UQ中的许多工作在所使用的评估指标中往往是不相交的，并且每个指标的不同实现导致在不同工作中不能直接比较的数值结果。为了解决这个问题，我们引入了Uncertainty，这是一个开源的Python库，可以帮助评估，可视化和改进UQ。Uncertainty还提供教学资源，例如关键术语词汇表和有组织的关键论文参考资料。我们希望这个工具箱有助于加速和统一机器学习中不确定性的研究工作。
2021-09-21 cs.LG stat.ML
Constraint-Aware Neurosymbolic Uncertainty Quantification with Bayesian Deep Learning for Scientific Discovery
Department of Computer Science and Engineering Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系穆法卡姆·贾赫工程与技术学院）
CANUF通过结合贝叶斯深度学习与可微符号推理，首次实现科学预测中的不确定性量化、约束满足和可解释性解释。
2026-01-18 cs.AI cs.CV cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Predictive Uncertainty Quantification for Bird's Eye View Segmentation: A Benchmark and Novel Loss Function
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Cypress Woods High School（赛普拉斯伍兹高中）
本文提出了一个针对鸟瞰图分割预测不确定性量化的综合基准，并设计了新型损失函数UFCE及正则化项，有效改进了误分类与OOD像素检测及模型校准。
2025-03-02 cs.CV cs.LG
Label-wise Aleatoric and Epistemic Uncertainty Quantification
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出一种基于标签级分解的不确定性量化新方法，在单个类别层面量化分类任务中的总、偶然和认知不确定性，采用方差等非类别度量克服了基于熵方法的局限，并在多种基准数据集上验证了其有效性和理想性质。
2024-06-04 cs.LG stat.ML
Exploring the Limits of Epistemic Uncertainty Quantification in Low-Shot Settings
German Research Center for Artificial Intelligence（德国人工智能研究中心）
神经网络中的不确定性量化有望提高人工智能系统的安全性，但目前尚不清楚性能如何随训练集大小而变化。在本文中，我们评估了七种不确定性方法对时尚MNIST和CIFAR10，因为我们子样本和产生不同的训练集大小。我们发现，校准误差和分布外检测性能强烈依赖于训练集的大小，与大多数方法被误校准的测试集与小的训练集。基于认知的方法似乎很难估计认知的不确定性，并且受训练集大小的影响最大。我们希望我们的结果可以指导未来的研究不确定性量化，并帮助从业者选择基于他们特定的可用数据的方法。
2021-11-18 cs.CV cs.LG
What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization
University of Cambridge（剑桥大学）
本文提出基于混淆密度矩阵的框架，将UQ方法标记的不确定示例分为OOD、边界和分布内高误分类三类，为评估不同UQ方法差异提供新基准。
2023-10-27 cs.AI cs.LG
Uncertainty-Wizard: Fast and User-Friendly Neural Network Uncertainty Quantification
Università della Svizzera italiana（瑞士意大利语区大学）
不确定性和置信度已被证明是用于深度学习测试的各种技术中的有用指标，包括测试数据选择和系统监督。我们提出了不确定性向导，一个允许量化人工神经网络中的不确定性和置信度的工具。它构建在行业领先的tf.keras深度学习API之上，提供了一个近乎透明且易于理解的界面。同时，它还包括我们在两台不同机器和不同配置上进行基准测试的主要性能优化。
2021-01-28 cs.LG cs.SE
Towards Uncertainty Quantification in Generative Model Learning
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC（诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC）
本文针对生成模型评估忽略测量固有不确定性的问题，形式化定义生成模型学习的不确定性量化问题，提出基于集成的精确率-召回率曲线方法，经合成数据集实验验证该方法可有效捕捉模型近似不确定性，支撑不同架构的系统性比较。
2025-11-13 cs.AI cs.LG
Uncertainty Quantification with Proper Scoring Rules: Adjusting Measures to Prediction Tasks
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；German Centre for Artificial Intelligence (DFKI)（德国人工智能中心）；DSA（数据科学与应用中心）
本文基于适当评分规则的分解提出了一种灵活的不确定性量化框架，可针对不同预测任务定制度量，实验证明在选择性预测、分布外检测和主动学习任务中均展现出优势。
2025-05-28 cs.LG stat.ML
Uncertainty Quantification for Rule-Based Models
IBM Research（IBM研究院）
以逻辑语言描述的基于规则的分类模型直接预测布尔值，而不是像统计模型那样对概率建模并将其转换为预测。绝大多数现有的不确定性量化方法依赖于提供基于规则的模型所不能提供的连续输出的模型。在这项工作中，我们提出了一个元模型形式的不确定性量化框架，该框架将具有二进制输出的任何二进制分类器作为黑盒，并估计该基础模型在给定输入下的预测准确性以及对该估计的置信度。信心取决于输入区域的探索程度，并且旨在适用于任何OOD场景。我们证明了这种不确定性模型的有用性，通过构建一个由它驱动的弃权分类器，并观察其在各种情况下的性能。
2022-11-03 cs.AI cs.LG
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Old Rules in a New Game: Mapping Uncertainty Quantification to Quantum Machine Learning
Quantum Security Technologies（量子安全技术）；Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
本文针对量子机器学习黑箱问题，将经典不确定性量化方法映射到量子领域，通过理论构建与实证评估证明在设计量子模型时引入不确定性意识的必要性。
2025-07-20 cs.LG quant-ph
BayesIMP: Uncertainty Quantification for Causal Data Fusion
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软研究院剑桥分院）
虽然因果模型正在成为机器学习的支柱之一，但因果推断中的不确定性量化问题仍然具有挑战性。在本文中，我们研究的因果数据融合问题，其中有关多个因果图的数据集相结合，以估计目标变量的平均处理效应。由于数据来自多个来源，并且可能在质量和数量上有所不同，因此原则性的不确定性量化变得至关重要。为此，我们引入了贝叶斯干预均值过程，这是一个框架，它结合了概率积分和核均值嵌入的思想来表示再生核希尔伯特空间中的干预分布，同时考虑到每个因果图中的不确定性。为了证明我们的不确定性估计的实用性，我们将我们的方法应用于因果贝叶斯优化任务，并显示了对最先进方法的改进。
2021-06-07 cs.LG stat.ML
Hybrid Deep Learning Gaussian Process for Diabetic Retinopathy Diagnosis and Uncertainty Quantification
Universidad Nacional de Colombia（哥伦比亚国立大学）；Universidad del Rosario（罗萨里奥大学）
糖尿病视网膜病变（DiabeticRetinopathy，DR）是糖尿病的微血管并发症之一，也是世界范围内致盲的主要原因之一。基于卷积神经网络的计算模型代表了使用眼底图像自动检测DR的最新技术水平。目前的大多数工作解决这个问题作为一个二进制分类任务。然而，包括等级估计和预测不确定性的量化可以潜在地增加模型的鲁棒性。本文提出了一种用于DR诊断和不确定性量化的混合深度学习-高斯过程方法。这种方法结合了深度学习的代表性能力，以及从高斯过程模型的小数据集进行概括的能力。结果表明，在预测中的不确定性量化提高了该方法作为诊断支持工具的可解释性。重复实验的源代码可在https://github.com/stoledoc/DLGP-DR-Diagnosis上公开获得。
2020-07-29 cs.CV cs.LG
Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning
University of Wuppertal（伍珀塔尔大学）
将深度神经网络（DNN）引入自动驾驶、医疗成像和金融等安全关键应用中，需要彻底处理模型的不确定性。训练深度神经网络已经是资源需求，因此它们的不确定性量化也是如此。在这篇概述文章中，我们调查了我们开发的方法，这些方法用于教导DNN在遇到新对象类时不确定。此外，我们还提出了训练方法，以便在不确定性量化的帮助下仅从少数标签中学习。请注意，与普通的网络训练相比，这通常需要大量的计算开销。最后，我们回顾了我们在神经结构搜索方面的工作，这也是一个数量级的资源需求，然后普通的网络训练。
2022-05-30 cs.CV cs.LG
Generative Parameter Sampler For Scalable Uncertainty Quantification
Harvard Data Science Initiative（哈佛数据科学倡议）；Harvard University（哈佛大学）
不确定性量化一直是统计机器学习的核心问题，但其计算瓶颈一直是贝叶斯学派和频率学派面临的严峻挑战。我们提出了一个基于模型的框架，在量化的不确定性，称为预测匹配生成参数采样器（GPS）。此过程考虑目标参数的不确定性量化（UQ）分布，该分布将对应的预测分布与观测数据相匹配。该框架采用分层建模的观点，使每个观察是由一个单独的参数建模。这种单独的参数化允许所得到的推断在计算上是可扩展的并且对离群值是鲁棒的。我们的方法说明了线性模型，泊松过程和深层神经网络分类。结果表明，全球定位系统是成功的，在提供不确定性量化以及额外的灵活性超出了经典的统计程序所允许的假设的统计模型。
2019-06-02 cs.LG stat.ME stat.ML
An Axiomatic Assessment of Entropy- and Variance-based Uncertainty Quantification in Regression
LMU Munich（慕尼黑莱布尼茨大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；DLR-German Aerospace Center University of Tromsø（德国航空航天中心图勒大学）；German Research Center for Artificial Intelligence (DFKI, DSA)（德国人工智能研究中心）
针对机器学习中不确定性量化研究多聚焦分类、回归领域形式化论证与评估有限的问题，用通用参数公式表示连续空间不确定性，提出公理集严格评估相关不确定性测度，以熵和方差测度为例分析其局限性。
2026-07-07 cs.LG stat.ML
Uncertainty Quantification for Machine Learning: One Size Does Not Fit All
本文提出了一种灵活的不确定性度量方法，适用于不同任务和场景，强调根据具体应用定制不确定性量化的重要性。
2025-12-13 cs.LG stat.ML
A framework for benchmarking uncertainty in deep regression
Physikal.-Techn. Bundesanstalt（德国联邦物理技术研究院）
我们提出了一个评估深度回归中不确定性量化的框架。该框架是基于回归问题，其中回归函数是非线性函数的线性组合。基本上，任何级别的复杂性都可以通过选择非线性函数及其域的维数来实现。深度回归的不确定性量化结果与通过统计参考方法获得的结果进行比较。参考方法利用了基础非线性函数的知识，并基于使用参考先验的贝叶斯线性回归。不确定性量化的可靠性评估的覆盖概率，并通过计算的不确定性的大小的准确性。我们通过将其应用于深度回归中的不确定性量化的当前方法来说明所提出的框架。这种灵活性，加上参考解决方案的可用性，使该框架适合于定义不确定性量化的基准集。
2021-09-10 cs.AI cs.LG
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech（弗吉尼亚理工大学）
本文研究具有可信不确定性量化的贝叶斯回归问题，提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes，刻画了概率下界与样本复杂度，并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Teaching Uncertainty Quantification in Machine Learning through Use Cases
German Research Center for Artificial Intelligence（德国人工智能研究中心）
机器学习中的不确定性通常不作为一般知识在机器学习课程中教授。在本文中，我们提出了一个关于机器学习中不确定性的短期课程，并通过选择用例来补充课程，旨在引发讨论，让学生在编程环境中使用不确定性的概念。我们的用例涵盖了输出不确定性的概念、贝叶斯神经网络和权重分布、不确定性的来源以及分布外检测。我们希望这套课程和用例能够激励社区将这些重要的概念纳入人工智能安全课程。
2021-08-19 cs.LG stat.ML
HybridFlow: Quantification of Aleatoric and Epistemic Uncertainty with a Single Hybrid Model
Department of Earth, Environment, and Planetary Sciences, Brown University（布朗大学地球、环境与行星科学系）；Data Science Institute, Brown University（布朗大学数据科学研究院）；Department of Computer Science, Brown University（布朗大学计算机科学系）
HybridFlow提出一种模块化混合架构，结合条件掩码自回归流与概率预测器，统一量化偶然和认知不确定性，在回归任务中提升校准性并更好对齐模型误差。
2025-10-14 cs.AI cs.LG
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca（米兰比可卡大学）
本文的主要目的是勾勒出一个理论框架，分析人类的决策策略下的不确定性管理信息收集（探索）和奖励寻求（剥削）之间的权衡。一个关键的观察，激励这一系列的研究，是认识到人类学习者是惊人的快速和有效地适应陌生的环境，并纳入即将到来的知识：这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习，更具体地说，如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模，该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型，如果一个决策集包含一个帕累托有效（主导）策略，理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是（帕累托）理性的（即，位于边境）或与“令人恼火”的探索有关。然而，由于不确定性是定义帕累托前沿的两个目标之一，我们已经研究了三种不同的不确定性量化措施，并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Fair Uncertainty Quantification for Depression Prediction
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（智能工程与自动化学院，北京邮电大学）
本文针对抑郁症预测中不确定性量化的群体公平问题，提出基于保形预测和EOC约束优化的FUQ框架，在多模态抑郁数据集上验证其可兼顾可靠性与公平性。
2025-09-30 cs.AI cs.LG
Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution
Westlake University（西湖大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
提出LE-PDE-UQ方法，通过在潜空间中联合演化系统状态及其不确定性估计，为PDE正逆问题提供高效精确的不确定性量化，在长期预测中超越强基线。
2024-02-13 cs.AI cs.LG
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Randomized prior wavelet neural operator for uncertainty quantification
Indian Institute of Technology Delhi（印度理工学院德里分校）
在本文中，我们提出了一种新的数据驱动的算子学习框架称为\textit{Randomized Prior Wavelet Neural Operator}（RP-WNO）。建议的RP-WNO是最近提出的小波神经算子的扩展，该算子具有良好的泛化能力，但不能估计与其预测相关的不确定性。RP-WNO与vanilla WNO不同，具有固有的不确定性量化模块，因此预计对科学家和工程师都非常有用。RP-WNO利用随机先验网络，它可以解释先验信息，并且比贝叶斯网络更容易实现大型复杂的深度学习架构。已经解决了四个例子来测试所提出的框架，产生的结果主张有利的有效性所提出的框架。
2023-02-02 cs.LG stat.ML
Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation
University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Ghent University（根特大学）
近年来，不确定性量化在机器学习中受到越来越多的关注。特别是，在这方面，任意和认识的不确定性之间的区别已被发现是有用的。后者指的是学习者的（缺乏）知识，似乎特别难以衡量和量化。在本文中，我们分析了最近的建议的基础上的想法，二阶学习，产生的预测的形式分布的概率分布。虽然标准（一阶）的学习者可以训练预测准确的概率，即通过最小化合适的损失函数的样本数据，我们表明，损失最小化不工作的二阶预测：提出的损失函数诱导这种预测不激励学习者代表其认知的不确定性，在一个忠实的方式。
2022-10-13 cs.LG stat.ML
Scalable Uncertainty Quantification for Deep Operator Networks using Randomized Priors
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种简单有效的方法，用于深度算子网络（DeepONets）中的后验不确定性量化;这是函数空间中监督学习的一种新兴范式。我们采用了一种基于随机先验集成的频率论方法，并提出了一种有效的加速硬件上的快速并行推理的向量化实现。通过计算力学和气候建模中的代表性例子的收集，我们表明，所提出的方法的优点是四方面的。(1)与确定性DeepONets相比，它可以提供更强大和准确的预测。(2)它显示了巨大的能力，提供可靠的不确定性估计的稀缺数据集与多尺度函数对。(3)它可以有效地检测分布外和对抗性的例子。(4)它可以无缝地量化由于模型偏差以及数据中的噪声破坏而导致的不确定性。最后，我们提供了一个名为{ \em UQDeepONet}的优化JAX库，它可以适应大型模型架构，大型集成尺寸以及大型数据集，在加速硬件上具有出色的并行性能，从而在现实的大规模应用中实现DeepONets的不确定性量化。
2022-03-06 cs.LG stat.ML
Reliable Trajectory Prediction and Uncertainty Quantification with Conditioned Diffusion Models
Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）；Audi AG（奥迪股份公司）；Technische Hochschule Augsburg（奥格斯堡应用科学大学）；Technische Universität München（慕尼黑工业大学）
本文提出条件车辆运动扩散（cVMD）模型，结合非完整运动与物理约束及不确定性量化，在highD数据集上实现可靠且可驾驶的高速公路轨迹预测。
2024-05-23 cs.AI cs.LG
Quantification and Analysis of Scientific Language Variation Across Research Fields
University of California, Los Angeles（加州大学洛杉矶分校）
对不同学术领域术语差异的量化一直是一个有待解决的问题。提出了一种基于神经语言模型的计算方法，通过捕捉术语的语义变化来分析科学研究领域之间的语言差异。该模型是在五个计算机科学研究领域的大量文献集上训练的，为此我们获得了关键术语的特定于领域的向量表示，以及其他单词的全局向量表示。几种定量的方法被引入到确定的术语，其语义发生了巨大的变化，或保持不变，在不同的研究领域。我们还提出了一个指标来量化研究领域的整体语言变化。在对人类注释数据进行定量评估并与其他方法进行定性比较后，我们表明我们的模型可以通过识别跨学科研究中可能引起混淆的术语来改善跨学科数据协作。
2018-12-04 cs.CL cs.LG
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Kunming University of Science and Technology（昆明理工大学）
本文提出一种基于因果视角的灰盒不确定性量化方法，通过测量语义保持干预前后模型输出的变化来估计大语言模型的认知不确定性，实验证明该方法在有效性和计算效率上均表现优异。
2025-10-15 cs.AI cs.CL cs.LG
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
提出了一种基于贝叶斯神经网络（BNN）和哈密顿蒙特卡罗（HMC）的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样，以量化系统中的不确定性。数值算例表明，在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果，计算成本几乎是独立的维度的问题，展示了潜在的方法，用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Interventional Processes for Causal Uncertainty Quantification
Gatsby Unit, University College London, London, United Kingdom（伦敦大学学院Gatsby单元）
本文提出一种基于高斯过程的方法，通过将干预函数表示为再生核希尔伯特空间中观测函数的内积，实现干预函数的不确定性量化，并给出闭式后验矩和可处理的训练推理过程。
2026-06-01 cs.LG stat.ME stat.ML
Uncertainty Quantification in Detecting Choroidal Metastases on MRI via Evolutionary Strategies
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
针对放射学小数据场景，本研究采用深度神经进化训练CNN进行眼部MRI脉络膜转移瘤二分类，通过保存的高准确率模型构建集成方法实现不确定性量化，发现高不确定性影像与放射科医生识别的主观特征相关，验证了其在AI放射分析中的价值。
2024-04-12 cs.CV cs.LG cs.NE
Velocity continuation with Fourier neural operators for accelerated uncertainty quantification
Georgia Institute of Technology（佐治亚理工学院）
震波成像是一个不适定的逆问题，它受到噪声数据和建模不准确的挑战--由于背景平方慢度模型中的误差。不确定性量化对于确定背景模型中的可变性如何影响震波成像是必不可少的。由于与正演Born建模算子相关联的成本以及地震图像的高维度，不确定性的量化在计算上是昂贵的。因此，这项工作的主要贡献是一个调查特定的傅立叶神经算子代理速度延续，映射与一个背景模型的地震图像到另一个几乎免费。虽然仅用200个背景和地震图像对进行训练，但该代理能够准确地预测与新背景模型相关联的地震图像，从而加速震波成像不确定性量化。我们支持我们的方法与一个现实的数据的例子中，我们量化的震波成像的不确定性使用傅立叶神经算子代理，说明如何在背景模型的变化影响的反射层在地震图像中的位置。
2022-03-27 cs.LG eess.IV physics.geo-ph
Uncertainty Quantification for Transformer Models for Dark-Pattern Detection
Advantx Technological Foundation (Funditec)（Advantx技术基金会（Funditec））
针对Transformer模型在暗模式检测中的不透明性问题，提出差异微调结合SNGPs/BNNs不确定性量化方法，在保持性能的同时提升透明度与可解释性，为高可信度模型开发提供支持。
2024-12-06 cs.AI cs.CL cs.LG
