Uncertainty Quantification of the 4th kind; optimal posterior accuracy-uncertainty tradeoff with the minimum enclosing ball
Caltech（加州理工学院）；Beyond Limits；Carnegie Mellon（卡内基梅隆大学）；Jet Propulsion Laboratory（喷气推进实验室）
基本上有三种方法来量化不确定性：（A）鲁棒优化，（B）贝叶斯，（C）决策理论。虽然（A）是稳健的，但在精度和数据同化方面是不利的。(B)需要先验，它通常是脆弱的，并且后验估计可能很慢。虽然（C）导致识别最佳先验，但其近似值受到维数灾难的影响，风险的概念是相对于数据分布平均的概念。我们引入了第四类，它是（A），（B），（C）和假设检验的混合。它可以概括为，在观察样本$x$之后，（1）通过相对似然定义似然区域，以及（2）在该区域中进行极小极大博弈以定义最优估计量及其风险。所得到的方法具有几个期望的性质：（a）在测量数据之后确定最优先验，并且风险的概念是后验的，（b）最优估计及其风险的确定可以减少到计算兴趣图数量下的似然区域的图像的最小封闭球（这是快速的并且不受维数灾难的影响）。该方法的特点是在$ [0,1]$中的一个参数作为一个假设的下限上的稀有的观察数据（相对似然）。当该参数接近$1$时，该方法产生集中在最大似然估计周围的后验分布，具有紧密但低置信度的UQ估计。当该参数接近$0$时，该方法产生具有高置信度UQ估计的最大风险后验分布。除了导航的精度不确定性的权衡，所提出的方法解决了贝叶斯推断的脆弱性导航的鲁棒性与精度的权衡与数据同化。
2022-09-13 cs.LG physics.data-an stat.ME
Improved uncertainty quantification for neural networks with Bayesian last layer
TU Dortmund University（多特蒙德工业大学）
针对标准神经网络不确定性量化能力不足的问题，提出一种改进的贝叶斯最后一层神经网络方法，通过重写对数边际似然实现高效反向传播训练，并引入外推度量改进外推点的不确定性量化，在测试数据上取得最高对数预测密度。
2024-01-03 cs.LG cs.SY eess.SY
Uncertainty Quantification for Inferring Hawkes Networks
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
多变量Hawkes过程通常用于在各种各样的应用中对流式网络事件数据进行建模。然而，它仍然是一个挑战，从复杂的数据集与不确定性量化提取可靠的推理。针对这一点，我们开发了一个统计推断框架，从网络数据中学习节点之间的因果关系，其中底层有向图隐含格兰杰因果关系。我们提供了一个非渐近的置信集的网络多元Hawkes过程的最大似然估计的不确定性量化。主要技术是基于连续时间鞅的集中不等式。我们比较我们的方法，以前推导出的渐近霍克斯过程置信区间，并证明了我们的方法在神经元连接重建的应用中的优势。
2020-10-28 cs.LG math.ST stat.ML
Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures
Harvard Medical School（哈佛医学院）；Google Research（谷歌研究院）；Harvard School of Public Health（哈佛公共卫生学院）
复杂深度学习模型的不确定性量化越来越重要，因为这些技术在高风险的现实环境中的使用越来越多。目前，模型的不确定性的质量是使用点预测度量来评估的，例如负对数似然或保留数据的Brier得分。在这项研究中，我们提供了第一个大规模的评估经验频率覆盖属性的知名的不确定性量化技术的回归和分类任务套件。我们发现，在一般情况下，一些方法确实实现了理想的覆盖率分布样本上的属性，但覆盖率不保持分布外的数据。我们的研究结果表明，随着数据集偏移的增加，当前不确定性量化技术的失败，并将覆盖率作为开发现实应用模型的重要指标。
2021-02-24 cs.LG
Quantum parameter estimation with uncertainty quantification from continuous measurement data using neural network ensembles
Department of Physics, University of Virginia, 382 McCormick Rd, Charlottesville, VA 22903, USA（弗吉尼亚大学物理系）
本文提出利用深度神经网络集合进行量子参数估计，同时实现不确定性量化，具有更快的推理速度和更好的不确定性校准能力。
2026-10-05 cs.LG quant-ph
Uncertainty Quantification in Deep Neural Networks through Statistical Inference on Latent Space
Humboldt-Universität zu Berlin（柏林洪堡大学）
针对深度神经网络分类器过度自信的问题，提出一种利用网络正确分类的训练集部分生成的潜在空间表示构建统计模型的算法，以评估预测准确性和似然，从而有效检测分布外数据点并辅助自动发现异常值。
2023-05-18 cs.AI cs.LG
Output-Weighted Optimal Sampling for Bayesian Experimental Design and Uncertainty Quantification
Massachusetts Institute of Technology（麻省理工学院）
我们介绍了一类采集功能的样本选择，导致更快的收敛，贝叶斯试验设计和不确定性量化相关的应用程序。该方法遵循主动学习的范式，即利用黑盒函数的现有样本来优化下一个信息量最大的样本。所提出的方法旨在利用黑盒函数的某些输入方向对输出的影响比其他方向更大的事实，这对于表现出罕见和极端事件的系统尤其重要。在这项工作中引入的采集函数利用了似然比的属性，该似然比是一个充当概率采样权重并将主动学习算法引导到被认为最相关的输入空间区域的量。我们证明了所提出的方法在水文系统的不确定性量化以及动力系统中罕见事件的概率量化及其前兆识别方面的优越性。
2021-04-08 cs.IT cs.LG math.IT
Decision-Aligned Evaluation of Uncertainty Quantification
Technical University of Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能）；MCML（慕尼黑机器学习中心）；Konrad Zuse School of Excellence in Reliable AI（康拉德·楚泽卓越可靠人工智能学院）；LMU Munich（慕尼黑大学）；University of Technology Nuremberg（纽伦堡工业大学）
提出决策对齐准则，揭示常用不确定性度量与下游决策的错位，并设计先验加权效用度量实现决策对齐评估。
2026-06-26 cs.AI cs.LG stat.ML
Recursive KalmanNet: Deep Learning-Augmented Kalman Filtering for State Estimation with Consistent Uncertainty Quantification
Exail
本文提出Recursive KalmanNet，一种结合卡尔曼滤波与循环神经网络的深度学习滤波器，通过递归Joseph公式和高斯负对数似然优化实现一致误差协方差量化，在非高斯噪声下优于传统方法。
2025-06-13 cs.LG eess.SP stat.ML
PICProp: Physics-Informed Confidence Propagation for Uncertainty Quantification
National University of Singapore（新加坡国立大学）；Columbia University（哥伦比亚大学）；Brown University（布朗大学）
本文研究确定性偏微分方程的置信区间估计问题，提出基于双层优化的PICProp方法，无需强假设即可将置信度从数据位置传播至整个域，并提供概率保证和有效性定理。
2023-10-20 cs.AI cs.LG
Regression with Uncertainty Quantification in Large Scale Complex Data
Rochester Institute of Technology（罗切斯特理工学院）
虽然最近提出了几种预测深度网络上不确定性的方法，但它们并不容易转化为大型复杂的数据集。在本文中，我们利用简化形式的混合密度网络（MDNs）产生一个一次性的方法来量化回归问题中的不确定性。我们表明，我们的不确定性界限是在标准杆或优于其他现有的方法。当应用于标准回归基准数据集时，与现有的最先进的方法相比，我们在预测对数似然和均方根误差方面有所改进。我们还证明了这种方法的有效性随机，高度波动的时间序列数据，股票价格预测的下一个时间间隔。由此产生的不确定性图总结了股票价格图中的显著异常。此外，我们将此方法应用于具有挑战性的IMDb-Wiki数据集的50万张人脸图像的年龄估计任务。我们成功地预测了与预测相关的不确定性，并实证分析了不确定性的根本原因。这种不确定性量化可用于预处理低质量数据集并进一步实现学习。
2019-12-04 cs.LG stat.ML
Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting
University of Technology Sydney（悉尼科技大学）；Southwest Jiaotong University（西南交通大学）；JD Digits（京东数科）
天气预报通常是通过数值天气预报（NWP）来解决的，这有时会导致不满意的性能，由于初始状态的设置不当。在本文中，我们设计了一个数据驱动的方法增强了有效的信息融合机制，从历史数据，结合NWP的先验知识学习。我们将天气预报问题转化为端到端的深度学习问题，并通过提出一种新的负对数似然误差（NLE）损失函数来解决它。我们提出的方法的一个显着优势是，它同时实现了单值预测和不确定性量化，我们称之为深度不确定性量化（DUQ）。还探索了有效的深度集成策略以进一步提高性能。这种新的方法进行了评估，从中国北京的气象站收集的公共数据集。实验结果表明，所提出的NLE损失显着提高泛化比均方误差（MSE）损失和平均绝对误差（MAE）损失。与NWP相比，该方法将准确率显著提高了47.76%，这是该基准数据集上的最先进结果。该方法的初步版本在每日天气预报的在线竞赛中获得了第二名。
2019-02-04 cs.LG stat.ML
Fast Likelihood-Free Parameter Estimation for Lévy Processes
University of Colorado（科罗拉多大学）
针对 Lévy 过程似然不可得或计算昂贵的问题，提出基于 NBE 框架的无似然神经贝叶斯估计方法，并通过理论、模拟与高频加密货币数据验证其准确性、速度和不确定性量化能力。
2025-09-30 cs.LG stat.AP stat.CO
Learned imaging with constraints and uncertainty quantification
School of Computational Science and Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）
我们概述了将深度学习的思想融入基于波的最小二乘成像的新方法。这项工作的目的和主要贡献是将手工制作的约束与深度卷积神经网络相结合，作为利用其生成自然图像的显着简便性的一种方式。我们的方法的数学基础是期望最大化框架，其中数据被分批划分，并耦合到额外的“潜在”未知数。这些未知数是来自原始未知空间的元素对（但现在耦合到特定的数据批次）和网络输入。在这种设置中，神经网络控制这些附加参数之间的相似性，充当“中心”变量。由此产生的问题相当于一个最大似然估计的网络参数时，增强的数据模型被边缘化的潜在变量。
2019-12-01 cs.LG eess.IV physics.geo-ph
Uncertainty Quantification for Demand Prediction in Contextual Dynamic Pricing
Warrington College of Business, University of Florida（佛罗里达大学沃灵顿商学院）；Leonard N. Stern School of Business, New York University（纽约大学伦纳德·N·斯特恩商学院）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Shanghai University of Finance and Economics（上海财经大学）
数据驱动的序贯决策在现代运营管理中有着广泛的应用，如动态定价、库存控制、产品分类优化等。现有的数据驱动序贯决策的研究大多集中在设计一个在线的政策，以最大限度地提高收入。然而，对底层真实模型函数（例如，需求函数），这是从业人员的一个关键问题，尚未得到很好的探讨。本文以动态定价中的需求函数预测问题为例，研究了需求函数精确置信区间的构造问题。主要的挑战是，顺序收集的数据导致显着的分布偏差的极大似然估计或经验风险最小化估计，使经典的统计方法，如沃尔德的测试不再有效。我们通过开发一种去偏方法来解决这一挑战，并提供了去偏估计的渐近正态性保证。在此基础上，我们给出了需求函数的逐点和均匀置信区间。
2020-08-31 cs.LG stat.ML
Energy Score-Guided Neural Gaussian Mixture Model for Predictive Uncertainty Quantification
Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）
本文提出NE-GMM模型，结合高斯混合模型与能量分数，提升预测不确定性量化能力，通过理论证明和实验验证其有效性。
2026-03-29 cs.LG stat.ML
Schrodinger Neural Network and Uncertainty Quantification: Quantum Machine
Damanhour University（达曼胡尔大学）
本文提出薛定谔神经网络（SNN），利用量子力学波函数与玻恩规则进行条件密度估计和不确定性量化，通过谱展开系数实现多模态预测，并提供训练、正则化及评估的完整框架。
2025-10-27 cs.LG
Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks
Sapienza University of Rome（罗马第一大学）；University of Genova（热那亚大学）；University of Cagliari（卡利亚里大学）
在贝叶斯方法中，蒙特卡罗丢弃提供了评估神经网络的认知不确定性的原则性工具。它的流行最近导致了开创性的工作，建议只在评估不确定性的推理过程中激活dropout层。这种方法，我们称之为dropout注入，提供了明显的优势，因为它允许人们获得任何现有网络的事后不确定性测量，而无需dropout，避免了额外的，耗时的训练过程。不幸的是，没有以前的工作比较注入和嵌入辍学，因此，我们提供了第一个彻底的调查，重点是回归问题。我们的工作的主要贡献是提供有效使用注入dropout的指导方针，使它可以成为一个实际的替代目前使用的嵌入式dropout。特别是，我们表明，其有效性强烈依赖于相应的不确定性措施的适当缩放，我们讨论了负对数似然和校准误差之间的权衡作为比例因子的函数。UCI数据集和人群计数基准的实验结果支持我们的主张，辍学注入可以有效地表现为一个有竞争力的事后不确定性量化技术。
2023-02-06 cs.AI cs.LG
Uncertainty Quantification for Traffic Forecasting: A Unified Approach
Aalborg University（奥尔堡大学）；University of Electronic Science and Technology of China（电子科技大学）；Southern University of Science and Technology（南方科技大学）
不确定性是时间序列预测任务的重要考虑因素。在这项工作中，我们特别关注量化交通预测的不确定性。为了实现这一目标，我们开发了深度时空不确定性量化（DeepSTUQ），它可以估计任意和认知的不确定性。我们首先利用时空模型来模拟交通数据的复杂时空相关性。随后，两个独立的子神经网络最大化的异质对数似然估计任意的不确定性。为了估计认知不确定性，我们分别通过集成Monte Carlo dropout和Adaptive Weight Averaging再训练方法，结合了变分推理和深度集成的优点。最后，我们提出了一种基于温度标度的后处理校准方法，提高了模型估计不确定性的泛化能力。在四个公共数据集上进行了大量的实验，实验结果表明，该方法在点预测和不确定性量化方面都优于最先进的方法。
2022-08-11 cs.LG
Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles
Division of Applied Mathematics, Brown University（布朗大学应用数学系）；Department of Computing and Mathematical Sciences, California Institute of Technology（加州理工学院计算与数学科学系）；Department of Mechanical Engineering, Massachusetts Institute of Technology（麻省理工学院机械工程系）
本文提出了一种概率扩展的PINN框架，结合贝叶斯方法、麦克斯韦-玻尔兹曼抽样和斥力深度集合，以提高湍流建模中的不确定性校准，通过Van der Pol振荡器和圆柱绕流测试案例验证了其有效性。
2026-04-18 cs.LG physics.comp-ph
Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
我们提出了一种新的方法来执行近似贝叶斯推断在复杂的模型，如贝叶斯神经网络。该方法比马尔可夫链蒙特卡罗更适合大数据，它比变分推断包含更多表达模型，并且它不依赖于对抗训练（或密度比估计）。我们采用最近的方法构建两个模型：（1）主要模型，负责执行回归或分类;（2）次要的，表达（例如隐式）模型，定义了主要模型参数的近似后验分布。然而，我们根据后验预测分布的蒙特卡罗估计通过梯度下降来优化后验模型的参数-这是我们唯一的近似值（后验模型除外）。只需要指定可能性，它可以采取各种形式，如损失函数和合成可能性，从而提供一种形式的无可能性方法。此外，我们制定的方法，使后验样本可以是独立的，或有条件地依赖于主模型的输入。后一种方法被证明是能够增加的主要模型的明显的复杂性。我们认为这在诸如代理和基于物理的模型等应用中很有用。为了促进贝叶斯范式提供的不仅仅是不确定性量化，我们展示了：不确定性量化，多模态，以及最近的深度预测神经网络架构的应用。
2022-09-06 cs.LG stat.ML
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification
Georgia Tech（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对时空点过程学习中的分布受限、积分近似不准及缺乏不确定性量化问题，提出基于分数匹配的伪似然估计器SMASH，采用无归一化目标并通过置信区域实现预测的不确定性量化，实验证明其性能优越。
2023-10-25 cs.LG
A practical guide to pseudo-marginal methods for computational inference in systems biology
对于系统生物学中感兴趣的许多随机模型，例如那些描述生化反应网络的随机模型，通过统计推断来精确量化参数不确定性是困难的。当模型的似然函数难以处理，但通过正问题的随机模拟可以生成许多样本路径时，无似然计算推理技术可以进行参数推断。系统生物学中最常见的无似然方法是近似贝叶斯计算，它接受导致随机模拟和测量数据之间低差异的参数。然而，很难评估所得到的推理的准确性如何受到接受阈值和差异函数的选择的影响。伪边际法是一种替代的无似然推理方法，它利用似然函数的蒙特卡罗估计。这种方法有几个优点，特别是在嘈杂的背景下，部分观察到的，典型的生化反应网络研究中的时间过程数据。具体地，伪边缘方法便于精确推断和不确定性量化，并且可以有效地与粒子滤波器组合以用于低方差、高精度似然估计。在这篇综述中，我们提供了一个实用的介绍，伪边缘的方法，使用生化反应网络的推理作为一系列的案例研究。使用Julia编程语言提供关键算法和示例的实现; Julia编程语言是用于科学计算的高性能开源编程语言。
2019-12-28 q-bio.MN stat.CO
Diffusion Transformers for Imputation: Statistical Efficiency and Uncertainty Quantification
Northwestern University（西北大学）
该研究针对扩散生成式时序填补方法理论理解不足的问题，推导了条件扩散Transformer填补的样本复杂度界，构建缺失值紧置信域，揭示缺失模式的影响并提出混合掩码训练策略提升性能。
2025-10-02 cs.LG math.ST stat.ML
A Critical Synthesis of Uncertainty Quantification and Foundation Models in Monocular Depth Estimation
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（摄影测量与遥感研究所（卡尔斯鲁厄理工学院））；The Ohio State University（俄亥俄州立大学）
针对单目深度估计中基础模型易出错、难可靠部署的问题，本文将五种不确定性量化方法与DepthAnythingV2融合，在四数据集上评估发现GNLL微调法性能最优，为提升模型可靠性与可解释性奠定基础。
2025-01-14 cs.AI cs.CV cs.LG
Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
Department of Applied Mechanics（应用力学系）；Indian Institute of Technology Delhi（印度理工学院德里）；Department of Mechanical Engineering（机械工程系）；Northern Arizona University（北亚利桑那大学）
Alpha-VI DeepONet通过引入Rényi的α-分歧改进DeepONet，提升不确定性量化能力，在机械系统中表现出更高的预测准确性和鲁棒性。
2025-12-06 cs.LG stat.ML
Counterfactual Gradients-based Quantification of Prediction Trust in Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
本文提出GradTrust，一种基于反事实梯度方差的新型分类信任度量，用于检测神经网络错误预测，在ImageNet和Kinetics-400数据集上表现优于现有方法，并在38种实验模态中37种排名前二。
2024-05-22 cs.AI cs.CV cs.LG
SPUX: Scalable Particle Markov Chain Monte Carlo for uncertainty quantification in stochastic ecological models
基于个体的模型（IBMs）的校准，成功地模拟复杂的生态动力系统，往往只进行ad-hoc。贝叶斯推断可用于参数估计和不确定性量化，但其成功的应用到现实的情况下受到了IBM的复杂随机性。诸如粒子滤波器（PF）之类的计算昂贵的技术提供边际似然估计，其中需要多个模型模拟（粒子）来从以观测数据为条件的状态分布中获得样本。粒子系综在每个数据观测时间重新采样，需要粒子销毁和复制，这导致算法复杂度增加。我们提出了SPUX，一个并行粒子马尔可夫链蒙特卡罗（PMCMC）算法的Python实现，它通过将粒子分布在多个计算单元上来降低高计算成本。自适应负载重新平衡技术用于减轻由重新采样引入的计算工作不平衡。框架的性能进行了研究，并观察到一个简单的捕食者-猎物IBM模型显着的加速。
2017-11-04 cs.CE cs.DC stat.CO
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；University of Warwick（华威大学）
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来，许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流，即神经网络参数化可逆映射，用于从底层基本度量转换样本;然后可以访问转换样本的概率密度，并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人，2022]用生成网络近似后验，这降低了可逆性要求，因此是一类更灵活的分布，可以扩展到高维和结构化数据。然而，生成网络只允许从参数化分布中采样;因此，Ramesh et al.[2022]遵循对抗训练的常见解决方案，其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的，可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里，我们建议使用通过评分规则最小化训练的生成网络来近似后验，这是一种被忽视的无对抗方法，可以实现平滑训练和更好的不确定性量化。在模拟研究中，评分规则方法在对抗框架方面具有更短的训练时间，从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Misspecification-robust Sequential Neural Likelihood for Simulation-based Inference
School of Mathematical Sciences（数学科学学院）；Centre for Data Science（数据科学中心）；Queensland University of Technology（昆士兰科技大学）；Institute of Operations Research and Analytics（运营研究与分析研究所）；National University of Singapore（新加坡国立大学）；Department of Econometrics and Business Statistics（计量经济学与商务统计系）；Monash University（莫纳什大学）
针对序列神经似然（SNL）在模型误设下性能不可靠、易产生过置信后验的问题，提出引入额外调整参数的新型SNL方法，兼具模型误设鲁棒性与数据不可复现特征识别能力，实验验证其点估计和不确定性量化效果优于传统SNL。
2024-03-07 cs.LG stat.CO stat.ME
Physics-Constrained Deep Learning for High-dimensional Surrogate Modeling and Uncertainty Quantification without Labeled Data
University of Notre Dame（圣母大学）；Technical University of Munich（慕尼黑工业大学）；University of Pennsylvania（宾夕法尼亚大学）
PDE系统的代理建模和不确定性量化任务通常被认为是监督学习问题，其中输入和输出数据对用于训练。根据定义，这种仿真器的构建是一个小数据问题，这对已经开发用于在大数据体系中操作的深度学习方法提出了挑战。即使在这种模型已经被证明在高维中具有良好的预测能力的情况下，它们也无法解决PDE模型所暗示的数据中的约束。本文提供了一种方法，将控制方程的物理模型中的损失/似然函数。由此产生的物理约束的深度学习模型在没有任何标记数据的情况下进行训练（例如，仅使用输入数据），并在遵守手头问题的约束的同时，提供与数据驱动模型相当的预测响应。这项工作采用卷积编码器-解码器神经网络方法以及基于条件流的生成模型来解决偏微分方程、代理模型构建和不确定性量化任务。该方法被提出作为一个最小化问题的模型预测密度和参考条件密度之间的反向Kullback-Leibler（KL）的分歧，后者被定义为玻尔兹曼-吉布斯分布在一个给定的逆温度与相关的潜在的PDE系统的兴趣。这些模型的泛化能力，分布外的输入被认为是。定量和解释的预测不确定性提供了一些问题。
2019-01-18 cs.CV cs.LG physics.comp-ph
"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；The University of Hong Kong（香港大学）；City University of Hong Kong（香港城市大学）
本文研究LLM与人类在语言不确定性量化上的差异，提出优化算法METHODNAME，直接从LLM输出学习标记-不确定性映射，实现标记级置信度语义比较，揭示系统性差异。
2026-10-02 cs.LG
Uncertainty Quantification Metrics for Deep Regression
Lund University（隆德大学）；Linköping University（林雪平大学）
针对深度回归任务的不确定性量化评估问题，研究四类典型指标在合成数据集下的表现与稳定性，发现校准误差最稳定可解释，推荐用AUSE替代斯皮尔曼等级相关系数。
2024-10-29 cs.LG cs.RO
Uncertainty quantification for mixed membership in multilayer networks with degree heterogeneity using Gaussian variational inference
本文提出了一种基于高斯变分推断的框架，用于在具有度异质性的多层网络中量化混合成员的不确定性，通过谱辅助似然和随机梯度下降实现高效推断，并在机场网络中验证了其有效性。
2025-12-09 math.ST stat.CO stat.ME
Physically Meaningful Uncertainty Quantification in Probabilistic Wind Turbine Power Curve Models as a Damage Sensitive Feature
University of Sheffield（谢菲尔德大学）；Vattenfall Research and Development（大瀑布电力研发公司）
风力涡轮机的功率曲线是容易获得的损伤敏感数据，因此是风力涡轮机结构健康监测的关键部分。功率曲线模型可以以多种方式构建，但作者认为概率方法在这种用例中具有固有的优势，例如不确定性量化和允许不确定性传播分析。许多概率功率曲线模型都有一个关键的限制，即它们在物理上没有意义-它们返回的平均值和不确定性预测超出了物理上可能的范围（风力涡轮机的最大和最小功率输出）。本文研究了使用两个有界高斯过程，以产生物理意义的概率功率曲线模型。研究的第一个模型是一个扭曲的异方差高斯过程，并被发现是无效的，由于特定的缺陷，高斯过程的扭曲功能。第二个模型-一个近似的高斯过程与贝塔可能性是非常成功的，并证明了一个工作有界概率模型的结果更好的预测不确定性比相应的无界一个没有意义的损失预测精度。这样的有界模型因此提供了性能监测的增加的准确性和由于保证的物理可扩展性而增加的操作者对模型的信心。
2022-09-30 cs.LG
Estimation and uncertainty quantification for the output from quantum simulators
这里考虑了在$\{0,1\}^d$上估计某些分布的问题。该分布表示$d$量子位的量子系统，其中量子位之间存在非平凡依赖性。一个最大熵的方法，采用重建的分布从确切的时刻或观察到的经验矩。Robbins Monro算法用于解决棘手的最大熵问题，通过在每次迭代时使用序贯蒙特卡罗采样器构造未归一化目标的无偏估计量。在经验矩的情况下，这与极大似然估计一致。贝叶斯公式也被认为是为了量化后验不确定性。根据最近开发的方法，提出了几种方法来解决这一具有挑战性的问题。特别是，无偏估计量估计的梯度的日志后，构建和使用内的可证明收敛的基于Langevin的马尔可夫链蒙特卡罗方法。经典的量子模拟器的模拟输出的方法进行说明。
2019-03-07 quant-ph stat.AP stat.CO
Uncertainty quantification for multiclass data description
University of Florida（佛罗里达大学）
本文提出了一种基于核马氏距离的多类数据描述模型（MDD-KM），该模型具有自适应超参数设置。MDD-KM提供了不确定性量化，并可用于为测试数据中存在分布外（OOD）样本的实际情况构建分类系统。给定测试信号，计算与信号和每个训练类之间的经验核Mahalanobis距离相关的量。由于这些量对应于相同的再生核希尔伯特空间，它们是可量化的，因此可以容易地被视为分类分数，而无需进一步应用融合技术。为了设置内核参数，我们利用的事实，即预测方差根据高斯过程（GP）是经验内核马氏距离时，使用集中式内核，并建议使用GP的负似然函数作为成本函数。我们对鸟类音符分类的实际问题进行了实验。我们报告了一个原型分类系统的基础上的层次线性动力系统MDD-KM作为一个组件。我们的分类系统不需要声音事件检测作为预处理步骤，并且能够在测试音频剪辑中的OOD样本（对应于不感兴趣的未知音符）中找到具有不同长度的训练鸟类音符的实例。利用领域知识从原始分类分数中做出明确的决策。我们证明了MDD-KM优于可能性K-最近邻的性能。
2021-08-29 cs.LG
Adaptive Multiple Importance Sampling for Gaussian Processes
在高斯过程应用中，不确定性的量化是一个严格的要求，它是必要的，以准确地描述后验分布的高斯过程协方差参数。通常，这通过标准的马尔可夫链蒙特卡罗（MCMC）算法来完成。出于与计算边际可能性的复杂性相关的问题（可能导致MCMC算法效率低下）的动机，本文开发了一种基于自适应多个重要性抽样（AMIS）的替代推理框架。本文研究了AMIS在高斯似然情况下的应用，提出了非高斯似然情况下的伪边缘AMIS，其中边缘似然是无偏估计的。结果表明，所提出的框架优于MCMC为基础的协方差参数的推断在广泛的情况下，并保持竞争力的适度大尺寸的参数空间。
2016-03-31 stat.CO
IXPLORE: Bounded Ideal Point Estimation with Grid-Based Uncertainty Quantification
University of Zurich（苏黎世大学）
IXPLORE提出一种结合预测拟合与稀疏感知似然的有界理想点估计算法，在五个基准数据集上优于现有方法，并通过网格后验推断量化不确定性。
2026-09-09 cs.LG cs.MS
Efficient Analytic Uncertainty Quantification for Multi-Modal Regression
Google（谷歌）；Google DeepMind（谷歌DeepMind）
针对多模态回归中现有不确定性量化方法效率低或假设过强的问题，提出基于变分贝叶斯推断的统一框架，将分位数回归和分类恢复模型转化为解析ELBO和闭式预测密度，实现高效准确的不确定性量化，在三个大规模基准上超越现有方法。
2026-06-25 cs.LG
Quantification of total uncertainty in the physics-informed reconstruction of CVSim-6 physiology
Brown University（布朗大学）；University of Notre Dame（圣母大学）
本研究针对生理系统物理信息重建的多源不确定性问题，提出基于随机投影与蒙特卡洛采样的MC X-TFC方法，在CVSim-6模型上验证了其在数据受限、含噪及模型误设场景下的鲁棒估计能力。
2024-08-13 cs.LG q-bio.QM
Neural network surrogates with uncertainty quantification for inverse problems in partial differential equations
School of Mathematics and Maxwell Institute for Mathematical Sciences University of Edinburgh（数学学院和麦克斯韦数学科学研究所爱丁堡大学）
提出DeepGaLA神经网络代理模型，为微分方程求解器提供不确定性感知预测，结合延迟接受MCMC诊断，实现高效可靠的贝叶斯反演。
2026-06-19 cs.LG
Method G: Uncertainty Quantification for Distributed Data Problems using Generalized Fiducial Inference
数据分析师遇到分布在多台计算机上的数据集并不罕见。这可能是由于隐私问题、可能性评估的效率或整个数据集的庞大规模等原因。这给统计人员带来了新的挑战，因为即使是计算简单的汇总统计数据，如中位数，也变得具有计算挑战性。此外，如果需要其他先进的统计方法，需要新的计算策略。在本文中，我们提出了一种新的分布式分析的海量数据，适用于广义信念推断，是基于一个精心实施的“分而治之”的战略结合重要性抽样。所提出的方法只需要少量的节点之间的通信，并被证明是渐近等价于使用整个数据集。与大多数现有的方法不同，所提出的方法产生的不确定性措施（如置信区间），除了点估计参数的兴趣。所提出的方法也适用于一个大的太阳图像集的分析。
2018-05-18 stat.CO
Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging
California Institute of Technology（加州理工学院）
计算图像重建算法通常产生单个图像，而没有任何不确定性或置信度的测量。逆问题的正则化最大似然（RML）和前馈深度学习方法通常侧重于恢复点估计。当与欠定成像系统一起工作时，这是一个严重的限制，其中可以想象多个图像模式将与测量数据一致。因此，描述解释观测数据的可能图像空间至关重要。在本文中，我们提出了一种变分深度概率成像方法来量化重建的不确定性。深度概率成像（DPI）采用未经训练的深度生成模型来估计未观察图像的后验分布。这种方法不需要任何训练数据;相反，它优化了神经网络的权重，以生成适合特定测量数据集的图像样本。一旦学习了网络权重，就可以有效地对后验分布进行采样。我们证明了这种方法的背景下，干涉无线电成像，这是用于黑洞成像的事件地平线望远镜，和压缩传感磁共振成像（MRI）。
2020-12-17 astro-ph.IM cs.CV cs.LG
Uncertainty Quantification of Graph Convolution Neural Network Models of Evolving Processes
University of Michigan（密歇根大学）；Sandia National Laboratories（桑迪亚国家实验室）
本研究针对演化过程的图卷积神经网络模型，使用HMC和SVGD等方法进行参数化不确定性量化，发现Stein变分推断是Monte Carlo方法的有效替代方案。
2024-02-17 cs.LG math.ST physics.comp-ph
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne（数学与统计学学院墨尔本大学）
本文提出了一种基于经验似然的贝叶斯推断方法，用于在有限样本条件下对多个上下文老虎机策略进行联合分析，实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
TrafficFlowGAN: Physics-informed Flow based Generative Adversarial Network for Uncertainty Quantification
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
本文提出了一种基于物理信息流的生成对抗网络（GAN）--GAN流GAN，用于动态系统的不确定性量化（UQ）。EschericFlowGAN采用规范化流模型作为生成器来显式估计数据可能性。该流模型被训练以最大化数据可能性并生成可以欺骗卷积神经网络的合成数据。我们使用先前的物理信息进一步规范这个训练过程，即所谓的物理信息深度学习（PIDL）。据我们所知，我们是第一个提出一个集成流，GAN和PIDL的UQ问题。我们以交通状态估计（TSE）为例，它的目的是估计交通变量（如交通密度和速度）使用部分观测数据，以证明我们提出的模型的性能。我们进行了数值实验，该模型被应用于学习随机微分方程的解决方案。实验结果证明了该模型的鲁棒性和准确性，以及学习机器学习代理模型的能力。我们还测试了一个真实世界的数据集，下一代仿真（NGSIM），以表明所提出的mixicFlow GAN可以优于基线，包括纯流模型，物理信息流模型，和基于流的GAN模型。
2022-10-15 cs.LG
Investigating the performance of multi-objective optimization when learning Bayesian Networks
University of Milano-Bicocca（米兰比可卡大学）；SYSBIO/ISBE.IT Centre for Systems Biology（SYSBIO/ISBE.IT系统生物学中心）；Eindhoven University of Technology（埃因霍温理工大学）；University of Bergamo（贝加莫大学）；Stanford University（斯坦福大学）
贝叶斯网络在过去的几十年中被广泛应用于许多领域，用于描述随机变量之间的统计依赖关系。一般来说，学习这种模型的结构是一个具有相当大的理论兴趣的问题，提出了许多挑战。一方面，这是一个众所周知的NP完全问题，实际上由于可能的解决方案的巨大搜索空间而变得更加困难。另一方面，I-等价现象，即，支持同一组统计依赖性的不同图形结构可能导致多模态适应度景观，进一步阻碍解决该任务的最大似然方法。特别是，我们利用NSGA-II多目标优化程序，以明确占的解决方案的可能性和所选弧的数量，通过设置这些作为该方法的两个目标函数。本工作的目的是研究NSGA-II的行为和分析其解决方案的质量。因此，我们彻底检查了在广泛的模拟数据集上获得的优化结果，通过考虑在所实现的目标函数值方面推断出的解决方案的优度，并通过将检索到的结构与真实情况进行比较，即，用于生成目标数据的网络。我们的研究结果表明，NSGA-II可以收敛到解决方案的特点是更好的可能性和更少的弧比经典的方法，虽然矛盾的特点是在许多情况下，与目标网络的相似性较低。
2021-07-20 cs.LG stat.ML
Investigating Batch Inference in a Sequential Monte Carlo Framework for Neural Networks
Department of Electronics and Electrical Engineering, University of Liverpool（电子与电气工程系，利物浦大学）；Department of Mechanical and Aerospace Engineering, University of Liverpool（机械与航空航天工程系，利物浦大学）
本文研究了在序列蒙特卡洛框架中通过逐步引入小批量数据进行批量推断，以提高神经网络训练效率并保持精度。
2026-01-29 cs.LG
Uncertainty quantification using martingales for misspecified Gaussian processes
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
我们解决不确定性量化高斯过程（GP）下错误指定的先验知识，着眼于贝叶斯优化（BO）。GPS在BO中被广泛使用，因为它们很容易实现基于后验不确定性带的探索。然而，这种便利性是以健壮性为代价的：实践中遇到的典型函数不太可能来自数据科学家的先验知识，在这种情况下，不确定性估计可能会产生误导，由此产生的探索可能是次优的。我们提出了一个频率论的方法来GP/BO的不确定性量化。我们利用GP框架作为工作模型，但不假设先验的正确性。相反，我们构造一个置信序列（CS）的未知函数使用鞅技术。实现鲁棒性有必要的代价：如果先验是正确的，那么后验GP带比我们的CS窄。然而，当先验是错误的，我们的CS是统计上有效的，经验上优于标准的GP方法，在BO的覆盖范围和效用方面。此外，我们证明了权力的似然性提供了对模型误设的鲁棒性。
2021-03-02 cs.LG stat.ME stat.ML
Towards Maximum Likelihood Training for Transducer-based Streaming Speech Recognition
XL8 Inc.（XL8公司）；Seoul National University（首尔大学）；Chung-Ang University（中央大学）
针对传统流式Transducer模型因训练推理不匹配导致的似然变形与准确率次优问题，提出前向变量因果补偿（FoCC）量化差距并设计估计器FoCCE，在LibriSpeech数据集验证其可提升模型准确率。
2024-11-26 cs.LG eess.AS
Network-based Isoform Quantification with RNA-Seq Data for Cancer Transcriptome Analysis
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Guangzhou Institutes of Biomedicine and Health, Chinese Academy of Sciences（中国科学院广州生物医药与健康研究院）；University of Kansas Medical Center（堪萨斯大学医学中心）
高通量mRNA测序（RNA-Seq）广泛用于基因亚型的转录本定量。由于单独的RNA-Seq数据通常不足以准确地识别来自异构体的读取起源以进行定量，因此我们建议探索蛋白质结构域-结构域相互作用作为与RNA-seq数据进行综合分析的先验知识。我们引入了一种基于网络的基于RNA测序的转录本定量（Net-RSTQ）方法，将蛋白质结构域-结构域相互作用网络与短读段比对相结合，用于转录本丰度估计。基于我们的观察，即网络中结构域-结构域相互作用的相邻同种型的丰度是正相关的，Net-RSTQ将相邻转录本的表达建模为Dirichlet先验，其基于观察到的针对一个基因中的转录本的读段比对的可能性。所有基因的转录丰度，然后联合估计与交替优化多个EM问题。在模拟中，当同种型共表达与它们的相互作用相关时，Net-RSTQ有效地改善了同种型转录本的定量。对干细胞系、卵巢癌细胞系和乳腺癌细胞系中25个多亚型基因的qRT-PCR结果也表明，Net-RSTQ估计的亚型比例与RNA-Seq数据更一致。在对癌症基因组图谱（TCGA）中的RNA-Seq数据的实验中，通过Net-RSTQ估计的转录本丰度对于卵巢癌、乳腺癌和肺癌的患者样本分类更有信息量。所有实验结果共同支持Net-RSTQ是一种有前途的异构体定量方法。
2015-09-15 cs.AI cs.CE cs.LG
A hybrid data driven-physics constrained Gaussian process regression framework with deep kernel for uncertainty quantification
The Chinese University of Hong Kong（香港中文大学）
针对传统高斯过程回归依赖大量数据的问题，提出融合深度核的数据驱动-物理约束混合GPR框架，通过Boltzmann-Gibbs分布编码物理约束、深度神经网络构成协方差函数，在少量标注数据的高维UQ任务中实现良好精度与不确定性传递效果。
2022-11-10 cs.LG
BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification
University of Minnesota（明尼苏达大学）；The Ohio State University（俄亥俄州立大学）
本文提出基于贝叶斯优化的无导数逆优化方法BO4IO，以黑箱方式求解双层规划，实现参数估计的不确定性量化，并在多种非线性及混合整数案例中验证了其准确性与鲁棒性。
2024-05-28 cs.LG math.OC
