Uncertainty Quantification in Bayesian Clustering
Brigham Young University(杨百翰大学);Florida State University(佛罗里达州立大学);Duke University(杜克大学)
本文提出了一种基于贝叶斯聚类模型的后处理方法,用于生成易于使用、快速计算和直观解释的可信集,并提供新的聚类不确定性度量。
2025-11-20 stat.ME
Comments on "Bayesian Solution Uncertainty Quantification for Differential Equations" by Chkrebtii, Campbell, Calderhead & Girolami
本文探讨了用于ODE和PDE的概率求解器,提出了一种新的不确定性量化方法,提升了数值解的可靠性。
2016-10-25 cs.NA math.NA stat.CO
Scalable Bayesian shrinkage and uncertainty quantification for high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具,最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这一优势导致贝叶斯收缩方法在不同应用中的广泛使用。这些模型的一个共同特点是回归系数的相应先验可以表示为正态的尺度混合。虽然三步吉布斯采样器用于采样从往往棘手的相关后验密度已被证明是几何遍历的几个这些模型,它最近已被证明,这种采样器的收敛仍然可以在现代高维设置相当缓慢,尽管这个明显的理论保障。我们提出了一种新的方法,通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比,原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先,我们证明了建议的两步采样器是几何遍历,并推导出明确的(几何)收敛速度的上界。此外,我们从理论上证明,虽然原来的贝叶斯套索链不是希尔伯特-施密特,拟议的链是迹类(因此希尔伯特-施密特)。迹类性质意味着相应的马尔可夫算子是紧的,并且它的(可数的)特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法,其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-19 stat.ME
Scalable Bayesian uncertainty quantification in imaging inverse problems via convex optimization
提出了一种大规模成像逆问题的贝叶斯不确定性量化方法。我们的方法适用于所有的贝叶斯模型是对数凹,最大后验概率(MAP)估计是一个凸优化问题。该方法是一个框架,用于分析MAP估计中观察到的特定结构的置信度(例如,医学成像中的病变,天文成像中的天体来源),以便能够将它们用作证据,为决策和结论提供信息。准确地说,根据贝叶斯决策理论,我们试图通过执行贝叶斯假设检验来断言仔细检查下的结构,该贝叶斯假设检验如下进行:首先,它假设结构不存在于真实图像中,然后试图使用数据和先验知识以高概率拒绝该原假设。计算成像问题的这种测试通常是非常困难的,因为涉及的高维数。这项工作的一个主要特点是利用概率集中现象和底层凸几何制定贝叶斯假设检验作为一个凸问题,我们然后有效地解决了使用可扩展的优化算法。这允许缩放到其他贝叶斯计算方法在计算上无法负担的高分辨率和高灵敏度成像问题。我们说明了我们的方法,称为BUQO(贝叶斯不确定性量化优化),在一系列具有挑战性的傅立叶成像问题在天文学和医学。
2018-11-06 astro-ph.IM stat.ME
A Nonparametric Bayesian Framework for Uncertainty Quantification in Stochastic Simulation
当我们使用仿真来评估随机系统的性能时,用于驱动仿真实验的输入模型通常是从有限的真实世界数据中估计的。在系统性能估计中,存在输入模型和仿真估计的不确定性。在没有输入模型和系统平均响应面的强先验信息的情况下,本文提出了一个贝叶斯非参数框架来量化这两个不确定性来源的影响。具体而言,由于现实世界的数据往往代表各种潜在的不确定性源所造成的变化,狄利克雷过程混合(Dirichlet Processes Mixtures,简称DSPs)的非参数输入模型被引入到建模的混合异构分布,它可以忠实地捕捉的重要特征,如多模态和偏斜的现实世界的数据。灵活输入模型的贝叶斯后验描述了输入模型估计的不确定性,其自动地解释了模型选择和参数值的不确定性。然后,输入模型估计的不确定性传播到输出,通过使用直接模拟。因此,在非常一般的条件下,我们的框架提供了一个经验的可信区间占输入和模拟的不确定性。方差分解进一步发展,以量化的相对贡献,从两个来源的不确定性。我们的方法得到了严格的理论和实证研究的支持。
2021-08-07 stat.ME
A Plug-and-Play Method with Inpainting Network for Bayesian Uncertainty Quantification in Imaging
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
本文提出一种基于修复网络的插拔算法,用于图像贝叶斯不确定性量化,通过卷积修复神经网络改进局部结构检测方法,应用于医学图像重建问题。
2026-05-07 stat.ME
Bayesian Quantification of Covariance Matrix Estimation Uncertainty in Optimal Fingerprinting
用于气候变化检测和归因的基于回归的最佳指纹技术需要估计强迫信号以及内部变率协方差阵,以便区分它们对观测记录的影响。虽然以前开发的方法已经考虑到了与强迫信号的估计相关的不确定性,但很少关注描述自然变异性的协方差阵中的不确定性,尽管已知该协方差阵的规格对结果有意义的影响。在这里,我们提出了一个贝叶斯最优指纹框架使用拉普拉斯基函数参数化的协方差阵。与基于主成分的传统方法不同,这种参数化不需要根据气候模型数据估计基向量本身,这允许估计协方差结构的不确定性传播到最佳指纹回归参数。我们通过CMIP6验证研究表明,该方法比基于主成分的方法实现了更好的校准覆盖率的真实回归参数。当应用于HadCRUT观测数据,所提出的方法检测人为变暖具有较高的置信水平,并在气候模型的选择较低的变异性,比基于主成分的方法。
2022-08-04 stat.ME
Bayesian Covariance Uncertainty for Adaptive Pilot-Sampling Termination in Multi-fidelity Uncertainty Quantification
针对多保真度不确定性量化中试点采样终止的预算分配难题,提出贝叶斯协方差不确定性框架,通过γ-高斯先验量化协方差不确定性并实现自适应终止,在基准和达西流问题上验证了其在有限预算下的高效性与方差减少能力。
2025-08-25 stat.ME
Bend to Mend: Toward Trustworthy Variational Bayes with Valid Uncertainty Quantification
Department of Statistics, Rice University(莱斯大学统计学系)
本文提出TVB方法,通过重新校准变分贝叶斯的不确定性量化,解决其可信区间不足覆盖的问题,并在理论和实践中均取得显著成果。
2025-12-27 stat.ME
Quantification of observed prior and likelihood information in parametric Bayesian modeling
本文提出了两种与数据相关的信息度量来量化参数贝叶斯模型中先验和似然函数的信息,其中一种与Berger,Bernardo和Sun提出的参考先验和Lindley提出的信息度量密切相关.理论,经验和计算支持的组合提供的证据表明,这些信息理论指标可能是有用的诊断工具时,执行贝叶斯分析。
2017-09-07 cs.IT math.IT stat.AP
Uncertainty Quantification in Bayesian Reduced-Rank Sparse Regressions
提出一种贝叶斯降秩稀疏回归模型,通过混合先验与全局-局部收缩先验估计系数矩阵秩,并引入SAVS及两种新工具实现不确定性量化,在模拟与真实数据中验证了有效性。
2024-02-13 stat.AP stat.ME
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich(慕尼黑大学统计系)
本文从优化视角质疑贝叶斯不确定性量化的有效性,提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
BOB: Bayesian Optimized Bootstrap for Uncertainty Quantification in Gaussian Mixture Models
针对高斯混合模型中标准MCMC后验采样计算难度大、加权自助法随机权重难选的问题,提出贝叶斯优化自助法BOB,通过贝叶斯优化自动选权以最小化反向KL散度,实现更优的后验还原与不确定性量化。
2024-05-17 stat.CO stat.ME
Bayesian Uncertainty Quantification for Systems Biology Models Parameterized Using Qualitative Data
动机:最近的工作已经证明了使用非数值的定性数据来参数化数学模型的可行性。然而,这种参数化模型的不确定性量化(UQ)仍然是具有挑战性的,因为缺乏一个统计解释的优化中使用的目标函数。结果如下:我们制定了似然函数适用于使用定性数据或定性和定量数据的组合进行贝叶斯UQ。为了证明所得到的UQ能力,我们使用合成的定性和定量数据集分析了IgE受体信号传导的已发表模型。值得注意的是,来自定性数据的参数值的估计值与来自较低通量定量数据的估计值几乎一致。这些结果为在生物建模中利用定性数据提供了进一步的动力。供货情况:这里介绍的似然函数是在PyBioNetFit的新版本中实现的,PyBioNetFit是一个用于分析SBML和BNGL格式模型的开源应用程序,可在www.example.com在线获得www.github.com/lanl/PyBNF。
2019-08-30 q-bio.QM stat.ME
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech(弗吉尼亚理工大学)
本文研究具有可信不确定性量化的贝叶斯回归问题,提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes,刻画了概率下界与样本复杂度,并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Aitchison Geometry on the Simplex for Uncertainty Quantification in Bayesian Hyperspectral Image Unmixing
IMT Atlantique(大西洋高等理工学院);INRIA ODYSSEY team-project(法国国家信息与自动化研究所奥德赛项目组)
本文提出利用Aitchison几何为超分辨率图像解混提供替代的先验丰度分布建模工具,通过设计简单集值高斯过程先验并提出符合丰度向量约束的不确定性诊断方法。
2026-03-25 eess.SP stat.ME
Uncertainty Quantification for nonparametric regression using Empirical Bayesian neural networks
我们提出了一种新的,两步经验贝叶斯类型的神经网络的方法。我们表明,在上下文中的非参数回归模型的程序(对数因子)提供了最佳的恢复感兴趣的基本功能参数,并提供贝叶斯可信的频率覆盖保证集。该方法只需拟合神经网络一次,因此比Bootstrapping类型的方法快得多。我们证明了我们的方法在合成数据,观察良好的估计性能和可靠的不确定性量化的适用性。
2022-04-28 math.ST stat.TH
Uncertainty Quantification for Bayesian Optimization
针对贝叶斯优化输出不确定性量化研究不足的问题,本文提出通过构建目标函数极值的置信域评估不确定性的方法,依托新推导的序贯高斯过程回归一致误差界保证置信水平,为各类采样策略和停止准则提供统一量化框架。
2023-05-05 math.ST stat.ML stat.TH
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下,结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验,从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中,实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标,在自相似条件下,构造了具有均匀覆盖的回归函数的自适应置信带。此外,我们表明,树后验使最佳推理的形式,有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay(巴黎萨克雷大学);CEA LIST(法国原子能和替代能源委员会LIST研究所);CEA(法国原子能和替代能源委员会)
本文提出了一种多变量回归中的贝叶斯最后层模型,通过EM算法实现参数学习,能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Contributed Discussion to Bayesian Solution Uncertainty Quantification for Differential Equations
我们首先介绍了讨论中的文件的主要思想,我们给出了一个简短的描述所提出的方法。接下来,我们讨论了一种基于B样条展开的替代方法,最后我们对该方法的收敛速度做了一些评论。
2016-11-17 math.ST stat.TH
Quantification of empirical determinacy: the impact of likelihood weighting on posterior location and spread in Bayesian meta-analysis estimated with JAGS and INLA
贝叶斯正态-正态分层模型(Bayesian normal-normal hierarchical model,NNHM)是一种流行的贝叶斯元分析方法,它综合了多项研究的知识,具有较高的实用价值。此外,NNHM是最简单的贝叶斯分层模型(BHM),它说明了更复杂的BHM中的典型问题。到目前为止,它一直不清楚在何种程度上的数据决定的边缘后验分布的参数在NNHM。为了解决这个问题,我们计算了Bhattacharyya系数相对于加权似然的二阶导数,定义了总经验确定性(TED),位置的经验确定性与TED的比例(pEDL),以及传播的经验确定性与TED的比例(pEDS)。我们在R软件包\texttt{ed4bhm}中实现了这种方法,并考虑了两个案例研究和一个模拟研究。我们量化TED,pEDL和pEDS在不同的建模条件下,如模型参数化,主要结果,和先验。这阐明了参数的边缘后验分布的位置和分布在多大程度上由数据决定。虽然这些调查集中在贝叶斯NNHM,所提出的方法更普遍地适用于复杂的BHM。
2021-09-24 stat.CO stat.ME
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
提出了一种基于贝叶斯神经网络(BNN)和哈密顿蒙特卡罗(HMC)的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样,以量化系统中的不确定性。数值算例表明,在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果,计算成本几乎是独立的维度的问题,展示了潜在的方法,用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Reliable Bayesian Inference in Misspecified Models
我们提供了一个通用的解决方案,在贝叶斯推断,即穷人的不确定性量化,从频率的角度来看,贝叶斯方法在错误指定的模型中的一个基本的开放问题。虽然现有的解决方案是基于显式高斯近似的后验,或计算繁重的后处理程序,我们证明了正确的不确定性量化可以通过用直观的近似后验替换通常的后验来实现。重要的是,我们的解决方案是适用于基于似然性,和广义,后验以及情况下的可能性是棘手的,必须估计。我们正式证明了我们所提出的方法的可靠的不确定性量化,并表明有效的不确定性量化是不是一个渐近的结果,但即使在小样本。我们通过一系列的例子来说明这种方法,包括线性,广义,混合效应模型。
2023-02-13 math.ST stat.CO stat.ME
On Uncertainty Quantification for Near-Bayes Optimal Algorithms
University of Oxford(牛津大学)
本文提出一种基于鞅后验的通用不确定性量化方法,利用常用机器学习算法接近贝叶斯最优的特性,在未知任务分布下恢复贝叶斯后验,并通过多种非神经网络和神经网络算法实验验证其有效性。
2024-10-21 cs.LG stat.ML
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Comments on "Bayesian Solution Uncertainty Quantification for Differential Equations" by Chkrebtii, Campbell, Calderhead & Girolami
University of Warwick(华威大学);Imperial College London(伦敦帝国学院)
本文讨论了概率数值方法中先验建模的未来研究方向,强调了在不确定性量化中需深入考虑的先验模型问题。
2016-10-21 cs.NA math.NA stat.CO
Quantification of the weight of fingerprint evidence using a ROC-based Approximate Bayesian Computation algorithm for model selection
一个多世纪以来,指纹已被成功地用于识别罪犯或验证个人身份。指纹鉴定师使用的明确结论方案,以及法医科学家遵循的更普遍的推理过程,在科学和法律文献中受到了严厉的批评。相反,学者们建议使用贝叶斯因子作为推理过程的关键要素来确定法庭证据的权重。在法医学中,量化支持的程度与确定支持哪种模型同样重要。不幸的是,指纹图案的复杂性使得基于可能性的推断是不可能的。在本文中,我们使用近似贝叶斯计算模型选择算法来量化指纹证据的权重。我们补充的ABC算法使用接收机操作特征曲线,以减轻维数灾难的影响。我们的修改后的算法是计算效率,并使其更容易监控收敛的模拟次数增加。我们使用我们的方法来量化法医学中指纹证据的权重,但我们注意到它可以应用于任何其他法医模式证据。
2020-01-13 stat.ME stat.OT
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系,提出蒙特卡洛噪声注入方法,在训练时注入噪声、推断时多次前向传播,实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML
A generalized Bayes framework for probabilistic clustering
基于损失的聚类方法,如k-means及其变体,是在数据中查找组的标准工具。然而,缺乏量化的不确定性估计集群是一个缺点。基于混合模型的基于模型的聚类提供了一种替代方案,但这样的方法面临计算问题和对核的选择很敏感。本文提出了一个广义贝叶斯框架,这两个范式之间的桥梁,通过使用吉布斯后验。在进行贝叶斯更新时,对数似然被聚类的损失函数所取代,从而产生了丰富的聚类方法家族。吉布斯后验表示贝叶斯信念的一致更新,而无需指定数据的可能性,并且可以用于表征聚类中的不确定性。我们认为损失的基础上Bregman分歧和成对的相似性,并制定有效的确定性算法的点估计以及采样算法的不确定性量化。几个现有的聚类算法,包括k-means,可以被解释为广义贝叶斯估计在我们的框架下,因此,我们提供了一种方法的不确定性量化这些方法。
2020-06-09 stat.ME stat.ML
Geometry-Aware Bayesian Quantification via Compositional Data Analysis
Istituto di Scienza e Tecnologie dell’Informazione Consiglio Nazionale delle Ricerche(国家研究委员会信息科学与技术研究所);Artificial Intelligence Center University of Oviedo(奥维耶多大学人工智能中心)
研究适应标签转移中估计目标标签分布问题,基于对数比率表示和艾奇逊几何引入几何感知KDE模型及收缩正则化,推导点估计和贝叶斯推理程序,实验表明该方法有竞争力。
2026-07-07 cs.LG stat.ML
Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学系和Maxwell数学科学研究所,爱丁堡大学)
针对贝叶斯神经网络后验近似的准确率与不确定性量化权衡问题,本文对比MCMC与变分推理的特性及架构影响,验证了变分近似堆叠与集成可低成本实现与MCMC相当的准确率,且不确定性量化更优。
2025-06-17 cs.LG stat.ME stat.ML
Fully Bayesian Spectral Clustering and Benchmarking with Uncertainty Quantification for Small Area Estimation
Department of Statistics and Data Science, University of California, Davis(加州大学戴维斯分校统计与数据科学系)
本文提出了一种基于频谱聚类的贝叶斯模型,用于小区域估计,通过引入条件后验均方误差来量化不确定性,并通过模拟和案例研究验证了其有效性。
2026-10-14 stat.ME stat.ML
Posterior Quantification of Borrowing from Multiple Historical Control Data in Bayesian Dynamic Borrowing Methods: A Scoping Review
Tokyo University of Science(东京科学大学);University of Tsukuba(筑波大学)
本文通过范围综述,聚焦贝叶斯动态借用方法中从多个历史对照借用的后验量化,区分了整体和源级别的借用度量,并通过案例展示了不同方法在借用总量和源特异性模式上的差异。
2026-05-26 stat.AP stat.ME
Generalized Bayesian Inference using the Bayesian Bootstrap for Survival Models
The University of Sydney(悉尼大学);Kids Research Institute, The Children’s Hospital at Westmead(西梅德儿童医院儿童研究所)
本文提出结合贝叶斯自助法与广义贝叶斯更新的生存分析贝叶斯方法,可稳健量化不确定性、整合先验信息,已开发Cox比例风险模型框架并通过模拟与实际数据验证,对应开源R包为BayesBoots。
2026-09-09 stat.AP stat.ME
Bayesian quantification for coherent anti-Stokes Raman scattering spectroscopy
提出了一种分析相干反斯托克斯拉曼散射(CARS)光谱的贝叶斯统计模型。我们的定量分析包括组成的线形参数的统计估计,潜在的拉曼信号,误差校正的CARS光谱,和测量的CARS光谱。因此,这项工作能够在CARS光谱的背景下进行广泛的不确定性量化。此外,我们提出了一种无监督的方法,用于提高拉曼光谱的光谱分辨率,需要很少或没有\textit{a priori}信息。最后,最近提出的小波棱镜的方法来纠正CARS中的实验文物是通过使用插值技术的小波增强。该方法使用CARS光谱的腺苷单,二,和三磷酸在水中,以及,等摩尔的水溶液的D-果糖,D-葡萄糖,和他们的二糖组合蔗糖进行验证。
2020-05-14 stat.AP
Bayesian inference and uncertainty quantification for image reconstruction with Poisson data
我们提供了一个完整的框架进行无限维贝叶斯推理和不确定性量化图像重建泊松数据。特别是,我们解决以下问题,使贝叶斯框架适用于实践。我们首先引入了一个保正的重参数化,并证明了在重参数化和混合先验下,后验分布在无穷维情况下是适定的。其次,我们提供了一个维度无关的MCMC算法,基于预处理的Crank-Nicolson Langevin方法,其中我们使用一个原始-对偶计划来计算偏移方向。第三,提出了一种结合模型偏差法和极大似然估计的混合先验中正则化参数的确定方法。最后,我们建议使用所获得的后验分布来检测恢复图像中的伪影。我们提供了一个例子来证明所提出的方法的有效性。
2019-10-20 cs.NA math.NA stat.CO
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University(哈佛大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
贝叶斯神经网络(BNN)在神经网络中的参数上放置先验。然而,BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中,我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明,常用的指标(例如测试对数似然)可能会产生误导。我们的实验还表明,设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian Modeling and Computation for Analyte Quantification in Complex Mixtures Using Raman Spectroscopy
在这项工作中,我们提出了一个两阶段的算法贝叶斯建模和计算的基础上,旨在量化分析物的浓度或数量的复杂混合物与拉曼光谱。建立了用于光谱信号分析的多层贝叶斯模型,并采用可逆跳马尔可夫链蒙特卡罗(RJMCMC)计算方法进行模型选择和光谱变量估计。处理分两个阶段进行。在第一阶段中,学习目标分析物光谱的峰表示。在第二阶段中,从第一阶段学习的峰值变量用于估计混合物中目标分析物的浓度或量。数值实验验证了它的量化性能在广泛的模拟条件下,并建立了其优势,分析物定量任务下的小训练样本量制度比传统的多元回归算法。我们还使用我们的算法来分析收集的实验自发拉曼光谱数据,用于生物制药过程监测应用中的葡萄糖浓度估计。我们的工作表明,该算法可以成为基于拉曼光谱的混合物定量研究中传统多元回归算法的一个有前途的补充工具,特别是当收集高质量的大型训练数据集具有挑战性或资源密集型时。
2018-05-20 physics.data-an stat.AP
Bayesian Deep Convolutional Encoder-Decoder Networks for Surrogate Modeling and Uncertainty Quantification
University of Notre Dame(圣母大学)
我们感兴趣的是开发代理模型,用于不确定性量化和随机偏微分方程控制的问题的传播,使用深度卷积编码器-解码器网络,其方式与深度学习中考虑的图像到图像回归任务的方法类似。由于普通神经网络是数据密集型的,不能提供预测的不确定性,我们提出了一种卷积神经网络的贝叶斯方法。最近引入的基于Stein方法的变分梯度下降算法被扩展到深度卷积网络,以对数百万个不确定的网络参数执行近似贝叶斯推断。与贝叶斯神经网络中的其他方法以及包括高斯过程和集成方法的技术相比,即使当训练数据大小相对较小时,该方法也在预测准确性和不确定性量化方面实现了最先进的性能。为了评估这种方法的性能,我们考虑标准的不确定性量化基准问题,包括在有限的数据驱动的渗透率实现方面定义的非均匀介质中的流动。代理模型开发的性能是非常好的,即使有没有基本的结构之间共享的输入(渗透率)和输出(流量/压力)字段,通常是在计算机视觉问题中使用的图像到图像的回归模型的情况下。研究的基础随机输入维数高达$4,225$,其中大多数其他不确定性量化方法失败。不确定性传播任务被认为是预测输出贝叶斯统计相比,与蒙特卡洛估计。
2018-01-21 cs.CV cs.LG physics.comp-ph
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo(奥斯陆大学生物统计系);Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University(赫尔辛基信息技术研究所,阿尔托大学计算机科学系)
近似贝叶斯计算(ABC)的计算效率已被提高,通过使用代理模型,如高斯过程(GP)。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP,这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中,我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略,并行化昂贵的模拟。在早期的工作中,只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性,因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性,例如,ABC后验矩。我们还提供了一些新的分析GP建模的假设,在由此产生的改进框架称为贝叶斯ABC,并讨论其连接到贝叶斯正交(BQ)和贝叶斯优化(BO)。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London(帝国学院伦敦分校);University of Copenhagen(哥本哈根大学)
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能,结合新颖的数据增强方案和高效变分算法,在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh(数学学院爱丁堡大学)
针对贝叶斯神经网络计算成本高的问题,提出三种部分迹类贝叶斯神经网络架构,通过减少贝叶斯参数数量,在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Dynamical System Identification, Model Selection and Model Uncertainty Quantification by Bayesian Inference
本研究提出了一种用于动力学系统辨识的贝叶斯MAP框架,等价于广义Tikhonov正则化,并证明其后验高斯范数为不同系统和噪声模型下的定量模型选择提供了稳健度量。
2024-07-22 nlin.CD stat.ME stat.ML
Seismic Bayesian evidential learning: Estimation and uncertainty quantification of sub-resolution reservoir properties
我们提出了一个框架,使估计低维次分辨率储层属性直接从地震资料,而不需要解决一个高维地震逆问题。我们的工作流程基于贝叶斯证据学习方法,并利用学习地震资料和储层性质之间的直接关系来有效地估计储层性质。我们开发的理论框架允许将非线性统计模型用于地震估计问题。使用近似贝叶斯计算进行不确定性量化。借助一个估算次分辨率薄砂岩储层中储层净总饱和度和平均流体饱和度的综合实例,展望了无监督和监督学习方法在地震估算问题中的适用性。最后,我们通过使用三维叠前地震资料估计来自海上三角洲数据集的亚分辨率薄砂岩储层中储层净对总的后验不确定性来证明我们的方法的有效性。
2019-05-14 physics.geo-ph stat.ML
Uncertainty quantification of molecular property prediction using Bayesian neural network models
KAIST(韩国科学技术院);Seoul National University(首尔国立大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
在化学领域,深度神经网络模型越来越多地用于各种应用,如分子性质预测、新型分子设计和规划化学反应。尽管最先进的模型和算法的使用迅速增加,但深度神经网络模型在实际应用中的预测效果往往很差,因为模型性能高度依赖于训练数据的质量。在分子分析领域,数据大多来自复杂的化学实验或近似的数学方程,数据的质量可能受到质疑,本文将贝叶斯神经网络用于分子性质预测,量化预测的不确定性。我们估计模型驱动和数据驱动的不确定性,证明了有用的不确定性量化作为质量检查和置信度指标与三个实验。我们的研究结果表明,不确定性量化是必要的,更可靠的分子应用和贝叶斯神经网络模型可以是一个实用的方法。
2018-11-19 cs.LG physics.chem-ph stat.ML
Bayesian Optical Flow with Uncertainty Quantification
Clarkson University(克拉克森大学)
光流是指在两个连续图像之间观察到的视觉运动。由于自由度通常比图像观测所施加的约束大得多,因此光流作为逆问题的直接公式化是不适定的。确定光流的标准方法依赖于公式化和求解包含数据保真度项和正则化项的优化问题,后者有效地解决了逆问题的不适定性。在这项工作中,我们离开了确定性的形式主义,而不是把光流作为一个统计逆问题。我们讨论了如何一个经典的光流解决方案可以被解释为一个点估计在这个更一般的框架。统计方法,其“解决方案”是流场的分布,我们称之为贝叶斯光流,不仅允许“点”估计(例如,平均流场的计算),而且统计估计(例如,不确定性的量化),其超出了用于光流的任何标准方法。作为应用,我们基准贝叶斯光流一起使用几种类型的规定地面实况流场和图像的不确定性量化。
2018-08-20 cs.CV physics.data-an stat.ML
Bayesian multi--dipole localization and uncertainty quantification from simultaneous EEG and MEG recordings
我们处理估计多个偶极子从组合MEG和EEG时间序列。我们使用顺序蒙特卡罗算法来表征后验分布的偶极子的数量和它们的位置。通过考虑三个测试案例,我们表明,使用组合数据的方法可以本地化的来源,不容易(或根本不)单独与两个单独的数据可见。此外,来自组合数据的后验分布显示出比来自单个器械的后验分布更低的方差,即更低的不确定性。
2017-06-19 q-bio.QM stat.AP
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology(佐治亚理工学院)
不确定性量化是必不可少的,当处理病态的反问题,由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是,通常不可能用公式表示一个先验分布,它精确地编码了我们关于未知的先验知识。此外,坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题,我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验,这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计,我们使用随机梯度Langevin动力学对后验分布进行采样,并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后,我们提出了逐点方差的估计作为衡量的不确定性,这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
SPUX Framework: a Scalable Package for Bayesian Uncertainty Quantification and Propagation
我们提出SPUX -一个模块化的框架,贝叶斯推断,使不确定性量化和传播的线性和非线性,确定性和随机模型,并支持贝叶斯模型选择。SPUX可以耦合到以任何编程语言编写的任何串行或并行应用程序(例如,包括Python,R,Julia,C/C++,Fortran,Java或二进制可执行文件),可以轻松地从个人计算机上的串行运行扩展到并行高性能计算集群,并旨在提供一个特别适合支持和促进计算科学可重复性的平台。我们说明了SPUX的功能,一个简单而有代表性的随机游动模型,描述了如何耦合不同类型的用户应用程序,并展示了几个现成的例子,从环境科学。除了现有的最先进的数值推理算法,包括EMCEE,PMCMC(PF)和SABC,SPUX框架的开源性质和层次并行SPUX执行器的明确描述也应该大大简化其他推理和优化技术的实现和使用。
2021-05-12 cs.CE cs.MS stat.CO
Bayesian Inference for NMR Spectroscopy with Applications to Chemical Quantification
核磁共振(NMR)光谱利用原子核的磁性来发现分子的结构,反应状态和化学环境。我们提出了一个概率生成模型和推理程序的NMR光谱。具体来说,我们使用的三角函数进行指数衰减的加权和模型自由感应衰减(FID)信号。我们讨论了在估计这个一般模型的组件-振幅,相移,频率,衰减率和噪声方差-的挑战,并提供实际的解决方案。我们比较与传统的傅里叶变换光谱估计化学品在混合物中的相对浓度,使用合成和实验获得的FID信号。我们发现所提出的模型对低信噪比(SNR)和FID的傅里叶变换中的重叠峰特别鲁棒,从而能够进行准确的预测(例如,1%灵敏度),这是常规光谱学(5%灵敏度)无法实现的。
2014-02-24 stat.AP stat.ME stat.ML
Inverse Uncertainty Quantification by Hierarchical Bayesian Modeling and Application in Nuclear System Thermal-Hydraulics Codes
本文提出一种新颖的分层贝叶斯模型,有效缓解了核热工水力系统逆向不确定性量化中物理模型参数高变异性和过拟合问题,提供更优的后验分布估计并具备推广至大型数据库的潜力。
2024-03-26 physics.data-an stat.CO
Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data
GE Research(通用电气研究中心)
关于物理学,数据告诉了我们什么,它们没有告诉我们什么?人们对使用机器学习模型从数据中发现微分方程等支配性物理定律的兴趣激增,但目前的方法缺乏不确定性量化来传达其可信度。这项工作从贝叶斯的角度解决了这个缺点。我们介绍了一种新的模型,包括“叶”模块,学习代表不同的实验的时空功能数据作为神经网络和一个单一的“根”模块,表示其管理的非线性微分算子作为高斯过程的非参数分布。自动微分用于从叶函数计算所需的偏导数作为根的输入。我们的方法量化的可靠性的学习物理学的后验分布在运营商和传播这种不确定性的解决方案的新的初边值问题的实例。数值实验证明了该方法对几个非线性偏微分方程。
2020-06-07 cs.LG stat.ML