Uncertainty Quantification for Linear Inverse Problems with Besov Prior: A Randomize-Then-Optimize Method
本文提出随机化-然后-优化方法,用于具有Besov先验的贝叶斯线性反问题,实现后验采样与不确定性量化,并通过多个数值实验验证其有效性。
2025-06-20 cs.NA math.NA stat.CO
Gaussian Process Regression for Active Sensing Probabilistic Structural Health Monitoring: Experimental Assessment Across Multiple Damage and Loading Scenarios
本研究提出了一种基于损伤指标和高斯过程回归模型的结构损伤量化框架,通过计算测试点源自特定状态的概率实现基于概率的决策,并在三种损伤与载荷场景下实验评估了标准与变分异方差模型的性能。
2021-06-28 eess.SP stat.AP stat.ML
A generalized Bayes framework for probabilistic clustering
基于损失的聚类方法,如k-means及其变体,是在数据中查找组的标准工具。然而,缺乏量化的不确定性估计集群是一个缺点。基于混合模型的基于模型的聚类提供了一种替代方案,但这样的方法面临计算问题和对核的选择很敏感。本文提出了一个广义贝叶斯框架,这两个范式之间的桥梁,通过使用吉布斯后验。在进行贝叶斯更新时,对数似然被聚类的损失函数所取代,从而产生了丰富的聚类方法家族。吉布斯后验表示贝叶斯信念的一致更新,而无需指定数据的可能性,并且可以用于表征聚类中的不确定性。我们认为损失的基础上Bregman分歧和成对的相似性,并制定有效的确定性算法的点估计以及采样算法的不确定性量化。几个现有的聚类算法,包括k-means,可以被解释为广义贝叶斯估计在我们的框架下,因此,我们提供了一种方法的不确定性量化这些方法。
2020-06-09 stat.ME stat.ML
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
A novel active learning-based Gaussian process metamodelling strategy for estimating the full probability distribution in forward UQ analysis
Guangzhou University(广州大学);ETH Zürich(苏黎世联邦理工学院)
提出了一种基于主动学习的高斯过程(AL-GP)元建模方法,用于估计前向不确定性量化(UQ)问题的累积和互补累积分布函数(CDF/CCDF)。在UQ领域,以前的研究集中在开发AL-GP方法的可靠性(罕见事件概率)分析昂贵的黑盒求解器。这些算法相对于不同CDF/CCDF阈值的朴素迭代将产生离散化CDF/CCDF。然而,这种方法不可避免地导致精度和计算效率之间的权衡,因为两者都取决于(以相反的方式)所选择的离散化。在这项研究中,一个专门的误差测量和学习功能的开发,使所得到的AL-GP方法能够有效地估计CDF/CCDF为一个指定的范围内的利益,而不显着依赖于离散化。特别地,所提出的AL-GP方法能够同时提供准确的CDF和CCDF估计在其中低概率区域。通过三个数值算例验证了该方法的有效性。
2019-08-27 cs.LG stat.AP stat.ML
A Survey of Parameter and State Estimation in Queues
我们提出了一个广泛的文献调查的参数和状态估计的嵌入式系统。我们的方法是基于各种推理活动,推理模型,观测方案和统计方法。我们将这些分类为我们称之为估计范式的研究分支。其中包括:经典采样方法,逆问题,非交互系统的推理,离散采样推理,基于排队基本原理的推理,排队推理机问题,贝叶斯方法,在线预测,隐式模型,控制,设计和不确定性量化。对于每一种估计范式,我们概述了原则和想法,同时调查了关键参考文献。我们还提出了各种简单的数值实验。除了这里提到的一些关键参考文献外,一个经过更新的关于队列参数和状态估计的综合参考文献列表将保存在附带的注释书目中。
2020-12-29 math.PR stat.ME
Sequential Bayesian parameter-state estimation in dynamical systems with noisy and incomplete observations via a variational framework
University of Michigan(密歇根大学)
提出一种在线变分推断框架,通过分解联合后验为参数边缘分布和条件状态分布,实现动态系统参数与状态的联合估计,并给出误差上界理论保证,数值实验验证了其在混沌和高维系统中的鲁棒性与可扩展性。
2026-06-12 stat.ME
Sparse Uncertainty Representation in Deep Learning with Inducing Weights
University College London(伦敦大学学院);Microsoft Research Cambridge(微软剑桥研究院);Imperial College London(帝国理工学院)
贝叶斯神经网络和深度集成代表了深度学习中不确定性量化的两种现代范式。然而,这些方法难以扩展,主要是由于内存效率低下的问题,因为它们需要的参数存储比它们的确定性对应物高几倍。为了解决这个问题,我们用少量的诱导权重来增加每层的权重矩阵,从而将不确定性量化投影到这样的低维空间中。我们进一步扩展Matheron的条件高斯采样规则,使快速权重采样,这使得我们的推理方法,以保持合理的运行时间相比,合奏。重要的是,我们的方法在使用完全连接的神经网络和ResNets的预测和不确定性估计任务中实现了具有竞争力的性能,同时将参数大小减少到$single$神经网络的参数大小的$\leq 24.3\%$。
2021-11-22 cs.LG stat.ML
FedPop: A Bayesian Approach for Personalised Federated Learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Criteo AI Lab(Criteo人工智能实验室);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Ecole Polytechnique(巴黎综合理工学院)
个性化联邦学习(FL)旨在协作学习为每个客户端定制的机器学习模型。尽管在这个方向上已经取得了令人鼓舞的进展,但大多数现有方法都不允许不确定性量化,而不确定性量化在许多应用中至关重要。此外,跨设备设置中的个性化仍然涉及重要问题,特别是对于新客户或观察次数较少的客户。本文旨在填补这些空白。为此,我们提出了一种新的方法FedPop重塑个性化FL到人口建模范式,客户端的模型涉及固定的共同人口参数和随机效应,旨在解释数据的异质性。为了获得我们的计划的收敛保证,我们引入了一类新的联邦随机优化算法,它依赖于马尔可夫链蒙特卡罗方法。与现有的个性化FL方法相比,所提出的方法具有重要的优点:它对客户端漂移具有鲁棒性,对于新客户端的推断具有实用性,最重要的是,能够在温和的计算和内存开销下进行不确定性量化。我们提供了非渐近收敛保证所提出的算法,并说明其性能的各种个性化的联邦学习任务。
2023-01-26 cs.LG stat.ME stat.ML
Multiscale modeling, discretization, and algorithms: a survey in biomechanics
Institute of Computational Science, Università della Svizzera italiana(计算科学研究所,瑞士意大利大学)
本文综述了生物力学中多尺度模型、离散化方法及算法,探讨了多级和多保真度不确定性量化技术,并指出机器学习和贝叶斯方法可补充传统物理和数值分析方法。
2018-06-27 cs.CE cs.NA math.NA
A multi-fidelity neural network surrogate sampling method for uncertainty quantification
提出了一种多保真度神经网络替代抽样方法,用于描述由常微分方程或偏微分方程描述的物理/生物系统的不确定性量化。我们首先通过低/高保真度计算模型生成一组低/高保真度数据,例如使用控制微分方程的较粗/较细离散化。然后,我们构建了一个两级神经网络,其中利用了大量的低保真度数据,以加速构建一个高保真的代理模型与一个小的高保真数据集。然后,我们嵌入构造的高保真代理模型的蒙特卡罗抽样的框架。该算法结合了神经网络的逼近能力和多保真度框架内的蒙特卡罗采样的优点。我们提出了两个数值例子来证明所提出的方法的准确性和效率。我们表明,显着节省计算成本时,可以实现输出预测是准确的小公差。
2020-05-05 cs.NA math.NA physics.comp-ph
Uncertainty quantification in complex systems using approximate solvers
Cornell University(康奈尔大学)
针对计算成本高昂且具有大量非高斯不确定性向量的复杂系统,提出一种结合先进蒙特卡洛采样与贝叶斯公式的不确定性量化框架,通过严格使用廉价近似计算模型(如粗化离散化、增大时间步长、减少求解器迭代或使用低阶模型)来显著降低计算量,同时保证统计量的准确估计并提供置信界限。
2008-08-25 cs.NA math.NA physics.comp-ph
Multilevel and multifidelity uncertainty quantification for cardiovascular hemodynamics
心血管建模中的不确定性量化的标准方法由于大量的不确定输入和现实三维模拟的显著计算成本而带来挑战。我们提出了一个有效的不确定性量化框架,利用多层次的多保真度蒙特卡罗估计,以提高血流动力学量的准确性,同时保持合理的计算成本。这是通过利用三种心血管模型的相似性来实现的,每种模型都具有不同的空间分辨率,以严格量化血液动力学输出的可变性。我们采用两个低保真模型来构建几个不同的估计。我们的目标是调查和比较这些低保真和高保真模型的组合建立的估计的效率。我们证明了这个框架上的健康和患病模型的主动脉和冠状动脉解剖结构,包括材料属性和边界条件参数的不确定性。我们试图证明,对于这个应用程序,它是可能的,以加快收敛的估计,利用MLMF范式。因此,我们比较我们的方法,蒙特卡罗和多级蒙特卡罗估计的基础上,只有三维模拟。我们证明了显着减少总的计算成本与MLMF估计。我们还研究了健康与患病模型中MLMF估计量的不同特性,以及全局与局部感兴趣的数量。正如预期的那样,全局数量和健康模型显示出比局部数量和患病模型更大的减少,因为后者更严重地依赖于最高保真度的模型评估。在所有情况下,我们的工作流程将Dakota的MLMF估计器与SimVascular心血管建模框架相结合,使得不确定性量化对于受限的计算预算是可行的。
2020-04-16 physics.comp-ph q-bio.QM stat.AP
When Does Cheap Physics Help? Gated Multi-Fidelity Physics-Informed Networks with Provable Sample Savings and Conformal Guarantees
Department of Applied Mathematics and Computer Science (DTU Compute)(应用数学与计算机科学系(DTU Compute));Technical University of Denmark(丹麦技术大学)
本文提出MF-BPINN,通过结合贝叶斯不确定性量化和自适应残差学习,高效求解参数偏微分方程。
2026-10-27 cs.LG cs.NA math.NA
Molecular simulation from modern statistics: Continuous-time, continuous-space, exact
本文提出一种基于现代统计学的分子模拟新范式,实现连续时间、连续空间且严格精确的模拟,避免了传统方法中的离散化、近似和截断问题,并在高精度下达到与传统方法的盈亏平衡点。
2023-07-07 physics.chem-ph physics.comp-ph
Bayesian neural networks for weak solution of PDEs with uncertainty quantification
University of Michigan(密歇根大学)
求解偏微分方程(PDE)是理解物理系统行为的经典方法。然而,使用最先进的离散化技术的偏微分方程的大规模解决方案仍然是一个昂贵的命题。在这项工作中,提出了一种新的物理约束的神经网络(NN)的方法来解决没有标签的偏微分方程,以期实现高通量的解决方案,支持设计和决策。与现有的物理通知NN方法不同,其中强形式或弱形式的PDE用于构造损失函数,我们通过一个有效的,基于卷积运算符的离散化残差的PDE和矢量化的实现编写NN的损失函数。我们探索了确定性和概率模型的编码器-解码器NN结构,后者使用贝叶斯NN(BNN),这使我们能够量化模型参数的认知不确定性和数据中噪声的任意不确定性。对于BNN,离散残差用于构造似然函数。在我们的方法中,确定性和概率卷积层都用于学习应用的边界条件(BC)并检测问题域。由于Dirichlet和Neumann BC都被指定为NN的输入,因此单个NN可以解决类似的物理问题,但具有不同的BC和许多问题域。经过训练的代理PDE求解器还可以对它们在训练期间未暴露的BC进行内插和外推(在一定程度上)预测。这种代理模型对于需要多次重复求解类似类型的偏微分方程而又略有变化的问题尤为重要。我们证明了所提出的框架的能力和性能,将其应用到稳态扩散,线性弹性和非线性弹性。
2021-01-13 cs.CE cs.LG physics.comp-ph
Ab initio uncertainty quantification in scattering analysis of microscopy
本文提出从头不确定性量化(AIUQ)方法,通过概率生成模型和最大边际似然估计消除散射分析中人工选择波矢范围的需要,并在微分动态显微术及多类实验中验证了其自动化、高精度估计与模型选择能力。
2024-09-04 cond-mat.soft physics.comp-ph physics.data-an
Implicit and explicit treatments of model error in numerical simulation
School of Civil and Environmental Engineering Georgia Institute of Technology(佐治亚理工学院土木与环境工程学院)
本文综述了数值模拟中处理模型误差的隐式和显式方法,涵盖贝叶斯框架、概率数值方法、机器学习校正等技术,旨在提升预测性能和不确定性量化。
2026-01-22 physics.comp-ph
A Hybrid Deep Neural Operator/Finite Element Method for Ice-Sheet Modeling
University of Minnesota(明尼苏达大学);Sandia National Laboratories(桑迪亚国家实验室);Pacific Northwest National Laboratory(太平洋西北国家实验室);Brown University(布朗大学)
气候模拟中最具挑战性和最重要的问题之一是提供海平面上升的概率预测。海平面预测的不确定性很大一部分是由于冰盖动力学的不确定性。目前,冰盖计算模型的成本阻碍了不确定性的准确量化。在这项工作中,我们开发了一种混合方法,以其成本的一小部分来近似现有的冰盖计算模型。我们的方法包括替换的有限元模型的动量方程的冰速度,最昂贵的部分的冰盖模型,与深度算子网络,同时保留一个经典的有限元离散化的冰厚度的演变。我们表明,由此产生的混合模型是非常准确的,它是一个数量级的速度比传统的有限元模型。此外,与其他神经网络方法相比,所提出的模型的一个显着特点是,它可以处理高维参数空间(参数字段),如冰川床的基底摩擦,因此可以用于生成样本的不确定性量化。我们研究了超参数、未知数数量和参数分布的相关长度对深度算子网络在合成冰盖模型上的训练和准确性的影响。然后,我们的目标在格陵兰岛的洪堡冰川的演变,并表明,我们的混合模型可以提供准确的统计数据的冰川质量损失,并可以有效地用于加速量化的不确定性。
2023-01-26 cs.LG physics.ao-ph physics.comp-ph
Computational Micromagnetics based on Normal Modes: bridging the gap between macrospin and full spatial discretization
Landau-Lifshitz方程的磁化动力学写在与微磁系统的适当的基态的正常模式的振幅。这导致非线性常微分方程(ODE)的系统,其右侧可以表示为线性项和非线性项的总和,其中非线性项的阶数增加(二次,三次等)。纳米结构的磁性系统的方法的应用表明,磁化动力学的准确描述需要有限数量的正常模式,这导致在相当大的提高计算速度。所提出的方法可用于获得磁性纳米结构的降阶动力学描述,其允许调整低维模型(例如宏观自旋)与具有全空间离散化的微磁模型之间的精度。这种新的微磁模拟范例测试三个问题相关的自旋电子学和磁振子领域:定向自旋波耦合磁振子波导,高功率铁磁共振的磁性纳米点,和注入锁定自旋扭矩纳米振荡器。所考虑的案例研究表明所提出的方法的有效性,系统地获得一个基于正常模式的磁纳米系统的分析的中间阶动力学模型。对于系统,仅需进行一次简正模式的耗时计算。这些模式可用于优化和预测所有可能的时变外部激励(磁场,自旋电流)的系统响应。这对于需要快速和准确的系统仿真的应用至关重要,例如在包括磁性器件的电子电路中。
2021-10-07 cond-mat.other nlin.PS physics.comp-ph
Quantifying total uncertainty in physics-informed neural networks for solving forward and inverse stochastic problems
物理信息神经网络(PINN)最近出现作为解决偏微分方程(PDE)的替代方法,而不需要构建复杂的网格,而是使用简单的实现。特别地,除了用于解的深度神经网络(DNN)之外,还考虑表示PDE的残差的第二DNN。然后,将残差与解的给定数据中的失配组合,以便用公式表示损失函数。该框架是有效的,但由于数据中固有的随机性或由于DNN架构的近似限制,缺乏解决方案的不确定性量化。在这里,我们提出了一种新的方法,其目标是赋予DNN两个不确定性来源的不确定性量化,即,参数不确定性和近似不确定性。我们首先考虑参数的不确定性时,在微分方程中的参数表示为一个随机过程。多个DNN被设计为通过使用来自稀疏传感器的随机数据来学习其解的任意多项式混沌(aPC)展开的模态函数。然后,我们可以使用经过训练的DNN非常有效地从新传感器测量结果进行预测。此外,我们采用dropout来纠正过拟合,并量化DNN在近似模态函数时的不确定性。然后,我们设计了一个主动学习策略的基础上辍学的不确定性放置新的传感器在域中,以提高DNN的预测。几个数值试验进行的正问题和反问题,以量化的有效性PINNs结合不确定性量化。这种具有不确定性量化的物理信息深度学习的NN-aPC新范式可以很容易地应用于其他类型的多维随机偏微分方程。
2018-09-21 math.AP physics.comp-ph stat.ML
Neural Operator: Is data all you need to model the world? An insight into the paradigm of data-driven scientific ML
Department of Computer Science, Purdue University(普渡大学计算机科学系);Hopkins Extreme Materials Institute, Johns Hopkins University(约翰霍普金斯大学霍普金斯极端材料研究所)
本文探讨数据驱动方法如何补充传统技术解决工程和物理问题,并指出机器学习方法的开放性问题,强调神经算子在离散性和分辨率不变性方面的优势。
2026-04-18 cs.AI cs.LG physics.comp-ph