Efficient Bayesian Physics Informed Neural Networks for Inverse Problems via Ensemble Kalman Inversion
University of Iowa(爱荷华大学)
贝叶斯物理信息神经网络(Bayesian Physics Informed Neural Networks,B-PINNs)在物理参数推断和偏微分方程正解学习方面受到了广泛关注。然而,神经网络的过参数化性质对高维后验推理提出了计算挑战。现有的推理方法,如基于粒子或方差的推理方法,要么是计算昂贵的高维后验推理或提供不满意的不确定性估计。在本文中,我们提出了一个新的高效的推理算法B-PINNs,使用Encourage卡尔曼反演(EKI)的高维推理任务。我们发现,我们所提出的方法可以实现推理结果与信息的不确定性估计相比,哈密顿蒙特卡罗(HMC)为基础的B-PINNs的计算成本大大降低。这些发现表明,我们提出的方法具有很大的潜力,在物理信息机器学习的实际应用中的不确定性量化。
2023-03-13 cs.LG stat.ML
Generative models and Bayesian inversion using Laplace approximation
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院)
解决逆问题的贝叶斯方法依赖于先验的选择。这一关键因素允许以概率方式制定专家知识或物理约束,并对推理的成功起着重要作用。最近,贝叶斯逆问题的解决使用生成模型作为高信息先验。生成模型是机器学习中的一种流行工具,用于生成属性与给定数据库的属性非常相似的数据。通常,生成的数据分布嵌入在低维流形中。对于逆问题,在反映所寻求的解决方案的属性的数据库上训练生成模型,例如磁共振(MR)成像中人脑中组织的典型结构。推理是在生成模型确定的低维流形上进行的,大大降低了反问题的维数。然而,这一过程产生了一个后验,承认没有勒贝格密度在实际变量和达到的准确性可以在很大程度上取决于生成模型的质量。对于线性高斯模型,我们探索了一种替代的贝叶斯推断的基础上概率生成模型,这是在原来的高维空间。一个拉普拉斯近似解析推导所需的先验概率密度函数诱导的生成模型。由此产生的推理的性质进行了研究。具体来说,我们证明,派生的贝叶斯估计是一致的,相反,采用低维流形的生成模型的方法。MNIST数据集被用来构建数值实验,证实了我们的理论研究结果。
2022-11-07 cs.LG math.ST stat.ML
Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks
Disaster Prevention Research Institute, Kyoto University(京都大学灾害预防研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出功能先验方法,用于贝叶斯偏微分方程约束反演,通过结合物理信息神经网络,引入功能先验以提高反演精度,并展示了两种互补方法:FPI-BPINN和fParVI-PINN,分别在权重空间和函数空间进行贝叶斯推断。
2026-08-14 cs.LG physics.comp-ph physics.geo-ph
Bayesian Updates Compose Optically
贝叶斯规则告诉我们如何反转因果过程,以便根据新的证据更新我们的信念。如果过程被认为具有复杂的组合结构,我们可能会问,组合组件过程的反演是否会给出与整体反演相同的信念更新。我们肯定地回答了这个问题,表明相关的组成结构正是透镜图案的组成结构,并且我们可以将贝叶斯反演看作是相应的非线性范畴中的状态依赖态射的一个特定实例。本文定义了(混合)贝叶斯透镜的一般概念,并讨论了当这些透镜的反变分量是精确贝叶斯反演时,它们的合法性。我们证明我们的主要结果抽象和具体的,离散和连续状态,照顾到说明共同的结构。
2020-07-28 math.CT math.ST stat.TH
Stability of Gibbs Posteriors from the Wasserstein Loss for Bayesian Full Waveform Inversion
最近,Wasserstein损失函数被证明是有效的,当应用于确定性全波形反演(FWI)问题。我们考虑应用这个损失函数在贝叶斯FWI,使不确定性可以捕获的解决方案。为了比较,还考虑了在实践中常用的其他损失函数。在对先验和模型的弱假设下,证明了所得Gibbs后验在函数空间上的存在性和稳定性。特别是,所产生的Wasserstein损失的分布被证明是相当稳定的高频噪声的数据。然后,我们用数值方法说明了所得分布之间的差异,使用拉普拉斯近似来估计未知的速度场和与估计相关的不确定性。
2021-04-16 cs.NA math.NA math.ST
Appropriate reduction of the posterior distribution in fully Bayesian inversions
贝叶斯反演从观测方程和先验信息生成模型参数的后验分布,两者都由超参数加权。先验也被引入到完全贝叶斯反演中的超参数中,使我们能够通过联合后验概率地评估模型参数和超参数。然而,即使在线性逆问题中,如何从联合后验中提取模型参数的有用信息也是一个未解决的问题。本文对全贝叶斯反演中联合后验数据的适当降维问题进行了理论探讨。我们将概率约简的方法分为以下三类,重点关注联合后验的边缘化:(1)使用无边缘化的联合后验,(2)使用模型参数的边缘后验和(3)使用超参数的边缘后验。首先,我们得出几个分析结果,这些类别的。一个是一套半解析表示的概率最大化估计的线性逆问题中的各个类别。对于大量的数据和模型参数,发现(1)和(2)类的模式估计量是渐近相同的。我们还证明了第(2)和第(3)类的渐近分布δ函数集中在它们的概率峰值上,这预示着模型参数的两个不同的最优估计。其次,我们进行了一个综合测试,发现一个适当的减少是实现了类别(3),赤池的贝叶斯信息准则(ABIC)为代表。其他减少类别的情况下,许多模型参数,发现模型参数的边缘后验的概率集中不再意味着中心极限定理不合适。
2022-05-16 math.ST physics.geo-ph stat.TH
Data-Driven Forward Discretizations for Bayesian Inversion
本文提出了一个框架,学习昂贵的前向模型的离散化贝叶斯逆问题。其主要思想是将离散化的参数作为贝叶斯机器中待估计的未知数的一部分。我们数值计算表明,在机械工程,信号处理和地球科学中出现的各种反问题,观测包含有用的信息,以指导离散化的选择。
2020-08-21 cs.NA math.NA stat.CO
Blade: A Derivative-free Bayesian Inversion Method using Diffusion Priors
California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Peking University(北京大学)
本文提出Blade方法,通过使用扩散模型作为数据驱动的先验,解决无导数贝叶斯反演中高维非线性问题的后验估计问题,实现了准确且校准良好的后验分布。
2026-06-03 cs.LG stat.ML
Reconciling Bayesian and perimeter regularization for binary inversion
从观测数据重建不连续函数的经典算法的一个中心主题是通过使用全变差的周长正则化。另一方面,稀疏或有噪声的数据通常需要一种概率方法来重建图像,以实现不确定性量化;贝叶斯反演方法本身引入了一种正则化形式,是一种自然的框架。在本文中,贝叶斯反演方法和周长正则化之间的联系进行了探讨。在本文中,两个环节进行了研究:(i)最大后验(MAP)目标函数的适当选择贝叶斯相场方法被证明是密切相关的最小二乘加周长正则化目标;(ii)样本路径的适当选择贝叶斯水平集制定具有有限的周长,并有能力了解真正的周长。
2020-04-10 math.OC stat.ME
Cauchy difference priors for edge-preserving Bayesian inversion with an application to X-ray tomography
研究了保边贝叶斯统计逆问题的柯西分布差分先验。与众所周知的全变差先验相反,一维柯西先验在离散极限下也是非高斯先验。柯西先验具有独立同分布的增量。一维柯西随机游动和一维高斯随机游动是Lévy $α$ -稳定随机游动的特例,分别具有$α=1$和$α=2$。这两种随机游动都可以写成封闭形式,并且作为先验,它们提供平滑和边缘保持特性。我们还简要讨论了连续和离散的Lévy $α$ -稳定的随机游动,并推广到二维先验的方法。我们将所开发的算法应用于一维反卷积和二维X射线层析成像问题。我们用单分量Metropolis-Hastings方法计算条件均值估计,用Gauss-Newton型最优化方法计算最大后验估计。我们比较建议的层析重建方法过滤反投影估计和条件均值估计与高斯和全变差先验。
2016-03-19 math.ST stat.TH
Hierarchical Bayesian Level Set Inversion
水平集方法自20世纪90年代系统发展以来,在界面反问题的研究中取得了广泛的成功。最近,它已被用于贝叶斯反演的背景下,允许量化的不确定性重建的接口。然而,贝叶斯方法是非常敏感的长度和幅度尺度的先验概率模型。本文演示了如何规模的敏感性,可以规避通过一个层次的方法,使用一个单一的标量参数。随着分层参数的变化,编码概率测度等价的算法的发展与仔细考虑一起,这导致了通过交替的Metropolis-Hastings更新的水平集函数和分层参数发现的定义良好的基于Gibbs的MCMC方法。这些方法明显优于非分层贝叶斯水平集方法。
2016-09-09 math.PR stat.ME
Inversion of Bayesian Networks
Hamburg University of Technology(汉堡工业大学);University of Oxford(牛津大学);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
本文在概率图模型与贝叶斯网络框架下,研究识别网络精确表示生成模型真实后验的充要条件,给出基于 d-分离的全局条件及局部条件,并指出完美性的关键作用。
2023-11-02 cs.AI cs.LG stat.ML
Sequential Bayesian Design for Efficient Surrogate Construction in the Inversion of Darcy Flows
School of Mathematics and Statistics(数学与统计学学院);Central South University(中南大学);Institute of Mathematics(数学研究所);Henan Academy of Sciences(河南省科学院)
针对Darcy流PDE反演中正演求解昂贵、全局代理构建成本高的问题,提出SBD-LAS,用序贯贝叶斯设计构建聚焦似然高概率区的局部精确代理并加速计算。
2025-07-23 cs.LG stat.ML
Sampling Strategies in Bayesian Inversion: A Study of RTO and Langevin Methods
Department of Applied Mathematics and Computer Science(应用数学与计算机科学系);Technical University of Denmark(丹麦技术大学)
本文对比了RTO与Langevin两类贝叶斯反演采样方法,通过去模糊和修复实验表明RTO对参数更稳健,且采样方法选择显著影响重建质量。
2024-11-05 cs.CV eess.IV math.ST
Bayesian model inversion using stochastic spectral embedding
在本文中,我们提出了一种新的无采样方法来解决贝叶斯模型反演问题,这是以前提出的谱似然展开(SLE)方法的扩展。我们的方法,称为随机谱似然嵌入(SSLE),使用最近提出的随机谱嵌入(SSE)方法的局部谱扩展细化近似的似然函数的贝叶斯反演问题的核心。我们表明,与SLE类似,这种方法通过直接对展开系数进行后处理,得到了贝叶斯后验分布的关键统计数据(例如证据、后验矩和后验边缘)的解析表达式。因为SSLE和SSE依赖于似然函数的直接近似,所以它们在某种程度上独立于前向模型的计算/数学复杂性。我们进一步提高SSLE的效率,通过引入似然特定的自适应样本富集计划。为了展示所提出的SSLE的性能,我们解决了三个问题,表现出不同种类的复杂性的似然函数:多模态,高后验浓度和高标称维数。我们展示了SSLE如何显着改善SLE,并提出它作为一个有前途的替代现有的反演框架。
2021-04-20 stat.CO stat.ME
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流,依托过程无穷小生成元构建无穷维问题,探讨优化与采样求解方法,初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
Bayesian Spatial Inversion and Conjugate Selection Gaussian Prior Models
本文在贝叶斯空间反演中引入了对给定似然函数的共轭先验模型的概念。先验模型的共轭类可以选择扩展,并且仍然保持共轭。我们证明了选择高斯先验模型的一般性,代表多模态,偏态和重尾。对于高斯线性似然函数,后验模型也是选择高斯的。后验概率密度函数的模型参数是似然模型和先验模型的模型参数的显函数,当然还有实际观测值。有效的算法模拟和预测的选择高斯后验概率密度函数的定义。基于空间变量的一个训练图像,通过极大似然准则和数值优化,可以可靠地推断选择高斯先验概率密度函数中的模型参数。最后,给出了一个地震反演实例,并发现了$ 20$ - $40\%$相对于传统高斯反演在预测均方误差方面的改进。
2018-12-05 stat.ME
Complexity Analysis of Accelerated MCMC Methods for Bayesian Inversion
Mathematics Institute, Warwick University(华威大学数学研究所)
针对模型椭圆PDE的贝叶斯反演问题,分析了几种MCMC方法的计算复杂度,并提出了稀疏多项式混沌代理和多层MCMC两种加速策略以降低复杂度。
2013-04-30 cs.NA math.NA math.ST
A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models
University of Bath(巴斯大学)
我们研究了一种深度学习方法,用于在潜在高维参数空间上的偏微分方程(PDE)和积分方程模型中有效地执行贝叶斯推断。本文的贡献是双重的,首先是引入神经网络方法来近似的解决方案的Fredholm和Volterra积分方程的第一和第二类。第二个是开发一种新的、高效的基于深度学习的贝叶斯反演方法,应用于可由偏微分方程或积分方程描述的问题。为了实现这一目标,我们引入了一个代理模型,并演示了如何使有效的抽样贝叶斯后验分布的可能性依赖于偏微分方程或积分方程的解决方案。我们的方法依赖于神经网络的参数解的直接逼近,而不需要传统的数值求解。这种深度学习方法允许在比使用经典离散化方案更高的维度上精确和有效地近似参数解。由于近似解的计算成本较低,因此利用马尔可夫链蒙特卡罗方法求解大参数空间上的贝叶斯反问题是有效的。我们证明了我们的方法的性能,使用两个现实世界的例子,其中包括贝叶斯推理的PDE和积分方程的情况下,从电化学的例子,和贝叶斯推理的函数值的传热参数在航空中的应用。
2021-03-25 cs.LG cs.NA math.NA
Geometric Autoencoder Priors for Bayesian Inversion: Learn First Observe Later
Department of Engineering University of Cambridge(工程系剑桥大学);Institute of Structural Engineering ETH Zürich(结构工程研究所苏黎世联邦理工学院)
本文提出GABI框架,通过学习几何感知的生成模型作为贝叶斯反演的先验,利用ABC采样实现高效反演,适用于复杂几何问题。
2026-05-13 cs.LG physics.comp-ph physics.data-an
Structure-aware Bayesian full waveform inversion via diffusion-regularized Stein variational gradient descent
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究针对传统ASVGD-FWI的先验不足问题,将学习型扩散模型作为隐式正则化引入框架,结合FWI数据一致性、ASVGD后验多样性,提升了反演稳定性与不确定性可解释性。
2026-10-15 cs.LG physics.geo-ph stat.ML
Automatic tempered posterior distributions for Bayesian inversion problems
Universidad rey Juan Carlos(胡安·卡洛斯国王大学);Universidad Carlos III de Madrd(马德里卡洛斯三世大学)
我们提出了一种新的自适应重要性抽样计划贝叶斯反演问题的利益和数据噪声的功率的推断是分裂的。更具体地说,我们考虑对感兴趣的变量进行贝叶斯分析(即,要反演的模型参数),而我们采用极大似然方法来估计噪声功率。整个技术通过迭代过程、交替采样和优化步骤来实现。此外,噪声功率也被用作感兴趣的变量的后验分布的缓和参数。因此,生成一系列的回火后验密度,其中回火参数是根据噪声功率的实际估计自动选择的。还可以对模型参数和尺度参数进行完整的贝叶斯研究。数值实验表明,所提出的方法的好处。
2021-07-24 cs.AI stat.CO
Provable Diffusion Posterior Sampling for Bayesian Inversion
Southwestern University of Finance and Economics(西南财经大学);RWTH Aachen University(亚琛工业大学);Wuhan University(武汉大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文提出了一种基于扩散的可证明后验采样方法,通过数据学习分数以捕捉先验分布结构,并提供非渐近误差界以确保复杂多模态后验分布的收敛性。
2026-08-03 cs.LG cs.NA math.NA
Akaike's Bayesian information criterion (ABIC) or not ABIC for geophysical inversion
赤池的贝叶斯信息准则(ABIC)已被广泛应用于地球物理反演等领域。然而,很少有人调查其统计方面。我们提出了一种替代的推导测量的边缘分布,其最大化直接导致了赤池ABIC的发明。我们证明了ABIC是通过最大化测量值的边缘分布来统计估计测量值的方差和先验方差。基于ABIC的正则化参数的确定实际上相当于地球物理反问题中测量方差与先验方差之间的相对权重因子的估计。我们表明,如果测量的噪声水平是未知的,ABIC往往会产生一个很大的偏差估计的方差的测量。特别是,由于先验均值通常是未知的,但在地球物理反演中被任意视为零,因此ABIC也不会对先验方差产生合理的估计。
2019-11-15 stat.ME
Bayesian inversion for nanowire field-effect sensors
纳米线场效应传感器最近已经被开发用于生物分子的无标记检测。在这项工作中,我们介绍了一种计算技术的基础上贝叶斯估计,以确定传感器的物理参数,更重要的是,分析物分子的属性。为此,我们首先提出了一个基于偏微分方程的模型来模拟器件的电荷传输和电化学行为。然后,采用具有延迟拒绝的自适应Metropolis算法(DRAM)估计未知参数的后验分布,即分子电荷密度、分子密度、掺杂浓度、电子和空穴迁移率。我们同时确定了器件和分子的性质,并且在确定了器件参数之后,我们还计算了分子密度作为唯一的参数。这种方法不仅可以确定未知参数,而且还可以通过产生密度函数(pdf)来显示每个参数的确定程度。
2019-10-26 cs.NA eess.SP math.NA
Bayesian Inversion via Probabilistic Cellular Automata: an application to image denoising
University of Perugia(佩鲁贾大学)
本文提出利用概率细胞自动机解决逆问题的贝叶斯方法,通过PSNR和SSIM指标比较了PCA与Gibbs采样在图像去噪中的性能,证明PCA在高维逆问题中具有潜力。
2026-03-21 math.PR stat.CO
Bayesian sequential design of computer experiments for quantile set inversion
Université Paris-Saclay, CNRS, CentraleSupélec(巴黎萨克雷大学,法国国家科学研究中心,中央理工-高等电力学院);EDF R&D(法国电力集团研发部)
本文提出了一种基于贝叶斯方法和逐步不确定性降低原理的策略,用于高效近似分位数集反演问题中的目标集合。
2024-12-06 stat.AP stat.ML
WOMBAT: A fully Bayesian global flux-inversion framework
WOMBAT(The WOllongong Methodology for Bayesian Assimilation of Trace-gases)是一个完全贝叶斯分层统计框架,用于从烧瓶、现场和遥感数据中反演痕量气体通量。WOMBAT通过考虑相关误差项、在线偏差校正能力以及对贝叶斯统计模型中出现的所有未知量提供不确定性量化,扩展了传统贝叶斯综合框架。我们表明,在一个观测系统模拟实验(OSSE),这些扩展是至关重要的,当数据确实是有偏见的,并有相关的错误。使用GEOS-Chem大气传输模型,我们表明WOMBAT能够从轨道碳观测站-2(OCO-2)数据中获得非化石燃料CO $_2$通量的后验均值和不确定性,这些数据与Crowell等人(2019,Atmos.化学物理学,第19卷)。我们还发现,我们的预测总柱碳观测网络的样本外检索,在大多数情况下,比MIP参与者所做的更准确。OCO-2数据集的后续版本将在可用时被纳入WOMBAT。
2021-02-08 astro-ph.IM stat.AP
Bayesian full waveform inversion with sequential surrogate model refinement
本文提出一种序贯细化代理模型的贝叶斯全波形反演方法,通过从低频到高频逐步扩展带宽并用后验样本迭代重训练代理模型,在二维跨孔GPR合成数据上以降低约两个数量级的计算成本获得优于传统方法的反演精度。
2025-05-06 physics.geo-ph stat.ML
A practical and efficient approach for Bayesian reservoir inversion: Insights from the Alvheim field data
针对贝叶斯储层反演的计算难题,提出用多元自适应回归样条替代正演模型、结合FFT处理高维场及预条件Crank-Nicolson采样的高效方法,效率提升34倍,经模拟与Alvheim油田数据验证有效。
2024-03-06 stat.AP
Wavenumber-Explicit Well-Posedness of Bayesian Shape Inversion in Acoustic Scattering
Bernoulli Institute, Faculty of Science and Engineering, University of Groningen(格罗宁根大学科学与工程学院伯努利研究所);Institute for Mathematics, Astrophysics and Particle Physics, Radboud University(拉德堡德大学数学、天体物理与粒子物理研究所)
该研究针对声学散射的贝叶斯形状反问题,建立了其适定性,明确噪声敏感性随波数平方指数增长的规律,通过数值实验验证了波数对稳定性的影响。
2026-08-25 math.AP math.ST stat.TH
Adaptive posterior distributions for uncertainty analysis of covariance matrices in Bayesian inversion problems for multioutput signals
本文针对多输出非线性模型参数与噪声协方差矩阵的贝叶斯反演问题,提出自适应目标自适应重要性采样(ATAIS)方法,通过分块推断与样本回收重加权实现完整贝叶斯分析,并辅以ILIS算法验证其优势。
2025-01-02 cs.CE stat.CO stat.ML
Flow Annealed Kalman Inversion for Gradient-Free Inference in Bayesian Inverse Problems
本文提出流退火卡尔曼反演(FAKI),将集成卡尔曼反演嵌入温度退火并用归一化流映射中间测度,以放宽高斯假设,实现对非高斯目标的高保真无梯度贝叶斯推断,在数值基准上显著优于标准EKI。
2023-09-20 stat.CO stat.ML
Bayesian inference under model misspecification using transport-Lagrangian distances: an application to seismic inversion
在许多反问题中,模型误设定是可靠推理的主要障碍。例如,地震学中的反问题特别容易受到波传播速度的错误设定的影响。在本文中,我们专注于一个特定的地震反演问题-全波形矩张量反演-并开发了一个贝叶斯框架,寻求速度误指定的鲁棒性。我们的框架的一个新的元素是使用观察到的和模型预测的波形之间的运输拉格朗日(TL)距离指定的损失函数,并使用这种损失定义一个广义的信念更新通过吉布斯后验。TL距离自然忽略了对模型误指定更敏感的数据的某些特征,因此在此设置中产生较少的偏差或分散的后验分布。为了使后一个概念精确,我们使用几种诊断来评估推理和不确定性量化的质量,即,连续秩概率得分和秩直方图。我们解释这些诊断在贝叶斯设置和比较的结果,使用更典型的高斯噪声模型和平方误差损失,在各种情况下的误指定。最后,我们讨论了潜在的推广所提出的框架,更广泛的一类反问题模型误指定的影响。
2021-05-14 stat.CO stat.ME
Beyond Independence: on Jointly Normal Priors in Bayesian Inversion
University of Auckland(奥克兰大学);Rocsole Limited(罗克索尔有限公司);University of Eastern Finland(芬兰东部大学)
本文提出一种联合正态先验模型,用于贝叶斯反演中多个未知参数的联合倒置,通过保留边际分布并允许空间变化的交叉相关性,提升参数间相关性的建模能力。
2026-05-01 cs.NA math.NA stat.ME
Horseshoe priors for edge-preserving linear Bayesian inversion
在许多大规模的反问题中,如计算机断层扫描和图像去模糊,需要描述解中的尖锐边缘。在逆问题的贝叶斯方法中,边缘保持通常使用基于重尾分布的马尔可夫随机场先验来实现。另一个在统计学中很流行的策略是分层收缩先验的应用。该公式的优点在于将先验表示为依赖于被赋予重尾超先验的全局和局部超参数的条件高斯分布。在这项工作中,我们重新审视收缩马蹄事先,并介绍其制定的边缘保持设置。我们讨论了一个抽样框架的基础上的吉布斯采样器来解决由此产生的贝叶斯逆问题的分层制定。特别地,其中一个条件分布是高维高斯分布,其余的是通过使用重尾超先验的尺度混合表示以封闭形式导出的。从成像科学的应用表明,我们的计算过程是能够计算尖锐的边缘保持后点估计减少不确定性。
2022-07-19 stat.AP stat.CO
Generative Priors Conditioned on Natural Language for Bayesian Inversion in PDEs
本文提出利用自然语言条件生成先验,结合定量与定性数据,对偏微分方程中的感兴趣量进行贝叶斯反演与不确定性量化,通过条件扩散和条件自编码器两种方法实现,并在多个物理系统上验证。
2026-09-29 cs.LG stat.ML
Decision-theoretic justifications for Bayesian hypothesis testing using credible sets
在贝叶斯统计中,精确点原假设$θ=θ_0$可以通过检查$θ_0$是否包含在可信集中来检验.这允许测试$θ=θ_0$,而不必对假设施加先验概率。虽然这种可信集的反演在贝叶斯推理中有很长的历史,但它们因缺乏决策理论的理由而受到批评。我们认为,这些测试有许多优势,比标准的贝叶斯检验,使用点质量概率的原假设。通过研究一个具有方向性结论的三判定问题,我们给出了中心可信区间的反演的决策理论证明,并在一个特殊情况下证明了HPD集。通过解释证明中所使用的损失函数,讨论了基于可信集的检验在什么情况下适用。然后,我们给出了一些理由,使用可信集测试复合假设时,可信集的基础上,在这种情况下,测试符合标准测试。
2012-12-17 math.ST stat.TH
Probabilistic Graphical Model using Graph Neural Networks for Bayesian Inversion of Discrete Structural Component States
Key Lab of Smart Prevention and Mitigation of Civil Engineering Disasters of the Ministry of Industry and Information Technology(工信部智能防灾减灾重点实验室);Harbin Institute of Technology(哈尔滨工业大学);Key Lab of Structures Dynamic Behavior and Control of the Ministry of Education, School of Civil Engineering, Harbin, Institute of Technology(教育部结构动力行为与控制重点实验室,土木工程学院);The Institute of Statistical Mathematics, Research Organization of Information and Systems(统计数学研究所,信息与系统研究机构);The Graduate University for Advanced Studies, SOKENDAI(高等研究大学,SOKENDAI);Division of Engineering and Applied Science, California Institute of Technology(工程与应用科学系,加州理工学院)
本文提出基于概率图模型的新型贝叶斯反演方法,利用图神经网络实现高效离散状态推断,解决高维参数和非解析似然函数带来的计算挑战。
2026-04-29 cs.LG stat.ME stat.ML
Posterior consistency and convergence rates for Bayesian inversion with hypoelliptic operators
研究了正向映射为线性亚椭圆伪微分算子,测量误差为加性高斯白噪声时反问题的贝叶斯方法。未知高斯随机变量$U(x,ω)$的测量模型是\begin{eqnarray*} M(y,ω) = A(U(x,ω) )+ δ\hspace{.2mm}\mathcal{E}(y,ω), \end{eqnarray*},其中$A$是多次平滑线性次椭圆算子,$δ>0$是噪声幅度。$U$的协方差算子$C_U$是$2r$次光滑、自伴、单射和椭圆型伪微分算子。如果$\mathcal{E}$在$L^2$中取值,则在高斯情况下,求解条件均值(和最大后验概率)估计与求解最小化问题\begin{eqnarray*} T_δ(M) = \text{argmin}_{u\in H^r} \big\{\|A u-m\|_{L^2}^2+ δ^2\|C_U^{-1/2}u\|_{L^2}^2 \big\}. \end{eqnarray*}相关。然而,高斯白噪声不在$L^2$中取值,而是在$s>0$足够大的$H^{-s}$中取值。上述方法的修改,以解决逆问题,覆盖的情况下,高斯白测量噪声。此外,在适当的函数空间中,利用微局部分析证明了条件均值估计作为$δ\rightarrow 0$收敛于正确解。研究了置信域的收缩问题。
2016-05-24 math.FA math.PR math.ST
Probabilistic morphisms and Bayesian supervised learning
本文通过发展马尔可夫核的范畴论研究贝叶斯反演,提出涵盖贝叶斯密度估计的统一监督学习模型,并用高斯过程回归加以说明。
2025-07-07 math.CT math.ST stat.TH
Bayesian inversion of convolved hidden Markov models with applications in reservoir prediction
讨论了卷积隐马尔可夫模型的有效评估问题。底层被定义为一个不可观测的分类一阶马尔可夫链,而中间层被假设为一个高斯空间变量的条件下的底层。因此,该层无条件地表现为高斯混合空间变量。我们观察到顶层作为具有高斯误差的中间层的卷积。重点是评估的分类和高斯混合变量的观察,我们在贝叶斯反演框架。该模型被定义为使地下地震AVO数据反演成岩性/流体类,并评估相关的弹性材料属性。由于似然函数中的空间耦合,后验归一化常数的评估在计算上要求很高,并且蛮力、单站点更新马尔可夫链蒙特卡罗算法收敛太慢而没有用。我们构造了两类近似后验模型,我们分析和有效地使用递归向前向后算法进行评估。这些近似的后验密度被用作独立建议马尔可夫链蒙特卡罗算法中的建议密度,以评估正确的后验模型。一组合成现实的例子。建议的近似提供了有效的建议密度,这导致在马尔可夫链蒙特卡罗算法的接受概率在0.10-0.50的范围内。最后给出了一个岩性/流体地震反演实例。可以可靠地预测岩性/流体类别和弹性材料性质。
2017-10-18 physics.geo-ph stat.AP
LazyDINO: Fast, scalable, and efficiently amortized Bayesian inversion via structure-exploiting and surrogate-driven measure transport
California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Massachusetts Institute of Technology(麻省理工学院)
LazyDINO 利用导数感知神经代理与惰性映射变分推断,在昂贵 PtO 映射的高维贝叶斯反演中实现高效摊销,以极低离线样本成本超越拉普拉斯近似等现有方法。
2024-11-19 cs.LG cs.NA math.NA
Bayesian inversion with α-stable priors
提出基于Lévy α-稳定分布的马尔可夫场先验用于贝叶斯反演,通过新混合近似方法解决密度函数无闭式表达的问题,并在反卷积和椭圆PDE反演中验证其有效性。
2023-06-23 stat.CO
Component-wise iterative ensemble Kalman inversion for static Bayesian models with unknown measurement error covariance
集合卡尔曼滤波(EnKF)是卡尔曼滤波在高维线性高斯状态空间模型下的一种蒙特卡罗近似。EnKF方法也被开发用于具有高斯似然的静态贝叶斯模型的参数推断,其方式类似于似然回火序贯蒙特卡罗(SMC)。这些方法通常被称为集合卡尔曼反演(EKI)。与SMC不同,如果似然是线性高斯的,先验是高斯的,则EKI的推断仅是渐近无偏的。但是,EKI运行速度明显更快。目前,EKI方法的一个很大的局限性是假设测量误差的协方差是完全已知的。我们开发了一种新的方法,我们称之为组件式迭代集合卡尔曼反演(CW-IEKI),它允许元素的协方差阵推断旁边的模型参数可以忽略不计的额外成本。这种新的方法相比,SMC在三个不同的应用实例:土壤中的氮矿化模型,是基于农业生产系统模拟器(APSIM),一个模型预测海草下降,由于从水温和光照的压力,和模型预测珊瑚钙化率。在所有这些例子中,我们发现CW-IEKI具有与SMC相对相似的预测性能,尽管具有更大的不确定性,并且它具有更快的运行时间。
2022-06-06 stat.AP stat.CO
Bayesian inversion with Student's t priors based on Gaussian scale mixtures
针对贝叶斯反问题的结构先验建模需求,提出结合马尔可夫随机场与Student's t分布的先验类,借助高斯尺度混合表示实现高效后验计算,经信号去卷积和图像去模糊算例验证有效性。
2024-07-15 stat.CO
Wasserstein convergence in Bayesian and frequentist deconvolution models
本文建立联系Wasserstein距离与观测密度$L^1$距离的改进反演不等式,并据此给出贝叶斯自适应后验收敛与频率核估计极小极大结果。
2023-09-26 math.ST stat.TH
Discretization-invariant Bayesian inversion and Besov space priors
考虑了一个间接测量反问题的贝叶斯解$M = AU + {\mathcal{E}}$,其中$U$是$R^d$的定义域上的函数.这里$A$是平滑线性算子,$ {\mathcal{E}}$是高斯白噪声。数据是随机变量$M_k = P_kA U+P_k {\mathcal{E}}$的实现$m_k$,其中$P_k$是与测量设备相关的线性有限维算子。为了允许计算机化反演,未知被离散化为$U_n=T_nU$,其中$T_n$是有限维投影,导致计算测量模型$M_{kn}=P_k A U_n + P_k {\mathcal{E}}$。贝叶斯公式给出了$R^d$中的后验分布$π_{kn}(u_n | m_{kn})\simπ_n(u_n) \exp(-{1/2}\|m_{kn} - P_kA u_n\|_2^2)$,平均值$U^{CM}_{kn}:=\int u_n π_{kn}(u_n | m_k) du_n$被认为是$U$的重建。我们讨论了一个系统的方式选择先验分布$\prior_n$的所有$n\geq n_0>0$通过实现它们作为一个分布在无限维极限情况下的投影。先验分布的这种选择是{ \em离散不变},因为$\prior_n$表示所有$n$的相同{ \em先验}信息,并且平均$U^{CM}_{kn}$收敛到极限估计为$k,n\to\infty$。高斯平滑先验和基于小波的Besov空间先验被证明是…
2009-01-27 math.PR stat.ME
Stability and Statistical Inversion of Travel time Tomography
本文针对有界域上共形度量的走时层析成像问题,建立了正演与反演的稳定性估计,并据此证明了贝叶斯统计反演技术在离散含噪测量下的一致性。
2024-05-09 math.DG math.ST stat.TH
Building Population-Informed Priors for Bayesian Inference Using Data-Consistent Stochastic Inversion
本文提出利用数据一致性反演(DCI)技术,从群体级数据中构建群体信息先验,以在观测数据有限时有效约束贝叶斯推断的不确定性,并从理论和数值实验上证明了该方法能显著提升个体化推断的信息增益。
2025-06-24 stat.ME
Hierarchical Bayesian inversion using the Karhunen-Loève expansion with analytical eigenpairs of the squared exponential kernel
Kyoto University(京都大学);Australian National University(澳大利亚国立大学)
研究基于高斯随机场先验的分层贝叶斯反演中协方差超参数不确定性问题,利用平方指数核的解析解构建卡尔胡宁-勒夫展开,消除超参数更新时重复求解积分特征值问题的计算成本,经优化方法提高精度,应用于达西流模型贝叶斯反演。
2026-07-15 cs.NA math.NA stat.ME
Bayesian inversion in resin transfer molding
我们研究的贝叶斯逆问题推断的多孔介质的渗透性的上下文中的移动边界框架的动机树脂传递模塑(RTM),最常用的工艺之一,用于制造纤维增强复合材料。在RTM树脂注射过程中,我们的目标是通过反转压力测量以及树脂移动域的观察来更新我们对材料渗透性的概率知识。我们考虑RTM的一维和二维正演模型。一维情况下的解析解的基础上,我们证明了存在的序列后验序列,所产生的序列贝叶斯制定的无限维的框架内。对于一维情况下贝叶斯后验的数值特征,我们研究了全贝叶斯序贯蒙特卡罗方法(SMC)在高维反问题中的应用。通过SMC,我们构建了一个基准,对我们比较性能的一种新的正则化集合卡尔曼算法(REnKA),我们建议近似后验在实际情况下的计算效率的方式。我们研究了所提出的REnKA的鲁棒性方面的可调参数和计算成本,并显示与SMC相比,具有少量粒子的REnKA的优势。我们进一步应用REnKA调查,在一维和二维的设置,RTM相关的实际方面,其中包括压力传感器配置的影响和观测噪声水平的不确定性,通过贝叶斯后验序列量化的日志渗透率。
2017-09-17 stat.AP
Ensemble Kalman Inversion for General Likelihoods
在这封信中,我们将EnergyKalman反演技术推广到一般的贝叶斯模型,以前它们仅限于加性高斯似然-所有这些都是在困难的环境中进行的,其中可能性可以从中采样,但其密度不一定进行评估。
2022-06-07 stat.ME
hIPPYlib: An Extensible Software Framework for Large-Scale Inverse Problems Governed by PDEs; Part I: Deterministic Inversion and Linearized Bayesian Inference
我们提出了一个可扩展的软件框架,hIPPYlib,解决大规模的确定性和贝叶斯逆问题的偏微分方程(PDE)与无穷维参数字段(这是高维离散化后)。hIPPYlib通过为基于偏微分方程的逆问题实现最先进的可扩展算法,克服了贝叶斯逆对这类问题的禁止性,这些算法利用了底层算子的结构,特别是对数后验的Hessian。在hIPPYlib中实现的算法的关键属性是,确定性和线性化贝叶斯逆问题的解是以线性化正向PDE解的成本计算的,该成本与参数维数无关。后验的平均值由MAP点近似,MAP点通过最小化负对数后验来找到。这个确定性的非线性最小二乘最优化问题的解决与不精确矩阵的牛顿CG方法。后验协方差近似为在MAP点评估的负对数后验的Hessian的倒数。当参数-可观测映射是线性的时,这种高斯近似是精确的;否则,其对数与MAP点处的对数后验的两个导数一致,因此它可以作为基于Hessian的MCMC方法的建议。通过调用对数似然的Hessian的低秩近似,使得后验协方差的构造变得易于处理。还实现了用于样本生成的可扩展工具。hIPPYlib使领域科学家可以轻松访问所有这些高级算法,并提供了一个加速新算法开发的环境。hIPPYlib也是一个教学工具,用于教育研究人员和从业者谁是新的反问题和贝叶斯推理框架。
2020-08-29 cs.MS cs.NA math.NA