Non-asymptotic error estimates for the Laplace approximation in Bayesian inverse problems
针对非线性贝叶斯反问题,本文证明给定噪声水平下 Laplace 逼近的非渐近误差估计,揭示误差受正演映射非线性、维度及小扰动影响,并与扰动同阶。
2021-10-27 cs.NA math.NA math.ST
Covariance Structure Estimation with Laplace Approximation
高斯协方差图模型是揭示随机变量间相关结构的一种常用模型。协方差结构估计的贝叶斯方法使用在协方差阵的一些非对角项上强制为零并对矩阵施加正定约束的先验。在本文中,我们考虑了非对角项上的尖峰和平板先验,它使用点质量和正态分布的混合。点质量自然地将稀疏性引入协方差结构,使得从该先验得到的后验呈现协方差结构学习。在此先验下,我们使用拉普拉斯近似计算协方差结构的后验模型概率。我们证明了由于拉普拉斯近似的误差变得渐近边际在一定的速度依赖于后验收敛速度的协方差阵下的Frobenius范数。利用近似后验模型概率,我们提出了一个新的协方差结构估计框架。由于拉普拉斯近似是围绕协方差阵的条件后验模进行的,而条件后验模不能以封闭形式获得,因此我们提出了一种块坐标下降算法来寻找条件后验模,并证明了一旦选择了结构,就可以使用该算法来估计协方差阵。通过对5个数值模型的仿真研究,表明该方法在根均方误差、最大范数、谱范数、特异性和灵敏度方面优于图形套索和样本协方差阵。此外,所提出的方法的优点是证明在准确性方面相比,我们的竞争对手,当它被应用到线性判别分析(LDA)分类乳腺癌诊断数据集。
2021-12-06 math.ST stat.ME stat.TH
Dimension free non-asymptotic bounds on the accuracy of high dimensional Laplace approximation
本文试图用现代的非渐近无量纲形式重新讨论拉普拉斯近似的经典结果。这种扩展的动机是应用到高维统计和最优化问题。所建立的结果提供了明确的非渐近界的质量的高斯近似的后验分布在全变差距离方面的所谓的\emph{effective dimension} \( p_G \)。该值被定义为数据中包含的信息与先验分布中包含的信息之间的相互作用。与著名的Bernstein-von Mises结果相反,先验的影响不可忽略,并且即使真实的参数维度是巨大的或无限的,它也允许保持有效维度小或适度。我们还解决了使用高斯近似与不精确的参数的问题,重点是用后验均值代替最大后验概率(MAP)值,并设计了基于拉普拉斯迭代的贝叶斯优化算法。所得结果适用于非线性反问题的情形。
2022-06-23 cs.NA math.NA math.ST
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文通过扩展Mou等人的扩散框架,推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果,并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
Laplace and skew-Laplace approximations for Dirichlet process mixture posterior density
University of Milano-Bicocca(米兰比可卡大学);Bocconi University(博科尼大学)
本文研究了狄利克雷过程混合模型后验密度估计中拉普拉斯和斜拉普拉斯近似方法的性能,通过数值实验比较了标准拉普拉斯近似、修正斜拉普拉斯近似和切片采样基准,发现斜拉普拉斯近似在复杂密度结构中能显著提升后验恢复精度。
2026-04-28 stat.CO stat.ME
Bayesian sequential parameter estimation with a Laplace type approximation
提出了一种基于迭代拉普拉斯近似的动态隐高斯模型固定参数的序贯推断方法。该方法提供了一个有用的计算性能和准确性之间的权衡近似真实的后验分布。近似校正,以提高模拟研究中的近似精度。基于人口的方法也被证明提供了一个更强大的推理方法。
2015-09-25 stat.CO stat.ME
Improving the Linearized Laplace Approximation via Quadratic Approximations
Machine Learning Group - Computer Science Department(计算机科学系机器学习小组);Escuela Politécnica Superior(理工大学);Department of Computer Science(计算机科学系);University of Granada Spain(西班牙格拉纳达大学);Information and Communication Technologies Research Centre (CITIC)(信息与通信技术研究中心(CITIC));Centro de Investigación Avanzada en Física Fundamental(先进物理基础研究中心)
本文提出QLA方法,通过二次近似改进线性化拉普拉斯近似,以提升深度神经网络的不确定性估计精度。
2026-02-03 cs.LG stat.ML
Estimation of latent variable models for ordinal data via fully exponential Laplace approximation
有序数据的潜变量模型在不同的研究领域中是一个有用的工具,其中感兴趣的结构是不可直接观察的。在这种模型中,由于不存在解析解,可能会出现与似然函数的积分有关的问题。数值逼近,如广泛使用的高斯厄米特(GH)求积,通常用于解决这些问题。然而,GH变得不可行的潜变量的数量增加。在本文中,我们提出了一个扩展版本的拉普拉斯方法近似的积分,称为全指数拉普拉斯近似。该方法在隐变量较多的情况下也是可行的,并且比经典的Laplace方法更精确。
2011-05-09 stat.ME
How good is your Laplace approximation of the Bayesian posterior? Finite-sample computable error bounds for a variety of useful divergences
针对拉普拉斯近似贝叶斯后验的质量评估难题,提出首个同时满足无需真实参数、适用于有限样本、控制后验矩且适用范围广的可计算误差界,优化了维度依赖并验证了效用。
2025-06-15 math.PR math.ST stat.TH
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架,在该框架中,我们递归地近似每个任务后的高斯后验,导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian,这对于现代架构来说通常是棘手的。为了使我们的方法可扩展,我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度,大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Approximating Probability Densities by Iterated Laplace Approximations
拉普拉斯近似是一种古老但经常使用的方法,用于贝叶斯计算的积分逼近。在本文中,我们发展了一个扩展的拉普拉斯近似,通过迭代地应用于残差,即,当前近似值与真实函数之间的差值。因此,最终近似是多元正态密度的线性组合,其中选择系数以实现对目标分布的良好拟合。我们说明真实和人工的例子,所提出的程序是一个计算效率高的替代目前的方法近似的多元概率密度。实现本文所述方法的R包iterLap可从CRAN服务器获得。
2011-03-17 stat.CO
On the Tightness of the Laplace Approximation for Statistical Inference
Laplace方法是用来近似统计问题中难以处理的积分的。该近似的相对误差率并不比$O_p(n^{-1})$差。我们提供了第一个统计下界表明$n^{-1}$率是紧的。
2023-03-28 math.ST stat.TH
Vecchia-Laplace approximations of generalized Gaussian processes for big non-Gaussian spatial data
广义高斯过程(GGP)是一种高度灵活的模型,它将潜在的GP与来自指数族的潜在非高斯似然相结合。GGP可以用于各种设置,包括GP分类,非参数计数回归,非高斯空间数据建模和分析点模式。然而,对GGP的推断在分析上可能是难以处理的,并且由于GP协方差阵的求逆,大型数据集带来计算挑战。我们提出了一个Vecchia-拉普拉斯近似的GGP,它结合了一个拉普拉斯近似的非高斯似然与计算效率的Vecchia近似的GP,从而在一个简单的,一般的,可扩展的,和准确的方法。我们提供模拟和真实空间数据的数值研究和比较。我们的方法在一个免费的R包中实现。
2020-06-04 stat.CO stat.ME
A Novel Method of Marginalisation using Low Discrepancy Sequences for Integrated Nested Laplace Approximations
最近,它已被证明,使用低差异序列(LDS)获得的边缘后验分布的近似可以优于标准的基于网格的方法的精度和计算效率。这种最近的方法,我们将称为LDS-StM,也可以产生良好的近似多峰后验。然而,实施LDS-STM集成嵌套拉普拉斯近似(INLA),其中使用基于网格的方法,是具有挑战性的。出于这个问题,我们提出了修改LDS-StM,提高了近似,并使其与INLA兼容,而不牺牲计算速度。我们还提出了两个例子来证明LDS-StM与修改可以优于INLA自己的网格近似的速度和精度。我们还证明了新方法的灵活性,多峰边缘的近似。
2019-12-04 stat.CO
Laplace Approximations for Mixed-Effects and Gaussian Process Quantile Regression
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
本文提出了一种适用于混合效应和高斯过程分位数回归的拉普拉斯近似方法,通过分析信息和预期损失的曲率来克服非对称拉普拉斯似然下的计算障碍,提高了计算效率和准确性。
2026-08-20 stat.ME
Riemannian Laplace approximations for Bayesian neural networks
Technical University of Denmark(丹麦技术大学)
针对贝叶斯神经网络高斯近似后验非高斯性导致性能下降的问题,提出基于对数后验梯度黎曼度量的黎曼拉普拉斯近似,通过求解常微分方程高效采样,性能优于传统方法且对先验选择不敏感。
2023-06-12 cs.LG stat.ME stat.ML
An Extended Simplified Laplace strategy for Approximate Bayesian inference of Latent Gaussian Models using R-INLA
当将贝叶斯推断方法应用于复杂的分层模型时,会出现各种计算挑战。基于采样的推理方法,如马尔可夫链蒙特卡罗策略,以提供准确的结果而闻名,但计算成本高,收敛速度慢或有问题。相反,近似方法如集成嵌套拉普拉斯近似(INLA)通过嵌套拉普拉斯近似构造对单变量后验的确定性近似。该方法可以在隐高斯模型中实现快速推理性能,该模型对一大类分层模型进行编码。R-INLA软件主要由三种策略组成,根据精度要求计算所有所需的后验近似。简化的拉普拉斯近似(SLA)是最有吸引力的,因为它的速度性能,因为它是基于泰勒展开的三阶全拉普拉斯近似。在这里,我们通过简化偏度和模态配置所需的计算来增强方法。然后,我们提出了一个扩展到四阶,并使用扩展的斜正态分布作为一个新的参数拟合。由此产生的近似的边缘后密度是更准确的比那些计算的SLA,基本上没有额外的成本。
2022-03-27 stat.ME
Spatial Bayesian Hierarchical Modelling with Integrated Nested Laplace Approximation
我们认为潜在的高斯场建模空间依赖的背景下,空间点模式和面积数据,提供两个不同的应用。利用随机偏微分方程,建立了描述希腊地震序列的非齐次对数高斯Cox过程模型。Besag-York-Mollie模型适用于意大利北部Covid-19感染的疾病映射。这两个模型都属于贝叶斯分层模型类的潜在高斯字段,其后验是不可用的封闭形式。因此,使用集成嵌套拉普拉斯近似执行推断,该集成嵌套拉普拉斯近似为感兴趣的后验量提供准确且相对快速的分析近似。
2020-09-08 stat.AP
Riemannian Laplace Approximation with the Fisher Metric
本文提出改进的黎曼度量下的拉普拉斯近似方法,通过发展近似族并推导两种变体,在无限数据极限下实现精确性,同时提升实际应用效果。
2026-03-11 cs.LG stat.ME stat.ML
Fitting logistic multilevel models with crossed random effects via Bayesian Integrated Nested Laplace Approximations: a simulation study
拟合具有二进制响应的交叉分类多水平模型具有挑战性。在这种情况下,一个有前途的方法是贝叶斯推断通过集成嵌套拉普拉斯近似(INLA),它在几个潜变量模型中表现良好。因此,我们设计了一个系统的模拟研究,以评估INLA的性能与交叉分类的logistic数据下定义的随机效应方差的大小,观察的数量,集群的数量,和交叉分类的程度不同的情况下。在模拟中,INLA与流行的极大似然法通过拉普拉斯近似进行了系统的比较。通过对经典蝾螈交配数据的应用,我们比较了INLA与最佳性能的方法。考虑到计算速度和一般良好的性能,INLA原来是一个有价值的方法来拟合所考虑的交叉分类模型。
2016-07-20 stat.CO
L2M: Practical posterior Laplace approximation with optimization-driven second moment estimation
Machine Learning Porto Alegre(阿雷格里港机器学习机构)
深度神经网络的不确定性量化最近已经通过许多技术发展。在这项工作中,我们重温拉普拉斯近似,一个经典的后验近似方法,是计算上的吸引力。然而,而不是计算曲率矩阵,我们表明,在一定的正则性条件下,拉普拉斯近似可以很容易地构造使用梯度二阶矩。这个量已经被Adagrad的许多指数移动平均变体(如Adam和RMSprop)估计,但传统上在训练后被丢弃。我们证明了我们的方法(L2M)不需要改变模型或优化,可以在几行代码中实现以产生合理的结果,并且除了优化器已经计算的内容之外,它不需要任何额外的计算步骤,而不需要引入任何新的超参数。我们希望我们的方法可以打开新的研究方向,使用已经计算的数量的优化不确定性估计在深度神经网络。
2021-07-09 cs.LG stat.ML
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率,该概率可用于对感兴趣的量进行贝叶斯模型平均。然而,对于许多复杂的模型,包括潜在建模方法,边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似(INLA),设计的模型与潜在的高斯结构。在这项研究中,我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是,我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
Laplace approximation and the natural gradient for Gaussian process regression with the heteroscedastic Student-t model
本文考虑用Laplace方法对Student-t概率模型的位置和尺度参数进行高斯过程(GP)回归的近似推断。这允许数据的均值和方差作为协变量的函数而变化,具有吸引人的特征,即学生t模型已被广泛用作鲁棒数据分析的有用工具。对于具有Student-t概率模型的GP回归,近似推断的挑战在于后验分布的分析困难性和对数似然函数的不确定性。我们提出了自然梯度适应的估计过程中,主要依赖于学生-t模型自然具有正交参数化的位置和尺度参数的属性。由于该模型的这一特殊性质,我们还引入了另一种拉普拉斯近似,通过使用费舍尔信息矩阵代替负对数似然函数的Hessian矩阵。根据实验,当与传统的拉普拉斯近似相比时,这种替代近似提供非常相似的后验近似和预测性能。我们还比较了这两种拉普拉斯近似与蒙特卡罗马尔可夫链(MCMC)方法。此外,我们比较了我们的异方差Student-t模型和GP回归与异方差高斯模型。我们还讨论了我们的方法可以提高推理算法的情况下,假设的数据的概率模型不是对数凹的。
2017-12-23 stat.ME
Bayesian model averaging with the integrated nested Laplace approximation
贝叶斯推断的集成嵌套拉普拉斯近似(INLA)是估计贝叶斯分层模型参数和潜在效应的后验边缘分布的有效方法,该模型可以表示为潜在高斯马尔可夫随机场(GMRF)。作为GMRF的表示允许相关软件R-INLA在一小部分时间内估计后边缘作为典型的马尔可夫链蒙特卡罗算法。INLA可以通过贝叶斯模型平均(BMA)来扩展,以增加可以拟合条件潜在GMRF的模型数量。在本文中,我们回顾了使用BMA与INLA,并提出了一个新的例子空间计量经济学模型。
2019-11-02 stat.CO stat.ME
Laplace approximation for logistic Gaussian process density estimation and regression
逻辑高斯过程(LGP)先验为建模未知密度提供了灵活的替代方案。密度估计的平滑性可以通过LGP的先验协方差结构来控制,但挑战在于分析上难以处理的推断。在本文中,我们提出了近似贝叶斯推断的LGP密度估计在一个网格中使用拉普拉斯的方法来整合在非高斯后验分布的潜函数值,并确定协方差函数参数与类型II的最大后验概率(MAP)估计。我们证明,拉普拉斯的方法与MAP是足够快的实际互动可视化的1D和2D密度。我们的实验与模拟和真实的一维数据集表明,估计精度接近马尔可夫链蒙特卡罗近似和国家的最先进的分层无限高斯混合模型。我们还构建了一个降秩近似,以加快密集的二维网格的计算,并证明密度回归与建议的拉普拉斯方法。
2013-10-07 stat.CO stat.ME stat.ML
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型(GAM)是一种成熟的统计工具,用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中,P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间,通过考虑一个确定性的基于网格的策略或马尔可夫链采样器,根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量,这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算,即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验,建议的方法具有良好的统计特性。通过不同的模拟场景,拉普拉斯P样条模型的性能得到证实,并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
On the Laplace Approximation as Model Selection Criterion for Gaussian Processes
University of Applied Sciences and Arts(应用科学与艺术大学);University of Hagen(哈根大学)
本文针对高斯过程模型选择,提出基于拉普拉斯近似的多种度量,克服了朴素应用的严重不一致性,在保证质量与动态嵌套采样相当的同时显著提升计算速度。
2024-03-14 cs.AI cs.LG stat.ML
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法,通过将潜空间二分以分别处理潜变量和未惩罚参数,结合非高斯不对称近似与Laplace近似,在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中,我们的目标是结合这两种方法的优点,提出用高斯混合模型后验进行预测,该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用,并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证,我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
Integrated Nested Laplace Approximations (INLA)
这是一个简短的说明和基本介绍集成嵌套拉普拉斯近似(INLA)的方法。INLA是Rue等人(2009)在潜在高斯模型(LGM)中引入的贝叶斯推断的确定性范例。INLA依赖于分析近似和有效的数值积分方案的组合,以实现对感兴趣的后验量的高度精确的确定性近似。使用INLA代替马尔可夫链蒙特卡罗(MCMC)技术进行LGM的主要好处是计算性;即使对于大型复杂模型,INLA也很快。此外,作为一种确定性算法,INLA不会出现收敛慢和混合不良的问题。INLA是在R包R-INLA中实现的,R-INLA是一个用户友好的多功能工具,用于进行贝叶斯推断。R-INLA返回所有模型参数的后边缘和相应的后验汇总信息。模型选择标准以及预测诊断是直接可用的。在这里,我们概述了INLA背后的理论,介绍了R-INLA包,并描述了将INLA与MCMC相结合的新发展,用于不可能与R-INLA相适应的模型。
2019-07-02 stat.CO
Traffic prediction at signalised intersections using Integrated Nested Laplace Approximation
贝叶斯方法预测信号交叉口的交通流被认为是使用的INLA框架。INLA是一种确定性的,计算效率高的替代MCMC估计后验分布。它被设计用于参数遵循联合高斯分布的潜在高斯模型。从LGM自然演化的假设是高斯马尔可夫随机场(GMRF)的假设。可以证明,基于空间和时间的流量预测模型满足这一假设,因此,当模型中包括空间、时间和其他相关协变量时,INLA算法提供准确的预测。
2021-07-08 stat.AP
Addressing the Inconsistency in Bayesian Deep Learning via Generalized Laplace Approximation
School of Engineering Deakin University Melbourne, VIC, 3216, Australia(工程学院 德堪大学 澳大利亚墨尔本 VIC 3216);Faculty of Mathematics(数学与计算机科学学院);Department of Computing Technologies Swinburne University of Technology Hawthorn, VIC, 3122, Australia(计算技术系 斯winburne技术大学 澳大利亚霍斯顿 VIC 3122)
本文提出广义拉普拉斯近似方法,通过简单修改海森矩阵计算实现可扩展的高质量后验推断,并将后验温度调节解释为对模型误设和先验不确定性的修正,在真实数据上验证了其提升预测性能的效果。
2025-09-22 cs.LG stat.ML
Enhanced Laplace Approximation
拉普拉斯近似(LA)是一种近似具有潜在变量的统计模型的边缘似然的方法。然而,基于LA的近似极大似然估计(MLE)往往是有偏的二进制或空间数据,相应的Hessian矩阵低估了这些近似MLE的标准误。已经提出了高阶近似;但是,它不能应用于复杂的模型,如相关随机效应模型,并且不能提供一致的方差估计。在本文中,我们提出了一个增强的LA(ELA),提供了真正的MLE和一致的方差估计。我们研究它的关系,变分贝叶斯方法。我们还介绍了一个新的限制极大似然估计(REMLE)估计色散参数。数值研究结果表明,ELA提供了一个令人满意的MLE和REMLE,以及它们的方差估计固定参数。在平坦先验条件下,MLE和REMLE分别可以看作是后验模态和边缘后验模态。在不同的先验条件下,与贝叶斯方法进行了比较。
2022-07-20 stat.ME
Bayesian Random Fields: The Bethe-Laplace Approximation
UC Irvine(加州大学欧文分校)
虽然学习无向图模型参数的最大似然值很难,但对给定数据的参数的后验分布建模更难。然而,无向模型在计算机视觉和文本建模(例如条件随机场)中无处不在。但是,在有向模型的贝叶斯方法已经非常成功的地方,无向模型的正确贝叶斯处理仍然处于婴儿阶段。提出了一种基于拉普拉斯近似的参数后验估计方法。这种近似需要计算特征上的协方差矩阵,我们使用基于循环置信传播的线性响应近似来计算。我们发展的理论,有条件和无条件的随机场或无隐变量。在条件设置中,我们引入了一个新的变形适合结构域的装袋。在这里,我们运行循环最大乘积算法的“super-graph”组成的图形的个别模型从后验采样和连接的约束。在真实数据上的实验验证了所提方法的有效性。
2012-06-27 cs.LG stat.ML
Approximate Bayesian Inference for Structural Equation Models using Integrated Nested Laplace Approximations
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universiti Brunei Darussalam(文莱达鲁萨兰国大学)
本文提出了一种基于集成嵌套拉普拉斯近似法框架的近似贝叶斯方法,用于结构方程模型的推断,通过简化拉普拉斯近似和变分贝叶斯修正,提高了推断效率和准确性。
2026-09-18 stat.ME
Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);University of Basel(巴塞尔大学);ETH Zurich(苏黎世联邦理工学院)
针对 Vecchia-Laplace 近似在大规模潜变量 GP 模型中依赖直接求解器导致的超线性计算瓶颈,提出迭代方法、预条件子、收敛分析与预测方差近似,实现显著加速和精度提升。
2024-12-06 cs.LG stat.ME stat.ML
Integrated Nested Laplace Approximation for Bayesian Nonparametric Phylodynamics
群体动态学是群体遗传学和群体遗传学的交叉领域,其目标是从遗传数据中重建群体大小动态。最近,一系列的非参数贝叶斯方法已经提出了这样的人口重建。这些方法依赖于基于高斯过程的先验规范,并通过马尔可夫链蒙特卡罗(MCMC)方法近似种群大小轨迹的后验分布来进行。在本文中,我们采用集成嵌套拉普拉斯近似(INLA),最近提出的近似贝叶斯推断的潜在高斯模型,人口规模的轨迹估计。我们表明,当一个家谱的采样个人可以可靠地估计从遗传数据,INLA享有高精度,可以完全取代MCMC。我们证明了显着的计算效率超过国家的最先进的MCMC方法。我们说明了INLA为基础的人口规模推断使用模拟和家谱的丙型肝炎和人类流感病毒。
2012-10-16 q-bio.PE stat.AP
A synthetic likelihood-based Laplace approximation for efficient design of biological processes
用于描述流行病学和生态学中的生物过程的复杂模型通常具有计算上难以处理或昂贵的可能性。这对贝叶斯推断提出了重大挑战,但更重要的是在实验设计方面。贝叶斯设计是通过在设计空间上最大化效用函数的期望来发现的,通常这需要从大量的后验分布中采样或近似。这使得在推理中采用的计算方法在设计中不可行。因此,在这些领域的最佳设计已被限制到一个小的尺寸或有限的范围内的效用函数。为了克服这些限制,我们提出了一个合成的基于似然的拉普拉斯近似近似效用函数的模型与棘手的似然。如将看到的,所提出的近似是灵活的,因为可以考虑广泛的效用函数,并且在高维中保持计算效率。为了探讨这种近似的有效性,从流行病学的一个说明性的例子被认为是。然后,我们的方法是用来设计实验,从流行病学和生态学的两个激励应用程序中的相对大量的观察。
2019-03-11 stat.ME
Rating of players by Laplace approximation and dynamic modeling
本文利用拉普拉斯近似和随机游走模型更新选手方差,以改进 Elo 评分系统,实验显示预测准确率略有提升并更好地捕捉新选手实力。
2023-10-16 stat.AP
Laplace Approximation For Tensor Train Kernel Machines In System Identification
Delft Center for Systems and Control(代尔夫特系统与控制中心)
本文提出了一种基于拉普拉斯近似的贝叶斯张量展开核机,用于系统辨识问题,通过变分推断提高训练效率。
2025-12-02 cs.LG stat.ML
TMB: Automatic Differentiation and Laplace Approximation
TMB是一个开源的R软件包,可以快速实现复杂的非线性随机效应(潜在变量)模型,其方式类似于已建立的AD模型构建器软件包(ADMB,admb-project.org)。此外,它还提供了方便的并行计算。用户将数据和随机效应的联合似然定义为C++模板函数,而所有其他操作都在R中完成;例如,读取数据。该软件包评估并最大化边际似然的拉普拉斯近似,其中随机效应自动积分出来。这种近似及其衍生物是使用联合似然的自动微分(最多三阶)获得的。对于具有许多随机效应(~10^6)和参数(~10^3)的问题,计算被设计为快速。使用ADMB和TMB的计算时间进行了比较,从简单的模型到大型空间模型,其中随机效应是高斯随机场的一套例子。加速范围从1.5到约100获得与大问题的增益增加。该软件包和示例可在http://tmb-project.org上获得。
2015-09-02 stat.CO
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Parallelized integrated nested Laplace approximations for fast Bayesian inference
随着数据可用性的提高和模型参数空间的高维化,对大规模贝叶斯推断任务的需求日益增长。在这项工作中,我们提出了并行化策略的方法集成嵌套拉普拉斯近似(INLA),一个流行的框架进行近似贝叶斯推断的类潜在高斯模型。我们的方法利用嵌套的OpenMP并行,并行线搜索过程中使用强大的回归INLA的优化阶段和最先进的稀疏线性求解器PARDISO。我们利用算法中相互独立的函数评估以及高级稀疏线性代数技术。通过这种方式,我们可以灵活地利用当今多核架构的强大功能。我们展示了我们的新的并行化方案在一些不同的现实世界中的应用程序的性能。并行性的引入导致所有较大模型的加速比为10倍或更多。我们的工作已经集成到当前版本的开源R-INLA包中,使其改进的性能方便地提供给所有用户。
2022-04-10 cs.DC stat.CO
Using Integrated Nested Laplace Approximation for Modeling Spatial Healthcare Utilization
近年来,空间和时空建模已成为许多领域(流行病学,环境研究,疾病地图)的重要研究领域。在这项工作中,我们提出了不同的空间模型来研究医院招聘,包括一些潜在的解释变量。感兴趣的是每个地理单元的分布,即居住在该地理单元的患者人数与同一地理单元的人口之间的比例。模型考虑的框架内的贝叶斯潜在高斯模型。我们的响应变量假设遵循具有logit链接的二项分布,其参数是地理单元中的人群和相应的相对风险。结构化加性预测因子以加性方式解释各种协变量的效应,包括协变量的平滑函数(例如空间效应),协变量的线性效应。为了近似后边缘,这不是在封闭的形式,我们使用集成嵌套拉普拉斯近似(INLA),最近提出的近似贝叶斯推断在潜在的高斯模型。INLA的优点是给出非常精确的近似值,并且当参数的数量不超过6时(就像我们的情况一样),比McMC方法更快。使用DIC标准评估模型比较。
2010-06-18 stat.AP stat.ME
Bayesian models for missing and misclassified variables using integrated nested Laplace approximations
本文提出将INLA与重要性采样结合以拟合含误分类协变量的贝叶斯模型,并展示直接使用INLA处理误分类响应变量的方法,通过模拟和真实数据验证了有效性。
2024-11-25 stat.ME
A probabilistic diagnostic for Laplace approximations: Introduction and experimentation
针对拉普拉斯近似的有效性依赖函数真实形状的问题,提出基于概率数值框架的非渐近诊断检验方法,以少量计算验证其假设可行性,并探讨了优化方法与高维挑战。
2024-11-03 stat.ME
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control(代尔夫特系统与控制中心);Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机,用于在张量网络假设下实现原理化的不确定性估计,在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
Laplace approximation for Bayesian variable selection via Le Cam's one-step procedure
针对高维变量选择的计算难题,提出基于 Le Cam 一步法的 Laplace 近似方法(OLAP),证明了其统计一致性,并利用 Gibbs 采样实现多项式时间后验探索。
2024-07-30 stat.ME
Bayesian inference with tmbstan for a state-space model with VAR(1) state equation
当使用R包tmbstan进行贝叶斯推断时,可以打开和关闭内置特征拉普拉斯近似,以获得集成了随机效应的边际似然。对于是否应该使用拉普拉斯近似来获得更好的效率,特别是当用于估计选择的统计模型复杂时,没有指导方针。为了回答这个问题,我们在不同的场景下进行了模拟研究,使用VAR(1)状态方程的状态空间模型。我们发现,在tmbstan中打开拉普拉斯近似可能会降低计算效率,只有当有大量数据时,带和不带拉普拉斯近似的tmbstan都值得尝试,因为在这种情况下,拉普拉斯近似更有可能是准确的,也可能导致略高的计算效率。VAR(1)过程中的过渡参数和尺度参数很难精确估计,增加每个时间点的样本量对估计没有帮助,只有更多的时间点数据包含更多关于这些参数的信息,使似然优于后验似然,才能得到准确的估计。
2021-01-14 stat.ME
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
数据增强通常用于提高深度学习的性能,方法是强制执行对输入的某些转换保留输出的知识。目前,数据增强参数是通过人工努力和昂贵的交叉验证来选择的,这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法,用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性,这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效,但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标,它可以优化没有人的监督或验证数据。我们表明,我们的方法可以成功地恢复数据中存在的不变性,这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Estimating the Expected Value of Partial Perfect Information in Health Economic Evaluations using Integrated Nested Laplace Approximation
完全部分信息期望值(EVPPI)是一种决策理论,主要用于卫生经济决策中的参数不确定性的“成本”。尽管有这种决策理论基础,但在实践中对EVPPI计算的采用一直很缓慢。这部分是由于通过蒙特卡罗模拟估计EVPPI所需的计算时间过高。然而,最近的发展表明,EVPPI可以通过非参数回归方法来估计,这大大减少了近似EVPPI所需的计算时间。在某些情况下,建议使用高维高斯过程回归,但这仍然是非常昂贵的。应用空间统计学中开发的快速计算方法,使用集成嵌套拉普拉斯近似(INLA),并从高维投影到低维输入空间,使我们能够减少拟合这些高维高斯过程的计算时间,通常是显着的。我们表明,使用我们的高斯过程回归的方法计算的EVPPI是符合标准的高斯过程回归的方法,尽管这种新方法的明显的方法复杂性,R函数是可用的包BCEA简单,有效地实现它。
2016-11-04 stat.AP
Laplace based approximate posterior inference for differential equation models
常微分方程可以说是描述现实世界中物理和生物过程的最流行和最有用的数学工具。通常,这些物理和生物过程被观察到有误差,在这种情况下,对这些数据进行建模的最自然的方法是通过回归,其中平均函数由常微分方程定义,据信可以提供对潜在过程的理解。这些基于回归的动态模型被称为微分方程模型。微分方程模型的参数推断带来了计算上的挑战,主要是由于大多数微分方程的解析解是不可用的。本文提出一种求微分方程模型参数后验分布的近似方法。近似分两步完成。在第一步中,微分方程的解是近似的一般一步法,这是一种数值方法的常微分方程,包括欧拉和龙格库塔程序;在第二步中,多余的参数被边缘化使用拉普拉斯近似。建议拉普拉斯近似后提供了一个计算快速的替代完整的贝叶斯计算方案(如马尔可夫链蒙特卡罗),并产生更准确和稳定的估计比流行的平滑方法(称为配置方法)的基础上频率程序。作为该方法的理论支持,我们证明了Laplace近似后验在一定条件下收敛于实际后验,并分析了数值误差阶与其拉普拉斯近似之间的关系.该方法进行了测试模拟数据集,并与其他现有的方法进行了比较。
2016-07-25 stat.ME
Variational Linearized Laplace Approximation for Bayesian Deep Learning
Universidad Autónoma de Madrid(马德里自治大学)
提出一种基于变分稀疏高斯过程的新方法近似线性化拉普拉斯近似,实现与训练点数量无关的训练成本,并在预测质量和计算时间上优于现有高效变体。
2024-05-22 cs.LG stat.ML
Efficient model exploration with the integrated nested Laplace approximation
Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学)
本文提出利用INLA结合MCMC在模型空间采样,实现分层贝叶斯模型的变量选择与模型探索,并展示于变点模型和对数高斯Cox过程。
2026-09-09 stat.CO stat.ME