Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Bayesian Deep Learning via Subnetwork Inference
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院);The Alan Turing Institute(艾伦·图灵研究所)
贝叶斯范式有可能解决深度神经网络的核心问题,如校准不良和数据效率低下。唉,将贝叶斯推理扩展到大的权重空间通常需要限制性近似。在这项工作中,我们表明,它足以执行推理模型权重的一个小的子集,以获得准确的预测后验。其他权重保持为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的,否则难以处理的后验近似。特别是,我们将子网络线性化拉普拉斯实现为一种简单的、可扩展的贝叶斯深度学习方法:我们首先获得所有权重的MAP估计,然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后验。我们提出了一个子网络选择策略,旨在最大限度地保持模型的预测不确定性。从经验上讲,我们的方法在完整的网络上比合奏和表达较少的后验近似更有利。我们提出的子网络(线性化)拉普拉斯方法在https://github.com/AlexImmer/Laplace的laplace PyTorch库中实现。
2022-03-14 cs.LG stat.ML
Bayesian Random Fields: The Bethe-Laplace Approximation
UC Irvine(加州大学欧文分校)
虽然学习无向图模型参数的最大似然值很难,但对给定数据的参数的后验分布建模更难。然而,无向模型在计算机视觉和文本建模(例如条件随机场)中无处不在。但是,在有向模型的贝叶斯方法已经非常成功的地方,无向模型的正确贝叶斯处理仍然处于婴儿阶段。提出了一种基于拉普拉斯近似的参数后验估计方法。这种近似需要计算特征上的协方差矩阵,我们使用基于循环置信传播的线性响应近似来计算。我们发展的理论,有条件和无条件的随机场或无隐变量。在条件设置中,我们引入了一个新的变形适合结构域的装袋。在这里,我们运行循环最大乘积算法的“super-graph”组成的图形的个别模型从后验采样和连接的约束。在真实数据上的实验验证了所提方法的有效性。
2012-06-27 cs.LG stat.ML
Posterior contraction rates for deconvolution of Dirichlet-Laplace mixtures
研究了拉普拉斯密度和狄利克雷过程在混合分布上的位置混合的非参数贝叶斯推断。我们推导出相应的后验分布的收缩率,无论是相对于Wasserstein度量的混合分布,还是相对于Hellinger和$L_q$度量的混合密度。
2016-01-26 math.ST stat.TH
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst(信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校);Department of Statistics University of British Columbia(统计学系 不列颠哥伦比亚大学)
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法(ILA)在潜在高斯模型(LGMs)中引入的误差,通过增加重要性采样的样本数使近似后验收敛到正确后验,并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法,特别是哈密顿蒙特卡洛方法。
2026-11-13 cs.LG stat.ML
Laplace and skew-Laplace approximations for Dirichlet process mixture posterior density
University of Milano-Bicocca(米兰比可卡大学);Bocconi University(博科尼大学)
本文研究了狄利克雷过程混合模型后验密度估计中拉普拉斯和斜拉普拉斯近似方法的性能,通过数值实验比较了标准拉普拉斯近似、修正斜拉普拉斯近似和切片采样基准,发现斜拉普拉斯近似在复杂密度结构中能显著提升后验恢复精度。
2026-04-28 stat.CO stat.ME
On strong posterior contraction rates for Besov-Laplace priors in the white noise model
本文研究白噪声模型中Besov-Laplace先验的强后验收缩率,证明光滑度匹配先验在Besov空间上达到极小极大最优收缩率,并具备导数估计的插件性质,方法基于Wasserstein距离的新途径。
2024-11-11 math.ST stat.TH
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization
Vector Institute(向量研究所);ETH Zürich(苏黎世联邦理工学院);MPI-IS Tübingen(图宾根马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Helmholtz AI(亥姆霍兹人工智能研究所)
本文评估线性化 Laplace 近似用于贝叶斯优化代理模型的效果,展示其性能与灵活性,并指出若干陷阱及无界搜索空间下的潜在问题。
2023-07-10 cs.LG stat.ML
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架,在该框架中,我们递归地近似每个任务后的高斯后验,导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian,这对于现代架构来说通常是棘手的。为了使我们的方法可扩展,我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度,大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Laplace based approximate posterior inference for differential equation models
常微分方程可以说是描述现实世界中物理和生物过程的最流行和最有用的数学工具。通常,这些物理和生物过程被观察到有误差,在这种情况下,对这些数据进行建模的最自然的方法是通过回归,其中平均函数由常微分方程定义,据信可以提供对潜在过程的理解。这些基于回归的动态模型被称为微分方程模型。微分方程模型的参数推断带来了计算上的挑战,主要是由于大多数微分方程的解析解是不可用的。本文提出一种求微分方程模型参数后验分布的近似方法。近似分两步完成。在第一步中,微分方程的解是近似的一般一步法,这是一种数值方法的常微分方程,包括欧拉和龙格库塔程序;在第二步中,多余的参数被边缘化使用拉普拉斯近似。建议拉普拉斯近似后提供了一个计算快速的替代完整的贝叶斯计算方案(如马尔可夫链蒙特卡罗),并产生更准确和稳定的估计比流行的平滑方法(称为配置方法)的基础上频率程序。作为该方法的理论支持,我们证明了Laplace近似后验在一定条件下收敛于实际后验,并分析了数值误差阶与其拉普拉斯近似之间的关系.该方法进行了测试模拟数据集,并与其他现有的方法进行了比较。
2016-07-25 stat.ME
Bayesian Meta-Reinforcement Learning with Laplace Variational Recurrent Networks
针对元强化学习中点估计方法存在的过拟合、不满足一致性问题,本文提出基于拉普拉斯近似的贝叶斯元强化学习方法,无需修改基础架构即可得到完整后验分布,性能比肩变分基线且参数量更少。
2025-05-24 cs.LG stat.ML
Sequential sparse Gaussian process quantile regression
Inria(法国国家信息与自动化研究所);Center for Applied Mathematics, École polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院应用数学中心);CNRS(法国国家科学研究中心)
提出一种稀疏高斯过程框架,通过拉普拉斯近似进行后验推断,并利用预测不确定性分解驱动诱导点填充和数据获取的序贯算法,以高效实现贝叶斯分位数回归。
2026-10-22 cs.LG stat.ML
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题,提出基于高斯混合的两步采样方法及降维近似策略,推导了后验混合密度闭式表达式,并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
On the Posterior Computation Under the Dirichlet-Laplace Prior
本文揭示了Dirichlet-Laplace先验Gibbs采样实现中因算法步骤表述模糊导致的广泛不准确问题,并以正态均值和高维线性回归为例提出修正且更高效的采样方法。
2025-07-07 stat.ME
Reparameterization invariance in approximate Bayesian inference
Technical University of Denmark(丹麦技术大学);University of Cambridge(剑桥大学);Karolinska Institutet(卡罗林斯卡学院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对贝叶斯神经网络(BNNs)近似后验在重参数化下缺乏不变性的问题,本文基于线性化拉普拉斯近似提出重参数化几何视角解释线性化成功原因,并通过黎曼扩散过程将不变性扩展到原始网络预测,提出采样算法并提升后验拟合效果。
2025-02-10 cs.LG stat.ML
Mixed Laplace approximation for marginal posterior and Bayesian inference in error-in-operator model
本文针对算子误差模型,提出混合拉普拉斯近似方法,在目标低维、干扰参数高维时放宽维度条件,以高斯混合近似边际后验,精度仅依赖目标维度,并在特定条件下退化为经典拉普拉斯结果。
2023-05-16 math.ST stat.TH
Nonasymptotic Laplace approximation under model misspecification
本文给出了贝叶斯推断中对数边际似然的非渐近双边界。经典的拉普拉斯近似恢复为首项。我们的推导允许模型误指定,并允许参数尺寸的增长与样本量。我们不对后验的渐近形状做任何假设,而是要求似然比满足一定的正则性条件,并且后验要足够集中。
2020-06-20 math.ST stat.TH
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型(GAM)是一种成熟的统计工具,用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中,P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间,通过考虑一个确定性的基于网格的策略或马尔可夫链采样器,根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量,这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算,即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验,建议的方法具有良好的统计特性。通过不同的模拟场景,拉普拉斯P样条模型的性能得到证实,并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Cimat(西马研究所)
研究针对大语言模型基准神经项目反应理论模型,提出拉普拉斯-PSN-IRT方法,通过近似贝叶斯后验推断增强模型,能恢复校准不确定性,可进行可信区间等分析,实验表明该方法在模型比较、信息稳定性及能力排名恢复等方面表现良好。
2026-07-29 cs.AI cs.LG stat.AP
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中,我们的目标是结合这两种方法的优点,提出用高斯混合模型后验进行预测,该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用,并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证,我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification
Rational Intelligence Lab, CISPA Helmholtz Center for Information Security Department of Statistics, LMU Munich(理性智能实验室,CISPA海德堡信息安全中心统计学系,慕尼黑大学);Department of Statistics, LMU Munich(统计学系,慕尼黑大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
提出自监督拉普拉斯近似(SSLA),通过重新拟合自预测数据直接近似后验预测分布,实现确定性、无采样的贝叶斯不确定性量化,并在回归任务中优于经典拉普拉斯近似。
2026-05-28 cs.AI cs.LG stat.CO
How good is your Laplace approximation of the Bayesian posterior? Finite-sample computable error bounds for a variety of useful divergences
针对拉普拉斯近似贝叶斯后验的质量评估难题,提出首个同时满足无需真实参数、适用于有限样本、控制后验矩且适用范围广的可计算误差界,优化了维度依赖并验证了效用。
2025-06-15 math.PR math.ST stat.TH
Covariance Structure Estimation with Laplace Approximation
高斯协方差图模型是揭示随机变量间相关结构的一种常用模型。协方差结构估计的贝叶斯方法使用在协方差阵的一些非对角项上强制为零并对矩阵施加正定约束的先验。在本文中,我们考虑了非对角项上的尖峰和平板先验,它使用点质量和正态分布的混合。点质量自然地将稀疏性引入协方差结构,使得从该先验得到的后验呈现协方差结构学习。在此先验下,我们使用拉普拉斯近似计算协方差结构的后验模型概率。我们证明了由于拉普拉斯近似的误差变得渐近边际在一定的速度依赖于后验收敛速度的协方差阵下的Frobenius范数。利用近似后验模型概率,我们提出了一个新的协方差结构估计框架。由于拉普拉斯近似是围绕协方差阵的条件后验模进行的,而条件后验模不能以封闭形式获得,因此我们提出了一种块坐标下降算法来寻找条件后验模,并证明了一旦选择了结构,就可以使用该算法来估计协方差阵。通过对5个数值模型的仿真研究,表明该方法在根均方误差、最大范数、谱范数、特异性和灵敏度方面优于图形套索和样本协方差阵。此外,所提出的方法的优点是证明在准确性方面相比,我们的竞争对手,当它被应用到线性判别分析(LDA)分类乳腺癌诊断数据集。
2021-12-06 math.ST stat.ME stat.TH
Online Laplace Model Selection Revisited
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本工作重新推导了在线 Laplace 方法,证明其优化一个不作平稳性假设的模式校正变分界,并在 UCI 回归数据集上验证其能有效防止过拟合,优于基于验证的早期停止。
2024-01-09 cs.LG stat.ML
Dirichlet-Laplace priors for optimal shrinkage
惩罚回归方法,如$L_1$正则化,通常用于高维应用,并且有丰富的文献在稀疏性假设下的最优性。在贝叶斯范式中,稀疏性通常通过概率质量为零的两组分混合先验来诱导,但这种先验在高维中遇到了令人生畏的计算问题。这激发了各种各样的连续收缩先验,它们可以表示为高斯的全局-局部尺度混合,便于计算。与频率论文献形成鲜明对比的是,人们对这种先验的性质以及相应的后验分布的收敛性和集中性知之甚少。在这篇文章中,我们提出了一类新的狄利克雷-拉普拉斯(DL)先验,它具有最佳的后验浓度,并导致有效的后验计算利用归一化随机测度论的结果。有限样本的狄利克雷-拉普拉斯先验相对于替代品的性能进行评估,在模拟和真实数据的例子。
2014-01-21 math.ST stat.TH
Optimality of Sub-network Laplace Approximations: New Results and Methods
Linkedin Inc.(LinkedIn公司)
本文研究子网络拉普拉斯近似法的最优性,提出两种新方法并证明其理论保证,展示其优于现有启发式方法。
2026-07-30 cs.LG stat.ML
An Extended Simplified Laplace strategy for Approximate Bayesian inference of Latent Gaussian Models using R-INLA
当将贝叶斯推断方法应用于复杂的分层模型时,会出现各种计算挑战。基于采样的推理方法,如马尔可夫链蒙特卡罗策略,以提供准确的结果而闻名,但计算成本高,收敛速度慢或有问题。相反,近似方法如集成嵌套拉普拉斯近似(INLA)通过嵌套拉普拉斯近似构造对单变量后验的确定性近似。该方法可以在隐高斯模型中实现快速推理性能,该模型对一大类分层模型进行编码。R-INLA软件主要由三种策略组成,根据精度要求计算所有所需的后验近似。简化的拉普拉斯近似(SLA)是最有吸引力的,因为它的速度性能,因为它是基于泰勒展开的三阶全拉普拉斯近似。在这里,我们通过简化偏度和模态配置所需的计算来增强方法。然后,我们提出了一个扩展到四阶,并使用扩展的斜正态分布作为一个新的参数拟合。由此产生的近似的边缘后密度是更准确的比那些计算的SLA,基本上没有额外的成本。
2022-03-27 stat.ME
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能中心);EPFL School of Computer and Communication Sciences(洛桑联邦理工学院计算机与通信科学学院)
在这篇论文中,我们解开了贝叶斯深度学习的广义高斯-牛顿和近似推理。广义高斯-牛顿方法是一种优化方法,用于几种流行的贝叶斯深度学习算法。将高斯-牛顿方法与拉普拉斯和高斯变分近似相结合的算法最近在贝叶斯深度学习中取得了最先进的成果。虽然拉普拉斯和高斯变分近似已经被广泛研究,但它们与高斯-牛顿方法的相互作用仍然不清楚。最近对贝叶斯深度学习中先验和后验近似的批评进一步敦促人们需要更深入地理解实用算法。对神经网络的高斯-牛顿法、拉普拉斯和高斯变分逼近的个别分析提供了理论见解和新的实用算法。我们发现,高斯-牛顿方法简化了潜在的概率模型显着。特别地,高斯-牛顿方法与近似推断的组合可以被转换为线性或高斯过程模型中的推断。拉普拉斯和高斯变分近似可以随后提供这些简化模型的后验近似。这种对最近贝叶斯深度学习算法的新的解开的理解也导致了新的方法:首先,与高斯过程的连接使新的函数空间推理算法成为可能。其次,我们提出了一个边际似然近似的底层概率模型来调整神经网络超参数。最后,确定的基础模型导致不同的方法来计算预测分布。事实上,我们发现贝叶斯神经网络的这些预测方法通常比默认选择更好,并且解决了拉普拉斯近似的一个常见问题。
2020-07-21 cs.LG stat.ML
Dimension free non-asymptotic bounds on the accuracy of high dimensional Laplace approximation
本文试图用现代的非渐近无量纲形式重新讨论拉普拉斯近似的经典结果。这种扩展的动机是应用到高维统计和最优化问题。所建立的结果提供了明确的非渐近界的质量的高斯近似的后验分布在全变差距离方面的所谓的\emph{effective dimension} \( p_G \)。该值被定义为数据中包含的信息与先验分布中包含的信息之间的相互作用。与著名的Bernstein-von Mises结果相反,先验的影响不可忽略,并且即使真实的参数维度是巨大的或无限的,它也允许保持有效维度小或适度。我们还解决了使用高斯近似与不精确的参数的问题,重点是用后验均值代替最大后验概率(MAP)值,并设计了基于拉普拉斯迭代的贝叶斯优化算法。所得结果适用于非线性反问题的情形。
2022-06-23 cs.NA math.NA math.ST
Continuous Record Laplace-based Inference about the Break Date in Structural Change Models
基于Casini和Perron(2018a)最近引入的用于结构变化模型推断的连续记录渐近框架,我们提出了一种基于拉普拉斯(准贝叶斯)的方法来构建结构变化日期的估计和置信集。它是由积分而不是基于优化的方法定义的。的最小二乘准则函数的变换进行评估,以获得一个适当的分布,称为准后验。对于给定的损失函数的选择,拉普拉斯型估计量是期望风险的最小化者,期望在拟后验下进行。除了提供一个更精确的替代估计之外,|下平均绝对误差(MAE)和下均方根误差(RMSE)|与通常的最小二乘分布相比,拟后验分布可以利用最高密度区域的概念来构造渐进有效的推理。由此产生的拉普拉斯为基础的推理过程被证明有较低的MAE和RMSE,和置信集之间的经验覆盖率和平均长度的置信集相对于传统的长跨度方法,无论是小的或大的最佳平衡的突破。
2020-05-11 econ.EM math.ST stat.TH
Beyond Laplace: Closed-form wrapped Gaussian posterior approximations on statistical manifolds
University of Helsinki(赫尔辛基大学);Nanyang Technological University(南洋理工大学);Qutwo;DTU Compute, Technical University of Denmark(丹麦技术大学计算学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
针对拉普拉斯近似无法捕捉后验偏斜、厚尾等复杂几何特征的问题,利用对比函数理论在Fisher-Rao度量和先验几何下推导对数映射和指数映射的易处理近似,实现统计流形上的闭式包裹高斯后验近似,显著降低计算成本。
2026-07-24 stat.ME
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法,通过将潜空间二分以分别处理潜变量和未惩罚参数,结合非高斯不对称近似与Laplace近似,在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Laplace approximation for logistic Gaussian process density estimation and regression
逻辑高斯过程(LGP)先验为建模未知密度提供了灵活的替代方案。密度估计的平滑性可以通过LGP的先验协方差结构来控制,但挑战在于分析上难以处理的推断。在本文中,我们提出了近似贝叶斯推断的LGP密度估计在一个网格中使用拉普拉斯的方法来整合在非高斯后验分布的潜函数值,并确定协方差函数参数与类型II的最大后验概率(MAP)估计。我们证明,拉普拉斯的方法与MAP是足够快的实际互动可视化的1D和2D密度。我们的实验与模拟和真实的一维数据集表明,估计精度接近马尔可夫链蒙特卡罗近似和国家的最先进的分层无限高斯混合模型。我们还构建了一个降秩近似,以加快密集的二维网格的计算,并证明密度回归与建议的拉普拉斯方法。
2013-10-07 stat.CO stat.ME stat.ML
Bayesian model averaging with the integrated nested Laplace approximation
贝叶斯推断的集成嵌套拉普拉斯近似(INLA)是估计贝叶斯分层模型参数和潜在效应的后验边缘分布的有效方法,该模型可以表示为潜在高斯马尔可夫随机场(GMRF)。作为GMRF的表示允许相关软件R-INLA在一小部分时间内估计后边缘作为典型的马尔可夫链蒙特卡罗算法。INLA可以通过贝叶斯模型平均(BMA)来扩展,以增加可以拟合条件潜在GMRF的模型数量。在本文中,我们回顾了使用BMA与INLA,并提出了一个新的例子空间计量经济学模型。
2019-11-02 stat.CO stat.ME
Integrated Nested Laplace Approximations (INLA)
这是一个简短的说明和基本介绍集成嵌套拉普拉斯近似(INLA)的方法。INLA是Rue等人(2009)在潜在高斯模型(LGM)中引入的贝叶斯推断的确定性范例。INLA依赖于分析近似和有效的数值积分方案的组合,以实现对感兴趣的后验量的高度精确的确定性近似。使用INLA代替马尔可夫链蒙特卡罗(MCMC)技术进行LGM的主要好处是计算性;即使对于大型复杂模型,INLA也很快。此外,作为一种确定性算法,INLA不会出现收敛慢和混合不良的问题。INLA是在R包R-INLA中实现的,R-INLA是一个用户友好的多功能工具,用于进行贝叶斯推断。R-INLA返回所有模型参数的后边缘和相应的后验汇总信息。模型选择标准以及预测诊断是直接可用的。在这里,我们概述了INLA背后的理论,介绍了R-INLA包,并描述了将INLA与MCMC相结合的新发展,用于不可能与R-INLA相适应的模型。
2019-07-02 stat.CO
Spatial Bayesian Hierarchical Modelling with Integrated Nested Laplace Approximation
我们认为潜在的高斯场建模空间依赖的背景下,空间点模式和面积数据,提供两个不同的应用。利用随机偏微分方程,建立了描述希腊地震序列的非齐次对数高斯Cox过程模型。Besag-York-Mollie模型适用于意大利北部Covid-19感染的疾病映射。这两个模型都属于贝叶斯分层模型类的潜在高斯字段,其后验是不可用的封闭形式。因此,使用集成嵌套拉普拉斯近似执行推断,该集成嵌套拉普拉斯近似为感兴趣的后验量提供准确且相对快速的分析近似。
2020-09-08 stat.AP
Frequentist Asymptotics of Variational Laplace
本文从频率学派渐近统计角度分析 Variational Laplace,证明其点估计在示例及一般充分条件下具有一致性与有效性,并研究总变差收敛及仿真验证。
2025-07-23 math.ST q-bio.QM stat.TH
Laplace Approximation For Tensor Train Kernel Machines In System Identification
Delft Center for Systems and Control(代尔夫特系统与控制中心)
本文提出了一种基于拉普拉斯近似的贝叶斯张量展开核机,用于系统辨识问题,通过变分推断提高训练效率。
2025-12-02 cs.LG stat.ML
Robust Bayesian Quantile Regression: Targeted and Calibrated Posterior Inference
Meiji University(明治大学);Keio University(庆应义塾大学)
该研究针对基于非对称拉普拉斯分布的贝叶斯分位数回归对极端观测值敏感的问题,提出AL-LPAL混合分布,建立后验稳健性并开发后验计算方法,经模拟和实际数据验证其预测性能良好。
2026-11-20 stat.ME
Preferential Bayesian optimisation with Skew Gaussian Processes
Trinity College(都柏林圣三一学院);Dalle Molle Institute for Artificial Intelligence Research (IDSIA) - USI/SUPSI(达勒莫尔人工智能研究所(IDSIA)- 瑞士意大利语区应用艺术与科学大学/瑞士南部应用科学与艺术大学)
偏好贝叶斯优化(PBO)处理的优化问题,其中目标函数只能通过偏好判断来访问,例如两个候选解决方案之间的“这个比那个好”(如A/B测试或推荐系统)。PBO的最新方法使用高斯过程来模拟偏好函数,并使用伯努利似然来模拟观察到的成对比较。拉普拉斯的方法,然后计算后验推理,特别是建立一个适当的采集功能。在本文中,我们证明了真正的后验分布的偏好函数是一个斜高斯过程(SkewGP),具有高度偏斜的成对边缘,因此,表明拉普拉斯的方法通常提供了一个非常差的近似。然后,我们推导出一种有效的方法来计算精确的SkewGP后验,并使用它作为代理模型PBO采用标准的采集功能(上可信界等)。我们说明了我们的确切PBO-SkewGP在各种实验中的好处,通过显示它始终优于PBO的基础上拉普拉斯近似在收敛速度和计算时间。我们还表明,我们的框架可以扩展到处理混合偏好分类BO,二元判断(有效或无效)连同偏好判断。
2021-04-01 cs.LG math.OC stat.ML
Bayesian inference with Besov-Laplace priors for spatially inhomogeneous binary classification surfaces
本文针对空间非齐次二分类问题,提出使用贝索夫-拉普拉斯先验的非参数贝叶斯方法,并证明其后验收缩率在频率学派假设下达到极小极大最优。
2025-09-09 math.ST stat.TH
A Novel Method of Marginalisation using Low Discrepancy Sequences for Integrated Nested Laplace Approximations
最近,它已被证明,使用低差异序列(LDS)获得的边缘后验分布的近似可以优于标准的基于网格的方法的精度和计算效率。这种最近的方法,我们将称为LDS-StM,也可以产生良好的近似多峰后验。然而,实施LDS-STM集成嵌套拉普拉斯近似(INLA),其中使用基于网格的方法,是具有挑战性的。出于这个问题,我们提出了修改LDS-StM,提高了近似,并使其与INLA兼容,而不牺牲计算速度。我们还提出了两个例子来证明LDS-StM与修改可以优于INLA自己的网格近似的速度和精度。我们还证明了新方法的灵活性,多峰边缘的近似。
2019-12-04 stat.CO
Practical bounds on the error of Bayesian posterior approximations: A nonasymptotic approach
Harvard T. H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
贝叶斯推断通常需要计算后验分布的近似值。近似贝叶斯推理算法的一个重要要求是输出高精度的后验均值和不确定性估计。经典的蒙特卡罗方法,特别是马尔可夫链蒙特卡罗,仍然是近似贝叶斯推理的黄金标准,因为它们具有强大的有限样本理论和可靠的收敛诊断。然而,替代方法,这是更可扩展的或适用于不能使用马尔可夫链蒙特卡罗的问题,缺乏相同的有限数据逼近论和工具,以评估其准确性。在这项工作中,我们开发了一种灵活的新方法来界定可扩展推理算法的平均误差和不确定性估计。我们的策略是控制Wasserstein距离的估计误差,然后通过Fisher距离的广义概念来约束Wasserstein距离。不像计算Wasserstein距离,它需要访问归一化的后验分布,Fisher距离是易于计算的,因为它只需要访问对数后验密度的梯度。我们证明了我们的Fisher距离方法的有用性,推导出的拉普拉斯近似和希尔伯特coresets的Wasserstein错误的界限。我们预期我们的方法将适用于许多其他的近似推理方法,如集成拉普拉斯近似,变分推理和近似贝叶斯计算
2018-10-01 cs.LG math.ST stat.CO
Post-Hoc Uncertainty-Aware Explanations for Deployed Power Quality Disturbance Classifiers via Laplace Approximation
School of Engineering, Deakin University(德肯大学工程学院);ARC Training Centre in Energy Technologies for Future Grids, School of Engineering, University of Wollongong(未来电网能源技术培训中心,沃尔灵宗大学工程学院)
本文提出一种贝叶斯解释框架,通过生成相关性归因分布来建模解释不确定性,提升电力质量问题分类器的透明度和可靠性。
2026-08-14 cs.LG
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Spectral Bayesian Regression on the Sphere
Sapienza University of Rome(罗马第一大学)
本文提出了一种球面上非参数回归的贝叶斯方法,利用球谐基函数和各向同性高斯场先验,推导出后验分布和收缩速率,实现精确的几何内在惩罚最小二乘估计。
2026-01-28 math.PR math.ST stat.ML
Hierarchical Besov-Laplace priors for spatially inhomogeneous binary classification
ESOMAS Department, University of Turin(都灵大学 ESOMAS 学院)
针对空间非齐次二元分类问题,提出基于Besov-Laplace先验的层次贝叶斯方法,通过精细调节正则化超先验实现后验分布最优收敛率,并设计高效MCMC算法。
2026-06-12 math.ST stat.TH
Bayesian sequential parameter estimation with a Laplace type approximation
提出了一种基于迭代拉普拉斯近似的动态隐高斯模型固定参数的序贯推断方法。该方法提供了一个有用的计算性能和准确性之间的权衡近似真实的后验分布。近似校正,以提高模拟研究中的近似精度。基于人口的方法也被证明提供了一个更强大的推理方法。
2015-09-25 stat.CO stat.ME
Riemannian Laplace Approximation with the Fisher Metric
本文提出改进的黎曼度量下的拉普拉斯近似方法,通过发展近似族并推导两种变体,在无限数据极限下实现精确性,同时提升实际应用效果。
2026-03-11 cs.LG stat.ME stat.ML
A note on simulation methods for the Dirichlet-Laplace prior
本文指出Bhattacharya等人(2015)提出的Dirichlet-Laplace先验MCMC模拟算法存在抽样顺序错误,无法正确从联合后验分布抽样,并给出修正原算法和基于等价先验表述的新算法两种解决方案。
2025-08-16 econ.EM stat.CO stat.ME
exdqlm: An R Package for Estimation and Analysis of Flexible Dynamic Quantile Linear Models
University of California Santa Cruz(加州大学圣克鲁兹分校)
介绍R包exdqlm用于贝叶斯分位数回归,围绕exDQLMs构建,借助MCMC和LDVB实现后验模拟与快速推断,支持后验不确定性量化,同一接口还支持多种模型及诊断,为时间序列分析提供高效工具。
2026-07-29 stat.ME
Laplace Approximations for Mixed-Effects and Gaussian Process Quantile Regression
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
本文提出了一种适用于混合效应和高斯过程分位数回归的拉普拉斯近似方法,通过分析信息和预期损失的曲率来克服非对称拉普拉斯似然下的计算障碍,提高了计算效率和准确性。
2026-08-20 stat.ME
Solving high-dimensional parameter inference: marginal posterior densities & Moment Networks
Sorbonne Université(索邦大学);Université de Paris(巴黎大学);University College London(伦敦大学学院);Institut d’Astrophysique de Paris(巴黎天体物理研究所);Flatiron Institute(弗莱提荣研究所)
用于推理的高维概率密度估计遭受“维数灾难”。对于许多物理推理问题,完全后验分布是笨重的,很少在实践中使用。相反,我们建议直接估计低维的边缘分布,绕过高维密度估计或高维马尔可夫链蒙特卡罗(MCMC)采样。通过对二维边缘后验的估计,我们可以揭示全维参数协方差结构。此外,我们还提出构建一个简单的快速神经回归模型层次,称为矩网络,计算任何所需的低维边缘后验密度的增加矩;这些重现了分析后验和掩蔽自回归流获得的精确结果。我们证明了边缘后密度估计使用高维LIGO的引力波时间序列和描述的基本宇宙学问题的应用。
2020-11-11 astro-ph.CO cs.LG stat.ML