Robust Bayesian Quantile Regression: Targeted and Calibrated Posterior Inference
Meiji University(明治大学);Keio University(庆应义塾大学)
该研究针对基于非对称拉普拉斯分布的贝叶斯分位数回归对极端观测值敏感的问题,提出AL-LPAL混合分布,建立后验稳健性并开发后验计算方法,经模拟和实际数据验证其预测性能良好。
2026-11-20 stat.ME
Riemannian Laplace approximations for Bayesian neural networks
Technical University of Denmark(丹麦技术大学)
针对贝叶斯神经网络高斯近似后验非高斯性导致性能下降的问题,提出基于对数后验梯度黎曼度量的黎曼拉普拉斯近似,通过求解常微分方程高效采样,性能优于传统方法且对先验选择不敏感。
2023-06-12 cs.LG stat.ME stat.ML
Posterior contraction rates for deconvolution of Dirichlet-Laplace mixtures
研究了拉普拉斯密度和狄利克雷过程在混合分布上的位置混合的非参数贝叶斯推断。我们推导出相应的后验分布的收缩率,无论是相对于Wasserstein度量的混合分布,还是相对于Hellinger和$L_q$度量的混合密度。
2016-01-26 math.ST stat.TH
exdqlm: An R Package for Estimation and Analysis of Flexible Dynamic Quantile Linear Models
University of California Santa Cruz(加州大学圣克鲁兹分校)
介绍R包exdqlm用于贝叶斯分位数回归,围绕exDQLMs构建,借助MCMC和LDVB实现后验模拟与快速推断,支持后验不确定性量化,同一接口还支持多种模型及诊断,为时间序列分析提供高效工具。
2026-07-29 stat.ME
Laplace Approximations for Mixed-Effects and Gaussian Process Quantile Regression
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
本文提出了一种适用于混合效应和高斯过程分位数回归的拉普拉斯近似方法,通过分析信息和预期损失的曲率来克服非对称拉普拉斯似然下的计算障碍,提高了计算效率和准确性。
2026-08-20 stat.ME
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文通过扩展Mou等人的扩散框架,推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果,并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
Enhanced Laplace Approximation
拉普拉斯近似(LA)是一种近似具有潜在变量的统计模型的边缘似然的方法。然而,基于LA的近似极大似然估计(MLE)往往是有偏的二进制或空间数据,相应的Hessian矩阵低估了这些近似MLE的标准误。已经提出了高阶近似;但是,它不能应用于复杂的模型,如相关随机效应模型,并且不能提供一致的方差估计。在本文中,我们提出了一个增强的LA(ELA),提供了真正的MLE和一致的方差估计。我们研究它的关系,变分贝叶斯方法。我们还介绍了一个新的限制极大似然估计(REMLE)估计色散参数。数值研究结果表明,ELA提供了一个令人满意的MLE和REMLE,以及它们的方差估计固定参数。在平坦先验条件下,MLE和REMLE分别可以看作是后验模态和边缘后验模态。在不同的先验条件下,与贝叶斯方法进行了比较。
2022-07-20 stat.ME
On strong posterior contraction rates for Besov-Laplace priors in the white noise model
本文研究白噪声模型中Besov-Laplace先验的强后验收缩率,证明光滑度匹配先验在Besov空间上达到极小极大最优收缩率,并具备导数估计的插件性质,方法基于Wasserstein距离的新途径。
2024-11-11 math.ST stat.TH
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型,称为扩展的潜在高斯模型,允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型,包括多分辨率空间过程,部分基于似然的生存模型,和多变量测量误差模型。由于精确的后验分布的计算是不可行的,我们开发了一个快速的,可扩展的近似贝叶斯推断方法,这一类的基础上嵌套高斯,拉普拉斯,自适应正交近似。我们证明了在标准条件下,这些近似后验的误差是op(1),并提供了数值证据表明,我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快,可扩展到更大的数据集,具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据,映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型,并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Laplace approximation and the natural gradient for Gaussian process regression with the heteroscedastic Student-t model
本文考虑用Laplace方法对Student-t概率模型的位置和尺度参数进行高斯过程(GP)回归的近似推断。这允许数据的均值和方差作为协变量的函数而变化,具有吸引人的特征,即学生t模型已被广泛用作鲁棒数据分析的有用工具。对于具有Student-t概率模型的GP回归,近似推断的挑战在于后验分布的分析困难性和对数似然函数的不确定性。我们提出了自然梯度适应的估计过程中,主要依赖于学生-t模型自然具有正交参数化的位置和尺度参数的属性。由于该模型的这一特殊性质,我们还引入了另一种拉普拉斯近似,通过使用费舍尔信息矩阵代替负对数似然函数的Hessian矩阵。根据实验,当与传统的拉普拉斯近似相比时,这种替代近似提供非常相似的后验近似和预测性能。我们还比较了这两种拉普拉斯近似与蒙特卡罗马尔可夫链(MCMC)方法。此外,我们比较了我们的异方差Student-t模型和GP回归与异方差高斯模型。我们还讨论了我们的方法可以提高推理算法的情况下,假设的数据的概率模型不是对数凹的。
2017-12-23 stat.ME
Bayesian Hierarchical Copula Models with a Dirichlet-Laplace Prior
本文针对金融时间序列聚类提出贝叶斯分层copula模型,采用Dirichlet-Laplace全局-局部收缩先验解决后验不适定问题并刻画聚类间依赖,通过模拟和真实数据验证性能。
2025-02-06 stat.ME
Bayesian model averaging with the integrated nested Laplace approximation
贝叶斯推断的集成嵌套拉普拉斯近似(INLA)是估计贝叶斯分层模型参数和潜在效应的后验边缘分布的有效方法,该模型可以表示为潜在高斯马尔可夫随机场(GMRF)。作为GMRF的表示允许相关软件R-INLA在一小部分时间内估计后边缘作为典型的马尔可夫链蒙特卡罗算法。INLA可以通过贝叶斯模型平均(BMA)来扩展,以增加可以拟合条件潜在GMRF的模型数量。在本文中,我们回顾了使用BMA与INLA,并提出了一个新的例子空间计量经济学模型。
2019-11-02 stat.CO stat.ME
Covariance Structure Estimation with Laplace Approximation
高斯协方差图模型是揭示随机变量间相关结构的一种常用模型。协方差结构估计的贝叶斯方法使用在协方差阵的一些非对角项上强制为零并对矩阵施加正定约束的先验。在本文中,我们考虑了非对角项上的尖峰和平板先验,它使用点质量和正态分布的混合。点质量自然地将稀疏性引入协方差结构,使得从该先验得到的后验呈现协方差结构学习。在此先验下,我们使用拉普拉斯近似计算协方差结构的后验模型概率。我们证明了由于拉普拉斯近似的误差变得渐近边际在一定的速度依赖于后验收敛速度的协方差阵下的Frobenius范数。利用近似后验模型概率,我们提出了一个新的协方差结构估计框架。由于拉普拉斯近似是围绕协方差阵的条件后验模进行的,而条件后验模不能以封闭形式获得,因此我们提出了一种块坐标下降算法来寻找条件后验模,并证明了一旦选择了结构,就可以使用该算法来估计协方差阵。通过对5个数值模型的仿真研究,表明该方法在根均方误差、最大范数、谱范数、特异性和灵敏度方面优于图形套索和样本协方差阵。此外,所提出的方法的优点是证明在准确性方面相比,我们的竞争对手,当它被应用到线性判别分析(LDA)分类乳腺癌诊断数据集。
2021-12-06 math.ST stat.ME stat.TH
CLAPS: Aleatoric-Epistemic Scaling via Last-Layer Laplace for Conformal Regression
Gachon University(高阳大学)
CLAPS通过结合最后一层拉普拉斯近似和分置信校准,实现后验感知的置信区间,提供更高效的预测区间和诊断工具。
2026-10-20 cs.LG stat.ML
A Laplace Mixture Representation of the Horseshoe and Some Implications
马蹄铁先验,定义为正常的一半柯西尺度混合,提供了一种最先进的方法贝叶斯稀疏信号恢复。我们提供了一个新的代表性的马蹄铁密度作为一个规模的拉普拉斯密度的混合物,明确识别的混合措施。利用著名的Bernstein-Widder定理和Bochner的结果,我们的表示立即建立了马蹄铁密度的完全单调性和相应惩罚的强单调性。从而建立了局部线性近似和期望最大化算法在马蹄惩罚回归下寻找后验模式的等价性。此外,所得到的估计是稀疏的。
2022-12-08 stat.ME
L2M: Practical posterior Laplace approximation with optimization-driven second moment estimation
Machine Learning Porto Alegre(阿雷格里港机器学习机构)
深度神经网络的不确定性量化最近已经通过许多技术发展。在这项工作中,我们重温拉普拉斯近似,一个经典的后验近似方法,是计算上的吸引力。然而,而不是计算曲率矩阵,我们表明,在一定的正则性条件下,拉普拉斯近似可以很容易地构造使用梯度二阶矩。这个量已经被Adagrad的许多指数移动平均变体(如Adam和RMSprop)估计,但传统上在训练后被丢弃。我们证明了我们的方法(L2M)不需要改变模型或优化,可以在几行代码中实现以产生合理的结果,并且除了优化器已经计算的内容之外,它不需要任何额外的计算步骤,而不需要引入任何新的超参数。我们希望我们的方法可以打开新的研究方向,使用已经计算的数量的优化不确定性估计在深度神经网络。
2021-07-09 cs.LG stat.ML
Bayesian Fusion Estimation via t-Shrinkage
收缩先验在许多数据分析中取得了很大的成功,但其应用主要集中在稀疏参数的贝叶斯建模。在这项工作中,我们将贝叶斯收缩模型的高维参数,拥有一个未知的块结构。我们建议在此之前进行重尾收缩,例如,$t$先验,并且这样的融合先验将使连续的差异朝向零收缩,因此引起后阻滞。与传统的基于Laplace融合先验的贝叶斯融合套索算法相比,$t$融合先验具有更强的收缩效应和良好的后验一致性。仿真研究和实际数据分析表明,$t$融合具有优于频率论融合估计和贝叶斯拉普拉斯融合先验的性能。将这种$t$融合策略进一步发展,进行贝叶斯聚类分析,仿真结果表明,该算法比经典Dirichlet过程建模具有更好的后验分布收敛性。
2018-12-27 stat.ME
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题,提出基于高斯混合的两步采样方法及降维近似策略,推导了后验混合密度闭式表达式,并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Fiducial Matching for the Approximate Posterior: F-ABC
引入F-ABC,使用通用的充分统计量,与之前的ABC论文不同,例如Bernton et al.(2019),并避免了由于内核引起的近似后验伪影。匹配公差的性质进行检查,并确定其值的迹象。F-ABC没有面临与ABC相关的问题。渐近性和仿真结果。
2020-07-12 stat.ME
Mixed Laplace approximation for marginal posterior and Bayesian inference in error-in-operator model
本文针对算子误差模型,提出混合拉普拉斯近似方法,在目标低维、干扰参数高维时放宽维度条件,以高斯混合近似边际后验,精度仅依赖目标维度,并在特定条件下退化为经典拉普拉斯结果。
2023-05-16 math.ST stat.TH
Bayesian sequential parameter estimation with a Laplace type approximation
提出了一种基于迭代拉普拉斯近似的动态隐高斯模型固定参数的序贯推断方法。该方法提供了一个有用的计算性能和准确性之间的权衡近似真实的后验分布。近似校正,以提高模拟研究中的近似精度。基于人口的方法也被证明提供了一个更强大的推理方法。
2015-09-25 stat.CO stat.ME
Nonasymptotic Laplace approximation under model misspecification
本文给出了贝叶斯推断中对数边际似然的非渐近双边界。经典的拉普拉斯近似恢复为首项。我们的推导允许模型误指定,并允许参数尺寸的增长与样本量。我们不对后验的渐近形状做任何假设,而是要求似然比满足一定的正则性条件,并且后验要足够集中。
2020-06-20 math.ST stat.TH
Skew-Normal Posterior Approximations
许多近似贝叶斯推断方法假设一个特定的参数形式来近似后验分布。多变量高斯分布为这种方法提供了一个方便的密度;例子包括拉普拉斯,惩罚准似然,高斯变分和期望传播方法。不幸的是,这些都忽略了潜在的偏态的后验分布。我们提出了一个修改,占偏度,其中的关键统计的后验分布匹配,而不是一个多变量的偏态正态分布。进行了模拟研究和基准测试的组合,以比较这种偏态-正态匹配方法(作为独立近似和事后偏态调整)与现有高斯和偏态近似的性能。我们的经验表明,对于小尺寸和中等尺寸的情况下,偏态匹配可以比这些其他方法更准确。对于事后偏度调整,这在额外的计算时间上花费很少。
2023-02-16 stat.ME
Addressing the Inconsistency in Bayesian Deep Learning via Generalized Laplace Approximation
School of Engineering Deakin University Melbourne, VIC, 3216, Australia(工程学院 德堪大学 澳大利亚墨尔本 VIC 3216);Faculty of Mathematics(数学与计算机科学学院);Department of Computing Technologies Swinburne University of Technology Hawthorn, VIC, 3122, Australia(计算技术系 斯winburne技术大学 澳大利亚霍斯顿 VIC 3122)
本文提出广义拉普拉斯近似方法,通过简单修改海森矩阵计算实现可扩展的高质量后验推断,并将后验温度调节解释为对模型误设和先验不确定性的修正,在真实数据上验证了其提升预测性能的效果。
2025-09-22 cs.LG stat.ML
Approximate Bayesian Inference for Structural Equation Models using Integrated Nested Laplace Approximations
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universiti Brunei Darussalam(文莱达鲁萨兰国大学)
本文提出了一种基于集成嵌套拉普拉斯近似法框架的近似贝叶斯方法,用于结构方程模型的推断,通过简化拉普拉斯近似和变分贝叶斯修正,提高了推断效率和准确性。
2026-09-18 stat.ME
How good is your Laplace approximation of the Bayesian posterior? Finite-sample computable error bounds for a variety of useful divergences
针对拉普拉斯近似贝叶斯后验的质量评估难题,提出首个同时满足无需真实参数、适用于有限样本、控制后验矩且适用范围广的可计算误差界,优化了维度依赖并验证了效用。
2025-06-15 math.PR math.ST stat.TH
Dirichlet-Laplace priors for optimal shrinkage
惩罚回归方法,如$L_1$正则化,通常用于高维应用,并且有丰富的文献在稀疏性假设下的最优性。在贝叶斯范式中,稀疏性通常通过概率质量为零的两组分混合先验来诱导,但这种先验在高维中遇到了令人生畏的计算问题。这激发了各种各样的连续收缩先验,它们可以表示为高斯的全局-局部尺度混合,便于计算。与频率论文献形成鲜明对比的是,人们对这种先验的性质以及相应的后验分布的收敛性和集中性知之甚少。在这篇文章中,我们提出了一类新的狄利克雷-拉普拉斯(DL)先验,它具有最佳的后验浓度,并导致有效的后验计算利用归一化随机测度论的结果。有限样本的狄利克雷-拉普拉斯先验相对于替代品的性能进行评估,在模拟和真实数据的例子。
2014-01-21 math.ST stat.TH
Deterministic Leave-One-Cluster-Out Cross-Validation for Multilevel Bayesian Structural Equation Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universiti Brunei Darussalam(文莱达鲁萨兰大学)
该研究提出多层贝叶斯SEM的确定性LOCO交叉验证方法,无需重拟合或蒙特卡洛采样,计算成本低,经模拟及PISA、MIDUS数据验证有效。
2026-09-02 stat.ME
Laplace approximation for logistic Gaussian process density estimation and regression
逻辑高斯过程(LGP)先验为建模未知密度提供了灵活的替代方案。密度估计的平滑性可以通过LGP的先验协方差结构来控制,但挑战在于分析上难以处理的推断。在本文中,我们提出了近似贝叶斯推断的LGP密度估计在一个网格中使用拉普拉斯的方法来整合在非高斯后验分布的潜函数值,并确定协方差函数参数与类型II的最大后验概率(MAP)估计。我们证明,拉普拉斯的方法与MAP是足够快的实际互动可视化的1D和2D密度。我们的实验与模拟和真实的一维数据集表明,估计精度接近马尔可夫链蒙特卡罗近似和国家的最先进的分层无限高斯混合模型。我们还构建了一个降秩近似,以加快密集的二维网格的计算,并证明密度回归与建议的拉普拉斯方法。
2013-10-07 stat.CO stat.ME stat.ML
Improving the Linearized Laplace Approximation via Quadratic Approximations
Machine Learning Group - Computer Science Department(计算机科学系机器学习小组);Escuela Politécnica Superior(理工大学);Department of Computer Science(计算机科学系);University of Granada Spain(西班牙格拉纳达大学);Information and Communication Technologies Research Centre (CITIC)(信息与通信技术研究中心(CITIC));Centro de Investigación Avanzada en Física Fundamental(先进物理基础研究中心)
本文提出QLA方法,通过二次近似改进线性化拉普拉斯近似,以提升深度神经网络的不确定性估计精度。
2026-02-03 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex(萨塞克斯大学);University of Bristol(布里斯托尔大学)
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Dimension free non-asymptotic bounds on the accuracy of high dimensional Laplace approximation
本文试图用现代的非渐近无量纲形式重新讨论拉普拉斯近似的经典结果。这种扩展的动机是应用到高维统计和最优化问题。所建立的结果提供了明确的非渐近界的质量的高斯近似的后验分布在全变差距离方面的所谓的\emph{effective dimension} \( p_G \)。该值被定义为数据中包含的信息与先验分布中包含的信息之间的相互作用。与著名的Bernstein-von Mises结果相反,先验的影响不可忽略,并且即使真实的参数维度是巨大的或无限的,它也允许保持有效维度小或适度。我们还解决了使用高斯近似与不精确的参数的问题,重点是用后验均值代替最大后验概率(MAP)值,并设计了基于拉普拉斯迭代的贝叶斯优化算法。所得结果适用于非线性反问题的情形。
2022-06-23 cs.NA math.NA math.ST
Continuous Record Laplace-based Inference about the Break Date in Structural Change Models
基于Casini和Perron(2018a)最近引入的用于结构变化模型推断的连续记录渐近框架,我们提出了一种基于拉普拉斯(准贝叶斯)的方法来构建结构变化日期的估计和置信集。它是由积分而不是基于优化的方法定义的。的最小二乘准则函数的变换进行评估,以获得一个适当的分布,称为准后验。对于给定的损失函数的选择,拉普拉斯型估计量是期望风险的最小化者,期望在拟后验下进行。除了提供一个更精确的替代估计之外,|下平均绝对误差(MAE)和下均方根误差(RMSE)|与通常的最小二乘分布相比,拟后验分布可以利用最高密度区域的概念来构造渐进有效的推理。由此产生的拉普拉斯为基础的推理过程被证明有较低的MAE和RMSE,和置信集之间的经验覆盖率和平均长度的置信集相对于传统的长跨度方法,无论是小的或大的最佳平衡的突破。
2020-05-11 econ.EM math.ST stat.TH
Bayesian Deep Learning via Subnetwork Inference
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院);The Alan Turing Institute(艾伦·图灵研究所)
贝叶斯范式有可能解决深度神经网络的核心问题,如校准不良和数据效率低下。唉,将贝叶斯推理扩展到大的权重空间通常需要限制性近似。在这项工作中,我们表明,它足以执行推理模型权重的一个小的子集,以获得准确的预测后验。其他权重保持为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的,否则难以处理的后验近似。特别是,我们将子网络线性化拉普拉斯实现为一种简单的、可扩展的贝叶斯深度学习方法:我们首先获得所有权重的MAP估计,然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后验。我们提出了一个子网络选择策略,旨在最大限度地保持模型的预测不确定性。从经验上讲,我们的方法在完整的网络上比合奏和表达较少的后验近似更有利。我们提出的子网络(线性化)拉普拉斯方法在https://github.com/AlexImmer/Laplace的laplace PyTorch库中实现。
2022-03-14 cs.LG stat.ML
Flexible latent variable models on graphs: Laplace approximated inference for multiview network data
Research Institute for Statistics and Information Science, GSEM(统计与信息科学研究所以及GSEM);University of Geneva(日内瓦大学)
提出一种基于图拉普拉斯近似推断的灵活潜变量模型,用于多视图网络数据降维,在理论和实证上优于传统泊松伪最大似然估计。
2026-09-23 stat.ME
Integrated Nested Laplace Approximations (INLA)
这是一个简短的说明和基本介绍集成嵌套拉普拉斯近似(INLA)的方法。INLA是Rue等人(2009)在潜在高斯模型(LGM)中引入的贝叶斯推断的确定性范例。INLA依赖于分析近似和有效的数值积分方案的组合,以实现对感兴趣的后验量的高度精确的确定性近似。使用INLA代替马尔可夫链蒙特卡罗(MCMC)技术进行LGM的主要好处是计算性;即使对于大型复杂模型,INLA也很快。此外,作为一种确定性算法,INLA不会出现收敛慢和混合不良的问题。INLA是在R包R-INLA中实现的,R-INLA是一个用户友好的多功能工具,用于进行贝叶斯推断。R-INLA返回所有模型参数的后边缘和相应的后验汇总信息。模型选择标准以及预测诊断是直接可用的。在这里,我们概述了INLA背后的理论,介绍了R-INLA包,并描述了将INLA与MCMC相结合的新发展,用于不可能与R-INLA相适应的模型。
2019-07-02 stat.CO
Spatial Bayesian Hierarchical Modelling with Integrated Nested Laplace Approximation
我们认为潜在的高斯场建模空间依赖的背景下,空间点模式和面积数据,提供两个不同的应用。利用随机偏微分方程,建立了描述希腊地震序列的非齐次对数高斯Cox过程模型。Besag-York-Mollie模型适用于意大利北部Covid-19感染的疾病映射。这两个模型都属于贝叶斯分层模型类的潜在高斯字段,其后验是不可用的封闭形式。因此,使用集成嵌套拉普拉斯近似执行推断,该集成嵌套拉普拉斯近似为感兴趣的后验量提供准确且相对快速的分析近似。
2020-09-08 stat.AP
Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Cimat(西马研究所)
研究针对大语言模型基准神经项目反应理论模型,提出拉普拉斯-PSN-IRT方法,通过近似贝叶斯后验推断增强模型,能恢复校准不确定性,可进行可信区间等分析,实验表明该方法在模型比较、信息稳定性及能力排名恢复等方面表现良好。
2026-07-29 cs.AI cs.LG stat.AP
Frequentist Asymptotics of Variational Laplace
本文从频率学派渐近统计角度分析 Variational Laplace,证明其点估计在示例及一般充分条件下具有一致性与有效性,并研究总变差收敛及仿真验证。
2025-07-23 math.ST q-bio.QM stat.TH
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Bayesian Random Fields: The Bethe-Laplace Approximation
UC Irvine(加州大学欧文分校)
虽然学习无向图模型参数的最大似然值很难,但对给定数据的参数的后验分布建模更难。然而,无向模型在计算机视觉和文本建模(例如条件随机场)中无处不在。但是,在有向模型的贝叶斯方法已经非常成功的地方,无向模型的正确贝叶斯处理仍然处于婴儿阶段。提出了一种基于拉普拉斯近似的参数后验估计方法。这种近似需要计算特征上的协方差矩阵,我们使用基于循环置信传播的线性响应近似来计算。我们发展的理论,有条件和无条件的随机场或无隐变量。在条件设置中,我们引入了一个新的变形适合结构域的装袋。在这里,我们运行循环最大乘积算法的“super-graph”组成的图形的个别模型从后验采样和连接的约束。在真实数据上的实验验证了所提方法的有效性。
2012-06-27 cs.LG stat.ML
Approximate posterior recalibration
Columbia University(哥伦比亚大学);Flatiron Institute(平顿研究所)
本文提出两种方法扩展基于模拟的校准检查以扩大后验不确定性区间,旨在实现边缘校准,并讨论后验校准在分层模型中的应用挑战。
2026-03-20 stat.CO stat.ME
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst(信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校);Department of Statistics University of British Columbia(统计学系 不列颠哥伦比亚大学)
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法(ILA)在潜在高斯模型(LGMs)中引入的误差,通过增加重要性采样的样本数使近似后验收敛到正确后验,并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法,特别是哈密顿蒙特卡洛方法。
2026-11-13 cs.LG stat.ML
Bayesian inference with Besov-Laplace priors for spatially inhomogeneous binary classification surfaces
本文针对空间非齐次二分类问题,提出使用贝索夫-拉普拉斯先验的非参数贝叶斯方法,并证明其后验收缩率在频率学派假设下达到极小极大最优。
2025-09-09 math.ST stat.TH
A Novel Method of Marginalisation using Low Discrepancy Sequences for Integrated Nested Laplace Approximations
最近,它已被证明,使用低差异序列(LDS)获得的边缘后验分布的近似可以优于标准的基于网格的方法的精度和计算效率。这种最近的方法,我们将称为LDS-StM,也可以产生良好的近似多峰后验。然而,实施LDS-STM集成嵌套拉普拉斯近似(INLA),其中使用基于网格的方法,是具有挑战性的。出于这个问题,我们提出了修改LDS-StM,提高了近似,并使其与INLA兼容,而不牺牲计算速度。我们还提出了两个例子来证明LDS-StM与修改可以优于INLA自己的网格近似的速度和精度。我们还证明了新方法的灵活性,多峰边缘的近似。
2019-12-04 stat.CO
The Bayesian Infinitesimal Jackknife for Variance
针对贝叶斯估计量频率学派协方差近似方法计算不便的问题,提出基于influence function的infinitesimal jackknife (IJ)方法,证明其可从单组后验样本高效计算且与经典方法渐近等价,并通过实验验证了其准确性与计算优势。
2024-06-26 math.ST stat.ME stat.TH
A note on simulation methods for the Dirichlet-Laplace prior
本文指出Bhattacharya等人(2015)提出的Dirichlet-Laplace先验MCMC模拟算法存在抽样顺序错误,无法正确从联合后验分布抽样,并给出修正原算法和基于等价先验表述的新算法两种解决方案。
2025-08-16 econ.EM stat.CO stat.ME
Hierarchical Besov-Laplace priors for spatially inhomogeneous binary classification
ESOMAS Department, University of Turin(都灵大学 ESOMAS 学院)
针对空间非齐次二元分类问题,提出基于Besov-Laplace先验的层次贝叶斯方法,通过精细调节正则化超先验实现后验分布最优收敛率,并设计高效MCMC算法。
2026-06-12 math.ST stat.TH
Increasing domain asymptotics for covariate-based nonparametric Bayesian intensity estimation with Gaussian and Besov-Laplace priors
ESOMAS Department, University of Turin(都灵大学 ESOMAS 系)
研究在递增域渐近性和协变量遍历性假设下,使用高斯先验和贝索-拉普拉斯先验的非参数贝叶斯方法估计协变量驱动点过程强度函数,并证明其达到极小极大最优后验收缩率。
2026-05-29 math.ST stat.ME stat.TH
Posterior Inference for Quantile Regression: Adaptation to Sparsity
分位数回归是一种功能强大的数据分析工具,可适应异质协变量-响应关系。我们发现,通过耦合适当的收缩先验的非对称拉普拉斯工作似然,我们可以提供后验推理,自动适应可能的稀疏性分位数回归分析。在对后验方差进行适当调整后,后验推断在异质性下提供了渐近有效的推断。此外,所提出的方法导致Oracle渐近有效性的积极(非零)的分位数回归系数和超有效的非积极的。通过避免需要追求二分变量选择,贝叶斯计算框架证明了理想的推理稳定性调整参数选择。我们的工作有助于揭示贝叶斯计算方法在分位数回归的频率论推断中的价值。
2021-11-01 math.ST stat.ME stat.TH
A unified theory of the high-dimensional Laplace approximation with application to Bayesian inverse problems
本文提出统一的高维拉普拉斯近似精度理论,引入灵活度以获得更紧的问题特定上界,并在贝叶斯反问题示例中将界限改进一个数量级,且界限无维数依赖。
2025-09-09 math.ST stat.TH
Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification
Rational Intelligence Lab, CISPA Helmholtz Center for Information Security Department of Statistics, LMU Munich(理性智能实验室,CISPA海德堡信息安全中心统计学系,慕尼黑大学);Department of Statistics, LMU Munich(统计学系,慕尼黑大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
提出自监督拉普拉斯近似(SSLA),通过重新拟合自预测数据直接近似后验预测分布,实现确定性、无采样的贝叶斯不确定性量化,并在回归任务中优于经典拉普拉斯近似。
2026-05-28 cs.AI cs.LG stat.CO