Laplace Approximations for Mixed-Effects and Gaussian Process Quantile Regression
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
本文提出了一种适用于混合效应和高斯过程分位数回归的拉普拉斯近似方法,通过分析信息和预期损失的曲率来克服非对称拉普拉斯似然下的计算障碍,提高了计算效率和准确性。
2026-08-20 stat.ME
An Extended Simplified Laplace strategy for Approximate Bayesian inference of Latent Gaussian Models using R-INLA
当将贝叶斯推断方法应用于复杂的分层模型时,会出现各种计算挑战。基于采样的推理方法,如马尔可夫链蒙特卡罗策略,以提供准确的结果而闻名,但计算成本高,收敛速度慢或有问题。相反,近似方法如集成嵌套拉普拉斯近似(INLA)通过嵌套拉普拉斯近似构造对单变量后验的确定性近似。该方法可以在隐高斯模型中实现快速推理性能,该模型对一大类分层模型进行编码。R-INLA软件主要由三种策略组成,根据精度要求计算所有所需的后验近似。简化的拉普拉斯近似(SLA)是最有吸引力的,因为它的速度性能,因为它是基于泰勒展开的三阶全拉普拉斯近似。在这里,我们通过简化偏度和模态配置所需的计算来增强方法。然后,我们提出了一个扩展到四阶,并使用扩展的斜正态分布作为一个新的参数拟合。由此产生的近似的边缘后密度是更准确的比那些计算的SLA,基本上没有额外的成本。
2022-03-27 stat.ME
Controlled Mean-Reverting Estimation for The AR(1) Model with Stationary Gaussian Noise
本文研究了一类具有平稳高斯噪声(有色噪声)的一阶自回归模型的均值回复参数的极大似然估计。利用拉普拉斯变换的方法,研究了极大似然估计的渐近性质和渐近设计问题。数值模拟结果证实了理论分析的正确性,并表明所提出的极大似然估计在有限样本下具有良好的性能。
2020-11-18 math.ST stat.TH
Laplace approximation and the natural gradient for Gaussian process regression with the heteroscedastic Student-t model
本文考虑用Laplace方法对Student-t概率模型的位置和尺度参数进行高斯过程(GP)回归的近似推断。这允许数据的均值和方差作为协变量的函数而变化,具有吸引人的特征,即学生t模型已被广泛用作鲁棒数据分析的有用工具。对于具有Student-t概率模型的GP回归,近似推断的挑战在于后验分布的分析困难性和对数似然函数的不确定性。我们提出了自然梯度适应的估计过程中,主要依赖于学生-t模型自然具有正交参数化的位置和尺度参数的属性。由于该模型的这一特殊性质,我们还引入了另一种拉普拉斯近似,通过使用费舍尔信息矩阵代替负对数似然函数的Hessian矩阵。根据实验,当与传统的拉普拉斯近似相比时,这种替代近似提供非常相似的后验近似和预测性能。我们还比较了这两种拉普拉斯近似与蒙特卡罗马尔可夫链(MCMC)方法。此外,我们比较了我们的异方差Student-t模型和GP回归与异方差高斯模型。我们还讨论了我们的方法可以提高推理算法的情况下,假设的数据的概率模型不是对数凹的。
2017-12-23 stat.ME
Vecchia-Laplace approximations of generalized Gaussian processes for big non-Gaussian spatial data
广义高斯过程(GGP)是一种高度灵活的模型,它将潜在的GP与来自指数族的潜在非高斯似然相结合。GGP可以用于各种设置,包括GP分类,非参数计数回归,非高斯空间数据建模和分析点模式。然而,对GGP的推断在分析上可能是难以处理的,并且由于GP协方差阵的求逆,大型数据集带来计算挑战。我们提出了一个Vecchia-拉普拉斯近似的GGP,它结合了一个拉普拉斯近似的非高斯似然与计算效率的Vecchia近似的GP,从而在一个简单的,一般的,可扩展的,和准确的方法。我们提供模拟和真实空间数据的数值研究和比较。我们的方法在一个免费的R包中实现。
2020-06-04 stat.CO stat.ME
Fitting latent non-Gaussian models using variational Bayes and Laplace approximations
潜高斯模型(LGM)可能是统计应用中最常用的一类模型。然而,在从生物统计学到地质统计学的纵向研究中,很容易找到包含固有非高斯特征的数据集,例如突然跳跃或尖峰,这对LGM的推断和预测产生了不利影响。这些数据集需要更一般的潜在非高斯模型(LnGM),可以自动处理这些非高斯特征。然而,缺乏快速实施和易于使用的软件,这阻碍了LnGM的广泛应用。在本文中,我们推导出变分贝叶斯算法的快速和可扩展的推理LnGM。这种近似导致LGM在潜在过程中降低极端事件的权重,减少其影响并导致更强大的推断。它可以应用于广泛的模型,如时间序列的自回归过程,面积数据的同步自回归模型和空间Matérn模型。为了便于贝叶斯推断,我们引入了ngvb包,其中R-INLA中实现的LGM可以通过添加单行代码轻松扩展到LnGM。
2022-11-20 stat.ME
Scalable skewed Bayesian inference for latent Gaussian models
针对潜在高斯模型,提出基于INLA的偏态拉普拉斯变分推断扩展,兼顾偏态与高斯边缘及依赖保持,可扩展处理重尾似然和类别不平衡数据,经模拟和罕见病案例验证。
2025-02-26 stat.ME
Grouping Priors and the Bayesian Elastic Net
在贝叶斯惩罚回归的文献中,回归系数的先验分布的两个主要选择是零均值高斯和拉普拉斯。虽然这两种方法都在数字和理论上进行了比较,但在现实生活中使用的指导仍然很少。我们提出了两个可行的解决方案,这个问题的先验分布的形式结合和拉普拉斯和高斯先验之间的妥协,分别。通过交叉验证,自动选择优化预测性能的先验。然后,我们证明了这些新的先验分布相对于拉普拉斯和高斯先验在模拟和实验环境中的改进性能。
2010-01-22 stat.ME
Beyond Laplace: Closed-form wrapped Gaussian posterior approximations on statistical manifolds
University of Helsinki(赫尔辛基大学);Nanyang Technological University(南洋理工大学);Qutwo;DTU Compute, Technical University of Denmark(丹麦技术大学计算学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
针对拉普拉斯近似无法捕捉后验偏斜、厚尾等复杂几何特征的问题,利用对比函数理论在Fisher-Rao度量和先验几何下推导对数映射和指数映射的易处理近似,实现统计流形上的闭式包裹高斯后验近似,显著降低计算成本。
2026-07-24 stat.ME
Laplace approximation for logistic Gaussian process density estimation and regression
逻辑高斯过程(LGP)先验为建模未知密度提供了灵活的替代方案。密度估计的平滑性可以通过LGP的先验协方差结构来控制,但挑战在于分析上难以处理的推断。在本文中,我们提出了近似贝叶斯推断的LGP密度估计在一个网格中使用拉普拉斯的方法来整合在非高斯后验分布的潜函数值,并确定协方差函数参数与类型II的最大后验概率(MAP)估计。我们证明,拉普拉斯的方法与MAP是足够快的实际互动可视化的1D和2D密度。我们的实验与模拟和真实的一维数据集表明,估计精度接近马尔可夫链蒙特卡罗近似和国家的最先进的分层无限高斯混合模型。我们还构建了一个降秩近似,以加快密集的二维网格的计算,并证明密度回归与建议的拉普拉斯方法。
2013-10-07 stat.CO stat.ME stat.ML
Mixtures of Shifted Asymmetric Laplace Distributions
介绍了一种混合的移位非对称拉普拉斯分布,并用于聚类和分类。期望最大化算法的一个变种开发的参数估计,利用一般逆高斯分布的关系。这种方法在数学上是优雅的,在计算上相对简单。我们的新的混合建模方法在模拟和真实数据上进行了演示,以说明聚类和分类应用。在这些分析中,我们的混合移动的非对称拉普拉斯分布相比,流行的高斯方法表现良好。这项工作,这标志着在非高斯模型为基础的聚类和分类方向的重要一步,最后进行了讨论,以及对未来工作的建议。
2012-12-21 stat.CO stat.ME stat.ML
Unsupervised Learning via Mixtures of Skewed Distributions with Hypercube Contours
通过推广多元移位非对称拉普拉斯密度,建立了其组成部分具有倾斜超立方体轮廓的混合模型。具体来说,我们开发的混合物的多个缩放移位不对称拉普拉斯分布。分量密度具有两个独特的特征:它们包括多元权函数,并且边缘分布也是不对称的拉普拉斯分布。我们使用这些混合的多个缩放移位的非对称拉普拉斯分布的聚类应用程序,但它们同样可以很好地用于监督或半监督的范例。期望最大化算法用于参数估计,贝叶斯信息准则用于模型选择。模拟和真实的数据集被用来说明的方法,并在某些情况下,可视化的组件的斜超立方体结构。
2014-09-17 stat.ME
Log-Laplace Nuggets for Fully Bayesian Fitting of Spatial Extremes Models to Threshold Exceedances
Colorado State University(科罗拉多州立大学)
本文提出一种乘法对数拉普拉斯 nugget 方法,通过在截断似然中引入条件独立性,实现高维空间极值模型的高效贝叶斯推断,同时保持极值依赖结构。
2026-04-08 stat.ME
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法,通过将潜空间二分以分别处理潜变量和未惩罚参数,结合非高斯不对称近似与Laplace近似,在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Robust Signal Reconstruction Using the Prolate Spherical Wave Functions and Maximum Correntropy Criterion
信号重构是信号处理中的重要问题之一。提出了一种基于长球面波函数和最大相关熵准则的信号重构方法。PSWFs是一种特殊的函数,在信号重构中具有良好的性能。然而,现有的基于PSWFs的重建方法仅考虑均方误差(MSE)准则作为代价函数。由于均方误差准则是由高斯假设建立起来的,因此对非高斯噪声比较敏感。因此,对于脉冲噪声或野值,基于均方误差的重建方法将导致较大的重建误差。提出的基于MCC和PSWFS的鲁棒信号重建方法可以降低大噪声和非高斯噪声的影响。对合成信号的实验结果表明,该方法在大多数情况下都能显著提高均方误差。
2016-06-28 stat.ME
Asymmetric Laplace distribution regression model for fitting heterogeneous longitudinal response
Univ. Bordeaux, Bordeaux Population Health center, Inserm U1219(波尔多大学,波尔多人口健康中心,Inserm U1219);Univ Bretagne Sud, CNRS UMR 6205, LMBA(南布列塔尼大学,法国国家科学研究中心 UMR 6205,LMBA);Anesthesiology and Critical Care Department, Bordeaux University Hospital(波尔多大学医院麻醉与重症监护科)
本文提出基于非对称拉普拉斯分布的混合效应分布回归模型,以处理纵向数据中的异质性、异常值和不对称性,并更全面地评估协变量对响应分布的影响。
2025-12-13 stat.ME
Item response parameter estimation performance using Gaussian quadrature and Laplace
本文通过模拟比较 Laplace 与 mirt 中 GHQ-EM 的 IRT 项目参数估计性能,发现二者在较大项目数和样本量下精度相近,GHQ-EM 可作为 NONMEM 的替代或辅助方法。
2025-03-17 stat.AP stat.ME
Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);University of Basel(巴塞尔大学);ETH Zurich(苏黎世联邦理工学院)
针对 Vecchia-Laplace 近似在大规模潜变量 GP 模型中依赖直接求解器导致的超线性计算瓶颈,提出迭代方法、预条件子、收敛分析与预测方差近似,实现显著加速和精度提升。
2024-12-06 cs.LG stat.ME stat.ML
Constrained Bayesian Hierarchical Models for Gaussian Data: A Model Selection Criterion Approach
考虑存在B>1个候选统计模型的设置,并且对模型选择感兴趣。解决这个问题的两种常用方法是选择单个模型或通过模型平均来组合候选模型。相反,我们选择与模型相关联的组合参数空间的子集。具体地,使用模型平均视角来增加参数空间,并且使用模型选择准则来选择该扩展的参数空间的子集。我们通过将Yekutieli(2012)的方法应用于贝叶斯模型平均(BMA)来解释标准的可变性。Yekutieli(2012)的方法将模型选择视为截断问题。我们截断联合支持的数据和参数空间,只包括小的值的协方差惩罚误差(CPE)标准。CPE是一个通用表达式,包含几个作为特殊情况的信息标准。仿真结果表明,只要截断集不具有近零概率,我们往往会获得比BMA更低的均方误差。额外的理论结果提供了这些意见的基础。我们将我们的方法应用于由美国社区调查(ACS)期间估计组成的数据集,以说明这种观点可以导致单个模型的改进。
2021-04-20 stat.ME
Increasing domain asymptotics for covariate-based nonparametric Bayesian intensity estimation with Gaussian and Besov-Laplace priors
ESOMAS Department, University of Turin(都灵大学 ESOMAS 系)
研究在递增域渐近性和协变量遍历性假设下,使用高斯先验和贝索-拉普拉斯先验的非参数贝叶斯方法估计协变量驱动点过程强度函数,并证明其达到极小极大最优后验收缩率。
2026-05-29 math.ST stat.ME stat.TH
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型,称为扩展的潜在高斯模型,允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型,包括多分辨率空间过程,部分基于似然的生存模型,和多变量测量误差模型。由于精确的后验分布的计算是不可行的,我们开发了一个快速的,可扩展的近似贝叶斯推断方法,这一类的基础上嵌套高斯,拉普拉斯,自适应正交近似。我们证明了在标准条件下,这些近似后验的误差是op(1),并提供了数值证据表明,我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快,可扩展到更大的数据集,具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据,映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型,并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Riemannian Laplace approximations for Bayesian neural networks
Technical University of Denmark(丹麦技术大学)
针对贝叶斯神经网络高斯近似后验非高斯性导致性能下降的问题,提出基于对数后验梯度黎曼度量的黎曼拉普拉斯近似,通过求解常微分方程高效采样,性能优于传统方法且对先验选择不敏感。
2023-06-12 cs.LG stat.ME stat.ML
Differential equations, splines and Gaussian processes
我们探讨格林函数的某些微分方程,协方差函数的高斯过程,和光滑样条问题之间的联系。传统上,光滑样条问题被认为是在再生核希尔伯特空间的设置,但在这里,我们提出了一个更直接的方法。利用这种方法,在再生核希尔伯特空间设置中隐含的一些选择脱颖而出,一个例子是边界条件的选择和更精细的形状限制。本文首先探讨了拉普拉斯算子和泊松方程,并在各种边界条件和约束下研究了相应的格林函数。在一系列的例子中推导出显式的函数形式。这些例子包括几种新形式的格林函数,据作者所知,以前没有提出过。接下来,我们提出了一个光滑样条问题,我们惩罚的集成平方导数的功能进行估计。然后,我们将展示如何使用拉普拉斯算子的格林函数来显式计算解决方案。在本文的最后一部分,我们探讨高斯过程和微分方程之间的连接,并显示如何拉普拉斯算子是相关的布朗过程,以及如何出现的过程,由于边界条件和形状的限制,可以被视为条件高斯过程。Laplace算子的格林函数与布朗过程的协方差函数之间的联系使我们能够引入几个新的具有特定行为的布朗过程。最后,我们考虑高斯过程先验和光滑样条之间的联系。
2021-01-24 math.CA math.ST stat.ME
Improved Laplace Approximation for Marginal Likelihoods
统计应用经常涉及到难以处理的多维积分的计算。拉普拉斯公式被广泛用于近似这样的积分。然而,在高维或小样本量中,被积函数的形状可能与高斯密度的形状相差甚远,因此标准的拉普拉斯近似可能不准确。我们提出了一种改进的拉普拉斯近似,减少了一个数量级的标准拉普拉斯公式的渐近误差,从而导致三阶精度。我们还表明,通过各种复杂性的实际例子,所提出的方法是非常准确的,即使在高维度,提高了标准的拉普拉斯公式。这样的例子也表明,所提出的方法的准确性与其他现有的方法,这是计算上更苛刻。改进的拉普拉斯近似的R实现也通过CRAN上的R软件包iLaplace提供。
2016-12-29 stat.CO stat.ME
Riemannian Laplace Approximation with the Fisher Metric
本文提出改进的黎曼度量下的拉普拉斯近似方法,通过发展近似族并推导两种变体,在无限数据极限下实现精确性,同时提升实际应用效果。
2026-03-11 cs.LG stat.ME stat.ML
Using Integrated Nested Laplace Approximation for Modeling Spatial Healthcare Utilization
近年来,空间和时空建模已成为许多领域(流行病学,环境研究,疾病地图)的重要研究领域。在这项工作中,我们提出了不同的空间模型来研究医院招聘,包括一些潜在的解释变量。感兴趣的是每个地理单元的分布,即居住在该地理单元的患者人数与同一地理单元的人口之间的比例。模型考虑的框架内的贝叶斯潜在高斯模型。我们的响应变量假设遵循具有logit链接的二项分布,其参数是地理单元中的人群和相应的相对风险。结构化加性预测因子以加性方式解释各种协变量的效应,包括协变量的平滑函数(例如空间效应),协变量的线性效应。为了近似后边缘,这不是在封闭的形式,我们使用集成嵌套拉普拉斯近似(INLA),最近提出的近似贝叶斯推断在潜在的高斯模型。INLA的优点是给出非常精确的近似值,并且当参数的数量不超过6时(就像我们的情况一样),比McMC方法更快。使用DIC标准评估模型比较。
2010-06-18 stat.AP stat.ME
Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations
针对全协方差高斯混合变分推断参数增长快且易陷入局部最优的问题,提出多起点优化结合局部 Laplace 近似与约束最小二乘的初始化方法。
2023-07-12 cs.CE stat.CO stat.ME
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Efficient batch-sequential Bayesian optimization with moments of truncated Gaussian vectors
我们处理贝叶斯全局优化算法的高效并行化,更具体地说,那些基于预期的改进标准及其变种。建立了基于多元高斯累积分布函数的多点期望改进准则的广义形式的封闭形式公式。反过来,后者依赖于中间的结果,可能是独立的利益有关的截断高斯向量的时刻。所得到的扩展的标准,使研究其可微性方面的点批和计算相应的梯度在封闭的形式。此外,我们得到快速数值逼近这个梯度,并提出有效的批量优化策略。数值实验表明,所提出的方法,使计算节省一个和两个数量级之间,因此,使基于导数的批量顺序采集函数最大化,成为一个切实可行的和有效的标准。
2016-09-09 stat.AP stat.ME stat.ML
A Model Selection Criterion for Multidimensional Gaussian Processes: Application to Radial Velocities
University of Warwick(华威大学);University of Oxford(牛津大学)
针对多维高斯过程回归中联合建模辅助活动指标以分离恒星和行星信号的问题,提出一种基于条件径向速度似然和有效参数计数的信息准则MGIC_rv,用于比较不同多GP模型并识别最有效约束RV信号的活动指标。
2026-06-08 astro-ph.EP astro-ph.IM astro-ph.SR