A Computationally Stable Approach to Gaussian Process Interpolation of Deterministic Computer Simulation Data
对于许多昂贵的确定性计算机模拟器,输出没有复制错误,所需的元模型(或统计模拟器)是观测数据的一个子集。高斯空间过程(GP)的实现通常用于对这样的模拟器输出进行建模。将GP模型拟合到$n$数据点需要计算$n \times n$相关矩阵$R$的逆矩阵和行列式,由于$R$的近奇异性,这些逆矩阵和行列式有时在计算上是不稳定的。如果任何一对设计点在输入空间中非常接近,就会发生这种情况。克服近奇异性的流行方法是在模型中引入一个小的块金(或抖动)参数,该参数与其他模型参数一起估计。在模型中包含块金通常会导致数据不必要的过度平滑。在本文中,我们提出了一个下界的块金,最大限度地减少过度平滑和迭代正则化方法来构建一个预测,进一步提高插值精度。我们还表明,建议的预测收敛到GP的。
2012-03-06 stat.CO stat.ME
Vecchia-Laplace approximations of generalized Gaussian processes for big non-Gaussian spatial data
广义高斯过程(GGP)是一种高度灵活的模型,它将潜在的GP与来自指数族的潜在非高斯似然相结合。GGP可以用于各种设置,包括GP分类,非参数计数回归,非高斯空间数据建模和分析点模式。然而,对GGP的推断在分析上可能是难以处理的,并且由于GP协方差阵的求逆,大型数据集带来计算挑战。我们提出了一个Vecchia-拉普拉斯近似的GGP,它结合了一个拉普拉斯近似的非高斯似然与计算效率的Vecchia近似的GP,从而在一个简单的,一般的,可扩展的,和准确的方法。我们提供模拟和真实空间数据的数值研究和比较。我们的方法在一个免费的R包中实现。
2020-06-04 stat.CO stat.ME
Robust designs for Gaussian process emulation of computer experiments
本文研究支撑点与投影支撑点两类实验设计,利用凸差规划高效生成高维大型设计,在广泛响应面上实现高斯过程计算机实验的稳健有效仿真,并提供理论框架与数值验证。
2025-07-12 stat.ME
A generalized Gaussian process model for computer experiments with binary time series
非高斯观测,如二进制响应,在一些计算机实验中很常见。基于对一类细胞粘附实验的分析,我们引入了一个广义的二值响应的高斯过程模型,它与标准的GP模型具有一些共同的特征。此外,所提出的模型采用了灵活的均值函数,可以捕捉不同类型的时间序列结构。导出了估计量的渐近性质,构造了最优预测量及其预测分布。他们的表现是通过两个模拟研究。该方法适用于研究细胞粘附实验的计算机模拟。拟合模型揭示了重复细胞结合中的重要生物信息,这在实验室实验中无法直接观察到。
2018-09-24 stat.ME
Scaled Gaussian Stochastic Process for Computer Model Calibration and Prediction
我们考虑使用实验数据校准不完美的计算机模型的问题。为了补偿计算机模型的错误指定并做出更准确的预测,通常包括差异函数并通过高斯随机过程(GaSP)进行建模。然而,单独校准的计算机模型有时与实验数据拟合得很差,因为校准参数变得不可识别。在这项工作中,我们提出了缩放高斯随机过程(S-GaSP),一种新的随机过程,弥合了两种主要方法,即$L_2$校准和GaSP校准之间的差距。结果表明,我们的方法在校准和预测方面都表现良好。一个计算上可行的方法,这个新的模型下的贝叶斯范式。与GaSP校准相比,S-GaSP校准基于校准参数的后验分布,使得校准的计算机模型本身能够很好地预测现实。模拟和真实数据的数值比较,以说明建议的S-GaSP和其他替代方法之间的连接和差异。
2018-05-03 stat.ME
Deep Gaussian Process Emulation and Uncertainty Quantification for Large Computer Experiments
本文针对大型计算机实验中平稳高斯过程仿真器无法刻画非平稳响应的问题,提出引入平滑性控制参数的深度高斯过程模型,并结合随机变分推断实现不确定性量化,可扩展至任意大规模仿真设计,成功应用于双黑洞并合形成天体物理模型的仿真。
2024-11-22 astro-ph.IM stat.AP stat.ME
Local Gaussian Process Model for Large-scale Dynamic Computer Experiments
最近加速增长的计算能力产生了普及的实验与动态计算机模型在各种物理和工程应用。尽管在计算机实验中进行了广泛的统计研究,但大部分重点都放在设计和分析具有标量响应的计算机模型的理论和算法创新上。在本文中,我们提出了一个计算效率的统计模拟器的大规模动态计算机模拟器(即,给出时间序列输出的模拟器)。其主要思想是首先为每个输入位置找到一个好的局部邻域,然后通过基于奇异值分解(SVD)的高斯过程(GP)模型仿真模拟器输出。我们开发了一个新的设计标准,依次找到这个本地邻域集的训练点。已使用几个测试函数和实际应用来证明所提出的方法相对于使用设计点之间的欧几里得距离选择局部邻近集的朴素方法的性能。
2018-04-03 stat.ME
A Gaussian process and linear-based framework for computing cut distributions in modular Bayesian calibration of two chained computer models
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Institut de Mathématiques de Toulouse, Université Paul Sabatier(图卢兹数学研究所,保罗·萨巴蒂尔大学);Université d’Avignon(阿维尼翁大学)
本文提出一种基于高斯过程和线性方法的框架,用于计算模块化贝叶斯校准中两连环计算机模型的切分布,通过合成示例验证了方法的有效性。
2026-03-16 stat.CO stat.ME
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题,本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型,利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择,并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Prior distributions for Gaussian processes in computer model emulation and calibration
针对计算机模型仿真与校准中高斯过程参数的MLE在小样本下不稳定的问题,本文提出适用于标量和向量输出的默认贝叶斯先验,并综述相关校准先验进展与软件工具。
2025-03-15 stat.AP stat.ME
Vecchia-approximated Deep Gaussian Processes for Computer Experiments
深度高斯过程(DGP)通过函数组合升级普通GP,其中中间GP层扭曲原始输入,为非平稳动态建模提供灵活性。在最近的文献中出现了两种DGP制度。在机器学习中流行的“大数据”机制有利于近似的、基于优化的推理,以实现快速、高保真的预测。一个“小数据”制度,首选计算机代理建模,部署后集成增强不确定性量化(UQ)。我们的目标是通过引入Vecchia近似来扩展贝叶斯DGP后验推理的能力,从而弥合这一差距,允许线性计算缩放而不影响精度或UQ。我们的动机是模拟活动的替代建模,运行次数超过100,000次-对于以前的全贝叶斯实现来说太大了-并证明预测和UQ优于“大数据”竞争对手。所有方法都在CRAN上的“deepgp”包中实现。
2022-08-12 stat.CO
Computer emulation with non-stationary Gaussian processes
高斯过程(GP)模型在计算机实验中被广泛用于模拟传播不确定性。GP仿真舒适地坐落在一个易于分析的贝叶斯框架内。除了传播输入变量的不确定性外,在多次实验运行中训练的GP仿真器还为未知输入值的响应面估计提供了误差条。这有助于选择未来的输入值,以便将响应曲面估计中的不确定性降至最低。然而,传统的GP仿真器使用固定的协方差函数,这表现不佳,并导致次优选择的未来输入点时,响应表面具有尖锐的局部特征,如跳跃不连续性或孤立的高峰。我们提出了一个易于实现的非平稳GP仿真器,基于两个固定的GP,一个嵌套到其他,并展示其优越的能力,在处理本地功能和选择未来的输入点从这些功能的边界。
2015-01-29 stat.ME
Energetic Variational Gaussian Process Regression for Computer Experiments
本文提出基于能量变分推断的高斯过程回归方法,推导参数后验分布并引入收缩估计实现均值函数变量选择,通过三个基准示例验证其有效性。
2024-04-01 stat.ME
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程(DL-GP)是一种分析(近似)产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域,包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换,并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后,我们总结了未来研究的方向。
2022-09-05 stat.AP
Scaled Vecchia approximation for fast computer-model emulation
许多科学现象都是使用计算机实验来研究的,这些实验由计算机模型的多次运行组成,同时改变输入设置。高斯过程(GP)是计算机实验分析的流行工具,可以在输入设置之间进行插值,但对于大型数据集,直接GP推理在计算上是不可行的。我们适应和扩展了强大的一类GP方法从空间统计学,使大型计算机实验的可扩展性分析和仿真。具体来说,我们在变换的输入空间中应用Vecchia的有序条件近似,每个输入根据它与计算机模型响应的关系有多强进行缩放。通过使用Fisher评分估计GP协方差函数中的参数,从数据中学习缩放。我们的方法具有高度可扩展性,能够在模型运行次数接近线性的时间内进行估计、联合预测和模拟。在几个数值例子中,我们的方法大大优于现有的方法。
2021-07-20 stat.CO stat.ME stat.ML
Emulating computer models with step-discontinuous outputs using Gaussian processes
在许多现实世界的应用中,我们感兴趣的是近似昂贵的功能,是分析未知的,例如复杂的计算机代码。仿真器提供了依赖于有限数量的评估的这样的函数的快速近似。高斯过程(GP)是常见的仿真器,由于其统计特性,如估计自己的不确定性的能力。GP本质上是为了适应光滑、连续的函数而开发的。然而,在许多情况下,连续性和平滑性的假设是没有根据的。例如,在出现分叉或临界点的计算机模型中,输出可能是不连续的。这项工作探讨的能力,全球定位系统的仿真步骤不连续的功能。为此提出了若干办法。两个特殊的协方差函数/内核适应的能力,模型的不连续性。它们是神经网络和吉布斯内核,其属性使用几个例子来证明。另一种方法,称为扭曲,是将输入空间转换为一个新的空间,其中具有标准内核的GP(如Matern家族)能够很好地预测函数。该变换是通过一个参数映射来执行,该参数映射的参数是通过极大似然估计的。结果表明,所提出的方法具有更优越的性能与标准的核GP在捕捉真正的功能急剧跳跃。
2020-09-30 stat.ME
An efficient methodology for modeling complex computer codes with Gaussian processes
复杂的计算机代码通常太耗费时间而不能直接用于执行不确定性传播研究、全局敏感性分析或解决优化问题。一个众所周知的和广泛使用的方法,以规避这种不便之处在于取代复杂的计算机代码的简化模型,称为元模型,或响应面,代表计算机代码,并需要可接受的计算时间。研究了一类特殊的元模型:高斯过程模型,其特征在于它的平均值和协方差函数。一个特定的估计程序开发调整高斯过程模型在复杂的情况下(非线性关系,高度分散或不连续的输出,高维输入,不充分的抽样设计,.)。该算法的效率相比,其他现有的算法的分析测试用例的效率。所提出的方法也说明了一个复杂的水文地质计算机代码的情况下,模拟放射性核素在地下水中的运输。
2008-04-06 stat.AP
Gradient-enhancement and Gradient Predictions for Deep Gaussian Process Modeling of Expensive Computer Experiments
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系)
针对昂贵计算机实验的深度高斯过程建模,提出带梯度的贝叶斯框架,实现梯度增强与梯度预测,在非平稳测试函数及量子力学实验中验证,该方法在非平稳曲面表现优,还提供开源软件。
2026-07-24 stat.ME
Sequential Design with Mutual Information for Computer Experiments (MICE): Emulation of a Tsunami Model
计算机模拟器可以是计算密集型的,以运行大量的输入值,如优化和各种不确定性量化任务所需。计算机实验设计和分析的标准范例是采用高斯随机场来模拟计算机模拟器。高斯过程模型在从各种输入值的模拟运行获得的输入-输出数据上进行训练。按照这种方法,我们提出了一个顺序设计算法,MICE(互信息计算机实验),自适应地选择输入值在运行计算机模拟器,以最大限度地提高预期的信息增益(互信息)在输入空间。MICE算法的优越的计算效率相比,其他算法证明了测试功能,和海啸模拟器的整体收益高达20%,在这种情况下。
2015-09-10 stat.CO
Gaussian variational approximation with a factor covariance structure
变分近似方法已被证明是有用的规模贝叶斯计算的大数据集和高度参数化的模型。应用变分方法涉及到解决一个优化问题,最近在这方面的研究集中在随机梯度上升方法作为一种通用的方法来实现。本文考虑了高维后验分布的变分逼近问题,采用高斯逼近族。在许多问题中,具有无限制的协方差阵的高斯变分近似在计算上可能是繁重的,因为协方差阵中的元素的数量随着模型参数的维度二次地增加。为了避免这个问题,低维因子协方差结构被认为是。一般的随机梯度方法来有效地执行优化,梯度估计使用所谓的“reparametrization技巧”。最终的结果是一个灵活而有效的方法来高维高斯变分近似,我们用八个真实的数据集来说明。
2017-01-12 stat.ME
Response probability distribution estimation of expensive computer simulators: A Bayesian active learning perspective using Gaussian process regression
本文提出基于高斯过程回归的贝叶斯主动学习方法,通过后验统计量设计停止准则和学习函数,高效且高精度地估计昂贵计算机模拟器的响应概率分布。
2024-08-31 stat.CO
Diagnostics for Stochastic Gaussian Process Emulators
计算机模型,也被称为模拟器,运行起来可能在计算上是昂贵的,因此经常使用被称为仿真器的统计代理。任何统计模型,包括模拟器,在使用之前都应该进行验证,否则可能会误导最终的决策。我们讨论如何验证高斯过程仿真器的确定性模型的方法是不够的随机计算机模型的仿真器,并开发一个框架,诊断随机仿真器中的问题。这些诊断基于使用样本外、重复、模拟器运行独立验证均值和方差预测。然后,我们还使用建筑性能模拟器作为案例研究的例子。
2021-01-25 stat.ME
Multivariate Gaussian process emulation for multifidelity computer models with high-dimensional spatial outputs
Iowa State University(爱荷华州立大学)
本文提出多变量高斯过程模拟方法,用于在高维空间中处理多保真度计算机模型,通过自回归协克里金框架开发两种交叉协方差结构,以提高风暴潮风险评估的预测精度与效率。
2026-03-29 stat.ME
A Vecchia Approximation for High-Dimensional Gaussian Cumulative Distribution Functions Arising from Spatial Data
介绍了一种快速、准确地逼近由空间高斯过程产生的多元高斯分布的累积分布函数的方法。这种近似是平凡的并行化和简单的实现使用标准软件。我们在一系列的模拟实验中证明了它的准确性和计算效率,并将其应用于分析一个大型降水数据集的联合尾部,使用最近提出的空间极值尺度混合模型。这个数据集比以前认为可能使用优选推理技术拟合的数据集大很多倍。
2020-07-30 stat.CO
Nested Bayesian Optimization for Computer Experiments
计算机实验可以模拟物理系统,帮助计算研究,并产生解析解。它们已被广泛用于许多工程应用(例如,航空航天、汽车、能源系统。传统的贝叶斯优化在计算机实验中没有考虑嵌套结构。本文提出了一种新的嵌套式贝叶斯优化方法,用于解决具有多步或层次特征的复杂计算机实验问题。我们证明了两种情况下的嵌套输出的理论性质:高斯或非高斯。导出了嵌套期望改进的封闭形式。我们还提出了嵌套贝叶斯优化的计算算法。三个算例表明,所提出的嵌套贝叶斯优化方法在不考虑内部计算机代码中间输出的情况下,性能优于五种基准贝叶斯优化方法。算例表明,嵌套贝叶斯优化能有效地减小复合材料结构装配过程中的残余应力,避免收敛于局部最优。
2022-08-21 stat.ME
Gaussian process emulators for computer experiments with inequality constraints
物理现象在许多领域(科学和工程)中被观察到,并且通常通过耗时的计算机代码进行研究。这些代码使用统计模型进行分析,通常称为仿真器。在许多情况下,物理系统(计算机模型输出)可能已知满足关于一些或所有输入变量的不等式约束。我们的目标是建立一个模型,能够将数据插值和不等式约束到高斯过程仿真器。通过使用功能分解,我们提出了近似的原始高斯过程的有限维高斯过程,使所有的条件模拟满足不等式约束在整个区域。计算条件高斯过程的均值、众数(最大后验概率)和预测区间(不确定性量化)。为了研究所提出的模型的性能,一些条件模拟与不等式约束,如边界,单调性或凸性条件。1.导论.在工程活动中,计算机代码的运行可能是昂贵且耗时的。一种解决方案是使用统计代理来调节某些输入位置(设计点)处的计算机模型输出。高斯过程(GP)仿真器是最受欢迎的选择之一[23]。原因在于GP的属性,即可以计算不确定度量化。此外,它还有几个很好的特性。例如,观察数据的条件GP(线性等式约束)仍然是GP [5]。此外,输出计算机响应的一些不等式约束(例如单调性和凸性)与偏导数有关。在这种情况下,GP的偏导数也是GP。将无穷多个线性不等式约束表示到GP仿真器中,问题变得更加困难。原因是产生的条件进程不是GP。在不等式约束插值的文献中,我们发现了两类方法。第一种是确定性的,基于样条,其优点是在整个输入域中满足不等式约束(参见例如[16],[24]和…
2016-05-24 math.PR stat.ME
Variational Calibration of Computer Models
EURECOM(欧洲通信研究院)
黑盒计算机模型的贝叶斯校准提供了一个既定的框架,以获得模型参数的后验分布。传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项;然后使用MCMC进行推断。这些选择提出了计算和统计的挑战和限制,我们克服了提出使用近似深高斯过程和变分推断技术。其结果是一个实用的和可扩展的框架校准,获得竞争力的性能相比,国家的最先进的。
2018-10-29 cs.LG stat.AP stat.ME
Hierarchical shrinkage Gaussian processes: applications to computer code emulation and dynamical system recovery
Duke University(杜克大学)
在科学和工程的许多领域,计算机模拟被广泛用作物理实验的替代品,这可能是不可行或不道德的。这种模拟通常在计算上是昂贵的,并且可以训练仿真器以有效地预测期望的响应表面。一个广泛使用的仿真器是高斯过程(GP),它提供了一个灵活的框架,有效的预测和不确定性量化。然而,标准GP不捕获底层响应表面上的结构化稀疏性,这在许多应用中存在,特别是在物理科学中。因此,我们提出了一个新的分层收缩GP(HierGP),它通过GP框架内的累积收缩先验,将这种结构。我们表明,HierGP隐式地嵌入了众所周知的原则的效果稀疏性,遗传性和层次分析的实验,这使得我们的模型,以确定结构化的稀疏功能,从响应面有限的数据。我们提出了有效的后验采样算法的模型训练和预测,并证明了理想的HierGP的一致性属性。最后,我们证明了HierGP在现有模型的改进性能,在一套数值实验和应用程序的动力系统恢复。
2023-02-01 cs.LG stat.ME stat.ML
A Framework for Controlling Sources of Inaccuracy in Gaussian Process Emulation of Deterministic Computer Experiments
计算机实验在科学和工程中已变得无处不在。通常,运行这些模拟需要相当多的时间和计算,使得试验设计在有限的时间和资源下获得高质量的信息非常重要。试验设计的原则,提出并证明,确保高标称,数值和参数估计精度高斯过程仿真的确定性模拟。空间填充特性“小填充距离”和“大分隔距离”仅弱冲突,并确保良好控制的标称、数值和参数估计误差,而非平稳性要求在具有更快衰减相关性的输入空间区域中具有更大密度的实验输入。这项工作将为科学家和工程师提供强大的,严格合理的,实际上有用的总体原则,选择高信息含量的模拟输入的组合。
2017-05-11 math.ST stat.TH
Effect Decomposition of Functional-Output Computer Experiments via Orthogonal Additive Gaussian Processes
针对函数输出黑箱计算机实验,本文提出FOAGP模型与正交加性核,实现无分布假设的数据驱动效应分解,并支持全局与局部敏感性分析。
2025-06-15 stat.ME stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich(苏黎世联邦理工学院)
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间,发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
Local Random Feature Approximations of the Gaussian Kernel
EURECOM(欧洲通信学院)
基于核的统计模型的一个根本缺点是它们对大数据集的可扩展性有限,这需要诉诸近似。在这项工作中,我们专注于流行的高斯内核和技术,线性化基于内核的模型,通过随机特征近似。特别是,我们这样做,通过研究较少探索的随机特征近似基于麦克劳林展开和多项式草图。我们发现,这种方法在对高频数据进行建模时效果不佳,我们提出了一种新的本地化方案,该方案可以显着提高内核近似和下游性能。我们证明了这些收益的实验涉及应用高斯过程回归的合成和真实世界的数据的不同的数据大小和维度。
2022-04-12 cs.LG stat.CO stat.ML
Clustered active-subspace based local Gaussian Process emulator for high-dimensional and complex computer models
量化物理或工程系统中的不确定性通常需要大量计算密集型的底层计算机模型的模拟。仿真器或代理模型通常用于加速此类问题中的计算,并且在这方面,高斯过程(GP)仿真器由于其能够量化仿真器本身中的近似误差而成为流行的选择。然而,GP仿真器的一个主要限制是它不能处理非常高维的问题,这通常是通过降维技术来解决的。在这项工作中,我们希望解决的问题,感兴趣的模型是如此复杂,他们承认不同的低维结构在不同的参数制度。基于主动子空间方法的降维,我们提出了一种聚类的主动子空间方法,该方法识别局部低维结构以及它们所处的参数区域(表示为聚类),然后在聚类内构造低维和局部GP仿真器。具体来说,我们设计了一个聚类方法的基础上的梯度信息,以确定这些集群,和一个本地GP的建设过程中构建的GP模拟器在一个本地集群。数值算例表明,当底层模型具有复杂的低维结构时,该方法是有效的。
2021-11-09 cs.NA math.NA stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Provable Quantum Algorithm Advantage for Gaussian Process Quadrature
Aalto University(阿尔托大学)
本研究结合高斯过程求积与量子计算,提出基于核希尔伯特空间近似的量子低秩高斯过程求积方法,经模拟验证有效且理论上较经典方法具多项式复杂度优势。
2025-02-20 cs.LG quant-ph stat.CO
Strong Approximation of Empirical Copula Processes by Gaussian Processes
我们提供了高斯过程对经验copula过程的强逼近。此外,我们建立了光滑经验copula过程的强逼近和一个重对数律。
2011-06-19 math.ST stat.TH
Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出双重KL最优高斯过程近似方法,利用稀疏逆Cholesky因子同时变分近似先验与后验,在相近计算成本下对平稳核取得显著优于诱导点和平均场方法的精度。
2023-05-26 cs.LG stat.CO stat.ML
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Geometric Gaussian Approximations of Probability Distributions
Tübingen AI Center, University of Tübingen, Germany(图宾根人工智能中心,图宾根大学,德国)
本文研究通过微分同胚或黎曼指数映射构造的几何高斯逼近,证明其可逼近任意概率分布,并探讨对给定分布族寻找共同微分同胚以获得一致高质量逼近的可能性。
2025-07-01 cs.LG math.DG math.PR
A Framework for Evaluating Approximation Methods for Gaussian Process Regression
University of Edinburgh(爱丁堡大学);California Institute of Technology(加州理工学院)
高斯过程(GP)预测器是机器学习的许多贝叶斯方法的重要组成部分。然而,即使是高斯过程回归(GPR)的直接实现,对于n个样本的数据集也需要O(n^2)空间和O(n^3)时间。已经提出了几种近似方法,但缺乏对不同近似的相对优点的理解,以及在什么情况下它们最有用。我们建议评估作为计算时间的函数获得的预测的质量,并与标准基线进行比较(例如,数据和FITC的子集)。我们实证研究四种不同的近似算法对四个不同的预测问题,并使我们的代码,以鼓励未来的比较。
2012-11-05 cs.LG stat.CO stat.ML
Active emulation of computer codes with Gaussian processes -- Application to remote sensing
Universitat de València(瓦伦西亚大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
许多科学和工程领域依赖于使用复杂且计算昂贵的模型来运行模拟,以了解感兴趣系统中的相关过程。然而,所涉及的高成本妨碍了可靠和详尽的模拟。这种守则往往包含一些具有讽刺意味的技巧,使它们不那么容易处理和透明。本文介绍了一种主动学习方法,自适应地构建代理模型,即仿真器,这样昂贵的计算机代码在多输出设置。所提出的技术是顺序和自适应的,是基于一个合适的采集功能的优化。它旨在实现精确的近似,模型的易处理性,以及紧凑和表达的模拟数据集。为了实现这一点,建议的主动多输出高斯过程仿真器(AMOGAPE)结合高斯过程(GP)的预测能力与采集功能的设计,有利于采样在低密度和波动区域的近似函数。比较不同的采集功能,我们说明了有前途的性能的方法与玩具的例子,以及广泛使用的遥感传输代码的仿真器的建设。
2019-12-13 cs.LG stat.ML
On Some Asymptotic Properties and an Almost Sure Approximation of the Normalized Inverse-Gaussian Process
本文给出了归一化逆高斯过程的一些渐近性质。特别地,当浓度参数较大时,我们建立了归一化逆高斯过程及其相应的分位数过程的经验泛函中心极限定理、强大数律和Glivenko-Cantelli定理的一个类比.我们还得到了一个有限的总和表示,几乎肯定收敛到弗格森和克拉斯表示的归一化逆高斯过程。这种几乎必然的近似可以用来有效地模拟归一化的逆高斯过程。
2012-06-28 math.ST stat.TH
Understanding Probabilistic Sparse Gaussian Process Approximations
良好的稀疏近似对于高斯过程中的实际推理是必不可少的,因为精确方法的计算成本对于大型数据集是过高的。完全独立训练条件(FITC)和变分自由能(VFE)近似是最近流行的两种方法。尽管表面上相似,但这些近似具有令人惊讶的不同理论性质,并且在实践中表现不同。本文通过分析和实例对这两种回归方法进行了深入的研究,并得出了指导实际应用的结论。
2017-05-30 stat.ML
A quasi-Gaussian approximation for the probability distribution of correlation functions
上下文每当关联函数用于贝叶斯分析中宇宙学参数的推断时,需要知道关联函数的似然函数。通常,它被近似为多元高斯,尽管这不一定是一个很好的近似。目标。我们展示了如何计算一个更好的近似的概率分布的关联函数,我们称之为“准高斯”。方法.使用精确的单变量PDF以及先前导出的关联函数上的约束,我们将关联函数变换为高斯近似是合理的无约束变量。从变换空间中的这个高斯,我们得到准高斯PDF。将概率分布的两个近似值与从模拟中获得的“真实”分布进行比较。此外,我们测试如何使用时,作为一个玩具模型贝叶斯分析的可能性,新的近似执行。结果准高斯PDF同意非常好,从模拟中获得的PDF,特别是,它提供了一个显着更好的描述比一个简单的Copula方法。在一个简单的玩具模型似然分析中,它产生了明显不同于高斯似然的结果,表明它可能对宇宙学参数估计产生影响。
2013-07-04 astro-ph.CO math.ST stat.TH
Gaussian Approximation of General Nonparametric Posterior Distributions
在一般的贝叶斯非参数模型中,我们证明了后验分布可以用高斯过程渐近逼近。我们的结果适用于包含高斯和非高斯回归的非参数指数族,也适用于有效(root-n)和无效(non-root-n)估计。我们的一般近似定理不依赖于后验共轭,并且可以在具有平滑样条解释的一类高斯过程先验中得到验证[59,44]。特别是,限制后验措施成为先验自由下的贝叶斯版本的“下平滑”条件。最后,我们应用我们的近似定理来研究贝叶斯过程的渐近频率论性质,如可信区域和可信区间。
2017-10-31 math.ST stat.TH
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分,这在核的长度尺度小时导致差的性能。在本文中,我们介绍了多分辨率核近似(MKA),第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的,并且它是一种直接方法,这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Bayesian Deep Learning on a Quantum Computer
ETH Zurich(苏黎世联邦理工学院);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);ICFO-Institut de Ciencies Fotoniques, The Barcelona Institute of Science and Technology(巴塞罗那科学技术学院光子科学研究所);University of Toronto(多伦多大学);Creative Destruction Lab(创造性破坏实验室);Vector Institute for Artificial Intelligence(向量人工智能研究所);Perimeter Institute for Theoretical Physics(圆周理论物理研究所)
机器学习中的贝叶斯方法,如高斯过程,与其他技术相比具有很大的优势。特别是,它们提供了与预测相关的不确定性的估计。将贝叶斯方法扩展到深层架构仍然是一个重大挑战。最近的结果将深度前向神经网络与高斯过程连接起来,允许在没有反向传播的情况下进行训练。这种联系使我们能够利用为高斯过程设计的量子算法,并在量子计算机上开发贝叶斯深度学习的新算法。高斯过程中的核矩阵的属性确保了协议的核心组件量子矩阵求逆的有效执行,提供了至少多项式的加速比。此外,我们展示了该算法在当代量子计算机上的执行,并分析了其相对于现实噪声模型的鲁棒性。
2019-05-17 cs.AI quant-ph stat.ML
Bayesian Classification with Probit-link Split-and-merge Gaussian Process Prior in EEG-based Brain-Computer Interfaces
Indiana University(印第安纳大学);University of Michigan(密歇根大学);Emory University(埃默里大学)
提出一种基于Probit-link分裂合并高斯过程先验的贝叶斯生成模型,用于脑电图响应二元分类,实现时空特征选择并降低计算复杂度,同时保持预测精度。
2026-07-31 stat.AP stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的,但易于分析的监督学习模型。高斯过程由均值函数协方差函数(核)表征,它们由模型选择准则确定。要比较的函数不仅在参数化方面不同,而且在基本结构方面也不同。通常不清楚选择哪种函数结构,例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理,我们提出了一个模型选择框架,用于高斯过程回归的核排序。在我们的实验中,近似集编码有望成为一种模型选择标准,与最大证据(也称为边际似然)和留一交叉验证竞争。
2016-10-04 stat.ML
A Gaussian Process Approximation for a two-color Randomly Reinforced Urns
我们证明了一个高斯过程近似的序列的随机组成的双色随机加强瓮的情况下,与平等和不平等的加强手段。利用高斯逼近,建立了稳定收敛和几乎处处条件收敛意义下的重对数律和泛函极限中心极限定理.同样作为结果,我们能够证明,分布的瓮组成没有点的质量时,加强手段是平等的和不平等的假设下,只有有限的$(2+ε)$次矩。
2011-04-18 math.PR math.ST stat.TH
Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks
INRIA Paris(巴黎法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Università degli Studi di Pisa(比萨大学)
本文对随机高斯初始化的深度全连接神经网络,给出其输出分布与高斯过程之间二次Wasserstein距离的显式上界,定量刻画了隐藏层和输出层大小对高斯行为的影响,并恢复了宽极限下的分布收敛结果。
2023-09-22 cs.LG math.PR stat.ML
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程(GP)不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题,但已知过度拟合。我们建议使用变分推断的稀疏谱近似,以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模,并将其视为随机变量。随机协方差函数有一个后验,其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质,比较它的替代,并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数,并避免过度拟合。
2015-03-20 stat.ML
Evaluation of Gaussian approximations for data assimilation in reservoir models
在本文中,我们提出了数值评估的性能标准高斯近似探测后验分布,所产生的贝叶斯数据同化在石油储层。特别是,我们评估的性能(一)最大后估计的线性化,(二)随机极大似然和(三)标准集合卡尔曼滤波器类型的方法。为了完全解决后验分布,我们实现了一个国家的最先进的MCMC方法,以及尺度相对于参数空间的尺寸。我们的MCMC方法的实现提供了黄金标准,以评估上述高斯近似。我们提出了数值合成实验,我们量化的能力,每一个{ \em特设}高斯近似再现的平均值和方差的后验分布(通过MCMC特征)相关的数据同化问题。我们的控制实验的主要目的是展示标准{ \em ad hoc}高斯近似的近似性质的实质性差异。我们在这里提出的类型的数值研究将导致更好地了解成本效益,但{ \em特设},贝叶斯技术用于数据同化在石油储层,因此最终改进的技术,更准确的不确定性量化。
2012-12-08 stat.AP
Predicting the Output From a Stochastic Computer Model When a Deterministic Approximation is Available
计算机模型的分析可以通过构建替代模型或仿真器来辅助,这些替代模型或仿真器对数值计算机模型进行统计建模。越来越多的计算机模型变得随机,每次运行时产生不同的输出,即使使用相同的输入值。随机计算机模型更难以分析和模拟-通常需要更多的计算机模型运行来拟合。我们提出了一种方法,使用确定性近似的计算机模型,以更好地构建仿真器。该方法被应用到许多玩具的例子,以及一个理想的流行病学模型,从建筑性能领域的模型。
2019-02-04 stat.ME