$\mathcal{G}$-SELC: Optimization by sequential elimination of level combinations using genetic algorithms and Gaussian processes
从大量可行的化合物中识别有前景的化合物是制药工业中一个重要而又具有挑战性的问题。有效解决这一问题将有助于减少药物发现早期阶段的支出。为了解决这个问题,Mandal、Wu和Johnson [Technometrics 48(2006)273- 283]提出了SELC算法。虽然功能强大,但它无法从数据中提取大量信息来有效地指导搜索,因为这种方法不是基于任何统计建模。所提出的方法使用高斯过程(GP)建模来改进SELC,因此命名为$\mathcal{G}$ -SELC。所提出的方法的性能示出使用四个和五个维度的测试功能。最后,我们实现了一个真正的制药数据集上的新算法,找到一组具有最佳性能的化合物。
2009-06-08 stat.AP
EzGP: Easy-to-Interpret Gaussian Process Models for Computer Experiments with Both Quantitative and Qualitative Factors
定量和定性输入的计算机实验(QQ)通常用于科学和工程应用。构建理想的仿真器,这样的计算机实验仍然是一个具有挑战性的问题。本文提出了一种易于解释的高斯过程(EzGP)模型,用于计算机实验,以反映定性因素不同水平组合下计算机模型的变化。所提出的建模策略,基于一个加性高斯过程,是灵活的,以解决涉及多个定性因素的计算机模型的异质性。我们还开发了EzGP模型的两个有用的变体,以实现高维和大尺寸数据的计算效率。数值算例和实际数据应用表明了这些模型的优点。
2022-03-18 stat.ME
A clustered Gaussian process model for computer experiments
高斯过程是计算机仿真的重要方法之一。然而,高斯过程的平稳性假设和大规模数据集的复杂性限制了它在实际应用中的有效性。在这篇文章中,我们提出了一个聚类的高斯过程模型,该模型将输入数据分成多个聚类,在每个聚类中执行一个高斯过程模型。随机期望最大化被用来有效地拟合模型。在我们的模拟以及太阳辐照度仿真的实际应用中,我们提出的方法比其主要竞争对手具有更小的均方误差,具有竞争力的计算时间,并通过发现集群提供了有价值的见解。在一个开放的存储库中提供了用于拟议方法的R包。
2020-11-05 stat.ME
Robust designs for Gaussian process emulation of computer experiments
本文研究支撑点与投影支撑点两类实验设计,利用凸差规划高效生成高维大型设计,在广泛响应面上实现高斯过程计算机实验的稳健有效仿真,并提供理论框架与数值验证。
2025-07-12 stat.ME
A generalized Gaussian process model for computer experiments with binary time series
非高斯观测,如二进制响应,在一些计算机实验中很常见。基于对一类细胞粘附实验的分析,我们引入了一个广义的二值响应的高斯过程模型,它与标准的GP模型具有一些共同的特征。此外,所提出的模型采用了灵活的均值函数,可以捕捉不同类型的时间序列结构。导出了估计量的渐近性质,构造了最优预测量及其预测分布。他们的表现是通过两个模拟研究。该方法适用于研究细胞粘附实验的计算机模拟。拟合模型揭示了重复细胞结合中的重要生物信息,这在实验室实验中无法直接观察到。
2018-09-24 stat.ME
Scaled Gaussian Stochastic Process for Computer Model Calibration and Prediction
我们考虑使用实验数据校准不完美的计算机模型的问题。为了补偿计算机模型的错误指定并做出更准确的预测,通常包括差异函数并通过高斯随机过程(GaSP)进行建模。然而,单独校准的计算机模型有时与实验数据拟合得很差,因为校准参数变得不可识别。在这项工作中,我们提出了缩放高斯随机过程(S-GaSP),一种新的随机过程,弥合了两种主要方法,即$L_2$校准和GaSP校准之间的差距。结果表明,我们的方法在校准和预测方面都表现良好。一个计算上可行的方法,这个新的模型下的贝叶斯范式。与GaSP校准相比,S-GaSP校准基于校准参数的后验分布,使得校准的计算机模型本身能够很好地预测现实。模拟和真实数据的数值比较,以说明建议的S-GaSP和其他替代方法之间的连接和差异。
2018-05-03 stat.ME
Gaussian process single-index models as emulators for computer experiments
单指数模型(SIM)通过将参数(线性)投影与单变量非参数(非线性)回归模型相结合来提供简约的多维非线性回归。我们表明,一个特定的高斯过程(GP)制定是简单的工作和理想的模拟器,为某些类型的计算机实验,因为它可以优于典型的可分离的GP回归模型通常用于这种设置。我们的贡献集中在大幅简化,重新解释,然后推广最近提出的完全贝叶斯GP-SIM组合,然后说明其良好的性能合成数据和真实数据的计算机实验。在CRAN上发布的两个R软件包已经被增强,以便于在我们提出的模型下进行推理。
2011-08-17 stat.CO stat.ME
Screening the Discrepancy Function of a Computer Model
本文提出一种名为 PIPS 的贝叶斯方法,通过单个 MCMC 样本计算后验包含概率,用于检测计算机模型与实际观测间差异函数的活跃输入,以识别模型处理不当的输入及不宜预测的方向。
2024-02-19 stat.CO stat.ME
Bayesian Classification with Probit-link Split-and-merge Gaussian Process Prior in EEG-based Brain-Computer Interfaces
Indiana University(印第安纳大学);University of Michigan(密歇根大学);Emory University(埃默里大学)
提出一种基于Probit-link分裂合并高斯过程先验的贝叶斯生成模型,用于脑电图响应二元分类,实现时空特征选择并降低计算复杂度,同时保持预测精度。
2026-07-31 stat.AP stat.ML
Local Gaussian Process Model for Large-scale Dynamic Computer Experiments
最近加速增长的计算能力产生了普及的实验与动态计算机模型在各种物理和工程应用。尽管在计算机实验中进行了广泛的统计研究,但大部分重点都放在设计和分析具有标量响应的计算机模型的理论和算法创新上。在本文中,我们提出了一个计算效率的统计模拟器的大规模动态计算机模拟器(即,给出时间序列输出的模拟器)。其主要思想是首先为每个输入位置找到一个好的局部邻域,然后通过基于奇异值分解(SVD)的高斯过程(GP)模型仿真模拟器输出。我们开发了一个新的设计标准,依次找到这个本地邻域集的训练点。已使用几个测试函数和实际应用来证明所提出的方法相对于使用设计点之间的欧几里得距离选择局部邻近集的朴素方法的性能。
2018-04-03 stat.ME
Variational Calibration of Computer Models
EURECOM(欧洲通信研究院)
黑盒计算机模型的贝叶斯校准提供了一个既定的框架,以获得模型参数的后验分布。传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项;然后使用MCMC进行推断。这些选择提出了计算和统计的挑战和限制,我们克服了提出使用近似深高斯过程和变分推断技术。其结果是一个实用的和可扩展的框架校准,获得竞争力的性能相比,国家的最先进的。
2018-10-29 cs.LG stat.AP stat.ME
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题,本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型,利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择,并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
A Framework for Controlling Sources of Inaccuracy in Gaussian Process Emulation of Deterministic Computer Experiments
计算机实验在科学和工程中已变得无处不在。通常,运行这些模拟需要相当多的时间和计算,使得试验设计在有限的时间和资源下获得高质量的信息非常重要。试验设计的原则,提出并证明,确保高标称,数值和参数估计精度高斯过程仿真的确定性模拟。空间填充特性“小填充距离”和“大分隔距离”仅弱冲突,并确保良好控制的标称、数值和参数估计误差,而非平稳性要求在具有更快衰减相关性的输入空间区域中具有更大密度的实验输入。这项工作将为科学家和工程师提供强大的,严格合理的,实际上有用的总体原则,选择高信息含量的模拟输入的组合。
2017-05-11 math.ST stat.TH
Vecchia-approximated Deep Gaussian Processes for Computer Experiments
深度高斯过程(DGP)通过函数组合升级普通GP,其中中间GP层扭曲原始输入,为非平稳动态建模提供灵活性。在最近的文献中出现了两种DGP制度。在机器学习中流行的“大数据”机制有利于近似的、基于优化的推理,以实现快速、高保真的预测。一个“小数据”制度,首选计算机代理建模,部署后集成增强不确定性量化(UQ)。我们的目标是通过引入Vecchia近似来扩展贝叶斯DGP后验推理的能力,从而弥合这一差距,允许线性计算缩放而不影响精度或UQ。我们的动机是模拟活动的替代建模,运行次数超过100,000次-对于以前的全贝叶斯实现来说太大了-并证明预测和UQ优于“大数据”竞争对手。所有方法都在CRAN上的“deepgp”包中实现。
2022-08-12 stat.CO
Computer emulation with non-stationary Gaussian processes
高斯过程(GP)模型在计算机实验中被广泛用于模拟传播不确定性。GP仿真舒适地坐落在一个易于分析的贝叶斯框架内。除了传播输入变量的不确定性外,在多次实验运行中训练的GP仿真器还为未知输入值的响应面估计提供了误差条。这有助于选择未来的输入值,以便将响应曲面估计中的不确定性降至最低。然而,传统的GP仿真器使用固定的协方差函数,这表现不佳,并导致次优选择的未来输入点时,响应表面具有尖锐的局部特征,如跳跃不连续性或孤立的高峰。我们提出了一个易于实现的非平稳GP仿真器,基于两个固定的GP,一个嵌套到其他,并展示其优越的能力,在处理本地功能和选择未来的输入点从这些功能的边界。
2015-01-29 stat.ME
Energetic Variational Gaussian Process Regression for Computer Experiments
本文提出基于能量变分推断的高斯过程回归方法,推导参数后验分布并引入收缩估计实现均值函数变量选择,通过三个基准示例验证其有效性。
2024-04-01 stat.ME
Local Gaussian process approximation for large computer experiments
我们提供了一种新的方法来近似仿真大型计算机实验。通过专注于明确的预期性能的预测方程,我们推导出一个家庭的本地顺序设计方案,动态定义的支持的高斯过程预测的基础上的本地子集的数据。我们进一步推导出表达式的快速顺序更新的所有需要的数量的本地设计迭代建立。然后,我们展示了如何独立的应用程序,我们的本地设计策略,在一个庞大的预测网格的元素,促进了平凡的并行实现。最终的结果是一个全局预测器,能够利用现代多核架构,同时允许非平稳建模功能作为奖励。我们展示了我们的方法上的两个例子,利用设计大小在数千,数万个数据点。比较的方法,companies支持的协方差。
2014-10-10 stat.CO stat.ME
Brief Report on Estimating Regularized Gaussian Networks from Continuous and Ordinal Data
在最近的文献中,高斯图形模型(GGM; Lauritzen,1996),一个网络的部分相关系数,已被用来捕捉潜在的动态观测变量之间的关系。可以使用正则化结合使用扩展贝叶斯信息准则的模型选择来估计GGM(Foygel和Drton,2010)。我把这种方法称为GeLasso,并使用一个合理的心理网络结构与连续和有序的datasets.Simulation结果表明,GeLasso工程以及作为一个开箱即用的方法来估计网络结构。
2017-09-22 stat.AP stat.ME
Bayesian Analysis of Censored Spatial Data Based on a Non-Gaussian Model
在本文中,我们建议使用斜高斯对数高斯模型的分析空间删失数据从贝叶斯的观点。这种方法是对偏对数高斯模型的一种扩展,既能适应偏态和重尾,也能适应删失数据。所有提到的特征都是空间数据的三个普遍特征。我们利用数据增广法和马尔可夫链蒙特卡罗(MCMC)算法进行后验计算。使用模拟数据,以及将其应用到一个真实的数据集的方法进行说明。关键词:删失数据,数据扩充,非高斯空间模型,离群点,统一偏高斯。
2018-11-27 stat.AP stat.ME
RobustCalibration: Robust Calibration of Computer Models in R
本文介绍R包RobustCalibration,通过统计模拟器、贝叶斯与最大似然方法及高斯随机过程,解决计算昂贵的计算机模型校准与数据反演问题。
2024-02-19 stat.AP stat.CO
The ICSCREAM methodology: Identification of penalizing configurations in computer experiments using screening and metamodel -- Applications in thermal-hydraulics
CEA, DES, IRESNE, DER(法国原子能和替代能源委员会,核能部,核能研究与管理研究所,反应堆设计部门);EDF R&D(法国电力集团研发部)
ICSCREAM方法通过全局敏感性分析和元模型技术,高效识别热力学-流体力学事故模拟中的临界配置,减少计算成本。
2021-08-27 cs.CE math.ST stat.TH
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
A Fast and Calibrated Computer Model Emulator: An Empirical Bayes Approach
在计算机上实现的数学模型已经成为加速科学过程周期的驱动力。这是因为计算机模型通常比物理实验运行得更快和更经济。在这项工作中,我们开发了一种经验贝叶斯方法,使用计算机模型来预测物理量,我们假设所考虑的计算机模型需要校准,并且计算成本很高。我们提出了一个高斯过程仿真器和一个高斯过程模型的计算机模型和底层的物理过程之间的系统差异。这允许由高斯过程引起的条件分布给出的封闭形式和易于计算的预测。我们提供了一个严格的理论依据所提出的方法,通过建立后验的一致性估计的物理过程。在一个广泛的模拟研究和一个真实的数据示例中证明了该方法的计算效率。新建立的方法从实践和理论的角度加强了计算机模型的使用。
2021-07-02 stat.CO stat.ME
Emulating computer models with step-discontinuous outputs using Gaussian processes
在许多现实世界的应用中,我们感兴趣的是近似昂贵的功能,是分析未知的,例如复杂的计算机代码。仿真器提供了依赖于有限数量的评估的这样的函数的快速近似。高斯过程(GP)是常见的仿真器,由于其统计特性,如估计自己的不确定性的能力。GP本质上是为了适应光滑、连续的函数而开发的。然而,在许多情况下,连续性和平滑性的假设是没有根据的。例如,在出现分叉或临界点的计算机模型中,输出可能是不连续的。这项工作探讨的能力,全球定位系统的仿真步骤不连续的功能。为此提出了若干办法。两个特殊的协方差函数/内核适应的能力,模型的不连续性。它们是神经网络和吉布斯内核,其属性使用几个例子来证明。另一种方法,称为扭曲,是将输入空间转换为一个新的空间,其中具有标准内核的GP(如Matern家族)能够很好地预测函数。该变换是通过一个参数映射来执行,该参数映射的参数是通过极大似然估计的。结果表明,所提出的方法具有更优越的性能与标准的核GP在捕捉真正的功能急剧跳跃。
2020-09-30 stat.ME
A Computationally Stable Approach to Gaussian Process Interpolation of Deterministic Computer Simulation Data
对于许多昂贵的确定性计算机模拟器,输出没有复制错误,所需的元模型(或统计模拟器)是观测数据的一个子集。高斯空间过程(GP)的实现通常用于对这样的模拟器输出进行建模。将GP模型拟合到$n$数据点需要计算$n \times n$相关矩阵$R$的逆矩阵和行列式,由于$R$的近奇异性,这些逆矩阵和行列式有时在计算上是不稳定的。如果任何一对设计点在输入空间中非常接近,就会发生这种情况。克服近奇异性的流行方法是在模型中引入一个小的块金(或抖动)参数,该参数与其他模型参数一起估计。在模型中包含块金通常会导致数据不必要的过度平滑。在本文中,我们提出了一个下界的块金,最大限度地减少过度平滑和迭代正则化方法来构建一个预测,进一步提高插值精度。我们还表明,建议的预测收敛到GP的。
2012-03-06 stat.CO stat.ME
Active emulation of computer codes with Gaussian processes -- Application to remote sensing
Universitat de València(瓦伦西亚大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
许多科学和工程领域依赖于使用复杂且计算昂贵的模型来运行模拟,以了解感兴趣系统中的相关过程。然而,所涉及的高成本妨碍了可靠和详尽的模拟。这种守则往往包含一些具有讽刺意味的技巧,使它们不那么容易处理和透明。本文介绍了一种主动学习方法,自适应地构建代理模型,即仿真器,这样昂贵的计算机代码在多输出设置。所提出的技术是顺序和自适应的,是基于一个合适的采集功能的优化。它旨在实现精确的近似,模型的易处理性,以及紧凑和表达的模拟数据集。为了实现这一点,建议的主动多输出高斯过程仿真器(AMOGAPE)结合高斯过程(GP)的预测能力与采集功能的设计,有利于采样在低密度和波动区域的近似函数。比较不同的采集功能,我们说明了有前途的性能的方法与玩具的例子,以及广泛使用的遥感传输代码的仿真器的建设。
2019-12-13 cs.LG stat.ML
Hierarchical shrinkage Gaussian processes: applications to computer code emulation and dynamical system recovery
Duke University(杜克大学)
在科学和工程的许多领域,计算机模拟被广泛用作物理实验的替代品,这可能是不可行或不道德的。这种模拟通常在计算上是昂贵的,并且可以训练仿真器以有效地预测期望的响应表面。一个广泛使用的仿真器是高斯过程(GP),它提供了一个灵活的框架,有效的预测和不确定性量化。然而,标准GP不捕获底层响应表面上的结构化稀疏性,这在许多应用中存在,特别是在物理科学中。因此,我们提出了一个新的分层收缩GP(HierGP),它通过GP框架内的累积收缩先验,将这种结构。我们表明,HierGP隐式地嵌入了众所周知的原则的效果稀疏性,遗传性和层次分析的实验,这使得我们的模型,以确定结构化的稀疏功能,从响应面有限的数据。我们提出了有效的后验采样算法的模型训练和预测,并证明了理想的HierGP的一致性属性。最后,我们证明了HierGP在现有模型的改进性能,在一套数值实验和应用程序的动力系统恢复。
2023-02-01 cs.LG stat.ME stat.ML
Gradient-enhancement and Gradient Predictions for Deep Gaussian Process Modeling of Expensive Computer Experiments
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系)
针对昂贵计算机实验的深度高斯过程建模,提出带梯度的贝叶斯框架,实现梯度增强与梯度预测,在非平稳测试函数及量子力学实验中验证,该方法在非平稳曲面表现优,还提供开源软件。
2026-07-24 stat.ME
Linked Deep Gaussian Process Emulation for Model Networks
University College London(伦敦大学学院);University of Exeter(埃克塞特大学)
本文提出部分暴露隐藏层的链接深度高斯过程仿真方法,以克服LGP的平稳性限制,并在合成与实证示例中提升预测及不确定性量化性能。
2023-06-02 cs.LG stat.AP stat.CO
Gaussian process emulators for computer experiments with inequality constraints
物理现象在许多领域(科学和工程)中被观察到,并且通常通过耗时的计算机代码进行研究。这些代码使用统计模型进行分析,通常称为仿真器。在许多情况下,物理系统(计算机模型输出)可能已知满足关于一些或所有输入变量的不等式约束。我们的目标是建立一个模型,能够将数据插值和不等式约束到高斯过程仿真器。通过使用功能分解,我们提出了近似的原始高斯过程的有限维高斯过程,使所有的条件模拟满足不等式约束在整个区域。计算条件高斯过程的均值、众数(最大后验概率)和预测区间(不确定性量化)。为了研究所提出的模型的性能,一些条件模拟与不等式约束,如边界,单调性或凸性条件。1.导论.在工程活动中,计算机代码的运行可能是昂贵且耗时的。一种解决方案是使用统计代理来调节某些输入位置(设计点)处的计算机模型输出。高斯过程(GP)仿真器是最受欢迎的选择之一[23]。原因在于GP的属性,即可以计算不确定度量化。此外,它还有几个很好的特性。例如,观察数据的条件GP(线性等式约束)仍然是GP [5]。此外,输出计算机响应的一些不等式约束(例如单调性和凸性)与偏导数有关。在这种情况下,GP的偏导数也是GP。将无穷多个线性不等式约束表示到GP仿真器中,问题变得更加困难。原因是产生的条件进程不是GP。在不等式约束插值的文献中,我们发现了两类方法。第一种是确定性的,基于样条,其优点是在整个输入域中满足不等式约束(参见例如[16],[24]和…
2016-05-24 math.PR stat.ME
Sequential Design with Mutual Information for Computer Experiments (MICE): Emulation of a Tsunami Model
计算机模拟器可以是计算密集型的,以运行大量的输入值,如优化和各种不确定性量化任务所需。计算机实验设计和分析的标准范例是采用高斯随机场来模拟计算机模拟器。高斯过程模型在从各种输入值的模拟运行获得的输入-输出数据上进行训练。按照这种方法,我们提出了一个顺序设计算法,MICE(互信息计算机实验),自适应地选择输入值在运行计算机模拟器,以最大限度地提高预期的信息增益(互信息)在输入空间。MICE算法的优越的计算效率相比,其他算法证明了测试功能,和海啸模拟器的整体收益高达20%,在这种情况下。
2015-09-10 stat.CO
Clustered active-subspace based local Gaussian Process emulator for high-dimensional and complex computer models
量化物理或工程系统中的不确定性通常需要大量计算密集型的底层计算机模型的模拟。仿真器或代理模型通常用于加速此类问题中的计算,并且在这方面,高斯过程(GP)仿真器由于其能够量化仿真器本身中的近似误差而成为流行的选择。然而,GP仿真器的一个主要限制是它不能处理非常高维的问题,这通常是通过降维技术来解决的。在这项工作中,我们希望解决的问题,感兴趣的模型是如此复杂,他们承认不同的低维结构在不同的参数制度。基于主动子空间方法的降维,我们提出了一种聚类的主动子空间方法,该方法识别局部低维结构以及它们所处的参数区域(表示为聚类),然后在聚类内构造低维和局部GP仿真器。具体来说,我们设计了一个聚类方法的基础上的梯度信息,以确定这些集群,和一个本地GP的建设过程中构建的GP模拟器在一个本地集群。数值算例表明,当底层模型具有复杂的低维结构时,该方法是有效的。
2021-11-09 cs.NA math.NA stat.ME
Bayesian Deep Learning on a Quantum Computer
ETH Zurich(苏黎世联邦理工学院);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);ICFO-Institut de Ciencies Fotoniques, The Barcelona Institute of Science and Technology(巴塞罗那科学技术学院光子科学研究所);University of Toronto(多伦多大学);Creative Destruction Lab(创造性破坏实验室);Vector Institute for Artificial Intelligence(向量人工智能研究所);Perimeter Institute for Theoretical Physics(圆周理论物理研究所)
机器学习中的贝叶斯方法,如高斯过程,与其他技术相比具有很大的优势。特别是,它们提供了与预测相关的不确定性的估计。将贝叶斯方法扩展到深层架构仍然是一个重大挑战。最近的结果将深度前向神经网络与高斯过程连接起来,允许在没有反向传播的情况下进行训练。这种联系使我们能够利用为高斯过程设计的量子算法,并在量子计算机上开发贝叶斯深度学习的新算法。高斯过程中的核矩阵的属性确保了协议的核心组件量子矩阵求逆的有效执行,提供了至少多项式的加速比。此外,我们展示了该算法在当代量子计算机上的执行,并分析了其相对于现实噪声模型的鲁棒性。
2019-05-17 cs.AI quant-ph stat.ML
Provable Quantum Algorithm Advantage for Gaussian Process Quadrature
Aalto University(阿尔托大学)
本研究结合高斯过程求积与量子计算,提出基于核希尔伯特空间近似的量子低秩高斯过程求积方法,经模拟验证有效且理论上较经典方法具多项式复杂度优势。
2025-02-20 cs.LG quant-ph stat.CO
Matching models across abstraction levels with Gaussian Processes
生物系统通常在不同的抽象层次上建模,这取决于研究的特定目标/资源。这种不同的模型往往提供了定性一致的预测在特定的参数化,但它通常是不清楚的模型预测是否在定量上的协议,以及这种协议是否适用于不同的参数化。在这里,我们提出了一个普遍适用的统计机器学习方法,自动协调不同模型的预测跨抽象层次。我们的方法是基于定义一个校正映射,一个随机函数,它修改一个模型的输出,以匹配同一系统的不同模型的输出的统计。我们使用两个生物学的例子来证明的方法的原理演示,并讨论其优点和潜在的进一步应用。
2016-05-07 stat.ML
Effect Decomposition of Functional-Output Computer Experiments via Orthogonal Additive Gaussian Processes
针对函数输出黑箱计算机实验,本文提出FOAGP模型与正交加性核,实现无分布假设的数据驱动效应分解,并支持全局与局部敏感性分析。
2025-06-15 stat.ME stat.ML
Response probability distribution estimation of expensive computer simulators: A Bayesian active learning perspective using Gaussian process regression
本文提出基于高斯过程回归的贝叶斯主动学习方法,通过后验统计量设计停止准则和学习函数,高效且高精度地估计昂贵计算机模拟器的响应概率分布。
2024-08-31 stat.CO
Diagnostics for Stochastic Gaussian Process Emulators
计算机模型,也被称为模拟器,运行起来可能在计算上是昂贵的,因此经常使用被称为仿真器的统计代理。任何统计模型,包括模拟器,在使用之前都应该进行验证,否则可能会误导最终的决策。我们讨论如何验证高斯过程仿真器的确定性模型的方法是不够的随机计算机模型的仿真器,并开发一个框架,诊断随机仿真器中的问题。这些诊断基于使用样本外、重复、模拟器运行独立验证均值和方差预测。然后,我们还使用建筑性能模拟器作为案例研究的例子。
2021-01-25 stat.ME
Multivariate Gaussian process emulation for multifidelity computer models with high-dimensional spatial outputs
Iowa State University(爱荷华州立大学)
本文提出多变量高斯过程模拟方法,用于在高维空间中处理多保真度计算机模型,通过自回归协克里金框架开发两种交叉协方差结构,以提高风暴潮风险评估的预测精度与效率。
2026-03-29 stat.ME
Dirichlet-Neumann Averaging: The DNA of Efficient Gaussian Process Simulation
本研究提出基于Dirichlet-Neumann平均的高效高斯过程/随机场采样方法,结合离散余弦与正弦变换实现快速计算,同时建立其与SPDE方法的关联,可指导边界条件选择并在无域扩展下得到各向同性样本。
2024-12-10 cs.NA math.NA math.PR
Nested Bayesian Optimization for Computer Experiments
计算机实验可以模拟物理系统,帮助计算研究,并产生解析解。它们已被广泛用于许多工程应用(例如,航空航天、汽车、能源系统。传统的贝叶斯优化在计算机实验中没有考虑嵌套结构。本文提出了一种新的嵌套式贝叶斯优化方法,用于解决具有多步或层次特征的复杂计算机实验问题。我们证明了两种情况下的嵌套输出的理论性质:高斯或非高斯。导出了嵌套期望改进的封闭形式。我们还提出了嵌套贝叶斯优化的计算算法。三个算例表明,所提出的嵌套贝叶斯优化方法在不考虑内部计算机代码中间输出的情况下,性能优于五种基准贝叶斯优化方法。算例表明,嵌套贝叶斯优化能有效地减小复合材料结构装配过程中的残余应力,避免收敛于局部最优。
2022-08-21 stat.ME
A Gaussian process and linear-based framework for computing cut distributions in modular Bayesian calibration of two chained computer models
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Institut de Mathématiques de Toulouse, Université Paul Sabatier(图卢兹数学研究所,保罗·萨巴蒂尔大学);Université d’Avignon(阿维尼翁大学)
本文提出一种基于高斯过程和线性方法的框架,用于计算模块化贝叶斯校准中两连环计算机模型的切分布,通过合成示例验证了方法的有效性。
2026-03-16 stat.CO stat.ME
On the Bayesian calibration of expensive computer models with input dependent parameters
计算机模型旨在模拟复杂的真实系统,通常根据数据进行校准以提高性能。标准校准方法假设校准参数的最优值对模型输入是不变的。在一些现实世界的应用中,模型涉及复杂的参数化,其最佳值取决于模型的输入,这样的假设可能过于限制,并可能导致误导性的结果。我们提出了一个完全贝叶斯方法,产生输入相关的校准参数的最佳值,以及它的特点通过后验分布的相关不确定性。方法的核心是将校准参数制定为阶跃函数的思想,该阶跃函数的不确定结构通过二叉树过程适当地建模。我们的方法是特别适合于解决问题的计算机模型需要选择一个子模型从一组竞争的,但选择的“最好的”子模型可能会改变与输入值。该方法为给定输入的每个子模型产生选择概率。我们提出了合适的可逆跳跃操作,以方便具有挑战性的计算。我们评估了我们的方法对基准示例的性能,并用它来分析一个现实世界的应用程序与大规模的气候模型。
2017-08-31 stat.ME
Projection Pursuit Gaussian Process Regression
Texas A&M University(德克萨斯农工大学)
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下,由于数据点的有限性,存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度,但它们更具限制性,因为它们仅适用于加性函数。在这项工作中,我们考虑一个投影寻踪模型,其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数,并称之为“维数扩展”。我们表明,维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明,该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Fixed-budget optimal designs for multi-fidelity computer experiments
本工作研究多保真度计算机实验的固定预算最优设计,基于自回归高斯过程模型与多层逼近提出具有解析形式的近似最优嵌套设计,并从理论上与数值上证明其达到同等预测精度时计算成本远低于单保真度设计。
2024-05-31 stat.ME
Exact Bayesian inference in spatio-temporal Cox processes driven by multivariate Gaussian processes
在本文中,我们提出了一种新的推理方法来执行贝叶斯推断时空考克斯过程的强度函数依赖于一个多元高斯过程。动态高斯过程的引入,允许在离散时间的强度函数的演变。该方法的新颖之处在于,没有离散化错误涉及的事实,尽管非易处理的似然函数和无穷维的问题。该方法是基于一个马尔可夫链蒙特卡罗算法,从联合后验分布的参数和潜在变量的模型进行采样。模型的定义一般和灵活的方式,但他们是服从直接采样相关的分布,由于其组件的仔细表征。该模型还允许纳入回归协变量和/或时间分量,以解释强度函数的变异性。这些组件可能会受到与空间和/或时间的相关相互作用。真实和模拟的例子说明了方法,然后是结束语。
2019-03-10 stat.ME
Finite-dimensional approximation of Gaussian processes with inequality constraints
高斯过程由于其灵活性,在非参数函数估计中得到了广泛的应用。关于底层函数的先验信息通常是可用的。例如,物理系统(计算机模型输出)可能已知满足关于一些或所有输入的不等式约束。我们开发了一个有限维近似的GPS能够将不等式约束和嘈杂的观察计算机模型仿真器。它是基于高斯随机系数和确定性基函数之间的线性组合。通过这种方法,不等式约束在整个域中得到尊重。后验分布的平均值和最大值被很好地定义。仿真研究表明,该模型的效率和性能的预测精度和不确定性量化。
2017-11-20 math.PR stat.ME
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame(圣母大学)
我们介绍了一种方法,使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性,自动选择一个适当的维数为学习的潜在表示的数据,并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成,从而提高样本效率,同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是,贝叶斯反演是通过求解变分优化问题来进行的,取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程,并返回校准后验,是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University(布朗大学)
这项工作介绍了参数高斯过程(PGP)的概念,这是建立在看似自相矛盾的思想,使高斯过程参数。参数高斯过程,通过构造,被设计为在“大数据”制度中操作,其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断,一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Inferring manifolds using Gaussian processes
Department of Statistical Science Duke University, Durham, NC(统计科学系杜克大学);Department of Mathematical Sciences The University of Texas at Dallas, Richardson, TX(数学科学系德克萨斯大学达拉斯分校)
本文提出使用高斯过程进行概率流形重建,通过局部回归方法解决流形估计问题。
2026-01-25 cs.LG stat.ML
Bayesian inference for high-dimensional nonstationary Gaussian processes
尽管非平稳空间建模和近似高斯过程(GP)方法的各种文献,有没有一般的方法进行充分的贝叶斯推断的中等大小的非平稳空间数据集在个人笔记本电脑。对于希望了解空间参考数据并进行后验推断和预测的统计学家和数据科学家来说,缺乏这种方法和相应的软件是一个重大限制。在本文中,我们开发的方法实现正式的贝叶斯推断的一般类的非平稳GP。我们的新方法使用预先存在的框架,以一种新的方式,适用于小到中等大小的数据集,通过现代GP似然近似表征非平稳性。后验采样采用灵活的MCMC方法,非平稳后验预测作为后处理步骤进行。我们在两个数据集上展示了我们的新方法,范围从几百到几千个位置,并将我们的方法与提供现成软件的相关统计方法进行比较。我们所有的方法都是在免费提供的BayesNSGP软件包中实现的。
2020-06-30 stat.CO stat.ME
Gaussian Process Regression for Arctic Coastal Erosion Forecasting
北极海岸形态受多种因素制约,其中许多因素受到气候变化的影响。随着海岸冰季节长度的减少和温度变暖的永久冻土,海岸线更容易受到风暴浪潮的侵蚀。这种海岸侵蚀令人担忧,因为北极的大多数人口中心和基础设施都位于海岸附近。利益攸关方和决策者越来越需要能够进行基于海洋学的预测的模型,以评估和减轻沿海形态对基础设施和土地利用的影响。我们的研究使用高斯过程模型来预测沿波弗特海德鲁点,AK附近的北极海岸侵蚀。高斯过程回归是一种数据驱动的建模方法,能够从数据稀疏的环境(如偏远的北极海岸线)中提取模式和趋势。为了训练我们的模型,我们使用现有数据集的年度海岸线位置和近岸夏季温度平均值,并通过从卫星图像中提取额外的海岸线来扩展这些数据。我们将我们的校准模型与未来的气候模型相结合,以产生一系列合理的未来侵蚀情景。我们的研究结果表明,高斯过程的方法大大提高了年度预测相比,线性和非线性最小二乘法,并能够生成详细的预测适合决策者使用。
2017-12-04 physics.geo-ph stat.ML
Gaussian Processes for Local Polynomial Forecasting of Time Series
具有非线性趋势的非平稳时间序列在实际应用中经常遇到。我们在这里考虑的可行性,准确地预测多个这样的时间序列的信号时,历史样本的数量是不足以准确地预测的信号被认为是孤立的。我们开发了一种新的预测方法的基础上,高斯过程回归是成功的,这样做的例子中,广义最小二乘法是不是。新方法采用了一种深度机器学习的形式。
2016-08-03 stat.ME
Locally induced Gaussian processes for large-scale simulation experiments
高斯过程(GP)作为复杂表面的灵活替代品,但在大训练数据大小的矩阵分解的立方成本下会出现问题。地理空间和机器学习社区建议使用伪输入或诱导点作为一种策略,以获得近似值,从而减轻计算负担。然而,我们展示了如何放置的诱导点和他们的众多可以阻挠病理,特别是在大规模的动态响应面建模任务。作为补救措施,我们建议移植诱导点的想法,这通常是全球性的,到一个更本地的情况下,选择是更容易和更快。通过这种方式,我们提出的方法混合了全局诱导点和基于数据子集的局部GP近似。提供了一个级联的战略规划选择的本地诱导点,并比较绘制相关的方法,重点是计算机代理建模应用。我们表明,当地的诱导点扩展其全球和数据子集组件的准确性-计算效率的前沿。基准数据和大规模的真实模拟卫星阻力插值问题提供了说明性的例子。
2021-02-03 stat.CO stat.ME stat.ML