Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差:所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是,我们表明,对于Matern 1/2协方差函数的参数估计差,只有轻微影响插值的质量。然后,我们进行数值实验,考虑最常见的协方差函数,包括其他Matern和平方指数协方差函数的误设定。对它们来说,参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University(哈佛大学)
我们引入了约束高斯过程(CGP),这是一种用于随机函数的高斯过程模型,可以轻松地放置数学约束(例如,非负性、单调性等)。CGP具有封闭形式的密度函数(PDF),其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外,我们表明,CGP固有的高斯过程的最佳理论属性,例如后验收缩率,由于事实上,CGP是一个高斯过程,具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程(GP)被广泛用于非参数回归的概率建模和推断。然而,它们的计算复杂性与样本量成比例,使得它们对于大数据集不可行。为了加快计算速度,在文献中提出了各种分布式方法。然而,这些方法的理论基础有限。在我们的工作中,我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型,恢复和不确定性量化。作为具体的例子,我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集,经常使用析因实验设计。在这种情况下,数据集的大小可能非常大。因此,最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似,也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford(牛津大学);Imperial College London(帝国理工学院);University of Twente(特文特大学)
我们严格证明,如果目标函数具有组合结构,则深度高斯过程先验可以优于高斯过程先验。为此,我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明,如果真函数是一个广义的加性函数,然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素,是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程,并给出了有效的后验计算算法。从理论上讲,软阈值高斯过程提供了大量的空间变化的系数,享受分段平滑,稀疏性和连续性,表征成像数据的重要特征的先验支持。此外,在一些温和的正则条件下,软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归,即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明,与现有的替代品的数值比较,并施加到脑电图(EEG)研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
Uncertainty quantification for sparse spectral variational approximations in Gaussian process regression
本文分析以谱特征为诱导变量的稀疏变分高斯过程回归,给出可信集频率学派覆盖保证、局限及达到极小极大后验收缩率所需诱导变量数的充要下界,并用数值实验验证更广泛方法中的类似现象。
2023-09-28 math.ST stat.TH
Regularity dependence of the rate of convergence of the learning curve for Gaussian process regression
本文讨论了高斯过程回归框架中学习曲线的收敛速度。学习曲线描述了用于回归的高斯过程的平均泛化误差。更具体地说,它在本文中被定义为输入参数空间上的均方误差相对于输入参数的概率测度的积分。主要结果是证明了一个定理,给出了一个大类的内核和任何尺寸时,观测的数量是大的函数的均方误差。从这个结果,我们可以推出推广误差的渐近行为。所提出的证明推广了以前的那些仅限于更具体的内核或小尺寸(一个或两个)。研究结果可用于建立资源分配的最优策略。该策略已成功应用于核安全问题。
2013-01-10 math.ST stat.TH
Contraction rates for sparse variational approximations in Gaussian process regression
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Bocconi University(博科尼大学)
本文研究了高斯过程回归中稀疏变分近似的收缩速率,通过诱导变量方法推导出收缩速率的充分条件,并展示了三种协方差核下实现最优收缩速率的实验结果。
2022-03-30 math.ST stat.TH
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型,提出基于变分贝叶斯的超参数选择理论保证,通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界,并在多种高斯过程先验中实现最优收缩率,同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性,它可以通过协方差来控制。一个结果,涉及复合算子在二阶设置,我们表明,各种路径属性,包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下,通过Loève等距。几个协方差驱动的路径不变性的说明,包括对称路径,中心路径,谐波路径,或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
Sparse Additive Gaussian Process Regression
在本文中,我们介绍了一种新的模型高斯过程(GP)回归在完全贝叶斯设置。出于稀疏化,本地化和贝叶斯添加剂建模的想法,我们的模型是建立在一个递归分区(RP)计划。在每个RP分区内,拟合稀疏GP(SGP)回归模型。然后,贝叶斯加法框架将多层分区的SGPs结合起来,通过有效的计算捕获全局趋势和局部细化。该模型解决了拟合全高斯过程回归模型的效率问题以及与单个SGP相关的预测性能问题。我们的方法减轻了伪输入选择的问题,并避免了在现有方法中需要复杂的块间相关性。关键的权衡变成在许多更简单的局部模型组件或更少的复杂全局模型组件之间进行选择,实践者可以合理地调整。实现是通过一个Metropolis-Hasting马尔可夫链蒙特卡洛算法与贝叶斯回拟合。我们将我们的模型与模拟和真实数据集上的流行替代方案进行比较,发现性能具有竞争力,而完全贝叶斯过程可以量化模型的不确定性。
2020-09-03 math.ST stat.TH
On the optimization of hyperparameters in Gaussian process regression with the help of low-order high-dimensional model representation
在数据稀疏的情况下,利用常用的极大似然估计(MLE)准则对高斯过程回归核的超参数进行优化,往往会导致过拟合。我们表明,选择超参数(在这种情况下,核长度参数和正则化参数)的基础上的完整性的标准,在相应的线性回归问题是优于极大似然估计。我们表明,这是方便的使用高维模型表示(HDMR),从而低阶HDMR表示可以提供可靠的参考函数和大的合成测试数据集的基础参数优化所需的,即使原始数据很少。
2022-01-06 cs.NA math.NA stat.ME
Mode-Shape Expansion Using Physics-Constrained Gaussian Process Regression
California Geological Survey(加州地质调查局);The B. John Garrick Institute for the Risk Sciences, University of California, Los Angeles(加州大学洛杉矶分校B.约翰·加里克风险科学研究所)
针对稀疏传感器数据重构全场结构模态振型的问题,提出一种物理约束单输出高斯过程框架,通过质量正交惩罚耦合独立模态核,实现更准确可靠的振型扩展。
2026-05-21 cs.NA math.NA stat.ML
Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下,考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类,尾部呈指数下降,不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度,这是近最优的和自适应的未知稀疏水平。此外,我们推导了半参数Bernstein-von Mises(BvM)定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下,得到了回归系数的强模型选择相合性,从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展,配备了随机变量选择,也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性,即,如果重要变量的真实子集可以从数据中一致地学习。它在这里示出,变量的一致性确实可以实现与这样的模型,至少当真正的回归函数具有有限的平滑度,以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前,一个结果,可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories(桑迪亚国家实验室)
高斯过程回归是一种流行的贝叶斯框架,用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分,许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息,以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束,包括积极性或边界约束,单调性和凸性约束,微分方程约束提供的线性偏微分方程,边界条件约束。我们比较了每种方法背后的策略以及实施中的差异,最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
Frequentist coverage and sup-norm convergence rate in Gaussian process regression
高斯过程(GP)回归是一种强大的插值技术,因为它在捕获非线性方面具有灵活性。在本文中,我们提供了一个一般的框架,了解点式和同时贝叶斯可信集GP回归的频率覆盖。作为中间结果,我们在随机设计GP回归中得到了上确界范数下的Bernstein von-Mises型结果。将高斯过程的后验分布的均值协方差函数确定为正则化的$M$ -估计,证明了后验均值函数的抽样分布和中心后验分布可以分别用两个总体水平的GP来近似.通过建立两个GP之间的比较不等式,给出了回归函数的贝叶斯逐点可信区间和同时可信带的频率覆盖概率的精确刻画.我们的研究结果表明,基于GP回归的推断往往是保守的,当先验是欠平滑的,由此产生的可信区间和波段具有最小最大最优的大小,其频率覆盖收敛到一个非退化值之间的标称水平和一个。作为我们理论的一个副产品,我们证明了GP回归也产生了相对于上确界范数的最小最大最优后验收缩率,这为GP回归中的最优上确界范数收缩率的长期存在的问题提供了积极的证据。
2017-08-16 math.ST stat.CO stat.ML
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Gaussian Process Regression Networks
我们引入了一个新的回归框架,高斯过程回归网络(GPRN),它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序,这个模型。我们应用GPRN作为多输出回归和多变量波动模型,在基准数据集(包括1000维基因表达数据集)上,与8个流行的多输出(多任务)高斯过程模型和3个多变量波动模型相比,表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
Nonnegativity-Enforced Gaussian Process Regression
University of Iowa(爱荷华大学);Lehigh University(理海大学)
高斯过程(GP)回归是一种灵活的非参数方法来近似复杂的模型。在许多情况下,这些模型对应于具有有界物理性质的过程。标准GP回归通常会导致代理模型对于所有时间或空间点都是无界的,因此可能会出现不可行的值。我们提出了一种方法来执行的物理约束下的概率的GP回归框架。此外,这种新方法减少了所得GP模型的方差。
2020-04-07 cs.LG stat.ML
How Good are Low-Rank Approximations in Gaussian Process Regression?
我们提供保证近似高斯过程(GP)回归产生两个常见的低秩内核近似:基于随机傅立叶特征,并基于截断内核的Mercer扩展。特别地,我们将精确GP与从上述低秩近似到其内核之一产生的GP之间以及它们对应的预测密度之间的库尔贝克-莱布勒散度绑定,并且我们还将使用精确GP与使用近似GP计算的预测平均向量之间以及预测协方差阵之间的误差绑定。我们提供模拟数据和标准基准测试的实验,以评估我们的理论界限的有效性。
2022-02-21 cs.LG math.ST stat.ML
Quantum assisted Gaussian process regression
Singapore University of Technology and Design(新加坡科技设计大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
高斯过程(GP)是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人,物理修订信函103,150502(2009)]可以应用于高斯过程回归(GPR),在某些情况下导致计算时间的指数减少。我们表明,即使在某些情况下不理想地适合量子线性系统算法,多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield(谢菲尔德大学);Department of Computer Science(计算机科学系);Sheffield, UK(英国谢菲尔德)
本文介绍了一种近似高斯过程回归的方法,将问题表示为随机微分方程,并利用变分推理来近似解。的近似值进行比较,与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明,该方法很容易扩展到非线性动力学和讨论的扩展,该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals
University of Toronto(多伦多大学)
高斯过程(GP)回归模型通常假设残差为高斯分布,并且所有观测的方差相同。然而,与输入相关的噪声(异方差残差)的应用程序经常出现在实践中,因为这样的应用程序中的残差不具有高斯分布。在本文中,我们提出了一个GP回归模型与潜变量,作为一个额外的未观察到的协变量的回归。这个模型(我们称之为GPLC)允许异方差,因为它允许函数相对于这个未观察到的协变量具有变化的偏导数。通过合适的协方差函数,我们的GPLC模型可以处理(a)具有输入依赖方差的高斯残差,或(b)具有输入依赖方差的非高斯残差,或(c)具有恒定方差的高斯残差。我们使用合成数据集将我们的模型与Goldberg,Williams和Bishop(1998)提出的模型进行比较,我们称之为GPLV,它只处理情况(a),以及只能处理情况(c)的标准GP模型。针对这两个模型开发了马尔可夫链蒙特卡罗方法。实验表明,当数据是异方差的,GPLC和GPLV给出更好的结果(较小的均方误差和负对数概率密度)比标准GP回归。此外,当残差为高斯时,我们的GPLC模型通常与GPLV一样好,而当残差为非高斯时,我们的GPLC模型优于GPLV。
2012-12-26 cs.LG stat.ML
Splitting Gaussian Process Regression for Streaming Data
University of Washington(华盛顿大学)
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质,并已被证明在实际中是有用的,但它们在观测数量上的缩放性很差。特别地,更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法,用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性,现有的方法,其顺序的性质允许应用到流数据。该算法构造了一个模型,其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知,该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Latent Gaussian Process Regression
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们介绍了潜在的高斯过程回归,这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量,用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法,并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech(加州理工学院);University of Southern California(南加州大学)
低秩张量回归是一种从数据中学习高阶相关性的新模型,近年来受到了广泛的关注。同时,高斯过程(GP)是结构学习的机器学习模型。在本文中,我们展示了两者之间有趣的联系,特别是对于多路数据分析。我们表明,低秩张量回归本质上是学习高斯过程中的多线性核,低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式,并推导出等价GP模型的平均情况学习曲线。我们的发现意味着,低秩张量回归,虽然经验上是成功的,是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Generalized Gaussian Process Regression Model for Non-Gaussian Functional Data
本文提出了一个广义高斯过程并发回归模型,其中函数响应变量为二项分布、Poisson分布或其它非高斯分布,协变量为混合函数和标量变量。该模型为多维协变量函数数据提供了一种非参数广义并发回归方法,并为重复观测函数数据的均值结构和协方差结构同时建模提供了一个自然的框架.均值结构提供有关观测的总体信息,而协方差结构可用于捕捉每个单独批次的特征。协方差核的先验规范使我们能够适应广泛的非线性模型。讨论了该模型的定义、推导和实现,以及它的渐近性质。几个不同的非高斯响应变量的数值例子。一些技术细节和更多的数值例子,以及模型的扩展作为补充材料。
2014-01-31 stat.ME
Using Gaussian process regression for efficient parameter reconstruction
光学散射测量是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此,通过数值模拟再现实验测量结果,得到的结构的几何参数。我们比较贝叶斯优化的性能,不同的局部最小化算法,这个数值优化问题。贝叶斯优化使用高斯过程回归来找到有希望的参数值。我们研究如何预先计算的模拟结果可以用来训练高斯过程,并加快优化。
2019-03-28 physics.comp-ph physics.data-an stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University(奥托-弗里德里希大学)
在构建贝叶斯机器学习模型时,我们可能会面临多个不同的先验分布,因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索,但对于复杂的机器学习问题,开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性,高斯过程是解决这一任务的良好候选者。因此,我们扩展了高斯过程回归的混合模型的思想,以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外,我们考虑使用我们的方法,另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架,利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维,通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Locally Smoothed Gaussian Process Regression
EURECOM(欧洲通信学院)
提出了一种新的加速高斯过程回归(GPR)的框架.特别是,我们考虑在每个数据点的本地化内核,以降低来自其他数据点的贡献,是遥远的,我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验,我们证明了所提出的方法相比,完整的GPR,其他本地化模型,和深高斯过程的竞争力的性能。至关重要的是,这些性能获得了相当大的加速比,由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Parametric Gaussian Process Regression for Big Data
Brown University(布朗大学)
这项工作介绍了参数高斯过程(PGP)的概念,这是建立在看似自相矛盾的思想,使高斯过程参数。参数高斯过程,通过构造,被设计为在“大数据”制度中操作,其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断,一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Functional Gaussian processes for regression with linear PDE models
在本文中,我们提出了一个新的统计方法的问题,将实验观察到的数学模型描述的线性偏微分方程(PDE),以改善预测的物理系统的状态。我们增加了线性偏微分方程的功能,占数学模型中的不确定性,并建模为{ \em高斯过程}。这就产生了一个随机偏微分方程,其特征在于高斯功能。我们开发了一个{ \em函数高斯过程回归}方法来确定高斯泛函的后验均值和协方差,从而求解随机偏微分方程,获得我们预测的物理状态的后验分布。我们的方法具有以下特点,区别于其他回归方法。首先,它将数学模型和观测值合并到回归过程中。其次,它可以处理以场变量的线性泛函形式给出的观测值。第三,该方法是非参数的,在这个意义上,它提供了一个系统的方法来最佳地确定高斯函数的先验协方差算子的基础上的观察。第四,它提供了后验分布,量化了我们对物理状态的预测中的不确定性的大小。我们提出的数值结果来说明这些功能的方法,并比较其性能的标准高斯过程回归。
2014-05-29 math.AP math.PR stat.CO
Temporal Gaussian Process Regression in Logarithmic Time
Aalto University(阿尔托大学)
针对时间高斯过程(GP)回归问题,提出了一种新的并行化方法。该方法允许在对数O(log N)时间内解决GP回归问题,其中N是时间步长的数量。我们的方法使用的状态空间表示的GP,在其原始形式允许线性O(N)时间GP回归利用卡尔曼滤波和平滑方法。通过使用最近提出的贝叶斯滤波器和平滑器的并行化方法,我们能够降低时间GP回归问题的线性计算复杂性为对数跨度复杂性。这确保了当在诸如图形处理单元(GPU)的并行硬件上运行时的对数时间复杂度。我们通过我们的开源实现利用GPflow框架在模拟和真实数据集上实验性地展示了计算的好处。
2021-05-17 cs.LG stat.CO stat.ME
Spatial postprocessing of ensemble forecasts for temperature using nonhomogeneous Gaussian regression
统计后处理技术通常用于提高数值天气预报集合的技能。本文考虑了空间扩展的成熟的非齐次高斯回归(NGR)后处理技术的表面温度和最近的修改,其中当地的气候是包括在回归模型的局部自适应后处理。在比较研究中,采用21小时的COSMO-DE集合预测系统在德国的预测,两种方法建模的空间预测误差相关性被认为是:一个参数高斯随机场模型和合奏copula耦合的方法,利用空间秩相关结构的原始合奏。此外,NGR方法进行了比较,无论是单变量和空间版本的集合贝叶斯模型平均(BMA)后处理技术。
2014-06-30 stat.AP
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离,也称为瓦瑟斯坦距离,作为概率分布的强大差异度量,在统计学和机器学习中受到越来越多的关注。在本文中,我们专注于预测的高斯过程指标的概率分布。为此,我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解,这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测,高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Robust and Conjugate Gaussian Process Regression
University College London(伦敦大学学院)
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题,提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归(RCGP),在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China(中国科学技术大学管理学院国际金融学院);Department of Statistics and Data Science, College of Science, Southern University of Science and Technology(南方科技大学理学院统计与数据科学系)
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题,本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型,建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
本文提出在高斯过程回归批量主动学习中利用导数信息,并借助预测协方差矩阵选择批次,理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度,建立一个良好的校正模型是非常重要的。基于异方差高斯过程(GP)回归方法,提出了一种新的烯酮模型(${\rm{U}}_{37}^{\rm{K}'}$)。我们的非参数方法不仅处理的变量模式的噪声在SST,但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系,以最大限度地提高预测性能。将高斯过程(GP)应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归(GPAR)模型,一个可扩展的多输出GP模型,能够捕获非线性,可能是输入变化,输出之间的依赖关系,在一个简单和易于处理的方式:产品规则是用来分解的联合分布的输出到一组条件,其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明,表现优于现有的GP模型,并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的,但易于分析的监督学习模型。高斯过程由均值函数协方差函数(核)表征,它们由模型选择准则确定。要比较的函数不仅在参数化方面不同,而且在基本结构方面也不同。通常不清楚选择哪种函数结构,例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理,我们提出了一个模型选择框架,用于高斯过程回归的核排序。在我们的实验中,近似集编码有望成为一种模型选择标准,与最大证据(也称为边际似然)和留一交叉验证竞争。
2016-10-04 stat.ML
Bayesian Monotone Regression using Gaussian Process Projection
形状约束回归分析在剂量-反应模型、环境风险评估、疾病筛查等领域有着广泛的应用。简化形状约束可以提高估计效率并避免不可信的结果。我们提出了两种新的方法,侧重于贝叶斯单调曲线和曲面估计使用高斯过程投影。第一个项目的样本从一个无约束的前,而第二个项目的样本从高斯过程后。理论发展的连续性的投影,后验一致性和收缩率。第二种方法被证明有一个经验贝叶斯理由,并导致在有限的样本具有良好的性能简单的计算。我们的投影方法可以应用于其他约束函数估计问题,包括在多变量设置。
2013-06-17 stat.ME
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分,这在核的长度尺度小时导致差的性能。在本文中,我们介绍了多分辨率核近似(MKA),第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的,并且它是一种直接方法,这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程(GP)回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差(异方差)和输入相关的信号方差(非平稳性),通过设置独立的GP先验的噪声和信号方差。我们使用期望传播(EP)的推理和比较结果,马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明,EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge(剑桥大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
提出高斯过程潜在因子回归(GPLFR)模型,通过将输出表示为低维潜在状态的线性高斯解码,联合优化压缩与预测,解决低数据高维输出回归问题,并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG