Bayesian Bridge Gaussian Process Regression
Department of Mathematics and Statistics, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校数学与统计系)
本文提出贝叶斯桥梁高斯过程回归模型,通过ℓq-范数约束实现变量选择和稀疏性诱导,优于传统方法。
2025-11-21 stat.ME
Locally Adaptive Bayes Nonparametric Regression via Nested Gaussian Processes
本文提出了一种嵌套高斯过程(nGP)作为贝叶斯非参数回归的局部自适应先验。通过一组随机微分方程(SDEs)指定,nGP对函数的$m$阶导数施加高斯过程先验。嵌套是通过包括局部瞬时均值函数来实现的,该局部瞬时均值函数是从另一个高斯过程中提取的,该过程诱导对局部变化平滑度的自适应性。我们讨论了再生核Hilbert空间的闭包对nGP先验的支持,并考虑了后验的理论性质。后验均值下的nGP事先被证明是相当于一个嵌套的惩罚平方和的最小值,涉及罚款的整体和局部粗糙度的功能。使用高效的马尔可夫链蒙特卡罗的后验推理,所提出的方法在模拟研究相比,几个替代方案,并可扩展到大量的数据,说明通过蛋白质组学应用。
2012-01-20 stat.ME
Correlated Bayesian Additive Regression Trees with Gaussian Process for Regression Analysis of Dependent Data
Department of Biostatistics, The University of Texas MD Anderson Cancer Center(德克萨斯大学安德森癌症中心统计系);School of Mathematical and Statistical Sciences, Arizona State University(亚利桑那州立大学数学与统计科学学院)
针对相依数据建模的不足,提出CBART-GP模型,通过加性框架结合CBART与高斯过程提取残差依赖结构,并开发两阶段方差分析方法降低计算复杂度,实现准确的协ariate-响应关系恢复与强预测性能。
2025-09-15 stat.ME
Gaussian Process Regression Networks
我们引入了一个新的回归框架,高斯过程回归网络(GPRN),它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序,这个模型。我们应用GPRN作为多输出回归和多变量波动模型,在基准数据集(包括1000维基因表达数据集)上,与8个流行的多输出(多任务)高斯过程模型和3个多变量波动模型相比,表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中,我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归(IGPR),即,在该方法中,我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例,我们证明了IGPR与一些常用算法相比具有竞争力的性能,特别是在统计稳定性和计算效率方面,而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Splitting Gaussian Process Regression for Streaming Data
University of Washington(华盛顿大学)
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质,并已被证明在实际中是有用的,但它们在观测数量上的缩放性很差。特别地,更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法,用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性,现有的方法,其顺序的性质允许应用到流数据。该算法构造了一个模型,其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知,该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Computationally efficient multi-level Gaussian process regression for functional data observed under completely or partially regular sampling designs
University of Copenhagen(哥本哈根大学)
本文提出了一种计算高效的多级高斯过程回归方法,用于处理完全或部分规则采样设计下的函数数据,通过解析表达式显著提升计算效率。
2024-08-07 stat.CO stat.ME
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Potentially Predictive Variance Reducing Subsample Locations in Local Gaussian Process Regression
高斯过程模型通常用作计算机实验的仿真器。然而,开发一个高斯过程仿真器可以是计算上禁止时,实验样本的数量甚至适度大。局部高斯过程近似(Gramacy and Apley,2015)被提出作为一种精确且计算上可行的仿真替代方案。然而,构建特定于特定感兴趣位置处的预测的局部子设计仍然是该技术的实质性计算瓶颈。本文提出了两种计算效率高的邻域搜索限制技术,最大距离法和特征近似法。两个例子表明,所提出的方法确实节省了大量的计算,同时保持仿真精度。
2016-11-26 stat.CO stat.ME
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集,经常使用析因实验设计。在这种情况下,数据集的大小可能非常大。因此,最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似,也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University(哈佛大学)
我们引入了约束高斯过程(CGP),这是一种用于随机函数的高斯过程模型,可以轻松地放置数学约束(例如,非负性、单调性等)。CGP具有封闭形式的密度函数(PDF),其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外,我们表明,CGP固有的高斯过程的最佳理论属性,例如后验收缩率,由于事实上,CGP是一个高斯过程,具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程,并给出了有效的后验计算算法。从理论上讲,软阈值高斯过程提供了大量的空间变化的系数,享受分段平滑,稀疏性和连续性,表征成像数据的重要特征的先验支持。此外,在一些温和的正则条件下,软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归,即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明,与现有的替代品的数值比较,并施加到脑电图(EEG)研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
The periodic zeta covariance function for Gaussian process regression
我认为Lerch-Hurwitz或周期zeta函数作为一个周期连续平稳随机过程的协方差函数。该函数可以参数化的连续指数$ν$调节的连续性和可微性的过程中的一种方式完全类似于参数$ν$的Matérn类的协方差函数。这使得周期性zeta成为一个很好的伴侣,可以将幂律先验谱季节分量添加到高斯过程回归的Matérn先验中。它也是圆Matérn协方差的近亲,同样可以用于3维以下的球面。由于这个特殊的函数在标准库中通常不可用,我将详细解释数值实现。
2022-08-04 stat.CO stat.ME
Additive Gaussian Process Regression
加法交互回归最近已被证明提供有吸引力的极大极小误差率超过传统的非参数多元回归在各种各样的设置,包括预测计数的情况下,远远大于样本量和许多预测有重要的影响,可能通过复杂的相互作用的响应。我们提出了一个贝叶斯实现的添加剂交互回归使用添加剂高斯过程(AGP)之前,并开发了一个有效的马尔可夫链采样器,扩展随机搜索变量选择在这种设置。仔细的先验和超参数规范的性能和计算的考虑,开发和关键的创新解决困难,探索联合后验分布在多个子集的高维预测包含向量。该方法提供了最先进的支持和交互恢复,同时在不同的模拟和真实数据集上的预测准确性方面大大优于竞争对手。真实数据研究的结果提供了强有力的证据,加性交互框架是一个有吸引力的建模平台,高维非参数回归。
2014-11-25 stat.CO stat.ME
Tensor-variate Gaussian process regression for efficient emulation of complex systems: comparing regressor and covariance structures in outer product and parallel partial emulators
本文系统发展张量变量高斯过程回归,统一外积与并行偏仿真器,并通过案例比较二者在矩阵输出下的协方差依赖结构与性能。
2025-02-14 stat.CO stat.ME
Temporal Gaussian Process Regression in Logarithmic Time
Aalto University(阿尔托大学)
针对时间高斯过程(GP)回归问题,提出了一种新的并行化方法。该方法允许在对数O(log N)时间内解决GP回归问题,其中N是时间步长的数量。我们的方法使用的状态空间表示的GP,在其原始形式允许线性O(N)时间GP回归利用卡尔曼滤波和平滑方法。通过使用最近提出的贝叶斯滤波器和平滑器的并行化方法,我们能够降低时间GP回归问题的线性计算复杂性为对数跨度复杂性。这确保了当在诸如图形处理单元(GPU)的并行硬件上运行时的对数时间复杂度。我们通过我们的开源实现利用GPflow框架在模拟和真实数据集上实验性地展示了计算的好处。
2021-05-17 cs.LG stat.CO stat.ME
On the optimization of hyperparameters in Gaussian process regression with the help of low-order high-dimensional model representation
在数据稀疏的情况下,利用常用的极大似然估计(MLE)准则对高斯过程回归核的超参数进行优化,往往会导致过拟合。我们表明,选择超参数(在这种情况下,核长度参数和正则化参数)的基础上的完整性的标准,在相应的线性回归问题是优于极大似然估计。我们表明,这是方便的使用高维模型表示(HDMR),从而低阶HDMR表示可以提供可靠的参考函数和大的合成测试数据集的基础参数优化所需的,即使原始数据很少。
2022-01-06 cs.NA math.NA stat.ME
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性,它可以通过协方差来控制。一个结果,涉及复合算子在二阶设置,我们表明,各种路径属性,包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下,通过Loève等距。几个协方差驱动的路径不变性的说明,包括对称路径,中心路径,谐波路径,或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
Fuzzy sets in nonparametric Bayes regression
一个简单的贝叶斯方法非参数回归描述使用模糊集和隶属函数。隶属函数被解释为未知回归函数的似然函数,因此借助于参考先验,它们可以被转换为先验密度函数。未知的回归函数被分解成小波和分层贝叶斯方法是用于对所得到的小波系数进行推断。
2008-05-21 math.LO math.ST stat.ME
Gaussian Process Model for Estimating Piecewise Continuous Regression Functions
Florida State University(佛罗里达州立大学)
本文提出了一种估计分段连续回归函数的高斯过程模型。在回归分析的科学和工程应用中,基本的回归函数是分段连续的,因为对于数据的不同区域,数据遵循不同的连续回归模型,区域之间可能不连续。然而,许多传统的GP回归方法不是为分段回归分析设计的。提出了一种新的GP建模方法,用于估计未知的分段连续回归函数。新的GP模型寻求在每个测试位置处的未知回归函数的局部GP估计,使用与测试位置相邻的局部数据。为了适应来自不同区域的局部数据的可能性,局部数据被局部线性边界划分为两侧,并且仅属于与测试位置相同侧的局部数据用于回归估计。当输入区域由光滑边界限定时,这种局部分割效果非常好,因此光滑边界的局部线性近似效果很好。我们估计的局部线性边界与其他超参数的GP模型,使用极大似然方法。它的计算时间与本地GP的时间一样低。使用各种模拟的分段回归函数,所提出的方法优于传统的GP建模方法的数值性能。
2021-04-13 cs.LG stat.ME stat.ML
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展,配备了随机变量选择,也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性,即,如果重要变量的真实子集可以从数据中一致地学习。它在这里示出,变量的一致性确实可以实现与这样的模型,至少当真正的回归函数具有有限的平滑度,以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前,一个结果,可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Robust Gaussian Process Regression with a Bias Model
Florida State University(佛罗里达州立大学);University of Dayton Research Institute(代顿大学研究院);Air Force Research Laboratory(空军研究实验室);Luna Innovations Incorporated(露娜创新公司)
本文提出了一种新的稳健高斯过程(GP)回归方法。大多数现有的方法取代离群倾向高斯似然与非高斯似然诱导的重尾分布,如拉普拉斯分布和学生t分布。然而,使用非高斯似然将导致需要在后验推断中进行计算上昂贵的贝叶斯近似计算。所提出的方法将离群值建模为未知回归函数的噪声和有偏观测,因此,可能性包含偏差项以解释与回归函数的偏差程度。我们需要如何准确地估计偏差与其他超参数的正则化最大似然估计。在有偏估计的条件下,稳健GP回归可以简化为具有预测均值和方差估计的分析形式的标准GP回归问题。因此,所提出的方法是简单的,非常有吸引力的计算。它还为许多测试场景提供了非常稳健和准确的GP估计。对于数值评估,我们进行了全面的模拟研究,以评估所提出的方法与现有的强大的GP方法在不同的离群值比例和不同的噪声水平的各种模拟场景下的比较。该方法适用于从两个测量系统,其中的预测是基于强大的环境参数测量和响应变量利用更复杂的化学传感方法,包含一定比例的离群值的数据。通过计算效率高的GP回归和偏差模型,提高了测量系统的实用性和环境数据的价值。
2020-01-14 cs.LG stat.ME stat.ML
Nonnegativity-Enforced Gaussian Process Regression
University of Iowa(爱荷华大学);Lehigh University(理海大学)
高斯过程(GP)回归是一种灵活的非参数方法来近似复杂的模型。在许多情况下,这些模型对应于具有有界物理性质的过程。标准GP回归通常会导致代理模型对于所有时间或空间点都是无界的,因此可能会出现不可行的值。我们提出了一种方法来执行的物理约束下的概率的GP回归框架。此外,这种新方法减少了所得GP模型的方差。
2020-04-07 cs.LG stat.ML
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Quantum assisted Gaussian process regression
Singapore University of Technology and Design(新加坡科技设计大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
高斯过程(GP)是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人,物理修订信函103,150502(2009)]可以应用于高斯过程回归(GPR),在某些情况下导致计算时间的指数减少。我们表明,即使在某些情况下不理想地适合量子线性系统算法,多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford(牛津大学);Imperial College London(帝国理工学院);University of Twente(特文特大学)
我们严格证明,如果目标函数具有组合结构,则深度高斯过程先验可以优于高斯过程先验。为此,我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明,如果真函数是一个广义的加性函数,然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素,是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield(谢菲尔德大学);Department of Computer Science(计算机科学系);Sheffield, UK(英国谢菲尔德)
本文介绍了一种近似高斯过程回归的方法,将问题表示为随机微分方程,并利用变分推理来近似解。的近似值进行比较,与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明,该方法很容易扩展到非线性动力学和讨论的扩展,该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals
University of Toronto(多伦多大学)
高斯过程(GP)回归模型通常假设残差为高斯分布,并且所有观测的方差相同。然而,与输入相关的噪声(异方差残差)的应用程序经常出现在实践中,因为这样的应用程序中的残差不具有高斯分布。在本文中,我们提出了一个GP回归模型与潜变量,作为一个额外的未观察到的协变量的回归。这个模型(我们称之为GPLC)允许异方差,因为它允许函数相对于这个未观察到的协变量具有变化的偏导数。通过合适的协方差函数,我们的GPLC模型可以处理(a)具有输入依赖方差的高斯残差,或(b)具有输入依赖方差的非高斯残差,或(c)具有恒定方差的高斯残差。我们使用合成数据集将我们的模型与Goldberg,Williams和Bishop(1998)提出的模型进行比较,我们称之为GPLV,它只处理情况(a),以及只能处理情况(c)的标准GP模型。针对这两个模型开发了马尔可夫链蒙特卡罗方法。实验表明,当数据是异方差的,GPLC和GPLV给出更好的结果(较小的均方误差和负对数概率密度)比标准GP回归。此外,当残差为高斯时,我们的GPLC模型通常与GPLV一样好,而当残差为非高斯时,我们的GPLC模型优于GPLV。
2012-12-26 cs.LG stat.ML
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories(桑迪亚国家实验室)
我们开发了一个框架,高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件,但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换,并使用了由边界值问题的特征函数中的谱展开给出的核。因此,它受益于协方差矩阵的降秩属性。我们证明,所得到的框架产生更准确和稳定的解决方案的推理相比,物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Latent Gaussian Process Regression
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们介绍了潜在的高斯过程回归,这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量,用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法,并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech(加州理工学院);University of Southern California(南加州大学)
低秩张量回归是一种从数据中学习高阶相关性的新模型,近年来受到了广泛的关注。同时,高斯过程(GP)是结构学习的机器学习模型。在本文中,我们展示了两者之间有趣的联系,特别是对于多路数据分析。我们表明,低秩张量回归本质上是学习高斯过程中的多线性核,低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式,并推导出等价GP模型的平均情况学习曲线。我们的发现意味着,低秩张量回归,虽然经验上是成功的,是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Using Gaussian process regression for efficient parameter reconstruction
光学散射测量是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此,通过数值模拟再现实验测量结果,得到的结构的几何参数。我们比较贝叶斯优化的性能,不同的局部最小化算法,这个数值优化问题。贝叶斯优化使用高斯过程回归来找到有希望的参数值。我们研究如何预先计算的模拟结果可以用来训练高斯过程,并加快优化。
2019-03-28 physics.comp-ph physics.data-an stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University(奥托-弗里德里希大学)
在构建贝叶斯机器学习模型时,我们可能会面临多个不同的先验分布,因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索,但对于复杂的机器学习问题,开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性,高斯过程是解决这一任务的良好候选者。因此,我们扩展了高斯过程回归的混合模型的思想,以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外,我们考虑使用我们的方法,另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架,利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维,通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Locally Smoothed Gaussian Process Regression
EURECOM(欧洲通信学院)
提出了一种新的加速高斯过程回归(GPR)的框架.特别是,我们考虑在每个数据点的本地化内核,以降低来自其他数据点的贡献,是遥远的,我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验,我们证明了所提出的方法相比,完整的GPR,其他本地化模型,和深高斯过程的竞争力的性能。至关重要的是,这些性能获得了相当大的加速比,由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架,分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差,并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Parametric Gaussian Process Regression for Big Data
Brown University(布朗大学)
这项工作介绍了参数高斯过程(PGP)的概念,这是建立在看似自相矛盾的思想,使高斯过程参数。参数高斯过程,通过构造,被设计为在“大数据”制度中操作,其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断,一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Functional Gaussian processes for regression with linear PDE models
在本文中,我们提出了一个新的统计方法的问题,将实验观察到的数学模型描述的线性偏微分方程(PDE),以改善预测的物理系统的状态。我们增加了线性偏微分方程的功能,占数学模型中的不确定性,并建模为{ \em高斯过程}。这就产生了一个随机偏微分方程,其特征在于高斯功能。我们开发了一个{ \em函数高斯过程回归}方法来确定高斯泛函的后验均值和协方差,从而求解随机偏微分方程,获得我们预测的物理状态的后验分布。我们的方法具有以下特点,区别于其他回归方法。首先,它将数学模型和观测值合并到回归过程中。其次,它可以处理以场变量的线性泛函形式给出的观测值。第三,该方法是非参数的,在这个意义上,它提供了一个系统的方法来最佳地确定高斯函数的先验协方差算子的基础上的观察。第四,它提供了后验分布,量化了我们对物理状态的预测中的不确定性的大小。我们提出的数值结果来说明这些功能的方法,并比较其性能的标准高斯过程回归。
2014-05-29 math.AP math.PR stat.CO
Spatial postprocessing of ensemble forecasts for temperature using nonhomogeneous Gaussian regression
统计后处理技术通常用于提高数值天气预报集合的技能。本文考虑了空间扩展的成熟的非齐次高斯回归(NGR)后处理技术的表面温度和最近的修改,其中当地的气候是包括在回归模型的局部自适应后处理。在比较研究中,采用21小时的COSMO-DE集合预测系统在德国的预测,两种方法建模的空间预测误差相关性被认为是:一个参数高斯随机场模型和合奏copula耦合的方法,利用空间秩相关结构的原始合奏。此外,NGR方法进行了比较,无论是单变量和空间版本的集合贝叶斯模型平均(BMA)后处理技术。
2014-06-30 stat.AP
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离,也称为瓦瑟斯坦距离,作为概率分布的强大差异度量,在统计学和机器学习中受到越来越多的关注。在本文中,我们专注于预测的高斯过程指标的概率分布。为此,我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解,这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测,高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差:所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是,我们表明,对于Matern 1/2协方差函数的参数估计差,只有轻微影响插值的质量。然后,我们进行数值实验,考虑最常见的协方差函数,包括其他Matern和平方指数协方差函数的误设定。对它们来说,参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Robust and Conjugate Gaussian Process Regression
University College London(伦敦大学学院)
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题,提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归(RCGP),在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China(中国科学技术大学管理学院国际金融学院);Department of Statistics and Data Science, College of Science, Southern University of Science and Technology(南方科技大学理学院统计与数据科学系)
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题,本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型,建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
本文提出在高斯过程回归批量主动学习中利用导数信息,并借助预测协方差矩阵选择批次,理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度,建立一个良好的校正模型是非常重要的。基于异方差高斯过程(GP)回归方法,提出了一种新的烯酮模型(${\rm{U}}_{37}^{\rm{K}'}$)。我们的非参数方法不仅处理的变量模式的噪声在SST,但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程(GP)被广泛用于非参数回归的概率建模和推断。然而,它们的计算复杂性与样本量成比例,使得它们对于大数据集不可行。为了加快计算速度,在文献中提出了各种分布式方法。然而,这些方法的理论基础有限。在我们的工作中,我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型,恢复和不确定性量化。作为具体的例子,我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系,以最大限度地提高预测性能。将高斯过程(GP)应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归(GPAR)模型,一个可扩展的多输出GP模型,能够捕获非线性,可能是输入变化,输出之间的依赖关系,在一个简单和易于处理的方式:产品规则是用来分解的联合分布的输出到一组条件,其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明,表现优于现有的GP模型,并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML