Inverse Gaussian Process regression for likelihood-free inference
在这项工作中，我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归（IGPR），即，在该方法中，我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例，我们证明了IGPR与一些常用算法相比具有竞争力的性能，特别是在统计稳定性和计算效率方面，而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Temporal Gaussian Process Regression in Logarithmic Time
Aalto University（阿尔托大学）
针对时间高斯过程（GP）回归问题，提出了一种新的并行化方法。该方法允许在对数O（log N）时间内解决GP回归问题，其中N是时间步长的数量。我们的方法使用的状态空间表示的GP，在其原始形式允许线性O（N）时间GP回归利用卡尔曼滤波和平滑方法。通过使用最近提出的贝叶斯滤波器和平滑器的并行化方法，我们能够降低时间GP回归问题的线性计算复杂性为对数跨度复杂性。这确保了当在诸如图形处理单元（GPU）的并行硬件上运行时的对数时间复杂度。我们通过我们的开源实现利用GPflow框架在模拟和真实数据集上实验性地展示了计算的好处。
2021-05-17 cs.LG stat.CO stat.ME
Computationally efficient multi-level Gaussian process regression for functional data observed under completely or partially regular sampling designs
University of Copenhagen（哥本哈根大学）
本文提出了一种计算高效的多级高斯过程回归方法，用于处理完全或部分规则采样设计下的函数数据，通过解析表达式显著提升计算效率。
2024-08-07 stat.CO stat.ME
Potentially Predictive Variance Reducing Subsample Locations in Local Gaussian Process Regression
高斯过程模型通常用作计算机实验的仿真器。然而，开发一个高斯过程仿真器可以是计算上禁止时，实验样本的数量甚至适度大。局部高斯过程近似（Gramacy and Apley，2015）被提出作为一种精确且计算上可行的仿真替代方案。然而，构建特定于特定感兴趣位置处的预测的局部子设计仍然是该技术的实质性计算瓶颈。本文提出了两种计算效率高的邻域搜索限制技术，最大距离法和特征近似法。两个例子表明，所提出的方法确实节省了大量的计算，同时保持仿真精度。
2016-11-26 stat.CO stat.ME
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Functional Gaussian processes for regression with linear PDE models
在本文中，我们提出了一个新的统计方法的问题，将实验观察到的数学模型描述的线性偏微分方程（PDE），以改善预测的物理系统的状态。我们增加了线性偏微分方程的功能，占数学模型中的不确定性，并建模为{ \em高斯过程}。这就产生了一个随机偏微分方程，其特征在于高斯功能。我们开发了一个{ \em函数高斯过程回归}方法来确定高斯泛函的后验均值和协方差，从而求解随机偏微分方程，获得我们预测的物理状态的后验分布。我们的方法具有以下特点，区别于其他回归方法。首先，它将数学模型和观测值合并到回归过程中。其次，它可以处理以场变量的线性泛函形式给出的观测值。第三，该方法是非参数的，在这个意义上，它提供了一个系统的方法来最佳地确定高斯函数的先验协方差算子的基础上的观察。第四，它提供了后验分布，量化了我们对物理状态的预测中的不确定性的大小。我们提出的数值结果来说明这些功能的方法，并比较其性能的标准高斯过程回归。
2014-05-29 math.AP math.PR stat.CO
Gaussian Process Differential Ensembles for Joint Inference on Curves, Derivatives, and Integrals
University of Copenhagen（哥本哈根大学）；Section of Biostatistics, Department of Public Health, University of Copenhagen（哥本哈根大学公共卫生学院生物统计系）
提出锚定高斯过程微分集成方法，通过联合建模曲线、导数与积分，解决函数数据分析中多层级状态的推断问题，并引入TARTARE校准过程提高导数后验精度。
2026-06-23 math.DS stat.CO stat.ME
Gaussian Process Regression Networks
我们引入了一个新的回归框架，高斯过程回归网络（GPRN），它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序，这个模型。我们应用GPRN作为多输出回归和多变量波动模型，在基准数据集（包括1000维基因表达数据集）上，与8个流行的多输出（多任务）高斯过程模型和3个多变量波动模型相比，表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
Nonnegativity-Enforced Gaussian Process Regression
University of Iowa（爱荷华大学）；Lehigh University（理海大学）
高斯过程（GP）回归是一种灵活的非参数方法来近似复杂的模型。在许多情况下，这些模型对应于具有有界物理性质的过程。标准GP回归通常会导致代理模型对于所有时间或空间点都是无界的，因此可能会出现不可行的值。我们提出了一种方法来执行的物理约束下的概率的GP回归框架。此外，这种新方法减少了所得GP模型的方差。
2020-04-07 cs.LG stat.ML
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Scaling Gaussian Processes with Derivative Information Using Variational Inference
Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
具有导数信息的高斯过程在导数信息可用的许多设置中是有用的，包括自然科学中出现的许多贝叶斯优化和回归任务。然而，当在$D$输入维度中的$N$点上进行训练时，对导数观测值进行分类伴随着主要的$O(N^3D^3)$计算成本。即使是中等规模的问题，这也是棘手的。虽然最近的工作已经解决了低$D$设置中的这种棘手性，但是高$N$、高$D$设置仍然是未探索的并且具有很大的价值，特别是当机器学习问题日益变得高维时.在本文中，我们介绍的方法来实现完全可扩展的高斯过程回归的衍生工具，使用变分推理。类似于使用诱导值来稀疏化训练集的标签，我们引入诱导方向导数的概念来稀疏化训练集的偏导数信息。这使我们能够构建一个变分后，采用衍生信息，但其大小既不依赖于完整的数据集大小$N$，也不全维度$D$。我们展示了我们的方法在各种任务上的完全可扩展性，从高维仿星器融合回归任务到使用贝叶斯优化在Pubmed上训练图卷积神经网络。令人惊讶的是，我们发现，即使在只有标签数据的情况下，我们的方法也可以提高回归性能。
2021-07-08 cs.AI cs.LG stat.ML
Quantum assisted Gaussian process regression
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
高斯过程（GP）是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人，物理修订信函103，150502（2009）]可以应用于高斯过程回归（GPR），在某些情况下导致计算时间的指数减少。我们表明，即使在某些情况下不理想地适合量子线性系统算法，多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Frequentist coverage and sup-norm convergence rate in Gaussian process regression
高斯过程（GP）回归是一种强大的插值技术，因为它在捕获非线性方面具有灵活性。在本文中，我们提供了一个一般的框架，了解点式和同时贝叶斯可信集GP回归的频率覆盖。作为中间结果，我们在随机设计GP回归中得到了上确界范数下的Bernstein von-Mises型结果。将高斯过程的后验分布的均值协方差函数确定为正则化的$M$ -估计，证明了后验均值函数的抽样分布和中心后验分布可以分别用两个总体水平的GP来近似.通过建立两个GP之间的比较不等式，给出了回归函数的贝叶斯逐点可信区间和同时可信带的频率覆盖概率的精确刻画.我们的研究结果表明，基于GP回归的推断往往是保守的，当先验是欠平滑的，由此产生的可信区间和波段具有最小最大最优的大小，其频率覆盖收敛到一个非退化值之间的标称水平和一个。作为我们理论的一个副产品，我们证明了GP回归也产生了相对于上确界范数的最小最大最优后验收缩率，这为GP回归中的最优上确界范数收缩率的长期存在的问题提供了积极的证据。
2017-08-16 math.ST stat.CO stat.ML
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们严格证明，如果目标函数具有组合结构，则深度高斯过程先验可以优于高斯过程先验。为此，我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明，如果真函数是一个广义的加性函数，然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素，是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield（谢菲尔德大学）；Department of Computer Science（计算机科学系）；Sheffield, UK（英国谢菲尔德）
本文介绍了一种近似高斯过程回归的方法，将问题表示为随机微分方程，并利用变分推理来近似解。的近似值进行比较，与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明，该方法很容易扩展到非线性动力学和讨论的扩展，该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals
University of Toronto（多伦多大学）
高斯过程（GP）回归模型通常假设残差为高斯分布，并且所有观测的方差相同。然而，与输入相关的噪声（异方差残差）的应用程序经常出现在实践中，因为这样的应用程序中的残差不具有高斯分布。在本文中，我们提出了一个GP回归模型与潜变量，作为一个额外的未观察到的协变量的回归。这个模型（我们称之为GPLC）允许异方差，因为它允许函数相对于这个未观察到的协变量具有变化的偏导数。通过合适的协方差函数，我们的GPLC模型可以处理（a）具有输入依赖方差的高斯残差，或（b）具有输入依赖方差的非高斯残差，或（c）具有恒定方差的高斯残差。我们使用合成数据集将我们的模型与Goldberg，Williams和Bishop（1998）提出的模型进行比较，我们称之为GPLV，它只处理情况（a），以及只能处理情况（c）的标准GP模型。针对这两个模型开发了马尔可夫链蒙特卡罗方法。实验表明，当数据是异方差的，GPLC和GPLV给出更好的结果（较小的均方误差和负对数概率密度）比标准GP回归。此外，当残差为高斯时，我们的GPLC模型通常与GPLV一样好，而当残差为非高斯时，我们的GPLC模型优于GPLV。
2012-12-26 cs.LG stat.ML
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories（桑迪亚国家实验室）
我们开发了一个框架，高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件，但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换，并使用了由边界值问题的特征函数中的谱展开给出的核。因此，它受益于协方差矩阵的降秩属性。我们证明，所得到的框架产生更准确和稳定的解决方案的推理相比，物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Splitting Gaussian Process Regression for Streaming Data
University of Washington（华盛顿大学）
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质，并已被证明在实际中是有用的，但它们在观测数量上的缩放性很差。特别地，更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法，用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性，现有的方法，其顺序的性质允许应用到流数据。该算法构造了一个模型，其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知，该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech（加州理工学院）；University of Southern California（南加州大学）
低秩张量回归是一种从数据中学习高阶相关性的新模型，近年来受到了广泛的关注。同时，高斯过程（GP）是结构学习的机器学习模型。在本文中，我们展示了两者之间有趣的联系，特别是对于多路数据分析。我们表明，低秩张量回归本质上是学习高斯过程中的多线性核，低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式，并推导出等价GP模型的平均情况学习曲线。我们的发现意味着，低秩张量回归，虽然经验上是成功的，是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集，经常使用析因实验设计。在这种情况下，数据集的大小可能非常大。因此，最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似，也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
Generalized Gaussian Process Regression Model for Non-Gaussian Functional Data
本文提出了一个广义高斯过程并发回归模型，其中函数响应变量为二项分布、Poisson分布或其它非高斯分布，协变量为混合函数和标量变量。该模型为多维协变量函数数据提供了一种非参数广义并发回归方法，并为重复观测函数数据的均值结构和协方差结构同时建模提供了一个自然的框架.均值结构提供有关观测的总体信息，而协方差结构可用于捕捉每个单独批次的特征。协方差核的先验规范使我们能够适应广泛的非线性模型。讨论了该模型的定义、推导和实现，以及它的渐近性质。几个不同的非高斯响应变量的数值例子。一些技术细节和更多的数值例子，以及模型的扩展作为补充材料。
2014-01-31 stat.ME
Using Gaussian process regression for efficient parameter reconstruction
光学散射测量是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此，通过数值模拟再现实验测量结果，得到的结构的几何参数。我们比较贝叶斯优化的性能，不同的局部最小化算法，这个数值优化问题。贝叶斯优化使用高斯过程回归来找到有希望的参数值。我们研究如何预先计算的模拟结果可以用来训练高斯过程，并加快优化。
2019-03-28 physics.comp-ph physics.data-an stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架，利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维，通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性，它可以通过协方差来控制。一个结果，涉及复合算子在二阶设置，我们表明，各种路径属性，包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下，通过Loève等距。几个协方差驱动的路径不变性的说明，包括对称路径，中心路径，谐波路径，或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程，并给出了有效的后验计算算法。从理论上讲，软阈值高斯过程提供了大量的空间变化的系数，享受分段平滑，稀疏性和连续性，表征成像数据的重要特征的先验支持。此外，在一些温和的正则条件下，软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归，即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明，与现有的替代品的数值比较，并施加到脑电图（EEG）研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
Locally Smoothed Gaussian Process Regression
EURECOM（欧洲通信学院）
提出了一种新的加速高斯过程回归（GPR）的框架.特别是，我们考虑在每个数据点的本地化内核，以降低来自其他数据点的贡献，是遥远的，我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验，我们证明了所提出的方法相比，完整的GPR，其他本地化模型，和深高斯过程的竞争力的性能。至关重要的是，这些性能获得了相当大的加速比，由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架，分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差，并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法，其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看，所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式，并指定条件的先验，这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Parametric Gaussian Process Regression for Big Data
Brown University（布朗大学）
这项工作介绍了参数高斯过程（PGP）的概念，这是建立在看似自相矛盾的思想，使高斯过程参数。参数高斯过程，通过构造，被设计为在“大数据”制度中操作，其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断，一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Spatial postprocessing of ensemble forecasts for temperature using nonhomogeneous Gaussian regression
统计后处理技术通常用于提高数值天气预报集合的技能。本文考虑了空间扩展的成熟的非齐次高斯回归（NGR）后处理技术的表面温度和最近的修改，其中当地的气候是包括在回归模型的局部自适应后处理。在比较研究中，采用21小时的COSMO-DE集合预测系统在德国的预测，两种方法建模的空间预测误差相关性被认为是：一个参数高斯随机场模型和合奏copula耦合的方法，利用空间秩相关结构的原始合奏。此外，NGR方法进行了比较，无论是单变量和空间版本的集合贝叶斯模型平均（BMA）后处理技术。
2014-06-30 stat.AP
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离，也称为瓦瑟斯坦距离，作为概率分布的强大差异度量，在统计学和机器学习中受到越来越多的关注。在本文中，我们专注于预测的高斯过程指标的概率分布。为此，我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解，这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测，高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差：所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是，我们表明，对于Matern 1/2协方差函数的参数估计差，只有轻微影响插值的质量。然后，我们进行数值实验，考虑最常见的协方差函数，包括其他Matern和平方指数协方差函数的误设定。对它们来说，参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Robust and Conjugate Gaussian Process Regression
University College London（伦敦大学学院）
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题，提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归（RCGP），在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China（中国科学技术大学管理学院国际金融学院）；Department of Statistics and Data Science, College of Science, Southern University of Science and Technology（南方科技大学理学院统计与数据科学系）
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题，本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型，建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度，建立一个良好的校正模型是非常重要的。基于异方差高斯过程（GP）回归方法，提出了一种新的烯酮模型（${\rm{U}}_{37}^{\rm{K}'}$）。我们的非参数方法不仅处理的变量模式的噪声在SST，但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Active learning for enumerating local minima based on Gaussian process derivatives
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）；National Institute for Materials Science（物质材料研究机构）
我们研究主动学习（AL）的基础上高斯过程（GP）的有效枚举所有的局部最小解的黑盒函数。这个问题是具有挑战性的，因为局部解的特征在于它们的零梯度和正定Hessian性质，但这些导数不能直接观察到。我们提出了一种新的AL方法，在该方法中，输入点被顺序选择，从而有效地更新GP导数的置信区间，以枚举局部最小解。我们从理论上分析了所提出的方法，并通过数值实验证明了其有效性。
2019-03-08 cs.LG stat.ML
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程（GP）被广泛用于非参数回归的概率建模和推断。然而，它们的计算复杂性与样本量成比例，使得它们对于大数据集不可行。为了加快计算速度，在文献中提出了各种分布式方法。然而，这些方法的理论基础有限。在我们的工作中，我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型，恢复和不确定性量化。作为具体的例子，我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系，以最大限度地提高预测性能。将高斯过程（GP）应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归（GPAR）模型，一个可扩展的多输出GP模型，能够捕获非线性，可能是输入变化，输出之间的依赖关系，在一个简单和易于处理的方式：产品规则是用来分解的联合分布的输出到一组条件，其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明，表现优于现有的GP模型，并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Bayesian Monotone Regression using Gaussian Process Projection
形状约束回归分析在剂量-反应模型、环境风险评估、疾病筛查等领域有着广泛的应用。简化形状约束可以提高估计效率并避免不可信的结果。我们提出了两种新的方法，侧重于贝叶斯单调曲线和曲面估计使用高斯过程投影。第一个项目的样本从一个无约束的前，而第二个项目的样本从高斯过程后。理论发展的连续性的投影，后验一致性和收缩率。第二种方法被证明有一个经验贝叶斯理由，并导致在有限的样本具有良好的性能简单的计算。我们的投影方法可以应用于其他约束函数估计问题，包括在多变量设置。
2013-06-17 stat.ME
Supremum Norm Posterior Contraction and Credible Sets for Nonparametric Multivariate Regression
在误差方差未知的非参数多元回归中，研究了估计回归函数f及其混合偏导数的贝叶斯方法的渐近性质.我们使用一个随机系列的张量积的B-样条与正规基系数作为先验的f，和误差方差估计使用经验贝叶斯方法或被赋予一个合适的先验的分层贝叶斯方法。我们建立了f及其混合偏导数的点态、L2和上确界范数后验压缩率，并证明了它们与极大极小压缩率相一致。我们的结果甚至覆盖了各向异性的情况，其中真正的回归函数在不同方向上可能具有不同的光滑度。利用收敛界，我们证明了f及其混合偏导数的点态、L2和上确界范数可信集具有最优的频率覆盖。同时，在B样条的张量积方面也得到了一些新的结果。
2015-09-24 math.ST stat.TH
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分，这在核的长度尺度小时导致差的性能。在本文中，我们介绍了多分辨率核近似（MKA），第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的，并且它是一种直接方法，这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程（GP）回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差（异方差）和输入相关的信号方差（非平稳性），通过设置独立的GP先验的噪声和信号方差。我们使用期望传播（EP）的推理和比较结果，马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明，EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge（剑桥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Oxford（牛津大学）；University of Exeter（埃克塞特大学）
提出高斯过程潜在因子回归（GPLFR）模型，通过将输出表示为低维潜在状态的线性高斯解码，联合优化压缩与预测，解决低数据高维输出回归问题，并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型，提出基于变分贝叶斯的超参数选择理论保证，通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界，并在多种高斯过程先验中实现最优收缩率，同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Implicit Manifold Gaussian Process Regression
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对高维数据下高斯过程回归效果不佳的问题，提出一种可直接从数据中以全可微方式推断隐式流形结构的高斯过程回归方法，可扩展至数十万数据点，提升高维场景下的预测性能与校准效果。
2024-02-01 cs.LG stat.ML
Prediction performance after learning in Gaussian process regression
本文研究了高斯过程回归预测性能的量化问题。标准方法是将预测误差条基于理论预测方差，这是均方误差（MSE）的下限。然而，这种方法没有考虑到统计模型是从数据中学习的。我们表明，这种遗漏导致系统低估的预测误差。从推广的克拉美-拉奥界出发，我们得到了一个更精确的MSE界，它为高斯过程的预测提供了一个不确定性度量。改进的界限很容易计算，我们用合成和真实数据的例子来说明它。的不确定性预测的高斯过程，并说明它使用合成和真实数据的例子。
2017-03-15 stat.ML
