How Good are Low-Rank Approximations in Gaussian Process Regression?
我们提供保证近似高斯过程（GP）回归产生两个常见的低秩内核近似：基于随机傅立叶特征，并基于截断内核的Mercer扩展。特别地，我们将精确GP与从上述低秩近似到其内核之一产生的GP之间以及它们对应的预测密度之间的库尔贝克-莱布勒散度绑定，并且我们还将使用精确GP与使用近似GP计算的预测平均向量之间以及预测协方差阵之间的误差绑定。我们提供模拟数据和标准基准测试的实验，以评估我们的理论界限的有效性。
2022-02-21 cs.LG math.ST stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型，提出基于变分贝叶斯的超参数选择理论保证，通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界，并在多种高斯过程先验中实现最优收缩率，同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield（谢菲尔德大学）；Department of Computer Science（计算机科学系）；Sheffield, UK（英国谢菲尔德）
本文介绍了一种近似高斯过程回归的方法，将问题表示为随机微分方程，并利用变分推理来近似解。的近似值进行比较，与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明，该方法很容易扩展到非线性动力学和讨论的扩展，该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals
University of Toronto（多伦多大学）
高斯过程（GP）回归模型通常假设残差为高斯分布，并且所有观测的方差相同。然而，与输入相关的噪声（异方差残差）的应用程序经常出现在实践中，因为这样的应用程序中的残差不具有高斯分布。在本文中，我们提出了一个GP回归模型与潜变量，作为一个额外的未观察到的协变量的回归。这个模型（我们称之为GPLC）允许异方差，因为它允许函数相对于这个未观察到的协变量具有变化的偏导数。通过合适的协方差函数，我们的GPLC模型可以处理（a）具有输入依赖方差的高斯残差，或（b）具有输入依赖方差的非高斯残差，或（c）具有恒定方差的高斯残差。我们使用合成数据集将我们的模型与Goldberg，Williams和Bishop（1998）提出的模型进行比较，我们称之为GPLV，它只处理情况（a），以及只能处理情况（c）的标准GP模型。针对这两个模型开发了马尔可夫链蒙特卡罗方法。实验表明，当数据是异方差的，GPLC和GPLV给出更好的结果（较小的均方误差和负对数概率密度）比标准GP回归。此外，当残差为高斯时，我们的GPLC模型通常与GPLV一样好，而当残差为非高斯时，我们的GPLC模型优于GPLV。
2012-12-26 cs.LG stat.ML
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories（桑迪亚国家实验室）
我们开发了一个框架，高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件，但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换，并使用了由边界值问题的特征函数中的谱展开给出的核。因此，它受益于协方差矩阵的降秩属性。我们证明，所得到的框架产生更准确和稳定的解决方案的推理相比，物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Quantum assisted Gaussian process regression
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
高斯过程（GP）是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人，物理修订信函103，150502（2009）]可以应用于高斯过程回归（GPR），在某些情况下导致计算时间的指数减少。我们表明，即使在某些情况下不理想地适合量子线性系统算法，多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性，它可以通过协方差来控制。一个结果，涉及复合算子在二阶设置，我们表明，各种路径属性，包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下，通过Loève等距。几个协方差驱动的路径不变性的说明，包括对称路径，中心路径，谐波路径，或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架，分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差，并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
Tensor Regression Meets Gaussian Processes
Caltech（加州理工学院）；University of Southern California（南加州大学）
低秩张量回归是一种从数据中学习高阶相关性的新模型，近年来受到了广泛的关注。同时，高斯过程（GP）是结构学习的机器学习模型。在本文中，我们展示了两者之间有趣的联系，特别是对于多路数据分析。我们表明，低秩张量回归本质上是学习高斯过程中的多线性核，低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式，并推导出等价GP模型的平均情况学习曲线。我们的发现意味着，低秩张量回归，虽然经验上是成功的，是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架，利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维，通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Splitting Gaussian Process Regression for Streaming Data
University of Washington（华盛顿大学）
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质，并已被证明在实际中是有用的，但它们在观测数量上的缩放性很差。特别地，更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法，用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性，现有的方法，其顺序的性质允许应用到流数据。该算法构造了一个模型，其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知，该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Gaussian Process Quantile Regression using Expectation Propagation
Aston University（阿斯顿大学）
直接分位数回归涉及估计响应变量的给定分位数作为输入变量的函数。我们提出了一个新的直接分位数回归的框架，其中一个高斯过程模型的学习，最小化预期的倾斜损失函数。在学习中所需的集成是不容易分析的，所以为了加快学习，我们采用期望传播算法。我们描述了这项工作如何与其他分位数回归方法，并适用于合成和真实数据集的方法。该方法被证明是有竞争力的最先进的方法，同时允许充分利用高斯过程概率框架。
2012-06-27 cs.LG stat.AP stat.ME
Locally Smoothed Gaussian Process Regression
EURECOM（欧洲通信学院）
提出了一种新的加速高斯过程回归（GPR）的框架.特别是，我们考虑在每个数据点的本地化内核，以降低来自其他数据点的贡献，是遥远的，我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验，我们证明了所提出的方法相比，完整的GPR，其他本地化模型，和深高斯过程的竞争力的性能。至关重要的是，这些性能获得了相当大的加速比，由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Frequentist coverage and sup-norm convergence rate in Gaussian process regression
高斯过程（GP）回归是一种强大的插值技术，因为它在捕获非线性方面具有灵活性。在本文中，我们提供了一个一般的框架，了解点式和同时贝叶斯可信集GP回归的频率覆盖。作为中间结果，我们在随机设计GP回归中得到了上确界范数下的Bernstein von-Mises型结果。将高斯过程的后验分布的均值协方差函数确定为正则化的$M$ -估计，证明了后验均值函数的抽样分布和中心后验分布可以分别用两个总体水平的GP来近似.通过建立两个GP之间的比较不等式，给出了回归函数的贝叶斯逐点可信区间和同时可信带的频率覆盖概率的精确刻画.我们的研究结果表明，基于GP回归的推断往往是保守的，当先验是欠平滑的，由此产生的可信区间和波段具有最小最大最优的大小，其频率覆盖收敛到一个非退化值之间的标称水平和一个。作为我们理论的一个副产品，我们证明了GP回归也产生了相对于上确界范数的最小最大最优后验收缩率，这为GP回归中的最优上确界范数收缩率的长期存在的问题提供了积极的证据。
2017-08-16 math.ST stat.CO stat.ML
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法，其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看，所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式，并指定条件的先验，这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Spatiotemporal Prediction of Ambulance Demand using Gaussian Process Regression
InformedActions；University College London（伦敦大学学院）
准确预测救护车呼叫发生的时间和地点可以缩短响应时间，并确保患者更快地获得紧急护理。在这里，我们提出了一种新的方法，救护车需求预测使用高斯过程回归（GPR）在时间和地理空间。该方法具有优越的准确度MEDIC，已在工业中使用的方法。GPR的使用具有额外的好处，例如量化每个预测的不确定性，选择核函数来编码先验知识以及捕获空间相关性的能力。措施，以提高效用的探地雷达在目前的情况下，大型训练集和泊松分布的输出，概述。
2018-06-28 cs.LG stat.AP stat.ML
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集，经常使用析因实验设计。在这种情况下，数据集的大小可能非常大。因此，最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似，也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
Parametric Gaussian Process Regression for Big Data
Brown University（布朗大学）
这项工作介绍了参数高斯过程（PGP）的概念，这是建立在看似自相矛盾的思想，使高斯过程参数。参数高斯过程，通过构造，被设计为在“大数据”制度中操作，其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断，一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程，建立了逐点可信集频率学派覆盖率的理论保证，并精确刻画其渐近行为，揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程，并给出了有效的后验计算算法。从理论上讲，软阈值高斯过程提供了大量的空间变化的系数，享受分段平滑，稀疏性和连续性，表征成像数据的重要特征的先验支持。此外，在一些温和的正则条件下，软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归，即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明，与现有的替代品的数值比较，并施加到脑电图（EEG）研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差：所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是，我们表明，对于Matern 1/2协方差函数的参数估计差，只有轻微影响插值的质量。然后，我们进行数值实验，考虑最常见的协方差函数，包括其他Matern和平方指数协方差函数的误设定。对它们来说，参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Robust and Conjugate Gaussian Process Regression
University College London（伦敦大学学院）
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题，提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归（RCGP），在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China（中国科学技术大学管理学院国际金融学院）；Department of Statistics and Data Science, College of Science, Southern University of Science and Technology（南方科技大学理学院统计与数据科学系）
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题，本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型，建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本文提出在高斯过程回归批量主动学习中利用导数信息，并借助预测协方差矩阵选择批次，理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度，建立一个良好的校正模型是非常重要的。基于异方差高斯过程（GP）回归方法，提出了一种新的烯酮模型（${\rm{U}}_{37}^{\rm{K}'}$）。我们的非参数方法不仅处理的变量模式的噪声在SST，但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程（GP）被广泛用于非参数回归的概率建模和推断。然而，它们的计算复杂性与样本量成比例，使得它们对于大数据集不可行。为了加快计算速度，在文献中提出了各种分布式方法。然而，这些方法的理论基础有限。在我们的工作中，我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型，恢复和不确定性量化。作为具体的例子，我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
Gaussian Process Regression Networks
我们引入了一个新的回归框架，高斯过程回归网络（GPRN），它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序，这个模型。我们应用GPRN作为多输出回归和多变量波动模型，在基准数据集（包括1000维基因表达数据集）上，与8个流行的多输出（多任务）高斯过程模型和3个多变量波动模型相比，表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Implicit Manifold Gaussian Process Regression
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对高维数据下高斯过程回归效果不佳的问题，提出一种可直接从数据中以全可微方式推断隐式流形结构的高斯过程回归方法，可扩展至数十万数据点，提升高维场景下的预测性能与校准效果。
2024-02-01 cs.LG stat.ML
Gaussian process regression as a predictive model for Quality-of-Service in Web service systems
Wrocław University of Technology（弗罗茨瓦夫理工大学）；Opole University of Technology（奥波莱理工大学）
在本文中，我们提出了高斯过程回归作为Web服务系统中的服务质量（QoS）属性的预测模型。目标是在给定现有执行系统、服务储存库和输入的情况下预测表示为QoS属性的执行系统的性能，请求流。为了评估高斯过程回归的性能，开发了仿真环境。使用两个质量指标，即平均绝对误差和均方误差。实验中获得的结果表明，高斯过程与线性核相比表现最好，并且与分类和回归树（CART）方法相比在统计上显著更好。
2013-05-08 cs.LG cs.NI
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute（金奈数学研究所）；Indian Statistical Institute（印度统计研究所）
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法，结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上，为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题，其中添加剂模型工作良好，响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的，我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明，在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法（例如梯度提升树）的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
Projection Pursuit Gaussian Process Regression
Texas A&M University（德克萨斯农工大学）
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下，由于数据点的有限性，存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度，但它们更具限制性，因为它们仅适用于加性函数。在这项工作中，我们考虑一个投影寻踪模型，其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数，并称之为“维数扩展”。我们表明，维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明，该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
Gaussian Process Regression for Binned Data
University of Sheffield（谢菲尔德大学）
许多数据集都是以分箱数据表的形式出现的。对这些数据执行回归通常涉及读取箱高度，忽略来自相邻箱的数据或在箱之间进行插值，从而高估或低估真实箱积分。在本文中，我们提出了一个优雅的方法进行高斯过程（GP）回归给定这样的装箱数据，允许一个潜在的功能，产生的装箱数据的概率预测。我们看几个应用程序。第一，用于差分私有回归;第二，对其他积分进行预测;第三，当输入区域是不规则形状的多面体集合时。总之，我们的方法提供了一种分析分箱数据的有效方法，这样人们就可以使用直方图表示中的更多信息，从而重建更有用和更精确的密度来进行预测。
2019-05-20 cs.LG stat.ML
Local Gaussian Regression
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
局部加权回归是作为一种非参数学习方法创建的，它具有计算效率，可以从非常大量的数据中学习并增量地添加数据。局部加权回归的一个有趣的特性是它可以处理空间变化的长度尺度，这是一个有益的特性，例如在控制问题中。然而，它不提供用于函数值的生成模型，并且需要相同地、独立地生成训练数据和测试数据。另一方面，高斯（过程）回归提供了一种完全生成的模型，对训练数据的分布没有显著的形式要求，但具有高得多的计算成本，并且通常在每个输入维度上使用一个全局尺度。使用本地化函数的基础和近似推理技术，我们采取高斯（过程）回归越来越本地化的属性和相同的计算复杂性类的本地加权回归。
2014-02-04 cs.LG cs.RO
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
深度高斯过程（DGP）是高斯过程的多层灵活扩展，但其训练仍然具有挑战性。稀疏近似简化了训练，但通常需要对大量诱导输入及其跨层位置进行优化。在本文中，我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本，而没有显着的性能下降，我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练，同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Quantum Gaussian Process Regression for Bayesian Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)（弗劳恩霍夫制造工程与自动化研究所（IPA））
提出基于参数化量子电路量子核的高斯过程回归方法，保留方差信息，作为贝叶斯优化代理模型，在真实数据集超参数优化中性能媲美经典方法。
2023-04-25 cs.LG quant-ph
Real-Time Regression with Dividing Local Gaussian Processes
Technical University of Munich（慕尼黑工业大学）；Tecnológico de Costa Rica（哥斯达黎加理工学院）；FRANKA EMIKA GmbH（弗兰卡埃米卡有限公司）；Peking University（北京大学）
对在线预测的需求增加以及大型数据集的可用性不断增长，推动了对计算效率高的模型的需求。虽然精确高斯过程回归显示出各种有利的理论性质（不确定性估计、无限的表达能力），但相对于训练集大小的差的缩放限制了其在大数据制度中的实时的【形】应用。因此，本文提出了划分局部高斯过程，这是一种新的，计算效率高的建模方法的基础上高斯过程回归。由于输入空间的迭代、数据驱动的划分，它们在实践中实现了训练点总数的次线性计算复杂性，同时提供了出色的预测分布。对真实数据集的数值评估表明，它们在准确性以及预测和更新速度方面优于其他最先进的方法。
2021-07-30 cs.LG cs.RO stat.ML
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声，并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的，通常称为II型极大似然估计。不幸的是，基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题，我们提出了一个强大的过程模型，在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差，并限制垂直离群值和不良杠杆点对潜在函数估计的影响，同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子，使用数据集的加性误差厚尾分布，如学生t，拉普拉斯，和柯西分布。
2023-01-19 stat.AP stat.ML
On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis
Preferred Networks（优选网络公司）；Institute of Statistical Mathematics（统计数学研究所）；National Institute of Informatics（国立信息学研究所）
本文从理论上研究了高斯过程回归的随机下采样问题。虽然子采样丢弃了很大一部分训练数据，但我们证明了预测均值/方差的准确性及其泛化能力。为了分析，我们考虑将核矩阵嵌入到图子中，它封装了样本量的差异，使我们能够以统一的方式评估近似和泛化误差。实验结果表明，子采样近似实现了更好的权衡精度和运行时间比Nyström和随机傅立叶展开方法。
2019-01-28 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Uncertainty quantification for sparse spectral variational approximations in Gaussian process regression
本文分析以谱特征为诱导变量的稀疏变分高斯过程回归，给出可信集频率学派覆盖保证、局限及达到极小极大后验收缩率所需诱导变量数的充要下界，并用数值实验验证更广泛方法中的类似现象。
2023-09-28 math.ST stat.TH
Obstacle-aware Gaussian Process Regression
University of Maryland（马里兰大学）
针对导航避障需求，提出带负数据对的高斯过程方法GP-ND，通过高斯分布建模负数据对并最大化与GP的KL散度联合优化，性能优于传统GP且不影响可扩展性、收敛更快。
2024-12-09 cs.LG math.PR stat.ML
Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto（多伦多大学）；TTI-Chicago（芝加哥丰田技术研究所）；Adobe Research（Adobe研究院）
我们提出了一个有效的优化算法，选择一个子集的训练数据，以诱导稀疏高斯过程回归。该算法使用单个目标（边际似然或变分自由能）来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系，可应用于离散或连续域上的大型回归问题。实证评估表明，国家的最先进的性能在离散的情况下，在连续的情况下，竞争的结果。
2013-11-11 cs.LG
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
