Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架，利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维，通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Locally Smoothed Gaussian Process Regression
EURECOM（欧洲通信学院）
提出了一种新的加速高斯过程回归（GPR）的框架.特别是，我们考虑在每个数据点的本地化内核，以降低来自其他数据点的贡献，是遥远的，我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验，我们证明了所提出的方法相比，完整的GPR，其他本地化模型，和深高斯过程的竞争力的性能。至关重要的是，这些性能获得了相当大的加速比，由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University（布朗大学）
这项工作介绍了参数高斯过程（PGP）的概念，这是建立在看似自相矛盾的思想，使高斯过程参数。参数高斯过程，通过构造，被设计为在“大数据”制度中操作，其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断，一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Robust and Conjugate Gaussian Process Regression
University College London（伦敦大学学院）
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题，提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归（RCGP），在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China（中国科学技术大学管理学院国际金融学院）；Department of Statistics and Data Science, College of Science, Southern University of Science and Technology（南方科技大学理学院统计与数据科学系）
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题，本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型，建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本文提出在高斯过程回归批量主动学习中利用导数信息，并借助预测协方差矩阵选择批次，理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Implicit Manifold Gaussian Process Regression
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对高维数据下高斯过程回归效果不佳的问题，提出一种可直接从数据中以全可微方式推断隐式流形结构的高斯过程回归方法，可扩展至数十万数据点，提升高维场景下的预测性能与校准效果。
2024-02-01 cs.LG stat.ML
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute（金奈数学研究所）；Indian Statistical Institute（印度统计研究所）
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法，结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上，为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题，其中添加剂模型工作良好，响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的，我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明，在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法（例如梯度提升树）的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
Projection Pursuit Gaussian Process Regression
Texas A&M University（德克萨斯农工大学）
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下，由于数据点的有限性，存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度，但它们更具限制性，因为它们仅适用于加性函数。在这项工作中，我们考虑一个投影寻踪模型，其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数，并称之为“维数扩展”。我们表明，维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明，该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
深度高斯过程（DGP）是高斯过程的多层灵活扩展，但其训练仍然具有挑战性。稀疏近似简化了训练，但通常需要对大量诱导输入及其跨层位置进行优化。在本文中，我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本，而没有显着的性能下降，我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练，同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis
Preferred Networks（优选网络公司）；Institute of Statistical Mathematics（统计数学研究所）；National Institute of Informatics（国立信息学研究所）
本文从理论上研究了高斯过程回归的随机下采样问题。虽然子采样丢弃了很大一部分训练数据，但我们证明了预测均值/方差的准确性及其泛化能力。为了分析，我们考虑将核矩阵嵌入到图子中，它封装了样本量的差异，使我们能够以统一的方式评估近似和泛化误差。实验结果表明，子采样近似实现了更好的权衡精度和运行时间比Nyström和随机傅立叶展开方法。
2019-01-28 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Deep Gaussian Processes for Regression using Approximate Expectation Propagation
University of Cambridge（剑桥大学）；Universidad Autónoma de Madrid（马德里自治大学）；Harvard University（哈佛大学）
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是非参数概率模型，因此可以说更灵活，具有更大的概括能力，并提供比其他深度模型更好的校准不确定性估计。本文提出了一种新的近似贝叶斯学习方案，使DGP首次被应用到一系列中到大规模的回归问题。新方法使用近似的期望传播过程和一种新的和有效的扩展的概率反向传播算法的学习。我们评估的非线性回归的新方法在11个现实世界的数据集，表明它总是优于GP回归，几乎总是优于国家的最先进的确定性和基于采样的近似推理方法贝叶斯神经网络。作为一个副产品，这项工作提供了一个全面的分析六个近似贝叶斯方法训练神经网络。
2016-02-12 cs.LG stat.ML
Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood
Yuta Shikuri（独立研究者）
针对仅能获取汇总数据（含代表性特征、统计量和计数）的场景，本研究提出基于样本拟似然的高斯过程回归方法，分析近似误差并验证其在空间建模中的有效性。
2025-08-24 cs.LG stat.ML
Manifold Gaussian Processes for Regression
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
现成的高斯过程（GP）协方差函数对要建模的函数的结构上的平滑性假设进行编码。为了对复杂和不可微的函数建模，这些平滑性假设通常限制太多。缓解这种限制的一种方法是通过引入特征空间来找到数据的不同表示。这个特征空间通常是以无监督的方式学习的，这可能会导致数据表示对整个回归任务没有用处。在本文中，我们提出了流形高斯过程，这是一种新的监督方法，它联合学习数据到特征空间的变换和从特征空间到观察空间的GP回归。Manifold GP是一个完整的GP，允许学习数据表示，这对整个回归任务很有用。作为一个概念验证，我们评估了我们的方法在复杂的非光滑功能，标准的GP表现不佳，如步骤功能和机器人任务的接触。
2016-04-11 cs.LG stat.ML
Quantum assisted Gaussian process regression
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
高斯过程（GP）是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人，物理修订信函103，150502（2009）]可以应用于高斯过程回归（GPR），在某些情况下导致计算时间的指数减少。我们表明，即使在某些情况下不理想地适合量子线性系统算法，多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Splitting Gaussian Process Regression for Streaming Data
University of Washington（华盛顿大学）
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质，并已被证明在实际中是有用的，但它们在观测数量上的缩放性很差。特别地，更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法，用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性，现有的方法，其顺序的性质允许应用到流数据。该算法构造了一个模型，其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知，该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Real-Time Regression with Dividing Local Gaussian Processes
Technical University of Munich（慕尼黑工业大学）；Tecnológico de Costa Rica（哥斯达黎加理工学院）；FRANKA EMIKA GmbH（弗兰卡埃米卡有限公司）；Peking University（北京大学）
对在线预测的需求增加以及大型数据集的可用性不断增长，推动了对计算效率高的模型的需求。虽然精确高斯过程回归显示出各种有利的理论性质（不确定性估计、无限的表达能力），但相对于训练集大小的差的缩放限制了其在大数据制度中的实时的【形】应用。因此，本文提出了划分局部高斯过程，这是一种新的，计算效率高的建模方法的基础上高斯过程回归。由于输入空间的迭代、数据驱动的划分，它们在实践中实现了训练点总数的次线性计算复杂性，同时提供了出色的预测分布。对真实数据集的数值评估表明，它们在准确性以及预测和更新速度方面优于其他最先进的方法。
2021-07-30 cs.LG cs.RO stat.ML
Obstacle-aware Gaussian Process Regression
University of Maryland（马里兰大学）
针对导航避障需求，提出带负数据对的高斯过程方法GP-ND，通过高斯分布建模负数据对并最大化与GP的KL散度联合优化，性能优于传统GP且不影响可扩展性、收敛更快。
2024-12-09 cs.LG math.PR stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们严格证明，如果目标函数具有组合结构，则深度高斯过程先验可以优于高斯过程先验。为此，我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明，如果真函数是一个广义的加性函数，然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素，是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Gaussian Process Model for Estimating Piecewise Continuous Regression Functions
Florida State University（佛罗里达州立大学）
本文提出了一种估计分段连续回归函数的高斯过程模型。在回归分析的科学和工程应用中，基本的回归函数是分段连续的，因为对于数据的不同区域，数据遵循不同的连续回归模型，区域之间可能不连续。然而，许多传统的GP回归方法不是为分段回归分析设计的。提出了一种新的GP建模方法，用于估计未知的分段连续回归函数。新的GP模型寻求在每个测试位置处的未知回归函数的局部GP估计，使用与测试位置相邻的局部数据。为了适应来自不同区域的局部数据的可能性，局部数据被局部线性边界划分为两侧，并且仅属于与测试位置相同侧的局部数据用于回归估计。当输入区域由光滑边界限定时，这种局部分割效果非常好，因此光滑边界的局部线性近似效果很好。我们估计的局部线性边界与其他超参数的GP模型，使用极大似然方法。它的计算时间与本地GP的时间一样低。使用各种模拟的分段回归函数，所提出的方法优于传统的GP建模方法的数值性能。
2021-04-13 cs.LG stat.ME stat.ML
An Intuitive Tutorial to Gaussian Process Regression
University of Waterloo（滑铁卢大学）
本教程面向机器学习初学者等广泛受众，讲解高斯过程回归的基础概念、算法实现及相关工具包，帮助读者直观掌握其核心原理与不确定性量化等特性。
2024-01-28 cs.LG cs.RO stat.ML
Noise Estimation in Gaussian Process Regression
University of California, Berkeley（加州大学伯克利分校）
提出了一种计算方法来估计带加性噪声的半参数高斯过程回归模型的协方差超参数。即，所提出的方法可以用来有效地估计相关误差的方差，和基于最大化的边缘似然函数的噪声的方差。我们的方法包括适当地降低超参数空间的维数，以简化估计过程，一个单变量的根查找问题。此外，我们还得到了边际似然函数及其导数的界和渐近线，这对于缩小超参数搜索的初始范围是有用的。使用数值例子，我们证明了所提出的方法相比，传统的参数优化的计算优势和鲁棒性。
2022-06-20 cs.LG math.OC stat.ML
A Framework for Evaluating Approximation Methods for Gaussian Process Regression
University of Edinburgh（爱丁堡大学）；California Institute of Technology（加州理工学院）
高斯过程（GP）预测器是机器学习的许多贝叶斯方法的重要组成部分。然而，即使是高斯过程回归（GPR）的直接实现，对于n个样本的数据集也需要O（n^2）空间和O（n^3）时间。已经提出了几种近似方法，但缺乏对不同近似的相对优点的理解，以及在什么情况下它们最有用。我们建议评估作为计算时间的函数获得的预测的质量，并与标准基线进行比较（例如，数据和FITC的子集）。我们实证研究四种不同的近似算法对四个不同的预测问题，并使我们的代码，以鼓励未来的比较。
2012-11-05 cs.LG stat.CO stat.ML
Spatiotemporal Prediction of Ambulance Demand using Gaussian Process Regression
InformedActions；University College London（伦敦大学学院）
准确预测救护车呼叫发生的时间和地点可以缩短响应时间，并确保患者更快地获得紧急护理。在这里，我们提出了一种新的方法，救护车需求预测使用高斯过程回归（GPR）在时间和地理空间。该方法具有优越的准确度MEDIC，已在工业中使用的方法。GPR的使用具有额外的好处，例如量化每个预测的不确定性，选择核函数来编码先验知识以及捕获空间相关性的能力。措施，以提高效用的探地雷达在目前的情况下，大型训练集和泊松分布的输出，概述。
2018-06-28 cs.LG stat.AP stat.ML
Robust Gaussian Process Regression with a Bias Model
Florida State University（佛罗里达州立大学）；University of Dayton Research Institute（代顿大学研究院）；Air Force Research Laboratory（空军研究实验室）；Luna Innovations Incorporated（露娜创新公司）
本文提出了一种新的稳健高斯过程（GP）回归方法。大多数现有的方法取代离群倾向高斯似然与非高斯似然诱导的重尾分布，如拉普拉斯分布和学生t分布。然而，使用非高斯似然将导致需要在后验推断中进行计算上昂贵的贝叶斯近似计算。所提出的方法将离群值建模为未知回归函数的噪声和有偏观测，因此，可能性包含偏差项以解释与回归函数的偏差程度。我们需要如何准确地估计偏差与其他超参数的正则化最大似然估计。在有偏估计的条件下，稳健GP回归可以简化为具有预测均值和方差估计的分析形式的标准GP回归问题。因此，所提出的方法是简单的，非常有吸引力的计算。它还为许多测试场景提供了非常稳健和准确的GP估计。对于数值评估，我们进行了全面的模拟研究，以评估所提出的方法与现有的强大的GP方法在不同的离群值比例和不同的噪声水平的各种模拟场景下的比较。该方法适用于从两个测量系统，其中的预测是基于强大的环境参数测量和响应变量利用更复杂的化学传感方法，包含一定比例的离群值的数据。通过计算效率高的GP回归和偏差模型，提高了测量系统的实用性和环境数据的价值。
2020-01-14 cs.LG stat.ME stat.ML
Learning Feature Nonlinearities with Non-Convex Regularized Binned Regression
The Voleon Group；University of California, Riverside（加州大学河滨分校）
对于各种应用，因变量和自变量之间的关系是高度非线性的。因此，对于大规模的复杂问题，神经网络和回归树通常优于线性模型，如Lasso。这项工作提出了学习特征的非线性分箱特征值，并找到最适合在每个分位数使用非凸正则线性回归。该算法首先捕获相邻分位数之间的依赖性，通过分段常数/线性近似强制平滑，然后选择一个稀疏子集的好功能。我们证明了该算法是统计和计算效率。特别是，它实现了线性收敛速度，同时需要接近最小数量的样本。对合成数据集和真实数据集的评估表明，该算法与当前最先进的算法相比具有竞争力，并且能够准确地学习特征非线性。最后，我们探讨了一个有趣的连接之间的分仓阶段，我们的算法和稀疏约翰逊-林登施特劳斯矩阵。
2017-05-20 cs.IT cs.LG math.IT
Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto（多伦多大学）；TTI-Chicago（芝加哥丰田技术研究所）；Adobe Research（Adobe研究院）
我们提出了一个有效的优化算法，选择一个子集的训练数据，以诱导稀疏高斯过程回归。该算法使用单个目标（边际似然或变分自由能）来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系，可应用于离散或连续域上的大型回归问题。实证评估表明，国家的最先进的性能在离散的情况下，在连续的情况下，竞争的结果。
2013-11-11 cs.LG
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系，以最大限度地提高预测性能。将高斯过程（GP）应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归（GPAR）模型，一个可扩展的多输出GP模型，能够捕获非线性，可能是输入变化，输出之间的依赖关系，在一个简单和易于处理的方式：产品规则是用来分解的联合分布的输出到一组条件，其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明，表现优于现有的GP模型，并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分，这在核的长度尺度小时导致差的性能。在本文中，我们介绍了多分辨率核近似（MKA），第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的，并且它是一种直接方法，这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程（GP）回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差（异方差）和输入相关的信号方差（非平稳性），通过设置独立的GP先验的噪声和信号方差。我们使用期望传播（EP）的推理和比较结果，马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明，EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge（剑桥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Oxford（牛津大学）；University of Exeter（埃克塞特大学）
提出高斯过程潜在因子回归（GPLFR）模型，通过将输出表示为低维潜在状态的线性高斯解码，联合优化压缩与预测，解决低数据高维输出回归问题，并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Prediction performance after learning in Gaussian process regression
本文研究了高斯过程回归预测性能的量化问题。标准方法是将预测误差条基于理论预测方差，这是均方误差（MSE）的下限。然而，这种方法没有考虑到统计模型是从数据中学习的。我们表明，这种遗漏导致系统低估的预测误差。从推广的克拉美-拉奥界出发，我们得到了一个更精确的MSE界，它为高斯过程的预测提供了一个不确定性度量。改进的界限很容易计算，我们用合成和真实数据的例子来说明它。的不确定性预测的高斯过程，并说明它使用合成和真实数据的例子。
2017-03-15 stat.ML
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories（桑迪亚国家实验室）
高斯过程回归是一种流行的贝叶斯框架，用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分，许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息，以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束，包括积极性或边界约束，单调性和凸性约束，微分方程约束提供的线性偏微分方程，边界条件约束。我们比较了每种方法背后的策略以及实施中的差异，最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
Learning curves for Gaussian process regression with power-law priors and targets
UCLA（加州大学洛杉矶分校）；MPI MiS（马克斯·普朗克数学科学研究所）
在先验知识的本征谱和目标函数的本征展开系数服从幂律的假设下，刻画了高斯过程回归（GPR）学习曲线的幂律渐近性.在类似的假设下，我们利用GPR和核岭回归（KRR）之间的等价性来显示KRR的泛化误差。在神经网络GP核和神经切线核方面，无限宽神经网络可以与GPR相关，已知其在若干情况下具有幂律谱。因此，我们的方法可用于研究无限宽神经网络的泛化误差。我们提出玩具实验来证明这个理论。
2021-11-27 cs.LG
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Gaussian process regression as a predictive model for Quality-of-Service in Web service systems
Wrocław University of Technology（弗罗茨瓦夫理工大学）；Opole University of Technology（奥波莱理工大学）
在本文中，我们提出了高斯过程回归作为Web服务系统中的服务质量（QoS）属性的预测模型。目标是在给定现有执行系统、服务储存库和输入的情况下预测表示为QoS属性的执行系统的性能，请求流。为了评估高斯过程回归的性能，开发了仿真环境。使用两个质量指标，即平均绝对误差和均方误差。实验中获得的结果表明，高斯过程与线性核相比表现最好，并且与分类和回归树（CART）方法相比在统计上显著更好。
2013-05-08 cs.LG cs.NI
Local Gaussian Regression
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
局部加权回归是作为一种非参数学习方法创建的，它具有计算效率，可以从非常大量的数据中学习并增量地添加数据。局部加权回归的一个有趣的特性是它可以处理空间变化的长度尺度，这是一个有益的特性，例如在控制问题中。然而，它不提供用于函数值的生成模型，并且需要相同地、独立地生成训练数据和测试数据。另一方面，高斯（过程）回归提供了一种完全生成的模型，对训练数据的分布没有显著的形式要求，但具有高得多的计算成本，并且通常在每个输入维度上使用一个全局尺度。使用本地化函数的基础和近似推理技术，我们采取高斯（过程）回归越来越本地化的属性和相同的计算复杂性类的本地加权回归。
2014-02-04 cs.LG cs.RO
Non-Gaussian Gaussian Processes for Few-Shot Regression
Jagiellonian University（雅盖隆大学）；University of Cambridge（剑桥大学）；Warsaw University of Technology（华沙理工大学）；Tooploox
高斯过程（GP）已广泛用于机器学习中，以对函数上的分布进行建模，其应用包括多模态回归、时间序列预测和少样本学习。GP在最后一个应用中特别有用，因为它们依赖于正态分布，并且能够对后验概率函数进行封闭式计算。不幸的是，由于所得的后验不足以捕捉复杂的分布，GP假设后续任务之间具有高度相似性-这一要求在现实条件下很少得到满足。在这项工作中，我们解决了这一限制，利用规范化流的灵活性来调节GP的后验预测分布。这使得GP后验局部非高斯，因此我们将我们的方法命名为非高斯高斯过程（NGGPs）。更确切地说，我们提出了一个可逆的基于ODE的映射，该映射对随机变量向量的每个分量进行操作，并在所有分量上共享参数。我们在各种少样本学习回归数据集上实证测试了NGGP的灵活性，表明映射可以结合上下文嵌入信息来为周期函数建模不同的噪声水平。因此，我们的方法在后续任务之间共享问题的结构，但上下文化允许适应不同之处。NGGP在一组多样化的基准和应用程序上优于竞争对手的最先进的方法。
2021-10-26 cs.LG
Quantum Gaussian Process Regression for Bayesian Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)（弗劳恩霍夫制造工程与自动化研究所（IPA））
提出基于参数化量子电路量子核的高斯过程回归方法，保留方差信息，作为贝叶斯优化代理模型，在真实数据集超参数优化中性能媲美经典方法。
2023-04-25 cs.LG quant-ph
Asynchronous Distributed Variational Gaussian Processes for Regression
高斯过程（GP）是功能强大的非参数函数估计。然而，它们的应用在很大程度上受到昂贵的计算成本的推理过程。现有的随机或分布式同步变分推断，虽然已经缓解了这个问题，通过扩大全球定位系统的数百万个样本，仍然远远不能满足现实世界的大型应用程序，其中的数据大小往往是更大的数量级，比如说，数十亿。为了解决这个问题，我们提出了ADVGP，第一个异步分布式变分高斯过程回归推理，在最近的大规模机器学习平台，参数服务器。ADVGP采用一种新颖、灵活的变分框架，基于权值空间扩展，实现了高效、异步的近似梯度优化。在保持相当或更好的预测性能的同时，ADVGP大大提高了现有变分方法的效率。借助ADVGP，我们可以轻松地将GP回归扩展到具有数十亿样本的实际应用中，并展示出比流行的线性模型更出色的预测精度。
2017-06-12 stat.ML
TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression
Wrocław University of Science and Technology（沃拉夫大学科学与技术学院）
TreeFlow结合树集成与归一化流，实现对回归输出复杂分布的建模，取得多模态数据集上的SOTA结果。
2023-07-26 cs.LG
Variational Outlier-Robust Gaussian Process Regression with Generative Modeling
Zunitech, LLC（祖尼特科技有限责任公司）；Institute of Data Science, University of Engineering and Technology, Lahore, Pakistan（拉合尔工程技术大学数据科学学院）
针对离群值扭曲高斯过程回归的问题，提出带生成建模的变分离群值鲁棒高斯过程回归方法，经实验验证其预测精度优于多数基线且计算复杂度为立方级。
2026-08-18 cs.LG
On the Relationship between Online Gaussian Process Regression and Kernel Least Mean Squares Algorithms
University of Cantabria（坎塔布里亚大学）；CIBER-BBN（西班牙生物医学、生物工程和纳米医学研究中心联盟）；University of Zaragoza（萨拉戈萨大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究了在线高斯过程（GP）回归与核最小均方（KLMS）算法之间的关系。虽然后者在在线学习过程中没有存储整个后验分布的能力，但我们发现它们的操作对应于遵循简单参数模型的固定后验协方差的假设。有趣的是，几个著名的KLMS算法对应于该模型的特定情况。概率的观点使我们能够理解他们中的每一个人如何处理不确定性，这可以解释他们的一些表现差异。
2016-09-11 cs.IT cs.LG math.IT
Gaussian Process Regression Networks
我们引入了一个新的回归框架，高斯过程回归网络（GPRN），它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序，这个模型。我们应用GPRN作为多输出回归和多变量波动模型，在基准数据集（包括1000维基因表达数据集）上，与8个流行的多输出（多任务）高斯过程模型和3个多变量波动模型相比，表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离，也称为瓦瑟斯坦距离，作为概率分布的强大差异度量，在统计学和机器学习中受到越来越多的关注。在本文中，我们专注于预测的高斯过程指标的概率分布。为此，我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解，这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测，高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Gaussian Process Quantile Regression using Expectation Propagation
Aston University（阿斯顿大学）
直接分位数回归涉及估计响应变量的给定分位数作为输入变量的函数。我们提出了一个新的直接分位数回归的框架，其中一个高斯过程模型的学习，最小化预期的倾斜损失函数。在学习中所需的集成是不容易分析的，所以为了加快学习，我们采用期望传播算法。我们描述了这项工作如何与其他分位数回归方法，并适用于合成和真实数据集的方法。该方法被证明是有竞争力的最先进的方法，同时允许充分利用高斯过程概率框架。
2012-06-27 cs.LG stat.AP stat.ME
