Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech（加州理工学院）；University of Southern California（南加州大学）
低秩张量回归是一种从数据中学习高阶相关性的新模型，近年来受到了广泛的关注。同时，高斯过程（GP）是结构学习的机器学习模型。在本文中，我们展示了两者之间有趣的联系，特别是对于多路数据分析。我们表明，低秩张量回归本质上是学习高斯过程中的多线性核，低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式，并推导出等价GP模型的平均情况学习曲线。我们的发现意味着，低秩张量回归，虽然经验上是成功的，是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Locally Smoothed Gaussian Process Regression
EURECOM（欧洲通信学院）
提出了一种新的加速高斯过程回归（GPR）的框架.特别是，我们考虑在每个数据点的本地化内核，以降低来自其他数据点的贡献，是遥远的，我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验，我们证明了所提出的方法相比，完整的GPR，其他本地化模型，和深高斯过程的竞争力的性能。至关重要的是，这些性能获得了相当大的加速比，由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University（布朗大学）
这项工作介绍了参数高斯过程（PGP）的概念，这是建立在看似自相矛盾的思想，使高斯过程参数。参数高斯过程，通过构造，被设计为在“大数据”制度中操作，其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断，一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Robust and Conjugate Gaussian Process Regression
University College London（伦敦大学学院）
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题，提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归（RCGP），在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本文提出在高斯过程回归批量主动学习中利用导数信息，并借助预测协方差矩阵选择批次，理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Active Learning for Manifold Gaussian Process Regression
Dept. of Applied Mathematics（应用数学系）；Illinois Institute of Technology（伊利诺伊理工学院）；Dept. of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Dept. of Mathematics（数学系）；University of California Riverside（加州大学河滨分校）
本文提出一种结合manifold学习和策略性数据选择的主动学习框架，用于高维空间中的高斯过程回归。通过联合优化神经网络和高斯过程回归器，提升预测准确性，实验显示优于随机顺序学习。
2025-06-26 cs.LG stat.ML
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute（金奈数学研究所）；Indian Statistical Institute（印度统计研究所）
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法，结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上，为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题，其中添加剂模型工作良好，响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的，我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明，在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法（例如梯度提升树）的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
Projection Pursuit Gaussian Process Regression
Texas A&M University（德克萨斯农工大学）
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下，由于数据点的有限性，存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度，但它们更具限制性，因为它们仅适用于加性函数。在这项工作中，我们考虑一个投影寻踪模型，其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数，并称之为“维数扩展”。我们表明，维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明，该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Gaussian Process Regression for Binned Data
University of Sheffield（谢菲尔德大学）
许多数据集都是以分箱数据表的形式出现的。对这些数据执行回归通常涉及读取箱高度，忽略来自相邻箱的数据或在箱之间进行插值，从而高估或低估真实箱积分。在本文中，我们提出了一个优雅的方法进行高斯过程（GP）回归给定这样的装箱数据，允许一个潜在的功能，产生的装箱数据的概率预测。我们看几个应用程序。第一，用于差分私有回归;第二，对其他积分进行预测;第三，当输入区域是不规则形状的多面体集合时。总之，我们的方法提供了一种分析分箱数据的有效方法，这样人们就可以使用直方图表示中的更多信息，从而重建更有用和更精确的密度来进行预测。
2019-05-20 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
深度高斯过程（DGP）是高斯过程的多层灵活扩展，但其训练仍然具有挑战性。稀疏近似简化了训练，但通常需要对大量诱导输入及其跨层位置进行优化。在本文中，我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本，而没有显着的性能下降，我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练，同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis
Preferred Networks（优选网络公司）；Institute of Statistical Mathematics（统计数学研究所）；National Institute of Informatics（国立信息学研究所）
本文从理论上研究了高斯过程回归的随机下采样问题。虽然子采样丢弃了很大一部分训练数据，但我们证明了预测均值/方差的准确性及其泛化能力。为了分析，我们考虑将核矩阵嵌入到图子中，它封装了样本量的差异，使我们能够以统一的方式评估近似和泛化误差。实验结果表明，子采样近似实现了更好的权衡精度和运行时间比Nyström和随机傅立叶展开方法。
2019-01-28 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Quantum assisted Gaussian process regression
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
高斯过程（GP）是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人，物理修订信函103，150502（2009）]可以应用于高斯过程回归（GPR），在某些情况下导致计算时间的指数减少。我们表明，即使在某些情况下不理想地适合量子线性系统算法，多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Splitting Gaussian Process Regression for Streaming Data
University of Washington（华盛顿大学）
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质，并已被证明在实际中是有用的，但它们在观测数量上的缩放性很差。特别地，更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法，用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性，现有的方法，其顺序的性质允许应用到流数据。该算法构造了一个模型，其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知，该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们严格证明，如果目标函数具有组合结构，则深度高斯过程先验可以优于高斯过程先验。为此，我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明，如果真函数是一个广义的加性函数，然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素，是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Real-Time Regression with Dividing Local Gaussian Processes
Technical University of Munich（慕尼黑工业大学）；Tecnológico de Costa Rica（哥斯达黎加理工学院）；FRANKA EMIKA GmbH（弗兰卡埃米卡有限公司）；Peking University（北京大学）
对在线预测的需求增加以及大型数据集的可用性不断增长，推动了对计算效率高的模型的需求。虽然精确高斯过程回归显示出各种有利的理论性质（不确定性估计、无限的表达能力），但相对于训练集大小的差的缩放限制了其在大数据制度中的实时的【形】应用。因此，本文提出了划分局部高斯过程，这是一种新的，计算效率高的建模方法的基础上高斯过程回归。由于输入空间的迭代、数据驱动的划分，它们在实践中实现了训练点总数的次线性计算复杂性，同时提供了出色的预测分布。对真实数据集的数值评估表明，它们在准确性以及预测和更新速度方面优于其他最先进的方法。
2021-07-30 cs.LG cs.RO stat.ML
Obstacle-aware Gaussian Process Regression
University of Maryland（马里兰大学）
针对导航避障需求，提出带负数据对的高斯过程方法GP-ND，通过高斯分布建模负数据对并最大化与GP的KL散度联合优化，性能优于传统GP且不影响可扩展性、收敛更快。
2024-12-09 cs.LG math.PR stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Gaussian Process Model for Estimating Piecewise Continuous Regression Functions
Florida State University（佛罗里达州立大学）
本文提出了一种估计分段连续回归函数的高斯过程模型。在回归分析的科学和工程应用中，基本的回归函数是分段连续的，因为对于数据的不同区域，数据遵循不同的连续回归模型，区域之间可能不连续。然而，许多传统的GP回归方法不是为分段回归分析设计的。提出了一种新的GP建模方法，用于估计未知的分段连续回归函数。新的GP模型寻求在每个测试位置处的未知回归函数的局部GP估计，使用与测试位置相邻的局部数据。为了适应来自不同区域的局部数据的可能性，局部数据被局部线性边界划分为两侧，并且仅属于与测试位置相同侧的局部数据用于回归估计。当输入区域由光滑边界限定时，这种局部分割效果非常好，因此光滑边界的局部线性近似效果很好。我们估计的局部线性边界与其他超参数的GP模型，使用极大似然方法。它的计算时间与本地GP的时间一样低。使用各种模拟的分段回归函数，所提出的方法优于传统的GP建模方法的数值性能。
2021-04-13 cs.LG stat.ME stat.ML
An Intuitive Tutorial to Gaussian Process Regression
University of Waterloo（滑铁卢大学）
本教程面向机器学习初学者等广泛受众，讲解高斯过程回归的基础概念、算法实现及相关工具包，帮助读者直观掌握其核心原理与不确定性量化等特性。
2024-01-28 cs.LG cs.RO stat.ML
Variational Autoencoded Regression: High Dimensional Regression of Visual Data on Complex Manifold
Seoul National University（首尔国立大学）；Imperial College London（帝国理工学院）
本文将高斯过程回归方法融入到变分自编码器框架中，提出了一种新的高维回归方法。与其他回归方法相比，所提出的方法侧重于输出响应位于复杂高维流形（如图像）上的情况。我们的贡献总结如下：（i）提出了一种新的回归方法估计高维图像响应，这是不处理现有的回归算法，。(ii)所提出的回归方法引入了一种策略来学习潜在空间以及编码器和解码器，使得潜在空间中的回归响应的结果与数据空间中的相应响应一致。(iii)该方法被嵌入到生成模型中，整个过程由变分自编码器框架开发。我们证明了我们的方法的鲁棒性和有效性，通过各种视觉数据回归问题的实验。
2019-08-12 cs.CV cs.LG
Noise Estimation in Gaussian Process Regression
University of California, Berkeley（加州大学伯克利分校）
提出了一种计算方法来估计带加性噪声的半参数高斯过程回归模型的协方差超参数。即，所提出的方法可以用来有效地估计相关误差的方差，和基于最大化的边缘似然函数的噪声的方差。我们的方法包括适当地降低超参数空间的维数，以简化估计过程，一个单变量的根查找问题。此外，我们还得到了边际似然函数及其导数的界和渐近线，这对于缩小超参数搜索的初始范围是有用的。使用数值例子，我们证明了所提出的方法相比，传统的参数优化的计算优势和鲁棒性。
2022-06-20 cs.LG math.OC stat.ML
Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto（多伦多大学）；TTI-Chicago（芝加哥丰田技术研究所）；Adobe Research（Adobe研究院）
我们提出了一个有效的优化算法，选择一个子集的训练数据，以诱导稀疏高斯过程回归。该算法使用单个目标（边际似然或变分自由能）来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系，可应用于离散或连续域上的大型回归问题。实证评估表明，国家的最先进的性能在离散的情况下，在连续的情况下，竞争的结果。
2013-11-11 cs.LG
A Framework for Evaluating Approximation Methods for Gaussian Process Regression
University of Edinburgh（爱丁堡大学）；California Institute of Technology（加州理工学院）
高斯过程（GP）预测器是机器学习的许多贝叶斯方法的重要组成部分。然而，即使是高斯过程回归（GPR）的直接实现，对于n个样本的数据集也需要O（n^2）空间和O（n^3）时间。已经提出了几种近似方法，但缺乏对不同近似的相对优点的理解，以及在什么情况下它们最有用。我们建议评估作为计算时间的函数获得的预测的质量，并与标准基线进行比较（例如，数据和FITC的子集）。我们实证研究四种不同的近似算法对四个不同的预测问题，并使我们的代码，以鼓励未来的比较。
2012-11-05 cs.LG stat.CO stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系，以最大限度地提高预测性能。将高斯过程（GP）应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归（GPAR）模型，一个可扩展的多输出GP模型，能够捕获非线性，可能是输入变化，输出之间的依赖关系，在一个简单和易于处理的方式：产品规则是用来分解的联合分布的输出到一组条件，其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明，表现优于现有的GP模型，并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分，这在核的长度尺度小时导致差的性能。在本文中，我们介绍了多分辨率核近似（MKA），第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的，并且它是一种直接方法，这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Gaussian process regression as a predictive model for Quality-of-Service in Web service systems
Wrocław University of Technology（弗罗茨瓦夫理工大学）；Opole University of Technology（奥波莱理工大学）
在本文中，我们提出了高斯过程回归作为Web服务系统中的服务质量（QoS）属性的预测模型。目标是在给定现有执行系统、服务储存库和输入的情况下预测表示为QoS属性的执行系统的性能，请求流。为了评估高斯过程回归的性能，开发了仿真环境。使用两个质量指标，即平均绝对误差和均方误差。实验中获得的结果表明，高斯过程与线性核相比表现最好，并且与分类和回归树（CART）方法相比在统计上显著更好。
2013-05-08 cs.LG cs.NI
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程（GP）回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差（异方差）和输入相关的信号方差（非平稳性），通过设置独立的GP先验的噪声和信号方差。我们使用期望传播（EP）的推理和比较结果，马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明，EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge（剑桥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Oxford（牛津大学）；University of Exeter（埃克塞特大学）
提出高斯过程潜在因子回归（GPLFR）模型，通过将输出表示为低维潜在状态的线性高斯解码，联合优化压缩与预测，解决低数据高维输出回归问题，并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Prediction performance after learning in Gaussian process regression
本文研究了高斯过程回归预测性能的量化问题。标准方法是将预测误差条基于理论预测方差，这是均方误差（MSE）的下限。然而，这种方法没有考虑到统计模型是从数据中学习的。我们表明，这种遗漏导致系统低估的预测误差。从推广的克拉美-拉奥界出发，我们得到了一个更精确的MSE界，它为高斯过程的预测提供了一个不确定性度量。改进的界限很容易计算，我们用合成和真实数据的例子来说明它。的不确定性预测的高斯过程，并说明它使用合成和真实数据的例子。
2017-03-15 stat.ML
Local Gaussian Regression
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
局部加权回归是作为一种非参数学习方法创建的，它具有计算效率，可以从非常大量的数据中学习并增量地添加数据。局部加权回归的一个有趣的特性是它可以处理空间变化的长度尺度，这是一个有益的特性，例如在控制问题中。然而，它不提供用于函数值的生成模型，并且需要相同地、独立地生成训练数据和测试数据。另一方面，高斯（过程）回归提供了一种完全生成的模型，对训练数据的分布没有显著的形式要求，但具有高得多的计算成本，并且通常在每个输入维度上使用一个全局尺度。使用本地化函数的基础和近似推理技术，我们采取高斯（过程）回归越来越本地化的属性和相同的计算复杂性类的本地加权回归。
2014-02-04 cs.LG cs.RO
Gaussian Process Regression Networks
我们引入了一个新的回归框架，高斯过程回归网络（GPRN），它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序，这个模型。我们应用GPRN作为多输出回归和多变量波动模型，在基准数据集（包括1000维基因表达数据集）上，与8个流行的多输出（多任务）高斯过程模型和3个多变量波动模型相比，表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories（桑迪亚国家实验室）
高斯过程回归是一种流行的贝叶斯框架，用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分，许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息，以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束，包括积极性或边界约束，单调性和凸性约束，微分方程约束提供的线性偏微分方程，边界条件约束。我们比较了每种方法背后的策略以及实施中的差异，最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
Learning curves for Gaussian process regression with power-law priors and targets
UCLA（加州大学洛杉矶分校）；MPI MiS（马克斯·普朗克数学科学研究所）
在先验知识的本征谱和目标函数的本征展开系数服从幂律的假设下，刻画了高斯过程回归（GPR）学习曲线的幂律渐近性.在类似的假设下，我们利用GPR和核岭回归（KRR）之间的等价性来显示KRR的泛化误差。在神经网络GP核和神经切线核方面，无限宽神经网络可以与GPR相关，已知其在若干情况下具有幂律谱。因此，我们的方法可用于研究无限宽神经网络的泛化误差。我们提出玩具实验来证明这个理论。
2021-11-27 cs.LG
Quantum Gaussian Process Regression for Bayesian Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)（弗劳恩霍夫制造工程与自动化研究所（IPA））
提出基于参数化量子电路量子核的高斯过程回归方法，保留方差信息，作为贝叶斯优化代理模型，在真实数据集超参数优化中性能媲美经典方法。
2023-04-25 cs.LG quant-ph
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中，我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界，可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的，也可以获得最佳的收敛速度。作为副产品，我们也得到了收敛速度的核岭回归与错误指定的核函数，其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的，这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Gaussian Process Quantile Regression using Expectation Propagation
Aston University（阿斯顿大学）
直接分位数回归涉及估计响应变量的给定分位数作为输入变量的函数。我们提出了一个新的直接分位数回归的框架，其中一个高斯过程模型的学习，最小化预期的倾斜损失函数。在学习中所需的集成是不容易分析的，所以为了加快学习，我们采用期望传播算法。我们描述了这项工作如何与其他分位数回归方法，并适用于合成和真实数据集的方法。该方法被证明是有竞争力的最先进的方法，同时允许充分利用高斯过程概率框架。
2012-06-27 cs.LG stat.AP stat.ME
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离，也称为瓦瑟斯坦距离，作为概率分布的强大差异度量，在统计学和机器学习中受到越来越多的关注。在本文中，我们专注于预测的高斯过程指标的概率分布。为此，我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解，这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测，高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Data-aided Sensing for Gaussian Process Regression in IoT Systems
Deakin University（迪肯大学）
在本文中，有效的数据汇集与有限的带宽，数据辅助传感应用高斯过程回归，用于学习从物联网系统中的传感器收集的数据集。我们专注于插值的传感器的测量从少量的测量上传的一小部分传感器使用高斯过程回归与数据辅助传感。由于主动传感器的选择，它表明，高斯过程回归与数据辅助传感可以提供一个很好的估计一个完整的数据集相比，随机选择。与多通道ALOHA，数据辅助传感广义分布式选择上传时，传感器可以有反馈的预测，他们的测量，使每个传感器可以决定是否上传比较其测量与预测的。数值结果表明，修改后的多通道ALOHA预测，可以帮助提高性能的高斯过程回归与数据辅助感测相比，传统的多通道ALOHA等上传概率。
2020-11-23 cs.IT cs.LG math.IT
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度，建立一个良好的校正模型是非常重要的。基于异方差高斯过程（GP）回归方法，提出了一种新的烯酮模型（${\rm{U}}_{37}^{\rm{K}'}$）。我们的非参数方法不仅处理的变量模式的噪声在SST，但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
Using Gaussian process regression for efficient parameter reconstruction
光学散射测量是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此，通过数值模拟再现实验测量结果，得到的结构的几何参数。我们比较贝叶斯优化的性能，不同的局部最小化算法，这个数值优化问题。贝叶斯优化使用高斯过程回归来找到有希望的参数值。我们研究如何预先计算的模拟结果可以用来训练高斯过程，并加快优化。
2019-03-28 physics.comp-ph physics.data-an stat.ML
Wrapped Gaussian Process Functional Regression Model for Batch Data on Riemannian Manifolds
本文针对黎曼流形上的批量函数型数据，提出一种同时估计均值与协方差结构的包裹高斯过程并发回归模型，以刻画流形值响应与欧氏协变量间的非线性关系，并在模拟与真实数据上验证了其有效性。
2024-09-05 stat.ME
Yield Optimization using Hybrid Gaussian Process Regression and a Genetic Multi-Objective Approach
Technische Universität Darmstadt（达姆施塔特工业大学）
量化和最小化不确定性是电磁设备设计中的重要任务，这伴随着高计算量。我们提出了一种混合的方法结合的可靠性和准确性的蒙特卡罗分析的效率的代理模型的基础上高斯过程回归。我们提出了两种优化方法。一个自适应牛顿MC，以减少不确定性的影响和遗传多目标的方法，以优化性能和鲁棒性在同一时间。对于介质波导，作为一个基准问题，所提出的方法优于经典的方法。
2020-10-08 cs.CE cs.LG
Temporal Gaussian Process Regression in Logarithmic Time
Aalto University（阿尔托大学）
针对时间高斯过程（GP）回归问题，提出了一种新的并行化方法。该方法允许在对数O（log N）时间内解决GP回归问题，其中N是时间步长的数量。我们的方法使用的状态空间表示的GP，在其原始形式允许线性O（N）时间GP回归利用卡尔曼滤波和平滑方法。通过使用最近提出的贝叶斯滤波器和平滑器的并行化方法，我们能够降低时间GP回归问题的线性计算复杂性为对数跨度复杂性。这确保了当在诸如图形处理单元（GPU）的并行硬件上运行时的对数时间复杂度。我们通过我们的开源实现利用GPflow框架在模拟和真实数据集上实验性地展示了计算的好处。
2021-05-17 cs.LG stat.CO stat.ME
