Parallel Gaussian Process Regression with Low-Rank Covariance Matrix Approximations
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GP)是贝叶斯非参数模型,广泛用于概率回归。不幸的是,它不能很好地扩展大数据,也不能执行实时预测,因为它的立方时间成本的数据大小。本文提出了两种并行GP回归方法,利用低秩的协方差阵的近似分布的并行机之间的计算负载,以实现时间效率和可扩展性。我们从理论上保证我们提出的并行GP的预测性能相当于一些集中式近似GP回归方法:其集中式对应的计算可以分布在并行机之间,从而实现更高的时间效率和可扩展性。我们分析比较我们的并行GP的属性,如时间,空间和通信的复杂性。在20个计算节点的集群中对两个真实世界数据集进行的实证评估表明,我们的并行GP比其集中式对应物和精确/完整GP具有更高的时间效率和可扩展性,同时实现与完整GP相当的预测性能。
2013-05-24 cs.DC cs.LG stat.ML
Gaussian process regression for forecasting battery state of health
准确预测电池的未来容量和剩余使用寿命是确保系统可靠运行和最大限度降低维护成本的必要条件。电池退化的复杂性质意味着容量衰减的机械建模迄今为止仍然很难处理;然而,随着云连接设备的出现,来自各种应用中的电池的数据变得越来越可用,并且数据驱动方法用于电池性能的可行性正在增加。在这里,我们提出了高斯过程(GP)回归预测电池的健康状态,并强调了各种优势的GP比其他数据驱动和机械的方法。GP是一种贝叶斯非参数方法,因此可以对复杂系统进行建模,同时以原则性的方式处理不确定性。先验信息可以通过多种方式被GP利用:如果底层退化模型的函数形式可用,则可以使用显式均值函数,并且多输出GP可以有效地利用来自不同细胞的数据之间的相关性。我们展示了GP的预测能力,短期和长期(剩余使用寿命)预测的选择容量与循环数据集从锂离子电池。
2017-05-31 stat.AP stat.ML
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
Algorithms and Scientific Software for Quasi-Monte Carlo, Fast Gaussian Process Regression, and Scientific Machine Learning
Illinois Institute of Technology(伊利诺伊理工学院)
本论文提出三种高效算法与软件:QMC用于高维积分,GP用于高维插值与不确定性量化,sciML用于PDEs建模,涵盖误差估计、多任务学习和多级方法等创新技术。
2025-11-26 cs.LG math.PR stat.ML
Robust and Conjugate Gaussian Process Regression
University College London(伦敦大学学院)
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题,提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归(RCGP),在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Differentially Private Gaussian Processes
University of Sheffield(谢菲尔德大学)
机器学习面临的一个主要挑战是在尊重个人隐私的同时增加数据的可用性。在这里,我们将差分隐私框架的可证明隐私保证与高斯过程(GP)的灵活性相结合。我们提出了一种使用GP提供差分私有(DP)回归的方法。然后,我们通过精心设计DP噪声协方差结构来改进这种方法,以有效地保护训练数据,同时最大限度地减少添加噪声的规模。我们发现,这种伪装方法实现了最大的准确性,同时仍然提供隐私保证,并提供了实用的DP回归多维输入。这些方法一起提供了一个入门工具包,用于结合差分隐私和GPS。
2019-01-17 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Efficient Spatio-Temporal Gaussian Regression via Kalman Filtering
University of Padova(帕多瓦大学);ETH Zürich(苏黎世联邦理工学院)
在这项工作中,我们研究了非参数重建时空动态高斯过程(GP)通过GP回归稀疏和噪声数据。GP主要应用于空间回归,它们代表了最强大的估计方法之一,这也要归功于它们的通用表示属性。他们的扩展到动态过程,而不是难以捉摸的,因为经典的实现导致不可扩展的算法。然后,我们提出了一个新的程序来解决这个问题,耦合GP回归和卡尔曼滤波。特别是,假设空间/时间可分性的协方差(内核)的过程和合理的时间谱,我们建立了一个有限维离散时间状态空间过程表示服从卡尔曼滤波。在固定空间位置的有限集合上进行采样,我们的主要发现是,在时刻$t_k$的卡尔曼滤波器状态表示足够的统计量来计算在整个空间域上的任何$t \geq t_k$处的过程的最小方差估计。这一结果可以解释为一个新的动态GPS的卡尔曼表示定理。然后,我们将研究扩展到空间输入位置集可以随时间变化的情况。所提出的算法最后测试合成和真实的现场数据,也提供了与标准GP和截断GP回归技术的比较。
2017-05-03 cs.AI cs.LG stat.ML
Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Graz University of Technology(格拉茨工业大学);University of Cambridge(剑桥大学)
虽然高斯过程(GP)是回归任务的首选方法,但它们也有实际困难,因为推理成本在时间上是三次方,在内存中是二次方。在本文中,我们介绍了一种自然和表达的方式来解决这些问题,通过将GP的和积网络(SPN),最近提出的易处理的概率模型,允许准确和有效的推理。特别是,通过使用GP作为SPN的叶子,我们获得了一种新的灵活的先验函数,它隐含地表示了指数级大的混合本地GP。在这个模型中,精确和有效的后验推理可以在GP和SPN中的推理机制的自然相互作用中完成。因此,每个GP--类似于混合专家模型方法--仅负责数据点的子集,这以分而治之的方式有效地降低了推理成本。我们表明,将GP集成到SPN框架中会产生一个有前途的概率回归模型,该模型具有以下特点:(1)计算和内存效率高,(2)允许有效和精确的后验推理,(3)足够灵活,可以混合不同的核函数,(4)自然地考虑时间序列中的非平稳性。在一系列实验中,我们证明了SPN-GP模型可以学习依赖于输入的参数和超参数,并且与传统的GP以及对真实世界数据的最先进的近似值相当或优于传统的GP。
2018-09-12 cs.LG stat.ML
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University(香港理工大学)
为解决GP-VAE在独立成分分析中计算成本高的问题,提出SKR-VAE模型,通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Neural-net-induced Gaussian process regression for function approximation and PDE solution
Brown University(布朗大学)
神经网络诱导高斯过程(NNGP)回归继承了深度神经网络(deep NN)的高表达性以及高斯过程(GP)的不确定性量化属性。我们推广目前的NNGP首先包括大量的超参数,随后训练模型的最大似然估计。与以往的工作NNGP的目标分类,在这里,我们适用于广义NNGP函数逼近和求解偏微分方程(PDE)。具体来说,我们开发了一个分析迭代公式来计算由具有误差函数非线性的深度NN引起的GP的协方差函数。我们比较了广义NNGP的性能与GP和全连接NN的函数逼近和PDE解决方案。我们观察到,对于光滑函数,广义NNGP可以产生与GP相同的精度,而NNGP和GP都优于深度NN。对于非光滑函数,广义NNGP优于GP,与深度NN相当或优于深度NN。
2018-06-22 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression
TU Darmstadt(达姆施塔特工业大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Aalto University(阿尔托大学);Centre for Cognitive Science TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
受高斯过程(GP)的专家近似领域的最新进展的启发,我们提出了一种基于专家的方法,使用单输出GP专家的大规模多输出回归。采用通过概率电路编码的单输出GP的深度结构化混合物,使我们能够准确地捕获多个输出维度之间的相关性。通过递归地划分协变量空间和输出空间,我们模型中的后验推理简化为对单输出GP专家的推理,这只需要以观察结果的一小部分为条件。我们表明,在我们的模型中可以准确有效地进行推理,它可以捕获输出维度之间的相关性,因此,通常优于不包含输出间相关性的方法,如在负对数预测密度方面的几个数据集上所示。
2021-08-01 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Gaussian Process Subspace Regression for Model Reduction
子空间值函数出现在广泛的问题中,包括参数降阶建模(PROM)。在PROM中,每个参数点可以与一个子空间相关联,该子空间用于大型系统矩阵的Petrov-Galerkin投影。以前的努力近似这样的函数使用流形上的插值,这可能是不准确和缓慢的。为了解决这个问题,我们提出了一种新的贝叶斯非参数模型的子空间预测:高斯过程子空间回归(GPS)模型。该方法同时是外在和内在的:利用欧几里得空间上的多元高斯分布,它在格拉斯曼流形上导出了一个联合概率模型,该流形是固定维子空间的集合。GPS采用了简单而通用的相关结构和原则性的模型选择方法。它的预测分布承认的分析形式,这使得有效的子空间预测的参数空间。对于PROM,GPS在新的参数点提供概率预测,其保持局部降阶模型的精度,计算复杂性不依赖于系统维度,因此适合于在线计算。我们给出了四个数值例子来比较我们的方法,子空间插值,以及两种方法,内插局部降阶模型。总的来说,GPS是最有效的数据,更有效的计算比子空间插值,并给出了平滑的预测与不确定性量化。
2021-07-09 cs.NA math.NA math.ST
Beyond Intuition, a Framework for Applying GPs to Real-World Data
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);California Institute of Technology(加州理工学院);Aalto University(阿尔托大学)
本文提出一个判断 GP 适用性并规范建模流程的框架,强调核设计与可扩展性,且在冰川高程变化案例中提升了测试精度。
2023-07-17 cs.LG stat.ML
Physics-Informed CoKriging: A Gaussian-Process-Regression-Based Multifidelity Method for Data-Model Convergence
Pacific Northwest National Laboratory(太平洋西北国家实验室)
在这项工作中,我们提出了一个新的高斯过程回归(GPR)为基础的多保真度方法:物理通知协同克里格(CoPhIK)。在基于CoKriging的多保真度方法中,感兴趣的量被建模为多个参数化平稳高斯过程(GP)的线性组合,并且这些GP的超参数通过优化从数据中估计。在CoPhIK中,我们使用物理信息克里金法(PhIK)构建了一个代表低保真度数据的GP,并使用参数化GP与通过优化确定的超参数对低保真度和高保真度数据之间的差异进行建模。我们的方法通过结合部分物理知识来降低推断超参数的优化成本。我们证明了确定性线性算子形式的物理约束满足误差界。此外,我们将CoPhIK与贪婪主动学习算法相结合,用于指导选择额外的观察位置。证明了CoPhIK的效率和准确性重建的部分观察到的修改后的Branin函数,重建稀疏观测状态的稳态热传输问题,并学习一个保守的示踪剂分布稀疏示踪剂浓度测量。
2018-11-24 cs.LG stat.ML
Recursive Estimation for Sparse Gaussian Process Regression
University of Limerick(利默里克大学)
高斯过程(GPs)是一种强大的非参数回归核化方法,在许多应用中得到了广泛的应用。然而,由于其立方时间复杂度,它们的使用仅限于几千个训练样本。为了将GP扩展到更大的数据集,文献中已经提出了几种基于所谓的诱导点的稀疏近似。在这项工作中,我们研究了一类稀疏诱导点GP回归方法和贝叶斯递归估计,使卡尔曼滤波器像更新在线学习之间的连接。以前的大部分工作都集中在批量设置上,特别是学习模型参数和诱导点的位置,这里我们专注于使用小批量进行训练。通过利用卡尔曼滤波器的制定,我们提出了一种新的方法,估计这样的参数,通过递归传播的分析梯度后的小批量的数据。与最先进的方法相比,我们的方法保持后验均值和协方差的解析更新,从而大大减少了优化问题的大小。我们表明,我们的方法实现了更快的收敛速度和优越的性能相比,最先进的顺序高斯过程回归的合成GP以及现实世界的数据高达一百万的数据样本。
2020-06-22 cs.LG stat.ML
Transport Gaussian Processes for Regression
University of Chile(智利大学)
高斯过程(GP)先验是非参数生成模型,具有贝叶斯推断的吸引人的建模特性:它们可以通过噪声观测来建模非线性关系,具有用于训练和推理的封闭形式表达式,并且由可解释的超参数控制。然而,GP模型依赖于高斯性,这是一个在几个现实世界场景中不成立的假设,例如,当观测值有界或具有极值依赖性时,这是物理学,金融和社会科学中的自然现象。虽然超高斯随机过程已经引起了GP社区的注意,但仍然缺乏原则性的定义和严格的处理。在这方面,我们提出了一种方法来构建随机过程,其中包括GP,翘曲GP,学生t过程和其他几个在一个统一的方法。我们还提供了在回归问题中训练和推断所提出的模型的公式和算法。我们的方法受到基于层的模型的启发,其中每个提议的层在生成的随机过程上改变特定的属性。反过来,这使我们能够将标准高斯白噪声推向其他更具表现力的随机过程,对于这些随机过程,边缘和Copula不需要是高斯的,同时保留GP的吸引人的属性。我们通过实验验证了所提出的模型与现实世界的数据。
2020-01-30 cs.LG cs.NE math.ST
Non-Gaussian Gaussian Processes for Few-Shot Regression
Jagiellonian University(雅盖隆大学);University of Cambridge(剑桥大学);Warsaw University of Technology(华沙理工大学);Tooploox
高斯过程(GP)已广泛用于机器学习中,以对函数上的分布进行建模,其应用包括多模态回归、时间序列预测和少样本学习。GP在最后一个应用中特别有用,因为它们依赖于正态分布,并且能够对后验概率函数进行封闭式计算。不幸的是,由于所得的后验不足以捕捉复杂的分布,GP假设后续任务之间具有高度相似性-这一要求在现实条件下很少得到满足。在这项工作中,我们解决了这一限制,利用规范化流的灵活性来调节GP的后验预测分布。这使得GP后验局部非高斯,因此我们将我们的方法命名为非高斯高斯过程(NGGPs)。更确切地说,我们提出了一个可逆的基于ODE的映射,该映射对随机变量向量的每个分量进行操作,并在所有分量上共享参数。我们在各种少样本学习回归数据集上实证测试了NGGP的灵活性,表明映射可以结合上下文嵌入信息来为周期函数建模不同的噪声水平。因此,我们的方法在后续任务之间共享问题的结构,但上下文化允许适应不同之处。NGGP在一组多样化的基准和应用程序上优于竞争对手的最先进的方法。
2021-10-26 cs.LG
Latent Gaussian Process Regression
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们介绍了潜在的高斯过程回归,这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量,用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法,并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Kernel Multigrid: Accelerate Back-fitting via Sparse Gaussian Process Regression
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Fudan University(复旦大学)
本文针对加性高斯过程训练中回拟收敛慢的问题,提出核多重网格算法,通过稀疏高斯过程回归处理残差,将迭代次数从$\mathcal{O}(n\log n)$降至$\mathcal{O}(\log n)$,并验证了其高效性。
2024-03-30 cs.LG stat.ML
Asynchronous Distributed Variational Gaussian Processes for Regression
高斯过程(GP)是功能强大的非参数函数估计。然而,它们的应用在很大程度上受到昂贵的计算成本的推理过程。现有的随机或分布式同步变分推断,虽然已经缓解了这个问题,通过扩大全球定位系统的数百万个样本,仍然远远不能满足现实世界的大型应用程序,其中的数据大小往往是更大的数量级,比如说,数十亿。为了解决这个问题,我们提出了ADVGP,第一个异步分布式变分高斯过程回归推理,在最近的大规模机器学习平台,参数服务器。ADVGP采用一种新颖、灵活的变分框架,基于权值空间扩展,实现了高效、异步的近似梯度优化。在保持相当或更好的预测性能的同时,ADVGP大大提高了现有变分方法的效率。借助ADVGP,我们可以轻松地将GP回归扩展到具有数十亿样本的实际应用中,并展示出比流行的线性模型更出色的预测精度。
2017-06-12 stat.ML
Gaussian Processes: A Quick Introduction
高斯过程(Gaussian Processes,GP)本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
高斯过程(GP)作为一种功能强大的贝叶斯非参数化算法,在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统,因为他们的后验分布有一个封闭的形式的解决方案。然而,它的训练和推理过程需要存储所有历史数据,并从头开始训练GP模型。出于这些原因,一些在线GP算法,如O-SGPR和O-SVGP,已专门设计用于流媒体设置。在本文中,我们提出了一个新的理论框架,在线GPS的基础上在线可能近似正确(PAC)贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然,而是优化经验风险函数和正则化项,这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力,该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比,我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
When Gaussian Process Meets Big Data: A Review of Scalable GPs
Nanyang Technological University(南洋理工大学)
大数据带来的大量信息以及不断发展的计算机硬件鼓励机器学习社区的成功故事。与此同时,它提出了挑战的高斯过程(GP)回归,一个著名的非参数和可解释的贝叶斯模型,它遭受立方复杂性的数据大小。为了在保持期望的预测质量的同时提高可缩放性,已经提出了各种可缩放GP。但是,它们尚未得到全面的审查和分析,以便学术界和工业界都能很好地理解。由于数据量的爆炸性增长,GP社区对可扩展GP的审查是及时和重要的。为此,本文致力于审查国家的最先进的可扩展的GP涉及两个主要类别:全球近似蒸馏的整个数据和局部近似划分的数据子空间学习。特别地,对于全局近似,我们主要关注稀疏近似,包括修改先验但执行精确推理的先验近似,保留精确先验但执行近似推理的后验近似,以及利用核矩阵中的特定结构的结构化稀疏近似;对于局部近似,我们强调专家的混合/乘积,其从多个局部专家进行模型平均以提高预测。为了提出一个完整的审查,最近的进展,以提高可扩展性和能力的可扩展的全球定位系统进行审查。最后,扩展和开放的问题,可扩展的GP在各种情况下的实施进行了审查和讨论,以激发新的想法,为未来的研究途径。
2019-04-09 cs.LG stat.ML
A Tutorial on Sparse Gaussian Processes and Variational Inference
Secondmind;University of Cambridge(剑桥大学)
高斯过程(GPs)提供了贝叶斯推理的框架,可以为大范围的问题提供原则性的不确定性估计。例如,如果我们考虑高斯似然的回归问题,GP模型享有封闭形式的后验。然而,识别后GP与训练样本的数量成立方比例,并且需要将所有样本存储在存储器中。为了克服这些障碍,已经提出了稀疏GP,其近似于具有伪训练样本的真实后验GP。重要的是,伪训练样本的数量是用户定义的,并且能够控制计算和存储器复杂度。在一般情况下,稀疏GP不享受封闭形式的解决方案,人们不得不诉诸近似推理。在这种情况下,近似推理的一个方便的选择是变分推理(VI),其中贝叶斯推理的问题被转换为一个优化问题-即,最大限度地提高对数边际似然的下限。这为一个强大而通用的框架铺平了道路,其中伪训练样本被视为近似后验的优化参数,这些参数与生成模型的超参数(即先验和似然)一起被联合识别。该框架可以自然地处理广泛的监督学习问题,从异方差和非高斯似然回归到离散标签的分类问题,以及多维标签的问题。本教程的目的是为没有GP和VI先验知识的读者提供基本问题的访问。对这一主题的适当阐述也可以获得最新的进展(如重要性加权VI以及域间,多输出和深度GP),这些进展可以作为新研究思路的灵感。
2022-12-18 cs.LG stat.ML
Scaling Multidimensional Inference for Structured Gaussian Processes
精确高斯过程(GP)回归对于数据大小N具有O(N^3)的运行时间,使得它对于大N是难以处理的。许多改进GP尺度的算法都是用低秩矩阵来逼近协方差。其他工作已经利用了特定协方差函数中固有的结构,包括具有隐含马尔可夫结构的GP和等间隔输入(两者都使O(N)运行时间)。然而,这些GP的进步还没有扩展到多维输入设置,尽管多维应用程序的优势。本文介绍和测试新的结构化GP多维输入的扩展。我们提出了新的方法添加剂GP,经典的回拟合方法和贝叶斯框架之间的一种新的连接。为了实现最佳的精度和复杂性的权衡,我们扩展了这个模型的投影寻踪回归的一个新的变种。我们的主要结果--投影寻踪高斯过程回归--在保持高精度的同时显示了数量级的加速。自然的第二步和第三步包括非高斯观测和高维等间距网格方法。我们引入新的技术来解决这两个必要的方向。我们在几个数据集上彻底说明了这三个进步的力量,以更低的成本实现了与幼稚全GP接近的性能。
2012-09-21 stat.ML
Correlated Product of Experts for Sparse Gaussian Process Regression
Università della Svizzera italiana (USI)(提契诺大学);University of Limerick (UL)(利默里克大学)
高斯过程(GP)是机器学习和统计学中的重要工具,其应用范围从社会科学和自然科学到工程学。它们构成了一个功能强大的核化非参数方法,具有校准良好的不确定性估计,然而,现成的GP推理程序仅限于具有数千个数据点的数据集,因为它们的立方计算复杂性。出于这个原因,在过去的几年中已经开发了许多稀疏GPS技术。在本文中,我们专注于GP回归任务,并提出了一种新的方法的基础上聚合预测从几个本地和相关的专家。因此,专家之间的相关程度可以在独立专家到完全相关的专家之间变化。考虑到专家的个人预测的相关性,将其汇总,从而得出一致的不确定性估计。我们的方法恢复独立的专家产品,稀疏GP和全GP在极限情况下。该框架可以处理一个通用的核函数和多个变量,并具有一个时间和空间的复杂度是线性的专家和数据样本的数量,这使得我们的方法具有高度的可扩展性。我们展示了优越的性能,在时间与精度的意义上,我们提出的方法对国家的最先进的GP近似方法的合成以及几个现实世界的数据集与确定性和随机最优化。
2021-12-17 cs.LG stat.ML
Gradient-enhancement and Gradient Predictions for Deep Gaussian Process Modeling of Expensive Computer Experiments
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系)
针对昂贵计算机实验的深度高斯过程建模,提出带梯度的贝叶斯框架,实现梯度增强与梯度预测,在非平稳测试函数及量子力学实验中验证,该方法在非平稳曲面表现优,还提供开源软件。
2026-07-24 stat.ME
Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室);NTT Computer and Data Science Laboratories, NTT Corporation(NTT集团NTT计算机与数据科学实验室)
针对深度核高斯过程在少样本回归任务中不确定性估计性能不佳的问题,提出一种端到端元学习校准方法,通过任务共享GP编码器和任务特定GMM变换实现无迭代校准,在真实数据集上兼顾了回归精度与不确定性估计性能。
2023-12-13 cs.AI cs.LG stat.ML
Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features
Aalto University(阿尔托大学);Delft University of Technology(代尔夫特理工大学)
高斯过程(GP)为回归和分类中的外推、内插和噪声去除提供了一个强大的框架。本文考虑将GP约束到具有边界条件的任意形状的域。我们解决了一个傅立叶般的广义谐波特征表示的GP之前在感兴趣的领域,既约束了GP,并获得了一个低秩表示,用于加快推理。该方法在预测中缩放为$\mathcal{O}(nm^2)$,在回归的超参数学习中缩放为$\mathcal{O}(m^3)$,其中$n$是数据点的数量,$m$是特征的数量。此外,我们利用变分方法,使该方法处理非高斯似然。实验涵盖了模拟和经验数据,其中边界条件允许包含额外的物理信息。
2019-04-10 cs.LG stat.ML
Intrinsic Gaussian processes on complex constrained domains
Plymouth University(普利茅斯大学);The University of Notre Dame(圣母大学);The University of Sheffield(谢菲尔德大学);Duke University(杜克大学)
我们提出了一类内在的高斯过程(在GP)的插值,回归和分类流形上的主要重点复杂的约束域或不规则形状的空间产生的子集或R,R2,R3及以上的子流形。例如,in-GP可以适应作为欧几里得空间的复杂子集而产生的空间域。在GP尊重潜在的复杂的边界或内部条件,以及内在的几何空间。所提出的方法的关键新颖性是利用热内核和布朗运动的流形上的过渡密度之间的关系,用于构建和近似有效的和计算上可行的协方差内核。这使得在GP实际应用中的很大的一般性,而现有的方法用于平滑约束域仅限于简单的特殊情况。通过模拟研究和数据实例说明了GP方法的广泛实用性。
2018-01-03 cs.LG stat.ML
Variable sigma Gaussian processes: An expectation propagation perspective
Purdue University(普渡大学);Microsoft Research(微软研究院)
高斯过程(GP)提供了回归,分类和其他问题中函数的概率非参数表示。不幸的是,GP的精确学习对于大型数据集来说是棘手的。已经提出了各种近似GP方法,其基本上将大数据集映射到小的基点集。其中最先进的是可变西格玛GP(VSGP)(Walder等人,2008年),允许每个基点有自己的长度尺度。然而,VSGP仅用于回归。我们描述了如何VSGP可以应用于分类和其他问题,通过推导它作为一个期望传播算法。在这种观点中,稀疏GP近似对应于真实后验到GP的紧凑指数族上的KL投影。VSGP构成这样的家庭,我们展示了如何扩大这个家庭,以获得额外的准确性。特别是,我们发现,赋予每个基点与自己的完整的协方差矩阵提供了一个显着增加近似功率。
2009-10-07 cs.LG
Frequentist coverage and sup-norm convergence rate in Gaussian process regression
高斯过程(GP)回归是一种强大的插值技术,因为它在捕获非线性方面具有灵活性。在本文中,我们提供了一个一般的框架,了解点式和同时贝叶斯可信集GP回归的频率覆盖。作为中间结果,我们在随机设计GP回归中得到了上确界范数下的Bernstein von-Mises型结果。将高斯过程的后验分布的均值协方差函数确定为正则化的$M$ -估计,证明了后验均值函数的抽样分布和中心后验分布可以分别用两个总体水平的GP来近似.通过建立两个GP之间的比较不等式,给出了回归函数的贝叶斯逐点可信区间和同时可信带的频率覆盖概率的精确刻画.我们的研究结果表明,基于GP回归的推断往往是保守的,当先验是欠平滑的,由此产生的可信区间和波段具有最小最大最优的大小,其频率覆盖收敛到一个非退化值之间的标称水平和一个。作为我们理论的一个副产品,我们证明了GP回归也产生了相对于上确界范数的最小最大最优后验收缩率,这为GP回归中的最优上确界范数收缩率的长期存在的问题提供了积极的证据。
2017-08-16 math.ST stat.CO stat.ML
Learning Nonparametric Volterra Kernels with Gaussian Processes
University of Sheffield(谢菲尔德大学)
本文介绍了一种非参数贝叶斯学习的非线性算子,通过使用的Volterra系列的核表示为高斯过程(GP),我们称之为非参数Volterra核模型(NVKM)。当算子的输入函数不可观测且具有GP先验时,NVKM构成了单输出和多输出回归的强大方法,并且可以被视为非线性和非参数潜在力模型。当输入函数被观测时,NVKM可用于进行贝叶斯系统辨识。我们使用最新的进展,在有效的采样显式功能,从GP映射过程实现通过Volterra系列,而不诉诸数值积分,允许通过双重随机变分推断的可扩展性,并避免需要高斯近似的输出过程。我们证明了多输出回归和系统识别使用标准的基准模型的性能。
2021-06-10 cs.LG stat.ML
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
虽然深度神经网络(DNN)和高斯过程(GP)都被广泛用于解决强化学习中的问题,但这两种方法都具有挑战性问题的不利缺点。DNN学习复杂的非线性嵌入,但不能自然地量化不确定性,并且通常训练数据效率低下。GP推断函数的后验分布,但流行的内核在复杂和高维数据上表现出有限的表达能力。幸运的是,最近发现的共轭核函数和神经切线核函数在核域中对过参数化神经网络的行为进行了编码。我们证明,这些内核可以有效地应用于回归和强化学习问题,通过分析基线案例研究。我们首次将具有神经网络对偶核的GP应用于解决强化学习任务。我们使用众所周知的山地车问题证明,具有双内核的GP的性能至少与使用传统径向基函数内核的GP一样好。我们推测,通过继承GP的概率严谨性和DNN的强大嵌入特性,使用NN双内核的GP将使未来的强化学习模型能够在困难的领域中发挥作用。
2020-04-10 cs.LG cs.SY eess.SY
Extrinsic Gaussian processes for regression and classification on manifolds
高斯过程(GP)被广泛用于从回归到分类到空间过程的应用中的未知函数或曲面的建模。虽然有越来越多的文献的应用程序,方法,理论和算法相关的全球定位系统,绝大多数的文献集中在输入域对应于欧几里德空间的情况下。然而,特别是近年来随着复杂数据的收集越来越多,通常情况下,输入域不具有这样简单的形式。例如,输入被限制在非欧几里德流形上是很常见的,这种情况形成了本文的动机。特别是,我们提出了一个通用的外在框架GP流形上建模,这依赖于嵌入到一个欧氏空间的流形,然后构建外在的内核GP的图像。这些外部高斯过程(eGP)被用作贝叶斯推断中未知函数的先验分布。我们的方法是简单和一般的,我们表明,eGP继承优良的理论性质,从GP模型在欧氏空间。我们认为我们的模型的回归和分类问题的预测躺在一个大类的流形,包括领域,平面形状空间,空间的正定矩阵,和格拉斯曼。我们的模型可以很容易地被生物科学的从业者用于各种回归和分类问题,如疾病诊断或检测。我们的工作也有可能在空间统计学的影响,当空间位置是在球体或其他几何空间。
2017-06-27 stat.ME
Skew Gaussian Processes for Classification
University of Limerick(利默里克大学);Dalle Molle Institute for Artificial Intelligence Research (IDSIA)(达勒莫勒人工智能研究所(IDSIA))
高斯过程(GP)是函数上的分布,它为回归和分类提供了贝叶斯非参数方法。尽管他们的成功,GP在某些应用中的使用有限,例如,在某些情况下,相对于其平均值的对称分布是一个不合理的模型。例如,这意味着平均值和中位数一致,而不对称(偏斜)分布中的平均值和中位数可以是不同的数字。在本文中,我们提出了斜高斯过程(SkewGPs)作为一个非参数先验函数。SkewGP将有限维向量上的多元统一Skew-Normal分布推广到随机过程。SkewGP类的分布包括GP,因此,SkewGP继承了GP的所有良好特性,并通过允许概率模型中的不对称性来增加其灵活性。通过利用SkewGP和probit似然是共轭模型的事实,我们推导出这种新的非参数分类器的边缘似然和预测分布的封闭形式表达式。我们经验验证,建议SkewGP分类器提供了更好的性能比GP分类器的基础上拉普拉斯的方法或期望传播。
2020-05-26 cs.LG stat.ML
On the Uncertainty Quantification Ability of Tabular Foundation Models
Department of Mechanical and Aerospace Engineering, University of California, Irvine(加州大学欧文分校机械与航空航天工程系);Department of Civil and Environmental Engineering, University of California, Irvine(加州大学欧文分校土木与环境工程系)
通过对比TabPFN与高斯过程在回归任务上的实证研究,揭示了显式先验与学习先验之间的权衡:TabPFN在复杂高维问题中表现优异,而高斯过程在数据稀缺时提供更优的预测精度和不确定性量化。
2026-05-31 cs.LG stat.ML
Conditional Neural Processes
DeepMind(深度思维);Imperial College London(帝国理工学院)
深度神经网络擅长于函数逼近,但它们通常是为每个新函数从头开始训练的。另一方面,贝叶斯方法,如高斯过程(GP),利用先验知识在测试时快速推断新函数的形状。然而,GP在计算上是昂贵的,并且很难设计适当的先验。在本文中,我们提出了一系列的神经模型,条件神经过程(CNP),结合两者的好处。CNP的灵感来自于随机过程(如GP)的灵活性,但它被构造为神经网络,并通过梯度下降进行训练。CNP在仅观察少数训练数据点后就能做出准确的预测,但可以扩展到复杂的函数和大型数据集。我们展示了一系列典型的机器学习任务,包括回归,分类和图像完成的方法的性能和多功能性。
2018-07-04 cs.LG stat.ML
Comparison of Data Reduction Criteria for Online Gaussian Processes
Friedrich-Alexander University of Erlangen–Nuremberg(埃尔朗根-纽伦堡大学)
本文统一比较了在线高斯过程的多种数据缩减准则,分析其计算复杂度和缩减行为,并在基准函数及真实数据集上评估,提出接受准则,为选择合适准则提供实用指南。
2025-08-26 cs.LG stat.ML
Fast increased fidelity approximate Gibbs samplers for Bayesian Gaussian process regression
高斯过程(GP)的使用得到了有效的采样算法,丰富的方法学文献和强大的理论基础的支持。然而,由于其禁止的计算和存储需求,在贝叶斯模型中使用精确的GP仅限于包含最多几千个观测值的问题。采样需要以$\mathcal{O}(n^3),$缩放的矩阵运算,其中$n$是唯一输入的数量。单个矩阵的存储在$\mathcal{O}(n^2),$上扩展,并且可以迅速压倒大多数现代计算机的资源。为了克服这些瓶颈,我们开发了一个采样算法,使用$\mathcal{H}$矩阵近似的矩阵,包括GP后验协方差。这些矩阵可以在机器精度内近似真实的条件协方差阵,并允许在$\mathcal{O}(n \ \mbox{log}^2 n)$时间缩放的采样算法和在$\mathcal{O}(n \ \mbox{log} \ n).$的存储需求缩放。我们还描述了如何将这些算法用作构建块,以在$\mathcal{O}(d \ n \ \mbox{log}^2 n)$上对高维表面进行建模,其中$d$是使用一维GP的张量积来考虑的表面的维度。虽然已经提出了各种可扩展的过程,用于近似贝叶斯GP推理时,$n$是大的,据我们所知,这些方法都没有显示,近似的Kullback-Leibler发散到真正的后验可以任意小,可能不会比有限的计算机算法提供的近似差。我们描述了$\mathcal{H}-$矩阵,给出了一个有效的吉布斯采样器使用这些矩阵的一维…
2020-06-11 math.ST stat.ME stat.TH
Deep Variational Implicit Processes
Universidad Autónoma de Madrid(马德里自治大学);ICMAT-CSIC(西班牙国家研究委员会数学科学研究所)
隐过程(IP)是高斯过程(GP)的推广。IP可能缺少封闭形式的表达式,但很容易从中采样。示例包括贝叶斯神经网络或神经采样器等。IP可以用作函数的先验,从而产生具有良好校准的预测不确定性估计的灵活模型。基于IP的方法通常进行函数空间近似推理,克服了参数空间近似推理的一些困难。然而,所采用的近似通常限制了最终模型的表达能力,例如,在高斯预测分布中,这可能是限制性的。在这里,我们提出了一个多层广义的IP称为深变分隐式过程(DVIP)。这种推广类似于深度GP对GP的推广,但由于使用IP作为潜在函数上的先验分布,因此它更灵活。我们描述了一个可扩展的变分推断算法训练DVIP,并表明它优于以前的基于IP的方法,也深GP。我们通过广泛的回归和分类实验来支持这些主张。我们还评估了DVIP在大型数据集上的高达数百万个数据实例,以说明其良好的可扩展性和性能。
2023-02-16 cs.LG stat.ML
Wiener Chaos in Kernel Regression: Towards Untangling Aleatoric and Epistemic Uncertainty
针对高斯过程中噪声假设受限、两类不确定性难区分的问题,提出基于维纳多项式混沌展开的非高斯噪声核岭回归方法,推导了解析解并通过多项式动力系统验证了其分离随机与认知不确定性的能力。
2024-09-12 cs.SY eess.SY math.OC
Gaussian Process on the Product of Directional Manifolds
Linköping University(林雪平大学)
该研究提出超环面冯·米塞斯(HvM)核以构建方向流形乘积上的高斯过程,结合内在共区域化模型支持多输出回归并提供解析导数,在传感器网络定位任务中实现了优于传统方法的跟踪精度。
2024-06-18 cs.LG
Confirmatory Bayesian Online Change Point Detection in the Covariance Structure of Gaussian Processes
Ulsan National Institute of Science and Technology(蔚山科学技术院)
在序列数据的分析中,突变的检测对于预测未来的变化非常重要。在本文中,我们提出了统计假设检验检测协方差结构的变化,局部光滑的高斯过程(GP)建模的时间序列。我们为测试提供了理论上合理的阈值,并通过确认统计上显著的变化和非变化来使用它们来改进贝叶斯在线变化点检测(BOCPD)。我们的解释性BOCPD(CBOCPD)算法发现多个结构断裂的GP,即使超参数没有精确调整。我们还提供了条件下,CBOCPD提供较低的预测误差相比,BOCPD。在合成和真实世界数据集上的实验结果表明,我们的新测试正确地检测到GP中协方差结构的变化。所提出的算法也优于现有的方法,在回归误差和对数似然预测的非平稳性。
2020-02-07 cs.LG stat.ML
Deep Neural Networks as Gaussian Processes
Google Brain(谷歌大脑)
人们早就知道,具有i.i.d.在无限网络宽度的限制下,先验过程等价于一个高斯过程(GP)。这种对应关系使得通过评估相应的GP,能够对无限宽神经网络进行回归任务的精确贝叶斯推断。最近,已经开发了模拟多层随机神经网络的核函数,但仅在贝叶斯框架之外。因此,以前的工作没有确定这些内核可以用作GP的协方差函数,并允许使用深度神经网络进行完全贝叶斯预测。在这项工作中,我们推导出无限宽深度网络和GP之间的精确等价性。我们进一步开发了一个计算效率高的流水线来计算这些GP的协方差函数。然后,我们使用得到的GP在MNIST和CIFAR-10上对广泛的深度神经网络进行贝叶斯推断。我们观察到,训练的神经网络的准确性接近相应的GP随着层宽度的增加,GP的不确定性与训练的网络预测误差密切相关。我们进一步发现,随着有限宽度的训练网络变得更宽,更类似于GP,测试性能会提高,因此GP预测通常优于有限宽度网络的预测。最后,我们将这些GP的性能与随机神经网络中的信号传播理论联系起来。
2018-03-03 cs.LG stat.ML
Spoken Speech Enhancement using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们演示了使用生成对抗网络(GAN)为基础的模型,门控递归单元(GRU)回归为基础的模型,时间卷积网络(TCN)回归模型,最后使用混合TCN GRU回归模型使用脑电图(EEG)信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差(MMSE)语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比,传统的方法。我们的总体结果表明,EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知,这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
Tighter sparse variational Gaussian processes
Australian National University(澳大利亚国立大学);University of Cambridge(剑桥大学)
本文针对稀疏变分高斯过程(GP)近似,通过放宽条件近似后验需匹配先验的假设,提出了一种更紧致的近似方法,在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
Guiding Multi-Objective Genetic Programming with Description Length Improves Symbolic Regression Solutions
Astrophysics, University of Oxford(牛津大学天体物理学系);Institute of Cosmology & Gravitation, University of Portsmouth(朴茨茅斯大学宇宙学与引力研究所)
本文研究了如何利用描述长度(DL)和分数贝叶斯因子(FBF)作为数据高效的方法,替代启发式方法来选择泛化性好的紧凑表达式,从而改进符号回归的解决方案。
2026-05-21 cs.NE stat.ML
Sparse-posterior Gaussian Processes for general likelihoods
Microsoft Research(微软研究院);Purdue University(普渡大学)
高斯过程(GP)提供了回归,分类和其他问题中函数的概率非参数表示。不幸的是,GP的精确学习对于大型数据集来说是棘手的。已经提出了各种近似GP方法,其基本上将大数据集映射到小的基点集。其中,两种最先进的方法是稀疏伪输入高斯过程(SPGP)(Snelson和Ghahramani,2006)和可变sigma GP(VSGP)Walder et al.(2008),它推广了SPGP并允许每个基点具有自己的长度尺度。然而,VSGP仅用于回归。在本文中,我们提出了一个新的稀疏GP框架,使用期望传播直接近似一般GP似然使用稀疏和光滑的基础。它包括SPGP和VSGP作为特殊情况的回归。此外,作为一种EP算法,它继承了在线处理数据的能力。作为近似族的特定选择,我们用高斯分布模糊每个基点,该高斯分布具有表示该基点周围的数据分布的完整协方差矩阵;因此,我们可以用一小组基点来总结局部数据流形信息。我们的实验表明,该框架优于以前的GP分类方法在基准数据集上的非稀疏GP解决方案的分歧最小化以及较低的误分类率。
2012-03-15 cs.LG stat.ML
Few-shot Learning for Spatial Regression
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Service Evolution Laboratories(NTT服务演进实验室)
我们提出了一个空间回归的Few-Shot学习方法。虽然高斯过程(GPs)已成功地用于空间回归,但它们需要在目标任务中进行许多观察以实现高预测性能。我们的模型使用不同区域中各种属性的空间数据集进行训练,并在给定一些观测数据的情况下预测未知区域中未知属性的值。使用我们的模型,任务表示使用神经网络从给定的小数据推断。然后,空间值预测的神经网络与GP框架,其中特定于任务的属性控制的任务表示。GP框架允许我们通过分析获得适合小数据的预测。通过在目标函数中使用自适应预测,我们可以有效地训练我们的模型,以便在适应新给定的小数据时提高测试预测性能。在我们的实验中,我们证明了所提出的方法比使用空间数据集的现有元学习方法具有更好的预测性能。
2020-10-09 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML