Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Scalable Multi-Class Gaussian Process Classification using Expectation Propagation
本文描述了一种用于高斯过程多类分类的期望传播(EP)方法,该方法可以很好地扩展到非常大的数据集。在这种方法中,对数边际似然的估计涉及数据实例的总和。这使得能够使用随机梯度和小批量进行有效的训练。当使用这种类型的训练时,计算成本不取决于数据实例$N$的数量。此外,在近似推理过程中的额外假设使得存储器成本与$N$无关。结果是,所提出的EP方法可以用于具有数百万实例的数据集。我们比较经验,这种方法与替代方法,近似所需的计算使用变分推断。结果表明,它的性能类似于甚至优于这些技术,有时会在测试对数似然方面给出显着更差的预测分布。除此之外,所提出的方法的训练过程似乎也收敛于较少的迭代次数。
2017-06-22 stat.ML
Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);Georgia Institute of Technology(佐治亚理工学院);The Boeing Company(波音公司)
在机器学习领域,主动学习是一种迭代数据选择算法,用于在有限的训练样本下最大化信息获取并提高模型性能。这是非常有用的,特别是在工业应用中,训练样本是昂贵的,耗时的,或难以获得。现有的方法主要集中在主动学习的分类,和一些方法被设计为回归,如线性回归或高斯过程。实验数据中不可避免地存在着不受测量误差影响的输入噪声,这进一步影响了建模性能。对于高斯过程,现有的主动学习方法没有考虑这些不确定性。本文针对不确定性高斯过程提出了两种新的主动学习算法:基于方差的加权主动学习算法和D-最优加权主动学习算法。通过数值研究,我们表明,所提出的方法可以考虑不确定性的影响,并实现更好的预测性能。该方法已被应用于改进复合材料机身自动形状控制的预测建模。
2020-04-23 cs.LG stat.AP stat.ML
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Scalable Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);University of California, Irvine(加州大学欧文分校)
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善,但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型,在运行时间和内存占用方面优于现有的方法,易于实现,并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology(大连理工大学);Nanyang Technological University(南洋理工大学)
对于学习任务,高斯过程(GP)感兴趣的是学习输入和输出之间的统计关系,因为它不仅提供预测均值,而且还提供相关的变异性。然而,普通GP很难学习具有以下性质的复杂分布,例如,由于高斯边缘和立方复杂性,来自海量数据的异方差噪声、多模态和非平稳性。为此,本文研究了新的可扩展GP范式,包括非平稳异方差GP,GP和潜在GP的混合物,引入额外的潜在变量来调制输出或输入,以学习更丰富的,非高斯统计表示。我们进一步采取不同的变分推断策略,以达到分析或更严格的证据下限(ELBO)的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络(NN)的各种任务的同行验证了这些可扩展的调制GP的优越性,特别是可扩展的潜在GP,学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们引入了一个新的结构化核插值(SKI)框架,该框架推广和统一了可伸缩高斯过程(GP)的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导(又名插值)点的数量、插值策略和GP协方差核。SKI还提供了一种机制,通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值,我们引入了KISS-GP,它1)比诱导点替代方案更具可扩展性,2)自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益,而不需要任何网格数据,3)可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O(n)。我们评估KISS-GP的核矩阵近似,核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
高斯过程分类(GPC)提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而,常规GPC遭受(i)由于完整的内核矩阵而导致的大数据的可扩展性差,以及(ii)由于非高斯似然性而导致的难以处理的推断。因此,已经提出了各种可扩展的GPC,通过(i)稀疏近似建立在一个小的诱导集,以减少时间复杂度;和(ii)近似推理,以获得分析证据下限(ELBO)。然而,这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中,我们提出了一个统一的框架,可容纳可扩展的GPC使用各种可能性。类似于GP回归(GPR),我们引入加性噪声来增加概率空间(i)GPC与步骤,(多项式)probit和logit似然通过内部变量;特别是,(ii)GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看,我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Scalable Thompson Sampling using Sparse Gaussian Process Models
MediaTek Research(联发科研究中心);Secondmind;Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
基于高斯过程(GP)模型的汤普森采样(TS)是黑箱函数优化的有力工具。虽然TS享有强大的理论保证和令人信服的经验性能,它会产生一个大的计算开销,规模与优化预算的多项式。最近,基于稀疏GP模型的可扩展TS方法已经被提出来增加TS的范围,使其应用于足够多模态、噪声或组合的问题,以需要超过几百个评估来解决。然而,稀疏GP引入的近似误差使所有现有的遗憾界限无效。在这项工作中,我们进行了理论和实证分析的可扩展TS。我们提供了理论保证,并表明,可扩展TS的计算复杂度的大幅减少,可以享受没有损失的遗憾性能超过标准TS。这些概念性的要求验证了实际实施的可扩展的TS合成基准,并作为一个现实世界的高通量分子设计任务的一部分。
2021-11-05 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Composite Gaussian process models for emulating expensive functions
提出了一种新的非平稳高斯过程模型,用于逼近计算量大的函数。新模型是两个高斯过程的组合,其中第一个捕获平滑的全局趋势,第二个模拟局部细节。新的预测器还集成了一个灵活的方差模型,这使得它更能够近似具有不同波动率的表面。与常用的平稳高斯过程模型相比,新的预测器在数值上更稳定,并且在试验设计稀疏的情况下能够更精确地逼近复杂曲面。此外,新模型还可以通过量化与响应相关的局部变异性的变化来改善预测区间。新的预测器的优点证明使用几个例子。
2013-01-11 stat.AP
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre(拉德堡德大学医学中心);Radboud University(拉德堡德大学)
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归,其提供该方法所需的不确定性的相干估计,但不考虑空间协方差结构。在这里,我们介绍了一个可扩展的多任务高斯过程回归(S-MTGPR)的方法来解决这个问题。为此,我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合,以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上,我们发现S-MTGPR:1)导致了大量的计算改进,使我们能够估计高维fMRI数据的规范模型,同时考虑数据中的空间结构; 2)通过对空间和跨样本方差进行建模,它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
Bias-Free Scalable Gaussian Processes via Randomized Truncations
Zuckerman Institute(祖克曼研究所);Columbia University(哥伦比亚大学)
可扩展高斯过程方法在计算上是有吸引力的,但是引入了需要严格研究的建模偏差。分析了两种常用的特征提取技术:早期截断共轭梯度(CG)和随机傅立叶特征(RFF)。我们发现,这两种方法都引入了一个系统的偏见学习超参数:CG往往欠拟合,而RFF往往过拟合。我们解决这些问题,使用随机截断估计,消除偏差,以换取增加方差。在RFF的情况下,我们表明,偏差方差转换确实是一个权衡:额外的方差证明不利于优化。然而,在CG的情况下,我们的无偏学习过程有意义地优于其有偏的副本,最小的额外计算。
2021-06-29 cs.LG stat.ML
Scalable Training of Inference Networks for Gaussian-Process Models
Tsinghua University(清华大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在高斯过程(GP)模型中的推断对于大数据是计算上具有挑战性的,并且通常难以用少量的诱导点近似。我们探索了一种替代近似,采用随机推理网络的灵活推理。不幸的是,对于这样的网络,小批量训练很难在大型数据集的函数输出上学习有意义的相关性。我们提出了一种算法,使这样的训练通过跟踪一个随机的,功能镜像下降算法。在每次迭代中,这只需要考虑有限数量的输入位置,从而产生可扩展且易于实现的算法。实证结果表明,可比的,有时,优于现有的稀疏变分GP方法的性能。
2019-05-27 cs.LG stat.ML
Fully Scalable Gaussian Processes using Subspace Inducing Inputs
University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入完全可扩展的高斯过程,一个实现方案,解决了大量的训练实例与高维输入数据一起处理的问题。我们的关键思想是一个表示技巧的诱导变量称为子空间诱导输入。这是结合一定的矩阵预处理的变分分布,导致简化和数值稳定的变分下界的参数化。我们的说明性应用程序是基于具有挑战性的极端多标签分类问题与非常大量的类标签的额外负担。我们证明了我们的方法的有用性,提出预测性能与低计算时间在数据集具有非常大的实例和输入尺寸。
2018-07-12 cs.LG stat.ML
Latent variable estimation with composite Hilbert space Gaussian processes
TU Dortmund University(多特蒙德工业大学)
本研究提出基于复合希尔伯特空间高斯过程的可扩展潜变量估计模型,通过谱分解实现降秩以适配大数据,经模拟和单细胞生物学案例验证,在估计准确性、校准和速度上均有效,助力生物过程研究。
2025-10-29 stat.ME
Composite Inference for Gaussian Processes
大规模高斯过程模型正变得越来越重要,并广泛应用于许多领域,例如,计算机实验,通过模拟的随机最优化,以及使用高斯过程的机器学习。标准方法,如用于参数估计的极大似然估计(MLE)和用于预测的最佳线性无偏预测器(BLUP),通常是许多应用中的主要选择。尽管这些方法有其优点,但当样本量很大时,由于计算复杂而不可行。针对大规模高斯过程模型的计算问题,提出了一种新的参数估计和预测方法。该方法充分利用了条件密度之间的相关性,将参数估计和预测有机地结合起来:首先基于条件密度的联合分布构造一种统计上有效的复合似然估计参数,然后根据未知输入点在每个块子集上的分布条件,构造“复合推理”对未知输入点进行预测.所提出的方法将棘手的BLUP转化为一个易于处理的凸优化问题。它还表明,由所提出的方法,称为最佳线性无偏块预测,具有最小的方差为一个给定的分离的数据集的预测。关键词:大规模,并行计算,复合似然,空间过程
2018-08-01 stat.ME
Gaussian Processes with Input Location Error and Applications to the Composite Parts Assembly Process
在本文中,我们研究了输入位置误差的高斯过程建模,其中输入被噪声破坏。在这里,最好的线性无偏预测器的两种情况下,根据是否有噪声的目标未观察到的位置。我们表明,均方预测误差收敛到一个非零常数,如果有噪声的目标未观察到的位置,并提供了一个上界的均方预测误差,如果没有噪声的目标未观察到的位置。我们研究了随机克里格法在具有输入位置误差的高斯过程预测中的应用,并表明当样本量较大时,随机克里格法是一个很好的近似。给出了几个数值例子来说明结果,并提出了一个案例研究的复合材料零件的装配。技术证明见附录。
2021-03-01 math.ST stat.TH
Latent Gaussian process with composite likelihoods and numerical quadrature
Aalto University(阿尔托大学);HUS Helsinki University Hospital(赫尔辛基大学医院);University of Helsinki(赫尔辛基大学)
临床患者记录是高维数据的一个示例,其通常从不同的源收集并且包括具有噪声以及缺失值的多个可能性。在这项工作中,我们提出了一个无监督的生成模型,可以在潜在空间中的观察中学习低维表示,同时利用具有缺失值的异构数据设置中的所有可用数据。我们改进了现有的高斯过程潜变量模型(GPLVM),通过将多个似然和深度神经网络参数化后约束,创建一个非线性降维技术的异构数据。此外,我们开发了一个变分推断方法,我们的模型,使用数值积分。我们建立了我们的模型的有效性,并与现有的GPLVM方法在一个标准的基准数据集,以及在HUS赫尔辛基大学医院治疗的帕金森病患者的临床数据进行比较。
2021-04-20 cs.LG stat.AP stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University(康奈尔大学);Tsinghua University(清华大学)
最近的工作表明,高斯过程的推理可以有效地使用迭代法,只依赖于矩阵向量乘法(MVMs)。结构化核插值(SKI)通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是,这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习,利用产品的内核结构。我们证明,这种技术是广泛适用的,导致线性而不是指数运行时间与SKI的尺寸,以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程(GP)回归是一种灵活的非参数回归方法,可以自然量化不确定性。在许多应用中,响应和协变量的数量都很大,目标是选择与响应相关的协变量。对于这种设置,我们提出了一种新的,可扩展的算法,创造VGPR,它优化了惩罚GP对数似然的基础上的Vecchia GP近似,有序的条件近似从空间统计学,这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚,依次添加候选协变量的对数似然梯度的基础上,并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样,它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明,相对于现有的方法,改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
GNet: A scalable and flexible Gaussian process network with nonparametric neurons
University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
研究开发GNet这种可扩展灵活高斯过程网络,引入联合逆卡尔曼滤波器降低成本,通过统一优化设置,在多种测试问题中展现竞争力,能广泛应用于大规模预测建模并降低计算和存储成本。
2026-09-22 stat.CO stat.ME stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University(杜克大学)
提出三角求积傅里叶特征(TQFF)方法,利用新型非高斯求积规则解决高度振荡求积导致的病态问题,在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich(苏黎世联邦理工学院)
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间,发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
Composite likelihood estimation for a gaussian process under fixed domain asymptotics
本文研究了具有指数协方差函数的一维高斯过程在固定域渐近下的协方差参数估计问题。我们表明,加权成对最大似然估计的微遍历参数可以是一致的或不一致的。这取决于似然优化中的容许参数值的范围。另一方面,加权两两条件极大似然估计总是相容的。当它们是一致的时,这两个估计量也是渐近高斯的。它们的渐近方差大于或严格大于极大似然估计量的渐近方差。为了比较两两似然估计量的有限样本行为及其渐近分布,给出了一个模拟研究。对于更一般的协方差函数,对于方差参数的加权成对最大似然估计量,提供了一个附加的不一致结果。
2019-07-12 math.ST stat.TH
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中,不确定性的量化是主要的兴趣,它是必要的,以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法,从协方差参数的后验分布中提取样本,具有可忽略的偏差,而不需要计算边缘似然。在高斯过程回归中,这有一个巨大的优点,即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器,以加速梯度的无偏估计。结果表明,使可扩展的和准确的(在蒙特卡罗意义上)量化高斯过程中的不确定性,而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol(数学系英国布里斯托尔大学)
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架,通过低秩近似Gram矩阵实现后验一致性,并引入乘积特征图核解决过平滑问题,实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
Scalable Gaussian Processes on Discrete Domains
University College London(伦敦大学学院)
离散域上的核方法在处理生物序列数据和分子结构数据等具有挑战性的数据类型方面有着广阔的应用前景。像支持向量机这样的可扩展核方法可以提供良好的预测性能,但本质上不提供不确定性估计。相比之下,像高斯过程这样的概率核方法除了提供良好的预测性能之外还提供不确定性估计,但在可扩展性方面不足。虽然高斯过程的可扩展性可以使用稀疏诱导点近似来改进,但是这些诱导点的选择仍然具有挑战性。我们探讨了不同的技术选择诱导点离散域,包括贪婪选择,决定点过程,和模拟退火。我们发现,模拟退火可以选择不在训练集中的诱导点,可以在合成数据以及具有挑战性的真实世界DNA序列数据上与支持向量机和全高斯过程竞争。
2021-05-26 cs.AI cs.LG stat.ML
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV;De Vinci Higher Education, De Vinci Research Center(德芬奇高等教育,德芬奇研究中心)
针对分数高斯过程,提出通过顺序最大化Godambe信息来选择子集,以平衡估计精度与计算成本,并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Scalable Gaussian Processes: Advances in Iterative Methods and Pathwise Conditioning
University of Cambridge(剑桥大学)
本论文结合迭代方法与路径条件化,将高斯过程计算转化为线性方程组求解,降低内存需求并适配现代硬件,实现大规模可扩展应用。
2025-07-09 cs.LG stat.ML
A scalable end-to-end Gaussian process adapter for irregularly sampled time series classification
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个一般的框架,稀疏和不规则采样的时间序列的分类。这样的时间序列的属性可能导致基本时间过程的值的实质性不确定性,同时使得数据难以使用假定固定维度特征空间的标准分类方法来处理。为了解决这些挑战,我们提出了一个不确定性感知的分类框架,基于一个特殊的计算层,我们称为高斯过程适配器,可以连接不规则采样的时间序列数据的任何黑盒分类器使用梯度下降学习。我们展示了如何结合结构化内核插值框架和Lanczos近似方法来扩大所需的计算量,以及如何使用反向传播来区别性地训练高斯过程适配器与一些端到端的分类器。
2016-10-28 cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK(计算机科学系,曼彻斯特大学,曼彻斯特,英国)
提出邻居驱动的近似策略,利用潜空间局部邻接关系实现可扩展的GPVAE推理,在保留依赖性的同时减少诱导点需求,并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Prediction Using a Bayesian Heteroscedastic Composite Gaussian Process
本研究提出了Ba和Joseph(2012)的复合高斯过程(CGP)模型的灵活贝叶斯扩展,用于预测(平稳或)非平稳$y(\mathbf{x})$。CGP通过用平稳高斯过程(GP)代替回归项来推广回归加平稳GP模型。新的模型,$Y(\mathbf{x})$,可以容纳大规模的趋势估计的全球GP,局部趋势估计的独立的本地GP,和第三个过程来描述异方差数据,其中$Var(Y(\mathbf{x}))$可以依赖于输入。本文提出了一种先验,确保拟合的全局均值比局部偏差更平滑,并扩展了CGP的协方差结构,以允许差分加权的全局和局部分量。提出了一种马尔可夫链蒙特卡罗算法来提供参数的后验估计,包括训练和测试数据位置处的异方差方差值。使用后验分布进行预测,并使用预测区间量化预测的不确定性。该方法使用固定和非固定的$y(\mathbf{x})$。
2019-06-25 stat.ME
Learning Time-Varying Multi-Region Brain Communications via Scalable Markovian Gaussian Processes
School of Computational Science \& Engineering, Georgia Institute of Technology, Atlanta, USA
提出基于马尔可夫高斯过程的 Adaptive Delay Model (ADM),通过结合状态空间模型与并行扫描算法,从多区域神经记录中高效学习具有时变延迟的大脑通信,揭示了神经交互的方向性与时间动态。
2025-08-10 cs.LG stat.ML
Kernel Interpolation for Scalable Online Gaussian Processes
New York University(纽约大学);Cornell University(康奈尔大学)
高斯过程(GP)为在线设置中的性能提供了黄金标准,例如样本有效控制和黑盒优化,其中我们需要在以顺序方式获取数据时更新后验分布。然而,在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量,同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置,贝叶斯优化,主动采样,以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University(莫斯科国立大学);Cornell University(康奈尔大学);National Research University Higher School of Economics(国立研究型高等经济大学);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
提出了一种高斯过程(GP)模型近似推理的方法(TT-GP)。我们建立在以前的可扩展GP研究,包括随机变分推理的基础上诱导输入,内核插值,和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数,这使我们能够训练GP与数十亿诱导输入,并实现国家的最先进的结果在几个基准。此外,我们的方法允许基于深度神经网络训练内核,而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入,GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练,通过GP边际似然最大化。我们在几个回归和分类基准数据集,包括MNIST,CIFAR-10,和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
Scalable Gaussian Processes with Grid-Structured Eigenfunctions (GP-GRIEF)
University of Toronto(多伦多大学)
我们引入了一个核近似策略,使计算的高斯过程对数边际似然和所有超参数导数在$\mathcal{O}(p)$时间。我们的GRIEF内核由$p$本征函数发现使用Nystrom近似从密集的笛卡尔积网格的诱导点。通过利用Kronecker和Khatri-Rao张量积的代数性质,训练过程的计算复杂度实际上可以与诱导点的数量无关。这允许我们使用任意多个诱导点来实现全局精确的核近似,即使在高维问题中也是如此。快速似然评估使得能够在大规模数据集上进行I型或II型贝叶斯推断。我们在现实世界的问题上对我们的算法进行基准测试,训练点和$10^{33}$诱导点多达200万个。
2018-08-01 cs.LG stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University(康奈尔大学);Phillips Research Hamburg(飞利浦研究汉堡)
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程(GP)的核学习等各种应用,必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量,只有快速矩阵向量乘法(MVMs)。这些随机逼近基于Chebyshev、Lanczos和代理模型,即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现,Lanczos一般优于Chebyshev的内核学习,和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Scalable Deep Basis Kernel Gaussian Processes
School of Industrial and Systems Engineering(工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出了一种基于深度基核的可扩展GP回归器,通过显式低秩结构实现线性复杂度推断,并解决边际似然最大化导致的不确定性问题,提升了大规模回归任务的性能。
2026-02-04 cs.LG stat.ML
When Gaussian Process Meets Big Data: A Review of Scalable GPs
Nanyang Technological University(南洋理工大学)
大数据带来的大量信息以及不断发展的计算机硬件鼓励机器学习社区的成功故事。与此同时,它提出了挑战的高斯过程(GP)回归,一个著名的非参数和可解释的贝叶斯模型,它遭受立方复杂性的数据大小。为了在保持期望的预测质量的同时提高可缩放性,已经提出了各种可缩放GP。但是,它们尚未得到全面的审查和分析,以便学术界和工业界都能很好地理解。由于数据量的爆炸性增长,GP社区对可扩展GP的审查是及时和重要的。为此,本文致力于审查国家的最先进的可扩展的GP涉及两个主要类别:全球近似蒸馏的整个数据和局部近似划分的数据子空间学习。特别地,对于全局近似,我们主要关注稀疏近似,包括修改先验但执行精确推理的先验近似,保留精确先验但执行近似推理的后验近似,以及利用核矩阵中的特定结构的结构化稀疏近似;对于局部近似,我们强调专家的混合/乘积,其从多个局部专家进行模型平均以提高预测。为了提出一个完整的审查,最近的进展,以提高可扩展性和能力的可扩展的全球定位系统进行审查。最后,扩展和开放的问题,可扩展的GP在各种情况下的实施进行了审查和讨论,以激发新的想法,为未来的研究途径。
2019-04-09 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
ISBO: Scalable Spatio-Temporal Bayesian Optimization with Log Gaussian Cox Process Models via the INLA-SPDE Approach
KAUST(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
研究针对时空数据的贝叶斯优化问题,提出首个可扩展框架ISBO,采用LGCP建模、INLA-SPDE推断,实验显示其峰值发现与强度恢复准确且速度显著提升,是点过程数据BO的实用方案。
2026-10-14 cs.LG stat.ML
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了分散和可扩展的算法高斯过程(GP)的训练和预测的多智能体系统。为了分散GP训练优化算法的实现,我们采用交替方向乘法器(ADMM)。一个封闭形式的解决方案,分散近端ADMM的情况下,GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的,使用迭代和共识方法。此外,我们提出了一种基于协方差的最近邻选择策略,使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London(伦敦大学学院)
高斯过程(GP)中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的,但在高维数据集中,这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验,并推断变量包含的后验概率。然而,GP中的现有实现在高维和大$n$数据集中运行都非常昂贵,或者仅适用于具有特定内核的无监督设置。因此,我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力,以适应相关变量的稀疏性贝叶斯模型平均超参数,并实现了大幅度的速度使用零温度后验限制,丢弃修剪和最近邻最小化。在实验中,我们的方法始终优于普通和稀疏变分GP,同时保持相似的运行时间(即使是在$n=10^6$时),并且与使用MCMC的尖峰和平板GP的性能具有竞争力,但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Scalable Magnetic Field SLAM in 3D Using Gaussian Process Maps
Delft University of Technology(代尔夫特理工大学);Aalto University(阿尔托大学);University of Cambridge(剑桥大学)
本文提出一种利用磁场局部异常进行三维磁场SLAM的方法,采用高斯过程模型和六边形分块映射,结合降维高斯过程回归与 Rao-Blackwellised 粒子滤波,实现高效计算和存储的SLAM算法。
2018-06-10 cs.RO cs.SY eess.SY
MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation
高斯过程(GP)是一种在许多应用中流行的非线性概率模型。然而,简单的GP实现需要二次存储器来存储协方差阵和三次计算来执行推断或评估似然函数。这些瓶颈推动了对近似GP替代方案的开发的大量投资,这些替代方案可扩展到现代数据驱动应用程序中常见的大数据大小。在这篇手稿中,我们提出了一种新的有效的GP超参数估计方法MuyGPs。MuyGPs建立在利用数据最近邻结构的现有方法基础上,并使用留一交叉验证来优化协方差(内核)超参数,而不会实现可能昂贵的可能性。我们详细描述了我们的模型和方法,并比较我们的实现对最先进的竞争对手在基准空间统计学问题。我们表明,我们的方法优于所有已知的竞争对手,无论是在时间的解决方案和根均方误差的预测。
2021-04-29 stat.CO stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Scalable Grouped Gaussian Processes via Direct Cholesky Functional Representations
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
我们考虑多任务回归模型,其中观测被假设为几个潜在节点和权重函数的线性组合,所有这些都来自高斯过程(GP)先验,允许分组潜在函数之间的非零协方差。我们表明,当这些分组功能是有条件的独立给定一个组相关的枢轴,它是可以直接通过稀疏Cholesky因子参数化的先验,从而避免他们的计算在推理过程中。此外,我们建立的内核是乘法可分离的输入点自然产生这样的稀疏参数化,没有任何额外的假设。最后,我们将这些稀疏结构的使用扩展到变分推断中的近似后验,进一步提高了函数数量的可扩展性。我们在分布式太阳能预测的多任务数据集上测试了我们的方法,结果表明它优于几个多任务GP基线,并且我们的稀疏规范比非稀疏规范实现了相同或更好的准确性。
2019-07-22 cs.LG stat.ML