Generalized and Scalable Deep Gaussian Process Emulation
University College London(伦敦大学学院)
本文提出广义深度高斯过程框架,用于处理异方差高斯输出和多种非高斯响应分布,通过Vecchia近似和高效推断方法提升可扩展性,展示其在合成和实际数据中的应用。
2026-11-05 stat.CO
Scalable Computations for Nonstationary Gaussian Processes
非平稳高斯过程模型可以捕捉空间数据集中复杂的空间变化相关结构。然而,现代数据集中的大量观测使得用传统的稠密线性代数拟合这样的模型在计算上是困难的。此外,无导数或甚至一阶优化方法在估计许多空间变化参数时可能收敛缓慢。我们在这里提出了一个计算框架,耦合的代数块对角加低秩协方差阵近似与随机跟踪估计,以方便有效地使用二阶求解器的极大似然估计的高斯过程模型与许多参数。我们证明了这些方法的有效性,同时拟合192个参数在流行的非平稳模型的Eschorek和Schervish使用107,600海表温度异常测量。
2022-06-10 stat.CO
Scalable Inference for Space-Time Gaussian Cox Processes
对数高斯Cox过程是一种灵活而流行的点模式模型,用于捕获点模式的空间和时空依赖性。模型拟合需要通过在感兴趣的域上离散化来实现随机积分的近似。对于精细尺度离散化,基于马尔可夫链蒙特卡罗的推断在计算上是繁重的,因为对于与潜在高斯变量相关联的高维协方差阵,矩阵分解和存储(例如Cholesky)的成本。本文通过结合两个最新的发展来解决这些计算瓶颈:(i)已经为时空高斯考克斯过程提出的数据增强策略,其基于精确的贝叶斯推断并且不需要用于无限维积分的细网格近似,以及(ii)最近开发的稀疏诱导高斯过程族,称为最近邻高斯过程,以避免昂贵的矩阵计算。我们的推理是在完全基于模型的贝叶斯范式内进行的,并且不会牺牲传统对数高斯Cox过程的丰富性。我们将我们的方法应用于旧金山的犯罪事件数据,并研究强度表面的恢复。
2018-10-22 stat.CO
Scalable generative modeling of non-Gaussian spatio-temporal fields via autoregressive Gaussian processes
Texas A&M University(德克萨斯农工大学);University of Houston(休斯顿大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出一种基于自回归高斯过程和输运图的生成建模方法,用于非高斯时空场,通过条件分布乘积和稀疏性实现可扩展性,并在千万级气候数据上验证了准确性与效率。
2026-10-02 stat.ME
Scalable computation of predictive probabilities in probit models with Gaussian process priors
二进制数据的预测模型是各个领域的基础,并且现代应用的日益复杂性激发了几种灵活的规范来建模所观察到的预测因子和二进制响应之间的关系。一个广泛实施的解决方案是通过预测指标索引的高斯过程的概率比特映射来表达概率参数。然而,与连续设置不同,在具有高斯过程先验的二元模型中,缺乏预测分布的封闭形式结果。马尔可夫链蒙特卡罗方法和近似策略为这个问题提供了常见的解决方案,但最先进的算法要么计算上难以处理,要么在中高维中不准确。在这篇文章中,我们的目标是通过推导概率单位高斯过程中的预测概率的封闭形式表达式来弥补这一差距,该过程依赖于多元高斯的累积分布函数或多元截断法线的泛函。为了评估这些数量,我们开发了新的可扩展的解决方案的基础上瓷砖低秩蒙特卡罗方法计算多元高斯概率,和平均场变分近似的多元截断法线。封闭形式的表达式的边缘似然和后验分布的高斯过程进行了讨论。如模拟和真实世界的实证研究所示,所提出的方法可扩展到最先进的解决方案不切实际的维度。
2022-01-27 stat.CO
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型,称为扩展的潜在高斯模型,允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型,包括多分辨率空间过程,部分基于似然的生存模型,和多变量测量误差模型。由于精确的后验分布的计算是不可行的,我们开发了一个快速的,可扩展的近似贝叶斯推断方法,这一类的基础上嵌套高斯,拉普拉斯,自适应正交近似。我们证明了在标准条件下,这些近似后验的误差是op(1),并提供了数值证据表明,我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快,可扩展到更大的数据集,具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据,映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型,并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程(GP)回归是一种灵活的非参数回归方法,可以自然量化不确定性。在许多应用中,响应和协变量的数量都很大,目标是选择与响应相关的协变量。对于这种设置,我们提出了一种新的,可扩展的算法,创造VGPR,它优化了惩罚GP对数似然的基础上的Vecchia GP近似,有序的条件近似从空间统计学,这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚,依次添加候选协变量的对数似然梯度的基础上,并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样,它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明,相对于现有的方法,改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
Scalable Variational Gaussian Process Classification
高斯过程分类是一种流行的方法,具有许多吸引人的特性。我们展示了如何在变分诱导点框架内扩展模型,在基准数据集上表现优于最先进的模型。重要的是,变分公式可以被利用,以允许在数百万个数据点的问题进行分类,我们在实验中证明。
2014-11-07 stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich(苏黎世联邦理工学院)
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间,发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
A Scalable Gaussian Process for Large-Scale Periodic Data
周期性高斯过程(PGP)由于其高精度而被越来越多地用于对周期性数据进行建模。然而,计算PGP的可能性具有$\mathcal{O}\left(n^{3}\right)$($n$是数据大小)的高计算复杂度,这阻碍了其广泛应用。为了解决这个问题,我们针对信号处理应用中常见的网格收集的大规模周期性数据提出了一种新型循环PGP(CPGP)模型。建议CPGP的PGP的对数似然分解成两个计算可扩展的复合对数似然,这不涉及任何近似的总和。计算CPGP的似然性仅需要$\mathcal{O}\left(p^{2}\right)$(或在某些特殊情况下$\mathcal{O}\left(p\log p\right)$)时间用于网格观测,其中段长度$p$独立于且远小于$n$。仿真和真实的案例研究表明,CPGP的优越性超过一些国家的最先进的方法,特别是对于需要周期性估计的应用。这种新的建模技术可以大大提高PGP在许多领域的适用性,并允许许多以前难以解决的问题的建模。
2023-02-09 stat.ME
Radial Neighbors for Provably Accurate Scalable Approximations of Gaussian Processes
针对大规模地统计问题中高斯过程近似方法缺乏理论支撑、对图结构敏感的问题,提出基于有向无环图的径向邻居高斯过程RadGP,证明其Wasserstein-2距离近似误差界,并通过实验验证其先验和后验近似的优异性能。
2024-06-20 math.ST stat.ME stat.TH
Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
Aalto University(阿尔托大学)
本文提出一种针对混合域协方差函数的基函数近似方案,使高斯过程推断随观测数和基函数数线性扩展,并展示了其在纵向数据中实现准确、可扩展且可解释的模型简化能力。
2025-04-08 cs.LG stat.CO
Scalable Gaussian Process Inference with Finite-data Mean and Variance Guarantees
Harvard University(哈佛大学);University of British Columbia(英属哥伦比亚大学);University of Luxembourg(卢森堡大学);MIT(麻省理工学院)
高斯过程(GP)为非参数贝叶斯回归提供了一种灵活的先验类别,但流行的GP后验推理方法通常非常缓慢或缺乏理想的有限数据质量保证。我们开发了一种方法,可扩展的近似GP回归有限数据保证逐点后验均值和方差估计的准确性。我们的主要贡献是一个新的目标近似推理的非参数设置:预处理的Fisher(PF)的分歧。我们发现,不同于库尔贝克-莱布勒散度(用于变分推断),pF发散边界的2-瓦瑟斯坦距离,这反过来又提供了严格的边界的逐点差的均值和方差函数。我们证明,对于稀疏GP似然近似,我们可以有效地最小化pF发散。我们的实验表明,优化pF发散具有与变分稀疏GP相同的计算要求,同时提供可比的经验性能-除了我们新的有限数据质量保证。
2019-03-27 cs.LG stat.CO stat.ME
Scalable Heteroskedastic Gaussian Process Models for Large Inhomogeneous Datasets
Simon Fraser University(西蒙菲莎大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
该研究提出HetNV框架,结合Vecchia似然近似与残差非参数方差估计,用于大型异方差数据集的高斯过程回归,在保持均值预测精度的同时提升不确定性估计,且可应用于航天器等离子体测量的信号检测。
2026-08-25 stat.ME
Scalable Gaussian Processes for Characterizing Multidimensional Change Surfaces
我们提出了一个可扩展的高斯过程模型,用于识别和表征平滑的多维变点,并自动学习表达协方差结构的变化。我们使用Random Kitchen Sink特征灵活地定义变化表面,并结合富有表现力的光谱混合内核来捕获复杂的统计结构。最后,通过使用加性不可分离内核的新方法,我们可以将模型扩展到大型数据集。我们在数值和真实世界的数据上展示了该模型,包括一个大型的时空疾病数据集,我们在其中识别了以前未知的空间和时间的异质变化。
2015-11-13 stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Scalable Model-Based Gaussian Process Clustering
针对大型网格上的函数型数据,提出将Vecchia近似嵌入聚类任务并开发高效EM算法,解决了高斯过程聚类计算复杂度过高的问题,实现了大规模环境应用中的可扩展性。
2023-09-14 stat.AP stat.CO stat.ML
Scalable Bayesian inference for heat kernel Gaussian processes on manifolds
针对流形上热核高斯过程的贝叶斯推断,提出基于图拉普拉斯转移矩阵降秩近似与截断奇异值分解的高效估计方法,在保留数据内在几何结构的同时将计算复杂度从O(n^3)降至O(n),有效提升了大规模数据流形学习的可扩展性与准确性。
2025-09-12 math.ST stat.ME stat.TH
Scalable Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);University of California, Irvine(加州大学欧文分校)
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善,但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型,在运行时间和内存占用方面优于现有的方法,易于实现,并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology(大连理工大学);Nanyang Technological University(南洋理工大学)
对于学习任务,高斯过程(GP)感兴趣的是学习输入和输出之间的统计关系,因为它不仅提供预测均值,而且还提供相关的变异性。然而,普通GP很难学习具有以下性质的复杂分布,例如,由于高斯边缘和立方复杂性,来自海量数据的异方差噪声、多模态和非平稳性。为此,本文研究了新的可扩展GP范式,包括非平稳异方差GP,GP和潜在GP的混合物,引入额外的潜在变量来调制输出或输入,以学习更丰富的,非高斯统计表示。我们进一步采取不同的变分推断策略,以达到分析或更严格的证据下限(ELBO)的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络(NN)的各种任务的同行验证了这些可扩展的调制GP的优越性,特别是可扩展的潜在GP,学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Composite Gaussian Processes: Scalable Computation and Performance Analysis
高斯过程(GP)模型为预测提供了强大的工具,但是使用大数据集在计算上是禁止的。在这种情况下,人们不得不求助于近似方法。我们推导出一个近似的基础上使用一般的信念更新框架,这导致了一个递归计算的预测以及学习的超参数的复合似然方法。然后,我们提供了一个衍生的复合GP模型的预测和信息理论方面的分析。最后,我们评估的近似与合成数据和现实世界的应用。
2018-01-31 stat.ML
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了分散和可扩展的算法高斯过程(GP)的训练和预测的多智能体系统。为了分散GP训练优化算法的实现,我们采用交替方向乘法器(ADMM)。一个封闭形式的解决方案,分散近端ADMM的情况下,GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的,使用迭代和共识方法。此外,我们提出了一种基于协方差的最近邻选择策略,使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University(得克萨斯农工大学)
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法,其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的,并且在大多数应用中通常非常小,因此这导致线性成本求解器。该方法可以应用于多维问题,如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现,这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能,称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示,从而导致所提出的算法。仿真研究表明,所提出的算法,适用时,是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们引入了一个新的结构化核插值(SKI)框架,该框架推广和统一了可伸缩高斯过程(GP)的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导(又名插值)点的数量、插值策略和GP协方差核。SKI还提供了一种机制,通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值,我们引入了KISS-GP,它1)比诱导点替代方案更具可扩展性,2)自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益,而不需要任何网格数据,3)可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O(n)。我们评估KISS-GP的核矩阵近似,核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
高斯过程分类(GPC)提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而,常规GPC遭受(i)由于完整的内核矩阵而导致的大数据的可扩展性差,以及(ii)由于非高斯似然性而导致的难以处理的推断。因此,已经提出了各种可扩展的GPC,通过(i)稀疏近似建立在一个小的诱导集,以减少时间复杂度;和(ii)近似推理,以获得分析证据下限(ELBO)。然而,这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中,我们提出了一个统一的框架,可容纳可扩展的GPC使用各种可能性。类似于GP回归(GPR),我们引入加性噪声来增加概率空间(i)GPC与步骤,(多项式)probit和logit似然通过内部变量;特别是,(ii)GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看,我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Scalable Gaussian Processes on Discrete Domains
University College London(伦敦大学学院)
离散域上的核方法在处理生物序列数据和分子结构数据等具有挑战性的数据类型方面有着广阔的应用前景。像支持向量机这样的可扩展核方法可以提供良好的预测性能,但本质上不提供不确定性估计。相比之下,像高斯过程这样的概率核方法除了提供良好的预测性能之外还提供不确定性估计,但在可扩展性方面不足。虽然高斯过程的可扩展性可以使用稀疏诱导点近似来改进,但是这些诱导点的选择仍然具有挑战性。我们探讨了不同的技术选择诱导点离散域,包括贪婪选择,决定点过程,和模拟退火。我们发现,模拟退火可以选择不在训练集中的诱导点,可以在合成数据以及具有挑战性的真实世界DNA序列数据上与支持向量机和全高斯过程竞争。
2021-05-26 cs.AI cs.LG stat.ML
Scalable Thompson Sampling using Sparse Gaussian Process Models
MediaTek Research(联发科研究中心);Secondmind;Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
基于高斯过程(GP)模型的汤普森采样(TS)是黑箱函数优化的有力工具。虽然TS享有强大的理论保证和令人信服的经验性能,它会产生一个大的计算开销,规模与优化预算的多项式。最近,基于稀疏GP模型的可扩展TS方法已经被提出来增加TS的范围,使其应用于足够多模态、噪声或组合的问题,以需要超过几百个评估来解决。然而,稀疏GP引入的近似误差使所有现有的遗憾界限无效。在这项工作中,我们进行了理论和实证分析的可扩展TS。我们提供了理论保证,并表明,可扩展TS的计算复杂度的大幅减少,可以享受没有损失的遗憾性能超过标准TS。这些概念性的要求验证了实际实施的可扩展的TS合成基准,并作为一个现实世界的高通量分子设计任务的一部分。
2021-11-05 cs.LG stat.ML
Scalable Scalar-on-Image Cortical Surface Regression with a Relaxed-Thresholded Gaussian Process Prior
针对大规模ABCD fMRI数据集分析挑战,提出基于放宽阈值高斯过程先验的可扩展贝叶斯标量-图像回归模型,通过变分近似和Karhunen-Loève展开降低计算成本,在特征选择上引入灵活性,并在模拟和ABCD研究中验证了其高效性与准确性。
2024-03-20 stat.AP stat.ME
MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation
高斯过程(GP)是一种在许多应用中流行的非线性概率模型。然而,简单的GP实现需要二次存储器来存储协方差阵和三次计算来执行推断或评估似然函数。这些瓶颈推动了对近似GP替代方案的开发的大量投资,这些替代方案可扩展到现代数据驱动应用程序中常见的大数据大小。在这篇手稿中,我们提出了一种新的有效的GP超参数估计方法MuyGPs。MuyGPs建立在利用数据最近邻结构的现有方法基础上,并使用留一交叉验证来优化协方差(内核)超参数,而不会实现可能昂贵的可能性。我们详细描述了我们的模型和方法,并比较我们的实现对最先进的竞争对手在基准空间统计学问题。我们表明,我们的方法优于所有已知的竞争对手,无论是在时间的解决方案和根均方误差的预测。
2021-04-29 stat.CO stat.ML
Accelerating Posterior sampling for Scalable Gaussian Process model
本文通过模拟研究评估了多种加速共轭梯度法的技术,发现对角预条件子和cgsparse在高维空间贝叶斯计算中表现稳健,为实践者选择合适计算技术提供了指导。
2025-05-04 stat.CO
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre(拉德堡德大学医学中心);Radboud University(拉德堡德大学)
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归,其提供该方法所需的不确定性的相干估计,但不考虑空间协方差结构。在这里,我们介绍了一个可扩展的多任务高斯过程回归(S-MTGPR)的方法来解决这个问题。为此,我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合,以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上,我们发现S-MTGPR:1)导致了大量的计算改进,使我们能够估计高维fMRI数据的规范模型,同时考虑数据中的空间结构; 2)通过对空间和跨样本方差进行建模,它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
Bias-Free Scalable Gaussian Processes via Randomized Truncations
Zuckerman Institute(祖克曼研究所);Columbia University(哥伦比亚大学)
可扩展高斯过程方法在计算上是有吸引力的,但是引入了需要严格研究的建模偏差。分析了两种常用的特征提取技术:早期截断共轭梯度(CG)和随机傅立叶特征(RFF)。我们发现,这两种方法都引入了一个系统的偏见学习超参数:CG往往欠拟合,而RFF往往过拟合。我们解决这些问题,使用随机截断估计,消除偏差,以换取增加方差。在RFF的情况下,我们表明,偏差方差转换确实是一个权衡:额外的方差证明不利于优化。然而,在CG的情况下,我们的无偏学习过程有意义地优于其有偏的副本,最小的额外计算。
2021-06-29 cs.LG stat.ML
Scalable Training of Inference Networks for Gaussian-Process Models
Tsinghua University(清华大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在高斯过程(GP)模型中的推断对于大数据是计算上具有挑战性的,并且通常难以用少量的诱导点近似。我们探索了一种替代近似,采用随机推理网络的灵活推理。不幸的是,对于这样的网络,小批量训练很难在大型数据集的函数输出上学习有意义的相关性。我们提出了一种算法,使这样的训练通过跟踪一个随机的,功能镜像下降算法。在每次迭代中,这只需要考虑有限数量的输入位置,从而产生可扩展且易于实现的算法。实证结果表明,可比的,有时,优于现有的稀疏变分GP方法的性能。
2019-05-27 cs.LG stat.ML
Fully Scalable Gaussian Processes using Subspace Inducing Inputs
University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入完全可扩展的高斯过程,一个实现方案,解决了大量的训练实例与高维输入数据一起处理的问题。我们的关键思想是一个表示技巧的诱导变量称为子空间诱导输入。这是结合一定的矩阵预处理的变分分布,导致简化和数值稳定的变分下界的参数化。我们的说明性应用程序是基于具有挑战性的极端多标签分类问题与非常大量的类标签的额外负担。我们证明了我们的方法的有用性,提出预测性能与低计算时间在数据集具有非常大的实例和输入尺寸。
2018-07-12 cs.LG stat.ML
Scalable Gaussian Process Classification via Expectation Propagation
变分方法最近被认为是用于将高斯过程分类器的训练过程扩展到大数据集。作为替代方案,我们在这里描述如何使用期望传播有效地训练这些分类器。所提出的方法允许处理具有数百万个数据实例的数据集。更确切地说,它可以用于(i)以分布式方式进行训练,其中数据实例被发送到执行所需计算的不同节点,以及用于(ii)使用梯度的随机逼近来最大化边际似然的估计。几个实验表明,所描述的方法是有竞争力的变分方法。
2015-07-16 stat.ML
Scalable Bayesian Structure Learning for Gaussian Graphical Models Using Marginal Pseudo-likelihood
针对高斯图模型贝叶斯学习可扩展性差的问题,提出基于边际伪似然的连续时间与离散时间MCMC算法,实现千节点图的高效后验探索,兼具理论保证与计算优势。
2025-08-27 stat.CO stat.ME stat.ML
Scalable Magnetic Field SLAM in 3D Using Gaussian Process Maps
Delft University of Technology(代尔夫特理工大学);Aalto University(阿尔托大学);University of Cambridge(剑桥大学)
本文提出一种利用磁场局部异常进行三维磁场SLAM的方法,采用高斯过程模型和六边形分块映射,结合降维高斯过程回归与 Rao-Blackwellised 粒子滤波,实现高效计算和存储的SLAM算法。
2018-06-10 cs.RO cs.SY eess.SY
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University(康奈尔大学);Phillips Research Hamburg(飞利浦研究汉堡)
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程(GP)的核学习等各种应用,必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量,只有快速矩阵向量乘法(MVMs)。这些随机逼近基于Chebyshev、Lanczos和代理模型,即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现,Lanczos一般优于Chebyshev的内核学习,和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University(康奈尔大学);Tsinghua University(清华大学)
最近的工作表明,高斯过程的推理可以有效地使用迭代法,只依赖于矩阵向量乘法(MVMs)。结构化核插值(SKI)通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是,这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习,利用产品的内核结构。我们证明,这种技术是广泛适用的,导致线性而不是指数运行时间与SKI的尺寸,以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Triply-Scalable Equivariant Gaussian Process Modeling
Institute of Mathematical Statistics and Actuarial Science(数理统计与精算科学研究所);University of Bern(伯尔尼大学)
提出三重可扩展等变高斯过程,通过等变稀疏变分与无矩阵全GP实现,高效处理高维对称数据,并在分子性质预测中实现低计算成本的不确定性量化。
2026-09-21 cs.LG math.ST stat.AP
Thoughts on Massively Scalable Gaussian Processes
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们介绍了大规模可扩展高斯过程(MSGP)的框架和早期结果,显著扩展了Wilson和Nickisch(2015)的KISS-GP方法。MSGP框架允许在数十亿个数据点上使用高斯过程(GP),而不需要分布式推理或严格的假设。具体地,MSGP将GP学习和推断的标准$O(n^3)$复杂度降低到$O(n)$,并且将每个测试点预测的标准$O(n^2)$复杂度降低到$O(1)$。MSGP涉及1)将协方差矩阵分解为由循环矩阵近似的Toeplitz矩阵的Kronecker乘积。这种多级循环近似允许统一快速Kronecker和Toeplitz方法的正交计算益处,并且明显快于孤立的任一方法; 2)局部核插值和诱导点,以允许任意定位的数据输入和$O(1)$测试时间预测; 3)利用块-Toeplitz-块结构(BTTB),在不存在多维Kronecker结构的情况下实现快速推理和学习;以及4)输入空间的投影以灵活地对相关输入和高维数据进行建模。处理许多($m \approx n$)诱导点的能力允许接近精确的准确性和大规模的内核学习。
2015-11-05 cs.AI cs.LG stat.ME
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann(2006)的邻域选择方法的准贝叶斯实现,用于估计高斯图模型。该方法产生的产品形式的准后验分布,可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明,所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法,遵循Atchade(2015)的方法。我们说明了模拟研究的方法。结果表明,该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University(杜克大学)
提出三角求积傅里叶特征(TQFF)方法,利用新型非高斯求积规则解决高度振荡求积导致的病态问题,在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes
在本文中,我们提出了第一个非参数贝叶斯模型,使用高斯过程进行推断泊松点过程,而不诉诸网格化的域或引入潜在的细化点。与竞争模型不同,竞争模型的规模是立方的,并且在数据点的数量上有平方的内存需求,我们的模型具有线性复杂度和内存需求。我们提出了一个MCMC采样器,并表明我们的模型是更快,更准确,并产生更少的相关样本比竞争模型的合成和现实生活中的数据。最后,我们表明,我们的模型很容易处理的数据大小没有考虑到目前为止的替代方法。
2015-05-09 stat.ML
Scalable Gaussian Process Computations Using Hierarchical Matrices
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
本文提出了一种不依赖核的方法,利用分层矩阵解决高斯过程的最大似然估计问题,通过准线性复杂度O(n log²n)高效计算梯度、Hessian和期望Fisher信息矩阵。
2019-03-22 cs.NA math.NA math.OC
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol(数学系英国布里斯托尔大学)
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架,通过低秩近似Gram矩阵实现后验一致性,并引入乘积特征图核解决过平滑问题,实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
p-Markov Gaussian Processes for Scalable and Expressive Online Bayesian Nonparametric Time Series Forecasting
在本文中,我们介绍了一种新的在线时间序列预测模型,我们称之为pM-GP滤波器。我们证明了我们的模型等价于高斯过程回归,其优点是超参数的在线预测和在线学习都具有恒定的(而不是立方的)时间复杂度和恒定的(而不是平方的)观测数量的内存要求,而无需采用近似。此外,所提出的模型是表达的,家庭的协方差函数的隐含的潜在过程,即谱Matern内核,最近被证明是能够近似任意以及任何非线性不变的协方差函数。与竞争模型相比,我们的方法的好处是使用几个现实生活中的数据集上的实验证明。
2015-10-09 stat.ML