Minibatch Markov chain Monte Carlo Algorithms for Fitting Gaussian Processes
本文提出近似与精确的小批量马尔可夫链蒙特卡洛算法,通过每次仅处理数据子集来大幅降低高斯过程拟合的计算成本,并在模拟和真实数据上验证了其有效性。
2023-10-26 stat.CO stat.ME
A Two-Dimensional Intrinsic Gaussian Markov Random Field for Blood Pressure Data
许多现实世界的现象自然是双变量的。这包括血压,其包括收缩压和舒张压水平。在这里,我们开发了一个贝叶斯分层模型,同时估计这些值及其相互作用,使用稀疏的数据,国家之间和随着时间的推移有很大的不同。该模型的一个关键要素是一个二维二阶固有高斯马尔可夫随机场,它捕捉变量及其相互作用的非线性趋势。该模型使用马尔可夫链蒙特卡罗方法拟合,块梅特罗波利斯-黑斯廷斯算法提供有效的更新。性能证明使用模拟和真实的数据。
2021-11-15 stat.AP stat.ME
Dynamic Shrinkage Priors for Large Time-varying Parameter Regressions using Scalable Markov Chain Monte Carlo Methods
本文提出动态收缩先验与可扩展MCMC算法,以高效处理高维稀疏时变参数回归,并在人工数据及欧元区利率期限结构应用中验证了准确性与预测性能。
2023-05-12 econ.EM stat.ME
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗(MCMC)方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本,但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法,而是描述了一个阻塞吉布斯采样器,这是足够的可扩展性,以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型(GLMM)的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
Markov Chain Monte Carlo with Gaussian Process Emulation for a 1D Hemodynamics Model of CTEPH
Edwards Lifesciences Foundation Cardiovascular Innovation and Research Center, Department of Biomedical Engineering, University of California, Irvine(加州大学尔湾分校生物医学工程系爱德华兹生命科学基金会心血管创新与研究中心)
本研究结合计算血流动力学模型与高斯过程,对CTEPH大型动物模型进行个体化快速校准,揭示了微血管功能障碍和动脉壁剪切应力的变化。
2024-04-25 cs.CE cs.LG physics.data-an
Large Wave Direction Data Modeling Using Wrapped Spatial Gaussian Markov Random Fields
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出了一种包裹高斯马尔可夫随机场模型,用于高效建模大尺度方向数据,提升了计算效率和预测性能。
2026-03-06 stat.AP stat.ME
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company(埃克森美孚研究与工程公司)
我们报告了一个精确的似然计算线性高斯马尔可夫过程,是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算,并通过使用状态转移方程的对角化形式,实现了更好的缩放。使用这种有效的计算,我们研究了核学习的准确性,使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷,极大似然估计是一个有吸引力的选择,更密集的采样信号和低阶模型。我们确认估计行为的实验数据,通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
Tensorized algorithms and scalable filtering methods for hidden Markov and factorial hidden Markov models
Department of Mathematics, University of Tennessee, Knoxville, TN(数学系,田纳西大学, Knoxville, TN)
针对因子隐马尔可夫模型计算成本高的问题,利用张量代数开发可扩展滤波方法,直接利用其多维结构,无需构建中间表示,显著提升计算性能,可高效分析大系统和数据集,扩展了fHMM范围并提供实用框架。
2026-07-09 cs.LG stat.ML
Subset Selection for Gaussian Markov Random Fields
University of Rochester(罗切斯特大学)
给定一个高斯马尔可夫随机场,我们考虑的问题,选择一个子集的变量来观察,最大限度地减少未观察到的变量的总期望平方预测误差。我们首先表明,找到一个精确的解决方案是NP难的,即使是一个有限的类高斯马尔可夫随机场,称为高斯自由场,这出现在半监督学习和计算机视觉。然后,我们给出了任意图上高斯自由场的一个简单的贪婪近似算法。最后,我们给出了有界树宽图上一般高斯马尔可夫随机场的消息传递算法。
2012-09-26 cs.LG stat.ML
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Generalized Precision Matrix for Scalable Estimation of Nonparametric Markov Networks
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出广义精度矩阵(GPM),在涵盖连续、离散及混合型数据的一般分布下刻画条件独立结构,并在正则化分数匹配框架下实现了非参数马尔可夫网络的可扩展结构学习。
2023-05-19 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Learning Time-Varying Multi-Region Brain Communications via Scalable Markovian Gaussian Processes
School of Computational Science \& Engineering, Georgia Institute of Technology, Atlanta, USA
提出基于马尔可夫高斯过程的 Adaptive Delay Model (ADM),通过结合状态空间模型与并行扫描算法,从多区域神经记录中高效学习具有时变延迟的大脑通信,揭示了神经交互的方向性与时间动态。
2025-08-10 cs.LG stat.ML
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Banded Matrix Operators for Gaussian Markov Models in the Automatic Differentiation Era
带状矩阵可用作若干模型中的精度矩阵,包括线性状态空间模型、某些高斯过程和高斯马尔可夫随机场。本文的目的是使现代推理方法(如变分推断或基于梯度的采样)可用于具有带状精度的高斯模型。我们表明,这可以通过为自动微分框架(如TensorFlow或PyTorch)配备一些专用于带状矩阵的线性代数运算符来有效地实现。本文研究了所需的运营商的算法方面,详细介绍了他们的反向模式的衍生物,并表明其复杂性是线性的观察。
2019-02-26 cs.LG stat.ML
Scalable methods for computing state similarity in deterministic Markov Decision Processes
Google Brain(谷歌大脑)
我们提出了新的算法计算和近似互模拟指标的马尔可夫决策过程(MDP)。互模拟度量是一种优雅的形式主义,它捕获状态之间的行为等价性,并为最佳行为的差异提供强有力的理论保证。不幸的是,他们的计算是昂贵的,需要一个表格表示的状态,这迄今为止,使他们不切实际的大问题。在本文中,我们提出了一个新版本的度量,是绑在一个MDP的行为政策,随着其理论性质的分析。然后,我们提出了两个新的算法近似互模拟度量大,确定性的MDP。第一个通过采样来实现,并保证收敛到真实的度量。第二个是可微损失,它使我们能够学习连续状态MDP的近似值,这在此之前是不可能的。
2019-11-21 cs.AI cs.LG stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Scalable Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);University of California, Irvine(加州大学欧文分校)
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善,但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型,在运行时间和内存占用方面优于现有的方法,易于实现,并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology(大连理工大学);Nanyang Technological University(南洋理工大学)
对于学习任务,高斯过程(GP)感兴趣的是学习输入和输出之间的统计关系,因为它不仅提供预测均值,而且还提供相关的变异性。然而,普通GP很难学习具有以下性质的复杂分布,例如,由于高斯边缘和立方复杂性,来自海量数据的异方差噪声、多模态和非平稳性。为此,本文研究了新的可扩展GP范式,包括非平稳异方差GP,GP和潜在GP的混合物,引入额外的潜在变量来调制输出或输入,以学习更丰富的,非高斯统计表示。我们进一步采取不同的变分推断策略,以达到分析或更严格的证据下限(ELBO)的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络(NN)的各种任务的同行验证了这些可扩展的调制GP的优越性,特别是可扩展的潜在GP,学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Deep Gaussian Markov Random Fields
Linköping University(林雪平大学)
高斯马尔可夫随机场(GMRF)是广泛用于空间统计学及相关领域的概率图模型,用于对空间结构的依赖性进行建模。我们建立了GMRF和卷积神经网络(CNN)之间的正式连接。常见的GMRF是生成模型的特殊情况,其中从数据到潜在变量的逆映射由1层线性CNN给出。这种连接允许我们将GMRF推广到多层CNN架构,以具有有利的计算缩放的方式有效地增加相应GMRF的阶数。我们描述了如何完善的工具,如autodiff和变分推断,可以用于简单有效的推理和学习的深度GMRF。我们证明了所提出的模型的灵活性,并表明它优于国家的最先进的卫星温度数据集,在预测和预测的不确定性。
2020-08-10 cs.LG stat.CO stat.ME
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们引入了一个新的结构化核插值(SKI)框架,该框架推广和统一了可伸缩高斯过程(GP)的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导(又名插值)点的数量、插值策略和GP协方差核。SKI还提供了一种机制,通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值,我们引入了KISS-GP,它1)比诱导点替代方案更具可扩展性,2)自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益,而不需要任何网格数据,3)可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O(n)。我们评估KISS-GP的核矩阵近似,核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Inference of collective Gaussian hidden Markov models
Georgia Institute of Technology(佐治亚理工学院)
我们考虑一类连续状态集体隐马尔可夫模型的推理问题,其中数据记录在聚合(集体)的形式产生的一个大的人口的个人遵循相同的动态。我们提出了一个聚合推理算法称为集体高斯前向-后向算法,最近提出的Sinkhorn信念传播算法的高斯密度为特征的模型。我们的算法享有收敛保证。此外,当观测值由单个个体生成时,它简化为标准卡尔曼滤波器。通过多次实验证明了该算法的有效性。
2021-07-24 cs.LG cs.SY eess.SP
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
高斯过程分类(GPC)提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而,常规GPC遭受(i)由于完整的内核矩阵而导致的大数据的可扩展性差,以及(ii)由于非高斯似然性而导致的难以处理的推断。因此,已经提出了各种可扩展的GPC,通过(i)稀疏近似建立在一个小的诱导集,以减少时间复杂度;和(ii)近似推理,以获得分析证据下限(ELBO)。然而,这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中,我们提出了一个统一的框架,可容纳可扩展的GPC使用各种可能性。类似于GP回归(GPR),我们引入加性噪声来增加概率空间(i)GPC与步骤,(多项式)probit和logit似然通过内部变量;特别是,(ii)GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看,我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
GNet: A scalable and flexible Gaussian process network with nonparametric neurons
University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
研究开发GNet这种可扩展灵活高斯过程网络,引入联合逆卡尔曼滤波器降低成本,通过统一优化设置,在多种测试问题中展现竞争力,能广泛应用于大规模预测建模并降低计算和存储成本。
2026-09-22 stat.CO stat.ME stat.ML
Scalable Thompson Sampling using Sparse Gaussian Process Models
MediaTek Research(联发科研究中心);Secondmind;Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
基于高斯过程(GP)模型的汤普森采样(TS)是黑箱函数优化的有力工具。虽然TS享有强大的理论保证和令人信服的经验性能,它会产生一个大的计算开销,规模与优化预算的多项式。最近,基于稀疏GP模型的可扩展TS方法已经被提出来增加TS的范围,使其应用于足够多模态、噪声或组合的问题,以需要超过几百个评估来解决。然而,稀疏GP引入的近似误差使所有现有的遗憾界限无效。在这项工作中,我们进行了理论和实证分析的可扩展TS。我们提供了理论保证,并表明,可扩展TS的计算复杂度的大幅减少,可以享受没有损失的遗憾性能超过标准TS。这些概念性的要求验证了实际实施的可扩展的TS合成基准,并作为一个现实世界的高通量分子设计任务的一部分。
2021-11-05 cs.LG stat.ML
Scalable Variational Gaussian Process Classification
高斯过程分类是一种流行的方法,具有许多吸引人的特性。我们展示了如何在变分诱导点框架内扩展模型,在基准数据集上表现优于最先进的模型。重要的是,变分公式可以被利用,以允许在数百万个数据点的问题进行分类,我们在实验中证明。
2014-11-07 stat.ML
On Convergence Rate of the Gaussian Belief Propagation Algorithm for Markov Networks
高斯置信传播(Gaussian Belief Propagation,BP)算法是信号处理和涉及马尔可夫网络的统计学习中最重要的分布式算法之一。众所周知,当高斯图是非循环图时,该算法在有限次迭代中从马尔可夫网络上的高维联合密度函数正确地计算边缘密度函数。最近还知道,该算法产生正确的边际平均值的循环高斯图的行走可和的条件下渐近。本文进一步推广了这一收敛结果,证明了在行走可和条件下,收敛是指数收敛的,并给出了一个简单的收敛速度界。
2019-03-06 eess.SP stat.ML
p-Markov Gaussian Processes for Scalable and Expressive Online Bayesian Nonparametric Time Series Forecasting
在本文中,我们介绍了一种新的在线时间序列预测模型,我们称之为pM-GP滤波器。我们证明了我们的模型等价于高斯过程回归,其优点是超参数的在线预测和在线学习都具有恒定的(而不是立方的)时间复杂度和恒定的(而不是平方的)观测数量的内存要求,而无需采用近似。此外,所提出的模型是表达的,家庭的协方差函数的隐含的潜在过程,即谱Matern内核,最近被证明是能够近似任意以及任何非线性不变的协方差函数。与竞争模型相比,我们的方法的好处是使用几个现实生活中的数据集上的实验证明。
2015-10-09 stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre(拉德堡德大学医学中心);Radboud University(拉德堡德大学)
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归,其提供该方法所需的不确定性的相干估计,但不考虑空间协方差结构。在这里,我们介绍了一个可扩展的多任务高斯过程回归(S-MTGPR)的方法来解决这个问题。为此,我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合,以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上,我们发现S-MTGPR:1)导致了大量的计算改进,使我们能够估计高维fMRI数据的规范模型,同时考虑数据中的空间结构; 2)通过对空间和跨样本方差进行建模,它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
Bias-Free Scalable Gaussian Processes via Randomized Truncations
Zuckerman Institute(祖克曼研究所);Columbia University(哥伦比亚大学)
可扩展高斯过程方法在计算上是有吸引力的,但是引入了需要严格研究的建模偏差。分析了两种常用的特征提取技术:早期截断共轭梯度(CG)和随机傅立叶特征(RFF)。我们发现,这两种方法都引入了一个系统的偏见学习超参数:CG往往欠拟合,而RFF往往过拟合。我们解决这些问题,使用随机截断估计,消除偏差,以换取增加方差。在RFF的情况下,我们表明,偏差方差转换确实是一个权衡:额外的方差证明不利于优化。然而,在CG的情况下,我们的无偏学习过程有意义地优于其有偏的副本,最小的额外计算。
2021-06-29 cs.LG stat.ML
Scalable Training of Inference Networks for Gaussian-Process Models
Tsinghua University(清华大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在高斯过程(GP)模型中的推断对于大数据是计算上具有挑战性的,并且通常难以用少量的诱导点近似。我们探索了一种替代近似,采用随机推理网络的灵活推理。不幸的是,对于这样的网络,小批量训练很难在大型数据集的函数输出上学习有意义的相关性。我们提出了一种算法,使这样的训练通过跟踪一个随机的,功能镜像下降算法。在每次迭代中,这只需要考虑有限数量的输入位置,从而产生可扩展且易于实现的算法。实证结果表明,可比的,有时,优于现有的稀疏变分GP方法的性能。
2019-05-27 cs.LG stat.ML
Fully Scalable Gaussian Processes using Subspace Inducing Inputs
University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入完全可扩展的高斯过程,一个实现方案,解决了大量的训练实例与高维输入数据一起处理的问题。我们的关键思想是一个表示技巧的诱导变量称为子空间诱导输入。这是结合一定的矩阵预处理的变分分布,导致简化和数值稳定的变分下界的参数化。我们的说明性应用程序是基于具有挑战性的极端多标签分类问题与非常大量的类标签的额外负担。我们证明了我们的方法的有用性,提出预测性能与低计算时间在数据集具有非常大的实例和输入尺寸。
2018-07-12 cs.LG stat.ML
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场(GMRF)的推理和模拟方法在约束数量很大时计算量很大。在某些情况下,例如对于固有GMRF,它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战,在常见的情况下稀疏的约束,其中一个有大量的约束,每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间,我们表明,该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合,我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中,不确定性的量化是主要的兴趣,它是必要的,以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法,从协方差参数的后验分布中提取样本,具有可忽略的偏差,而不需要计算边缘似然。在高斯过程回归中,这有一个巨大的优点,即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器,以加速梯度的无偏估计。结果表明,使可扩展的和准确的(在蒙特卡罗意义上)量化高斯过程中的不确定性,而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University(康奈尔大学);Tsinghua University(清华大学)
最近的工作表明,高斯过程的推理可以有效地使用迭代法,只依赖于矩阵向量乘法(MVMs)。结构化核插值(SKI)通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是,这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习,利用产品的内核结构。我们证明,这种技术是广泛适用的,导致线性而不是指数运行时间与SKI的尺寸,以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Scalable and Calibrated Sampling for Bayesian Generalized Linear Mixed Model via Stochastic Gradient Markov Chain Monte Carlo
Duke University(杜克大学);Universität Bern(伯尔尼大学);University of Miami(迈阿密大学)
本文提出了一种针对广义线性混合模型的随机梯度马尔可夫链蒙特卡洛算法,通过Fisher恒等式构建梯度估计器,实现大规模数据下的准确后验推断,并通过模拟和电子健康记录分析验证了方法的有效性。
2026-11-11 stat.CO stat.ME stat.ML
Scalable Gaussian Processes on Discrete Domains
University College London(伦敦大学学院)
离散域上的核方法在处理生物序列数据和分子结构数据等具有挑战性的数据类型方面有着广阔的应用前景。像支持向量机这样的可扩展核方法可以提供良好的预测性能,但本质上不提供不确定性估计。相比之下,像高斯过程这样的概率核方法除了提供良好的预测性能之外还提供不确定性估计,但在可扩展性方面不足。虽然高斯过程的可扩展性可以使用稀疏诱导点近似来改进,但是这些诱导点的选择仍然具有挑战性。我们探讨了不同的技术选择诱导点离散域,包括贪婪选择,决定点过程,和模拟退火。我们发现,模拟退火可以选择不在训练集中的诱导点,可以在合成数据以及具有挑战性的真实世界DNA序列数据上与支持向量机和全高斯过程竞争。
2021-05-26 cs.AI cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University(杜克大学)
提出三角求积傅里叶特征(TQFF)方法,利用新型非高斯求积规则解决高度振荡求积导致的病态问题,在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions
University of Kassel(卡塞尔大学)
隐马尔可夫模型(HMM)已被用于许多时间序列分析或模式识别任务多年。HMM通常通过Baum-Welch算法进行训练,该算法可以被视为期望最大化(EM)算法的特殊变体。二阶训练技术,如概率模型的变分贝叶斯推理(VI),将概率模型的参数视为随机变量,并定义这些分布参数的分布,因此该技术的名称。VI也可以被视为EM算法的特殊情况。在本文中,我们将两者结合起来,并使用VI训练具有多元高斯输出分布的HMM。本文定义了HMM的新训练技术。基于一些案例研究的评价和与相关方法的比较是我们正在进行的工作的一部分。
2016-05-27 cs.LG stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich(苏黎世联邦理工学院)
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间,发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol(数学系英国布里斯托尔大学)
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架,通过低秩近似Gram矩阵实现后验一致性,并引入乘积特征图核解决过平滑问题,实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
A review of Gaussian Markov models for conditional independence
Universidad Politécnica de Madrid(马德里理工大学)
马尔可夫模型位于概率分布中的统计独立性和图分离属性之间的界面。我们回顾了高斯参数化的有向和无向马尔可夫模型的模型选择和估计,强调了主要的相似性和差异。这两个模型类相似但不等同,尽管它们共享一个公共交集。我们从历史的角度提出了现有的结果,考虑到现有的文献量从人工智能和统计研究社区,这些模型的起源。我们涵盖了经典的主题,如极大似然估计和模型选择通过假设检验,但也更现代的方法,如正则化和贝叶斯方法。我们还讨论了如何马尔可夫模型审查适合在丰富的层次结构的其他,更高层次的马尔可夫模型类。最后,我们关闭的文件概述放宽高斯假设,并指出这些马尔可夫模型现在使用的主要应用领域。
2019-10-02 cs.AI stat.ME stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University(康奈尔大学);Phillips Research Hamburg(飞利浦研究汉堡)
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程(GP)的核学习等各种应用,必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量,只有快速矩阵向量乘法(MVMs)。这些随机逼近基于Chebyshev、Lanczos和代理模型,即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现,Lanczos一般优于Chebyshev的内核学习,和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Scalable Gaussian Processes for Characterizing Multidimensional Change Surfaces
我们提出了一个可扩展的高斯过程模型,用于识别和表征平滑的多维变点,并自动学习表达协方差结构的变化。我们使用Random Kitchen Sink特征灵活地定义变化表面,并结合富有表现力的光谱混合内核来捕获复杂的统计结构。最后,通过使用加性不可分离内核的新方法,我们可以将模型扩展到大型数据集。我们在数值和真实世界的数据上展示了该模型,包括一个大型的时空疾病数据集,我们在其中识别了以前未知的空间和时间的异质变化。
2015-11-13 stat.ML
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了分散和可扩展的算法高斯过程(GP)的训练和预测的多智能体系统。为了分散GP训练优化算法的实现,我们采用交替方向乘法器(ADMM)。一个封闭形式的解决方案,分散近端ADMM的情况下,GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的,使用迭代和共识方法。此外,我们提出了一种基于协方差的最近邻选择策略,使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO
Composite Gaussian Processes: Scalable Computation and Performance Analysis
高斯过程(GP)模型为预测提供了强大的工具,但是使用大数据集在计算上是禁止的。在这种情况下,人们不得不求助于近似方法。我们推导出一个近似的基础上使用一般的信念更新框架,这导致了一个递归计算的预测以及学习的超参数的复合似然方法。然后,我们提供了一个衍生的复合GP模型的预测和信息理论方面的分析。最后,我们评估的近似与合成数据和现实世界的应用。
2018-01-31 stat.ML
Scalable Intervention Target Estimation in Linear Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI(IBM研究院)
本文研究了在因果有向无环图中由观测数据和干预数据估计未知干预目标的问题。重点是在线性结构方程模型(SEM)的软干预。目前的因果结构学习方法要么使用已知的干预目标,要么使用假设检验来发现未知的干预目标,即使是线性SEM。这严重限制了它们的可扩展性和样本复杂性。本文提出了一种可扩展的和有效的算法,一致地识别所有干预目标。其关键思想是根据与观察数据集和介入数据集相关的精度矩阵之间的差异来估计介入部位。它涉及在不同的变量子集中重复估计这些站点。所提出的算法也可以用来更新一个给定的观测马尔可夫等价类到介入马尔可夫等价类。一致性,马尔可夫等价性和样本复杂性建立分析。最后,在真实数据和合成数据上的仿真结果证明了所提出的方法在可扩展因果结构恢复中的优势。该算法的实现和再现仿真结果的代码可在\url{https://github.com/bvarici/intervention-estimation}上获得。
2021-11-15 cs.LG stat.ME stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Innovated scalable efficient estimation in ultra-large Gaussian graphical models
大规模的精度矩阵估计是非常重要的,但在许多当代应用恢复高斯图形模型的挑战。本文提出了一种新的估计大精度矩阵的可扩展有效估计(ISEE)方法。在新变换的启发下,将原问题转化为大协方差阵估计问题。该方法结合了高维稀疏建模和大协方差阵估计的最新进展。与现有的方法相比,我们的方法是可扩展的,可以处理更大的精度矩阵与简单的调整。在温和的正则条件下,我们建立了这个过程可以恢复潜在的图形结构与显着的概率,并提供有效的估计的链接强度。通过模拟和实际数据的例子证明了计算和理论的优势的过程。
2016-05-11 stat.ME stat.ML