Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Deep Gaussian Processes for Air Quality Inference
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
空气污染每年造成约700万人死亡,约24亿人暴露在有害的空气污染中。精确、精细的空气质量(AQ)监测对于控制和减少污染至关重要。然而,空气质量监测站的部署是稀疏的,因此对未监测地点的空气质量推断是至关重要的。传统的插值方法无法学习复杂的AQ现象。这项工作表明,深度高斯过程模型(DGP)是一个很有前途的AQ推理任务的模型。我们实现了双随机变分推理,DGP算法,并表明它执行的最先进的模型。
2022-11-18 cs.LG stat.ML
Scalable Training of Inference Networks for Gaussian-Process Models
Tsinghua University(清华大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在高斯过程(GP)模型中的推断对于大数据是计算上具有挑战性的,并且通常难以用少量的诱导点近似。我们探索了一种替代近似,采用随机推理网络的灵活推理。不幸的是,对于这样的网络,小批量训练很难在大型数据集的函数输出上学习有意义的相关性。我们提出了一种算法,使这样的训练通过跟踪一个随机的,功能镜像下降算法。在每次迭代中,这只需要考虑有限数量的输入位置,从而产生可扩展且易于实现的算法。实证结果表明,可比的,有时,优于现有的稀疏变分GP方法的性能。
2019-05-27 cs.LG stat.ML
GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration
Cornell University(康奈尔大学)
尽管可扩展模型取得了进展,但用于高斯过程(GP)的推理工具尚未充分利用计算硬件的发展。提出了一种基于黑盒矩阵-矩阵乘法(BBMM)的GP推理方法。BBMM推理使用共轭梯度算法的修改后的批处理版本,在单个调用中导出用于训练和推理的所有项。BBMM将精确GP推断的渐近复杂度从$O(n^3)$降低到$O(n^2)$。使该算法适用于可扩展的近似和复杂的GP模型只需要一个例程,用于与内核及其导数进行有效的矩阵-矩阵乘法。此外,BBMM使用专门的预处理器来大大加快收敛速度。在实验中,我们表明,BBMM有效地使用GPU硬件显着加速精确的GP推理和可扩展的近似。此外,我们还提供GPyTorch,这是一个基于PyTorch构建的软件平台,用于通过BBMM进行可扩展的GP推理。
2021-06-29 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
近年来,代理模型已成功地用于似然自由推理,以减少模拟器评估的数量。目前,这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程(GP)。虽然这种组合对于单峰目标分布效果很好,但它限制了贝叶斯优化的灵活性和适用性,从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程(DGP)的代理模型,可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP,并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理(BOLFI)的适用性,同时增加计算开销,对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes
Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学)
我们制定近似贝叶斯推断在非共轭的时间和时空高斯过程模型作为一个简单的参数更新规则应用在卡尔曼平滑。这个观点涵盖了大多数推理方案,包括期望传播(EP),经典(扩展,无迹等)。Kalman平滑器和变分推断。我们提供了一个统一的角度来看,这些算法,显示如何取代电力EP矩匹配步骤与线性化恢复经典平滑。EP通过引入所谓的腔分布提供了一些优于传统方法的优点,我们将这些优点与线性化的计算效率相结合,提供了广泛的实证分析,证明了在此统一框架下各种算法的有效性。我们提供了JAX中所有方法的快速实现。
2020-07-12 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Varying-coefficient models with isotropic Gaussian process priors
University College London(伦敦大学学院);SoundCloud Ltd.(SoundCloud有限公司);University of Potsdam(波茨坦大学)
我们研究的学习问题,其中的条件分布的输出给定的输入变化作为一个功能的额外的任务变量。在具有高斯过程先验的变系数模型中,高斯过程生成任务变量与该条件的参数之间的函数关系。变系数模型继承了分层贝叶斯多任务模型,但也是条件连续变化的推广,例如,在时间或空间上。然而,在变系数模型中的贝叶斯推断通常是棘手的。我们发现,推理变系数模型与各向同性高斯过程先验解决标准的高斯过程,可以有效地解决的推断。该模型中的MAP推理归结为使用任务核和实例核的多任务学习,使用图-拉普拉斯核可以有效地进行分层贝叶斯多任务模型的推理。我们报告的地理空间预测的实验。
2015-10-14 cs.LG stat.ML
Amortized Variational Inference for Deep Gaussian Processes
Xiamen University(厦门大学)
本文提出深度高斯过程的摊销变分推断,通过学习推断函数映射观测到变参,以更少诱导变量实现更强表达力,在降低计算成本的同时性能不逊于甚至优于现有方法。
2024-09-18 cs.LG stat.ML
Gradient Boosting Performs Gaussian Process Inference
ShareChat;Yandex Research(Yandex研究院);HSE University(高等经济大学)
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此,我们获得了高斯过程的后验均值的收敛,这反过来又使我们能够轻松地将梯度提升从后验转换为采样器,以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明,建议的采样器允许更好的知识不确定性估计,从而改善域外检测。
2023-03-13 cs.LG stat.ML
Multi-Class Gaussian Process Classification Made Conjugate: Efficient Inference via Data Augmentation
TU Berlin(柏林工业大学);TU Kaiserslautern(凯泽斯劳滕工业大学)
我们提出了一种新的可扩展的多类高斯过程分类方法,建立在一个新的修改的softmax似然函数。新的可能性有两个好处:它导致校准良好的不确定性估计,并允许一个有效的潜变量增强。增广模型的优点在于它是有条件共轭的,从而通过块坐标上升更新产生快速变分推断方法。以前的方法遭受不确定性校准和速度之间的权衡。我们的实验表明,我们的方法导致校准良好的不确定性估计和有竞争力的预测性能,同时比最先进的方法快两个数量级。
2019-05-23 cs.LG stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
高斯过程(Gaussian processes,GP)是一种著名的非参数贝叶斯推断技术,但对于大样本量,GP存在可扩展性问题,对于非平稳或空间异构数据,GP的性能会降低。在这项工作中,我们试图克服这些问题,通过(i)采用变分自由能近似的GP与在线期望传播步骤的串联操作;和(ii)引入一个本地分裂步骤,每当后验分布变化显着量化的Wasserstein度量超过后验分布,实例化一个新的GP。然后,随着时间的推移,这产生了稀疏GP的集合,其可以增量地更新,并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
多层深度高斯过程(DGP)模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的,这促使了最近的发展确定性和随机近似方法。不幸的是,确定性的近似方法产生一个有偏的后验信念,而随机的是计算成本高。本文提出了一种隐式后验变分推理(IPVI)框架DGP,可以理想地恢复一个无偏的后验信念,仍然保持时间效率。受生成对抗网络的启发,我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点,有趣的是,其中纳什均衡与无偏后验信念相一致。因此,这启发我们设计一种最佳响应动态算法来搜索纳什均衡(即,无偏的后验信念)。经验评估表明,IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models
Imperial College London(帝国理工学院)
自然梯度法已被有效地用于共轭高斯过程模型,但非共轭的情况下,在很大程度上还没有探索。我们研究了自然梯度如何在非共轭随机环境中使用,以及超参数学习。我们的结论是,自然梯度可以显着提高性能方面的挂钟时间。对于病态后验的自然梯度方法的好处是特别明显的,我们展示了一个实际的设置,普通的梯度是不可用的。我们展示了如何使用自动微分在任何参数化中有效地自动计算自然梯度。我们的代码集成到GPflow包中。
2018-03-24 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
深度高斯过程(DGP)是高斯过程的多层灵活扩展,但其训练仍然具有挑战性。稀疏近似简化了训练,但通常需要对大量诱导输入及其跨层位置进行优化。在本文中,我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本,而没有显着的性能下降,我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练,同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Fast Variational Learning in State-Space Gaussian Process Models
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
具有1D输入的高斯过程(GP)回归通常可以通过随机微分方程公式在线性时间内执行。然而,对于非高斯似然,这需要应用近似推理方法,这可能使实现困难,例如,期望传播在数值上可能是不稳定的,并且变分推断在计算上可能是低效的。在本文中,我们提出了一种新的方法,消除这些困难。建立在现有的方法称为共轭计算变分推理,我们的方法使线性时间推理通过卡尔曼递归,同时避免数值不稳定性和收敛问题。我们提供了一个高效的JAX实现,利用即时编译,并允许快速自动微分通过大型for循环。总的来说,我们的方法导致快速和稳定的变分推断状态空间GP模型,可以扩展到时间序列与数百万个数据点。
2020-07-17 cs.LG stat.ML
Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance
Purdue University(普渡大学);Aalto University(阿尔托大学)
针对权重无界方差下贝叶斯神经网络缩放极限为非高斯过程导致后验推断困难的问题,提出一种基于条件高斯表示的推断程序,实现非高斯情况下的后验推断与不确定性量化。
2024-06-04 cs.LG stat.ML
Robustness Guarantees for Bayesian Inference with Gaussian Processes
University of Oxford(牛津大学);Microsoft Research Cambridge(微软剑桥研究院)
贝叶斯推理和高斯过程被广泛用于从机器人和控制到生物系统的应用中。这些应用中有许多是安全关键的,需要与学习模型相关的不确定性的表征及其预测的正式保证。在本文中,我们定义了一个鲁棒性措施贝叶斯推理对输入扰动,给出的概率,测试点和一个紧凑的集在输入空间包含测试点,学习模型的预测将保持$δ-$接近所有的点在集合中,对于$δ>0.$这样的措施可以用来提供正式的保证,没有对抗性的例子。通过采用高斯过程的理论,我们推导出严格的上界所产生的鲁棒性,利用Borell-TIS不等式,并提出算法计算。我们在两个例子上评估了我们的技术,一个GP回归问题和一个完全连接的深度神经网络,在那里我们依赖于对GP的弱收敛来研究MNIST数据集上的对抗性例子。
2018-10-24 cs.LG stat.ML
Towards Improved Learning in Gaussian Processes: The Best of Two Worlds
Aalto University(阿尔托大学);FCAI(芬兰人工智能中心)
高斯过程训练分解为(近似)后验的推断和超参数的学习。对于非高斯(非共轭)似然,近似推理的两个常见选择是期望传播(EP)和变分推理(VI),它们具有互补的优点和缺点。虽然VI的边缘似然下界是用于推断近似后验的合适目标,但它并不自动意味着它是超参数优化的良好学习目标。我们设计了一个混合训练过程,其中的推理利用共轭计算VI和学习使用EP样的边际似然近似。我们经验证明,二进制分类,这提供了一个很好的学习目标和推广更好。
2022-11-11 cs.LG stat.ML
A piece-wise constant approximation for non-conjugate Gaussian Process models
Otto-Friedrich-University(奥托·弗里德里希大学)
高斯过程(GPs)是贝叶斯机器学习中一种通用且流行的方法。一种常见的修改是稀疏变分高斯过程(SVGP),它非常适合处理大型数据集。虽然GP允许以封闭形式优雅地处理高斯分布的目标变量,但它们的适用性也可以扩展到非高斯数据。这些扩张通常不可能以封闭形式处理,因此需要近似解。本文提出了近似的逆链接函数,这是必要的工作时,与非高斯似然,逐段常数函数。它将被证明,这产生了一个封闭的形式解决方案,相应的SVGP下限。此外,它演示了如何分段常数函数本身可以被优化,从而产生一个反向链接函数,可以从手头的数据中学习。
2022-04-22 cs.LG stat.ML
Variational Gaussian Copula Inference
Duke University(杜克大学)
我们利用Copula构成一个统一的框架,构建和优化变分的建议,在分层贝叶斯模型。对于具有连续和非高斯隐变量的模型,我们提出了一种半参数和自动变分高斯copula方法,其中参数高斯copula族能够保持多元后验依赖性,并且基于Bernstein多项式的非参数变换在表征单变量边缘后验方面提供了足够的灵活性。
2016-05-18 cs.LG stat.CO stat.ML
Doubly Stochastic Variational Inference for Deep Gaussian Processes
高斯过程(GP)是函数逼近的一个很好的选择,因为它们灵活,对过拟合具有鲁棒性,并提供良好校准的预测不确定性。深度高斯过程(DGP)是GP的多层概括,但这些模型中的推理已被证明具有挑战性。现有的DGP模型中的推理方法假设近似后验,迫使层之间的独立性,并没有很好地在实践中工作。我们提出了一个双随机变分推断算法,它不强迫层之间的独立性。通过我们的推理方法,我们证明了DGP模型可以有效地用于大小从数百到十亿个点的数据。我们提供了强有力的经验证据表明,我们的DGP推理方案在分类和回归实践中效果良好。
2017-11-13 stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
On Approximate Inference for Generalized Gaussian Process Models
City University of Hong Kong(香港城市大学)
广义高斯过程模型(GPPM)是一个统一的框架,它包含了许多现有的高斯过程(GP)模型,如GP回归,分类和计数。在GGPM框架中,GP模型的观测似然性本身使用指数族分布(EFD)进行参数化。在本文中,我们认为有效的算法GGPMs使用一般形式的EFD的近似推理。然后,可以通过改变EFD的参数来形成特定的GP模型及其相关的推理算法,从而大大简化了针对特定任务的输出域的创建。我们证明了这个框架的有效性,通过创建几个新的GP模型回归到非负的reals和真正的间隔。我们还考虑了一个封闭形式的泰勒近似GGPMs的有效推理,并详细说明其与其他模型特定的启发式封闭形式近似的连接。最后,我们提出了一套全面的实验来比较各种各样的GGPMs近似推理算法。
2013-11-27 cs.CV cs.LG stat.ML
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University(塔夫茨大学)
当处理大数据集时,具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时,推断才是准确的。在本文中,我们考虑的推理问题在不同的方向:GP函数值的后验大多是相关的短距离。我们构造了一个变分分布,使得对数据点的推断仅考虑其邻域。通过这种构造,变分下界是高度可分解的,因此我们可以用非常小的批量运行随机优化。然后,我们训练图卷积网络作为一个可重用的模型,以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理,往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
Derivation of Closed Form of Expected Improvement for Gaussian Process Trained on Log-Transformed Objective
Preferred Networks Inc.(Preferred Networks公司)
针对贝叶斯优化中期望改进(EI)因数值精度敏感导致的性能提升难题,本文对Hutter等人(2009)提出的基于对数变换目标训练的高斯过程的EI闭式形式进行了缺失的中间推导。
2024-11-27 cs.AI cs.LG stat.ML
Embarrassingly Parallel Inference for Gaussian Processes
训练基于高斯过程的模型通常涉及由于对协方差阵求逆而导致的$ O(N^3)$计算瓶颈。用于克服该矩阵求逆问题的流行方法不能充分地对所有类型的潜在函数建模,并且通常不是可并行的。然而,明智地选择模型结构可以改善这个问题。使用混合$K$高斯过程的混合专家模型提供了建模灵活性和可扩展推理的机会。我们的并行算法结合了低维矩阵求逆与重要性抽样,以产生一个灵活的,可扩展的混合专家模型,提供相当的性能,以低得多的计算成本的高斯过程回归。
2020-03-03 stat.ML
Variational Inference for Gaussian Process with Panel Count Data
我们提出了第一个框架的高斯过程调制泊松过程的时间数据出现在面板计数的形式。当仅在离散时间点观察实验受试者并且仅可获得后续观察时间之间的事件发生次数时,经常出现面板计数数据。事件的确切发生时间戳未知。基于高斯过程调制强度函数的假设,给出了进行高效变分推断的方法。我们推导出一个易于处理的下界,以减轻问题的棘手的证据下界固有的变分推断框架。我们的算法优于经典的方法合成和三个真正的面板计数集。
2018-03-12 stat.ML
Pseudo-Marginal Bayesian Inference for Gaussian Processes
University of Glasgow(格拉斯哥大学);University of Warwick(华威大学)
在概率建模中采用高斯过程先验时出现的主要挑战是如何执行精确的贝叶斯推断以及如何在对样本外数据进行基于模型的预测时考虑模型参数的不确定性。使用概率单位回归作为一个说明性的工作例子,本文提出了一种通用的和有效的方法的基础上的伪边缘的方法,有效地解决了这两个问题的马尔可夫链蒙特卡罗。本文提出的结果表明,改进现有的采样方法来模拟从后验分布的参数定义的协方差函数的高斯过程先验。这是特别重要的,因为它提供了一个强大的工具来执行基于高斯过程的分层统计模型的全面贝叶斯推断。结果还表明,蒙特卡罗为基础的集成的所有模型参数实际上是可行的,在这类模型提供了一个优越的量化预测的不确定性。与最先进的概率分类器的广泛比较证实了这一论断。
2014-04-07 cs.LG stat.ME stat.ML
Variational Inference for Gaussian Process Modulated Poisson Processes
对连续高斯过程调制泊松过程提出了第一个全变分贝叶斯推断方案。这种点过程被用于各种领域,包括神经科学,地质统计学和天文学,但它们的使用受到现有推理方案的计算成本的阻碍。我们的方案:不需要域的离散化;在观察到的事件的数量上线性缩放;并且比先前的基于采样的方法快许多数量级。由此产生的算法优于标准方法的合成例子,煤矿灾害数据和预测疟疾发病率在肯尼亚。
2015-07-27 stat.ML
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室有限公司);Tokyo(东京)
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中,我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时,参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥:这包括二项式,多项式,零中心拉普拉斯,高斯和Wishart混合,等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT
Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models - a Gentle Tutorial
在本教程中,我们将解释为稀疏高斯过程(GP)回归和高斯过程潜变量模型(GPLVM)开发的推理过程。由于篇幅限制,Titsias(2009)和Titsias & Lawrence(2010)给出的推导很简短,因此要全面了解它需要从几个不同的来源收集结果,并使用大量的代数来填补空白。因此,我们的主要目标是将所有结果和完整的推导收集到一个地方,以帮助加速理解这项工作。在这样做的时候,我们提出了一个重新参数化的推理,使其能够并行进行。因此,本文的第二个目标是伴随我们的论文和模型的并行推理方案的开源实现。我们希望这份文件将弥合代码中实现的方程和原始论文中发表的方程之间的差距,以便更容易扩展现有的工作。我们假设高斯过程和变分推断的先验知识,但我们也包括参考进一步阅读在适当的地方。
2014-09-29 stat.ML
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程(GP)回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差(异方差)和输入相关的信号方差(非平稳性),通过设置独立的GP先验的噪声和信号方差。我们使用期望传播(EP)的推理和比较结果,马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明,EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge(剑桥大学)
高斯过程潜变量模型(GPLVM)是一种灵活的非线性降维方法,将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence,2010]使用变分框架,其中潜变量的后验近似于行为良好的变分族,因子化高斯产生易于处理的下限。然而,下界的非工厂能力阻止了真正可扩展的推理。在这项工作中,我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容,并进行实验,比较一套模型。此外,我们演示了如何在大量缺失数据的情况下进行训练,并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Approximate Inference Turns Deep Networks into Gaussian Processes
RIKEN Center for AI Project(日本理化学研究所人工智能项目中心);EPFL(洛桑联邦理工学院);Technical University of Denmark(丹麦技术大学)
深度神经网络(DNN)和高斯过程(GP)是两个强大的模型,有几个理论联系,但它们的训练方法之间的关系还没有得到很好的理解。在本文中,我们证明了贝叶斯DNN的某些高斯后验近似等价于GP后验。这使我们能够将深度学习算法的解决方案和迭代与GP推理联系起来。因此,我们可以在训练DNN时获得GP内核和非线性特征映射。令人惊讶的是,得到的内核是神经正切内核。我们展示了在真实数据集上获得的内核,并演示了使用GP边缘似然来调整DNN的超参数。我们的工作旨在促进在实际环境中结合DNN和GP的进一步研究。
2020-07-19 cs.AI cs.LG stat.ML
Gray-box inference for structured Gaussian process models
针对具有高斯过程(GP)先验和线性链似然的贝叶斯结构预测问题,提出了一种自动变分推理方法。我们的方法不需要知道结构化似然模型的细节,并且可以扩展到大量的观测。此外,我们表明,所需的预期似然项及其梯度的变分目标(ELBO)可以有效地估计使用期望非常低维高斯分布。ELBO的优化是完全并行的序列,并服从随机最优化,我们使用控制变量技术和最先进的增量优化,使我们的框架在实践中有用。一组自然语言处理任务的结果表明,我们的方法可以一样好(有时更好)硬编码的方法,包括SVM-struct和CRF,并克服了以前的推理算法基于采样的可扩展性限制。总的来说,这是为贝叶斯结构化预测开发自动推理方法的基本步骤。
2016-09-14 stat.ML
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
A unified framework for closed-form nonparametric regression, classification, preference and mixed problems with Skew Gaussian Processes
Trinity College(都柏林圣三一学院);Dalle Molle Institute for Artificial Intelligence Research (IDSIA)(达尔莫尔人工智能研究所(IDSIA))
斜高斯过程将有限维向量上的多元统一斜正态分布推广到函数上的分布。SkewGP比高斯过程更通用和灵活,因为SkewGP也可以表示不对称分布。在最近的一篇文章中,我们证明了SkewGP和probit似然是共轭的,这使我们能够计算非参数二元分类和偏好学习的精确后验。在本文中,我们推广了以前的结果,我们证明了SkewGP是共轭的正常和仿射概率似然,更一般地说,与他们的产品。这使我们能够(i)在一个统一的框架中处理分类、偏好、数值和序数回归以及混合问题;(ii)导出相应后验分布的封闭形式表达式。我们的经验表明,提出的框架的基础上SkewGP提供了更好的性能比高斯过程中的主动学习和贝叶斯(约束)优化。这两项任务是实验设计和数据科学的基础。
2021-01-27 cs.LG math.ST stat.ML
Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes
在本文中,我们提出了第一个非参数贝叶斯模型,使用高斯过程进行推断泊松点过程,而不诉诸网格化的域或引入潜在的细化点。与竞争模型不同,竞争模型的规模是立方的,并且在数据点的数量上有平方的内存需求,我们的模型具有线性复杂度和内存需求。我们提出了一个MCMC采样器,并表明我们的模型是更快,更准确,并产生更少的相关样本比竞争模型的合成和现实生活中的数据。最后,我们表明,我们的模型很容易处理的数据大小没有考虑到目前为止的替代方法。
2015-05-09 stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Structured Variational Inference in Unstable Gaussian Process State Space Models
ETH Zurich(苏黎世联邦理工学院)
提出了一种新的变分推理算法,用于高斯过程状态空间模型(GPSSMs)的学习。我们的算法可以学习不稳定和部分可观测的系统,以前的算法失败。我们的主要算法贡献是一个新的近似后验,可以有效地计算使用一个单一的向前和向后通过沿训练轨迹。前向-后向传递的灵感来自线性动态系统的卡尔曼平滑,但推广到GPSSM。我们的第二个贡献是修改的条件步骤,有效地降低了卡尔曼增益。这种修改对于在没有测量值的情况下获得良好的测试性能至关重要。最后,我们的实验表明,我们的学习算法表现良好,在稳定和不稳定的真实系统的隐藏状态。
2020-06-10 cs.LG cs.SY eess.SY
Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC
University of Cambridge(剑桥大学);Uppsala University(乌普萨拉大学)
本文提出一种全贝叶斯方法,用于非线性非参数状态空间模型中的推断与学习,通过高斯过程先验建模状态转移动态,并利用粒子MCMC进行高效推断。
2013-12-17 cs.LG cs.SY eess.SY
Evolutionary Inference for Function-valued Traits: Gaussian Process Regression on Phylogenies
Imperial College London(帝国理工学院);University of Manchester(曼彻斯特大学)
生物学数据对象通常具有以下两个特征:(i)它们是函数而不是单个数字或向量,以及(ii)它们由于系统发育关系而相关。在本文中,我们给出了一个灵活的统计模型,这样的数据,通过结合假设从遗传学与高斯过程。我们描述了它作为一个非参数贝叶斯先验分布的使用,无论是预测(放置后验分布的祖先的功能)和模型选择(比较进化率跨越一个遗传,或确定最有可能的遗传与观察到的数据一致)。我们的工作是综合性的,将流行的系统发育布朗运动和Ornstein-Uhlenbeck模型扩展到功能数据和贝叶斯推断,并将高斯过程回归扩展到遗传学。我们提供了一个简单的说明我们的方法的应用。
2012-08-03 cs.LG physics.data-an q-bio.QM
The Variational Gaussian Process
Harvard University(哈佛大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分推断是近似推理的强大工具,最近已被应用于深度生成模型的表示学习。我们开发的变分高斯过程(VGP),贝叶斯非参数变分家庭,适应其形状,以匹配复杂的后验分布。VGP通过生成潜在输入并通过随机非线性映射对其进行扭曲来生成近似后验样本;在推理过程中学习随机映射上的分布,使变换后的输出能够适应不同的复杂性。我们证明了一个普遍的逼近定理的VGP,展示其代表性的权力,学习任何模型。对于推理,我们提出了一个由自动编码器启发的变分目标,并在广泛的一类模型上执行黑盒推理。VGP在无监督学习方面取得了新的最先进的成果,推断了深度潜在高斯模型和最近提出的DRAW等模型。
2016-04-17 cs.LG cs.NE stat.CO
Generic Inference in Latent Gaussian Process Models
我们开发了一个自动变分方法的推理模型与高斯过程(GP)的先验和一般似然。该方法支持多个输出和多个潜在函数,并且不需要条件似然的详细知识,只需要将其评估为黑盒函数。使用混合高斯的变分分布,我们证明了证据下限和它的梯度可以有效地估计使用单变量高斯分布的样本。此外,该方法是可扩展的大型数据集,这是通过使用增强的前通过诱导变量的方法支持最稀疏的GP近似,以及并行计算和随机最优化。通过在小数据集、中等规模数据集和大数据集上的实验,我们定量和定性地评估了我们的方法,显示了它在不同似然模型和稀疏水平下的竞争力。在涉及预测航班延误和手写数字分类的大规模实验中,我们证明了我们的方法与最先进的硬编码方法可扩展GP回归和分类不相上下。
2018-11-05 stat.ML
Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models
期望传播(EP)为近似推理提供了一个框架。当所考虑的模型是在一个潜在的高斯场,近似高斯,我们展示了如何这些近似可以系统地进行校正。微扰展开是由精确但难以处理的校正组成的,并且可以应用于模型的配分函数和其他感兴趣的时刻。该修正表示在EP的局部矩匹配所忽略的高阶累积量上。通过展开式,我们看到EP对一阶是正确的。通过考虑更高阶,可以将增加多项式复杂性的校正应用于近似。二阶提供了一个二次时间的校正,我们将其应用于一系列的高斯过程和伊辛模型。校正推广到任意复杂的近似家庭,我们说明树结构的伊辛模型近似。此外,他们提供了一个多项式时间的近似误差评估。我们还提供了理论和实践的见解EP解决方案的准确性。
2013-10-25 stat.ML
MAGI-X: Manifold-Constrained Gaussian Process Inference for Unknown System Dynamics
Georgia Institute of Technology(佐治亚理工学院)
常微分方程常用来描述动力系统的动力学特性,但在许多复杂的科学应用中,即使有领域专家的帮助,也很难以封闭形式给出常微分方程。我们提出了一种快速准确的数据驱动方法MAGI-X,以非参数的方式从观测数据中学习未知动态,而不需要任何领域知识。与现有的方法主要依赖于昂贵的数值积分不同,MAGI-X利用神经网络强大的函数逼近器,在MAnifold约束的高斯过程推理(MAGI)框架内学习未知的非线性动力学,完全避免了数值积分。与三个实际例子的最先进的方法相比,MAGI-X在拟合和预测方面都达到了有竞争力的精度,而只需要一小部分的计算时间。此外,MAGI-X为部分观测系统的推断提供了实用的解决方案,这是以前的方法无法处理的。
2021-10-19 cs.LG stat.CO stat.ME
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型,其中包括先验约束,每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验,如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难,并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Gaussian Process Accelerated Feldman-Cousins Approach for Physical Parameter Inference
Feldman和Elisins的统一方法允许对通常在高能物理中出现的小信号进行精确的统计推断。例如,在长基线实验中测量中微子振荡参数时,它得到了广泛的使用。然而,该方法依赖于经典置信区间的奈曼构造,并且计算密集,因为它通常在整个参数空间上以基于网格的方式完成。在这封信中,我们提出了一个有效的算法的Feldman-Schulins方法使用高斯过程迭代构造置信区间。我们表明,在中微子振荡的背景下,可以获得置信区间5倍的速度在一维和10倍的速度在二维,同时保持99.5%以上的准确性。
2019-10-01 physics.data-an stat.ML
Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference
Eindhoven University of Technology, the Netherlands(埃因霍温理工大学,荷兰);Lviv Polytechnic National University, Lviv, Ukraine(利沃夫国立理工大学,利沃夫,乌克兰);Lazy Dynamics, Utrecht, the Netherlands(Lazy Dynamics,乌得勒支,荷兰)
提出五种因子图原语,证明任意组合均支持闭式变分消息传递,并通过堆叠路由层实现通用函数逼近,应用于时间序列预测。
2026-05-28 cs.AI cs.LG