Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下,考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类,尾部呈指数下降,不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度,这是近最优的和自适应的未知稀疏水平。此外,我们推导了半参数Bernstein-von Mises(BvM)定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下,得到了回归系数的强模型选择相合性,从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
On universal inference in Gaussian mixture models
本文研究高斯混合模型下的通用推断,证明分割似然比检验在原假设下渐近正态,并出人意料地达到与经典似然比检验相同的检测速率,反驳了通用推断功效损失的观点。
2025-03-30 math.ST stat.TH
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London(帝国理工学院)
深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的,并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减,并且高斯形式的变分分布可能导致不准确的后验。相反,我们将噪声变量作为潜在的协变量,并提出了一种新的重要性加权目标,它利用分析结果,并提供了一种机制,以权衡计算提高精度。我们的研究结果表明,重要性加权的目标在实践中运作良好,并始终优于经典的变分推断,特别是更深的模型。
2019-05-14 cs.LG stat.ML
Gaussian Processes for Observational Dose-Response Inference
本文调整高斯过程用于观测性环境下的平均剂量响应函数估计,通过 Girard 方法将倾向得分后验样本纳入响应模型,证明了其正定核性质与双重稳健性,缓解了正则化引起的混杂,并在覆盖率和偏差上优于其他方法。
2024-09-25 math.ST stat.TH
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics Intelligent Machines(机器人与智能机器研究所)
大规模高斯过程推理长期以来一直面临着实际的挑战,由于时间和空间的复杂性,是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习,但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中,我们提出了一种新的变分高斯过程模型,在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明,这种新的参数化推广以前的模型。此外,它产生了一个变分推断问题,可以解决的随机梯度上升的时间和空间的复杂性,只有线性的平均函数参数的数量,无论选择的内核,似然,和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验,结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
Automated Augmented Conjugate Inference for Non-conjugate Gaussian Process Models
Technical University of Berlin(柏林工业大学);Google Research(谷歌研究院)
提出了一种新的非共轭高斯过程模型的自动增广共轭推理方法。我们的方法自动构造一个辅助变量增广,使GP模型有条件共轭。基于增广模型的共轭结构,我们开发了两种推理方法。首先,一个快速和可扩展的随机变分推断方法,使用高效的块坐标上升更新,这是计算在封闭的形式。第二,一个渐近正确的吉布斯采样器,是有用的小数据集。实验结果表明,该方法比现有的黑箱方法提高了两个数量级的速度和鲁棒性。
2020-02-26 cs.LG stat.ML
Variational Gaussian Copula Inference
Duke University(杜克大学)
我们利用Copula构成一个统一的框架,构建和优化变分的建议,在分层贝叶斯模型。对于具有连续和非高斯隐变量的模型,我们提出了一种半参数和自动变分高斯copula方法,其中参数高斯copula族能够保持多元后验依赖性,并且基于Bernstein多项式的非参数变换在表征单变量边缘后验方面提供了足够的灵活性。
2016-05-18 cs.LG stat.CO stat.ML
Efficient Bayesian Inference for a Gaussian Process Density Model
Artificial Intelligence Group(人工智能组);Technische Universität Berlin(柏林工业大学)
我们重新考虑一个基于高斯过程的非参数密度模型。通过增广模型与潜在的Pólya-Gamma随机变量和潜在的标记泊松过程,我们得到了一个新的似然共轭模型的高斯过程的先验。增强后允许有效的推理吉布斯抽样和近似变分平均场方法。对于后者,我们利用稀疏GP近似来解决无限维的问题。这两种算法的性能和与其他密度估计的比较,证明了人工和真实的数据集,多达几千个数据点。
2018-05-29 cs.LG stat.ML
Bayesian Inference for Initial Heat States with Gaussian Series Priors
针对从热方程含噪内部测量恢复初始热状态的逆问题,提出采用Dirichlet-Laplacian特征基上的高斯序列先验的非参数贝叶斯方法,推导共轭后验,回顾渐近理论保证并给出实现与数值验证。
2025-06-17 math.ST stat.ME stat.TH
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Deep Gaussian Processes for Air Quality Inference
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
空气污染每年造成约700万人死亡,约24亿人暴露在有害的空气污染中。精确、精细的空气质量(AQ)监测对于控制和减少污染至关重要。然而,空气质量监测站的部署是稀疏的,因此对未监测地点的空气质量推断是至关重要的。传统的插值方法无法学习复杂的AQ现象。这项工作表明,深度高斯过程模型(DGP)是一个很有前途的AQ推理任务的模型。我们实现了双随机变分推理,DGP算法,并表明它执行的最先进的模型。
2022-11-18 cs.LG stat.ML
Doubly Stochastic Variational Inference for Deep Gaussian Processes
高斯过程(GP)是函数逼近的一个很好的选择,因为它们灵活,对过拟合具有鲁棒性,并提供良好校准的预测不确定性。深度高斯过程(DGP)是GP的多层概括,但这些模型中的推理已被证明具有挑战性。现有的DGP模型中的推理方法假设近似后验,迫使层之间的独立性,并没有很好地在实践中工作。我们提出了一个双随机变分推断算法,它不强迫层之间的独立性。通过我们的推理方法,我们证明了DGP模型可以有效地用于大小从数百到十亿个点的数据。我们提供了强有力的经验证据表明,我们的DGP推理方案在分类和回归实践中效果良好。
2017-11-13 stat.ML
Scalable Training of Inference Networks for Gaussian-Process Models
Tsinghua University(清华大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在高斯过程(GP)模型中的推断对于大数据是计算上具有挑战性的,并且通常难以用少量的诱导点近似。我们探索了一种替代近似,采用随机推理网络的灵活推理。不幸的是,对于这样的网络,小批量训练很难在大型数据集的函数输出上学习有意义的相关性。我们提出了一种算法,使这样的训练通过跟踪一个随机的,功能镜像下降算法。在每次迭代中,这只需要考虑有限数量的输入位置,从而产生可扩展且易于实现的算法。实证结果表明,可比的,有时,优于现有的稀疏变分GP方法的性能。
2019-05-27 cs.LG stat.ML
GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration
Cornell University(康奈尔大学)
尽管可扩展模型取得了进展,但用于高斯过程(GP)的推理工具尚未充分利用计算硬件的发展。提出了一种基于黑盒矩阵-矩阵乘法(BBMM)的GP推理方法。BBMM推理使用共轭梯度算法的修改后的批处理版本,在单个调用中导出用于训练和推理的所有项。BBMM将精确GP推断的渐近复杂度从$O(n^3)$降低到$O(n^2)$。使该算法适用于可扩展的近似和复杂的GP模型只需要一个例程,用于与内核及其导数进行有效的矩阵-矩阵乘法。此外,BBMM使用专门的预处理器来大大加快收敛速度。在实验中,我们表明,BBMM有效地使用GPU硬件显着加速精确的GP推理和可扩展的近似。此外,我们还提供GPyTorch,这是一个基于PyTorch构建的软件平台,用于通过BBMM进行可扩展的GP推理。
2021-06-29 cs.LG stat.ML
On Approximate Inference for Generalized Gaussian Process Models
City University of Hong Kong(香港城市大学)
广义高斯过程模型(GPPM)是一个统一的框架,它包含了许多现有的高斯过程(GP)模型,如GP回归,分类和计数。在GGPM框架中,GP模型的观测似然性本身使用指数族分布(EFD)进行参数化。在本文中,我们认为有效的算法GGPMs使用一般形式的EFD的近似推理。然后,可以通过改变EFD的参数来形成特定的GP模型及其相关的推理算法,从而大大简化了针对特定任务的输出域的创建。我们证明了这个框架的有效性,通过创建几个新的GP模型回归到非负的reals和真正的间隔。我们还考虑了一个封闭形式的泰勒近似GGPMs的有效推理,并详细说明其与其他模型特定的启发式封闭形式近似的连接。最后,我们提出了一套全面的实验来比较各种各样的GGPMs近似推理算法。
2013-11-27 cs.CV cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Improving the INLA approach for approximate Bayesian inference for latent Gaussian models
本文引入了一种新的基于Copula的广义线性混合模型修正方法,并将其应用于潜在高斯模型的近似贝叶斯推断的集成嵌套拉普拉斯近似(INLA)方法中.虽然INLA通常非常准确,但一些(相当极端)GLP-A病例(例如,二项式或泊松数据)被认为是有问题的。当模型中的平滑程度或“借用强度”非常低时,可能会出现不准确,因此我们开发了一种修正方法,旨在扩大INLA的适用范围。我们的新校正已被实现为R-INLA包的一部分,只增加了微不足道的计算成本。对真实数据和模拟数据的实证分析表明,该方法效果良好。
2015-12-15 math.ST stat.CO stat.ME
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
近年来,代理模型已成功地用于似然自由推理,以减少模拟器评估的数量。目前,这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程(GP)。虽然这种组合对于单峰目标分布效果很好,但它限制了贝叶斯优化的灵活性和适用性,从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程(DGP)的代理模型,可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP,并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理(BOLFI)的适用性,同时增加计算开销,对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型,其中包括先验约束,每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验,如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难,并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Ensemble-Conditional Gaussian Processes (Ens-CGP): Representation, Geometry, and Inference
Earth Signals and Systems Group(地球信号与系统组);Earth, Atmospheric and Planetary Sciences(地球、大气与行星科学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Ens-CGP,一种基于集成的条件高斯过程方法,通过将经验集成矩作为高斯先验进行精确条件化,为卡尔曼滤波等方法提供概率基础,并明确其与变分和集成视角的关系。
2026-02-14 cs.IT cs.LG math.IT
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型,应用广泛。Fasano和Durante(2022)证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中,我们适应上述结果的一个流行的特殊情况下:零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导,其给出了对Fasano和Durante(2022)中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes
Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学)
我们制定近似贝叶斯推断在非共轭的时间和时空高斯过程模型作为一个简单的参数更新规则应用在卡尔曼平滑。这个观点涵盖了大多数推理方案,包括期望传播(EP),经典(扩展,无迹等)。Kalman平滑器和变分推断。我们提供了一个统一的角度来看,这些算法,显示如何取代电力EP矩匹配步骤与线性化恢复经典平滑。EP通过引入所谓的腔分布提供了一些优于传统方法的优点,我们将这些优点与线性化的计算效率相结合,提供了广泛的实证分析,证明了在此统一框架下各种算法的有效性。我们提供了JAX中所有方法的快速实现。
2020-07-12 cs.LG stat.ML
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University(塔夫茨大学)
当处理大数据集时,具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时,推断才是准确的。在本文中,我们考虑的推理问题在不同的方向:GP函数值的后验大多是相关的短距离。我们构造了一个变分分布,使得对数据点的推断仅考虑其邻域。通过这种构造,变分下界是高度可分解的,因此我们可以用非常小的批量运行随机优化。然后,我们训练图卷积网络作为一个可重用的模型,以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理,往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Varying-coefficient models with isotropic Gaussian process priors
University College London(伦敦大学学院);SoundCloud Ltd.(SoundCloud有限公司);University of Potsdam(波茨坦大学)
我们研究的学习问题,其中的条件分布的输出给定的输入变化作为一个功能的额外的任务变量。在具有高斯过程先验的变系数模型中,高斯过程生成任务变量与该条件的参数之间的函数关系。变系数模型继承了分层贝叶斯多任务模型,但也是条件连续变化的推广,例如,在时间或空间上。然而,在变系数模型中的贝叶斯推断通常是棘手的。我们发现,推理变系数模型与各向同性高斯过程先验解决标准的高斯过程,可以有效地解决的推断。该模型中的MAP推理归结为使用任务核和实例核的多任务学习,使用图-拉普拉斯核可以有效地进行分层贝叶斯多任务模型的推理。我们报告的地理空间预测的实验。
2015-10-14 cs.LG stat.ML
Amortized Variational Inference for Deep Gaussian Processes
Xiamen University(厦门大学)
本文提出深度高斯过程的摊销变分推断,通过学习推断函数映射观测到变参,以更少诱导变量实现更强表达力,在降低计算成本的同时性能不逊于甚至优于现有方法。
2024-09-18 cs.LG stat.ML
Scalable Inference for Space-Time Gaussian Cox Processes
对数高斯Cox过程是一种灵活而流行的点模式模型,用于捕获点模式的空间和时空依赖性。模型拟合需要通过在感兴趣的域上离散化来实现随机积分的近似。对于精细尺度离散化,基于马尔可夫链蒙特卡罗的推断在计算上是繁重的,因为对于与潜在高斯变量相关联的高维协方差阵,矩阵分解和存储(例如Cholesky)的成本。本文通过结合两个最新的发展来解决这些计算瓶颈:(i)已经为时空高斯考克斯过程提出的数据增强策略,其基于精确的贝叶斯推断并且不需要用于无限维积分的细网格近似,以及(ii)最近开发的稀疏诱导高斯过程族,称为最近邻高斯过程,以避免昂贵的矩阵计算。我们的推理是在完全基于模型的贝叶斯范式内进行的,并且不会牺牲传统对数高斯Cox过程的丰富性。我们将我们的方法应用于旧金山的犯罪事件数据,并研究强度表面的恢复。
2018-10-22 stat.CO
Gradient Boosting Performs Gaussian Process Inference
ShareChat;Yandex Research(Yandex研究院);HSE University(高等经济大学)
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此,我们获得了高斯过程的后验均值的收敛,这反过来又使我们能够轻松地将梯度提升从后验转换为采样器,以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明,建议的采样器允许更好的知识不确定性估计,从而改善域外检测。
2023-03-13 cs.LG stat.ML
Multi-Class Gaussian Process Classification Made Conjugate: Efficient Inference via Data Augmentation
TU Berlin(柏林工业大学);TU Kaiserslautern(凯泽斯劳滕工业大学)
我们提出了一种新的可扩展的多类高斯过程分类方法,建立在一个新的修改的softmax似然函数。新的可能性有两个好处:它导致校准良好的不确定性估计,并允许一个有效的潜变量增强。增广模型的优点在于它是有条件共轭的,从而通过块坐标上升更新产生快速变分推断方法。以前的方法遭受不确定性校准和速度之间的权衡。我们的实验表明,我们的方法导致校准良好的不确定性估计和有竞争力的预测性能,同时比最先进的方法快两个数量级。
2019-05-23 cs.LG stat.ML
Embarrassingly Parallel Inference for Gaussian Processes
训练基于高斯过程的模型通常涉及由于对协方差阵求逆而导致的$ O(N^3)$计算瓶颈。用于克服该矩阵求逆问题的流行方法不能充分地对所有类型的潜在函数建模,并且通常不是可并行的。然而,明智地选择模型结构可以改善这个问题。使用混合$K$高斯过程的混合专家模型提供了建模灵活性和可扩展推理的机会。我们的并行算法结合了低维矩阵求逆与重要性抽样,以产生一个灵活的,可扩展的混合专家模型,提供相当的性能,以低得多的计算成本的高斯过程回归。
2020-03-03 stat.ML
Variational Inference for Gaussian Process with Panel Count Data
我们提出了第一个框架的高斯过程调制泊松过程的时间数据出现在面板计数的形式。当仅在离散时间点观察实验受试者并且仅可获得后续观察时间之间的事件发生次数时,经常出现面板计数数据。事件的确切发生时间戳未知。基于高斯过程调制强度函数的假设,给出了进行高效变分推断的方法。我们推导出一个易于处理的下界,以减轻问题的棘手的证据下界固有的变分推断框架。我们的算法优于经典的方法合成和三个真正的面板计数集。
2018-03-12 stat.ML
Pseudo-Marginal Bayesian Inference for Gaussian Processes
University of Glasgow(格拉斯哥大学);University of Warwick(华威大学)
在概率建模中采用高斯过程先验时出现的主要挑战是如何执行精确的贝叶斯推断以及如何在对样本外数据进行基于模型的预测时考虑模型参数的不确定性。使用概率单位回归作为一个说明性的工作例子,本文提出了一种通用的和有效的方法的基础上的伪边缘的方法,有效地解决了这两个问题的马尔可夫链蒙特卡罗。本文提出的结果表明,改进现有的采样方法来模拟从后验分布的参数定义的协方差函数的高斯过程先验。这是特别重要的,因为它提供了一个强大的工具来执行基于高斯过程的分层统计模型的全面贝叶斯推断。结果还表明,蒙特卡罗为基础的集成的所有模型参数实际上是可行的,在这类模型提供了一个优越的量化预测的不确定性。与最先进的概率分类器的广泛比较证实了这一论断。
2014-04-07 cs.LG stat.ME stat.ML
Nested Sampling for Non-Gaussian Inference in SLAM Factor Graphs
Massachusetts Institute of Technology(麻省理工学院);Woods Hole Oceanographic Institution(伍兹霍尔海洋研究所)
我们提出了因子图的嵌套抽样(NSFG),一种新的嵌套抽样方法来近似推断因子图上表示的后验分布。执行这样的推理是同时定位与地图构建(SLAM)中的关键步骤。虽然高斯近似通常工作得很好,但在其他更具挑战性的SLAM情况下,后验分布是非高斯的,并且不能用标准分布显式表示。我们的技术适用于后验分布基本上是非高斯分布的设置(例如,多模态),因此需要更有表现力的表示。NSFG利用嵌套抽样方法直接对后验样本进行抽样,以表示没有参数密度模型的分布。虽然嵌套抽样方法以其在对多模态分布进行抽样方面的强大能力而闻名,但将该方法应用于SLAM因子图并不简单。NSFG利用因子图的结构来构造信息丰富的先验分布,这些先验分布被有效地采样,并为嵌套采样方法提供显着的计算优势。我们目前的模拟实验表明,NSFG是更强大的和计算的解决方案超过一个数量级的速度比国家的最先进的采样技术。同样,我们比较NSFG国家的最先进的高斯和非高斯SLAM方法,并证明NSFG是显着更强大的描述非高斯后验。
2022-08-09 cs.RO stat.AP
Variational Inference for Gaussian Process Modulated Poisson Processes
对连续高斯过程调制泊松过程提出了第一个全变分贝叶斯推断方案。这种点过程被用于各种领域,包括神经科学,地质统计学和天文学,但它们的使用受到现有推理方案的计算成本的阻碍。我们的方案:不需要域的离散化;在观察到的事件的数量上线性缩放;并且比先前的基于采样的方法快许多数量级。由此产生的算法优于标准方法的合成例子,煤矿灾害数据和预测疟疾发病率在肯尼亚。
2015-07-27 stat.ML
Data Analysis Recipes: Products of multivariate Gaussians in Bayesian inferences
两个高斯分布(或正态分布)的乘积是另一个高斯分布。这是一个有价值和有用的事实!在这里,我们使用它来推导多变量高斯的公共乘积的重构:高斯似然乘以高斯先验的乘积,其中一些或所有这些参数仅以平均值和线性方式进入似然。也就是说,线性高斯贝叶斯模型。这种可能性乘以先验概率密度函数的乘积可以重构为边缘化可能性(或贝叶斯证据)乘以后验概率密度函数的乘积,其中(在这种情况下)这两者也是高斯的。重构后的高斯的均值和方差张量可以直接作为封闭形式的表达式获得;在这里,我们提供这些表达式,并进行讨论。对于含有高斯先验的线性参数的推理,闭形式的表达式可以用来加速和提高精度。我们将这些方法与物理学和天文学中经常出现的推论联系起来。如果你想要的只是答案,这个问题在第3节的开头就已经提出并得到了回答。我们在第4节中以练习的形式展示了两个玩具例子。本说明中的解答、讨论和练习针对的是已经熟悉贝叶斯推断和概率的基本思想的人。
2020-05-28 astro-ph.IM physics.data-an stat.CO
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
高斯过程(Gaussian processes,GP)是一种著名的非参数贝叶斯推断技术,但对于大样本量,GP存在可扩展性问题,对于非平稳或空间异构数据,GP的性能会降低。在这项工作中,我们试图克服这些问题,通过(i)采用变分自由能近似的GP与在线期望传播步骤的串联操作;和(ii)引入一个本地分裂步骤,每当后验分布变化显着量化的Wasserstein度量超过后验分布,实例化一个新的GP。然后,随着时间的推移,这产生了稀疏GP的集合,其可以增量地更新,并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
多层深度高斯过程(DGP)模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的,这促使了最近的发展确定性和随机近似方法。不幸的是,确定性的近似方法产生一个有偏的后验信念,而随机的是计算成本高。本文提出了一种隐式后验变分推理(IPVI)框架DGP,可以理想地恢复一个无偏的后验信念,仍然保持时间效率。受生成对抗网络的启发,我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点,有趣的是,其中纳什均衡与无偏后验信念相一致。因此,这启发我们设计一种最佳响应动态算法来搜索纳什均衡(即,无偏的后验信念)。经验评估表明,IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Closed-form Inference and Prediction in Gaussian Process State-Space Models
University of Cambridge(剑桥大学)
我们研究分析变分推断方案的高斯过程状态空间模型(GPSSM)-概率模型系统识别和时间序列建模。我们的方法进行变分推断的系统状态和过渡函数。我们利用马尔可夫结构在真正的后验,以及诱导点近似实现线性时间复杂度的长度的时间序列。与以前的方法相反,不需要蒙特卡罗采样:推理被转换为确定性优化问题。在一些实验中,我们展示了在过程和观测噪声的存在下对非线性动力学进行建模的能力,以及估算缺失信息(例如,通过时间从原始位置的速度),去噪声和估计系统的基本维度的能力。最后,我们还介绍了一个封闭形式的多步预测方法,和一个新的标准来评估我们的近似后验的质量。
2018-12-10 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models
Imperial College London(帝国理工学院)
自然梯度法已被有效地用于共轭高斯过程模型,但非共轭的情况下,在很大程度上还没有探索。我们研究了自然梯度如何在非共轭随机环境中使用,以及超参数学习。我们的结论是,自然梯度可以显着提高性能方面的挂钟时间。对于病态后验的自然梯度方法的好处是特别明显的,我们展示了一个实际的设置,普通的梯度是不可用的。我们展示了如何使用自动微分在任何参数化中有效地自动计算自然梯度。我们的代码集成到GPflow包中。
2018-03-24 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
深度高斯过程(DGP)是高斯过程的多层灵活扩展,但其训练仍然具有挑战性。稀疏近似简化了训练,但通常需要对大量诱导输入及其跨层位置进行优化。在本文中,我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本,而没有显着的性能下降,我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练,同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Bayesian Inference for Gaussian Mixed Graph Models
我们引入先验和算法来执行贝叶斯推断的高斯模型定义的非循环有向混合图。这类图由有向边和双向边组成,是条件独立的表示,它在边缘化下是封闭的,并且自然地从允许不可测量的混杂的因果模型中产生。给出了这种模型的蒙特卡罗方法和变分近似。我们的贝叶斯推断算法允许评估几个感兴趣的数量的后验分布,包括因果关系的影响,不能单独从数据中识别,但可以推断出信息先验知识的混淆。
2012-06-27 cs.AI stat.ME
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Fast Variational Learning in State-Space Gaussian Process Models
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
具有1D输入的高斯过程(GP)回归通常可以通过随机微分方程公式在线性时间内执行。然而,对于非高斯似然,这需要应用近似推理方法,这可能使实现困难,例如,期望传播在数值上可能是不稳定的,并且变分推断在计算上可能是低效的。在本文中,我们提出了一种新的方法,消除这些困难。建立在现有的方法称为共轭计算变分推理,我们的方法使线性时间推理通过卡尔曼递归,同时避免数值不稳定性和收敛问题。我们提供了一个高效的JAX实现,利用即时编译,并允许快速自动微分通过大型for循环。总的来说,我们的方法导致快速和稳定的变分推断状态空间GP模型,可以扩展到时间序列与数百万个数据点。
2020-07-17 cs.LG stat.ML
Inference of dynamic systems from noisy and sparse data via manifold-constrained Gaussian processes
利用噪声和稀疏数据对由常微分方程表示的非线性动态系统模型进行参数估计是许多领域中的重要课题。我们提出了一个快速和准确的方法,MAGI(MAnifold-constrained高斯过程推断),为这项任务。MAGI在时间序列数据上使用高斯过程模型,明确地以高斯过程的导数必须满足ODE系统的流形约束为条件。通过这样做,我们完全绕过了数值积分的需要,并实现了大量节省计算时间。MAGI还适用于对未观察到的系统组件进行推理,这在实际实验中经常发生。MAGI与现有的方法不同,因为我们在贝叶斯框架下提供了一个原则性的统计结构,该框架通过流形约束结合了ODE系统。我们证明了MAGI的准确性和速度使用基于物理实验的现实例子。
2021-02-22 math.DS stat.ME
Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance
Purdue University(普渡大学);Aalto University(阿尔托大学)
针对权重无界方差下贝叶斯神经网络缩放极限为非高斯过程导致后验推断困难的问题,提出一种基于条件高斯表示的推断程序,实现非高斯情况下的后验推断与不确定性量化。
2024-06-04 cs.LG stat.ML
Structured Variational Inference in Unstable Gaussian Process State Space Models
ETH Zurich(苏黎世联邦理工学院)
提出了一种新的变分推理算法,用于高斯过程状态空间模型(GPSSMs)的学习。我们的算法可以学习不稳定和部分可观测的系统,以前的算法失败。我们的主要算法贡献是一个新的近似后验,可以有效地计算使用一个单一的向前和向后通过沿训练轨迹。前向-后向传递的灵感来自线性动态系统的卡尔曼平滑,但推广到GPSSM。我们的第二个贡献是修改的条件步骤,有效地降低了卡尔曼增益。这种修改对于在没有测量值的情况下获得良好的测试性能至关重要。最后,我们的实验表明,我们的学习算法表现良好,在稳定和不稳定的真实系统的隐藏状态。
2020-06-10 cs.LG cs.SY eess.SY
Robustness Guarantees for Bayesian Inference with Gaussian Processes
University of Oxford(牛津大学);Microsoft Research Cambridge(微软剑桥研究院)
贝叶斯推理和高斯过程被广泛用于从机器人和控制到生物系统的应用中。这些应用中有许多是安全关键的,需要与学习模型相关的不确定性的表征及其预测的正式保证。在本文中,我们定义了一个鲁棒性措施贝叶斯推理对输入扰动,给出的概率,测试点和一个紧凑的集在输入空间包含测试点,学习模型的预测将保持$δ-$接近所有的点在集合中,对于$δ>0.$这样的措施可以用来提供正式的保证,没有对抗性的例子。通过采用高斯过程的理论,我们推导出严格的上界所产生的鲁棒性,利用Borell-TIS不等式,并提出算法计算。我们在两个例子上评估了我们的技术,一个GP回归问题和一个完全连接的深度神经网络,在那里我们依赖于对GP的弱收敛来研究MNIST数据集上的对抗性例子。
2018-10-24 cs.LG stat.ML
Towards Improved Learning in Gaussian Processes: The Best of Two Worlds
Aalto University(阿尔托大学);FCAI(芬兰人工智能中心)
高斯过程训练分解为(近似)后验的推断和超参数的学习。对于非高斯(非共轭)似然,近似推理的两个常见选择是期望传播(EP)和变分推理(VI),它们具有互补的优点和缺点。虽然VI的边缘似然下界是用于推断近似后验的合适目标,但它并不自动意味着它是超参数优化的良好学习目标。我们设计了一个混合训练过程,其中的推理利用共轭计算VI和学习使用EP样的边际似然近似。我们经验证明,二进制分类,这提供了一个很好的学习目标和推广更好。
2022-11-11 cs.LG stat.ML