Variational Auto-encoded Deep Gaussian Processes
University of Sheffield(谢菲尔德大学)
我们通过用识别模型增强深度高斯过程来开发一个可扩展的深度非参数生成模型。推理是在一种新型的可扩展变分框架中进行的,其中变分后验分布通过多层感知器重新参数化。这种重新表述的关键方面是,它可以防止扩散的变分参数,否则线性增长的样本大小成比例。我们推导出一种新的变分下界公式,使我们能够以一种能够处理主流深度学习任务大小的数据集的方式分配大部分计算。我们展示了该方法对各种挑战的有效性,包括深度无监督学习和深度贝叶斯优化。
2016-02-29 cs.LG stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart(斯图加特大学);ETAS GmbH(ETAS有限公司)
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模,经常使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)及其改进模型变分稀疏谱高斯过程(VSSGP)的基础上,提出了几种新的深度递归高斯过程(DRGP)模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似,经常性的高斯过程(RGP)的基础上的经常性结构。类似于以前的工作,我们也变分集成的输入空间,因此可以通过高斯过程(GP)层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP,因为它的频谱性质允许变分积分在所有平稳的情况下。此外,我们结合(变分)稀疏谱((V)SS)近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。
2019-09-27 cs.LG stat.ML
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield(谢菲尔德大学);Department of Computer Science(计算机科学系);Sheffield, UK(英国谢菲尔德)
本文介绍了一种近似高斯过程回归的方法,将问题表示为随机微分方程,并利用变分推理来近似解。的近似值进行比较,与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明,该方法很容易扩展到非线性动力学和讨论的扩展,该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Variational Gaussian Processes: A Functional Analysis View
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
变分高斯过程(GP)近似已经成为快速GP推断的标准工具。这种技术要求用户选择变分特征以提高效率。到目前为止,文献中的共同选择是不同的,缺乏普遍性。我们建议将GP看作是位于Banach空间中,从而便于统一的视角。这用于理解现有特征之间的关系,并在核岭回归和变分GP近似之间建立联系。
2021-10-25 cs.LG math.ST stat.ML
Stein Variational Gaussian Processes
Lancaster University(兰卡斯特大学)
我们展示了如何使用Stein变分梯度下降(SVGD)进行推理的高斯过程(GP)模型与非高斯似然和大数据量。马尔可夫链蒙特卡罗(MCMC)是非常计算密集型的这些情况下,但有效的变分推断(VI)所需的参数假设,导致不正确的推理时,他们遇到的多模态后验分布是常见的这种模型。SVGD为变分推断提供了一种非参数的替代方案,它比MCMC快得多。我们证明了对于具有Lipschitz梯度的GP模型,SVGD算法单调地减小了从采样分布到真实后验分布的库尔贝克-莱布勒散度.我们的方法在回归和分类,多模态后验和空气质量的例子与550,134时空观测的基准问题上进行了演示,显示出MCMC和VI的显着性能改进。
2022-01-19 cs.LG stat.ML
Scalable Variational Gaussian Process Classification
高斯过程分类是一种流行的方法,具有许多吸引人的特性。我们展示了如何在变分诱导点框架内扩展模型,在基准数据集上表现优于最先进的模型。重要的是,变分公式可以被利用,以允许在数百万个数据点的问题进行分类,我们在实验中证明。
2014-11-07 stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
稀疏变分高斯过程(SVGP)方法是非共轭高斯过程推理的常见选择,因为它们的计算优势。在本文中,我们提高了他们的计算效率,通过使用一个双参数化,每个数据的例子被分配双参数,类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降,并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销,但速度更快,精度更高。
2022-01-19 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Fast Variational Learning in State-Space Gaussian Process Models
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
具有1D输入的高斯过程(GP)回归通常可以通过随机微分方程公式在线性时间内执行。然而,对于非高斯似然,这需要应用近似推理方法,这可能使实现困难,例如,期望传播在数值上可能是不稳定的,并且变分推断在计算上可能是低效的。在本文中,我们提出了一种新的方法,消除这些困难。建立在现有的方法称为共轭计算变分推理,我们的方法使线性时间推理通过卡尔曼递归,同时避免数值不稳定性和收敛问题。我们提供了一个高效的JAX实现,利用即时编译,并允许快速自动微分通过大型for循环。总的来说,我们的方法导致快速和稳定的变分推断状态空间GP模型,可以扩展到时间序列与数百万个数据点。
2020-07-17 cs.LG stat.ML
Nested Variational Compression in Deep Gaussian Processes
深度高斯过程提供了一种灵活的方法,可以使用监督或无监督学习对数据进行概率建模。为了便于推理,必须对模型的边际似然进行近似。在这些模型中近似推理的原始方法使用变分压缩来允许隐变量的近似变分边缘化,从而导致模型的边际似然的下限[Damianou和Lawrence,2013]。在本文中,我们扩展了这个想法与嵌套变分压缩。由此产生的下界的可能性可以很容易地并行化或适应随机变分推断。
2014-12-03 stat.ML
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University(纽约大学);Facebook Inc.(脸书公司);University of Sydney(悉尼大学)
通过在线观察数据的后验序列构造,贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程(VAR-GPs),这是一种原则性的后验更新机制,用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验,我们提出了一种新的自回归变分分布,揭示了两个富有成效的连接到现有的结果在贝叶斯推断,期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘,这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Variational Gaussian Process State-Space Models
University of Cambridge(剑桥大学)
本文提出基于稀疏高斯过程的变分贝叶斯学习方法,用于高效学习非线性状态空间模型,实现对非线性动力系统后验的可计算性,相比传统参数模型,能灵活平衡模型容量与计算成本,避免过拟合。
2014-11-03 cs.LG cs.RO cs.SY
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Scalable Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);University of California, Irvine(加州大学欧文分校)
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善,但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型,在运行时间和内存占用方面优于现有的方法,易于实现,并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(帝国理工学院);University of Technology Nuremberg (UTN)(纽伦堡工业大学);Helmholtz AI(亥姆霍兹人工智能中心);Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题,提出摊销结构化随机变分推断,使潜空间后验条件依赖于诱导点,从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
深度高斯过程(DGP)是高斯过程的多层灵活扩展,但其训练仍然具有挑战性。稀疏近似简化了训练,但通常需要对大量诱导输入及其跨层位置进行优化。在本文中,我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本,而没有显着的性能下降,我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练,同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院)
本文提出了一种新的变分推理框架,推导出一个家庭的贝叶斯稀疏高斯过程回归(SGPR)模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR(VBSGPR)模型共同对待的诱导变量和超参数的分布作为变分参数,这使得变分下限,反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度,以改进我们的VBSGPR模型的诱导变量和超参数(以及预测分布)的最优变分分布的估计,并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计,并且可以在每次迭代的恒定时间内计算,从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara(加州大学圣巴巴拉分校)
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解,即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为,这将导致一个典型的训练问题,称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器(VAE)来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模,因此它有助于维护VAE中丢失的依赖关系。实证结果表明,通过使用神经参数copula显式地对潜变量的相关性进行建模,我们可以避免这种训练困难,同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University(阿尔托大学);University of Tübingen(蒂宾根大学)
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而,早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型,使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强,使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处,预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg(班贝格大学)
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时,现代机器学习的复杂性使得理解模型的推理过程具有挑战性,更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣,但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发,我们引入了变分高斯过程的相应概念。一方面,我们的贡献提高了这些类型模型的透明度。更重要的是,我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
The Variational Gaussian Process
Harvard University(哈佛大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分推断是近似推理的强大工具,最近已被应用于深度生成模型的表示学习。我们开发的变分高斯过程(VGP),贝叶斯非参数变分家庭,适应其形状,以匹配复杂的后验分布。VGP通过生成潜在输入并通过随机非线性映射对其进行扭曲来生成近似后验样本;在推理过程中学习随机映射上的分布,使变换后的输出能够适应不同的复杂性。我们证明了一个普遍的逼近定理的VGP,展示其代表性的权力,学习任何模型。对于推理,我们提出了一个由自动编码器启发的变分目标,并在广泛的一类模型上执行黑盒推理。VGP在无监督学习方面取得了新的最先进的成果,推断了深度潜在高斯模型和最近提出的DRAW等模型。
2016-04-17 cs.LG cs.NE stat.CO
Amortized Variational Inference for Deep Gaussian Processes
Xiamen University(厦门大学)
本文提出深度高斯过程的摊销变分推断,通过学习推断函数映射观测到变参,以更少诱导变量实现更强表达力,在降低计算成本的同时性能不逊于甚至优于现有方法。
2024-09-18 cs.LG stat.ML
Variational Nearest Neighbor Gaussian Process
Columbia University(哥伦比亚大学);Zuckerman Institute(扎克曼研究所)
本文提出变分最近邻高斯过程(VNNGP),通过稀疏精度矩阵先验仅保留K个最近邻相关性,实现O(K^3)复杂度的随机优化,实验表明其性能优于低秩方法且更不易过拟合。
2024-11-21 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Variational Gaussian Process Diffusion Processes
Aalto University(阿尔托大学);University Pompeu Fabra(庞培法布拉大学)
针对非线性扩散过程先验下推断不可处理的问题,本文提出基于位点指数族的高斯变分过程参数化,将不动点推断转化为类自然梯度的凸优化,并改善参数学习目标。
2024-02-27 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Deep Recurrent Gaussian Process with Variational Sparse Spectrum Approximation
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这种系统进行建模,使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)和变分稀疏谱高斯过程(VSSGP)的基础上,提出了两种新的深度递归高斯过程(DRGP)模型。我们遵循现有DRGP基于特定稀疏Nyström近似给出的经常性结构。因此,我们还对输入空间进行变分积分,从而可以通过层传播不确定性。我们可以证明,对于所得到的下界,存在一个最优变分分布。训练是通过优化变分下界来实现的。采用分布式变分推断(DVI)可以降低计算复杂度。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。此外,我们的方法可以很容易地适用于无监督学习,例如潜变量模型及其深度版本。
2017-11-19 stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型,提出基于变分贝叶斯的超参数选择理论保证,通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界,并在多种高斯过程先验中实现最优收缩率,同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构,用于科学机器学习中的不确定性量化,通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features
Aalto University(阿尔托大学);Delft University of Technology(代尔夫特理工大学)
高斯过程(GP)为回归和分类中的外推、内插和噪声去除提供了一个强大的框架。本文考虑将GP约束到具有边界条件的任意形状的域。我们解决了一个傅立叶般的广义谐波特征表示的GP之前在感兴趣的领域,既约束了GP,并获得了一个低秩表示,用于加快推理。该方法在预测中缩放为$\mathcal{O}(nm^2)$,在回归的超参数学习中缩放为$\mathcal{O}(m^3)$,其中$n$是数据点的数量,$m$是特征的数量。此外,我们利用变分方法,使该方法处理非高斯似然。实验涵盖了模拟和经验数据,其中边界条件允许包含额外的物理信息。
2019-04-10 cs.LG stat.ML
Variational Gaussian approximation of the Kushner optimal filter
DGA/CATOD, Centre d’Analyse Technico-Opérationelle de Défense(法国国防采购局/国防技术作战分析中心);INRIA(法国国家信息与自动化研究所);MINES ParisTech, PSL University(巴黎文理研究大学巴黎矿业学院)
本研究针对Kushner方程求解问题,提出基于Wasserstein度量和Fisher度量的两类邻近损失的变分高斯近似方法,融合后得到的高斯流可推广线性滤波至非线性场景。
2023-10-03 cs.LG stat.ML
On Disentanglement in Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院)
复杂的多变量时间序列出现在许多领域,从计算机视觉到机器人或医学。通常,我们感兴趣的是产生我们所观察的高维数据的独立潜在因素。虽然已经引入了许多模型来学习这种分解的表示,但只有很少的模型试图明确地利用顺序数据的结构。我们研究了高斯过程变分自编码器的解纠缠特性,这是一类最近推出的模型,在时间序列数据的不同任务中取得了成功。我们的模型利用时间结构的数据建模每个潜在的通道与GP之前,并采用结构化的变分分布,可以捕捉依赖关系的时间。我们证明了我们的方法对国家的最先进的无监督和弱监督的解纠缠方法的基准任务的竞争力。此外,我们提供的证据表明,我们可以学习现实世界的医疗时间序列数据有意义的解开表示。
2021-02-10 cs.LG stat.ML
Spatio-Temporal Variational Gaussian Processes
The Alan Turing Institute(艾伦·图灵研究所);Aalto University(阿尔托大学);NVIDIA(英伟达);University of Warwick(华威大学)
我们介绍了一种可扩展的方法,高斯过程推理,结合时空滤波与自然梯度变分推理,从而在非共轭GP方法的多变量数据,相对于时间线性缩放。我们的自然梯度方法使应用程序的并行滤波和平滑,进一步降低时间跨度的复杂性是对数的时间步长。我们推导出一个稀疏的近似,构建一个状态空间模型在一个减少的空间诱导点集,并表明,可分离马尔可夫内核的完整和稀疏的情况下,完全恢复标准的变分GP,同时表现出良好的计算性能。为了进一步提高空间缩放,我们提出了一个平均场假设的空间位置之间的独立性,再加上稀疏性和并行化,导致一个高效和准确的方法为大型时空问题。
2021-11-02 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University(哥伦比亚大学);BCAM & Ikerbasque(BCAM与伊克尔巴斯克基金会)
提出基于可学习核心集变分推断的高斯过程回归方法CVGP,通过先验与似然定义后验,推导出适用于随机优化的变分下界,将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出双重KL最优高斯过程近似方法,利用稀疏逆Cholesky因子同时变分近似先验与后验,在相近计算成本下对平稳核取得显著优于诱导点和平均场方法的精度。
2023-05-26 cs.LG stat.CO stat.ML
Variational Inference for Gaussian Process with Panel Count Data
我们提出了第一个框架的高斯过程调制泊松过程的时间数据出现在面板计数的形式。当仅在离散时间点观察实验受试者并且仅可获得后续观察时间之间的事件发生次数时,经常出现面板计数数据。事件的确切发生时间戳未知。基于高斯过程调制强度函数的假设,给出了进行高效变分推断的方法。我们推导出一个易于处理的下界,以减轻问题的棘手的证据下界固有的变分推断框架。我们的算法优于经典的方法合成和三个真正的面板计数集。
2018-03-12 stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs(Orange实验室);Institute Mines-Telecom Atlantique(大西洋矿业电信学院)
由于重新参数化技巧,深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而,将它们与非参数先验(如狄利克雷过程(DP))耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型(DP-DLGMM)变分后验的另一种处理方法,证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法,我们表明我们的模型能够为获得的每个聚类生成真实的样本,并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models
Imperial College London(帝国理工学院)
自然梯度法已被有效地用于共轭高斯过程模型,但非共轭的情况下,在很大程度上还没有探索。我们研究了自然梯度如何在非共轭随机环境中使用,以及超参数学习。我们的结论是,自然梯度可以显着提高性能方面的挂钟时间。对于病态后验的自然梯度方法的好处是特别明显的,我们展示了一个实际的设置,普通的梯度是不可用的。我们展示了如何使用自动微分在任何参数化中有效地自动计算自然梯度。我们的代码集成到GPflow包中。
2018-03-24 cs.LG stat.ML
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge(剑桥大学)
高斯过程潜变量模型(GPLVM)是一种灵活的非线性降维方法,将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence,2010]使用变分框架,其中潜变量的后验近似于行为良好的变分族,因子化高斯产生易于处理的下限。然而,下界的非工厂能力阻止了真正可扩展的推理。在这项工作中,我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容,并进行实验,比较一套模型。此外,我们演示了如何在大量缺失数据的情况下进行训练,并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校);UC Berkeley(加州大学伯克利分校)
本文提出了一个有效的变分推理框架,推导出一个家庭的结构化高斯过程回归网络(SGPRN)模型。其关键思想是在隐函数中引入辅助诱导变量,并将诱导变量和超参数的分布共同视为变分参数。然后,我们提出了结构化变量分布和边际化潜变量,这使得一个易于处理的变分下界的可分解性,并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据,从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能,并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法,用于在心电图数据中跨输出的时变相关性,这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Asynchronous Distributed Variational Gaussian Processes for Regression
高斯过程(GP)是功能强大的非参数函数估计。然而,它们的应用在很大程度上受到昂贵的计算成本的推理过程。现有的随机或分布式同步变分推断,虽然已经缓解了这个问题,通过扩大全球定位系统的数百万个样本,仍然远远不能满足现实世界的大型应用程序,其中的数据大小往往是更大的数量级,比如说,数十亿。为了解决这个问题,我们提出了ADVGP,第一个异步分布式变分高斯过程回归推理,在最近的大规模机器学习平台,参数服务器。ADVGP采用一种新颖、灵活的变分框架,基于权值空间扩展,实现了高效、异步的近似梯度优化。在保持相当或更好的预测性能的同时,ADVGP大大提高了现有变分方法的效率。借助ADVGP,我们可以轻松地将GP回归扩展到具有数十亿样本的实际应用中,并展示出比流行的线性模型更出色的预测精度。
2017-06-12 stat.ML
Tighter sparse variational Gaussian processes
Australian National University(澳大利亚国立大学);University of Cambridge(剑桥大学)
本文针对稀疏变分高斯过程(GP)近似,通过放宽条件近似后验需匹配先验的假设,提出了一种更紧致的近似方法,在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
Variational Fourier features for Gaussian processes
这项工作汇集了高斯过程中的两个强大的概念:变分方法稀疏近似和高斯过程的谱表示。这就产生了一个近似,继承了变分方法的好处,但与频谱表示的代表性和计算的可扩展性。本文的工作基于一个关键的结果,即存在与有限域的高斯过程相关的谱特征,这些谱特征表现出几乎独立的协方差。我们推导出这些表达式的Matern内核在一个维度上,并推广到更多的维度,使用特定结构的内核。在加性高斯噪声的假设下,我们的方法只需要一次通过数据集,从而实现非常快速和准确的计算。我们在标准笔记本电脑上仅用几分钟就能将模型拟合到400万个训练点。使用非共轭似然,我们的MCMC方案将每次迭代的计算成本从O(NM 2)(对于稀疏高斯过程)降低到O(NM),其中N是数据的数量,M是特征的数量。
2017-11-08 stat.ML
Variational embedding of protein folding simulations using gaussian mixture variational autoencoders
Department of Chemical and Biomolecular Engineering, University of Maryland(马里兰大学化学与生物分子工程系)
利用分子动力学模拟对生物分子进行构象采样通常会产生大量的高维数据,这使得难以使用常规分析技术进行解释。因此,需要采用简化方法来提取有用的相关信息。在这里,我们设计了一个机器学习方法,高斯混合变分自动编码器(GMVAE),可以同时进行降维和聚类的生物分子构象在无监督的方式。我们表明,GMVAE可以学习的自由能景观的蛋白质折叠高度分离的集群,对应于亚稳态折叠过程中的代表性降低。由于GMVAE使用混合高斯作为先验,它可以直接承认蛋白质折叠自由能景观的多流域性质。为了使模型端到端可微,我们使用Gumbel-softmax分布。我们在三个长时间尺度的蛋白质折叠轨迹上测试了该模型,并表明GMVAE嵌入类似于折叠漏斗,折叠状态沿着漏斗向下,展开状态在漏斗路径的外部。此外,我们表明,GMVAE的潜空间可用于动力学分析,并且建立在这种嵌入上的马尔可夫状态模型产生的折叠和展开时间尺度与其他严格的动力学嵌入非常一致例如时间独立分量分析(TICA)。
2021-08-27 cs.LG physics.comp-ph q-bio.BM
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University(塔夫茨大学)
当处理大数据集时,具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时,推断才是准确的。在本文中,我们考虑的推理问题在不同的方向:GP函数值的后验大多是相关的短距离。我们构造了一个变分分布,使得对数据点的推断仅考虑其邻域。通过这种构造,变分下界是高度可分解的,因此我们可以用非常小的批量运行随机优化。然后,我们训练图卷积网络作为一个可重用的模型,以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理,往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
Gaussian Process Bandit Optimization of the Thermodynamic Variational Objective
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);USC Information Sciences Institute(南加州大学信息科学研究所)
实现充分的承诺,热力学变分目标(TVO),最近提出的变分下限的日志证据,涉及一维黎曼积分近似,需要选择一个“时间表”的排序离散点。本文介绍了一个定制的高斯过程的强盗优化方法自动选择这些点。我们的方法不仅可以自动进行一次性选择,还可以在优化过程中动态调整它们的位置,从而改进模型学习和推理。我们提供了理论保证,我们的强盗优化收敛到遗憾最小化选择的积分点。在变分自编码器和Sigmoid信度网络中,我们的算法在改进的学习和推理方面得到了经验验证。
2020-11-20 cs.LG