Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology(东京工业大学)
本文提出将深度展开技术融入 Stein 变分梯度下降,通过可训练方式学习其内部参数以加速收敛,并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Variational Bayes Approximations for Clustering via Mixtures of Normal Inverse Gaussian Distributions
通过变分贝叶斯近似实现了基于模型的聚类的参数估计。考虑了单变量NIG混合物和多变量NIG混合物。变分贝叶斯近似的使用在这里是从传统的EM方法的实质性偏离,并消除了一些相关的计算复杂性和不确定性。我们的变分算法适用于模拟和真实数据。最后,本文进行了讨论,并对今后的工作提出了建议。
2013-09-07 stat.CO stat.ME stat.ML
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Université Paris Cité(巴黎西岱大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Flatiron Institute(熨斗研究所)
本文针对黑盒变分推断缺乏收敛保证的问题,利用重参数化梯度估计器的二次噪声界,为近端和投影随机梯度下降提供了新的收敛证明,从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时,随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量,通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时,这种对初始步长缩放的有用见解就会丢失,必须小心确保实际收敛。我们实验性地研究了有多少婴儿(比例良好的步骤)与洗澡水(精确的梯度)一起被抛出。
2015-07-16 stat.ML
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST(CREST(经济与统计研究中心));ENSAE(ENSAE(国立统计与经济管理学院));Institut Polytechnique de Paris(巴黎理工学院)
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时,最近的一些工作为深度神经网络提供了理论依据和新的见解,用于在非参数回归等通常设置中估计平滑函数。在本文中,我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是,我们强调估计和逼近论之间的连接,通过经典的偏差方差权衡,并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外,我们表明,通过ELBO最大化的神经网络架构的模型选择框架不会过拟合,并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
MCMC for Variationally Sparse Gaussian Processes
高斯过程(GP)模型构成概率机器学习的核心部分。GP模型的研究主要集中在三个方面:数据量大时如何有效计算;似然函数非高斯时如何近似后验;如何估计协方差函数参数后验。本文同时解决这些问题,使用变分近似的后稀疏的功能,但其他自由形式的支持。其结果是一个混合蒙特卡洛采样方案,允许同时对函数值和协方差参数进行非高斯近似,并基于诱导点稀疏GP进行有效计算。本文中重复每个实验的代码将很快提供。
2015-06-12 stat.ML
Multivariate Gaussian Variational Inference by Natural Gradient Descent
University of Toronto(多伦多大学);Institute for Aerospace Studies(航空航天研究所)
这篇短文回顾了所谓的多元高斯的自然梯度下降(NGD)。推导了几种不同高斯参数化下的费舍尔信息矩阵。在计算导数时,要特别注意协方差阵的对称性。我们发现,有一些优点,选择一个参数化,包括平均值和逆协方差阵,并提供一个简单的NGD更新,占对称(和稀疏)性质的逆协方差阵。
2020-10-19 cs.LG cs.RO math.ST
On the Convergence of Black-Box Variational Inference
University of Pennsylvania(宾夕法尼亚大学);North Carolina State University(北卡罗来纳州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文首次为全黑盒变分推断建立了收敛性保证,证明近端随机梯度下降能克服尺度非线性参数化导致的次优收敛速率,并在大规模贝叶斯推断问题上验证了其优势。
2024-01-11 cs.LG eess.SP math.OC
Conditionally structured variational Gaussian approximation with importance weights
我们开发了灵活的方法来推导复杂的潜变量结构的模型的变分推断。通过将这些模型中的变量分为“全局”参数和“局部”潜变量,我们定义了一类利用这种划分的变分近似,并超越了高斯变分近似。这种近似的动机是在许多分层模型中,存在全局方差参数,其在全局参数的后验条件中确定局部潜变量的尺度。我们还考虑了条件独立结构的简约参数化,以及重要性权重的对数边际似然和变分密度的改进估计。这些方法显着改善高斯变分近似方法,类似的计算成本。该方法的应用说明使用广义线性混合模型和状态空间模型。
2019-04-21 stat.CO
Fast Dual Variational Inference for Non-Conjugate LGMs
潜高斯模型(LGM)广泛应用于统计学和机器学习中。由于涉及高斯先验和非共轭似然的棘手积分,非共轭LGM中的贝叶斯推断是困难的。基于变分高斯(VG)近似的算法被广泛采用,因为它们在准确性,通用性,速度和易用性之间取得了有利的平衡。然而,与这些近似相关联的优化问题的结构仍然知之甚少,并且标准求解器需要太长时间才能收敛。我们得到一个新的双变分推断方法,利用VG近似的凸性。我们得到了一个算法,解决了凸优化问题,减少了变分参数的数量,收敛速度比以前的方法快得多。使用真实世界的数据,我们证明了这些优势的各种LGM,包括高斯过程分类,和潜在的高斯马尔可夫随机场。
2013-06-05 math.OC stat.CO stat.ML
Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space
Massachusetts Institute of Technology(麻省理工学院);University of California, Davis(加州大学戴维斯分校);Microsoft Research(微软研究院)
本文提出FB-GVI算法,利用KL散度在Bures-Wasserstein空间上的复合结构求解高斯变分推断,并在对数光滑且对数凹及仅对数光滑两种条件下分别取得了最先进和首个收敛性保证。
2023-04-10 cs.LG math.OC math.ST
Rates of Convergence of Generalised Variational Inference Posteriors under Prior Misspecification
University of Warwick(华威大学)
本文研究了在先验不规范情况下,广义变分推断后验的收敛速度和鲁棒性,提出了存在性和唯一性的充分条件以及收敛速度的理论保障。
2025-12-03 math.ST stat.ML stat.TH
Analytic natural gradient updates for Cholesky factor in Gaussian variational approximation
针对高维下 Fisher 矩阵求逆困难及精度矩阵更新无法保证正定性的问题,推导了协方差或精度矩阵 Cholesky 因子的解析自然梯度更新并引入稀疏约束,提出带动量的随机归一化自然梯度上升法应用于广义线性混合模型和深度神经网络。
2025-02-04 stat.CO
Variational Bayes for Mixture of Gaussian Structural Equation Models
针对现有变分近似仅适用于简单结构方程模型的局限,提出两种适配非高斯数据的高斯混合结构方程模型的平均场变分贝叶斯算法,含协变量与缺失数据处理,并提出两种易计算的变分信息准则,经模拟和真实数据验证性能。
2024-07-11 stat.ME
Variational Bayes for Gaussian Factor Models under the Cumulative Shrinkage Process
累积收缩过程是一个不断增加的收缩先验,可以在模型中使用,其中附加项应该发挥逐渐可忽略的作用。一个自然的应用是高斯因子模型,在这种情况下,这样的过程已被证明是有效的,在诱导简约表示,同时提供准确的推断数据协方差阵。累积收缩过程带有自适应吉布斯采样器,该采样器在整个迭代过程中调整潜在因子的数量,这使得它比非自适应吉布斯采样器更快。在这项工作中,我们提出了一个变分算法的高斯因子模型赋予的累积收缩过程。这种策略提供了与自适应Gibbs采样器相当的推断,并进一步减少了运行时间
2020-08-12 stat.CO
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London(帝国理工学院)
深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的,并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减,并且高斯形式的变分分布可能导致不准确的后验。相反,我们将噪声变量作为潜在的协变量,并提出了一种新的重要性加权目标,它利用分析结果,并提供了一种机制,以权衡计算提高精度。我们的研究结果表明,重要性加权的目标在实践中运作良好,并始终优于经典的变分推断,特别是更深的模型。
2019-05-14 cs.LG stat.ML
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics Intelligent Machines(机器人与智能机器研究所)
大规模高斯过程推理长期以来一直面临着实际的挑战,由于时间和空间的复杂性,是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习,但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中,我们提出了一种新的变分高斯过程模型,在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明,这种新的参数化推广以前的模型。此外,它产生了一个变分推断问题,可以解决的随机梯度上升的时间和空间的复杂性,只有线性的平均函数参数的数量,无论选择的内核,似然,和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验,结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
Statistical Guarantees and Algorithmic Convergence Issues of Variational Boosting
Texas A & M University(得克萨斯农工大学)
我们提出了一种新的小带宽高斯混合变分家庭贝叶斯变分提升提供统计保证。我们采用的功能版本的Frank-Wolfe优化作为我们的变分算法和研究的迭代提升更新的频率属性。比较绘制到最近的文献上的提升,描述如何选择的变分家庭和差异措施影响收敛和有限样本的统计特性的优化例程。具体来说,我们首先证明了随机有界的提升迭代相对于数据生成分布。接下来,我们将其集成到我们的算法中,以提供显式的收敛速度,并以所需的提升更新次数的结果结束。
2020-10-22 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Variational Auto-encoded Deep Gaussian Processes
University of Sheffield(谢菲尔德大学)
我们通过用识别模型增强深度高斯过程来开发一个可扩展的深度非参数生成模型。推理是在一种新型的可扩展变分框架中进行的,其中变分后验分布通过多层感知器重新参数化。这种重新表述的关键方面是,它可以防止扩散的变分参数,否则线性增长的样本大小成比例。我们推导出一种新的变分下界公式,使我们能够以一种能够处理主流深度学习任务大小的数据集的方式分配大部分计算。我们展示了该方法对各种挑战的有效性,包括深度无监督学习和深度贝叶斯优化。
2016-02-29 cs.LG stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart(斯图加特大学);ETAS GmbH(ETAS有限公司)
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模,经常使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)及其改进模型变分稀疏谱高斯过程(VSSGP)的基础上,提出了几种新的深度递归高斯过程(DRGP)模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似,经常性的高斯过程(RGP)的基础上的经常性结构。类似于以前的工作,我们也变分集成的输入空间,因此可以通过高斯过程(GP)层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP,因为它的频谱性质允许变分积分在所有平稳的情况下。此外,我们结合(变分)稀疏谱((V)SS)近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。
2019-09-27 cs.LG stat.ML
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Variational Gaussian Copula Inference
Duke University(杜克大学)
我们利用Copula构成一个统一的框架,构建和优化变分的建议,在分层贝叶斯模型。对于具有连续和非高斯隐变量的模型,我们提出了一种半参数和自动变分高斯copula方法,其中参数高斯copula族能够保持多元后验依赖性,并且基于Bernstein多项式的非参数变换在表征单变量边缘后验方面提供了足够的灵活性。
2016-05-18 cs.LG stat.CO stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield(谢菲尔德大学);Department of Computer Science(计算机科学系);Sheffield, UK(英国谢菲尔德)
本文介绍了一种近似高斯过程回归的方法,将问题表示为随机微分方程,并利用变分推理来近似解。的近似值进行比较,与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明,该方法很容易扩展到非线性动力学和讨论的扩展,该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Stein Variational Gaussian Processes
Lancaster University(兰卡斯特大学)
我们展示了如何使用Stein变分梯度下降(SVGD)进行推理的高斯过程(GP)模型与非高斯似然和大数据量。马尔可夫链蒙特卡罗(MCMC)是非常计算密集型的这些情况下,但有效的变分推断(VI)所需的参数假设,导致不正确的推理时,他们遇到的多模态后验分布是常见的这种模型。SVGD为变分推断提供了一种非参数的替代方案,它比MCMC快得多。我们证明了对于具有Lipschitz梯度的GP模型,SVGD算法单调地减小了从采样分布到真实后验分布的库尔贝克-莱布勒散度.我们的方法在回归和分类,多模态后验和空气质量的例子与550,134时空观测的基准问题上进行了演示,显示出MCMC和VI的显着性能改进。
2022-01-19 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
稀疏变分高斯过程(SVGP)方法是非共轭高斯过程推理的常见选择,因为它们的计算优势。在本文中,我们提高了他们的计算效率,通过使用一个双参数化,每个数据的例子被分配双参数,类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降,并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销,但速度更快,精度更高。
2022-01-19 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Fast Variational Learning in State-Space Gaussian Process Models
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
具有1D输入的高斯过程(GP)回归通常可以通过随机微分方程公式在线性时间内执行。然而,对于非高斯似然,这需要应用近似推理方法,这可能使实现困难,例如,期望传播在数值上可能是不稳定的,并且变分推断在计算上可能是低效的。在本文中,我们提出了一种新的方法,消除这些困难。建立在现有的方法称为共轭计算变分推理,我们的方法使线性时间推理通过卡尔曼递归,同时避免数值不稳定性和收敛问题。我们提供了一个高效的JAX实现,利用即时编译,并允许快速自动微分通过大型for循环。总的来说,我们的方法导致快速和稳定的变分推断状态空间GP模型,可以扩展到时间序列与数百万个数据点。
2020-07-17 cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University(西北大学)
在推理中,开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器,在某些情况下,分离地利用重建,我们发现稀释了潜在的表示的能力,以区分未知的类。相比之下,我们训练我们的模型来合作学习重建,并在潜在空间中执行基于类的聚类。有了这个,我们的高斯混合变分自编码器(GMVAE)实现了更准确和更强大的开集分类结果,平均F1提高了29.5%,通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
Scalable Variational Gaussian Process Classification
高斯过程分类是一种流行的方法,具有许多吸引人的特性。我们展示了如何在变分诱导点框架内扩展模型,在基准数据集上表现优于最先进的模型。重要的是,变分公式可以被利用,以允许在数百万个数据点的问题进行分类,我们在实验中证明。
2014-11-07 stat.ML
Variational Gaussian Processes: A Functional Analysis View
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
变分高斯过程(GP)近似已经成为快速GP推断的标准工具。这种技术要求用户选择变分特征以提高效率。到目前为止,文献中的共同选择是不同的,缺乏普遍性。我们建议将GP看作是位于Banach空间中,从而便于统一的视角。这用于理解现有特征之间的关系,并在核岭回归和变分GP近似之间建立联系。
2021-10-25 cs.LG math.ST stat.ML
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University(纽约大学);Facebook Inc.(脸书公司);University of Sydney(悉尼大学)
通过在线观察数据的后验序列构造,贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程(VAR-GPs),这是一种原则性的后验更新机制,用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验,我们提出了一种新的自回归变分分布,揭示了两个富有成效的连接到现有的结果在贝叶斯推断,期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘,这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Scalable Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);University of California, Irvine(加州大学欧文分校)
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善,但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型,在运行时间和内存占用方面优于现有的方法,易于实现,并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(帝国理工学院);University of Technology Nuremberg (UTN)(纽伦堡工业大学);Helmholtz AI(亥姆霍兹人工智能中心);Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题,提出摊销结构化随机变分推断,使潜空间后验条件依赖于诱导点,从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
深度高斯过程(DGP)是高斯过程的多层灵活扩展,但其训练仍然具有挑战性。稀疏近似简化了训练,但通常需要对大量诱导输入及其跨层位置进行优化。在本文中,我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本,而没有显着的性能下降,我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练,同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院)
本文提出了一种新的变分推理框架,推导出一个家庭的贝叶斯稀疏高斯过程回归(SGPR)模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR(VBSGPR)模型共同对待的诱导变量和超参数的分布作为变分参数,这使得变分下限,反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度,以改进我们的VBSGPR模型的诱导变量和超参数(以及预测分布)的最优变分分布的估计,并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计,并且可以在每次迭代的恒定时间内计算,从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University(阿尔托大学);University of Tübingen(蒂宾根大学)
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而,早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型,使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强,使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处,预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg(班贝格大学)
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时,现代机器学习的复杂性使得理解模型的推理过程具有挑战性,更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣,但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发,我们引入了变分高斯过程的相应概念。一方面,我们的贡献提高了这些类型模型的透明度。更重要的是,我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS(法国国家科学研究中心);LOPF, Califrais’ Machine Learning Lab(LOPF,Califrais机器学习实验室)
本文提出变分自编码器的非渐近收敛保证,分析了不同优化算法和超参数对收敛的影响,为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
Nested Variational Compression in Deep Gaussian Processes
深度高斯过程提供了一种灵活的方法,可以使用监督或无监督学习对数据进行概率建模。为了便于推理,必须对模型的边际似然进行近似。在这些模型中近似推理的原始方法使用变分压缩来允许隐变量的近似变分边缘化,从而导致模型的边际似然的下限[Damianou和Lawrence,2013]。在本文中,我们扩展了这个想法与嵌套变分压缩。由此产生的下界的可能性可以很容易地并行化或适应随机变分推断。
2014-12-03 stat.ML
Amortized Variational Inference for Deep Gaussian Processes
Xiamen University(厦门大学)
本文提出深度高斯过程的摊销变分推断,通过学习推断函数映射观测到变参,以更少诱导变量实现更强表达力,在降低计算成本的同时性能不逊于甚至优于现有方法。
2024-09-18 cs.LG stat.ML
Variational Nearest Neighbor Gaussian Process
Columbia University(哥伦比亚大学);Zuckerman Institute(扎克曼研究所)
本文提出变分最近邻高斯过程(VNNGP),通过稀疏精度矩阵先验仅保留K个最近邻相关性,实现O(K^3)复杂度的随机优化,实验表明其性能优于低秩方法且更不易过拟合。
2024-11-21 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Variational Gaussian Process Diffusion Processes
Aalto University(阿尔托大学);University Pompeu Fabra(庞培法布拉大学)
针对非线性扩散过程先验下推断不可处理的问题,本文提出基于位点指数族的高斯变分过程参数化,将不动点推断转化为类自然梯度的凸优化,并改善参数学习目标。
2024-02-27 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Convergence Rates of Variational Posterior Distributions
本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前,似然,变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下,发现该速率是两项的总和。首项表示真实后验分布的收敛速度,第二项由变分逼近误差贡献。对于一类先验,我们提出了一个新的先验质量条件,在该条件下,平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度,我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。
2019-06-17 math.ST stat.ML stat.TH
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara(加州大学圣巴巴拉分校)
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解,即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为,这将导致一个典型的训练问题,称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器(VAE)来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模,因此它有助于维护VAE中丢失的依赖关系。实证结果表明,通过使用神经参数copula显式地对潜变量的相关性进行建模,我们可以避免这种训练困难,同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE