Variational Inference: A Unified Framework of Generative Models and Some Revelations
Sun Yat-sen University(中山大学)
我们从一个新的角度重新解释了变分推理。通过这种方法,我们可以很容易地证明EM算法、VAE、GAN、AAE、ALI(BiGAN)都是变分推理的特例。证明也揭示了标准GAN的损失是不完整的,这解释了为什么我们需要谨慎地训练GAN。在此基础上,我们提出了一种正则化项来提高GAN训练的稳定性。
2018-07-20 cs.LG stat.ML
Variational Inference using Implicit Distributions
Twitter(推特)
生成对抗网络(GANs)为我们提供了一个很好的工具,可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布,并且可以对样本对模型参数求导。这些模型是高度表达,我们认为他们可以证明是一样有用的变分推断(VI),因为他们是生成建模。有几篇论文提出了类似GAN的推理算法,然而,与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾,这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次,本文提供了一个框架,用于建立新的算法:根据变分界的方式表示,我们引入先验对比和联合对比的方法,并显示实际的推理算法的基础上,无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Variational Inference via Transformations on Distributions
IIT Kanpur(坎普尔印度理工学院)
变分推断方法通常只关注模型的有效优化问题,而很少关注近似后验的选择。在本文中,我们回顾和实现的各种方法,使我们能够开发一个丰富的家庭的近似后验。我们表明,一个特定的方法,采用变换的分布结果在发展非常丰富和复杂的后验近似。我们分析其性能的MNIST数据集上实现与变分自动编码器,并证明其有效性,学习更好的后验分布。
2017-07-09 cs.LG stat.ML
Black-box Coreset Variational Inference
Amazon(亚马逊);Meta;Insitro
核心集方法的最新进展表明,选择有代表性的数据点可以取代大量的数据进行贝叶斯推断,保留相关的统计信息,并显着加快后续的下游任务。现有的变分coreset的建设依赖于要么选择子集的观察到的数据点,或共同执行近似推理和优化伪数据在观察到的空间类似于高斯过程中的诱导点的方法。到目前为止,这两种方法是有限的,在评估其目标的通用模型的复杂性,并需要在整个推理和测试过程中生成一个典型的棘手的后验样本的核心集。在这项工作中,我们提出了一个黑箱的变分推断框架coresets,克服了这些限制,使原则上的应用变分coresets棘手的模型,如贝叶斯神经网络。我们将我们的技术应用于监督学习问题,并将其与文献中现有的数据汇总和推理方法进行比较。
2023-01-15 cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI,一种基于扩散模型的黑盒变分推断算法,通过迭代优化潜在空间后验,提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Enhanced Variational Inference with Dyadic Transformation
Xylem Inc.(赛莱默公司);The University of Chicago(芝加哥大学)
变分自编码器是一个强大的具有变分推理的深度生成模型。在VAE的原始公式中,将潜在变量建模为具有对角协方差矩阵的正态分布的做法限制了匹配真实后验分布的灵活性。我们提出了一种新的变换,并元变换(DT),可以模拟多元正态分布。DT是一种单级变换,计算要求低。我们在MNIST数据集上的经验表明,DT增强了后验灵活性,并与其他VAE增强相比获得了有竞争力的结果。
2019-03-08 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Censor Dependent Variational Inference
Purdue University(普渡大学)
本文提出依赖删失机制的变分推断(CDVI)及可扩展的CD-CVAE模型,解决了生存分析中变分分布设计不当的问题,显著提升了个体生存分布估计效果。
2025-06-03 cs.LG stat.ML
Semi-Amortized Variational Autoencoders
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
摊销变分推断(AVI)用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型(如变分自编码器(VAE))的有效训练,但最近的经验研究表明,推理网络可能会产生次优的变分参数。我们提出了一种混合的方法,使用AVI初始化变分参数和运行随机变分推断(SVI)来完善它们。最重要的是,局部SVI过程本身是可微的,因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型,而不会遇到在训练VAE时常见的后崩溃现象,例如文本生成。实验表明,该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK(数学系,布里斯托尔大学)
SoftCVI通过对比估计框架将变分分布参数化为分类器,利用未归一化后验生成软标签进行训练,无需正负样本,在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Proximity Variational Inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分推断是一种强有力的近似后验推理方法。然而,它对初始化很敏感,并且可能会受到局部最优解的影响。在本文中,我们开发了邻近变分推断(PVI)。PVI是一种新的优化变分目标的方法,它通过约束变分参数的后续迭代来增强优化路径的鲁棒性,因此PVI对初始化和优化异常不敏感,并能找到更好的局部最优解。我们证明了我们的方法对三个邻近统计。我们研究了Bernoulli因子模型和sigmoid信念网络上的PVI,其中包含真实数据和合成数据,并与确定性退火进行比较(Katahira等人,2008年)。我们通过为贝叶斯深度学习模型(如变分自动编码器)设计接近度统计量来突出PVI的灵活性(Kingma和Welling,2014; Rezelman等人,2014年)。经验上,我们表明,PVI始终找到更好的局部最优,并提供更好的预测性能。
2017-05-24 cs.LG stat.CO stat.ML
Natural Evolution Strategies as a Black Box Estimator for Stochastic Variational Inference
Toronto Metropolitan University(多伦多都会大学)
针对 VAE 依赖重参数化技巧、限制模型类型的问题,本文提出基于自然进化策略的黑盒梯度估计器,无需假设分布形式即可支持更广泛的随机变分推断模型。
2023-08-15 cs.LG cs.NE
Moment-Based Variational Inference for Stochastic Differential Equations
Technische Universität Darmstadt(达姆施塔特工业大学)
现有的扩散过程的确定性变分推理方法使用简单的建议和目标后验的边缘密度。我们将变分过程构造为先验过程的受控版本,并通过一组矩函数来逼近后验过程。结合矩封闭,平滑问题减少到一个确定性的最优控制问题。利用路径的Fisher信息,我们提出了一个优化过程,对应于一个自然的梯度下降的变参数。我们的方法允许更丰富的变分近似,扩展到状态相关的扩散项。经典高斯过程近似作为一种特殊情况恢复。
2021-03-01 cs.LG stat.ML
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics Intelligent Machines(机器人与智能机器研究所)
大规模高斯过程推理长期以来一直面临着实际的挑战,由于时间和空间的复杂性,是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习,但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中,我们提出了一种新的变分高斯过程模型,在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明,这种新的参数化推广以前的模型。此外,它产生了一个变分推断问题,可以解决的随机梯度上升的时间和空间的复杂性,只有线性的平均函数参数的数量,无论选择的内核,似然,和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验,结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
Scalable Spike Source Localization in Extracellular Recordings using Amortized Variational Inference
University of Edinburgh(爱丁堡大学);MIT–IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);University of Oslo(奥斯陆大学)
确定细胞外记录中神经元的位置对于研究潜在神经回路的功能特性是有用的。在这项工作中,我们提出了一种贝叶斯建模方法,用于定位高密度微电极阵列上的单个尖峰信号源。为了允许可扩展的推理,我们将我们的模型实现为变分自动编码器,并执行摊销变分推理。我们评估我们的方法在生物医学上逼真的模拟和真实的细胞外数据集,证明它比启发式定位方法(如质心)更准确,可以提高尖峰分选性能。
2022-01-26 cs.LG q-bio.NC
Recursive Inference for Variational Autoencoders
Samsung AI Center(三星人工智能中心);Rutgers University(罗格斯大学)
传统的变分自编码器(VAE)的推理网络通常被摊销,导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点,但是,他们的迭代梯度更新程序可以计算要求。为了解决这些问题,在本文中,我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE,迭代增加当前的混合与新的组件,以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法,我们设计了一个直观的学习标准来选择一个新的混合成分:新的成分必须提高数据的似然性(下限),同时,尽可能地偏离当前的混合分布,从而增加代表性的多样性。与最近提出的提升变分推理(BVI)相比,我们的方法依赖于摊销推理,而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是,在测试时的推理需要一个单一的前馈通过混合推理网络,使其显着快于半摊销的方法。我们表明,我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
LINFA: a Python library for variational inference with normalizing flow and annealing
University of Notre Dame(圣母大学)
本文介绍 Python 库 LINFA,它利用归一化流与退火技术实现变分推断,面向计算昂贵、参数依赖且难采样的模型,并通过基准验证其性能。
2023-07-14 cs.LG stat.CO
The Thermodynamic Variational Objective
University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
我们引入了热力学变分目标(TVO),用于连续和离散深度生成模型的学习。TVO产生于变分推理和热力学积分之间的关键连接,其导致比标准变分变分证据下限(ELBO)更严格的对数边际似然下限,同时保持广泛适用。我们提供了一个计算效率的梯度估计的TVO,适用于连续的,离散的,和非reparameterizable分布,并表明变分推理,变分自编码器,唤醒睡眠和推理编译中使用的目标函数都是特殊情况下的TVO。我们使用TVO来学习离散和连续的深度生成模型,并以经验证明最先进的模型和推理网络学习。
2021-04-07 cs.LG stat.ML
Variational Inference In Pachinko Allocation Machines
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Google Brain(谷歌大脑)
Pachinko分配机(PAM)是一个深度主题模型,它允许通过主题上的有向无环图来表示主题之间丰富的相关结构。然而,由于模型的灵活性,近似推理非常困难。也许由于这个原因,文献中只探索了少量潜在的PAM架构。在本文中,我们提出了一个有效的和灵活的摊销变分推理方法PAM,使用深度推理网络参数化的近似后验分布的方式类似于变分自编码器。我们的推理方法产生更多的连贯性主题比国家的最先进的推理方法PAM,同时是一个数量级更快,这使得探索更广泛的PAM架构比以前研究。
2018-04-21 cs.CL cs.LG stat.ML
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University(塔夫茨大学)
当处理大数据集时,具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时,推断才是准确的。在本文中,我们考虑的推理问题在不同的方向:GP函数值的后验大多是相关的短距离。我们构造了一个变分分布,使得对数据点的推断仅考虑其邻域。通过这种构造,变分下界是高度可分解的,因此我们可以用非常小的批量运行随机优化。然后,我们训练图卷积网络作为一个可重用的模型,以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理,往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London(帝国理工学院)
深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的,并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减,并且高斯形式的变分分布可能导致不准确的后验。相反,我们将噪声变量作为潜在的协变量,并提出了一种新的重要性加权目标,它利用分析结果,并提供了一种机制,以权衡计算提高精度。我们的研究结果表明,重要性加权的目标在实践中运作良好,并始终优于经典的变分推断,特别是更深的模型。
2019-05-14 cs.LG stat.ML
Variational Inference with Normalizing Flows
Google DeepMind(谷歌DeepMind)
近似后验分布的选择是变分推断的核心问题之一。变分推断的大多数应用采用简单的后验近似族,以允许有效的推理,集中在平均场或其他简单的结构化近似。这种限制有显着的影响,使用变分方法的推理质量。我们介绍了一种新的方法来指定灵活的,任意复杂的和可扩展的近似后验分布。我们的近似是通过归一化流构造的分布,通过应用一系列可逆变换将简单的初始密度变换为更复杂的密度,直到达到所需的复杂程度。我们使用这种观点规范化流发展类别的有限和无穷小流量,并提供了一个统一的观点,构建丰富的后验近似的方法。我们证明了具有更好地匹配真实后验的后验的理论优势,结合摊销变分方法的可扩展性,提供了变分推断的性能和适用性的明显改善。
2016-06-14 cs.AI cs.LG stat.CO
Sylvester Normalizing Flows for Variational Inference
University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
变分推断依赖于灵活的近似后验分布。规范化流提供了一个通用的配方来构建灵活的变分后验。我们引入西尔维斯特规范化流,这可以被看作是一个推广的平面流。Sylvester规范化流消除了平面流中众所周知的单单元瓶颈,使单个转换更加灵活。我们比较了西尔维斯特规范化流对平面流和逆自回归流的性能,并证明了它们在几个数据集上的表现。
2019-02-20 cs.AI cs.LG stat.ME
Conjugate-Computation Variational Inference : Converting Variational Inference in Non-Conjugate Models to Inferences in Conjugate Models
RIKEN(日本理化学研究所)
变分推理在包含共轭和非共轭项的模型中具有计算挑战性。专门为共轭模型设计的方法,即使计算效率高,也很难处理非共轭项。另一方面,随机梯度方法可以处理非共轭项,但它们通常忽略了模型的共轭结构,这可能导致收敛缓慢。在本文中,我们提出了一种新的算法,称为共轭计算变分推理(CVI),它带来了最好的两个世界在一起-它使用共轭计算的共轭项,并采用随机梯度的休息。我们通过在平均参数空间中使用随机镜像下降方法推导出该算法,然后将每个梯度步长表示为共轭模型中的变分推断。我们证明了我们的算法的适用性,一大类模型,并建立其收敛性。我们的实验结果表明,我们的方法收敛速度远远快于忽略共轭结构的模型的方法。
2017-04-13 cs.LG
Practical Collapsed Stochastic Variational Inference for the HDP
Knowledge Technologies for the Social Sciences(社会科学知识技术)
最近的进展使其可行的应用随机变分范式的潜在狄利克雷分配(LDA)的一个崩溃的表示。虽然随机变分范式已成功地应用到一个未倒塌的表示的分层狄利克雷过程(HDP),没有尝试应用这种类型的推理在一个倒塌的设置非参数主题建模已提出到目前为止。在本文中,我们探讨这样一个崩溃的随机变分贝叶斯推断的HDP。该在线算法易于实现,并考虑了超参数的推断。第一个实验表明,预测性能有希望的改善。
2013-12-02 cs.LG
Importance Weighting and Variational Inference
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Department of Computer Science, Mount Holyoke College(曼荷莲学院计算机科学系)
最近的工作使用重要性采样的想法,更好的变分界限的可能性。我们澄清了这些想法的适用性,纯概率推理,通过显示所得到的重要性加权变分推理(IWVI)技术是一个例子,增强变分推理,从而确定在以前的工作中的松散。实验证实IWVI的实用性概率推理。作为第二个贡献,我们调查的推断与椭圆分布,这提高了精度在低维,并在高维收敛。
2018-10-27 cs.LG stat.ML
Wasserstein Variational Inference
Radboud University(拉德堡德大学);University of Amsterdam(阿姆斯特丹大学)
本文介绍了Wasserstein变分推断,一种基于最优运输理论的近似贝叶斯推断的新形式。Wasserstein变分推断使用一个新的分歧族,其中包括f-分歧和瓦瑟斯坦距离作为特殊情况。Wasserstein变分损失的梯度通过Sinkhorn迭代反向传播得到。这种技术产生了一种非常稳定的无似然训练方法,可用于隐式分布和概率程序。使用Wasserstein变分推断框架,我们介绍了几种新形式的自动编码器和测试其鲁棒性和性能对现有的变分自动编码技术。
2018-06-04 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University(拉德堡德大学)
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论,提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似,我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度,每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断,其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Structured Stochastic Variational Inference
Adobe Research(Adobe研究院);Columbia University(哥伦比亚大学)
随机变分推理使得使用随机优化来快速近似由大数据集诱导的后验分布成为可能。该算法依赖于使用完全因式分解的变分分布。然而,这种“平均场”独立近似限制了后验近似的保真度,并引入局部最优。我们展示了如何放松平均场近似,以允许全局参数和局部隐变量之间的任意依赖关系,通过减少偏差,对局部最优值的敏感性和对超参数的敏感性来产生更好的参数估计。
2014-11-26 cs.LG
Variational Inference MPC using Tsallis Divergence
Georgia Institute of Technology(佐治亚理工学院)
本文利用非广延Tsallis散度,给出了变分推理-随机最优控制的一个推广框架.通过将变形指数函数引入最优似然函数中,得到了一种新的Tsallis变分推理-模型预测控制算法,该算法包含了变分推理-模型预测控制、模型预测路径积分控制、交叉熵方法和Stein变分推理模型预测控制等前人工作的特例.所提出的算法允许有效控制的成本/回报变换,其特征在于优越的性能方面的平均值和方差减少相关的成本。上述功能支持的理论和数值分析所提出的算法的风险敏感性的水平,以及5个不同的机器人系统与3个不同的政策参数化的仿真实验。
2021-04-01 cs.LG
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发,我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此,我们将这种变分推理技术应用于香草策略梯度,TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
A Tutorial on Parametric Variational Inference
Uppsala University(乌普萨拉大学)
在贝叶斯模型中,变分推断使用优化而不是积分来近似边缘似然,从而近似后验。由于过去十年在计算可扩展性方面取得的进展,变分推断现在是许多高维模型和大型数据集的首选。本教程介绍了变分推断从参数的角度来看,占主导地位的这些最近的发展,在其他介绍性文本中常见的平均场的角度。
2023-01-03 cs.LG stat.ME stat.ML
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗(MCMC)和变分推理。MCMC如果运行足够长的时间,则趋于准确,而变分推理则趋于在较短的时间范围内给出更好的近似。然而,MCMC超过变分方法的性能所需的时间量可能相当高,从而激发了更细粒度的权衡。本文推导出一个分布变分参数,旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限,并给出了一个例子,如何从这个分布中的方式,插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理(SGVI)。
2017-06-20 cs.LG stat.ML
Quantum Annealing for Variational Bayes Inference
Google(谷歌);University of Tokyo(东京大学)
研究了一种基于量子退火的变分贝叶斯(QAVB)推理的确定性退火算法,该算法可以看作是变分贝叶斯模拟退火(SAVB)推理的扩展. QAVB和SAVB一样容易实现。实验结果表明,QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配(LDA)。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反,提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中,我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗,解决问题的概念,局部曲率,并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度,并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的,因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型,由iid(伯努利)随机变量的混合物。该算法采用大规模混杂系统的概率关系模型,并将其转换为一个接近最优的变分模型。然后,它有效地计算边际概率的变分模型,通过使用潜在的(或提升)变量消除或提升随机抽样。这种推理是独特的,因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展,但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点,并引入退火变分目标(AVO)到训练的分层变分方法。受退火重要性采样的启发,所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中,我们证明了我们的方法的鲁棒性确定性热身,并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University(明治大学);Chuo University(中央大学)
变分推断(VI)结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗(SMC)及其变体上,例如,前向滤波后向模拟(FFBSi)。虽然这些研究取得了成功,严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中,我们提出了Ensemble卡尔曼变分目标(EnKO),VI和集合卡尔曼滤波(EnKF)的混合方法,推断状态空间模型(SSM)。我们提出的方法可以有效地识别潜在的动态,因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限,以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的,很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲,我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Operator Variational Inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分推断是将贝叶斯推断转换为优化的算法的总称。经典地,变分推断使用库尔贝克-莱布勒散度来定义优化。虽然这种分歧已被广泛使用,所得到的后验近似可能遭受不希望的统计特性。为了解决这个问题,我们重新审查变分推断从它的根源作为一个优化问题。我们使用算子或函数的函数来设计变分目标。作为一个例子,我们设计了一个变分目标与Langevin-Stein算子。我们开发了一个黑箱算法,运营商变分推断(OPVI),优化任何运营商的目标。重要的是,运算符使我们能够明确变分推断的统计和计算权衡。我们可以描述变分目标的不同属性,例如允许数据子采样的目标-允许推理扩展到海量数据-以及允许变分程序的目标-一个不需要易处理密度的丰富的后验近似类。我们说明了混合模型和生成模型的图像上的OPVI的好处。
2018-03-15 cs.LG stat.CO stat.ME
Variational Inference for GARCH-family Models
Aarhus University(奥胡斯大学)
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状,探讨变分推断的替代可行性,经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo(东京大学)
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似,称为CVB 0推断,潜在的Dirichlet分配(LDA)。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成:α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Rényi Divergence Variational Inference
University of Cambridge(剑桥大学)
引入变分Rényi界(VR),将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法,并使一个平滑的插值从证据下限的日志(边际)的可能性,控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值,并提出了一种新的变分推断方法作为一个新的特殊情况下,在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
Advances in Variational Inference
Microsoft Research(微软研究院);Disney Research(迪士尼研究院);KTH Royal Institute of Technology(KTH皇家理工学院);University of California, Irvine(加州大学欧文分校)
许多现代无监督或半监督机器学习算法依赖于贝叶斯概率模型。这些模型通常是棘手的,因此需要近似推理。变分推理(VI)让我们通过解决优化问题来近似高维贝叶斯后验,具有更简单的变分分布。该方法已成功应用于各种模型和大规模应用中。在这篇评论中,我们给出了一个概述变分推理的最新趋势。本文首先介绍了标准平均场变分推理,然后重点从以下几个方面综述了近年来的研究进展:(a)可缩放VI,其包括随机近似,(b)通用VI,其将VI的适用性扩展到一大类否则难以处理的模型,例如非共轭模型,(c)精确VI,其包括超出平均场近似或具有非典型发散的变分模型,(d)摊销VI,利用推理网络实现对局部隐变量的推理。最后,我们提供了一个有前途的未来研究方向的总结。
2018-10-23 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine(加利福尼亚大学欧文分校);University College London(伦敦大学学院);Radboud University Nijmegen(拉德堡德大学)
变分贝叶斯推理和(塌陷)吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点:塌陷吉布斯采样是无偏的,但对于大计数值也是低效的,并且需要对许多样本进行平均以减少方差。另一方面,变分贝叶斯推理是有效的,准确的大计数值,但遭受小计数的偏见。我们提出了一种混合算法,结合了两个世界的最佳:它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI,一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中,TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI,并将其与两种替代方案进行了比较:自动微分变分推理(ADVI)和无Hessian-free随机梯度变分推理(HFSGVI)。前者是基于随机一阶优化。后者使用二阶信息,但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级,证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布,这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);DeepMind(深度思考)
我们开发了一种方法,结合马尔可夫链蒙特卡罗(MCMC)和变分推断(VI),利用这两种推理方法的优点。具体来说,我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理,我们引入了变分对比发散(VCD),这是一种新的发散,取代了VI中使用的标准Kullback-Leibler(KL)发散。VCD捕获初始变分分布与其改进版本(在运行MCMC步骤后获得)之间的差异的概念,并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明,优化VCD导致更好的预测性能的两个潜变量模型:逻辑矩阵分解和变分自动编码器(VAE)。
2019-05-28 cs.LG stat.ML
Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow(三星莫斯科人工智能中心);National Research University Higher School of Economics(国立研究型高等经济学院);NRU HSE(国立研究型高等经济学院)
变分推断是贝叶斯建模工具包中的一个强有力的工具,然而,它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来,变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍,我们引入了一个新的家庭的边际对数密度的情况下,分层模型(也称为潜变量模型)的变分上界。然后,我们给出了一个上界的库尔贝克-莱布勒散度,并推导出一个家庭越来越紧密的变分下界,否则难以处理的标准证据下界分层变分分布,使使用更有表现力的近似后验。我们表明,以前已知的方法,如分层变分模型,半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下,并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise
TU Darmstadt(达姆施塔特工业大学)
为了在安全关键领域采用神经网络,了解我们是否可以信任他们的预测是至关重要的。贝叶斯神经网络(BNN)通过相对于后验权重分布对预测进行平均来提供不确定性估计。BNN的变分推理方法用一个易处理的分布来近似难以处理的权重后验,但在训练和推理过程中主要依赖于从变分分布中采样。最近的无采样方法提供了一种替代方案,但会产生显着的参数开销。在这里,我们提出了一个更有效的参数化的后验近似采样自由变分推理,依赖于乘性高斯激活噪声引起的分布。这使我们能够将参数效率与无采样变分推理的好处结合起来。我们的方法对于标准回归问题产生了有竞争力的结果,并且可以很好地扩展到包括ImageNet在内的大规模图像分类任务。
2021-03-16 cs.CV cs.LG
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University(斯坦福大学);Preferred Networks;The Institute of Statistical Mathematics(统计数理研究所)
我们形式化了两种流行的贝叶斯推理方法之间的等价性:斯坦变分梯度下降(SVGD)和黑箱变分推理(BBVI)。特别是,我们表明,BBVI正好对应于SVGD时,内核是神经切线核。此外,我们解释SVGD和BBVI内核梯度流,我们这样做,利用最近的观点,认为SVGD作为一个梯度流的概率分布的空间,并显示BBVI自然激励黎曼结构的空间。我们观察到,内核梯度流也描述了生成对抗网络(GANs)训练中发现的动态。因此,这项工作统一了变分推理和生成建模中的几种现有技术,并将内核确定为控制这些算法行为的基本对象,从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计,其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的,变分族是位置-尺度分布时,常见的“重新参数化”估计的界。这些界限是不可改进的,因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Variational Pseudolikelihood for Regularized Ising Inference
Boston University(波士顿大学)
本文提出了一种变分方法来求解伊辛模型的最大伪随机推论。变分算法计算效率更高,并且比$L_2$正则化的最大伪像推理以及具有伪计数正则化的平均场和孤立自旋对近似更好地预测样本外相关性。该方法的关键是变分能量,它通过将耦合缩小到零来规范推理问题,同时仍然允许一些大的耦合来解释强相关性。通过训练伊辛模型来表示字母A-J,使用来自不同计算机字体的字母样本来说明变分伪像方法的效用。
2014-09-24 cond-mat.stat-mech cs.LG stat.ML
Note on the bias and variance of variational inference
Mila(米拉研究所);University of Montreal(蒙特利尔大学)
本文研究了变分间隙与似然比方差的关系。我们表明,差距可以通过某种形式的分散措施的似然比,这表明变分推断的偏差可以减少通过使分布的似然比更集中,如通过平均和方差减少的上限。
2019-06-09 cs.LG stat.ML