Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
Variational Inference for Sparse Gaussian Process Modulated Hawkes Process
The Australian National University(澳大利亚国立大学);Data61 CSIRO(联邦科学与工业研究组织数据61所);University of Technology Sydney(悉尼科技大学)
霍克斯过程(HP)已被广泛应用于模拟自激事件,包括神经元尖峰,地震和鸣叫。为了避免设计参数触发核,并能够量化的预测置信度,非参数贝叶斯HP已被提出。然而,这样的模型的推理遭受不可扩展性或缓慢的收敛。在本文中,我们旨在解决这两个问题。具体来说,首先,我们提出了一个新的非参数贝叶斯HP中的触发内核建模为一个平方稀疏高斯过程。然后,我们提出了一种新的变分推理模式的模型优化。我们采用分支结构的HP,使最大化的证据下限(ELBO)是易于处理的期望最大化算法。我们提出了一个更紧密的ELBO,提高了拟合性能。此外,我们加速了新的变分推理模式的线性时间复杂度,利用平稳的触发内核。与以往的加速方法不同,我们的方法具有更高的效率。最后,我们利用合成数据和两个大型社交媒体数据集来评估我们的方法。我们表明,我们的方法优于国家的最先进的非参数频率和贝叶斯方法。我们验证了我们的加速变分推理模式的效率和实际效用,我们更紧密的ELBO模型选择。我们观察到,更严格的ELBO超过了常见的模型选择。
2019-11-23 cs.LG stat.ML
Hamiltonian Variational Auto-Encoder
University of Oxford(牛津大学);Alan Turing Institute for Data Science(艾伦·图灵数据科学研究所)
变分自动编码器(VAE)已经成为在潜变量模型中执行推理和学习的非常流行的技术,因为它们允许我们利用神经网络的丰富表示能力来获得潜变量的后验的灵活近似以及紧证据下限(ELBO)。结合随机变分推理,这提供了一种扩展到大型数据集的方法。然而,这种方法是实际有效的,它是必要的,以获得低方差无偏估计的ELBO和它的梯度相对于参数的兴趣。虽然之前已经建议使用马尔可夫链蒙特卡罗(MCMC)技术(如汉密尔顿蒙特卡罗(HMC))来实现这一点[23,26],但所提出的方法需要指定对性能有很大影响的反向内核。此外,大多数MCMC内核的ELBO的无偏估计通常不适合重新参数化技巧。我们在这里展示了如何在此设置中最佳地选择反向核,并且通过建立在Hamilton重要性采样(HIS)[17]的基础上,我们获得了一个使用重新参数化技巧提供ELBO及其梯度的低方差无偏估计的方案。这使我们能够开发一个哈密尔顿变分自动编码器(HVAE)。这种方法可以被重新解释为目标通知的归一化流[20],在我们的上下文中,它只需要在每次迭代时对采样似然的梯度和微不足道的雅可比计算进行一些评估。
2018-11-23 cs.LG stat.ML
Consistency of ELBO maximization for model selection
证据下界(ELBO)是变分推理中起关键作用的量。它也可以用作模型选择的标准。然而,虽然在变分贝叶斯社区的实践中非常流行,但从来没有一个基于ELBO的选择的一般理论依据。在本文中,我们表明,ELBO最大化策略具有很强的理论保证,是强大的模型误指定,而大多数作品依赖于一个模型是正确指定的假设。我们说明了我们的理论结果的应用程序中的概率PCA的主成分的数量的选择。
2019-04-08 math.ST stat.TH
Particle Semi-Implicit Variational Inference
University of Warwick(华威大学)
针对现有半隐式变分推断(SIVI)因混合分布参数化导致无法直接优化证据下界的问题,提出基于经验测度的粒子变分推断方法,可直接优化ELBO且性能更优,并给出相关理论分析。
2025-01-14 cs.LG stat.ML
Alpha-Divergences in Variational Dropout
McGill University(麦吉尔大学)
基于变分丢弃\cite{kingma2015},研究了Kullback-Leibler(KL)的替代发散在变分推断(VI)中的应用.随机梯度变分贝叶斯(SGVB)\cite{aevb}是变分贝叶斯中估计证据下限(ELBO)的一般框架。在这项工作中,我们扩展了SGVB估计与使用阿尔法分歧,这是替代分歧VI' KL目标。高斯丢弃可以看作是SGVB目标的局部重新参数化技巧。我们扩展变分丢弃使用α发散的变分推断。我们的研究结果比较$α$发散变分辍学与标准变分辍学相关和不相关的权重噪声。我们表明,$α$分歧与$α\rightarrow 1$(或库尔贝克-莱布勒散度)仍然是一个很好的措施,用于变分推断,尽管有效地使用α分歧辍学VI \cite{Li17}。$α\rightarrow 1$可以产生最低的训练误差,并且在参数$α\in [0,\infty)$的所有值中优化证据下限(ELBO)的良好下限。
2017-11-12 cs.LG stat.ML
Doubly Semi-Implicit Variational Inference
Samsung AI Center Moscow(三星人工智能中心莫斯科);National Research University Higher School of Economics(国立研究型高等经济大学)
我们扩展了现有的半隐式变分推断(SIVI)的框架,并引入了双半隐式变分推断(DSIVI),一种方法来执行变分推断和学习时的近似后验和先验分布是半隐式的。换句话说,DSIVI在模型中执行推理,其中先验和后验可以表示为具有高度灵活的隐式混合分布的某些解析密度的难以处理的无限混合。我们提供了一个三明治上的证据下限(ELBO)的目标,可以任意紧。与基于鉴别器和基于核的隐式变分推断方法不同,DSIVI优化了ELBO的一个适当的下界,该下界是渐近精确的。我们评估DSIVI的一组问题,受益于隐式先验。特别是,我们表明,DSIVI引起的VampPrior,目前最先进的变分自编码器,这提高了其性能的一个简单的修改。
2019-03-16 cs.LG stat.ML
Semi-Implicit Variational Inference
引入半隐式变分推断(SIVI),通过将变分参数与柔性分布混合,扩展了常用的解析变分分布族。这种混合分布可以假设任何密度函数,显式或非显式,只要独立的随机样本可以通过重新参数化生成。SIVI不仅扩大了变分家庭,将高度灵活的变分分布,包括隐式的,没有解析密度函数,但也三明治的证据下限(ELBO)之间的下限和上限,并进一步推导出一个渐近精确的代理ELBO是服从通过随机梯度上升优化。与一个大大扩展的变分家庭和一种新的优化算法,SIVI显示出密切配合的准确性MCMC推断后,在各种贝叶斯推断任务。
2018-05-28 cs.LG stat.CO stat.ME
Discretely Relaxing Continuous Variables for tractable Variational Inference
University of Toronto(多伦多大学)
我们探索了一个新的研究方向,在贝叶斯变分推断与离散潜变量先验,我们利用克罗内克矩阵代数的证据下界(ELBO)的有效和准确的计算。所提出的“DIRECT”方法与其前辈相比具有以下几个优点:(i)它可以精确地计算ELBO梯度(即无偏、零方差梯度估计),消除了对高方差随机梯度估计器的需要,并使得能够使用拟牛顿优化方法;(ii)其训练复杂性与训练点的数量无关,允许在大数据集上进行推断;以及(iii)其后验样本由稀疏和低精度量化整数组成,这允许在硬件有限的设备上进行快速推断。此外,我们的DIRECT模型可以精确地计算参数化预测后验的统计矩,而不依赖于蒙特卡罗采样。DIRECT方法并不适用于所有的可能性,但是,我们确定了一个流行的模型结构,这是实用的,并证明了准确的推理,使用隐变量离散化为极低精度的4位量化整数。虽然数值研究中考虑的ELBO计算需要超过$10^{2352}$的对数似然评估,但我们在几秒钟内就在超过200万个点的数据集上进行了训练。
2019-01-09 cs.LG stat.ML
InfoNCE is variational inference in a recognition parameterised model
University of Bristol(布里斯托大学)
本文证明 InfoNCE 目标等价于识别参数化模型中的 ELBO,并从 VAE 视角为 InfoNCE 提供了比互信息更合理的理论动机。
2023-08-10 cs.LG stat.ML
Decision-Making with Auto-Encoding Variational Bayes
University of California, Berkeley(加州大学伯克利分校);Chan-Zuckerberg Biohub(陈-扎克伯格生物中心);Ragon Institute of MGH, MIT and Harvard(麻省总医院、麻省理工学院和哈佛大学拉根研究所);University of Michigan(密歇根大学)
为了根据自动编码变分贝叶斯(AEVB)拟合的模型做出决策,从业者经常让变分分布作为后验分布的替代。这种方法会对预期风险产生有偏差的估计,因此会导致糟糕的决策,原因有两个。首先,AEVB模型拟合可能不等于基础数据分布。其次,在拟合模型下,变分分布可能不等于后验分布。我们探讨如何拟合变分分布的基础上,其他ELBO的几个目标函数,同时继续适应的ELBO的基础上的生成模型,影响下游决策的质量。对于概率主成分分析模型,我们研究如何重要性抽样误差,以及模型参数估计的偏差,在几个近似后验分布时,作为建议的分布。我们的理论结果表明,后验近似不同的变分分布应用于决策。受这些理论结果的启发,我们提出学习几个近似的建议,最好的模型,并结合使用多个重要性抽样决策。除了玩具的例子,我们提出了一个完整的单细胞RNA测序的案例研究。在这个具有挑战性的多个假设检验的情况下,我们提出的方法超越了目前的最先进的。
2020-10-21 cs.AI cs.LG stat.ML
Variational Orthogonal Features
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院)
稀疏随机变分推断允许高斯过程模型应用于大型数据集。用这种方法进行推理的每次迭代计算成本是$\mathcal{O}(\tilde{N}M^2+M^3),$,其中$\tilde{N}$是minibatch中的点的数量,$M$是“诱导特征”的数量,其确定变分族的表达性。最近的几项工作表明,对于某些先验,可以定义的功能,删除$\mathcal{O}(M^3)$成本计算的证据下限(ELBO)的小批量估计。这表示当使用$M\gg \tilde{N}$ .我们提出了一个建设的功能,任何固定的前内核,允许使用$T$蒙特卡罗样本在$\mathcal{O}(\tilde{N}T+M^2T)$和$\mathcal{O}(\tilde{N}T+MT)$与额外的近似计算的ELBO的无偏估计量。我们分析了这种额外的近似推理质量的影响。
2020-06-23 cs.LG stat.ML
Monte Carlo Variational Auto-Encoders
University of Torontoland(多伦多兰大学);University of Edenborrow(伊甸伯勒大学);HSE University(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);University of Oxford(牛津大学);Centre de recherche Lagrange en mathematiques et calcul(拉格朗日数学与计算研究中心)
变分自动编码器(VAE)是一种流行的深度潜在变量模型,通过最大化证据下限(ELBO)进行训练。为了获得更紧密的ELBO和更好的变分近似,已经提出使用重要性抽样来获得证据的较低方差估计。然而,已知重要性抽样在高维度中表现不佳。虽然在文献中已经多次建议使用更复杂的算法,如退火重要性抽样(AIS)及其顺序重要性抽样(SIS)扩展,但这些先进技术带来的潜在好处从未实现VAE:AIS估计值无法轻松区分,而SIS需要精心选择的后向马尔可夫核的规范。在本文中,我们解决了这两个问题,并证明了性能的各种应用程序上产生的蒙特卡罗VAE。
2021-06-30 cs.LG stat.ML
Importance sampling for online variational learning
本文提出一种结合蒙特卡洛重要性采样的在线变分算法,用于高效估计状态空间模型中的平滑分布及ELBO梯度,适用于流式数据场景。
2024-02-05 stat.AP stat.ME stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI,一种基于扩散模型的黑盒变分推断算法,通过迭代优化潜在空间后验,提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
On Batch Normalisation for Approximate Bayesian Inference
University of Oxford(牛津大学)
我们研究批量归一化的背景下,变分推理方法在贝叶斯神经网络,如平均场或MC辍学。我们表明,批量归一化不影响最佳的证据下限(ELBO)。此外,我们研究了蒙特卡罗批量归一化(MCBN)算法,提出了一种近似推理技术平行MC辍学,并表明,对于较大的批量大小,MCBN未能捕捉认知的不确定性。最后,我们提供的见解是什么需要解决这个问题,即必须查看小批量作为MCBN的变参数。我们评论的渐近ELBO相对于这个变分参数,表明随着数据集大小增加到无穷大,批量大小必须增加到无穷大,以及MCBN是一个有效的近似推理技术。
2020-12-24 cs.LG stat.ML
Geometric Convergence Analysis of Variational Inference via Bregman Divergences
MBZUAI, Abu Dhabi, UAE(马克斯·普朗克智能系统研究所,阿布扎比,阿联酋);OIST, Okinawa, Japan(海洋研究所,冲绳,日本)
本文利用指数族结构将负ELBO表示为Bregman散度,建立弱单调性,并基于Fisher信息矩阵谱特征证明梯度下降在常数和递减步长下的非渐近收敛速率。
2025-10-17 cs.LG stat.ML
Unnormalized Variational Bayes
NNAISENSE, Inc.(NNAISENSE 公司);University of California, Berkeley(加州大学伯克利分校)
我们统一的经验贝叶斯和变分贝叶斯近似未规范化的密度。这个框架,名为非归一化变分贝叶斯(UVB),是基于制定一个潜在的变量模型的随机变量$Y=X+N(0,σ^2 I_d)$和使用的证据下限(ELBO),计算的变分自动编码器,作为一个参数化的能量函数的$Y$,然后用于估计$X$与经验贝叶斯最小二乘估计。在这个有趣的设置中,ELBO相对于噪声输入的$\textit{gradient}$在学习能量函数中起着核心作用。经验上,我们证明,UVB有更高的能力,近似能量函数比参数化与MLP神经经验贝叶斯(DEEN)。我们特别展示了$σ=1$,其中UVB和DEEN之间的差异在去噪实验中变得可见和定性。对于这种高水平的噪声,分布的$Y$是非常平滑的,我们证明了一个可以遍历在一个单一的运行$-$没有重新启动$-$所有MNIST类在各种风格通过步行跳跃采样与快速混合Langevin MCMC采样器。最后,我们探测训练模型的编码器/解码器,并确认UVB $\neq$ VAE。
2020-07-29 cs.LG stat.ML
Automatic Differentiation Variational Inference with Mixtures
Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
自动微分变分推理(ADVI)是机器学习中有效学习概率模型的有效工具。通常,ADVI学习的近似后验被强制为单峰,以便于使用重新参数化技巧。在本文中,我们将展示如何分层抽样可用于使混合分布的近似后验,并推导出一个新的下界的证据类似的重要性加权自动编码器(IWAE)。我们表明,这个“SIWAE”是一个更严格的约束比IWAE和传统的ELBO,这两个都是这个界限的特殊情况。我们验证经验,传统的ELBO目标不赞成多模态后验分布的存在,因此可能无法完全捕获潜在空间中的结构。我们的实验表明,使用SIWAE目标允许编码器学习更复杂的分布,这些分布经常包含多模态,从而在存在不完整,有限或损坏的数据的情况下实现更高的准确性和更好的校准。
2020-06-24 cs.LG stat.ML
Boosting Black Box Variational Inference
Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在贝叶斯统计中,以一种易于处理的方式近似概率密度是一项中心任务。变分推断(VI)是一种流行的技术,通过选择相对简单的变分族来实现可处理性。从经典的提升框架中借用思想,最近的方法试图通过用一个绿色构造的密度混合物代替单一密度的选择来实现\emph{boost} VI。为了保证收敛,以前的作品施加了严格的假设,需要从业者付出巨大的努力。具体来说,他们需要一个自定义的贪婪步骤(称为LMO)的实现,每个概率模型相对于一个非自然的变分家庭的截尾分布。我们的工作通过新颖的理论和算法见解解决了这些问题。在理论方面,我们表明,提升VI满足松弛光滑假设,这是足够的功能弗兰克-沃尔夫(FW)算法的收敛性。此外,我们重新措辞的LMO问题,并建议最大化的剩余ELBO(ELBO),取代标准ELBO优化VI。这些理论上的增强允许黑盒实现的升压子程序。最后,我们提出了一个停止标准从经典FW分析和详尽的实验中的对偶差距,以说明我们的理论和算法的贡献的有用性。
2018-11-28 cs.LG stat.ML
Globally Convergent Variational Inference
University of Michigan(密歇根大学)
该研究针对变分推断中ELBO仅能保证局部收敛的问题,证明了基于前向KL散度的神经后验估计方法的全局收敛性,且实验表明其效果优于基于ELBO的优化。
2025-01-14 cs.LG stat.ML
Pseudo-Encoded Stochastic Variational Inference
Carnegie Mellon University(卡内基梅隆大学)
有向图模型中的后验推理通常使用以输入为条件的概率编码器(也称为推理模型)来完成。通常,这种推理模型与概率解码器(也称为生成器模型)联合训练。如果概率编码器在训练过程中遇到复杂性(例如次优复杂性或参数化),那么学习达到次优目标;通常称为推理次优的现象。在变分推理(VI)中,使用随机变分推理(SVI)优化ELBo可以消除推理次优性(如本文所示),但是,当需要在新数据点上进行推理时,这种解决方案会产生大量的计算成本。本质上,需要一个长的梯度更新序列链来完全优化近似后验。在本文中,我们提出了一种方法称为伪编码随机变分推理(PE-SVI),以减少在测试时间的SVI的推理复杂度。我们的方法依赖于为梯度操作找到一个合适的初始起点,这自然会减少所需的梯度步骤。此外,该初始化允许采用更大的步长(与SVI中使用的随机初始化相比),这进一步降低了推断时间复杂度。PE-SVI达到与SVI相同的ELBo目标,平均使用不到1%的所需步骤。
2019-12-19 cs.LG cs.NE stat.ML
Batch and match: black-box variational inference with a score-based divergence
Flatiron Institute(弗莱堡研究所);Columbia University(哥伦比亚大学)
本文提出批量匹配(BaM)方法,用基于分数的散度替代 ELBO 优化进行黑盒变分推断,并证明其在高斯情形下具有指数收敛性,实验表明其收敛所需梯度评估次数通常显著少于主流 BBVI 方法。
2024-06-12 cs.AI cs.LG stat.CO
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin(柏林自由大学);BTU Cottbus-Senftenberg(科特布斯-森夫滕贝格工业大学);dida Datenschmiede GmbH(迪达数据工坊有限公司);University of Warwick(华威大学);Universität Potsdam(波茨坦大学);DeepMind(深度思维);The Alan Turing Institute(艾伦·图灵研究所)
基于留一控制变量的得分函数方法,分析了变分推断的ELBO无偏梯度估计的性质。我们表明,这种梯度估计可以得到使用一个新的损失,定义为准确的后验和变分近似,我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下,对数方差损失的梯度等于(负)ELBO的梯度。我们从理论上表明,这种梯度估计,我们称之为$\textit{VarGrad}$,由于其连接的对数方差损失,表现出较低的方差比得分函数方法在某些设置中,留一控制变量系数接近最佳的。我们的经验表明,VarGrad提供了一个有利的方差与计算权衡相比,其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
Approximate Inference for Spectral Mixture Kernel
KAIST(韩国科学技术院)
光谱混合(SM)核是用于对任何平稳协方差函数建模的灵活核。虽然它在建模数据中是有用的,但SM内核的学习通常是困难的,因为优化SM内核的大量参数通常会引起过拟合,特别是当使用基于梯度的优化时。此外,还需要更长的培训时间。为了提高训练,我们提出了一个近似的贝叶斯推断的SM内核。具体地说,我们采用的光谱点的变分分布近似SM核与随机傅立叶特征。我们优化变分参数应用基于采样的变分推断推导出的证据下界(ELBO)估计构造的近似内核。为了改进推理,我们进一步提出了两个额外的策略:(1)谱点的采样策略,以可靠地估计ELBO估计量及其相关梯度,以及(2)近似自然梯度,以加速参数的收敛。提出的推理结合两种策略,加快了参数的收敛速度,并导致更好的最优参数。
2020-06-12 cs.LG stat.ML
Quantized Variational Inference
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);SNCF(法国国家铁路公司);ITNOVEM
我们提出了量化变分推断,一个新的算法的证据下限最大化。我们展示了如何最佳Voronoi Tesskind产生方差自由梯度ELBO优化的成本引入渐近衰减的偏见。随后,我们提出了一个Richardson外推型方法来提高渐近界。我们表明,使用量化的变分推断框架导致快速收敛的得分函数和重新参数化的梯度估计在一个可比的计算成本。最后,我们提出了几个实验来评估我们的方法的性能及其局限性。
2020-11-04 cs.LG stat.ML
The Thermodynamic Variational Objective
University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
我们引入了热力学变分目标(TVO),用于连续和离散深度生成模型的学习。TVO产生于变分推理和热力学积分之间的关键连接,其导致比标准变分变分证据下限(ELBO)更严格的对数边际似然下限,同时保持广泛适用。我们提供了一个计算效率的梯度估计的TVO,适用于连续的,离散的,和非reparameterizable分布,并表明变分推理,变分自编码器,唤醒睡眠和推理编译中使用的目标函数都是特殊情况下的TVO。我们使用TVO来学习离散和连续的深度生成模型,并以经验证明最先进的模型和推理网络学习。
2021-04-07 cs.LG stat.ML
ED-VAE: Entropy Decomposition of ELBO in Variational Autoencoders
University of Leoben(莱奥本大学);Chair of Cyber-Physical Systems(网络物理系统讲席)
针对传统VAE受ELBO公式限制、难以适配复杂先验且生成与可解释性不足的问题,提出ED-VAE,通过显式引入熵和交叉熵重构ELBO,提升模型灵活性、潜在空间可解释性与生成性能。
2024-07-09 cs.AI cs.LG stat.ML
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School(悉尼大学商学院);School of Mathematics, The University of Edinburgh(爱丁堡大学数学学院)
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界(IW - ELBO),推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理,证明其梯度估计器稳定性良好,实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
Efficient Mixture Learning in Black-Box Variational Inference
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);University of Edinburgh(爱丁堡大学)
针对 BBVI 混合分布参数与计算开销问题,本文提出 MISVAE 和两个新的 ELBO 估计器,实现数百成分扩展,并在 MNIST 及贝叶斯系统发育推断中取得更优速度与性能。
2024-06-11 cs.LG stat.ML
Noisy Natural Gradient as Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是,在廉价但简单的变分族(例如~完全因式分解的)或昂贵且复杂的推理过程。我们表明,自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限(ELBO)。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验,从而可以扩展到现代规模的ConvNets。在标准回归基准上,我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索,以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Variational Inference for Quantum HyperNetworks
Amadeus;EURECOM;Universidad de Granada(格拉纳达大学);KAUST(科威特大学)
针对二值神经网络训练难题,本研究结合变分量子算法与量子超网络,推导ELBO并引入基于MMD的代理ELBO建立其与贝叶斯推断的关联,实验证明该方法优于标准MLE,提升了可训练性与泛化性。
2025-06-06 cs.LG quant-ph stat.ML
Cooperation in the Latent Space: The Benefits of Adding Mixture Components in Variational Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);Klarna(克拉纳);University of Edinburgh(爱丁堡大学)
该研究揭示变分自编码器中混合成分协作最大化ELBO的机制,证实增加混合成分可提升潜在表示能力,结合相关技术实现图像数据集上VAE架构的最优对数似然效果。
2023-07-14 cs.LG stat.ML
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University(东北大学)
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习,该方法可以自适应地检测新兴数据中的新簇。我们的方法,自适应非参数变分自动编码器(AdapVAE),通过贝叶斯非参数(BNP)建模框架与深度神经网络(DNN)进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法,通过迭代优化证据下限(ELBO),同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据,这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点,包括自适应新的聚类检测,而不丢弃从过去的数据,高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
Sapienza University of Rome(罗马第一大学)
贝叶斯神经网络(BNN)被训练以优化其权重的整个分布而不是单个集合,在例如以下方面具有显著的优点:可解释性、多任务学习和校准。由于所产生的优化问题的棘手性,大多数BNN要么通过Monte Carlo方法进行采样,要么通过最小化变分近似的合适证据下限(ELBO)进行训练。在本文中,我们提出了后者的一个变体,其中我们取代了Kullback-Leibler发散的ELBO项与最大平均离散(MMD)估计,最近的工作在变分推理的启发。在激励我们的建议的基础上的MMD项的属性,我们继续展示了一些经验的优势,所提出的配方在国家的最先进的。特别是,我们的BNN实现更高的精度在多个基准,包括几个图像分类任务。此外,它们对权重的先验选择更鲁棒,并且它们被更好地校准。作为第二个贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明它以更强大的方式对抗对抗攻击和在其输入上注入噪声,与更经典的标准(如微分熵)相比。
2020-09-30 cs.LG stat.ML
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST(CREST(经济与统计研究中心));ENSAE(ENSAE(国立统计与经济管理学院));Institut Polytechnique de Paris(巴黎理工学院)
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时,最近的一些工作为深度神经网络提供了理论依据和新的见解,用于在非参数回归等通常设置中估计平滑函数。在本文中,我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是,我们强调估计和逼近论之间的连接,通过经典的偏差方差权衡,并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外,我们表明,通过ELBO最大化的神经网络架构的模型选择框架不会过拟合,并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania(宾夕法尼亚大学)
本文研究了随机自然梯度变分推断(NGVI)的非渐近收敛速率,证明了共轭似然下首个O(1/T)收敛速率,并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
Variational Inference with Gaussian Score Matching
Flatiron Institute(熨斗研究院);Columbia University(哥伦比亚大学)
提出基于得分匹配的高斯变分推断 GSM-VI,通过闭式内部更新匹配后验得分;实验表明其相比 BBVI 梯度评估减少10–100倍且精度相当。
2023-07-15 cs.LG stat.ML
Improving Reasoning for Diffusion Language Models via Group Diffusion Policy Optimization
Georgia Institute of Technology(佐治亚理工学院);ML Research, Morgan Stanley(摩根士丹利机器学习研究部)
本文提出GDPO算法,通过减少ELBO估计的方差提升扩散语言模型的推理能力,实验证明其在多个基准上优于现有方法。
2026-02-11 cs.LG stat.ML
Tightening Bounds for Variational Inference by Revisiting Perturbation Theory
University of California, Irvine(加利福尼亚大学尔湾分校)
变分推断已成为潜变量建模中应用最广泛的方法之一。在其基本形式中,变分推断采用完全因子化的变分分布,并将其库尔贝克-莱布勒散度最小化到后验。由于最小化只能近似地进行,因此这种近似会引起偏差。在本文中,我们重新审视微扰理论作为一个强大的方式,提高变分近似。扰动理论依赖于对数边际似然的泰勒展开形式,模糊地表示真实后验的对数比及其变分近似。一阶项给出了经典的变分上界,高阶项给出了修正,使变分上界变紧,而传统的摄动理论没有给出下界,不适合于随机最优化。在本文中,我们提出了一个类似的,但替代的方式来获得类似于微扰理论的修正ELBO,但在一个有效的范围的结果。我们在高斯过程和变分自动编码器上的实验中表明,新的边界具有更多的质量覆盖,并且由此产生的后验协方差更接近真实的后验,并导致保留数据的可能性更高。
2019-09-30 cs.LG stat.ML
The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies
Ruhr University Bochum(波鸿鲁尔大学);Frankfurt University of Applied Sciences(法兰克福应用科学大学);University of Oldenburg(奥尔登堡大学);Spotify
研究证明标准高斯VAE的ELBO在驻点处收敛于先验分布、可观测分布和变分分布的三个熵之和,提供了精确的解析证明,并探讨了该结果对分析VAE学习行为的意义。
2023-04-20 cs.LG stat.ML
A lower bound for the ELBO of the Bernoulli Variational Autoencoder
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们考虑一个二进制数据的变分自编码器(VAE)。我们的主要创新是其训练目标的可解释的下限,这种VAE的修改的初始化和架构,导致更快的训练,以及通过使用PCA找到潜在空间的适当维度的决策支持。数值例子说明了我们的理论结果和性能的新架构。
2020-03-26 cs.LG math.ST stat.ML
All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of British Columbia(不列颠哥伦比亚大学)
最近提出的热力学变分目标(TVO)利用热力学集成提供了一个家庭的变分推理目标,既收紧和推广无处不在的证据下限(ELBO)。然而,TVO边界的紧密性以前并不知道,昂贵的网格搜索用于选择中间分布的“时间表”,并且模型学习受到表面上更紧的边界的影响。在这项工作中,我们提出了一个指数家庭的解释的几何混合曲线TVO和各种路径采样方法,这使我们能够表征的差距TVO似然界的KL分歧的总和。我们建议在指数族的矩参数中使用等间距来选择中间分布,这与网格搜索性能相匹配,并允许时间表在训练过程中自适应更新。最后,我们推导出一个双重重新参数化的梯度估计,提高模型学习,并允许TVO受益于更精细的界限。为了进一步的上下文我们的贡献,我们提供了一个统一的框架来理解热力学积分和TVO使用泰勒级数的卷积。
2020-07-01 cs.LG stat.ML
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University(南洋理工大学);University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学)
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题,提出基于熵的短程MALA/HMC链自适应策略,优化更紧的变分界,提升了VAEs的留出对数似然与生成性能,可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
Filtering Variational Objectives
DeepMind;University of Oxford(牛津大学);Google Brain(谷歌大脑)
当用作潜在变量模型中最大似然估计的替代目标时,证据下限(ELBO)产生最先进的结果。受此启发,我们认为ELBO扩展到一个家庭的下界定义的粒子滤波器的估计的边际似然,过滤变分目标(FIVO)。FIVO采用与ELBO相同的参数,但可以利用模型的顺序结构来形成更严格的边界。我们目前的结果,相关的紧密性FIVO的约束的粒子滤波器的估计量的方差考虑的一般情况下定义为对数变换的似然估计的界限。在实验中,我们表明,与使用ELBO在序列数据上训练相同的模型架构相比,使用FIVO进行训练会产生实质性的改进。
2017-11-12 cs.AI cs.LG cs.NE
Factor Analysis, Probabilistic Principal Component Analysis, Variational Inference, and Variational Autoencoder: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于因子分析、概率主成分分析(PCA)、变分推断和变分自动编码器(VAE)的教程和调查论文。这些方法,这是紧密相关的,是降维和生成模型。他们假设每个数据点都是由低维潜在因素生成或引起的。通过学习特征空间的分布参数,找到相应的低维因子,实现降维。由于它们的随机性和生成性,这些模型也可以用于在数据空间中生成新的数据点。在本文中,我们首先从变分推断开始,我们推导出证据下界(ELBO)和期望最大化(EM)的学习参数。然后,我们引入因子分析,推导其联合分布和边缘分布,并计算其EM步骤。概率主成分分析,然后解释,作为一种特殊情况下的因素分析,其封闭形式的解决方案。最后,介绍了VAE的编码器、解码器和潜在空间采样。训练VAE使用EM和反向传播解释。
2022-05-23 cs.CV cs.LG stat.ML
ELBOing Stein: Variational Bayes with Stein Mixture Inference
University of Copenhagen(哥本哈根大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Luxembourg(卢森堡大学);University of California, Irvine(加州大学欧文分校)
针对SVGD的方差坍缩问题,提出Stein混合推断(SMI),通过粒子参数化混合分量并优化ELBO,以较少粒子准确估计不确定性,适用于高维宽数据。
2025-01-24 cs.LG stat.ML
Resetting a fixed broken ELBO
Michigan State University(密歇根州立大学)
针对beta-VAE中β≠1会违反条件概率定律的问题,提出基于Rényi熵的Rényi VAE及对应变分下界RELBO,其额外类正则项的条件分布无需学习,可通过奇异值分解解析计算,实现类似的参数化调节效果。
2023-12-11 cs.LG stat.ML
MixFlows: principled variational inference via mixed flows
University of British Columbia(不列颠哥伦比亚大学)
本文提出混合变分流(MixFlows),通过重复应用映射构建新变分族,提供高效采样与无偏ELBO估计,具备类似MCMC的收敛保证,实验证明其后验近似更可靠且样本质量媲美先进MCMC。
2025-06-02 cs.LG stat.CO stat.ML
Stochastic Variational Inference for Structured Additive Distributional Regression
University of Göttingen(哥廷根大学);Max-Planck-Institute for Multidisciplinary Sciences(马克斯·普朗克多学科研究所);The Ohio State University(俄亥俄州立大学)
本文针对结构化加性分布回归提出一种随机变分推断框架,通过摊销型变分族实现高效近似贝叶斯推断,在模拟与实际数据集上验证其比现有方法计算更快且ELBO值更高。
2026-08-31 stat.CO
A Kernel Approach for Semi-implicit Variational Inference
本文提出基于核的半隐式变分推断方法,通过核方法消除下层优化问题,利用核斯蒂恩差异优化目标,提升贝叶斯推断的效率和表达能力。
2026-01-17 cs.LG stat.ML
VIKING: Deep variational inference with stochastic projections
Technical University of Denmark(丹麦技术大学);University of Cambridge(剑桥大学)
针对变分平均场近似在过参数化深度神经网络中训练不稳定、预测差等问题,提出基于两个独立线性子空间的变分族VIKING,构建反映重参数化几何的近似后验,实现了多任务多数据集上的最优性能。
2025-10-27 cs.LG stat.ML
Variational Inference via $χ$-Upper Bound Minimization
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
变分推断(VI)被广泛用作马尔可夫链蒙特卡罗的有效替代方法。它提出了一个家庭的近似分布$q$,并找到最接近的成员,以确切的后验$p$。接近度通常通过从$q$到$p$的发散度$D(q || p)$来测量。这种方法虽然成功,但也存在问题。值得注意的是,它通常会导致低估后验方差。在本文中,我们提出了CHIVI,黑盒变分推断算法,最大限度地减少$D_χ(p || q)$,$χ$ -分歧从$p$到$q$。CHIVI最小化模型证据的上限,我们称之为$χ$上限(CUBO)。最小化CUBO导致改进的后验不确定性,并且它也可以与经典VI下限(ELBO)一起使用,以提供模型证据的三明治估计。我们研究CHIVI三个模型:概率回归,高斯过程分类,和Cox过程模型的篮球比赛。与期望传播和经典VI相比,CHIVI产生更好的错误率和更准确的后验方差估计。
2017-11-12 cs.LG stat.CO stat.ME