Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam（阿姆斯特丹大学）
变分自动编码器（VAE）是可扩展的和强大的生成模型。然而，变分后验的选择决定了VAE的易处理性和灵活性。通常，潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率，但通常它不够灵活，无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流，即，一系列可逆的变换到一个简单的后验的潜在变量。在本文中，我们遵循这一思路，并提出了一个体积保持流，使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明，与其他归一化流相比，所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
多层深度高斯过程（DGP）模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的，这促使了最近的发展确定性和随机近似方法。不幸的是，确定性的近似方法产生一个有偏的后验信念，而随机的是计算成本高。本文提出了一种隐式后验变分推理（IPVI）框架DGP，可以理想地恢复一个无偏的后验信念，仍然保持时间效率。受生成对抗网络的启发，我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点，有趣的是，其中纳什均衡与无偏后验信念相一致。因此，这启发我们设计一种最佳响应动态算法来搜索纳什均衡（即，无偏的后验信念）。经验评估表明，IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Variational Boosting: Iteratively Refining Posterior Approximations
Harvard University（哈佛大学）；University of Washington（华盛顿大学）；Google Brain（谷歌大脑）
我们提出了一个黑盒变分推断方法来近似棘手的分布越来越丰富的近似类。我们的方法，称为变分助推，迭代地完善现有的变分近似通过解决一系列的优化问题，允许从业者交易计算时间的准确性。我们展示了如何扩大变分逼近类，将额外的协方差结构，并通过引入新的组件，形成一个混合物。我们应用变分助推合成和真正的统计模型，并表明，所产生的后验推理相比，现有的后验近似算法的准确性和效率。
2017-02-19 cs.LG stat.ME stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg（班贝格大学）
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时，现代机器学习的复杂性使得理解模型的推理过程具有挑战性，更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣，但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发，我们引入了变分高斯过程的相应概念。一方面，我们的贡献提高了这些类型模型的透明度。更重要的是，我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
University of Oxford（牛津大学）；OATML, Department of Computer Science（OATML计算机科学系）
我们挑战了长期以来的假设，即贝叶斯神经网络中变分推理的平均场近似是严格限制性的，并表明在深度网络中并非如此。我们证明了几个结果表明，深平均场变权后验子可以诱导类似的分布在函数空间中的浅网络与复杂的权重后验子。我们验证了我们的理论贡献经验，无论是通过检查的重量后，在小模型中使用哈密顿蒙特卡罗和比较对角结构协方差在大的设置。由于复杂的变分后验往往是昂贵和繁琐的实施，我们的研究结果表明，使用平均场变分推理在更深的模型是一个实际的和理论上合理的替代结构化近似。
2021-03-10 cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI，一种基于扩散模型的黑盒变分推断算法，通过迭代优化潜在空间后验，提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah（犹他大学）；School of Computing（计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
高斯过程回归网络（GPRN）是多输出回归的强大贝叶斯模型，但其推理是棘手的。为了解决这个问题，现有方法在所有输出和潜函数上使用完全分解的结构（或这种结构的混合）进行后验近似，然而，这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外，变分参数的更新是低效的，并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性，我们提出了一个可扩展的变分推理算法的GPRN，它不仅捕获了丰富的后验依赖关系，但也是更有效的大规模输出。我们张量化的输出空间，并引入张量/矩阵正常变分后验捕获的后验相关性，并减少参数。我们共同优化所有的参数，并利用固有的克罗内克积结构的变分模型证据下界，以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
Radial and Directional Posteriors for Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的贝叶斯神经网络变分族。我们将变分后验分解为两个分量，其中径向分量捕获每个神经元的强度，而方向分量捕获权重参数之间的统计依赖关系。与广泛使用的高斯平均场型变分族相比，通过方向密度学习的依赖关系提供了更好的建模性能。此外，通过径向密度学习的输入和输出神经元的强度提供了压缩神经网络的结构化方式。事实上，实验表明，我们的变分家庭提高了预测性能，并同时产生压缩网络。
2019-03-13 cs.LG stat.ML
Bernstein Flows for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用技术大学）；University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用技术大学）
本文提出 Bernstein 流变分推断（BF-VI），结合归一化流与 Bernstein 多项式变换模型，以灵活近似复杂多元后验，并在基准实验和半结构化 Melanoma 数据上验证其优于现有 VI 方法。
2024-02-23 cs.LG stat.ML
Predictive variational inference: Learn the predictively optimal posterior distribution
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Statistics and Data Sciences, University of Texas, Austin（德克萨斯大学奥斯汀分校统计与数据科学系）
提出预测变分推断（PVI）框架，通过优化后验分布使预测分布逼近真实数据生成过程，解决模型误设问题，并实现自动模型诊断。
2026-06-24 cs.LG stat.ME stat.ML
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对不完整数据下VAE估计中后验复杂度增加的问题，提出基于有限变分混合和插补变分混合的两种策略，并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归，并表明它表现出很强的依赖于较低层的权重。我们适应这一结果，在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程，统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点，这些诱导点仅在输入层定义，并通过网络传播以获得后续层的诱导输入。相比之下，来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合，并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能，在没有数据增强或回火的情况下，CIFAR-10为86.7%，与没有回火但有数据增强的SGMCMC相当（Wenzel等人2020年为88%）。
2021-06-22 cs.LG stat.ML
Robust and Scalable Variational Bayes
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Maryland（马里兰大学）
针对大型数据集中的离群值和污染问题，提出鲁棒可扩展的变分贝叶斯框架，通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合，得到VM-Posterior，在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明，这种扭曲，如果调整适当，减少Kullback-Leibler（KL）偏离真实的，但也许是不可行的，后验分布时，有潜在的参数模型误设定。为了使这一点，我们推导出一个Bernstein-von Mises定理，显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明，这种分歧是最小化的选择严格小于一个$α$，假设有一个消失的小概率模型误设定。当错误设定变得更严重时，优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加，而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
Flow-Transformed Implicit Processes for Function-Space Variational Inference
Aalborg University（奥尔堡大学）
提出流变换隐式过程（FTIP），通过归一化流增强组合权重的变分分布，从而在函数空间中捕获非对称、重尾和多模态后验结构，并使用黑盒α目标进行优化。
2026-10-07 cs.LG stat.ML
Tightening Bounds for Variational Inference by Revisiting Perturbation Theory
University of California, Irvine（加利福尼亚大学尔湾分校）
变分推断已成为潜变量建模中应用最广泛的方法之一。在其基本形式中，变分推断采用完全因子化的变分分布，并将其库尔贝克-莱布勒散度最小化到后验。由于最小化只能近似地进行，因此这种近似会引起偏差。在本文中，我们重新审视微扰理论作为一个强大的方式，提高变分近似。扰动理论依赖于对数边际似然的泰勒展开形式，模糊地表示真实后验的对数比及其变分近似。一阶项给出了经典的变分上界，高阶项给出了修正，使变分上界变紧，而传统的摄动理论没有给出下界，不适合于随机最优化。在本文中，我们提出了一个类似的，但替代的方式来获得类似于微扰理论的修正ELBO，但在一个有效的范围的结果。我们在高斯过程和变分自动编码器上的实验中表明，新的边界具有更多的质量覆盖，并且由此产生的后验协方差更接近真实的后验，并导致保留数据的可能性更高。
2019-09-30 cs.LG stat.ML
Amortized Inference of Variational Bounds for Learning Noisy-OR
University of Southern California（南加州大学）；Google Research（谷歌研究院）
近似推理的经典方法依赖于巧妙设计的变分分布和边界。现代方法采用摊销变分推理，其使用神经网络来近似任何后验，而不利用生成模型的结构。在本文中，我们提出了摊销共轭后验（ACP），一种混合的方法，利用这两种类型的方法。具体来说，我们使用经典的方法来推导特定形式的后验分布，然后使用摊销推理学习变分参数。我们研究了所提出的方法的有效性上的噪声或模型和比较的古典和现代的近似推理和参数学习的方法。我们的研究结果表明，该方法优于或与其他方法持平。
2019-10-09 cs.LG stat.ML
Variational Learning of Fractional Posteriors
DSO National Laboratories, Singapore（新加坡DSO国家实验室）
本文提出一种新的单参数变分目标，用于下界数据证据并估计近似分数后验，通过扩展框架实现分层构造和贝叶斯后验，展示了在混合模型中的模拟研究，证明分数后验能获得更好的校准效果。
2026-03-29 cs.LG
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara（加州大学圣巴巴拉分校）
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解，即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为，这将导致一个典型的训练问题，称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器（VAE）来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模，因此它有助于维护VAE中丢失的依赖关系。实证结果表明，通过使用神经参数copula显式地对潜变量的相关性进行建模，我们可以避免这种训练困难，同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
An Improved Variational Approximate Posterior for the Deep Wishart Process
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
本文提出了一种改进的深度Wishart过程变分近似后验方法，通过在Bartlett分解中允许行列线性组合，在不增加显著计算成本的情况下提升了模型的预测性能。
2023-05-23 cs.LG stat.ML
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感，即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学，以防止后崩溃。我们使用几个指标来评估我们的方法，并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University（纽约大学）；Facebook Inc.（脸书公司）；University of Sydney（悉尼大学）
通过在线观察数据的后验序列构造，贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程（VAR-GPs），这是一种原则性的后验更新机制，用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验，我们提出了一种新的自回归变分分布，揭示了两个富有成效的连接到现有的结果在贝叶斯推断，期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘，这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse
University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
当变分后验分布与潜变量子集的先验分布紧密匹配时，变分自编码器（VAE）中的后验崩溃就会出现。本文通过分析线性VAE及其与概率PCA（pPCA）的直接对应关系，提出了一个简单而直观的解释后塌陷。我们解释后崩溃可能会发生在pPCA由于局部最大值的对数边际似然。出乎意料的是，我们证明了ELBO目标的线性VAE不引入额外的虚假局部最大值相对于对数边际似然。我们进一步表明，训练一个线性VAE与精确变分推理恢复一个可识别的全局最大值对应的主成分方向。从经验上讲，我们发现，我们的线性分析是预测性的，即使是高容量，非线性VAE，并有助于解释观察噪声，局部最大值，和后崩溃深高斯VAE之间的关系。
2019-11-06 cs.LG stat.ML
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Stein Variational Gaussian Processes
Lancaster University（兰卡斯特大学）
我们展示了如何使用Stein变分梯度下降（SVGD）进行推理的高斯过程（GP）模型与非高斯似然和大数据量。马尔可夫链蒙特卡罗（MCMC）是非常计算密集型的这些情况下，但有效的变分推断（VI）所需的参数假设，导致不正确的推理时，他们遇到的多模态后验分布是常见的这种模型。SVGD为变分推断提供了一种非参数的替代方案，它比MCMC快得多。我们证明了对于具有Lipschitz梯度的GP模型，SVGD算法单调地减小了从采样分布到真实后验分布的库尔贝克-莱布勒散度.我们的方法在回归和分类，多模态后验和空气质量的例子与550,134时空观测的基准问题上进行了演示，显示出MCMC和VI的显着性能改进。
2022-01-19 cs.LG stat.ML
Private Posterior distributions from Variational approximations
隐私保护机制（如差分隐私）以数据中噪声的形式注入了额外的随机性，超出了采样机制。忽略这些额外的干扰可能会导致不准确和无效的推断。在本文中，我们将隐私机制显式地纳入似然函数，通过处理原始数据作为缺失，最终目标是估计模型参数的后验分布。这导致了使用私有数据执行有效统计推断的原则性方式，然而，相应的可能性是难以处理的。在本文中，我们推导出快速和准确的变分近似，以解决这种棘手的可能性，由于隐私。我们专注于估计朴素贝叶斯对数线性模型参数的后验分布，其中该模型的充分统计量使用差分私有接口共享。使用模拟研究，我们表明，后验近似优于天真的方法，忽略了噪声添加机制。
2015-11-24 cs.CR cs.LG stat.ML
Implicit Variational Inference for High-Dimensional Posteriors
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
该研究提出基于神经采样器局部线性化的隐式变分推断方法及新型采样器架构，可处理数千万潜变量的高维后验，能恢复大型贝叶斯神经网络跨层相关性，在下游任务上的不确定性量化效果优于现有最优方法。
2023-11-09 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Variational Bayesian Decision-making for Continuous Utilities
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯决策理论概述了一个严格的框架，使最佳决策的基础上最大限度地提高预期效用的模型后验。然而，从业者往往没有获得完整的后验和诉诸近似推理策略。在这种情况下，在执行推理时考虑最终的决策任务允许校准后验近似以最大化效用。我们提出了一个自动流水线，co-opts连续效用到变分推断算法，占决策。我们提供了实用的策略，近似和最大化的增益，并根据经验证明一致的改进时，校准近似特定的实用程序。
2019-10-27 cs.LG stat.ML
Posterior Consistency for Missing Data in Variational Autoencoders
University of Vienna（维也纳大学）
针对含缺失值数据训练变分自编码器时编码器后验分布不一致的问题，提出了后验一致性的定义与正则化方法，改进了训练目标并提升了重建质量与下游任务性能。
2023-10-25 cs.LG stat.ML
Convergence Rates of Variational Posterior Distributions
本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前，似然，变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下，发现该速率是两项的总和。首项表示真实后验分布的收敛速度，第二项由变分逼近误差贡献。对于一类先验，我们提出了一个新的先验质量条件，在该条件下，平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度，我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。
2019-06-17 math.ST stat.ML stat.TH
Enhanced Variational Inference with Dyadic Transformation
Xylem Inc.（赛莱默公司）；The University of Chicago（芝加哥大学）
变分自编码器是一个强大的具有变分推理的深度生成模型。在VAE的原始公式中，将潜在变量建模为具有对角协方差矩阵的正态分布的做法限制了匹配真实后验分布的灵活性。我们提出了一种新的变换，并元变换（DT），可以模拟多元正态分布。DT是一种单级变换，计算要求低。我们在MNIST数据集上的经验表明，DT增强了后验灵活性，并与其他VAE增强相比获得了有竞争力的结果。
2019-03-08 cs.LG stat.ML
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
针对现有VBPI框架难以处理树拓扑后验多模态的问题，提出结合BBVI领域混合学习进展的VBPI-Mixtures算法，可建模VBPI无法捕捉的树拓扑分布，在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Generalized Variational Inference: Three arguments for deriving new Posteriors
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提倡以优化为中心的观点，并介绍了一种新的概括贝叶斯推断。我们的灵感来自于将贝叶斯规则表示为无限维优化问题（Csiszar，1975; Donsker and Varadhan; 1975; Zellner; 1988）。首先，我们用它来证明一个最优性结果的标准变分推断（VI）：在所提出的观点，标准的证据下限（ELBO）最大化VI后验是更可取的替代近似的贝叶斯后验。接下来，我们主张推广标准的贝叶斯推断。在现实与标准贝叶斯推断的三个基本假设之间严重不一致的情况下，需要这样做：（1）明确指定的先验，（2）明确指定的似然，（3）无限计算能力的可用性。我们的推广解决了这些缺点，有三个参数，被称为三规则（RoT）。我们推导出公理和恢复现有的后验作为特殊情况下，包括贝叶斯后验和其近似标准VI。相反，基于替代ELBO类目标的近似违反了公理。最后，我们研究了RoT的一种特殊情况，我们称之为广义变分推断（GVI）。GVI后验是由三个参数指定的一个大而易处理的信念分布族：损失，发散和变分族。GVI后验具有吸引人的性质，包括一致性和近似ELBO的解释。文章的最后一部分探讨了GVI在流行的机器学习模型中的一些有吸引力的应用，包括鲁棒性和更合适的边缘。在推导出GVI后验的黑盒推理方案后，研究了它们在贝叶斯神经网络和深度高斯过程上的预测性能，其中GVI可以全面改进现有方法。
2019-12-12 cs.AI cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function
RETINA-AI Health, Inc.（RETINA-AI健康公司）；MD Anderson Cancer Center（MD安德森癌症中心）
在贝叶斯机器学习中，后验分布通常在计算上是难以处理的，因此经常需要变分推理。在这种方法中，数据的对数似然性的证据下限在训练期间被最大化。变分自编码器（VAE）是利用变分推断的一个重要示例。在本教程中，我们推导出标准变分自编码器的变分下界损失函数。我们这样做的高斯潜在先验和高斯近似后验的情况下，假设Kullback-Leibler项的变分下界有一个封闭的形式的解决方案。我们基本上推导出了我们在此过程中使用的所有内容;从贝叶斯定理到Kullback-Leibler分歧。
2019-07-21 cs.LG stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University（武汉大学）；The University of Adelaide（阿德莱德大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
变分丢弃算法（Variational dropout，VD）是高斯丢弃算法的一种推广，其目的是根据网络权值的对数一致先验知识来推断权值的后验，从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力，而且还支持这种后验的推断。然而，对数均匀先验是不适当的先验（即，它的积分是无穷的），这就导致了后验推理的不适定，从而限制了VD的正则化性能。为了解决这个问题，我们提出了一个新的推广高斯辍学，称为变分贝叶斯辍学（VBD），这反过来利用一个层次的网络权重的先验，并推断一个新的联合后验。具体来说，我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后，我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中，从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是，层次先验是一个适当的先验，使后验推理是适定性的。此外，我们进一步表明，建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK（数学系，布里斯托尔大学）
SoftCVI通过对比估计框架将变分分布参数化为分类器，利用未归一化后验生成软标签进行训练，无需正负样本，在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
University of Milano-Bicocca（米兰比可卡大学）
提出了一种新的非线性逻辑斯谛回归方法，该方法使用两层神经网络（NN）模型结构，网络权重具有分层先验。我提出了一个混合的期望传播称为变分期望传播方法（VEP）的权重，先验和zeta的层次尺度参数的后验分布的近似积分。使用因式分解后验近似，我得出一个计算效率高的算法，其复杂性尺度类似于一个独立的稀疏逻辑模型的合奏。该方法可以扩展到标准激活函数和NN模型结构之外，以从多个稀疏线性模型形成灵活的非线性二元预测器。我考虑了一个分层贝叶斯模型与逻辑斯谛回归似然和高斯先验分布的参数称为权重和超参数。分别从E步和M步的角度计算近似后验和利用计算出的后验更新参数。
2023-03-02 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
没有任何结构假设的基于能量的隐变量模型（EBLVMs）的学习和评估具有很大的挑战性，因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计，分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散，并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下，VaES和VaGES可以应用于基于核化Stein差异（KSD）和分数匹配（SM）的方法来学习EBLVM。此外，VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Stacking Variational Bayesian Monte Carlo
Department of Computer Science University of Helsinki（计算机科学系 霍恩利亚大学）
本文提出S-VBMC方法，通过合并多个独立VBMC运行的局部近似构建全局后验，无需额外似然评估且可并行化，显著提升复杂后验的近似质量。
2025-11-10 cs.LG stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Variational Laplace Autoencoders
Seoul National University（首尔国立大学）
变分自编码器采用摊销推理模型来近似潜变量的后验。然而，这种摊销变分推理面临两个挑战：（1）有限的后验表达的完全分解高斯假设和（2）摊销误差的推理模型。我们提出了一种新的方法，解决这两个挑战。首先，我们关注具有高斯输出的ReLU网络，并说明它们与概率PCA的联系。在此基础上，我们推导出一个迭代算法，找到后验模式，并应用以模式为中心的全协方差高斯后验近似。随后，我们提出了一个名为变分拉普拉斯自编码器（VLAEs）的通用框架，用于训练深度生成模型。VLAES基于潜在变量后验的Laplace近似，增强了后验的表达能力，同时减少了摊销误差。在MNIST、Omniglot、Fashion-MNIST、SVHN和CIFAR 10上的实验结果表明，该方法在ReLU网络上的性能明显优于其他最近的摊销或迭代法。
2022-11-30 cs.LG
The Variational Predictive Natural Gradient
Columbia University（哥伦比亚大学）；New York University（纽约大学）
变分推理将后验推理转换为参数优化，从而在不切实际的情况下使用潜在变量模型。然而，当不同的变分参数控制模型下强相关的变量时，变分推断可能是挑剔的。传统的自然梯度的基础上变分近似不能正确的相关性时，近似是不是真正的后验。为了解决这个问题，我们构造了一个新的自然梯度，称为变分预测自然梯度（VPNG）。与传统的变分推理的自然梯度不同，这种自然梯度解释了模型参数和变分参数之间的关系。我们通过一个简单的例子以及分类任务的经验值，图像的深度生成模型和推荐的概率矩阵分解来展示洞察力。
2019-11-29 cs.LG stat.ML
Towards Model-Agnostic Posterior Approximation for Fast and Accurate Variational Autoencoders
Wellesley College（韦尔斯利学院）；Harvard University（哈佛大学）
针对VAE联合训练早期推断模型较差及迭代训练低效的问题，本文提出确定性、模型无关的后验近似MAPA，并证明其可独立训练生成模型，在低维合成数据上以更少计算获得更优密度估计。
2024-06-12 cs.LG stat.ML
CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse
University of Leoben（莱奥本大学）
针对VAE因目标函数局限导致的后验坍塌问题，提出CR-VAE方法，通过引入对比目标最大化相似输入间互信息，有效防止后验坍塌并在视觉数据集上优于现有方法。
2023-09-09 cs.LG
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
