Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
稀疏变分近似允许在高斯过程（GP）模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中，这些GP是后验耦合的。对于许多应用，例如回归，其中预测精度是感兴趣的量，这种耦合并不重要。然而，如果人们对后验不确定性感兴趣，它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时，均值场方法提供了快速准确的后验均值，而结构化后验均值导致推理算法的计算复杂度更高。在这里，我们扩展了以前的稀疏GP近似，并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI，一种基于扩散模型的黑盒变分推断算法，通过迭代优化潜在空间后验，提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Variational Inference via Transformations on Distributions
IIT Kanpur（坎普尔印度理工学院）
变分推断方法通常只关注模型的有效优化问题，而很少关注近似后验的选择。在本文中，我们回顾和实现的各种方法，使我们能够开发一个丰富的家庭的近似后验。我们表明，一个特定的方法，采用变换的分布结果在发展非常丰富和复杂的后验近似。我们分析其性能的MNIST数据集上实现与变分自动编码器，并证明其有效性，学习更好的后验分布。
2017-07-09 cs.LG stat.ML
Posterior Collapse and Latent Variable Non-identifiability
University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
变分自动编码器通过设定低维潜在变量来对高维数据进行建模，这些潜在变量通过由神经网络参数化的灵活分布进行映射。不幸的是，变分自编码器经常遭受后验崩溃：潜变量的后验等于其先验，使得变分自编码器作为产生有意义的表示的手段是无用的。现有的后验崩溃的方法往往归因于神经网络的使用或由于变分逼近的优化问题。在本文中，我们认为后验崩溃作为一个问题的潜在变量的不可识别性。我们证明了后验崩溃当且仅当潜变量是不可识别的生成模型。这一事实意味着后验崩溃并不是使用灵活分布或近似推理所特有的现象。相反，它可以发生在经典的概率模型，甚至与精确的推断，我们也证明了。基于这些结果，我们提出了一类潜在的可识别的变分自编码器，深度生成模型，在不牺牲灵活性的情况下加强可识别性。该模型类通过利用双射Brenier映射并使用输入凸神经网络对其进行参数化来解决潜在变量不可识别的问题，而无需特殊的变分推断目标或优化技巧。在合成和真实数据集上，潜在可识别的变分自编码器在减轻后验崩溃和提供有意义的数据表示方面优于现有方法。
2023-01-02 cs.LG stat.ML
Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam（阿姆斯特丹大学）
变分自动编码器（VAE）是可扩展的和强大的生成模型。然而，变分后验的选择决定了VAE的易处理性和灵活性。通常，潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率，但通常它不够灵活，无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流，即，一系列可逆的变换到一个简单的后验的潜在变量。在本文中，我们遵循这一思路，并提出了一个体积保持流，使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明，与其他归一化流相比，所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
多层深度高斯过程（DGP）模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的，这促使了最近的发展确定性和随机近似方法。不幸的是，确定性的近似方法产生一个有偏的后验信念，而随机的是计算成本高。本文提出了一种隐式后验变分推理（IPVI）框架DGP，可以理想地恢复一个无偏的后验信念，仍然保持时间效率。受生成对抗网络的启发，我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点，有趣的是，其中纳什均衡与无偏后验信念相一致。因此，这启发我们设计一种最佳响应动态算法来搜索纳什均衡（即，无偏的后验信念）。经验评估表明，IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara（加州大学圣巴巴拉分校）
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解，即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为，这将导致一个典型的训练问题，称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器（VAE）来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模，因此它有助于维护VAE中丢失的依赖关系。实证结果表明，通过使用神经参数copula显式地对潜变量的相关性进行建模，我们可以避免这种训练困难，同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg（班贝格大学）
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时，现代机器学习的复杂性使得理解模型的推理过程具有挑战性，更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣，但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发，我们引入了变分高斯过程的相应概念。一方面，我们的贡献提高了这些类型模型的透明度。更重要的是，我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
Discouraging posterior collapse in hierarchical Variational Autoencoders using context
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对自上而下分层 VAE 仍存在后验收缩的问题，提出在顶层引入上下文并用离散余弦变换获得最后潜在变量，从而提升潜在空间利用率且保持生成能力。
2023-09-28 cs.CV cs.LG
Scalable Variational Gaussian Process Regression Networks
University of Utah（犹他大学）；School of Computing（计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
高斯过程回归网络（GPRN）是多输出回归的强大贝叶斯模型，但其推理是棘手的。为了解决这个问题，现有方法在所有输出和潜函数上使用完全分解的结构（或这种结构的混合）进行后验近似，然而，这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外，变分参数的更新是低效的，并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性，我们提出了一个可扩展的变分推理算法的GPRN，它不仅捕获了丰富的后验依赖关系，但也是更有效的大规模输出。我们张量化的输出空间，并引入张量/矩阵正常变分后验捕获的后验相关性，并减少参数。我们共同优化所有的参数，并利用固有的克罗内克积结构的变分模型证据下界，以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Bernstein Flows for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用技术大学）；University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用技术大学）
本文提出 Bernstein 流变分推断（BF-VI），结合归一化流与 Bernstein 多项式变换模型，以灵活近似复杂多元后验，并在基准实验和半结构化 Melanoma 数据上验证其优于现有 VI 方法。
2024-02-23 cs.LG stat.ML
Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了一个变分贝叶斯神经网络的参数是通过随机矩阵的概率分布。具体来说，我们采用了一个矩阵变量高斯\cite{gupta1999matrix}参数后验分布，其中我们明确建模的协方差之间的输入和输出的每一层的尺寸。此外，近似的协方差阵，我们可以实现一个更有效的方式来表示这些相关性，也比完全分解的参数后验更便宜。我们进一步表明，与“本地reprarametrization技巧”\cite{kingma2015variational}在这个后验分布，我们到达一个高斯过程\cite{rasmussen2006gaussian}解释的隐藏单位在每一层，我们，同样与\cite{gal2015dropout}，提供与深高斯过程的连接。我们继续利用这种二元性，并将“伪数据”\cite{snelson2005sparse}纳入我们的模型，这反过来又允许更有效的采样，同时保持原始模型的属性。通过大量的实验验证了该方法的有效性。
2016-06-23 cs.LG stat.ML
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对不完整数据下VAE估计中后验复杂度增加的问题，提出基于有限变分混合和插补变分混合的两种策略，并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归，并表明它表现出很强的依赖于较低层的权重。我们适应这一结果，在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程，统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点，这些诱导点仅在输入层定义，并通过网络传播以获得后续层的诱导输入。相比之下，来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合，并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能，在没有数据增强或回火的情况下，CIFAR-10为86.7%，与没有回火但有数据增强的SGMCMC相当（Wenzel等人2020年为88%）。
2021-06-22 cs.LG stat.ML
Variational Autoencoders for Efficient Simulation-Based Inference
Science for Life Laboratory, Uppsala University（生命科学实验室，乌普萨拉大学）；Uppsala University（乌普萨拉大学）
本文提出基于变分自编码器的生成建模方法，用于无似然模拟推断，通过两种先验处理变体高效估计复杂后验，并在基准问题上验证了计算效率与准确性。
2025-10-16 cs.AI cs.LG
Variational Inference with Normalizing Flows
Google DeepMind（谷歌DeepMind）
近似后验分布的选择是变分推断的核心问题之一。变分推断的大多数应用采用简单的后验近似族，以允许有效的推理，集中在平均场或其他简单的结构化近似。这种限制有显着的影响，使用变分方法的推理质量。我们介绍了一种新的方法来指定灵活的，任意复杂的和可扩展的近似后验分布。我们的近似是通过归一化流构造的分布，通过应用一系列可逆变换将简单的初始密度变换为更复杂的密度，直到达到所需的复杂程度。我们使用这种观点规范化流发展类别的有限和无穷小流量，并提供了一个统一的观点，构建丰富的后验近似的方法。我们证明了具有更好地匹配真实后验的后验的理论优势，结合摊销变分方法的可扩展性，提供了变分推断的性能和适用性的明显改善。
2016-06-14 cs.AI cs.LG stat.CO
Generalized Variational Inference: Three arguments for deriving new Posteriors
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提倡以优化为中心的观点，并介绍了一种新的概括贝叶斯推断。我们的灵感来自于将贝叶斯规则表示为无限维优化问题（Csiszar，1975; Donsker and Varadhan; 1975; Zellner; 1988）。首先，我们用它来证明一个最优性结果的标准变分推断（VI）：在所提出的观点，标准的证据下限（ELBO）最大化VI后验是更可取的替代近似的贝叶斯后验。接下来，我们主张推广标准的贝叶斯推断。在现实与标准贝叶斯推断的三个基本假设之间严重不一致的情况下，需要这样做：（1）明确指定的先验，（2）明确指定的似然，（3）无限计算能力的可用性。我们的推广解决了这些缺点，有三个参数，被称为三规则（RoT）。我们推导出公理和恢复现有的后验作为特殊情况下，包括贝叶斯后验和其近似标准VI。相反，基于替代ELBO类目标的近似违反了公理。最后，我们研究了RoT的一种特殊情况，我们称之为广义变分推断（GVI）。GVI后验是由三个参数指定的一个大而易处理的信念分布族：损失，发散和变分族。GVI后验具有吸引人的性质，包括一致性和近似ELBO的解释。文章的最后一部分探讨了GVI在流行的机器学习模型中的一些有吸引力的应用，包括鲁棒性和更合适的边缘。在推导出GVI后验的黑盒推理方案后，研究了它们在贝叶斯神经网络和深度高斯过程上的预测性能，其中GVI可以全面改进现有方法。
2019-12-12 cs.AI cs.LG stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning
Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
本研究比较三种变分目标（VAE-KL、VAE-JS、VAE-JSWA）在反问题摊销贝叶斯推断中的表现，发现后验条件化显著影响目标选择，病态问题中JSWA更优，并建议采用几何自适应变分推断。
2026-09-23 cs.CE cs.IT cs.LG
Frequentist Regret Analysis of Gaussian Process Thompson Sampling via Fractional Posteriors
Texas A&M University（德克萨斯农工大学）；Purdue University（普渡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文通过分数后验分析，为高斯过程强化学习提供了一种无离散化、统一的频率后悔框架，适用于多种核函数。
2026-02-16 cs.LG math.OC math.ST
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Mixed Variational Inference
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
拉普拉斯近似一直是贝叶斯推断的主要工具之一。它通常在实践中提供良好的近似，尽管它没有严格考虑后验密度的体积。变分方法通过显式地最小化假设后验和真实（未归一化）对数后验之间的库尔贝克-莱布勒散度DKL来避免这个问题。然而，他们依赖于一个封闭的形式DKL，以更新变分参数。为了解决这个问题，已经设计了随机版本的变分推断，其用蒙特卡罗平均值来近似难处理的DKL。这种近似允许计算相对于变分参数的梯度。然而，变分方法往往假设一个因式高斯近似后验。这样做，他们牺牲了后验相关性。在这项工作中，我们提出了一种方法，结合了变分方法的拉普拉斯近似。的优点是，我们保持：非共轭模型的适用性，后验相关性和自由变分参数的数量减少。数值实验表明，改进的拉普拉斯近似和变分推断与因式高斯后验。
2022-02-28 cs.LG stat.ML
Variational Prediction
Google Research（谷歌研究院）
针对贝叶斯推断中后验及其预测分布边缘化计算困难的问题，本文提出 Variational Prediction，通过变分界直接学习后验预测分布的近似，从而免去测试时边缘化成本。
2023-07-14 cs.LG stat.ML
Variational Boosting: Iteratively Refining Posterior Approximations
Harvard University（哈佛大学）；University of Washington（华盛顿大学）；Google Brain（谷歌大脑）
我们提出了一个黑盒变分推断方法来近似棘手的分布越来越丰富的近似类。我们的方法，称为变分助推，迭代地完善现有的变分近似通过解决一系列的优化问题，允许从业者交易计算时间的准确性。我们展示了如何扩大变分逼近类，将额外的协方差结构，并通过引入新的组件，形成一个混合物。我们应用变分助推合成和真正的统计模型，并表明，所产生的后验推理相比，现有的后验近似算法的准确性和效率。
2017-02-19 cs.LG stat.ME stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Divide and Couple: Using Monte Carlo Variational Objectives for Posterior Approximation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）
最近的工作在变分推理（VI）使用的想法从蒙特卡洛估计收紧的下限的对数似然作为目标。然而，没有系统的理解如何优化不同的目标与近似的后验分布。如果要将这些思想应用于推理，那么发展这样一种联系是很重要的，需要近似后验而不仅仅是对数似然的近似的应用。给定一个由蒙特卡罗估计的可能性定义的VI目标，我们使用一个“划分和耦合”的程序来确定增强的建议和目标分布。这些之间的分歧等于VI目标和对数似然之间的差距。因此，在最大化VI目标之后，可以使用增强变分分布来近似后验分布。
2020-01-07 cs.LG stat.ML
Posterior Temperature Optimization in Variational Inference for Inverse Problems
Hamburg University of Technology（汉堡工业大学）；Heidelberg University Hospital（海德堡大学医院）
贝叶斯方法具有解决逆问题的有用特性，例如层析重建。先验分布引入了正则化，这有助于解决不适定问题并减少过拟合。在实践中，这通常会导致次优的后验温度，并且贝叶斯方法的全部潜力没有实现。在本文中，我们使用贝叶斯优化优化先验分布和后验温度的参数。回火后验导致更好的预测性能和改进的不确定性校准，我们证明稀疏视图CT重建的任务。
2021-12-01 cs.LG eess.IV
Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本研究针对神经网络权重空间置换对称性导致贝叶斯神经网络变分推断后验多模态偏差的问题，提出置换不变变分后验的对称化机制，经理论与实验验证可提升后验拟合效果、预测性能及ELBO值。
2024-08-10 cs.LG stat.ML
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明，这种扭曲，如果调整适当，减少Kullback-Leibler（KL）偏离真实的，但也许是不可行的，后验分布时，有潜在的参数模型误设定。为了使这一点，我们推导出一个Bernstein-von Mises定理，显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明，这种分歧是最小化的选择严格小于一个$α$，假设有一个消失的小概率模型误设定。当错误设定变得更严重时，优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加，而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
Boosting Variational Inference
Massachusetts Institute of Technology（麻省理工学院）；Duke University（杜克大学）
变分推断（VI）提供了贝叶斯后验的快速近似，部分原因是它将后验近似公式化为优化问题：在某些分布族上找到与精确后验最接近的分布。由于实际原因，VI中的分布族通常受到限制，因此它不包括精确的后验，甚至作为极限点。因此，无论VI运行多长时间，所得到的近似值都不会接近精确的后验。我们建议考虑一个更灵活的近似族，它由参数基分布的所有可能的有限混合组成（例如，高斯）。为了有效的推理，我们借用梯度提升的思想来开发一种算法，我们称之为提升变分推断（BVI）。BVI迭代地改进当前的近似混合它与一个新的组件从基本分布的家庭，从而产生逐步更准确的后验近似，因为更多的计算时间花费。与许多常见的VI变体（包括平均场VI）不同，BVI能够捕获多模态、一般后验协方差和非标准后验形状。
2017-03-01 cs.LG stat.ML
Predictive variational inference: Learn the predictively optimal posterior distribution
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Statistics and Data Sciences, University of Texas, Austin（德克萨斯大学奥斯汀分校统计与数据科学系）
提出预测变分推断（PVI）框架，通过优化后验分布使预测分布逼近真实数据生成过程，解决模型误设问题，并实现自动模型诊断。
2026-06-24 cs.LG stat.ME stat.ML
MCMC-Interactive Variational Inference
Broad College of Business, Michigan State University（密歇根州立大学布罗德商学院）；the University of Texas at Austin（德克萨斯大学奥斯汀分校）；McCombs School of Business, the University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
利用成熟的MCMC策略，我们提出了MCMC交互式变分推理（MIVI），不仅可以在时间约束的方式估计后验，而且还可以方便MCMC过渡的设计。MIVI构建一个变分分布，然后是一个有参数学习的短马尔可夫链，它利用变分推理和MCMC的互补特性来鼓励相互改进。一方面，随着变分分布定位高后验密度区域，马尔可夫链在变分推理框架内被优化，以有效地针对后验，尽管有少量的转换。另一方面，优化的马尔可夫链具有相当大的灵活性，引导变分分布的后验和消除其低估的不确定性。证明了MIVI中的最优马尔可夫链是可以外推的，即随着链的增长，其边际分布越来越接近真实的后验分布。因此，马尔可夫链可以单独用作有效的MCMC方案。实验表明，MIVI不仅能准确有效地逼近后验，而且能方便地设计随机梯度MCMC和Gibbs采样转换。
2022-12-12 cs.LG stat.ML
Updating Variational Bayes: Fast sequential posterior inference
Monash University（莫纳什大学）
变分贝叶斯（VB）方法产生后验推理的时间帧大大小于传统的马尔可夫链蒙特卡罗方法。虽然VB后验是一个近似，它已被证明产生良好的参数估计和预测值时，考虑了丰富的类近似分布。在本文中，我们提出了更新VB（UVB），一个递归算法，用于更新一系列的VB后验近似在一个在线的设置，与每个后验更新的计算只需要观察到的数据，因为以前的更新。一个扩展所提出的算法，命名为UVB-IS，允许用户通过使用重要性抽样的交易精度大幅增加计算速度。这两种方法及其属性在两个单独的模拟研究中详细介绍。所提出的UVB方法的两个实证说明，包括一个Dirichlet过程混合模型与一种新的后验依赖结构的上下文中反复更新的预测未来的行为的车辆上的美国101号公路的延伸。
2019-08-01 cs.LG stat.CO
Robust and Scalable Variational Bayes
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Maryland（马里兰大学）
针对大型数据集中的离群值和污染问题，提出鲁棒可扩展的变分贝叶斯框架，通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合，得到VM-Posterior，在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
University of Oxford（牛津大学）；OATML, Department of Computer Science（OATML计算机科学系）
我们挑战了长期以来的假设，即贝叶斯神经网络中变分推理的平均场近似是严格限制性的，并表明在深度网络中并非如此。我们证明了几个结果表明，深平均场变权后验子可以诱导类似的分布在函数空间中的浅网络与复杂的权重后验子。我们验证了我们的理论贡献经验，无论是通过检查的重量后，在小模型中使用哈密顿蒙特卡罗和比较对角结构协方差在大的设置。由于复杂的变分后验往往是昂贵和繁琐的实施，我们的研究结果表明，使用平均场变分推理在更深的模型是一个实际的和理论上合理的替代结构化近似。
2021-03-10 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto（多伦多大学）
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说，我们删除了一部分的总导数相对于变分参数，对应于得分函数。去除这一项会产生一个无偏的梯度估计，其方差接近零，因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为，并将其推广到更复杂的变分分布，如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology（挪威科技大学）
本文针对1比特矩阵补全问题，提出分数后验的集中性质理论，使用两种先验分布恢复参数矩阵，无需先验秩信息，且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Taming Continuous Posteriors for Latent Variational Dialogue Policies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Development Center Germany GmbH（亚马逊德国开发中心有限责任公司）
在面向任务的对话（ToD）系统中，将摊销变分推理用于潜在动作强化学习（RL）已被证明是优化对话成功的有效方法。到目前为止，分类后验被认为是绩效的主要驱动因素之一。在这项工作中，我们重新审视了潜在行动RL的高斯变分后验，并表明它们可以产生比分类更好的性能。我们通过简化训练程序来实现这一点，并提出了将潜在对话政策正规化的方法，以保持良好的响应一致性。使用连续的潜在表示，我们的模型在MultiWOZ基准测试中达到了最先进的对话成功率，并且在响应一致性方面与分类潜在方法进行了比较。
2022-06-01 cs.AI cs.CL cs.LG
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Concentration of tempered posteriors and of their variational approximations
CREST（统计与经济研究中心）；ENSAE（国立统计与经济管理学院）；Capital Fund Management（资本基金管理公司）
虽然贝叶斯方法在统计学和机器学习中非常流行，但它们在大规模数据集上的应用通常具有挑战性。实际上，当模型维数和样本量都很大时，经典的MCMC算法是非常慢的。变分贝叶斯方法的目的是近似后验分布在一个易于处理的家庭。因此，MCMC被更快数量级的优化算法所取代。VB方法已被应用于计算要求高的应用，包括协同过滤，图像和视频处理，NLP和文本处理...然而，尽管在实践中有很好的结果，这些近似的理论性质通常是未知的。本文提出了一种证明分数阶后验变分逼近集中性的一般方法。我们将我们的理论应用于两个例子：矩阵完成和高斯VB。
2019-04-22 cs.LG math.ST stat.TH
Radial and Directional Posteriors for Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的贝叶斯神经网络变分族。我们将变分后验分解为两个分量，其中径向分量捕获每个神经元的强度，而方向分量捕获权重参数之间的统计依赖关系。与广泛使用的高斯平均场型变分族相比，通过方向密度学习的依赖关系提供了更好的建模性能。此外，通过径向密度学习的输入和输出神经元的强度提供了压缩神经网络的结构化方式。事实上，实验表明，我们的变分家庭提高了预测性能，并同时产生压缩网络。
2019-03-13 cs.LG stat.ML
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis（加利福尼亚大学戴维斯分校）
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题，提出迭代后对社区分配后验做硬阈值的改进方法，理论证明其在平均节点度有界时可准确恢复社区标签，数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Private Posterior distributions from Variational approximations
隐私保护机制（如差分隐私）以数据中噪声的形式注入了额外的随机性，超出了采样机制。忽略这些额外的干扰可能会导致不准确和无效的推断。在本文中，我们将隐私机制显式地纳入似然函数，通过处理原始数据作为缺失，最终目标是估计模型参数的后验分布。这导致了使用私有数据执行有效统计推断的原则性方式，然而，相应的可能性是难以处理的。在本文中，我们推导出快速和准确的变分近似，以解决这种棘手的可能性，由于隐私。我们专注于估计朴素贝叶斯对数线性模型参数的后验分布，其中该模型的充分统计量使用差分私有接口共享。使用模拟研究，我们表明，后验近似优于天真的方法，忽略了噪声添加机制。
2015-11-24 cs.CR cs.LG stat.ML
Variational Inference for Neyman-Scott Processes
Tsinghua University（清华大学）；University of California, Riverside（加州大学河滨分校）
Neyman-Scott过程（NSP）已经被应用于一系列领域，以利用聚类的层次结构对点或时间事件进行建模。马尔可夫链蒙特卡罗（MCMC）通常用于模型中的后验采样。然而，MCMC的混合时间可能会导致结果推理缓慢，从而减慢模型学习和预测。我们开发了第一个变分推断（VI）算法的NSP，并给出了两个例子，合适的变分后点过程分布。我们的方法最小化包含的Kullback-Leibler（KL）分歧VI获得变分参数。我们从近似后点过程生成样本的速度比MCMC快得多，因为我们可以直接估计近似后点过程，而无需任何MCMC步骤或梯度下降。我们包括合成和真实世界的数据实验，证明我们的VI算法实现了更好的预测性能比MCMC计算时间是有限的。
2023-03-07 cs.LG stat.ML
Statistical and Computational Trade-offs in Variational Inference: A Case Study in Inferential Model Selection
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）；University of Michigan（密歇根大学）
本文以高斯推断模型为案例，从贝叶斯后验推断和频率派不确定性量化两个角度理论分析了变分推断中统计精度与计算效率的权衡，证明低秩模型在固定计算预算下可加速收敛，且小数据集下无需满秩即可达到最优估计误差。
2023-08-06 cs.LG stat.ML
Neural Variational Cut Posteriors without Upstream Data
Johns Hopkins University（约翰霍普金斯大学）
该研究针对无上游数据时的割集贝叶斯问题，提出无需上游数据或模型的NeVI-Cut方法，基于条件归一化流实现，给出收敛率并验证了速度与准确性。
2026-09-03 cs.LG stat.ME stat.ML
Efficient LLM Reasoning via Variational Posterior Guidance with Efficiency Awareness
Guangdong University of Foreign Studies（广东外语外贸大学）
本文提出VPG-EA框架，通过变分推断和效率感知证据下界提升LLM推理效率，实验显示在不同模型规模下效率指标提升显著。
2026-05-10 cs.AI cs.LG
