Latent Annealed Posterior Sampling with a Variance-Preserving Bridge for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
针对稀疏观测随机场后验推断的两大挑战，本文提出带方差保持桥的潜在退火后验采样（LAPS）方法，实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-10-16 cs.LG stat.ML
Mind the Gap when Conditioning Amortised Inference in Sequential Latent-Variable Models
Volkswagen Group（大众集团）
摊销推理使具有证据下限（ELBO）的序列潜变量模型（LVMs）的可扩展学习成为可能。在这种情况下，变分后验往往只是部分条件。而真正的后验依赖于，例如，在整个观测序列上，近似后验仅由过去的观测提供信息。这模仿了贝叶斯滤波器--一种平滑后验的混合。然而，我们表明，ELBO的目标部队部分条件摊销后验近似产品的平滑后验。因此，学习的生成模型受到损害。我们在三个场景中展示了这些理论研究结果：交通流量，手写数字和飞行器动态。使用完全条件近似后验，性能提高方面的生成建模和多步预测。
2021-03-17 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Elicitation without Backpropagation: Steering Model Behavior by Optimizing the Latent Posterior
Monash University（莫纳什大学）；Timaeus（提马尤斯）
研究利用潜在后验模型提出后验前缀调整（PPT）方法，在贝叶斯滤波变压器中，给定效用函数找高预期效用提示。通过预测蒙特卡洛抽取先验样本，用重要性采样估计梯度，无需前向传递和反向传播，一组样本可驱动针对多种效用的启发并验证。
2026-07-22 cs.LG stat.ML
Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文将约束黑盒优化转化为后验推断问题，在生成模型的潜在空间中进行推断，通过训练流模型和扩散模型提升候选点搜索效率，实验证明在合成和现实任务中性能优越。
2026-05-07 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Latent Time Neural Ordinary Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
神经常微分方程（NODE）已被提出作为流行的深度学习模型（如残差网络（ResNets））的连续深度推广。它们提供了参数效率，并在一定程度上自动化了深度学习模型中的模型选择过程。然而，它们缺乏急需的不确定性建模和鲁棒性能力，这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法，潜伏时间节点（LT-NODE），把$T$作为一个潜在的变量，并应用贝叶斯学习获得后验分布超过$T$的数据。特别地，我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的，并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度，因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点（ALT-NODE），它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性，通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出首个利用预训练潜在扩散模型求解线性逆问题的框架，通过理论分析证明了线性模型设置下的样本恢复，并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Quotient-Based Posterior Analysis for Euclidean Latent Space Models
Baruch College, City University of New York（纽约市立大学巴鲁克学院）；Yale University（耶鲁大学）；University of Trieste（的里雅斯特大学）
本文提出基于商结构的后验分析方法，用于欧几里得潜在空间模型，通过中心格拉姆映射去除非识别性，提供内在的后验总结和不确定性，具有理论保证和稳定性。
2026-04-03 stat.ME stat.ML
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay（巴黎-萨克雷大学博雷利中心）；Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文研究了基于图的贝叶斯潜在空间模型的规格问题，提出了一种广义后验框架，通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性，提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
Preventing Posterior Collapse with delta-VAEs
Deepmind（深度思维）；Google Brain（谷歌大脑）
由于“后验崩溃”现象，当前的潜变量生成模型提出了一个具有挑战性的设计选择，要么削弱解码器的能力，要么需要增强目标，因此它不仅最大化数据的可能性。在本文中，我们提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下限，同时确保潜变量保留和编码有用的信息。我们提出的$δ$ -VAE通过约束后验变分族到先验的最小距离来实现这一点。对于序列潜变量模型，我们的方法类似于经典的表示学习方法的缓慢特征分析。我们证明了我们的方法在LM 1B上建模文本和建模图像的有效性：学习表示，提高样本质量，并在CIFAR-10和ImageNet $32\times 32$上实现最先进的对数似然。
2019-01-10 cs.LG stat.ML
High-Dimensional Simulation-Based Inference in Latent Spaces
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出将模拟推断与潜在生成建模结合，在低维潜在空间中进行后验推断并映射回原参数空间，在匹配计算下达到同等精度且采样快一个数量级以上。
2026-09-30 cs.LG stat.ML
Black-Box Inference for Non-Linear Latent Force Models
The University of Sheffield（谢菲尔德大学）；Newcastle University（纽卡斯尔大学）
潜力模型是这样的系统，其中存在描述系统状态的动态的机械模型，具有用高斯过程近似的一些未知的强迫项。如果这种动态是非线性的，则可能难以联合估计后验状态和强迫项，特别是当存在也需要估计的系统参数时。本文采用黑盒变分推断联合估计后验，设计了一个多变量扩展到本地逆自回归流作为一个灵活的近似系统。我们比较估计系统的后验是已知的，证明了近似的有效性，并适用于非线性动态，多输出系统和模型与非高斯似然问题。
2019-11-04 cs.LG stat.ML
Online Distributional Prediction via Latent Cluster Geometry Under Drift and Corruption
Indian Institute of Technology, Bombay（印度理工学院，孟买）
针对非平稳流中的在线分布预测问题，提出一种基于潜在簇几何的吉布斯准后验方法，通过可逆跳跃MCMC采样变维后验，并引入重启变体应对漂移，在亚线性腐败预算和运输代价下实现亚线性Wasserstein遗憾。
2026-10-26 cs.LG stat.ML
A Note on Posterior Probability Estimation for Classifiers
Medical Data Science Ltd.（医疗数据科学有限公司）
分类任务的中心主题之一是在新的点$\bf{x}$上估计类后验概率。绝大多数分类器输出$\bf{x}$的分数，该分数经由未知关系与后验概率单调相关。在文献中有许多尝试来估计后一种关系。在这里，我们提供了一种方法来估计后验概率，而不诉诸于使用分类得分。相反，我们改变类的先验概率，以获得点$\bf{x}$处的pdf的比率，该比率直接用于确定类的后验概率。我们在这里考虑二进制分类问题。
2019-09-12 cs.LG stat.ML
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Scalable Differentiable Causal Discovery in the Presence of Latent Confounders with Skeleton Posterior (Extended Version)
HKUST（香港科技大学）；Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
针对潜在混杂因素下可微MAG学习难以扩展的问题，提出SPOT两阶段框架，通过SCL摊销推断骨架后验，并以其引导随机优化，从而缩小搜索空间并提升因果发现性能。
2024-06-15 cs.AI cs.LG stat.ML
Inferring Parameters and Structure of Latent Variable Models by Variational Bayes
Gatsby Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）
当前用于学习具有潜在变量和固定结构的图形模型的方法估计模型参数的最优值。然而，这种方法通常会产生过拟合和次优泛化性能，进行贝叶斯程序计算的完整后验分布的参数仍然是一个困难的问题。此外，学习具有潜在变量的模型的结构，贝叶斯方法是至关重要的，是一个更困难的问题。在本文中，我提出了变分贝叶斯框架，它提供了一个解决这些问题。这种方法近似模型参数和结构，以及潜变量的完整后验分布，在分析的方式，而不诉诸于抽样方法。与拉普拉斯近似不同，这些后验通常是非高斯的，并且不需要计算Hessian。该算法推广了标准的期望最大化算法，并保证了其收敛性。我证明，该算法可以应用于一个大类的模型在几个领域，包括无监督聚类和盲声源分离。
2013-01-23 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
没有任何结构假设的基于能量的隐变量模型（EBLVMs）的学习和评估具有很大的挑战性，因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计，分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散，并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下，VaES和VaGES可以应用于基于核化Stein差异（KSD）和分数匹配（SM）的方法来学习EBLVM。此外，VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with Short-run Langevin Flow for Approximate Inference
研究了自顶向下生成器模型潜空间中的归一化流，其中归一化流模型充当生成器的先验信息模型。我们建议联合学习的潜在空间规范化流先验模型和自上而下的发电机模型的马尔可夫链蒙特卡罗（MCMC）为基础的极大似然算法，其中一个短期的朗之万采样从棘手的后验分布进行推断的潜变量为每个观察到的例子，使规范化流先验和发电机的参数可以更新与推断的潜变量。我们表明，在非收敛的短期MCMC的情况下，有限步Langevin动力学是一个流的近似推理模型和学习目标实际上遵循的极大似然估计（MLE）的扰动。我们进一步指出，学习框架旨在（i）匹配潜在空间归一化流和短期Langevin流产生的聚合后验，以及（ii）使模型偏离MLE，使得短期Langevin流推断接近真实后验。大量的实验结果验证了所提出的潜在空间归一化流模型在图像生成、图像重建、异常检测、有监督图像修复和无监督图像恢复等任务中的有效性。
2023-01-23 cs.LG stat.ML
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）
贝叶斯神经网络（BNN）长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布，但大多数BNN方法要么限于小型网络，要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出，例如深度集成，其训练和测试成本随着网络数量的增加而线性增加。在这项工作中，我们的目标是高效的深度BNN，适用于复杂的计算机视觉架构，例如ResNet 50 DeepLabV 3+，以及任务，例如语义分割，对参数的假设较少。我们通过利用变分自编码器（VAE）来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法，潜在后验BNN（LP-BNN），与最近的BatchEncriminal方法兼容，导致高效（在训练和测试期间的计算和内存方面）集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中，在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI，一种基于扩散模型的黑盒变分推断算法，通过迭代优化潜在空间后验，提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Causal Posterior Estimation
Swiss Data Science Center, ETH Zurich, Switzerland（瑞士数据科学中心，苏黎世联邦理工学院，瑞士）
提出因果后验估计（CPE）方法，通过将图模型的条件依赖结构纳入归一化流神经网络，实现模拟器模型的高精度贝叶斯后验推断，性能优于或匹配现有最先进方法。
2026-10-08 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Posterior Regimes and Latent Deception: Variational Bayesian Inference in Hidden Markov Models for Sequential Fraud Detection in Financial Transactions
University of Stirling（斯特灵大学）；University of Nottingham（诺丁汉大学）
本文提出三层隐马尔可夫模型（最大似然、变分贝叶斯、神经变分）用于金融交易序列欺诈检测，通过潜在状态识别欺诈，并指出后验概率常被误用，提出校准的分诊层而非直接替代排序模型。
2026-09-29 cs.LG stat.ML
GFlowNet-EM for learning compositional latent variable models
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）；Stony Brook University（石溪大学）
本文提出 GFlowNet-EM，用 GFlowNet 近似 EM 中难以处理的离散组合潜变量后验，从而训练高表达能力 LVM，并在语法归纳和离散 VAE 图像实验中验证有效性。
2023-06-03 cs.LG stat.ML
Langevin Autoencoders for Learning Deep Latent Variable Models
The University of Tokyo（东京大学）
马尔可夫链蒙特卡罗（MCMC），如朗之万动力学，是有效的近似棘手的分布。然而，它的使用是有限的背景下，深潜变量模型由于昂贵的数据点采样迭代和缓慢的收敛。本文提出了摊销朗之万动力学（ALD），其中数据逐点MCMC迭代完全替换为更新的编码器，将观测映射到潜在变量。这种摊销实现了有效的后验采样，而无需逐数据点迭代。尽管它的效率，我们证明了ALD是有效的MCMC算法，其马尔可夫链的目标后验作为一个平稳分布在温和的假设。基于ALD，我们还提出了一个新的深层潜变量模型命名为Langevin自动编码器（LAE）。有趣的是，LAE可以通过稍微修改传统的自动编码器来实现。使用多个合成数据集，我们首先验证ALD可以正确地从目标后验子中获取样本。我们还评估了LAE的图像生成任务，并表明我们的LAE可以优于现有的方法的基础上变分推理，如变分自编码器，和其他MCMC为基础的方法在测试的可能性。
2022-10-11 cs.LG stat.ML
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校）；Department of Statistics University of British Columbia（统计学系 不列颠哥伦比亚大学）
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法（ILA）在潜在高斯模型（LGMs）中引入的误差，通过增加重要性采样的样本数使近似后验收敛到正确后验，并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法，特别是哈密顿蒙特卡洛方法。
2026-05-19 cs.LG stat.ML
Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts
Technical University of Munich（慕尼黑工业大学）
任意和认知不确定性的准确估计对于建立安全可靠的系统至关重要。传统的方法，如dropout和ensemble方法，通过从不同的子模型中采样概率预测来估计不确定性，这导致在推理时缓慢的不确定性估计。最近的工作解决了这个缺点，直接预测参数的先验分布的概率预测与神经网络。虽然这种方法已经证明了准确的不确定性估计，但它需要为分布内数据定义任意目标参数，并做出不切实际的假设，即分布外（OOD）数据在训练时已知。在这项工作中，我们提出了后验网络（PostNet），它使用归一化流来预测任何输入样本的预测概率上的个体封闭形式后验分布。PostNet学习的后验分布准确地反映了分布内和分布外数据的不确定性，而无需在训练时访问OOD数据。PostNet在OOD检测和数据集偏移下的不确定性校准方面取得了最先进的成果。
2020-10-22 cs.LG stat.ML
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Closing the Approximation Gap in Simulation-free Latent SDEs
Stanford University（斯坦福大学）
针对现有无模拟变分推断算法因参数化限制导致后验推断和参数学习性能下降的问题，提出Helmholtz-SDE算法，通过优化与指定边际分布兼容的路径律来弥合近似差距，在保持高效的同时恢复更准确的动力学。
2026-11-10 cs.LG stat.ML
Contrastive estimation reveals topic posterior information to linear models
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
对比学习是一种表示学习的方法，它利用自然发生的相似和不相似的数据点对来找到有用的数据嵌入。在主题建模假设下的文档分类的上下文中，我们证明了对比学习能够恢复表示的文件，揭示其潜在的主题后验信息的线性模型。我们应用这个过程中的半监督设置和经验表明，线性分类器与这些表示在文档分类任务中表现良好，只有很少的训练样本。
2020-03-04 cs.LG stat.ML
WiSE-ALE: Wide Sample Estimator for Approximate Latent Embedding
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；ABB Corporate Research（ABB企业研究院）
变分自动编码器（VAE）作为用于形成复杂的、通常是高维的数据的压缩潜在表示的方法已经非常成功。在本文中，我们推导出一个替代的变分下界从一个共同的VAE，其目的是最大限度地减少总信息损失。使用我们的下限作为自动编码器的目标函数，使我们能够在批量统计上放置先验，对应于整个数据集的聚合后验，而不是原始VAE中的单个样本后验。这种先验约束的替代形式允许个体后验更灵活地保留必要的信息以获得良好的重建质量。我们进一步推导出一个解析近似我们的下限，导致一个有效的学习算法- WiSE-ALE。通过各种示例，我们证明了WiSE-ALE与其他最先进的VAE模型相比可以达到出色的重建质量，同时仍然保留了学习平滑，紧凑表示的能力。
2019-03-18 cs.LG stat.ML
Conservative neural posterior estimation via distributionally robust training
Department of Statistical Science, University College London, UK（伦敦大学学院统计系）；Department of Computer Science, Aalto University, Finland（奥卢大学计算机科学系）
提出DRO-NPE方法，通过Wasserstein模糊集上的最坏情况损失替代标准NPE目标，控制过拟合并减少后验过度自信，从而提高低模拟预算下的覆盖率和校准性能。
2026-11-05 cs.LG stat.ML
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
在这项工作中，我们训练条件Wasserstein生成对抗网络，以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建，使用条件实例规范化注入潜在信息。前者便于多尺度逆映射，而后者使潜在空间维度与测量维度解耦，并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题，以证明我们的方法在量化推断领域的不确定性的性能。此外，我们还证明了生成器可以学习本质上是局部的逆映射，这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
Accelerating Posterior Inference from Pulsar Light Curves via Learned Latent Representations and Local Simulator-Guided Optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Florida State University（佛罗里达州立大学）；New Mexico State University（新墨西哥州立大学）；NASA Goddard Space Flight Center（美国宇航局戈达德太空飞行中心）
本研究通过学习的潜在表示和局部模拟器引导优化，显著提升了脉冲星光变曲线后验推断的效率，将推断时间缩短至传统方法的1/20。
2026-02-16 astro-ph.HE stat.ML
On Focal Loss for Class-Posterior Probability Estimation: A Theoretical Perspective
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；IBM Research（IBM研究院）；Tokyo Institute of Technology（东京工业大学）；RWBC-OIL, AIST（产业技术综合研究所RWBC-OIL）
聚焦损失在目标检测和图像分类等实际应用中已经证明了它的有效性，但迄今为止对其理论的理解还很有限。在本文中，我们首先证明了焦点损失是分类校准的，即，它的最小值肯定会产生贝叶斯最优分类器，因此在分类中使用焦点损失在理论上是合理的。然而，我们也证明了一个否定的事实，即焦点损失不是严格适当的，即，通过焦点损失最小化获得的分类器的置信度得分与真实的类后验概率不匹配，因此它作为类后验概率估计器是不可靠的。为了缓解这个问题，我们接下来证明，一个特定的封闭形式的转换的置信度得分允许我们恢复真正的类后验概率。通过在基准数据集上的实验，我们证明了我们提出的变换显着提高了类后验概率估计的准确性。
2020-12-14 cs.LG stat.ML
Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam（阿姆斯特丹大学）
变分自动编码器（VAE）是可扩展的和强大的生成模型。然而，变分后验的选择决定了VAE的易处理性和灵活性。通常，潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率，但通常它不够灵活，无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流，即，一系列可逆的变换到一个简单的后验的潜在变量。在本文中，我们遵循这一思路，并提出了一个体积保持流，使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明，与其他归一化流相比，所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
Aggregated Posterior Predictive Checks for Generative Modeling
Rutgers University（罗格斯大学）
针对潜变量生成模型中先验与聚合后验不匹配的问题，提出聚合后验预测检验（APPC）方法，理论上证明其渐近校准性，实验表明聚合后验采样能改善生成质量。
2026-09-21 cs.LG math.ST stat.ME
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara（加州大学圣巴巴拉分校）
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解，即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为，这将导致一个典型的训练问题，称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器（VAE）来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模，因此它有助于维护VAE中丢失的依赖关系。实证结果表明，通过使用神经参数copula显式地对潜变量的相关性进行建模，我们可以避免这种训练困难，同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Query Efficient Posterior Estimation in Scientific Experiments via Bayesian Active Learning
在应用统计学研究的学科如天体统计学中，一个常见的问题是估计相关参数的后验分布。通常情况下，这种模型的可能性是通过昂贵的实验来计算的，比如宇宙的宇宙学模拟。在这些研究领域的一个紧迫的挑战是开发的方法，可以估计后几个可能性评估。在本文中，我们研究了在贝叶斯设置的可能性是昂贵的评估时，主动后验估计。用于后验估计的现有技术基于生成代表后验的样本。这种方法不考虑可能性评估方面的效率。为了提高查询效率，我们在主动回归框架中处理后验估计。我们提出了两个近视查询策略来选择在哪里评估的可能性，并使用高斯过程实现它们。通过一系列的合成和真实的例子上的实验，我们证明了我们的方法是显着更查询效率比现有的技术和后验估计的其他算法。
2017-02-03 stat.ML
Learning Dynamics in Linear VAE: Posterior Collapse Threshold, Superfluous Latent Space Pitfalls, and Speedup with KL Annealing
University of Tokyo（东京大学）；Fujitsu Limited（富士通株式会社）
本研究理论分析了线性 VAE 的学习动力学，证明了后验崩溃存在 $β$ 阈值，揭示了冗余潜在变量会导致背景噪声过拟合，并发现适当调优的 KL 退火可加速收敛。
2023-10-24 cond-mat.dis-nn cs.LG math.ST
Sparse Infinite Random Feature Latent Variable Modeling
University of Hong Kong（香港大学）
我们提出了一个非线性，贝叶斯非参数潜变量模型，其中的潜空间被假定为稀疏和无限维先验使用印度抖振过程先验。后验，潜在空间中的实例化维度的数量保证是有限的。将印度自助过程置于潜变量上的目的是：1.）自动并按概率选择潜在维度的数量。2.）的情况。在潜在空间中施加稀疏性，印度自助餐过程将选择哪些元素正好为零。我们提出的模型允许稀疏的，非线性的潜在变量建模，其中自动选择潜在维度的数量。使用随机傅立叶近似使推理变得易于处理，并且我们可以通过马尔可夫链蒙特卡罗采样容易地实现后验推理。这种方法适用于高斯设置之外的许多观测模型。我们证明了我们的方法在各种合成，生物和文本数据集上的实用性，并表明与以前的潜变量模型相比，我们可以获得优越的测试集性能。
2022-05-27 cs.AI cs.LG stat.ML
Randomized Value Functions via Posterior State-Abstraction Sampling
Stanford University（斯坦福大学）
状态抽象已经成为显著提高并行学习算法的样本效率的重要工具。事实上，通过暴露和强调环境中各种类型的潜在结构，不同类别的状态抽象已经能够改进理论保证和经验性能。然而，当处理在价值函数中捕获结构的状态抽象时，标准假设是真实的抽象已经被先验地提供或不切实际地计算，留下了如何有效地揭示这种潜在结构同时共同寻求最佳行为的问题。从强盗文学的灵感，我们提出，代理寻找潜在的任务结构必须明确表示和维护其不确定性的结构作为其整体的不确定性的一部分，对环境。我们介绍了一个实用的算法，这样做，使用两个后验分布的状态抽象和抽象状态值。在经验验证我们的方法，我们发现，大量的性能增益在于多任务设置任务共享一个共同的，低维的表示。
2021-06-17 cs.AI cs.LG stat.ML
Faster MCMC for Gaussian Latent Position Network Models
潜在位置网络模型是网络科学中的通用工具;应用包括聚类实体，控制因果混杂因素，以及在未观察到的图上定义先验。估计每个节点的潜在位置通常被框定为贝叶斯推断问题，Gibbs内的Metropolis是用于近似后验分布的最流行的工具。然而，众所周知，吉布斯的大都市对于大型网络是低效的;接受率的计算成本很高，并且由此产生的后验绘制高度相关。在这篇文章中，我们提出了一种替代的马尔可夫链蒙特卡罗策略-使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义-利用后验分布的函数形式更有效的后验计算。我们证明，这些策略优于大都会内吉布斯和其他算法的合成网络，以及在一个学区的教师和工作人员的真实信息共享网络。
2021-11-03 stat.CO stat.ME stat.ML
Avoiding Latent Variable Collapse With Generative Skip Models
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
变分自动编码器学习高维数据的分布。他们用深层潜变量模型对数据进行建模，然后通过最大化对数边际似然的下限来拟合模型。VAE可以捕获复杂的分布，但它们也可能遭受称为“潜在变量崩溃”的问题，特别是如果可能性模型很强大。具体来说，下界涉及潜在变量的近似后验;当它被设置为等于先验时，这个后验“崩溃”，即，当近似后验独立于数据时。虽然VAE学习良好的生成模型，但潜在变量崩溃阻止它们学习有用的表示。在本文中，我们提出了一种简单的新方法，以避免潜在变量崩溃，包括跳过连接在我们的生成模型，这些连接之间的强联系的潜在变量和似然函数。我们从理论和实证两个方面研究了生成跳跃模型。理论上，我们证明了跳跃模型增加了观测值和推断的潜变量之间的互信息。从经验上讲，我们研究图像（MNIST和Omniglot）和文本（Yahoo）。与现有的VAE架构相比，我们表明生成跳过模型保持类似的预测性能，但导致更少的崩溃，并提供更有意义的数据表示。
2019-01-30 cs.CL cs.LG stat.ML
