Using Autodiff to Estimate Posterior Moments, Marginals and Samples
本文提出利用物理学中的源项技巧，通过对修改后的边际似然估计器进行自动微分，避免手写向后遍历，从而高效计算大规模并行重要性采样中的后验期望、边缘分布和样本。
2024-06-18 math.ST stat.CO stat.TH
Posterior Collapse of a Linear Latent Variable Model
HKUST（香港科技大学）；The University of Tokyo（东京大学）
这项工作确定了在贝叶斯深度学习实践中经常发生的一种后验崩溃的存在和原因。对于一般的线性潜变量模型，包括线性变分自编码器作为一种特殊情况下，我们精确地识别后验崩溃的性质是由于前的均值的似然和正则化之间的竞争。我们的研究结果表明，后部塌陷可能与神经塌陷和维度塌陷有关，可能是更深层次结构学习的一般问题的一个子类。
2022-10-13 cs.LG stat.ML
Latent Annealed Posterior Sampling with a Variance-Preserving Bridge for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
针对稀疏观测随机场后验推断的两大挑战，本文提出带方差保持桥的潜在退火后验采样（LAPS）方法，实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-10-16 cs.LG stat.ML
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中，我们考虑马尔可夫链蒙特卡罗（MCMC）算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是，我们构造的两块吉布斯采样器使用的数据增强（DA）技术。此外，我们证明了Gibbs抽样的几何遍历性，这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时，我们也提供了后适当的条件。一般而言，用于DA的Haar参数展开（PX- DA）算法是DA算法的改进，并且已经表明，它在理论上至少与DA算法一样好。在这里，我们构建了一个Haar PX DA算法，它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Mind the Gap when Conditioning Amortised Inference in Sequential Latent-Variable Models
Volkswagen Group（大众集团）
摊销推理使具有证据下限（ELBO）的序列潜变量模型（LVMs）的可扩展学习成为可能。在这种情况下，变分后验往往只是部分条件。而真正的后验依赖于，例如，在整个观测序列上，近似后验仅由过去的观测提供信息。这模仿了贝叶斯滤波器--一种平滑后验的混合。然而，我们表明，ELBO的目标部队部分条件摊销后验近似产品的平滑后验。因此，学习的生成模型受到损害。我们在三个场景中展示了这些理论研究结果：交通流量，手写数字和飞行器动态。使用完全条件近似后验，性能提高方面的生成建模和多步预测。
2021-03-17 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Joint Posterior Inference for Latent Gaussian Models with R-INLA
有效的贝叶斯推断仍然是分层模型中的计算挑战。基于模拟的方法，如马尔可夫链蒙特卡罗方法仍然很流行，但有很大的计算成本。在处理大类潜在高斯模型时，R-INLA软件中嵌入的INLA方法通过计算确定性混合表示来近似联合后验（从中计算边际），从而提供准确的贝叶斯推断。INLA方法从一开始就以近似单变量后验为目标。在本文中，我们奠定了开发基础的工具，也提供联合近似的子集的潜在领域。这些近似继承了高斯copula结构，并提供了偏度校正。同样的想法也被带到了混合表示的采样中，我们现在可以调整偏度。
2021-12-06 stat.CO
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程（HDP）及其后续变体，它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型（LDA）的更灵活的扩展，并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型，其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程（HIBP），它利用了一个层次的贝塔过程在J组，其中每个组生成二进制随机矩阵，反映组内共享的功能，根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本，我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘，后验和预测分布的HIBP和它的概括，允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性，并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出首个利用预训练潜在扩散模型求解线性逆问题的框架，通过理论分析证明了线性模型设置下的样本恢复，并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Accelerating Posterior Inference from Pulsar Light Curves via Learned Latent Representations and Local Simulator-Guided Optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Florida State University（佛罗里达州立大学）；New Mexico State University（新墨西哥州立大学）；NASA Goddard Space Flight Center（美国宇航局戈达德太空飞行中心）
本研究通过学习的潜在表示和局部模拟器引导优化，显著提升了脉冲星光变曲线后验推断的效率，将推断时间缩短至传统方法的1/20。
2026-02-16 astro-ph.HE stat.ML
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay（巴黎-萨克雷大学博雷利中心）；Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文研究了基于图的贝叶斯潜在空间模型的规格问题，提出了一种广义后验框架，通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性，提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
A Latent Class Modeling Approach for Generating Synthetic Data and Making Posterior Inferences from Differentially Private Counts
存在用于从列联表创建差异私有计数的几种算法，例如双向或三向边际计数。所得到的噪声计数通常不对应于相干列联表，使得如果想要所释放的计数对应于相干列联表，则需要一些后处理步骤。我们提出了一种潜在的类建模方法，用于后处理差异私人边际计数，可用于（i）创建差异私人合成数据的边缘计数的集合，以及（ii）使后验推断的机密计数。我们使用2016年美国社区调查公共使用微数据集和2004年国家长期护理调查的子集来说明这种方法。
2022-01-25 stat.ME
Statistical analysis of block structured latent variable models
Department of Statistics, University of Michigan（密歇根大学统计系）
本文针对各领域广泛应用但统计特性未被充分研究的块结构隐变量模型，推导其可识别性条件，提出拉格朗日型优化公式，建立估计量的误差界与渐近分布，经模拟和实证分析验证了理论结果。
2026-08-12 math.ST stat.ME stat.TH
Fast and Consistent Algorithm for the Latent Block Model
潜在块模型用于同时对矩阵的行和列进行排序以揭示块结构。用于估计的算法通常是耗时的。然而，最近的工作表明，对数似然比是等效的完全和观察（未知标签）模型和组后验分布收敛的数据的大小增加到狄拉克质量位于实际组配置。基于这些观察，算法$Largest$ $Gaps$本文提出的执行聚类仅使用边缘的矩阵，当块的数量是非常小的相对于整个矩阵的大小的情况下，二进制数据。此外，模型选择方法与其一致性的证明。因此，本文表明，研究简单的配置（几块相比，矩阵的大小或非常对比块）与复杂的算法是无用的，因为边际已经给了很好的参数和分类估计。
2023-03-09 math.ST stat.CO stat.TH
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文将约束黑盒优化转化为后验推断问题，在生成模型的潜在空间中进行推断，通过训练流模型和扩散模型提升候选点搜索效率，实验证明在合成和现实任务中性能优越。
2026-05-07 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）
贝叶斯神经网络（BNN）长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布，但大多数BNN方法要么限于小型网络，要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出，例如深度集成，其训练和测试成本随着网络数量的增加而线性增加。在这项工作中，我们的目标是高效的深度BNN，适用于复杂的计算机视觉架构，例如ResNet 50 DeepLabV 3+，以及任务，例如语义分割，对参数的假设较少。我们通过利用变分自编码器（VAE）来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法，潜在后验BNN（LP-BNN），与最近的BatchEncriminal方法兼容，导致高效（在训练和测试期间的计算和内存方面）集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中，在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型，称为扩展的潜在高斯模型，允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型，包括多分辨率空间过程，部分基于似然的生存模型，和多变量测量误差模型。由于精确的后验分布的计算是不可行的，我们开发了一个快速的，可扩展的近似贝叶斯推断方法，这一类的基础上嵌套高斯，拉普拉斯，自适应正交近似。我们证明了在标准条件下，这些近似后验的误差是op（1），并提供了数值证据表明，我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快，可扩展到更大的数据集，具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据，映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型，并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Latent Time Neural Ordinary Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
神经常微分方程（NODE）已被提出作为流行的深度学习模型（如残差网络（ResNets））的连续深度推广。它们提供了参数效率，并在一定程度上自动化了深度学习模型中的模型选择过程。然而，它们缺乏急需的不确定性建模和鲁棒性能力，这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法，潜伏时间节点（LT-NODE），把$T$作为一个潜在的变量，并应用贝叶斯学习获得后验分布超过$T$的数据。特别地，我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的，并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度，因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点（ALT-NODE），它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性，通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Variational Inference for Latent Variable Models in High Dimensions
本文提出量化平均场变分推断统计精度的通用框架，刻画其在潜在狄利克雷分配模型中的有效区间，并针对混合成员随机块模型提出更优的部分分组VI算法，给出有限样本性能界。
2025-07-16 math.PR math.ST stat.ML
Posterior predictive checks to quantify lack-of-fit in admixture models of latent population structure
混合模型是一种普遍存在的方法来捕捉潜在的群体结构的遗传样本。尽管混合物模型的广泛应用，很少有人想到一直致力于模型拟合的质量或特定研究的感兴趣的参数估计的准确性。在这里，我们开发的方法验证混合模型的基础上后验预测检查（PPC），贝叶斯方法评估质量的统计模型。我们开发PPC为五个群体水平的统计数据的利益：群体内的遗传变异，背景连锁不平衡，祖先群体的数量，群体间的遗传变异，和下游使用的混合参数，以纠正人口结构的关联研究。使用PPC，我们评估的质量模型估计的四个不同的人口遗传数据集：POPRES欧洲个人，HapMap第3阶段的个人，大陆印第安人，和非洲裔美国人的个人。我们发现，当使用PPC进行评估时，适用于不同基因组研究的相同模型会产生高度研究特异性的结果，说明PPC在大型基因组研究中用于基于模型的分析的实用性。
2014-06-30 q-bio.GN q-bio.PE stat.AP
Preventing Posterior Collapse with delta-VAEs
Deepmind（深度思维）；Google Brain（谷歌大脑）
由于“后验崩溃”现象，当前的潜变量生成模型提出了一个具有挑战性的设计选择，要么削弱解码器的能力，要么需要增强目标，因此它不仅最大化数据的可能性。在本文中，我们提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下限，同时确保潜变量保留和编码有用的信息。我们提出的$δ$ -VAE通过约束后验变分族到先验的最小距离来实现这一点。对于序列潜变量模型，我们的方法类似于经典的表示学习方法的缓慢特征分析。我们证明了我们的方法在LM 1B上建模文本和建模图像的有效性：学习表示，提高样本质量，并在CIFAR-10和ImageNet $32\times 32$上实现最先进的对数似然。
2019-01-10 cs.LG stat.ML
High-Dimensional Simulation-Based Inference in Latent Spaces
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出将模拟推断与潜在生成建模结合，在低维潜在空间中进行后验推断并映射回原参数空间，在匹配计算下达到同等精度且采样快一个数量级以上。
2026-09-30 cs.LG stat.ML
Block clustering with collapsed latent block models
我们介绍了贝叶斯扩展的潜在块模型的数据矩阵的基于模型的块聚类。我们的方法考虑了块模型，其中块参数可以被整合出来。结果是一个后验定义的数量的集群在行和列和集群成员。行和列聚类的数量不需要预先知道，因为这些是使用马尔可夫链蒙特卡罗与聚类成员一起采样的。这不同于现有的工作，潜在的块模型，其中的集群的数量是假设已知的或使用一些信息标准选择。我们分析了模拟和真实数据，以验证该技术。
2010-11-12 stat.CO
Anchored Variational Inference for Personalized Sequential Latent-State Models
University of Connecticut（康涅狄格大学）
本文提出一种基于锚点的变分推断方法，用于高效估计具有个体特定随机效应的序列潜在变量模型。通过将局部潜在过程的全条件后验替换为在代表值处的评估，显著降低了计算成本，同时保持局部推断的可处理性。
2026-04-25 stat.CO stat.ME stat.ML
Black-Box Inference for Non-Linear Latent Force Models
The University of Sheffield（谢菲尔德大学）；Newcastle University（纽卡斯尔大学）
潜力模型是这样的系统，其中存在描述系统状态的动态的机械模型，具有用高斯过程近似的一些未知的强迫项。如果这种动态是非线性的，则可能难以联合估计后验状态和强迫项，特别是当存在也需要估计的系统参数时。本文采用黑盒变分推断联合估计后验，设计了一个多变量扩展到本地逆自回归流作为一个灵活的近似系统。我们比较估计系统的后验是已知的，证明了近似的有效性，并适用于非线性动态，多输出系统和模型与非高斯似然问题。
2019-11-04 cs.LG stat.ML
Online Distributional Prediction via Latent Cluster Geometry Under Drift and Corruption
Indian Institute of Technology, Bombay（印度理工学院，孟买）
针对非平稳流中的在线分布预测问题，提出一种基于潜在簇几何的吉布斯准后验方法，通过可逆跳跃MCMC采样变维后验，并引入重启变体应对漂移，在亚线性腐败预算和运输代价下实现亚线性Wasserstein遗憾。
2026-10-26 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Semi-Amortized Bayesian Inference with Reusable Local Posteriors
University of Amsterdam（阿姆斯特丹大学）；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出半摊销贝叶斯推理方法，将参数分块并训练神经估计器近似各块条件后验，通过马尔可夫链交替抽样与常规更新，在高维复杂模型中实现高效贝叶斯估计。
2026-10-15 cs.LG stat.ML
Inferring Parameters and Structure of Latent Variable Models by Variational Bayes
Gatsby Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）
当前用于学习具有潜在变量和固定结构的图形模型的方法估计模型参数的最优值。然而，这种方法通常会产生过拟合和次优泛化性能，进行贝叶斯程序计算的完整后验分布的参数仍然是一个困难的问题。此外，学习具有潜在变量的模型的结构，贝叶斯方法是至关重要的，是一个更困难的问题。在本文中，我提出了变分贝叶斯框架，它提供了一个解决这些问题。这种方法近似模型参数和结构，以及潜变量的完整后验分布，在分析的方式，而不诉诸于抽样方法。与拉普拉斯近似不同，这些后验通常是非高斯的，并且不需要计算Hessian。该算法推广了标准的期望最大化算法，并保证了其收敛性。我证明，该算法可以应用于一个大类的模型在几个领域，包括无监督聚类和盲声源分离。
2013-01-23 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
没有任何结构假设的基于能量的隐变量模型（EBLVMs）的学习和评估具有很大的挑战性，因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计，分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散，并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下，VaES和VaGES可以应用于基于核化Stein差异（KSD）和分数匹配（SM）的方法来学习EBLVM。此外，VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Sampling hyperparameters in hierarchical models: improving on Gibbs for high-dimensional latent fields and large data sets
我们考虑在非常常见的贝叶斯分层模型中的后验抽样，在该模型中，观察到的数据取决于高维潜变量，而高维潜变量又取决于相对较少的超参数。当隐变量上的完全条件具有已知形式时，超参数上的边缘后验分布是可访问的，并且可以在低维参数空间上使用马尔可夫链蒙特卡罗（MCMC）方法进行采样。这可以提高标准吉布斯抽样的计算效率，因为计算不在潜在变量的高维空间上，并且超参数和潜在变量之间的相关性变得无关紧要。当超参数上的边际后验依赖于一个固定维的充分统计量时，预先计算该充分统计量使得低维MCMC的代价与数据大小无关.然后，当超参数是感兴趣的主要变量时，可以以适度的成本在大数据设置中执行推断。此外，由于潜变量的完全条件的形式不依赖于超先验分布的形式，因此该方法不对超先验施加限制，这与通常需要共轭分布的吉布斯抽样不同。我们证明了这些效率的提高在四个计算的例子。
2016-10-21 stat.CO
Beyond Local Independence: High-Dimensional Latent Class Graphical Models with Shared Block Structure
Department of Statistics, Columbia University（哥伦比亚大学统计学系）
针对高维序数响应数据，提出一种具有块结构局部依赖的高维潜在类别图模型，通过三步估计器同时恢复潜在类别、共享块划分和类内稀疏精度矩阵，并建立端到端一致性理论。
2026-06-28 stat.ME
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Asymptotic Accuracy of Bayes Estimation for Latent Variables with Redundancy
由可观测变量和潜变量组成的分层参数模型被广泛用于无监督学习任务。例如，混合模型是用于聚类的代表性分层模型。从统计的角度来看，由于数据的分布，模型可以是规则的或奇异的。在常规情况下，模型具有可辨识性，模型表达式的概率密度函数与参数之间存在一一对应的关系。费舍尔信息矩阵是正定的，并研究了可观测变量和潜变量的估计精度。另一方面，在奇异情况下，模型是不可识别的，Fisher矩阵不是正定的。基于逆Fisher矩阵的传统统计分析不适用。最近，一个代数几何分析已被开发出来，并用于阐明可观测变量的贝叶斯估计。本文将这种分析应用于潜变量估计，并确定其理论性能。我们的结果阐明了后验分布的收敛性。研究发现，可观测变量估计的后验和潜变量估计的后验可以不同。基于参数和潜变量的马尔可夫链蒙特卡罗方法由于两者的差异，无法构造出期望的后验分布。
2014-01-23 stat.ML
Posterior Regimes and Latent Deception: Variational Bayesian Inference in Hidden Markov Models for Sequential Fraud Detection in Financial Transactions
University of Stirling（斯特灵大学）；University of Nottingham（诺丁汉大学）
本文提出三层隐马尔可夫模型（最大似然、变分贝叶斯、神经变分）用于金融交易序列欺诈检测，通过潜在状态识别欺诈，并指出后验概率常被误用，提出校准的分诊层而非直接替代排序模型。
2026-09-29 cs.LG stat.ML
GFlowNet-EM for learning compositional latent variable models
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）；Stony Brook University（石溪大学）
本文提出 GFlowNet-EM，用 GFlowNet 近似 EM 中难以处理的离散组合潜变量后验，从而训练高表达能力 LVM，并在语法归纳和离散 VAE 图像实验中验证有效性。
2023-06-03 cs.LG stat.ML
Langevin Autoencoders for Learning Deep Latent Variable Models
The University of Tokyo（东京大学）
马尔可夫链蒙特卡罗（MCMC），如朗之万动力学，是有效的近似棘手的分布。然而，它的使用是有限的背景下，深潜变量模型由于昂贵的数据点采样迭代和缓慢的收敛。本文提出了摊销朗之万动力学（ALD），其中数据逐点MCMC迭代完全替换为更新的编码器，将观测映射到潜在变量。这种摊销实现了有效的后验采样，而无需逐数据点迭代。尽管它的效率，我们证明了ALD是有效的MCMC算法，其马尔可夫链的目标后验作为一个平稳分布在温和的假设。基于ALD，我们还提出了一个新的深层潜变量模型命名为Langevin自动编码器（LAE）。有趣的是，LAE可以通过稍微修改传统的自动编码器来实现。使用多个合成数据集，我们首先验证ALD可以正确地从目标后验子中获取样本。我们还评估了LAE的图像生成任务，并表明我们的LAE可以优于现有的方法的基础上变分推理，如变分自编码器，和其他MCMC为基础的方法在测试的可能性。
2022-10-11 cs.LG stat.ML
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校）；Department of Statistics University of British Columbia（统计学系 不列颠哥伦比亚大学）
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法（ILA）在潜在高斯模型（LGMs）中引入的误差，通过增加重要性采样的样本数使近似后验收敛到正确后验，并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法，特别是哈密顿蒙特卡洛方法。
2026-11-13 cs.LG stat.ML
Blocking Collapsed Gibbs Sampler for Latent Dirichlet Allocation Models
隐狄利克雷分配（LDA）模型是机器学习中广泛使用的文本分析隐变量模型。该模型的推断通常涉及与观测相关联的潜变量的单站点塌陷吉布斯抽样步骤。采样的效率对于模型在实际大规模应用中的成功至关重要。在这篇文章中，我们介绍了一个阻塞计划的崩溃吉布斯采样器的LDA模型，可以在理论上保证，提高链混合效率。我们开发了两个程序，一个O（K）步向后模拟和O（log K）步嵌套模拟，直接采样每个块内的潜变量。我们证明，阻塞计划实现了显着改善链混合相比，最先进的单网站崩溃吉布斯采样器。我们还表明，当主题的数量超过数百个，嵌套模拟阻塞计划可以实现显着减少计算时间相比，单站点采样器。
2016-08-02 stat.CO stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Sparse Infinite Random Feature Latent Variable Modeling
University of Hong Kong（香港大学）
我们提出了一个非线性，贝叶斯非参数潜变量模型，其中的潜空间被假定为稀疏和无限维先验使用印度抖振过程先验。后验，潜在空间中的实例化维度的数量保证是有限的。将印度自助过程置于潜变量上的目的是：1.）自动并按概率选择潜在维度的数量。2.）的情况。在潜在空间中施加稀疏性，印度自助餐过程将选择哪些元素正好为零。我们提出的模型允许稀疏的，非线性的潜在变量建模，其中自动选择潜在维度的数量。使用随机傅立叶近似使推理变得易于处理，并且我们可以通过马尔可夫链蒙特卡罗采样容易地实现后验推理。这种方法适用于高斯设置之外的许多观测模型。我们证明了我们的方法在各种合成，生物和文本数据集上的实用性，并表明与以前的潜变量模型相比，我们可以获得优越的测试集性能。
2022-05-27 cs.AI cs.LG stat.ML
Randomized Value Functions via Posterior State-Abstraction Sampling
Stanford University（斯坦福大学）
状态抽象已经成为显著提高并行学习算法的样本效率的重要工具。事实上，通过暴露和强调环境中各种类型的潜在结构，不同类别的状态抽象已经能够改进理论保证和经验性能。然而，当处理在价值函数中捕获结构的状态抽象时，标准假设是真实的抽象已经被先验地提供或不切实际地计算，留下了如何有效地揭示这种潜在结构同时共同寻求最佳行为的问题。从强盗文学的灵感，我们提出，代理寻找潜在的任务结构必须明确表示和维护其不确定性的结构作为其整体的不确定性的一部分，对环境。我们介绍了一个实用的算法，这样做，使用两个后验分布的状态抽象和抽象状态值。在经验验证我们的方法，我们发现，大量的性能增益在于多任务设置任务共享一个共同的，低维的表示。
2021-06-17 cs.AI cs.LG stat.ML
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据，复杂的统计模型是必要的，需要计算上可行的推理方案。我们介绍最大和平滑，一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型（LGM），其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步（Max）中，似然函数由高斯密度近似，其均值和协方差分别等于（a）最大似然估计和逆观测信息，或（b）归一化似然函数的均值和协方差。在第二步（平滑）中，推断潜参数和超参数，并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的，所以LGM的潜在参数的近似后验密度（以超参数为条件）也是高斯的，从而有助于在高维中进行有效的后验推断。此外，超参数的近似边缘后验分布是易处理的，因此，超参数可以独立于潜在参数进行采样。在大量的独立数据复制，稀疏精度矩阵和高维潜在向量的情况下，与从精确的似然函数推断后验密度的MCMC方案相比，加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间，时间和时空推理问题。我们的结果表明，最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection
University of Florida（佛罗里达大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出基于距离到集合的贝叶斯模型，替代传统潜在变量模型中的偏差，通过投影减少参数维度，提升后验计算效率，并展示其在多环境研究和贝叶斯迁移学习中的应用效果。
2026-04-11 stat.ME
Closing the Approximation Gap in Simulation-free Latent SDEs
Stanford University（斯坦福大学）
针对现有无模拟变分推断算法因参数化限制导致后验推断和参数学习性能下降的问题，提出Helmholtz-SDE算法，通过优化与指定边际分布兼容的路径律来弥合近似差距，在保持高效的同时恢复更准确的动力学。
2026-11-10 cs.LG stat.ML
