Computational methods for fast Bayesian model assessment via calibrated posterior p-values
针对校准后验预测p值（cppps）计算成本高的问题，提出高效近似方法，通过短MCMC链优化计算权衡、设计方差估计量，在NIMBLE框架实现快速贝叶斯模型评估。
2024-01-30 stat.CO stat.ME
A Latent Class Modeling Approach for Generating Synthetic Data and Making Posterior Inferences from Differentially Private Counts
存在用于从列联表创建差异私有计数的几种算法，例如双向或三向边际计数。所得到的噪声计数通常不对应于相干列联表，使得如果想要所释放的计数对应于相干列联表，则需要一些后处理步骤。我们提出了一种潜在的类建模方法，用于后处理差异私人边际计数，可用于（i）创建差异私人合成数据的边缘计数的集合，以及（ii）使后验推断的机密计数。我们使用2016年美国社区调查公共使用微数据集和2004年国家长期护理调查的子集来说明这种方法。
2022-01-25 stat.ME
Posterior Collapse of a Linear Latent Variable Model
HKUST（香港科技大学）；The University of Tokyo（东京大学）
这项工作确定了在贝叶斯深度学习实践中经常发生的一种后验崩溃的存在和原因。对于一般的线性潜变量模型，包括线性变分自编码器作为一种特殊情况下，我们精确地识别后验崩溃的性质是由于前的均值的似然和正则化之间的竞争。我们的研究结果表明，后部塌陷可能与神经塌陷和维度塌陷有关，可能是更深层次结构学习的一般问题的一个子类。
2022-10-13 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Regularized-Likelihood Deconvolution with Posterior-Density Reconstruction
University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）；University of Luxembourg（卢森堡大学）
针对密度反卷积的不适定问题，提出两阶段基于似然的方法，建立高斯误差下的收敛速率，数值实验及弗雷明汉血压数据应用验证其互补的有限样本表现。
2026-09-17 math.ST stat.TH
Latent Annealed Posterior Sampling with a Variance-Preserving Bridge for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
针对稀疏观测随机场后验推断的两大挑战，本文提出带方差保持桥的潜在退火后验采样（LAPS）方法，实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-10-16 cs.LG stat.ML
Using Autodiff to Estimate Posterior Moments, Marginals and Samples
本文提出利用物理学中的源项技巧，通过对修改后的边际似然估计器进行自动微分，避免手写向后遍历，从而高效计算大规模并行重要性采样中的后验期望、边缘分布和样本。
2024-06-18 math.ST stat.CO stat.TH
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型，称为扩展的潜在高斯模型，允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型，包括多分辨率空间过程，部分基于似然的生存模型，和多变量测量误差模型。由于精确的后验分布的计算是不可行的，我们开发了一个快速的，可扩展的近似贝叶斯推断方法，这一类的基础上嵌套高斯，拉普拉斯，自适应正交近似。我们证明了在标准条件下，这些近似后验的误差是op（1），并提供了数值证据表明，我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快，可扩展到更大的数据集，具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据，映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型，并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Optimal Bayesian Estimation for Random Dot Product Graphs
我们提出了一种贝叶斯方法，称为后验谱嵌入，用于估计随机点积图中的潜在位置，并证明了它的最优性。与经典的基于谱的邻接/Laplacian谱嵌入不同，后验谱嵌入是一种完全基于似然的图估计方法，它利用了观测到的邻接矩阵的Bernoulli似然信息。我们开发了一个极小极大下界估计的潜在位置，并表明后验谱嵌入实现这一下界，因为它既在一个极小极大最优后收缩率的结果，并产生一个点估计渐近实现极小极大风险。收敛结果随后被应用到随机块模型中的聚类，其结果加强了现有的结果关于错误聚类顶点的数量。我们还研究了基于谱的高斯谱嵌入作为自然贝叶斯类比的邻接谱嵌入，但由此产生的后验收缩率是次优的额外的对数因子。所提出的方法的实际性能说明通过广泛的合成例子和维基百科的图形数据的分析。
2019-04-26 math.ST stat.ME stat.TH
Mind the Gap when Conditioning Amortised Inference in Sequential Latent-Variable Models
Volkswagen Group（大众集团）
摊销推理使具有证据下限（ELBO）的序列潜变量模型（LVMs）的可扩展学习成为可能。在这种情况下，变分后验往往只是部分条件。而真正的后验依赖于，例如，在整个观测序列上，近似后验仅由过去的观测提供信息。这模仿了贝叶斯滤波器--一种平滑后验的混合。然而，我们表明，ELBO的目标部队部分条件摊销后验近似产品的平滑后验。因此，学习的生成模型受到损害。我们在三个场景中展示了这些理论研究结果：交通流量，手写数字和飞行器动态。使用完全条件近似后验，性能提高方面的生成建模和多步预测。
2021-03-17 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Joint Posterior Inference for Latent Gaussian Models with R-INLA
有效的贝叶斯推断仍然是分层模型中的计算挑战。基于模拟的方法，如马尔可夫链蒙特卡罗方法仍然很流行，但有很大的计算成本。在处理大类潜在高斯模型时，R-INLA软件中嵌入的INLA方法通过计算确定性混合表示来近似联合后验（从中计算边际），从而提供准确的贝叶斯推断。INLA方法从一开始就以近似单变量后验为目标。在本文中，我们奠定了开发基础的工具，也提供联合近似的子集的潜在领域。这些近似继承了高斯copula结构，并提供了偏度校正。同样的想法也被带到了混合表示的采样中，我们现在可以调整偏度。
2021-12-06 stat.CO
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出首个利用预训练潜在扩散模型求解线性逆问题的框架，通过理论分析证明了线性模型设置下的样本恢复，并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Accelerating Posterior Inference from Pulsar Light Curves via Learned Latent Representations and Local Simulator-Guided Optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Florida State University（佛罗里达州立大学）；New Mexico State University（新墨西哥州立大学）；NASA Goddard Space Flight Center（美国宇航局戈达德太空飞行中心）
本研究通过学习的潜在表示和局部模拟器引导优化，显著提升了脉冲星光变曲线后验推断的效率，将推断时间缩短至传统方法的1/20。
2026-02-16 astro-ph.HE stat.ML
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay（巴黎-萨克雷大学博雷利中心）；Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文研究了基于图的贝叶斯潜在空间模型的规格问题，提出了一种广义后验框架，通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性，提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
Bayesian Semiparametric Multivariate Density Deconvolution via Stochastic Rotation of Replicates
我们考虑多变量密度反卷积的问题，其中随机向量的分布需要从被条件异方差测量误差污染的重复中估计。我们提出了一个概念上简单，但从根本上新颖的和高度鲁棒的方法，多变量密度反卷积随机旋转的复制对相应的真实潜在值。我们还解决了另外显着的挑战性问题，适应条件异方差测量误差在这个新引入的框架。我们采取贝叶斯路线估计和推理，通过一个有效的马尔可夫链蒙特卡罗算法，适当地适应在我们的分析的各个方面的不确定性。渐近收敛保证的方法也建立。我们通过模拟实验及其在估计不同膳食成分的长期联合平均摄入量中的实际效用，说明了该方法的经验功效，从受测量误差污染的24小时膳食回忆。
2022-11-28 stat.ME
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程（HDP）及其后续变体，它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型（LDA）的更灵活的扩展，并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型，其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程（HIBP），它利用了一个层次的贝塔过程在J组，其中每个组生成二进制随机矩阵，反映组内共享的功能，根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本，我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘，后验和预测分布的HIBP和它的概括，允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性，并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Posterior predictive checks to quantify lack-of-fit in admixture models of latent population structure
混合模型是一种普遍存在的方法来捕捉潜在的群体结构的遗传样本。尽管混合物模型的广泛应用，很少有人想到一直致力于模型拟合的质量或特定研究的感兴趣的参数估计的准确性。在这里，我们开发的方法验证混合模型的基础上后验预测检查（PPC），贝叶斯方法评估质量的统计模型。我们开发PPC为五个群体水平的统计数据的利益：群体内的遗传变异，背景连锁不平衡，祖先群体的数量，群体间的遗传变异，和下游使用的混合参数，以纠正人口结构的关联研究。使用PPC，我们评估的质量模型估计的四个不同的人口遗传数据集：POPRES欧洲个人，HapMap第3阶段的个人，大陆印第安人，和非洲裔美国人的个人。我们发现，当使用PPC进行评估时，适用于不同基因组研究的相同模型会产生高度研究特异性的结果，说明PPC在大型基因组研究中用于基于模型的分析的实用性。
2014-06-30 q-bio.GN q-bio.PE stat.AP
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文将约束黑盒优化转化为后验推断问题，在生成模型的潜在空间中进行推断，通过训练流模型和扩散模型提升候选点搜索效率，实验证明在合成和现实任务中性能优越。
2026-05-07 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）
贝叶斯神经网络（BNN）长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布，但大多数BNN方法要么限于小型网络，要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出，例如深度集成，其训练和测试成本随着网络数量的增加而线性增加。在这项工作中，我们的目标是高效的深度BNN，适用于复杂的计算机视觉架构，例如ResNet 50 DeepLabV 3+，以及任务，例如语义分割，对参数的假设较少。我们通过利用变分自编码器（VAE）来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法，潜在后验BNN（LP-BNN），与最近的BatchEncriminal方法兼容，导致高效（在训练和测试期间的计算和内存方面）集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中，在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Anchored Variational Inference for Personalized Sequential Latent-State Models
University of Connecticut（康涅狄格大学）
本文提出一种基于锚点的变分推断方法，用于高效估计具有个体特定随机效应的序列潜在变量模型。通过将局部潜在过程的全条件后验替换为在代表值处的评估，显著降低了计算成本，同时保持局部推断的可处理性。
2026-04-25 stat.CO stat.ME stat.ML
Latent Time Neural Ordinary Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
神经常微分方程（NODE）已被提出作为流行的深度学习模型（如残差网络（ResNets））的连续深度推广。它们提供了参数效率，并在一定程度上自动化了深度学习模型中的模型选择过程。然而，它们缺乏急需的不确定性建模和鲁棒性能力，这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法，潜伏时间节点（LT-NODE），把$T$作为一个潜在的变量，并应用贝叶斯学习获得后验分布超过$T$的数据。特别地，我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的，并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度，因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点（ALT-NODE），它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性，通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection
University of Florida（佛罗里达大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出基于距离到集合的贝叶斯模型，替代传统潜在变量模型中的偏差，通过投影减少参数维度，提升后验计算效率，并展示其在多环境研究和贝叶斯迁移学习中的应用效果。
2026-04-11 stat.ME
A class of dependent Dirichlet processes via latent multinomial processes
我们描述了一个程序，介绍一般的依赖结构的一组Dirichlet过程。依赖性可以是在一个方向上以定义时间序列，或者是在两个方向上以定义空间依赖性。也可以考虑更多的方向。依赖性是通过一组潜在的过程诱导，并利用Dirichlet和多项式过程之间的共轭性质，以确保该集合的每个元素的边际法是一个Dirichlet过程。依赖性的特点是任何两个元素之间的相关性。当我们使用Dirichlet过程的集合作为先验分布时，我们得到了一个非参数背景下的后验分布。后验预测分布诱导广义Pólya urs定义的部分可交换序列。最后给出了一个数值例子。
2021-10-14 stat.ME
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Bayesian Latent Class Regression with Interpretable Binary Profiles
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
针对高维分类数据，提出一种引入二元潜在属性层的贝叶斯潜在类别回归模型（BLIP），满足可识别性和后验一致性，并具有贝叶斯最优聚类性质以应对维数灾难。
2026-05-27 stat.ME
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据，复杂的统计模型是必要的，需要计算上可行的推理方案。我们介绍最大和平滑，一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型（LGM），其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步（Max）中，似然函数由高斯密度近似，其均值和协方差分别等于（a）最大似然估计和逆观测信息，或（b）归一化似然函数的均值和协方差。在第二步（平滑）中，推断潜参数和超参数，并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的，所以LGM的潜在参数的近似后验密度（以超参数为条件）也是高斯的，从而有助于在高维中进行有效的后验推断。此外，超参数的近似边缘后验分布是易处理的，因此，超参数可以独立于潜在参数进行采样。在大量的独立数据复制，稀疏精度矩阵和高维潜在向量的情况下，与从精确的似然函数推断后验密度的MCMC方案相比，加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间，时间和时空推理问题。我们的结果表明，最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
Preventing Posterior Collapse with delta-VAEs
Deepmind（深度思维）；Google Brain（谷歌大脑）
由于“后验崩溃”现象，当前的潜变量生成模型提出了一个具有挑战性的设计选择，要么削弱解码器的能力，要么需要增强目标，因此它不仅最大化数据的可能性。在本文中，我们提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下限，同时确保潜变量保留和编码有用的信息。我们提出的$δ$ -VAE通过约束后验变分族到先验的最小距离来实现这一点。对于序列潜变量模型，我们的方法类似于经典的表示学习方法的缓慢特征分析。我们证明了我们的方法在LM 1B上建模文本和建模图像的有效性：学习表示，提高样本质量，并在CIFAR-10和ImageNet $32\times 32$上实现最先进的对数似然。
2019-01-10 cs.LG stat.ML
Normalized Latent Measure Factor Models
我们提出了一种方法来建模和比较概率分布内的贝叶斯非参数框架。建立在相关的归一化随机措施，我们认为一个先验分布的离散随机措施，其中每个措施是一组潜在的措施，解释为特征性状共享不同的分布，正随机权重的线性组合。该模型是不可识别的，并开发了一种用于后处理后验样本以实现识别推理的方法。这使用黎曼优化来解决李群矩阵上的非平凡优化问题。我们的方法的有效性进行了验证模拟数据和两个应用程序的两个现实世界的数据集：学校学生的考试成绩和个人收入在加利福尼亚州。我们的方法导致有趣的见解人口和易于解释的后验推理
2022-05-31 stat.ME
Variational Inference for Latent Variable Models in High Dimensions
本文提出量化平均场变分推断统计精度的通用框架，刻画其在潜在狄利克雷分配模型中的有效区间，并针对混合成员随机块模型提出更优的部分分组VI算法，给出有限样本性能界。
2025-07-16 math.PR math.ST stat.ML
High-Dimensional Simulation-Based Inference in Latent Spaces
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出将模拟推断与潜在生成建模结合，在低维潜在空间中进行后验推断并映射回原参数空间，在匹配计算下达到同等精度且采样快一个数量级以上。
2026-09-30 cs.LG stat.ML
Black-Box Inference for Non-Linear Latent Force Models
The University of Sheffield（谢菲尔德大学）；Newcastle University（纽卡斯尔大学）
潜力模型是这样的系统，其中存在描述系统状态的动态的机械模型，具有用高斯过程近似的一些未知的强迫项。如果这种动态是非线性的，则可能难以联合估计后验状态和强迫项，特别是当存在也需要估计的系统参数时。本文采用黑盒变分推断联合估计后验，设计了一个多变量扩展到本地逆自回归流作为一个灵活的近似系统。我们比较估计系统的后验是已知的，证明了近似的有效性，并适用于非线性动态，多输出系统和模型与非高斯似然问题。
2019-11-04 cs.LG stat.ML
An Extended Simplified Laplace strategy for Approximate Bayesian inference of Latent Gaussian Models using R-INLA
当将贝叶斯推断方法应用于复杂的分层模型时，会出现各种计算挑战。基于采样的推理方法，如马尔可夫链蒙特卡罗策略，以提供准确的结果而闻名，但计算成本高，收敛速度慢或有问题。相反，近似方法如集成嵌套拉普拉斯近似（INLA）通过嵌套拉普拉斯近似构造对单变量后验的确定性近似。该方法可以在隐高斯模型中实现快速推理性能，该模型对一大类分层模型进行编码。R-INLA软件主要由三种策略组成，根据精度要求计算所有所需的后验近似。简化的拉普拉斯近似（SLA）是最有吸引力的，因为它的速度性能，因为它是基于泰勒展开的三阶全拉普拉斯近似。在这里，我们通过简化偏度和模态配置所需的计算来增强方法。然后，我们提出了一个扩展到四阶，并使用扩展的斜正态分布作为一个新的参数拟合。由此产生的近似的边缘后密度是更准确的比那些计算的SLA，基本上没有额外的成本。
2022-03-27 stat.ME
Online Distributional Prediction via Latent Cluster Geometry Under Drift and Corruption
Indian Institute of Technology, Bombay（印度理工学院，孟买）
针对非平稳流中的在线分布预测问题，提出一种基于潜在簇几何的吉布斯准后验方法，通过可逆跳跃MCMC采样变维后验，并引入重启变体应对漂移，在亚线性腐败预算和运输代价下实现亚线性Wasserstein遗憾。
2026-10-26 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Graphical and numerical diagnostic tools to assess multiple imputation models by posterior predictive checking
本文提出基于后验预测检验的诊断方法，用于评估多重插补模型的合理性，通过比较观测数据与生成的预测后验分布，验证模型的适应性。
2022-08-27 stat.CO
Detecting approximate replicate components of a high-dimensional random vector with latent structure
高维特征向量可能包含彼此近似复制的测量值集。在复杂的应用程序或自动数据收集中，这些特征集不是先验已知的，需要确定。本文提出了一类基于观测高维随机向量$X \in \mathbb{R}^p$的潜在因子模型，用于定义、识别和估计其近似重复分量的指标集。模型类由$p \times K$加载矩阵$A$参数化，该矩阵包含一个隐藏子矩阵，其行可以划分为并行向量组。在此模型类下，$X$的一组近似重复组件对应于$A$中的一组平行行：$X$的这些条目在规模和加性误差上是$K$潜在因子的相同线性组合; $K$的值本身是未知的。在$X$中寻找近似重复的问题归结为识别和估计$A$内隐藏子矩阵的位置以及其行索引集$H$的分区。基于$X$的相关矩阵，$H$和它的partiton都可以用一个新的准则族来充分表征，并且它们的可识别性以及未知潜在维数$K$的可识别性作为结果得到.的可识别性参数的建设性，使计算效率的程序，一致性保证。当$A$具有变量含误差的参数化时，问题的难度增加。任务变成从$A$中的其他密集平行行中分离出与规范基向量成比例的平行行组。这是满足规模的假设下，通过选择目标行索引的原则性的方式，由适当的协方差阵的舒尔补的启发式最大化的指导。
2020-10-05 math.ST stat.ME stat.TH
Inferring Parameters and Structure of Latent Variable Models by Variational Bayes
Gatsby Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）
当前用于学习具有潜在变量和固定结构的图形模型的方法估计模型参数的最优值。然而，这种方法通常会产生过拟合和次优泛化性能，进行贝叶斯程序计算的完整后验分布的参数仍然是一个困难的问题。此外，学习具有潜在变量的模型的结构，贝叶斯方法是至关重要的，是一个更困难的问题。在本文中，我提出了变分贝叶斯框架，它提供了一个解决这些问题。这种方法近似模型参数和结构，以及潜变量的完整后验分布，在分析的方式，而不诉诸于抽样方法。与拉普拉斯近似不同，这些后验通常是非高斯的，并且不需要计算Hessian。该算法推广了标准的期望最大化算法，并保证了其收敛性。我证明，该算法可以应用于一个大类的模型在几个领域，包括无监督聚类和盲声源分离。
2013-01-23 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
没有任何结构假设的基于能量的隐变量模型（EBLVMs）的学习和评估具有很大的挑战性，因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计，分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散，并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下，VaES和VaGES可以应用于基于核化Stein差异（KSD）和分数匹配（SM）的方法来学习EBLVM。此外，VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Sampling hyperparameters in hierarchical models: improving on Gibbs for high-dimensional latent fields and large data sets
我们考虑在非常常见的贝叶斯分层模型中的后验抽样，在该模型中，观察到的数据取决于高维潜变量，而高维潜变量又取决于相对较少的超参数。当隐变量上的完全条件具有已知形式时，超参数上的边缘后验分布是可访问的，并且可以在低维参数空间上使用马尔可夫链蒙特卡罗（MCMC）方法进行采样。这可以提高标准吉布斯抽样的计算效率，因为计算不在潜在变量的高维空间上，并且超参数和潜在变量之间的相关性变得无关紧要。当超参数上的边际后验依赖于一个固定维的充分统计量时，预先计算该充分统计量使得低维MCMC的代价与数据大小无关.然后，当超参数是感兴趣的主要变量时，可以以适度的成本在大数据设置中执行推断。此外，由于潜变量的完全条件的形式不依赖于超先验分布的形式，因此该方法不对超先验施加限制，这与通常需要共轭分布的吉布斯抽样不同。我们证明了这些效率的提高在四个计算的例子。
2016-10-21 stat.CO
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法，通过将潜空间二分以分别处理潜变量和未惩罚参数，结合非高斯不对称近似与Laplace近似，在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Posterior Geometry and Identifiability in Multi-Response Bayesian Calibration
University College Dublin（都柏林大学学院）；University College London（伦敦大学学院）
本文针对多响应贝叶斯校准的后验几何与参数可识别性问题，提出潜变量多响应校准模型，经数值实验与锂电池研究验证其有效性，确立期望费舍尔后验几何为可扩展诊断工具。
2026-09-01 stat.ME
Model Criticism in Latent Space
模型批评通常通过评估拟合模型下生成的复制数据是否与观察数据相似来进行，参见Gelman，Carlin，Stern和Rubin [2004，p.165]。本文提出了一种隐变量模型的建立方法，将数据拉回到隐变量空间中，并在该空间中进行模型评价。利用模型的结构可以更直接地评估先验和可能性中的假设。我们证明了该方法与应用于因子分析，线性动力系统和高斯过程的潜在空间中的模型批评的例子。
2018-07-02 stat.ML
Semiparametric imputation using latent sparse conditional Gaussian mixtures for multivariate mixed outcomes
本文提出了一种灵活的贝叶斯方法，多重插补使用条件高斯混合。我们引入了新的收缩先验的协变量依赖的混合比例的混合模型，自动选择合适的数量的组件中使用的插补步骤。我们通过马尔可夫链蒙特卡罗方法开发了一种用于后验计算和多重插补的高效采样算法。所提出的方法可以很容易地扩展到的情况下，数据不仅包含连续变量，但也离散变量，如二进制和计数值。我们还提出了近似贝叶斯推断的损失函数定义的参数的基础上的后验预测分布的缺失观测，通过扩展基于Bootstrap的贝叶斯推断的完整数据。所提出的方法是通过模拟和真实数据的数值研究证明。
2022-08-16 stat.ME
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Gaussian orthogonal latent factor processes for large incomplete matrices of correlated data
我们引入高斯正交潜在因子过程的建模和预测大的相关数据。为了处理计算的挑战，我们首先分解的似然函数的高斯随机场与多维输入域的密度在正交分量与低维输入的乘积。连续时间卡尔曼滤波器的实现有效地计算似然函数，而无需进行近似。我们还证明了因子过程的后验分布是独立的，这是因子过程和正交因子载荷矩阵的先验独立性的结果。对于大样本量的研究，我们提出了一种灵活的方法来建模的平均值，我们推导出边缘后验分布，以解决可识别性问题，在这些参数的采样。模拟和实际数据的应用证实了这种方法的出色性能。
2021-11-27 stat.AP stat.CO stat.ME
Asymptotic Accuracy of Bayes Estimation for Latent Variables with Redundancy
由可观测变量和潜变量组成的分层参数模型被广泛用于无监督学习任务。例如，混合模型是用于聚类的代表性分层模型。从统计的角度来看，由于数据的分布，模型可以是规则的或奇异的。在常规情况下，模型具有可辨识性，模型表达式的概率密度函数与参数之间存在一一对应的关系。费舍尔信息矩阵是正定的，并研究了可观测变量和潜变量的估计精度。另一方面，在奇异情况下，模型是不可识别的，Fisher矩阵不是正定的。基于逆Fisher矩阵的传统统计分析不适用。最近，一个代数几何分析已被开发出来，并用于阐明可观测变量的贝叶斯估计。本文将这种分析应用于潜变量估计，并确定其理论性能。我们的结果阐明了后验分布的收敛性。研究发现，可观测变量估计的后验和潜变量估计的后验可以不同。基于参数和潜变量的马尔可夫链蒙特卡罗方法由于两者的差异，无法构造出期望的后验分布。
2014-01-23 stat.ML
