Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection
University of Florida（佛罗里达大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出基于距离到集合的贝叶斯模型，替代传统潜在变量模型中的偏差，通过投影减少参数维度，提升后验计算效率，并展示其在多环境研究和贝叶斯迁移学习中的应用效果。
2026-04-11 stat.ME
Scalable skewed Bayesian inference for latent Gaussian models
针对潜在高斯模型，提出基于INLA的偏态拉普拉斯变分推断扩展，兼顾偏态与高斯边缘及依赖保持，可扩展处理重尾似然和类别不平衡数据，经模拟和罕见病案例验证。
2025-02-26 stat.ME
Scalable Model Selection for Staged Trees: Mean-posterior Clustering and Binary Trees
阶段树是贝叶斯网络的非对称扩展，已有几种结构学习算法被提出。然而，这些方法要么不能随着所考虑的变量数量的增加而有效地扩展，要么先验地限制了模型的集合，要么它们找不到与现有方法可比的模型。在这里，我们定义了一个替代算法的基础上全有序超阶段。我们演示了如何使用它来获得一个二次缩放结构学习算法的阶段树，限制模型空间的后验。通过比较分析，我们表明，通过平均后验分布提供的顺序，我们可以优于现有的方法在计算时间和模型得分。这种方法还使我们能够通过扩展模型空间来学习比现有的模型选择技术更复杂的关系，并说明了这是如何在实际研究中修饰推论的。
2022-11-14 stat.CO stat.ME
A class of dependent Dirichlet processes via latent multinomial processes
我们描述了一个程序，介绍一般的依赖结构的一组Dirichlet过程。依赖性可以是在一个方向上以定义时间序列，或者是在两个方向上以定义空间依赖性。也可以考虑更多的方向。依赖性是通过一组潜在的过程诱导，并利用Dirichlet和多项式过程之间的共轭性质，以确保该集合的每个元素的边际法是一个Dirichlet过程。依赖性的特点是任何两个元素之间的相关性。当我们使用Dirichlet过程的集合作为先验分布时，我们得到了一个非参数背景下的后验分布。后验预测分布诱导广义Pólya urs定义的部分可交换序列。最后给出了一个数值例子。
2021-10-14 stat.ME
Scalable methods for Bayesian selective inference
沿着Panigrahi（2016）中的截断方法建模，贝叶斯机制中的选择调整推理基于选择性后验。这样的后验是由施加在数据上的生成模型和强制截断假定定律的选择事件共同确定的。选择性后验和通常的贝叶斯框架之间的有效差异反映在使用截断的可能性。在调整后的框架中截断定律的归一化是选择事件的概率;这通常是棘手的，并且它导致从这样的后验样本中的计算瓶颈。目前的工作奠定了解决近似优化问题的原始-对偶方法，提供有效的后选择贝叶斯推断。选择过程构成的数据查询，解决了一个随机版本的凸学习程序，其优点是保留更多的剩余信息进行推理。我们提出了一个随机化方案下的优化具有可分离的约束，导致在一个部分可分离的目标，在较低的维度为许多常用的选择性查询，以近似，否则难以处理的选择性后验。我们表明，近似优化下的高斯随机化给出了一个有效的指数衰减率的选择概率在一个大的偏差规模。我们提供了一个原始-对偶方法来解决导致近似后验的优化问题，这使我们能够利用贝叶斯机制在低维和高维机制中的通常优点，其中底层信号是有效稀疏的。我们表明，调整后的估计经验表现出更好的频率属性相比，未调整的估计的基础上通常的后验，当应用到广泛的约束，凸数据查询。
2017-09-11 stat.ME
Bayesian Latent Class Regression with Interpretable Binary Profiles
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
针对高维分类数据，提出一种引入二元潜在属性层的贝叶斯潜在类别回归模型（BLIP），满足可识别性和后验一致性，并具有贝叶斯最优聚类性质以应对维数灾难。
2026-05-27 stat.ME
Normalized Latent Measure Factor Models
我们提出了一种方法来建模和比较概率分布内的贝叶斯非参数框架。建立在相关的归一化随机措施，我们认为一个先验分布的离散随机措施，其中每个措施是一组潜在的措施，解释为特征性状共享不同的分布，正随机权重的线性组合。该模型是不可识别的，并开发了一种用于后处理后验样本以实现识别推理的方法。这使用黎曼优化来解决李群矩阵上的非平凡优化问题。我们的方法的有效性进行了验证模拟数据和两个应用程序的两个现实世界的数据集：学校学生的考试成绩和个人收入在加利福尼亚州。我们的方法导致有趣的见解人口和易于解释的后验推理
2022-05-31 stat.ME
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Posterior Collapse of a Linear Latent Variable Model
HKUST（香港科技大学）；The University of Tokyo（东京大学）
这项工作确定了在贝叶斯深度学习实践中经常发生的一种后验崩溃的存在和原因。对于一般的线性潜变量模型，包括线性变分自编码器作为一种特殊情况下，我们精确地识别后验崩溃的性质是由于前的均值的似然和正则化之间的竞争。我们的研究结果表明，后部塌陷可能与神经塌陷和维度塌陷有关，可能是更深层次结构学习的一般问题的一个子类。
2022-10-13 cs.LG stat.ML
An Extended Simplified Laplace strategy for Approximate Bayesian inference of Latent Gaussian Models using R-INLA
当将贝叶斯推断方法应用于复杂的分层模型时，会出现各种计算挑战。基于采样的推理方法，如马尔可夫链蒙特卡罗策略，以提供准确的结果而闻名，但计算成本高，收敛速度慢或有问题。相反，近似方法如集成嵌套拉普拉斯近似（INLA）通过嵌套拉普拉斯近似构造对单变量后验的确定性近似。该方法可以在隐高斯模型中实现快速推理性能，该模型对一大类分层模型进行编码。R-INLA软件主要由三种策略组成，根据精度要求计算所有所需的后验近似。简化的拉普拉斯近似（SLA）是最有吸引力的，因为它的速度性能，因为它是基于泰勒展开的三阶全拉普拉斯近似。在这里，我们通过简化偏度和模态配置所需的计算来增强方法。然后，我们提出了一个扩展到四阶，并使用扩展的斜正态分布作为一个新的参数拟合。由此产生的近似的边缘后密度是更准确的比那些计算的SLA，基本上没有额外的成本。
2022-03-27 stat.ME
Safe, Scalable, and Accurate Bayes Posterior Sampling for Large-Data Generalized Linear Mixed Models
Duke University（杜克大学）
本文提出了一种基于数据子采样的镜像 Langevin 动力学算法，用于大规模广义线性混合模型的贝叶斯抽样，通过后处理步骤消除子采样导致的后验方差估计偏差。
2026-04-28 stat.CO stat.ME stat.ML
Scalable Gaussian Process Regression Via Median Posterior Inference for Estimating Multi-Pollutant Mixture Health Effects
Google Research（谷歌研究）；Department of Statistics University of California Davis（加州大学戴维斯分校统计系）；Department of Environmental Health Harvard University（哈佛大学环境健康系）；Department of Biostatistics Harvard University（哈佛大学生物统计学系）
本文提出基于中位数后验推断的分治策略，解决大规模数据下高斯过程回归的计算瓶颈，应用于估计环境污染物混合物对出生体重的影响。
2026-04-07 stat.ME
Generating Independent Replicates Directly from the Posterior Distribution for a Class of Spatial Latent Gaussian Process Models
针对MCMC计算负担问题，提出广义共轭多元分布，通过精确后验回归方法直接从空间潜在高斯过程模型后验分布中高效生成独立重复样本。
2023-05-19 math.ST stat.ME stat.TH
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Latent Annealed Posterior Sampling with a Variance-Preserving Bridge for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
针对稀疏观测随机场后验推断的两大挑战，本文提出带方差保持桥的潜在退火后验采样（LAPS）方法，实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-10-16 cs.LG stat.ML
Robust and Scalable Variational Bayes
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Maryland（马里兰大学）
针对大型数据集中的离群值和污染问题，提出鲁棒可扩展的变分贝叶斯框架，通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合，得到VM-Posterior，在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Mind the Gap when Conditioning Amortised Inference in Sequential Latent-Variable Models
Volkswagen Group（大众集团）
摊销推理使具有证据下限（ELBO）的序列潜变量模型（LVMs）的可扩展学习成为可能。在这种情况下，变分后验往往只是部分条件。而真正的后验依赖于，例如，在整个观测序列上，近似后验仅由过去的观测提供信息。这模仿了贝叶斯滤波器--一种平滑后验的混合。然而，我们表明，ELBO的目标部队部分条件摊销后验近似产品的平滑后验。因此，学习的生成模型受到损害。我们在三个场景中展示了这些理论研究结果：交通流量，手写数字和飞行器动态。使用完全条件近似后验，性能提高方面的生成建模和多步预测。
2021-03-17 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Joint Posterior Inference for Latent Gaussian Models with R-INLA
有效的贝叶斯推断仍然是分层模型中的计算挑战。基于模拟的方法，如马尔可夫链蒙特卡罗方法仍然很流行，但有很大的计算成本。在处理大类潜在高斯模型时，R-INLA软件中嵌入的INLA方法通过计算确定性混合表示来近似联合后验（从中计算边际），从而提供准确的贝叶斯推断。INLA方法从一开始就以近似单变量后验为目标。在本文中，我们奠定了开发基础的工具，也提供联合近似的子集的潜在领域。这些近似继承了高斯copula结构，并提供了偏度校正。同样的想法也被带到了混合表示的采样中，我们现在可以调整偏度。
2021-12-06 stat.CO
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战，本文引入可扩展PyTorch库posteriors，提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏，通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2011-09-23 math.ST stat.TH
Adaptive posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2017-01-26 math.ST stat.TH
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出首个利用预训练潜在扩散模型求解线性逆问题的框架，通过理论分析证明了线性模型设置下的样本恢复，并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Accelerating Posterior Inference from Pulsar Light Curves via Learned Latent Representations and Local Simulator-Guided Optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Florida State University（佛罗里达州立大学）；New Mexico State University（新墨西哥州立大学）；NASA Goddard Space Flight Center（美国宇航局戈达德太空飞行中心）
本研究通过学习的潜在表示和局部模拟器引导优化，显著提升了脉冲星光变曲线后验推断的效率，将推断时间缩短至传统方法的1/20。
2026-02-16 astro-ph.HE stat.ML
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay（巴黎-萨克雷大学博雷利中心）；Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文研究了基于图的贝叶斯潜在空间模型的规格问题，提出了一种广义后验框架，通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性，提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
A Scalable Exponential Random Graph Model: Amortised Hierarchical Sequential Neural Posterior Estimation with Applications in Neuroscience
本文提出摊销式分层序列神经后验估计（AHS-NPE），以可扩展方式解决多网络指数随机图模型的贝叶斯推断难题，并在 Cam-CAN 脑成像数据上验证了其拟合效果与更大规模应用能力。
2025-06-05 stat.AP stat.ME
Scalable Thompson Sampling via Optimal Transport
Duke University（杜克大学）；Adobe Research（Adobe研究（Adobe Research））；SUNY at Buffalo（纽约州立大学布法罗分校（SUNY at Buffalo））
汤普森抽样（Thompson sampling，TS）算法是一种序列决策算法，它要求在模型上保持后验分布。然而，计算精确的后验分布是棘手的，但最简单的模型。因此，近似后验分布的有效计算是具有复杂模型的可扩展TS（例如神经网络）的关键问题。在本文中，我们使用分布优化技术来近似的后验分布，通过Wasserstein梯度流解决。在此基础上，提出了一种基于粒子优化的TS算法，以有效地逼近后验。我们的方法是可扩展的，并没有明确的分布假设后验近似。在人工数据和真实大规模数据上的实验表明了所提方法的优越性能。
2019-02-19 cs.LG stat.ML
Posterior predictive checks to quantify lack-of-fit in admixture models of latent population structure
混合模型是一种普遍存在的方法来捕捉潜在的群体结构的遗传样本。尽管混合物模型的广泛应用，很少有人想到一直致力于模型拟合的质量或特定研究的感兴趣的参数估计的准确性。在这里，我们开发的方法验证混合模型的基础上后验预测检查（PPC），贝叶斯方法评估质量的统计模型。我们开发PPC为五个群体水平的统计数据的利益：群体内的遗传变异，背景连锁不平衡，祖先群体的数量，群体间的遗传变异，和下游使用的混合参数，以纠正人口结构的关联研究。使用PPC，我们评估的质量模型估计的四个不同的人口遗传数据集：POPRES欧洲个人，HapMap第3阶段的个人，大陆印第安人，和非洲裔美国人的个人。我们发现，当使用PPC进行评估时，适用于不同基因组研究的相同模型会产生高度研究特异性的结果，说明PPC在大型基因组研究中用于基于模型的分析的实用性。
2014-06-30 q-bio.GN q-bio.PE stat.AP
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Anchored Variational Inference for Personalized Sequential Latent-State Models
University of Connecticut（康涅狄格大学）
本文提出一种基于锚点的变分推断方法，用于高效估计具有个体特定随机效应的序列潜在变量模型。通过将局部潜在过程的全条件后验替换为在代表值处的评估，显著降低了计算成本，同时保持局部推断的可处理性。
2026-04-25 stat.CO stat.ME stat.ML
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据，复杂的统计模型是必要的，需要计算上可行的推理方案。我们介绍最大和平滑，一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型（LGM），其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步（Max）中，似然函数由高斯密度近似，其均值和协方差分别等于（a）最大似然估计和逆观测信息，或（b）归一化似然函数的均值和协方差。在第二步（平滑）中，推断潜参数和超参数，并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的，所以LGM的潜在参数的近似后验密度（以超参数为条件）也是高斯的，从而有助于在高维中进行有效的后验推断。此外，超参数的近似边缘后验分布是易处理的，因此，超参数可以独立于潜在参数进行采样。在大量的独立数据复制，稀疏精度矩阵和高维潜在向量的情况下，与从精确的似然函数推断后验密度的MCMC方案相比，加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间，时间和时空推理问题。我们的结果表明，最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文将约束黑盒优化转化为后验推断问题，在生成模型的潜在空间中进行推断，通过训练流模型和扩散模型提升候选点搜索效率，实验证明在合成和现实任务中性能优越。
2026-05-07 cs.LG stat.ML
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
变分自编码器（VAE）是深度潜变量模型和伴随的变分学习技术的流行组合。通过使用神经推理网络来近似模型对潜在变量的后验，VAE有效地参数化了可以通过梯度方法直接优化的边缘数据可能性的下限。然而，在实践中，VAE训练通常会导致退化的局部最优，称为“后验崩溃”，其中模型学会忽略潜在变量，近似后验模拟先验。在本文中，我们从训练动力学的角度研究后塌陷。我们发现，在训练的初始阶段，推理网络无法近似模型的真实后验，这是一个移动的目标。结果，模型被鼓励忽略潜在的编码，并发生后验崩溃。基于这一观察，我们提出了一个非常简单的修改VAE训练，以减少推理滞后：根据模型的当前互信息之间的潜在变量和观察，我们积极优化推理网络之前执行每个模型更新。尽管既没有引入新的模型组件，也没有显着的复杂性，基本VAE，我们的方法是能够避免崩溃的问题，困扰了大量的以前的工作。从经验上讲，我们的方法在文本和图像基准上的表现优于强自回归基线，并且与更复杂的技术相比具有竞争力，可以避免崩溃，同时速度更快。
2019-01-28 cs.LG stat.ML
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）
贝叶斯神经网络（BNN）长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布，但大多数BNN方法要么限于小型网络，要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出，例如深度集成，其训练和测试成本随着网络数量的增加而线性增加。在这项工作中，我们的目标是高效的深度BNN，适用于复杂的计算机视觉架构，例如ResNet 50 DeepLabV 3+，以及任务，例如语义分割，对参数的假设较少。我们通过利用变分自编码器（VAE）来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法，潜在后验BNN（LP-BNN），与最近的BatchEncriminal方法兼容，导致高效（在训练和测试期间的计算和内存方面）集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中，在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Convergence of the groups posterior distribution in latent or stochastic block models
我们提出了一个统一的框架来研究潜在的和随机的块模型，这是用来同时聚类的数据矩阵的行和列。在这个新的框架中，我们研究的行为的群体后验分布，给定的数据。我们的特点是是否有可能渐近恢复矩阵的行和列上的实际组，依赖于参数的相合估计。换句话说，我们建立了充分条件的群体后验分布收敛（随着数据的大小增加）的狄拉克质量位于实际（随机）群体配置。特别是，我们强调了一些情况下，该模型假设的对称性矩阵的连接概率，防止恢复原始组。我们还讨论了这些结果的有效性时，在数据矩阵中的非空元素的比例收敛到零。
2015-04-14 math.ST stat.TH
Robust and Scalable Bayes via a Median of Subset Posterior Measures
University of Southern California（南加州大学）；The University of Iowa（爱荷华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Duke University（杜克大学）
我们提出了一种新的贝叶斯分析方法，该方法对数据中的离群值具有可证明的鲁棒性，并且通常比标准方法具有计算优势。我们的技术是基于分裂成非重叠的子组的数据，评估每个独立的子组的后验分布，然后结合所产生的措施。我们的方法的主要新颖之处是建议的聚合步骤，这是基于一个中位数的评价空间中的概率测度配备了一个合适的收集的距离，可以快速，有效地评估在实践中。我们提出了理论和数值证据说明我们的方法所取得的改进。
2016-06-02 cs.DC cs.LG math.ST
Subsampled Pseudo-posteriors for Scalable Bayesian Moment-condition Inference
Hong Kong University of Science and Technology（香港科技大学）
针对矩条件下贝叶斯伪推断的两大障碍，本文提出子采样伪后验方法，通过小批量伪后验聚合结合矩函数控制变量，近似全数据伪后验并降低计算成本。
2026-09-07 math.ST stat.TH
From Global to Local: A Scalable Benchmark for Local Posterior Sampling
University of Melbourne（墨尔本大学）；CSIRO（联邦科学与工业研究组织）
针对SGMCMC算法全局收敛假设与神经网络退化损失景观不兼容的问题，提出局部后验采样的可扩展基准，实验发现RMSProp预处理的SGLD能有效表示后验局部几何，可在1亿参数模型中提取局部信息。
2026-08-04 cs.LG stat.ML
Latent Time Neural Ordinary Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
神经常微分方程（NODE）已被提出作为流行的深度学习模型（如残差网络（ResNets））的连续深度推广。它们提供了参数效率，并在一定程度上自动化了深度学习模型中的模型选择过程。然而，它们缺乏急需的不确定性建模和鲁棒性能力，这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法，潜伏时间节点（LT-NODE），把$T$作为一个潜在的变量，并应用贝叶斯学习获得后验分布超过$T$的数据。特别地，我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的，并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度，因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点（ALT-NODE），它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性，通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah（犹他大学）；School of Computing（计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
高斯过程回归网络（GPRN）是多输出回归的强大贝叶斯模型，但其推理是棘手的。为了解决这个问题，现有方法在所有输出和潜函数上使用完全分解的结构（或这种结构的混合）进行后验近似，然而，这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外，变分参数的更新是低效的，并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性，我们提出了一个可扩展的变分推理算法的GPRN，它不仅捕获了丰富的后验依赖关系，但也是更有效的大规模输出。我们张量化的输出空间，并引入张量/矩阵正常变分后验捕获的后验相关性，并减少参数。我们共同优化所有的参数，并利用固有的克罗内克积结构的变分模型证据下界，以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Scalable Bernoulli Factory MCMC for Intractable Marginalised Posteriors
针对伯努利工厂MCMC随数据量指数级性能下降的问题，提出分治伯努利工厂MCMC算法，证明其对可分解模型具多项式复杂度，应用于两类难解似然模型的贝叶斯推理，获1.2和1阶多项式成本。
2026-09-01 stat.CO
FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation
Tongji University（同济大学）；University of South Carolina（南卡罗来纳大学）
针对高维稀疏观测下非线性数据同化的多峰后验推断难题，提出免训练、渐近精确的协方差感知后验传输方法，嵌入交叉协方差并校正后验，在多个基准上显著提升精度。
2026-09-29 cs.LG cs.NA math.NA
Preventing Posterior Collapse with delta-VAEs
Deepmind（深度思维）；Google Brain（谷歌大脑）
由于“后验崩溃”现象，当前的潜变量生成模型提出了一个具有挑战性的设计选择，要么削弱解码器的能力，要么需要增强目标，因此它不仅最大化数据的可能性。在本文中，我们提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下限，同时确保潜变量保留和编码有用的信息。我们提出的$δ$ -VAE通过约束后验变分族到先验的最小距离来实现这一点。对于序列潜变量模型，我们的方法类似于经典的表示学习方法的缓慢特征分析。我们证明了我们的方法在LM 1B上建模文本和建模图像的有效性：学习表示，提高样本质量，并在CIFAR-10和ImageNet $32\times 32$上实现最先进的对数似然。
2019-01-10 cs.LG stat.ML
Using Autodiff to Estimate Posterior Moments, Marginals and Samples
本文提出利用物理学中的源项技巧，通过对修改后的边际似然估计器进行自动微分，避免手写向后遍历，从而高效计算大规模并行重要性采样中的后验期望、边缘分布和样本。
2024-06-18 math.ST stat.CO stat.TH
High-Dimensional Simulation-Based Inference in Latent Spaces
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出将模拟推断与潜在生成建模结合，在低维潜在空间中进行后验推断并映射回原参数空间，在匹配计算下达到同等精度且采样快一个数量级以上。
2026-09-30 cs.LG stat.ML
Scalable Posterior Uncertainty for Flexible Density-Based Clustering
Department of Statistics and Data Sciences, UT Austin（统计与数据科学系，德克萨斯大学奥斯汀分校）
本文提出一种结合martingale后验分布与密度聚类的新框架，通过预测重采样方案实现密度不确定性量化，利用可微密度估计器提升大规模数据处理效率，并在图像和单细胞RNA测序数据中验证了其有效性。
2026-10-21 cs.LG stat.ML
Gaussian orthogonal latent factor processes for large incomplete matrices of correlated data
我们引入高斯正交潜在因子过程的建模和预测大的相关数据。为了处理计算的挑战，我们首先分解的似然函数的高斯随机场与多维输入域的密度在正交分量与低维输入的乘积。连续时间卡尔曼滤波器的实现有效地计算似然函数，而无需进行近似。我们还证明了因子过程的后验分布是独立的，这是因子过程和正交因子载荷矩阵的先验独立性的结果。对于大样本量的研究，我们提出了一种灵活的方法来建模的平均值，我们推导出边缘后验分布，以解决可识别性问题，在这些参数的采样。模拟和实际数据的应用证实了这种方法的出色性能。
2021-11-27 stat.AP stat.CO stat.ME
Black-Box Inference for Non-Linear Latent Force Models
The University of Sheffield（谢菲尔德大学）；Newcastle University（纽卡斯尔大学）
潜力模型是这样的系统，其中存在描述系统状态的动态的机械模型，具有用高斯过程近似的一些未知的强迫项。如果这种动态是非线性的，则可能难以联合估计后验状态和强迫项，特别是当存在也需要估计的系统参数时。本文采用黑盒变分推断联合估计后验，设计了一个多变量扩展到本地逆自回归流作为一个灵活的近似系统。我们比较估计系统的后验是已知的，证明了近似的有效性，并适用于非线性动态，多输出系统和模型与非高斯似然问题。
2019-11-04 cs.LG stat.ML
