StepMix: A Python Package for Pseudo-Likelihood Estimation of Generalized Mixture Models with External Variables
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；Leiden University（莱顿大学）；Institut universitaire en santé mentale de Montréal（蒙特利尔大学精神卫生大学研究所）
本文介绍开源 Python 包 StepMix，它在统一 EM 框架下实现带协变量与远端结局的广义混合模型的一步、两步及偏差校正三步伪似然估计，并兼容 scikit-learn 与 R。
2024-06-17 cs.LG stat.ME stat.ML
Latent Gaussian process with composite likelihoods and numerical quadrature
Aalto University（阿尔托大学）；HUS Helsinki University Hospital（赫尔辛基大学医院）；University of Helsinki（赫尔辛基大学）
临床患者记录是高维数据的一个示例，其通常从不同的源收集并且包括具有噪声以及缺失值的多个可能性。在这项工作中，我们提出了一个无监督的生成模型，可以在潜在空间中的观察中学习低维表示，同时利用具有缺失值的异构数据设置中的所有可用数据。我们改进了现有的高斯过程潜变量模型（GPLVM），通过将多个似然和深度神经网络参数化后约束，创建一个非线性降维技术的异构数据。此外，我们开发了一个变分推断方法，我们的模型，使用数值积分。我们建立了我们的模型的有效性，并与现有的GPLVM方法在一个标准的基准数据集，以及在HUS赫尔辛基大学医院治疗的帕金森病患者的临床数据进行比较。
2021-04-20 cs.LG stat.AP stat.ML
Spectral Clustering with Likelihood Refinement for High-dimensional Latent Class Recovery
Columbia University（哥伦比亚大学）
本文提出了一种基于谱聚类和似然细化的两阶段算法，用于高维二元响应的潜在类别恢复，通过理论保证和实验验证展示了其优越性能。
2026-02-13 stat.ME
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型，或更一般地说，高斯潜在森林模型具有费舍尔信息矩阵，该矩阵沿着有趣的子模型（即对应于子森林的模型）变得奇异。对于这些奇异点，我们计算真实的对数正则阈值（也称为随机复杂度或学习系数），这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息，最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下，真正的对数正则阈值可以使用多面体几何计算，我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中，我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Composite likelihood inference in a discrete latent variable model for two-way "clustering-by-segmentation" problems
我们考虑一个离散的潜在变量模型的双向数据阵列，它允许一个同时产生集群沿一个数据维度（例如可交换的观测单位或功能）和连续的组，或段，沿其他（例如连续排序的时间或位置）。该模型依赖于一个隐马尔可夫结构，但由于其复杂性，不能完全最大似然估计。因此，我们引入复合似然方法的基础上考虑不同的数据子集。所提出的方法说明了模拟，并与基因组数据的应用程序。
2015-06-27 math.ST stat.ME stat.TH
Approximate likelihood inference in generalized linear latent variable models based on integral dimension reduction
潜变量模型是一个有用的工具，用于分析复杂的数据时，感兴趣的结构是不可观察的。与这些模型相关的问题是，似然函数中涉及的积分不能解析地求解。我们提出了一种计算方法，称为降维方法（DRM），它包括一个降维的多维积分，使计算可行的情况下，基于正交的方法是不适用的。我们讨论了DRM的优点相比，其他现有的近似程序的计算方法的可行性和渐近性质的估计。
2015-03-04 stat.ME
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；Google（谷歌）；University of Toronto（多伦多大学）
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上，给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化，则编码器的参数可以被优化以最小化该估计器的方差。我们表明，使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务，其中无偏估计，而不是边际似然下限，是首选，如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Fast Bootstrapping Nonparametric Maximum Likelihood for Latent Mixture Models
本文针对潜在混合模型混合密度估计中传统自助法不可扩展的问题，提出基于生成过程和新型两阶段优化算法的快速非参数最大似然自助估计，可在十万观测下低成本准确估计。
2024-02-28 stat.ME
A mirror descent approach to maximum likelihood estimation in latent variable models
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗阿尔贝托学院）
本文提出一种结合镜像下降与序列蒙特卡洛的潜变量模型参数推断与后验估计方法，适用于离散潜变量，并在实验中优于标准期望最大化算法。
2025-11-06 stat.CO stat.ME
Beyond the EM Algorithm: Constrained Optimization Methods for Latent Class Model
Precima（普雷西马公司）
隐类模型（Latent class model，LCM）是统计学和机器学习领域中应用最广泛的模型之一，它是不同类别分布的有限混合。由于其非连续性和形状的灵活性，市场营销和社会科学等实践领域的研究人员也经常使用LCM从他们的数据中获得见解。一种基于似然的方法，期望最大化（EM）算法，经常被用来获得模型估计。然而，期望最大化算法是众所周知的，其收敛速度慢。在这项研究中，我们探索替代的可能性为基础的方法，可以潜在的补救缓慢收敛的期望最大化算法。更具体地说，我们把基于似然的方法作为一个约束非线性优化问题，并应用拟牛顿型方法来解决它们。我们研究了两种不同的约束优化方法，以最大限度地提高对数似然函数。我们目前的仿真研究结果表明，所提出的方法不仅收敛在更少的迭代比期望最大化算法，但也产生更准确的模型估计。
2020-05-19 cs.LG stat.ML
Amortised Learning by Wake-Sleep
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）
使用潜变量来捕获观测数据中的结构的模型是当前许多无监督学习算法的核心，但是对于强大而灵活的潜变量模型的精确最大似然学习几乎总是难以处理的。因此，最先进的方法要么完全放弃最大似然框架，要么依赖于对潜伏期的后验分布的各种变分近似。在这里，我们提出了一种替代方法，我们称之为摊销学习。我们使用唤醒-睡眠蒙特卡罗策略来学习直接估计最大似然参数更新的函数，而不是计算对潜在后验的近似。当潜在和观察的样本可以从生成模型中模拟时，摊销学习是可能的，将模型视为“黑匣子”。我们证明了它的有效性在广泛的复杂模型，包括那些潜在的离散或支持非欧几里德空间。
2020-08-15 cs.LG stat.ML
Information Theoretic Lower Bounds on Negative Log Likelihood
IBM Research AI（IBM研究院AI）
在这篇文章中，我们使用率失真理论，信息论的一个分支，致力于有损压缩的问题，揭示了一个重要的问题，在潜变量建模的数据：有空间来改善模型？解决这个问题的一种方法是找到一个概率的上限（相当于负对数似然的下限），当人们改变潜变量模型中的先验和/或似然函数时，模型可以分配给一些数据。我们的贡献的核心是正式表明，在潜变量模型中优化先验的问题正是信息理论家在计算率失真函数时解决的变分优化问题的一个实例，然后用它来推导负对数似然的下界。此外，我们将表明，如果改变先验可以提高对数似然，那么有一种方法来改变似然函数，而不是获得相同的对数似然，因此率失真理论是相关的优化先验以及优化似然函数。我们将通过实验论证从率失真理论导出的量在潜变量建模中的有用性，并将其应用于图像建模中的问题。
2019-04-12 cs.IT cs.LG math.IT
Latent Variable Model for Multivariate Data with Measure-specific Sample Weights and Its Application in Hospital Compare
我们开发了一个单因素模型与测量特定的样本权重的多变量数据与多个观察指标聚集在一个更高的水平主题。因此，该因素是同一主题内多个指标共享的潜变量，不同指标和不同主题的样本权重不同。即使在对潜变量进行积分之后，数据的似然性也不能写成每个主题的加权似然性之和，因为主题对于其多个指标具有不同的样本权重。此外，可用指标的数量因主题而异。我们推导出一个伪似然的潜变量模型与测量特定的权重。我们调查的各种统计特性的潜变量模型与测量特定的样本权重和传统的因子分析的连接。我们发现，潜变量模型提供了相合估计的方差时，测量特定的样本权重进行适当的重新调整。提出了两种估计方法--伪似然的期望最大化算法和直接积分隐变量的伪似然边缘化方法，得到参数估计。通过对公开报道的医院的指标和样本权重的分析，说明了这种方法。数值研究进行调查的权重和它们的样本分布的影响。
2019-10-18 stat.ME
A nested expectation-maximization algorithm for latent class models with covariates
我们开发了一个嵌套的EM例程的潜在类模型的协变量，允许最大化的全模型对数似然，并从目前的方法不同，保证单调的对数似然序列，随着改进的收敛速度。
2018-08-02 stat.CO stat.ME
Minimum ϕ-divergence estimation in constrained latent class models for binary data
本文的主要目的是介绍和研究二进制项的潜在类模型中最小散度估计作为极大似然估计的替代的行为。正如下面将变得清楚的那样，最小散度估计量是极大似然估计量的自然扩展。研究了二元数据隐类模型最小散度估计的渐近性质.最后，为了比较这些新的估计量与极大似然估计量在样本量不足以应用渐近结果时的效率和稳健性，我们进行了模拟研究。
2014-05-31 stat.ME
Annealed Important Sampling for Models with Latent Variables
本文研究了似然函数在解析上难以处理但可以无偏估计时的贝叶斯推断。我们提出了一个退火的重要性抽样过程中估计的期望后验。该算法是有用的情况下，找到一个好的建议密度是具有挑战性的，当需要估计的边际似然。似然估计的效果进行了研究，结果提供了指导方针，如何设置的似然估计的精度，以最佳地实现该程序。在几个模拟和真实数据的例子中，经验证明了方法的结果。
2014-02-25 stat.ME
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Efficiently Learning Nonstationary Gaussian Processes for Real World Impact
大多数现实世界的现象，如阳光分布下的森林树冠，矿物浓度，股票估值，表现出非平稳动态，即现象变化的变化取决于当地。非平稳动力学对统计机器学习算法提出了理论和实践挑战，这些算法旨在准确地捕获控制此类过程演化的复杂性。典型地，非平稳动态使用非平稳高斯过程模型（NGPS）来建模，该模型采用局部潜在动态参数化来相应地对非平稳真实可观察动态进行建模。最近，一种基于最大似然诱导潜在动力学表征的方法引起了研究界的关注。该方法不能用于大规模的现实世界的应用，因为学习一个最可能的潜在动态表示涉及最大化的边际可能性的观察到的真实动态，变得棘手的诱导的潜在点的数量随着问题的大小增长。我们已经建立了一个直接的关系，诱导潜在的动态和边际可能性的观察到的真实动态的信息。这打开了通过使用贪心算法在诱导的潜在动态上接近最优地最大化熵或互信息增益来间接地最大化所观察到的真实动态的边际似然的可能性。因此，对于一个有效而准确的推理，我们建议建立一个诱导的潜在动态表示使用一种新的算法LISAL，自适应最大化熵或互信息诱导的潜在动态和边际似然观察到的真实动态的迭代方式。使用真实世界的数据集验证LISAL的相关性。
2018-11-02 cs.LG stat.ML
Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models
Tsinghua University（清华大学）
虽然在引入辅助摊销推理模型方面取得了进展，但学习离散潜变量模型仍然具有挑战性。在本文中，我们表明，恼人的困难，获得可靠的随机梯度的推理模型和间接优化目标对数似然的缺点，可以优雅地解决在一个新的方法的基础上随机逼近（SA）理论的罗宾斯-蒙罗型。具体来说，我们建议直接最大化目标对数似然，同时最小化后验和推理模型之间的包容性分歧。由此产生的学习算法被称为联合SA（JSA）。据我们所知，JSA是第一种将EM（期望最大化）算法（SAEM）的SA版本与自适应MCMC过程相结合的方法。在几个基准生成建模和结构化预测任务上的实验表明，JSA始终优于最近的竞争算法，具有更快的收敛速度，更好的最终似然性和更低的梯度估计方差。
2020-05-28 cs.LG stat.ML
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University（哈佛大学）
最近有很多令人兴奋的工作，将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束，而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架，但存在困难：条件似然的深层参数化通常使后验推理变得棘手，而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Bayesian comparison of latent variable models: Conditional vs marginal likelihoods
具有潜在变量（或随机效应）的模型的典型贝叶斯方法涉及直接对潜在变量以及模型参数进行采样。在用于模型定义的高级软件代码中（例如，BUGS，JAGS，Stan），因此将可能性指定为以潜在变量为条件。这可能会导致研究人员通过条件似然进行模型比较，其中潜变量被认为是模型参数。然而，在其他设置中，典型的模型比较涉及潜在变量被整合出来的边缘似然性。这种区别往往被忽视，尽管事实上，它可以有很大的影响比较的利益。在本文中，我们澄清和说明这些问题，侧重于比较的条件和边际偏差信息标准（DIC）和渡边赤池信息标准（WAIC）在心理测量建模。条件/边际区别对应于模型是否应该预测数据中的聚类或新聚类（其中“聚类”通常对应于更高级别的单位，如人或学校）。相应地，我们表明，边际WAIC对应于留一簇（LOcO）交叉验证，而条件WAIC对应于留一个单元（LOuO）。这些结果导致建议的一般应用的标准模型与潜变量。
2019-07-25 stat.CO
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据，复杂的统计模型是必要的，需要计算上可行的推理方案。我们介绍最大和平滑，一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型（LGM），其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步（Max）中，似然函数由高斯密度近似，其均值和协方差分别等于（a）最大似然估计和逆观测信息，或（b）归一化似然函数的均值和协方差。在第二步（平滑）中，推断潜参数和超参数，并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的，所以LGM的潜在参数的近似后验密度（以超参数为条件）也是高斯的，从而有助于在高维中进行有效的后验推断。此外，超参数的近似边缘后验分布是易处理的，因此，超参数可以独立于潜在参数进行采样。在大量的独立数据复制，稀疏精度矩阵和高维潜在向量的情况下，与从精确的似然函数推断后验密度的MCMC方案相比，加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间，时间和时空推理问题。我们的结果表明，最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
Importance sampling squared for Bayesian inference in latent variable models
我们考虑贝叶斯推断时，重要性抽样的可能性是分析棘手的，但可以无偏估计。我们将此过程称为重要性抽样平方（IS 2），因为我们通常可以通过重要性抽样来估计可能性本身。我们提供了一个正式的理由重要性抽样时，估计的可能性和研究其收敛特性。我们分析的影响，估计的可能性推断，并提供指导方针，如何建立的精度的可能性估计，以获得最佳的权衡？计算成本和模型参数后验推断的准确性之间的关系。我们举例说明的过程中的经验应用的广义多项logit模型和随机波动率模型。结果表明，在最优实现下，IS2方法可以得到快速准确的后验推理。
2016-07-24 stat.ME
Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors
我们揭示了条件归一化最大似然（CNML）分布和贝叶斯预测密度的基础上的潜在信息先验（LIPs）之间的关系。特别地，CNML 3，这是一种类型的CNML分布，进行了研究。预测密度的贝叶斯投影，这是一个信息投影的预测密度的贝叶斯预测密度的集合，被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影（BPCNML 3）与基于LIP的贝叶斯预测密度渐近相同。此外，在一些更强的假设下，我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。
2014-12-25 math.ST stat.TH
Latent Parameter Estimation in Fusion Networks Using Separable Likelihoods
University of Edinburgh（爱丁堡大学）；Telecom-SudParis（电信南方学院）
本文提出一种更准确的可分离伪似然方法，用于在多传感器状态空间模型中估计潜在参数，并通过经验贝叶斯视角评估其在多目标和测量关联模糊情况下的有效性。
2018-01-02 cs.IT cs.MA cs.SY
Avoiding Latent Variable Collapse With Generative Skip Models
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
变分自动编码器学习高维数据的分布。他们用深层潜变量模型对数据进行建模，然后通过最大化对数边际似然的下限来拟合模型。VAE可以捕获复杂的分布，但它们也可能遭受称为“潜在变量崩溃”的问题，特别是如果可能性模型很强大。具体来说，下界涉及潜在变量的近似后验;当它被设置为等于先验时，这个后验“崩溃”，即，当近似后验独立于数据时。虽然VAE学习良好的生成模型，但潜在变量崩溃阻止它们学习有用的表示。在本文中，我们提出了一种简单的新方法，以避免潜在变量崩溃，包括跳过连接在我们的生成模型，这些连接之间的强联系的潜在变量和似然函数。我们从理论和实证两个方面研究了生成跳跃模型。理论上，我们证明了跳跃模型增加了观测值和推断的潜变量之间的互信息。从经验上讲，我们研究图像（MNIST和Omniglot）和文本（Yahoo）。与现有的VAE架构相比，我们表明生成跳过模型保持类似的预测性能，但导致更少的崩溃，并提供更有意义的数据表示。
2019-01-30 cs.CL cs.LG stat.ML
Learning Latent Variable Models via Jarzynski-adjusted Langevin Algorithm
本文提出JALA-EM算法，利用Jarzynski调整的Langevin采样器结合序贯蒙特卡洛，实现潜变量模型参数的最大边际似然估计，并证明其收敛性，适用于模型选择。
2025-10-24 stat.CO stat.ML
Bayesian Out-Trees
Columbia University（哥伦比亚大学）
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理，其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图，从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然，是可交换的，并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外，外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Variational f-divergence Minimization
University College London（伦敦大学学院）；London School of Economics（伦敦政治经济学院）
本文提出一种结合Spread Divergence的变分方法，使得任意f-散度均可用于训练广泛的潜变量模型，扩展了非似然训练准则的适用范围。
2024-12-14 cs.LG stat.ML
Improved return level estimation via a weighted likelihood, latent spatial extremes model
对罕见事件（如大降雨事件的强度）的回报水平估计的不确定性使得难以制定减轻洪水等相关灾害的战略。潜在的空间极端模型通过利用极端事件统计特征的空间依赖性来跨位置借用力量，从而减少不确定性。然而，这些估计值可能由于模型错误而具有较差的特性：许多潜在的空间极值模型不考虑极值依赖性，这是极端事件本身的空间依赖性。我们提出了一个加权的可能性，使用极值系数，将信息的极值依赖在估计过程中，潜在的空间极值模型，使条件独立的假设，提高估计。这种方法与直接对空间极值依赖进行建模不同，但更简单;例如，通过拟合最大稳定过程，这对于拟合真实的大型数据集来说是具有挑战性的。我们采用了一个分层贝叶斯推理框架，使用模拟显示加权模型提供了改进的估计高分位数，并应用我们的模型，以提高回报水平的估计科罗拉多州降雨事件与1%的年重复概率。
2018-12-21 stat.AP
Maximum Likelihood for Gaussian Process Classification and Generalized Linear Mixed Models under Case-Control Sampling
在不同领域的现代数据集通常包括从总体中非随机采样的单元，并且具有潜在的相关结构。在这里，我们研究了这种设置的一种常见形式，其中每个单元都与一个潜变量相关联，所有潜变量都是相关的，并且对单元进行采样的概率取决于其响应。这样的设置经常出现在病例对照研究中，其中采样单元由于空间接近、家庭关系或其他相关性来源而相关。从计算和统计的角度来看，这种情况下的极大似然估计都具有挑战性，需要考虑采样方案的近似值。我们提出了一个家庭的近似似然方法，结合复合似然和期望传播。我们通过大量的模拟证明了我们的解决方案的有效性。我们利用它们来研究病例对照遗传关联研究中收集的几种复杂疾病的遗传结构，其中每个人都测量了数十万种遗传变异，并且由于遗传相似性，个体的潜在疾病负债是相关的。我们的工作是第一个提供一个易于处理的基于似然的解决方案，病例对照数据与复杂的依赖结构。
2019-04-24 stat.ME
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology（东京工业大学）
在数据科学和机器学习中，经常使用分层参数模型，例如混合模型。它们包含两种变量：可观察变量，代表可以直接测量的数据部分，以及潜变量，代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加，但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中，我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性，并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而，单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下，给出了两类单变量估计的误差函数的渐近展开式，该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明，贝叶斯和最大似然方法的精度是渐近等价的，并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率，该概率可用于对感兴趣的量进行贝叶斯模型平均。然而，对于许多复杂的模型，包括潜在建模方法，边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似（INLA），设计的模型与潜在的高斯结构。在这项研究中，我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是，我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
Likelihood-Free Variational Autoencoders
Beijing University of Posts and Telecommunications（北京邮电大学）；McGill University（麦吉尔大学）
针对VAEs因预定义似然导致重构模糊的问题，提出无似然框架EnVAE，利用能量分数构建重构损失，并引入快速变体FEnVAE实现高效单样本训练，显著提升了重构与生成质量。
2025-04-27 cs.LG stat.ML
Fixing a Broken ELBO
Google AI（谷歌人工智能）；Stanford University（斯坦福大学）
最近在无监督表示学习方面的工作主要集中在学习深度定向潜变量模型。通过最大化边际似然或证据来拟合这些模型通常是难以处理的，因此常见的近似方法是最大化证据下限（ELBO）。然而，最大似然训练（无论是精确的还是近似的）并不一定会产生良好的潜在表示，正如我们在理论和经验上所证明的那样。特别是，我们得到的输入和潜在变量之间的互信息的变分的下限和上限，并使用这些界限来推导出一个率失真曲线，其特征在于压缩和重建精度之间的权衡。使用这个框架，我们证明了有一个家庭的模型相同的ELBO，但不同的定量和定性特征。我们的框架还提出了一种简单的新方法，以确保具有强大随机解码器的潜在变量模型不会忽略其潜在代码。
2018-02-13 cs.LG stat.ML
SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks
Stellenbosch University（斯泰伦博斯大学）；National Institute for Theoretical and Computational Sciences（国家理论与计算科学研究所）
变分自编码器的初始工作假设具有简单分布的独立潜变量。随后的工作探索了合并更复杂的分布和依赖结构：包括编码器网络中的规范化流允许潜变量非线性地纠缠，为近似后验创建更丰富的分布类别，并且堆叠潜变量层允许为生成模型指定更复杂的先验。这项工作探讨将任意依赖结构，指定的贝叶斯网络，到VAE。这是通过用图形残差流扩展先验和推理网络来实现的-残差流通过掩蔽流的残差块的权重矩阵来编码条件独立性。我们比较了我们的模型在几个合成数据集上的性能，并展示了它在数据稀疏环境中的潜力。
2022-04-23 cs.LG stat.ML
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics（国立信息学研究所）；Kyoto University（京都大学）；NEC Knowledge Discovery Laboratories（NEC知识发现实验室）
因子化信息准则（FIC）是近年来发展起来的一种边缘对数似然的近似方法，它提供了一个自动的模型选择框架，并具有易于处理的推理算法。本文对FIC进行了重新思考，填补了以往FIC研究的理论空白。首先，我们揭示了FIC的核心思想，它允许推广更广泛的LVMs类，包括连续LVMs，与以前的FIC相比，它只适用于二进制LVMs。其次，我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs，也修剪冗余的潜变量，已被删除在以前的研究中的系统程序。第三，我们提供了一个解释FIC作为一个变分自由能，并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究，数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
Learning Attribute Patterns in High-Dimensional Structured Latent Attribute Models
结构化潜属性模型（Structured Latent Attribute Models，SLAM）是一类特殊的离散潜变量模型，广泛应用于社会科学和生物科学领域。本文考虑了从潜在的高维配置的潜在属性的SLAM学习显着的属性模式的问题。我们解决了理论上的可识别性问题，提出了一种惩罚似然方法的属性模式的选择，并进一步建立选择一致性在这样一个过拟合SLAM与发散的潜在模式的数量。仿真研究和两个真实的教育评估数据集说明了所提出的方法的良好性能。
2019-06-06 stat.ME stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Sparse Latent Class Analysis For Dichotomous Responses: Post-Estimation Refinement via Item-level Pseudo-Likelihood
London School of Economics and Political Science（伦敦政治经济学院）；RWTH Aachen University（亚琛工业大学）
本文提出一种计算高效的后估计细化方法，通过稀疏模型估计提升模型可解释性，通过项目特定响应概率的模型选择进一步减少冗余层次，从而获得更易于解释的稀疏矩阵。
2026-09-11 stat.ME
Generic Inference in Latent Gaussian Process Models
我们开发了一个自动变分方法的推理模型与高斯过程（GP）的先验和一般似然。该方法支持多个输出和多个潜在函数，并且不需要条件似然的详细知识，只需要将其评估为黑盒函数。使用混合高斯的变分分布，我们证明了证据下限和它的梯度可以有效地估计使用单变量高斯分布的样本。此外，该方法是可扩展的大型数据集，这是通过使用增强的前通过诱导变量的方法支持最稀疏的GP近似，以及并行计算和随机最优化。通过在小数据集、中等规模数据集和大数据集上的实验，我们定量和定性地评估了我们的方法，显示了它在不同似然模型和稀疏水平下的竞争力。在涉及预测航班延误和手写数字分类的大规模实验中，我们证明了我们的方法与最先进的硬编码方法可扩展GP回归和分类不相上下。
2018-11-05 stat.ML
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains
Stony Brook University（石溪大学）；National Institute of Mental Health（美国国家精神卫生研究所）；Champalimaud Research（尚帕利莫研究院）
本文提出cvHM框架，结合Hida-Matérn核与CVI及双向信息滤波，为任意似然下的潜在神经轨迹推断提供线性时间复杂度的变分方法，并利用Whittle近似似然高效学习超参数。
2023-06-01 cs.LG q-bio.NC stat.AP
Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods
School of Mathematics, South China University of Technology（华南理工大学数学学院）；Department of Statistics, Purdue University（普渡大学统计学系）
本文针对序贯神经后验估计中的APT方法，将其重构为嵌套估计问题，并提出多种多层蒙特卡洛估计器以高效估计损失及梯度，同时给出收敛性分析，数值实验验证了方法的有效性。
2025-10-15 cs.LG stat.CO stat.ML
Latent Space-Based Likelihood Estimation Using a Single Observation for Bayesian Updating of a Nonlinear Hysteretic Model
本研究提出一种基于变分自编码器潜空间的非参数似然评估方法，解决了稀疏或单一观测下非线性模型贝叶斯更新与不确定性量化难题，为数据受限环境提供了稳健工具。
2024-10-11 stat.AP
Exact integrated completed likelihood maximisation in a stochastic block transition model for dynamic networks
潜在随机块模型是一种灵活的、广泛应用于网络数据分析的统计模型。这种模型的扩展到一个动态的背景下，往往无法捕捉连续的网络快照中的边缘的持久性。最近引入的随机块转换模型通过对创建新边缘和随着时间的推移保持边缘的概率进行建模，精确地解决了这个问题。使用基于模型的聚类方法，本文说明了一种方法来适应随机块转换模型下的贝叶斯框架。该方法依赖于一个贪婪的优化过程，以最大限度地提高准确的集成完成的可能性。所用算法的计算效率使得该方法具有可扩展性，适用于大型网络数据集的分析。至关重要的是，可以自动选择潜在组的最佳数量，无需额外的计算成本。该方法的有效性证明通过人工和真实数据集的应用程序。
2018-04-13 stat.ME
Nested Expectation Propagation for Gaussian Process Classification with a Multinomial Probit Likelihood
我们考虑使用高斯过程（GP）先验的概率多项式probit分类。多类GP分类的挑战是在非高斯后验分布上的积分，以及随着目标类数量的增加，未知潜变量的数量增加。期望传播（EP）已被证明是一个非常准确的近似推理方法，但现有的EP方法的多项式probit GP分类依赖于数值求积或独立的假设之间的潜在值从不同的类，以方便计算。在本文中，我们提出了一种新的嵌套EP方法，它不需要数值求积，并准确地近似所有类间的后验依赖的潜在值，但仍然在类的数量线性缩放。嵌套EP方法的预测精度相比，拉普拉斯，变分贝叶斯，和马尔可夫链蒙特卡罗（MCMC）近似与各种基准数据集。在实验中，嵌套EP是最一致的方法，相对于MCMC抽样，但比较方法之间的差异很小，如果只考虑分类精度。
2012-07-16 stat.ML
Gaussian orthogonal latent factor processes for large incomplete matrices of correlated data
我们引入高斯正交潜在因子过程的建模和预测大的相关数据。为了处理计算的挑战，我们首先分解的似然函数的高斯随机场与多维输入域的密度在正交分量与低维输入的乘积。连续时间卡尔曼滤波器的实现有效地计算似然函数，而无需进行近似。我们还证明了因子过程的后验分布是独立的，这是因子过程和正交因子载荷矩阵的先验独立性的结果。对于大样本量的研究，我们提出了一种灵活的方法来建模的平均值，我们推导出边缘后验分布，以解决可识别性问题，在这些参数的采样。模拟和实际数据的应用证实了这种方法的出色性能。
2021-11-27 stat.AP stat.CO stat.ME
Regularized-Likelihood Deconvolution with Posterior-Density Reconstruction
University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）；University of Luxembourg（卢森堡大学）
针对密度反卷积的不适定问题，提出两阶段基于似然的方法，建立高斯误差下的收敛速率，数值实验及弗雷明汉血压数据应用验证其互补的有限样本表现。
2026-09-17 math.ST stat.TH
A Stochastic Multivariate Latent Variable Model For Categorical Responses
该研究提出一种随机多元潜变量框架，将扩散随机过程推广到含未观测随机效应的分类响应建模，并给出参数最大似然估计思路。
2023-06-02 math.ST stat.TH
Mitigating Eddington and Malmquist Biases in Latent-Inclination Inference of the Tully-Fisher Relation
本研究提出贝叶斯框架，通过潜在倾角处理、选择函数建模及两种偏差校正方法，同时缓解Tully-Fisher关系推断中的Eddington和Malmquist偏差，实现无偏距离估计。
2025-09-08 astro-ph.GA astro-ph.IM stat.ME
Computation for Latent Variable Model Estimation: A Unified Stochastic Proximal Framework
针对含大量潜变量、混合变量类型、参数约束与惩罚的潜变量模型估计问题，本文提出统一优化表述及拟牛顿随机近端算法，并证明其理论性质与计算优势。
2021-08-09 stat.CO stat.ME
A Bayesian GED-Gamma stochastic volatility model for return data: a marginal likelihood approach
几项研究探讨了基于随机波动率（SV）模型的推断，同时考虑到回报数据的程式化事实。常见的问题是，许多波动率模型的潜在参数是高维的，并且在分析上难以处理，这意味着推断需要使用例如马尔可夫链蒙特卡罗或拉普拉斯方法进行近似。一些SV模型被表示为线性高斯状态空间模型，其导致边际似然，从而降低问题的维度。其他的不线性化，并且潜在参数被整合出来。然而，这些提出了一个相当严格的演化方程。因此，我们提出了一个贝叶斯GED-Gamma SV模型，其直接边际似然是广义学生t分布的产物，其中潜在状态通过平稳高斯演化方程随时间变化。然后，对对数精度/波动率的先验分布进行近似，而不需要模型线性化。这也允许计算边缘似然函数，其中高维潜在状态被整合出来，并且使用平滑过程容易地在块中采样。此外，我们的GED伽马模型的扩展很容易将斜重尾分布。我们使用贝叶斯估计的静态参数的推断，并进行了模拟研究的估计的几个性质。我们的结果表明，所提出的模型可以合理地估计。此外，我们还提供了巴西资产和英镑/美元汇率的案例研究，以显示我们的方法在拟合和预测方面的性能。关键词：SV模型，新的序列和平滑程序，广义学生t分布，非高斯误差，重尾，偏度
2018-08-23 q-fin.ST stat.OT
An efficient Fisher-scoring algorithm for fitting latent class models with individual covariates
对于类权重依赖于个体协变量的潜在类模型，我们推导出一个简单的表达式，用于计算得分向量和一个方便的混合之间的观察和预期的信息矩阵，它总是正定的。这些成分，结合基于线搜索的最大化算法，提供了一个有效的工具，极大似然估计。特别是，所提出的算法是这样的，对数似然从一个步骤到下一个减少和选择的起始值是不是至关重要的达到局部最大值。我们展示了如何使用相同的算法进行数值调查模型的误指定的效果。并以教育传输为例进行了说明。
2015-11-12 stat.CO
