Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago（芝加哥大学）；Stevens Institute of Technology（史蒂文斯理工学院）
研究了在发电机模型的隐空间中学习基于能量的模型（EBM）的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗（MCMC）。相反，我们建议使用噪声对比估计（NCE）通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而，NCE通常不能准确地估计这样的密度比，给定两个密度之间的大差距。为了有效地解决这个问题，并学习更具表现力的先验模型，我们开发了自适应多阶段密度比估计，将估计分解为多个阶段，并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习，使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息，并且可以有效地训练。我们的实验表明，强大的性能，在图像生成和重建，以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Aligning Latent Spaces with Flow Priors
本文提出通过流生成模型作为先验来对齐可学习潜在空间的新框架，通过预训练流模型捕捉目标分布，并利用对齐损失优化潜在空间，理论和实验验证了方法的有效性。
2026-03-15 cs.CV cs.LG
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong（香港中文大学）
现实世界中的许多重要问题并没有独特的解决方案。因此，重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中，我们引入了这样一个深度学习框架，它学习输入和输出之间的一对多映射，以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计}，因为我们对通过一组离散潜变量生成的一对多映射进行建模，每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此，潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间，然后发展理论背景，并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法，是翔实的，方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University（台湾交通大学）
存在许多形式的深层潜变量模型，例如变分自编码器和对抗自编码器。无论模型的具体类别如何，都存在一个隐含的共识，即潜在分布应该朝着先验进行正则化，即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时，我们的结果表明，在学习了充分表达的先验知识的情况下，潜在正则化是不必要的，并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处：潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park（马里兰大学帕克分校数学系与科学计算与数学建模中心）
虽然变分自编码器在若干任务中已经成功，但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器，其中一个额外的先验编码器网络学习数据流形的嵌入，保留了数据的拓扑和几何属性，从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的，测地线生成的样本位于数据流形上，因此与欧几里得插值相比更真实。为此，我们引入了一个基于图形的算法，探索数据流形和插值沿网络测地线在潜在的空间，最大限度地提高密度的样本沿路径，同时最大限度地减少总能量。我们使用的3D螺旋数据显示，与传统的自动编码器不同，先验编码的几何基础的数据，并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集，以展示学习数据表示在离群值生成，潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
New Estimation Procedures for PLS Path Modelling
Laboratoire LISE-CEREMADE, Université de Paris IX Dauphine（巴黎第九大学多芬大学 LISE-CEREMADE 实验室）
给定R组的数值变量X1，. XR，我们假设每个组是一个潜在潜在变量的结果，并且所有潜在变量通过线性方程组绑定在一起。此外，我们假设一些解释性潜变量可能在一个或多个方程中成对相互作用。我们基本上考虑PLS路径建模的算法来估计潜在变量和模型的系数。新的“外部”估计方案，提出了一个更灵活的方式向强组结构的潜在变量。提出了新的“内部”估计方案，使PLSPM能够充分利用变量组互补性并处理相互作用。给出了应用实例。
2008-02-07 cs.LG
Discovery and density estimation of latent confounders in Bayesian networks with evidence lower bound
Queen Mary University of London（伦敦玛丽女王大学）
发现和参数化潜在的混淆分别代表因果结构学习和密度估计中的重要和具有挑战性的问题。在本文中，我们专注于发现和学习潜在混杂因素的分布。这项任务需要来自统计学和机器学习不同领域的解决方案。我们结合变分贝叶斯方法，期望最大化，爬山搜索，结构学习的假设下，因果关系不足的元素。我们提出了两种学习策略，一种是最大限度地提高模型选择的准确性，另一种是提高计算效率，以换取较小的准确性降低。前者适用于小型网络，后者适用于中等规模的网络。这两种学习策略相对于现有的解决方案表现良好。
2022-08-22 cs.LG
Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）；Amazon（亚马逊）
生成概率模型的学习是机器学习的核心问题，由于维数灾难的存在，使得生成概率模型的学习面临着巨大的挑战。本文提出了一种联合降维和非参数密度估计框架，使用一种新的估计，可以显式地捕捉潜在的分布适当的降维表示的输入数据。其思想是联合设计一个非线性降维自动编码器，根据一组简约的潜在随机变量对训练数据进行建模，并学习傅立叶域中潜在变量的联合分布的规范低秩张量模型。所提出的潜在密度模型是非参数的和通用的，而不是预定义的前，假设在变分自动编码器。联合优化的自动编码器和潜在的密度估计追求通过制定学习的负对数似然在潜在域和自动编码器重建损失的组合最小化。我们证明了该模型在玩具，表格和图像数据集上回归任务，采样和异常检测方面取得了非常有前途的结果。
2021-06-20 cs.LG stat.ML
Latent Variable Modeling for Robust Causal Effect Estimation
Keio University（Keio大学）；Yokohama City University（Yokohama市立大学）
本文提出将潜变量建模融入双重机器学习（DML）第二阶段的框架，以处理未观测混杂因素，并在合成与真实数据上验证其稳健因果效应估计能力。
2025-08-27 cs.LG
Learning Latent Space Hierarchical EBM Diffusion Models
Stevens Institute of Technology（史蒂文斯理工学院）
针对多层生成模型中的先验空洞问题，本文提出利用扩散概率方案辅助EBM先验学习，实验证明其性能优越。
2024-05-27 cs.CV cs.LG stat.ML
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology（东京工业大学）
在数据科学和机器学习中，经常使用分层参数模型，例如混合模型。它们包含两种变量：可观察变量，代表可以直接测量的数据部分，以及潜变量，代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加，但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中，我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性，并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而，单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下，给出了两类单变量估计的误差函数的渐近展开式，该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明，贝叶斯和最大似然方法的精度是渐近等价的，并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Imperial College London（帝国理工学院）
针对现有不确定性估计方法受限于低维假设且依赖训练时分布外数据的问题，提出一种基于潜在表示的数据自适应高维假设检验框架，无需重训编码器即可提升OOD检测与不确定性估计的准确性。
2023-10-25 cs.AI cs.CV cs.LG
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架，用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验，替代标准正态先验，并引入潜在缩放因子控制采样方差，平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Nonparametric Estimation of Multi-View Latent Variable Models
Georgia Institute of Technology（佐治亚理工学院）；University of California Irvine（加州大学欧文分校）
谱方法极大地推进了潜变量模型的估计，产生了一系列具有强有力理论保证的新颖而有效的算法。然而，目前的谱算法主要限于离散或高斯分布的混合物。在本文中，我们提出了一种核方法学习多视图潜变量模型，允许每个混合成分是非参数的。该方法的核心思想是将多视点隐变量的联合分布嵌入到再生核Hilbert空间中，然后利用鲁棒的张量幂方法恢复隐变量参数。我们建立了所提出的方法的样本复杂性是二次的潜在组件的数量和其他相关参数是一个低阶多项式。因此，我们的非参数张量学习潜变量模型的方法具有良好的样本和计算效率。此外，在我们的实验中，非参数张量幂方法优于EM算法和其他现有的谱算法。
2013-12-08 cs.LG stat.ML
Latent Distance Estimation for Random Geometric Graphs
Laboratoire de Math\'ematiques d'Orsay (LMO) Universit\'e Paris-Sud 91405 Orsay Cedex \
随机几何图是网络潜在点生成模型的流行选择。它们的定义是基于一个样本的$n$点$X_1,X_2,\cdots,X_n$上的欧几里德球~ $\mathbb{S}^{d-1}$，它代表了潜在的位置的节点的网络。节点之间的连接概率由在潜在点之间的距离处评估的未知函数（称为“链接”函数）确定。我们引入了一个谱估计的潜在点之间的成对距离，我们证明了它的收敛速度是相同的$\mathbb{S}^{d-1}$上的函数的非参数估计，对数因子。此外，我们提供了一个有效的谱算法来计算这个估计没有任何知识的非参数连接函数。作为副产品，我们的方法也可以一致地估计潜在空间的维度$d$。
2019-09-15 cs.LG stat.ML
Learning Latent Space Energy-Based Prior Model
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
我们建议在发电机模型的潜在空间中学习基于能量的模型（EBM），这样EBM就可以作为发电机模型自顶向下网络上的先验模型。潜在空间EBM和自上而下的网络都可以通过极大似然联合学习，这涉及从潜在向量的先验分布和后验分布进行短期MCMC采样。由于潜在空间的低维性和自顶向下网络的表达能力，潜在空间中的简单EBM可以有效地捕获数据中的错误，并且潜在空间中的MCMC采样是有效的并且混合良好。我们表明，学习模型在图像和文本生成和异常检测方面表现出很强的性能。单页代码可以在补充材料中找到。
2020-10-29 cs.LG stat.ML
Asymptotic Accuracy of Distribution-Based Estimation for Latent Variables
Tokyo Institute of Technology（东京工业大学）
层次统计模型在信息科学和数据工程中有着广泛的应用。模型由两种类型的变量组成：代表给定数据的可观察变量和不可观察标签的潜变量。模型的渐近分析在评估学习过程中起着重要的作用;分析的结果不仅适用于理论，而且适用于实际情况，如最佳模型选择和主动学习。有许多关于泛化误差的研究，泛化误差衡量可观测变量的预测精度。然而，估计的潜变量的准确性尚未阐明。为了定量评估这一点，本文制定了基于分布的函数的潜在变量的估计误差。分析了极大似然和贝叶斯方法的渐近行为。
2014-02-20 cs.LG stat.ML
A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models
Aalto University（阿尔托大学）
在因果推理中使用深层潜变量模型最近引起了相当大的兴趣，但一个重要的悬而未决的问题是它们产生一致的因果估计的能力。虽然他们已经证明了有希望的结果和理论存在于一些简单的模型公式，我们也知道，因果效应甚至无法识别一般与潜变量。我们调查的理论和实证结果之间的差距与分析的考虑和广泛的实验下，多个合成和现实世界的数据集，使用因果效应变分自编码器（CEVAE）作为案例研究。虽然CEVAE似乎在一些简单的场景下可靠地工作，但它不能正确地估计潜在变量或复杂数据分布的因果效应，这与其原始动机相反。因此，我们的研究结果表明，应更加注意确保深潜变量模型的因果估计的正确性。
2022-01-24 cs.LG
Robust estimation of latent tree graphical models: Inferring hidden states with inexact parameters
Weizmann Institute（魏茨曼研究所）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
隐树图模型广泛应用于计算生物学、信号和图像处理以及网络断层扫描。在这里，我们设计了一个新的有效的，潜在的树模型，包括高斯和离散，可逆的模型，显着提高了以前的样本要求范围的估计过程。我们的技术是基于一个新的隐藏的状态估计器，这是强大的估计参数的不准确性。更准确地说，我们证明了潜在树模型可以估计高概率在所谓的Kesten-Stigum制度与$O(log^2 n)$样本，其中$n$是节点的数量。
2011-09-21 cs.LG math.PR math.ST
Foresee then Evaluate: Decomposing Value Estimation with Latent Future Prediction
Tianjin University（天津大学）；Huawei（华为）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
价值函数是强化学习的核心概念。值估计，特别是函数近似，可能具有挑战性，因为它涉及环境动态和奖励信号的随机性，在某些情况下可能是稀疏和延迟的。典型的无模型强化学习算法通常通过时间差分（TD）或蒙特卡罗（MC）算法直接从奖励中估计策略的值，而不显式地考虑动态。本文提出了带未来预测的价值分解（VDFP），将价值估计过程分为两步：1）预测潜在的未来，2）评估潜在的未来，并将价值函数分解为潜在的未来动态部分和与政策无关的轨迹回报部分，从而在价值估计中分别对潜在动态和回报进行建模。此外，我们推导出一个实用的深度RL算法，包括一个卷积模型，用于从过去的经验中学习紧凑的轨迹表示，一个条件变分自动编码器，用于预测潜在的未来动态，以及一个凸返回模型，用于评估轨迹表示。在实验中，我们在几个OpenAI Gym连续控制任务以及几个具有延迟奖励的挑战性变体中，经验性地证明了我们的方法对于非策略和策略RL的有效性。
2021-03-03 cs.LG
Tunable Latent Generative Priors for Compressed Sensing and Inverse Problems
Northeastern University（东北大学）；Harvard University（哈佛大学）；Technical University of Munich（慕尼黑技术大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出可调复杂度生成模型，用于提升压缩感知等反问题的重建性能，并通过理论分析和实验验证其有效性。
2026-09-14 cs.AI cs.LG
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GAN）的生成器经过训练，可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的，但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间，并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Instrumental Variable Estimation for Causal Inference in Longitudinal Data with Time-Dependent Latent Confounders
University of South Australia（南澳大学）
针对纵向数据中潜在时变混杂因素导致的因果推断难题，提出基于RNN的时变工具因子模型TIFM，经理论分析与合成、真实数据集验证，可有效估计时变因果效应。
2023-12-12 cs.AI cs.LG stat.ME
Mining the Factor Zoo: Estimation of Latent Factor Models with Sufficient Proxies
North Carolina State University（北卡罗来纳州立大学）；Hong Kong University of Science and Technology（香港科技大学）
潜在因子模型估计通常依赖于使用领域知识来手动挑选几个观察到的协变量作为因子代理，或者纯粹进行多变量分析，例如主成分分析。然而，前一种方法可能会受到偏见，而后者不能纳入额外的信息。我们建议桥接这两种方法，同时允许因子代理的数量发散，从而使潜在因子模型估计鲁棒性，灵活性和统计上更准确。作为奖励，因子的数量也允许增长。在我们的方法的核心是一个惩罚降秩回归结合信息。为了进一步处理重尾数据，提出了一种计算上具有吸引力的惩罚鲁棒降秩回归方法。与基准相比，我们建立了更快的收敛速度。大量的模拟和真实的例子来说明的优势。
2023-01-03 cs.LG stat.ME
LED: Latent Variable-based Estimation of Density
Mythic Inc（Mythic公司）
现代生成模型大致分为两大类：（1）可以生成高质量的随机样本，但不能估计新数据点的精确密度的模型;（2）以牺牲样本质量和潜在空间的紧凑性为代价，提供精确密度估计的模型。在这项工作中，我们提出了LED，一种与GANs密切相关的新的生成模型，它不仅允许有效的采样，而且允许有效的密度估计。通过最大限度地提高对数似然的输出，我们达到了一个替代的对抗性优化目标，鼓励生成的数据的多样性。这个公式提供了几个流行的生成模型之间的关系的见解。此外，我们构建了一个基于流的生成器，可以计算生成样本的精确概率，同时允许低维潜变量作为输入。我们在各种数据集上的实验结果表明，我们的密度估计器可以产生准确的估计值，同时在生成的样本中保持良好的质量。
2022-06-23 cs.AI cs.LG
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind（深度思维）；Microsoft Research New England（微软新英格兰研究院）
由于梯度的高方差，离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计，利用双控制变量。这些控制变量作用于主要控制变量之上，并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型，例如具有二进制潜变量的变分自编码器，与使用REINFORCE leave-one-out估计器的标准训练相比，我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明，我们的估计可以有较低的方差相比，其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
Fast moment estimation for generalized latent Dirichlet models
Duke University（杜克大学）；Princeton University（普林斯顿大学）
提出了一类新的混合数据类型Dirichlet潜变量模型的广义矩量法（GMM）快速参数估计方法。通过GMM的参数估计已被证明具有计算和统计上的优势，替代方法，如期望最大化，变分推理，和马尔可夫链蒙特卡洛。我们的方法（MELD）的关键计算优势是参数估计不需要隐变量的实例化。此外，GMM方法的一个代表性优点是模型的行为与观测值的分布假设无关。我们推导出人口矩条件后，边缘化的样本特定的Dirichlet潜变量。矩条件仅依赖于分量均值参数。我们说明了我们的方法模拟数据的实用性，比较结果从MELD替代方法，我们通过MELD的应用程序，几个数据集显示我们的方法的承诺。
2016-03-23 cs.LG math.ST stat.AP
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Causal Effect Estimation using identifiable Variational AutoEncoder with Latent Confounders and Post-Treatment Variables
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）；Data 61, Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织数据61分部）；STEM, University of South Australia（南澳大学 STEM 学院）
针对观测数据因果效应估计中潜在混杂因子与治疗后变量引发的偏差问题，提出结合VAE与iVAE的CPTiVAE方法，证明相关可识别性，实验表明其性能优于现有最优方法，具备实际应用潜力。
2024-08-13 cs.LG stat.ME
Learning Latent Space Energy-Based Prior Model for Molecule Generation
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（史蒂文斯理工学院）
深度生成模型最近已被应用于分子设计。如果分子以线性SMILES字符串编码，建模变得方便。然而，依赖于字符串表示的模型往往会生成无效的样本和副本。以前的工作解决了这些问题，建立模型的化学有效的片段或明确执行化学规则的生成过程。我们认为，一个表达模型是足够的隐式和自动学习复杂的化学规则的数据，即使分子编码在简单的字符级SMILES字符串。我们建议使用SMILES表示来学习基于潜在空间能量的先验模型，用于分子建模。我们的实验表明，我们的方法是能够产生的分子的有效性和唯一性与国家的最先进的模型竞争。有趣的是，生成的分子具有结构和化学特征，其分布几乎与真实分子完全匹配。
2020-10-19 cs.LG
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；Google（谷歌）；University of Toronto（多伦多大学）
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上，给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化，则编码器的参数可以被优化以最小化该估计器的方差。我们表明，使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务，其中无偏估计，而不是边际似然下限，是首选，如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Leveraging Demonstrations with Latent Space Priors
Meta AI (FAIR)（Meta人工智能（基础人工智能研究团队））；ETH Zürich（苏黎世联邦理工学院）
演示提供了对相关状态或动作空间区域的洞察，具有极大的潜力，以提高强化学习代理的效率和实用性。在这项工作中，我们建议通过结合技能学习和序列建模来利用演示数据集。从一个学习的联合潜空间开始，我们分别训练一个示范序列的生成模型和一个伴随的低层策略。序列模型形成了一个潜在的空间优先于合理的示范行为，以加速学习的高层次的政策。我们将展示如何从仅限状态的运动捕捉演示中获取此类先验信息，并探索将其整合到迁移任务的策略学习中的几种方法。我们的实验结果证实，潜在空间先验提供了显着的收益，在学习速度和最终性能。我们的基准测试我们的方法在一组具有挑战性的稀疏奖励环境与一个复杂的，模拟的人形，和离线RL基准导航和对象操作。视频、源代码和预训练模型可在相应的项目网站https://facebookresearch.github.io/latent-space-priors上获得。
2023-03-13 cs.AI cs.LG cs.RO
Posterior Ratio Estimation of Latent Variables
University of Bristol（布里斯托大学）
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而，在某些应用中，我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是，我们假设后验比函数可以很好地近似的参数模型，然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时，估计量的相合性和估计参数的渐近正态性。最后，我们使用数值实验验证我们的理论，并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
Estimation of Individual Treatment Effect in Latent Confounder Models via Adversarial Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Oxford（牛津大学）；University at Buffalo（布法罗大学）
从观察数据中估计个体治疗效果（ITE）在医学上是必不可少的。估计ITE的一个核心挑战是处理混杂因素，这些因素是影响干预及其结果的因素。大多数以前的工作依赖于unconfoundedness假设，假设所有的混杂因素都在观测数据中测量。但是，如果存在不可测量的（潜在的）混杂因素，则会引入混杂偏倚。幸运的是，潜在混杂因素的噪声代理通常是可用的，并且可以用于对ITE进行无偏估计。在本文中，我们开发了一种新的对抗性学习框架，使用噪声代理对ITE进行无偏估计。
2018-11-21 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University of Missouri（密苏里大学）
我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
A prior-based approximate latent Riemannian metric
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
随机生成模型使我们能够通过潜在空间中的黎曼度量来捕获位于高维空间中的数据流形的几何结构。然而，它的实际应用是相当有限的，主要是由于不可避免的复杂性。在这项工作中，我们提出了一个替代共形黎曼度量的生成模型，是简单，有效和强大的潜在空间。这个指标是基于一个可学习的先验知识，我们建议使用一个基本的基于能量的模型来学习。我们从理论上分析了所提出的度量的行为，并表明它是明智的，在实践中使用。我们证明实验的效率和鲁棒性，以及新的近似度量的行为。此外，我们显示了所提出的方法在生命科学中的数据分析的适用性。
2021-03-09 cs.LG stat.ML
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University（哈佛大学）；Boston University（波士顿大学）
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题，提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法，可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables
German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Insititute（法兰克福癌症研究所）
潜变量模型是一种强大的统计工具，可以通过从可观察的高维数据中推断未观察到的隐藏状态来揭示患者或细胞之间的相关变化。然而，目前的方法的一个主要缺点是，他们无法学习稀疏和可解释的隐藏状态。此外，在容易获得关于数据潜在结构的部分知识的设置中，将先验信息统计上合理地整合到当前方法中是具有挑战性的。为了解决这些问题，我们提出了spex-LVM，一个阶乘的潜在变量模型与稀疏先验，以鼓励推理领域相关的信息驱动的可解释的因素。spex-LVM利用现有的策划生物医学途径的知识，自动分配注释属性的潜在因素，产生可解释的结果，适合相应的领域的兴趣。对模拟和真实单细胞RNA-seq数据集的评估表明，我们的模型以内在可解释的方式稳健地识别相关结构，区分技术噪声与生物医学变异来源，并提供对现有途径注释的特定适应性调整。可在https://github.com/MLO-lab/spexlvm上获得实现。
2022-04-11 cs.LG stat.ML
Raven's Progressive Matrices Completion with Latent Gaussian Process Priors
Fudan University（复旦大学）
抽象推理能力是人类智能的基础。它使人们能够揭示抽象概念之间的关系，并进一步从这些关系中推导出隐含的规则。Raven's Progressive Matrices（RPM）是一种著名的抽象视觉推理任务，被广泛应用于人类智商测试中。虽然对具有机器智能的RPM求解器进行了广泛的研究，但很少有研究考虑将标准答案选择（分类）问题进一步推进到更具挑战性的答案绘制（生成）问题，这可以验证模型是否确实理解了隐含规则。在本文中，我们的目标是解决后者提出了一个深潜变量模型，其中多个高斯过程作为先验的潜变量分别学习底层的抽象概念RPM，因此，所提出的模型是可解释的概念特定的潜变量。隐高斯过程也提供了一种有效的方式外推的基础上学习的概念变化规则的答案绘画。我们评估所提出的模型RPM类数据集与多个连续变化的视觉概念。实验结果表明，我们的模型只需要很少的训练样本来绘制高质量的答案，生成新的RPM面板，并通过概念特定的潜变量实现可解释性。
2023-02-17 cs.AI cs.LG
Treatment effect estimation with disentangled latent factors
University of South Australia（南澳大利亚大学）
许多研究致力于从观察数据估计治疗效果的问题;然而，大多数方法假设观察变量仅包含混杂因素，即，影响治疗和结果的变量。不幸的是，这一假设在现实世界的应用中经常被违反，因为一些变量只影响治疗而不影响结果，反之亦然。此外，在许多情况下，只能观察到潜在混杂因素的代理变量。在这项工作中，我们首先表明区分混杂因素与工具和风险因素对于平均和条件平均治疗效果估计的重要性，然后我们提出了一种变分推理方法，同时从观察变量中推断潜在因素，将因素分解为三个不相交的集合，分别对应于工具，混杂和风险因素，并将解缠后的因子用于治疗效果评估。实验结果表明，该方法的有效性在广泛的合成，基准和真实世界的数据集。
2021-04-26 cs.LG stat.ML
Sculpting the Latent Space: Disentanglement with WAE-MMD and Programmable Priors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；InterDigital Communications, AI Lab（InterDigital通讯人工智能实验室）
本文提出基于MMD的可编程先验框架，解决VAE中KL正则化无法实现潜空间解耦的问题，在复杂数据集上实现最先进的相互独立性，为表示工程提供基础工具。
2026-10-22 cs.AI cs.LG
Learning Correlated Latent Representations with Adaptive Priors
Columbia University（哥伦比亚大学）；Netflix Inc.（奈飞公司）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Spotify Inc.（声田公司）
变分自动编码器（VAE）已被广泛应用于学习高维数据的紧凑，低维的潜在表示。当数据点之间的相关性结构可用时，以前的工作提出了相关变分自动编码器（CVAE），它采用结构化混合模型作为先验，并为每个混合成分采用结构化变分后验，以强制学习的潜在表示遵循相同的相关性结构。然而，正如我们在这项工作中所证明的那样，这样的选择不能保证CVAE捕获所有的相关性。此外，它阻止我们获得一个易于处理的联合和边际变分分布。为了解决这些问题，我们提出了自适应相关变分自动编码器（ACVAE），它应用了一个自适应先验分布，可以在训练过程中进行调整，并可以学习一个易于处理的联合变分分布。其易于处理的形式还可以通过置信传播进行进一步细化。链接预测和层次聚类的实验结果表明，ACVAE显着优于其他基准之间的CVAE。
2019-12-18 cs.LG stat.ML
Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology（佐治亚理工学院）
流形假设指出，高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器（VAE）通过学习从低维潜在向量到高维数据的映射来近似该流形，同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时，它可能导致数据的模型不太准确。为了解决这种不匹配，我们引入了变分自动编码器与学习的潜在结构（VAELLS），它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构，并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好，而且还允许我们在潜在空间中定义生成变换路径，并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型，并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE，通过为每个潜在维度分配自适应的隐马尔可夫先验，实现无监督盲源分离的端到端学习，学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Disentangling Learning Representations with Density Estimation
Duke University（杜克大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
解纠缠学习表示在许多应用中具有很好的实用性，但它们目前存在严重的可靠性问题。我们提出了高斯信道自动编码器（GCAE），通过灵活的密度估计的潜在空间，实现可靠的解纠缠的方法。GCAE通过将其潜在空间的子集与双总相关（DTC）度量分离，从而将其高维潜在联合分布表示为许多低维条件分布的集合，从而避免了密度估计的维数灾难。在我们的实验中，与最先进的基线相比，GCAE实现了高度竞争力和可靠的解缠分数。
2023-02-08 cs.LG stat.ML
PSI3D: Plug-and-Play 3D Stochastic Inference with Slice-wise Latent Diffusion Prior
Johns Hopkins University（约翰霍普金斯大学）
PSI3D通过切片式潜在扩散先验和总变分正则化，提升大规模3D随机推断在OCT超分辨率中的重建质量。
2026-08-06 cs.LG eess.IV
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University（哥伦比亚大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；University of Florida（佛罗里达大学）
在强化学习和变分自编码器（VAE）训练等背景下，梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器（Yin等人，2020; Dong，Mnih和Tucker 2020）在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而，DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差，解决方案往往位于该边界附近。为了改善这个问题，我们提出了一个新的梯度估计\textit{bitflip} -1，具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性，因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}（UGC），该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲，我们观察到，UGC在玩具实验，离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
The Phylogenetic Indian Buffet Process: A Non-Exchangeable Nonparametric Prior for Latent Features
University of California（加利福尼亚大学）
非参数贝叶斯模型通常基于被建模的对象是可交换的假设。虽然在某些应用中是适当的（例如，文档的词袋模型），有时仅仅出于计算原因而假设可交换;对于基于主题的应用程序，不可交换模型可能是更好的选择。利用图形模型和遗传学的思想，我们描述了一类非参数潜在特征模型的不可交换先验，其计算效率几乎与其可交换的对应物一样。我们的模型是适用于一般的设置中，对象之间的依赖关系可以表示使用树，其中边的长度表示的关系的强度。我们展示了一个应用程序建模概率选择。
2012-06-13 cs.LG stat.ML
Meta-learning for Out-of-Distribution Detection via Density Estimation in Latent Space
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）
已经提出了许多基于神经网络的分布外（OoD）检测方法。然而，它们需要为每个目标任务提供许多训练数据。我们提出了一种简单而有效的元学习方法来检测目标任务中具有小分布数据的OoD。该方法通过潜在空间中的密度估计实现OoD检测。所有任务之间共享的神经网络用于灵活地将原始空间中的实例映射到潜在空间。对神经网络进行元学习，使得通过使用与目标任务不同的各种任务来提高预期的OoD检测性能。这种元学习过程使我们能够在潜在空间中获得适当的表示，用于OoD检测。对于密度估计，我们使用一个高斯混合模型（GMM）与全协方差的每一类。我们可以通过最大化可能性来使GMM参数以封闭形式适应每个任务中的分布数据。由于封闭形式的解决方案是可微的，我们可以元学习的神经网络有效地与随机梯度下降方法，通过将解决方案纳入元学习目标函数。在使用六个数据集的实验中，我们证明了所提出的方法比现有的元学习和OoD检测方法具有更好的性能。
2022-06-20 cs.AI cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva（日内瓦大学）
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器，条件先验VAE（CP-VAE），它学会区分各个混合成分，因此允许从分布式数据集群的世代。我们假设一个两级的生成过程，连续（高斯）的潜变量采样条件上的离散（分类）的潜在成分。新的变分目标自然地耦合后验和先验条件的学习，以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后，当从对应于原始数据的多模态结构的各个混合成分生成新样本时，数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
LEAN-DMKDE: Quantum Latent Density Estimation for Anomaly Detection
MindLab（思维实验室）；Universidad Nacional de Colombia（哥伦比亚国立大学）
本文提出了一种异常检测模型，该模型将基于密度估计的异常检测方法的强大统计基础与深度学习模型的表示学习能力相结合。该方法将用于学习数据的低维表示的自动编码器与基于随机傅立叶特征和密度矩阵的密度估计模型结合在端到端架构中，该架构可以使用基于梯度的优化技术进行训练。该方法基于估计的密度预测新样本的正态度。在不同的基准数据集上进行了系统的实验评估。实验结果表明，该方法的性能等同于或优于其他国家的最先进的方法。
2022-11-15 cs.AI cs.LG math.ST
