Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology（佐治亚理工学院）
流形假设指出，高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器（VAE）通过学习从低维潜在向量到高维数据的映射来近似该流形，同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时，它可能导致数据的模型不太准确。为了解决这种不匹配，我们引入了变分自动编码器与学习的潜在结构（VAELLS），它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构，并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好，而且还允许我们在潜在空间中定义生成变换路径，并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型，并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE，通过为每个潜在维度分配自适应的隐马尔可夫先验，实现无监督盲源分离的端到端学习，学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
The Phylogenetic Indian Buffet Process: A Non-Exchangeable Nonparametric Prior for Latent Features
University of California（加利福尼亚大学）
非参数贝叶斯模型通常基于被建模的对象是可交换的假设。虽然在某些应用中是适当的（例如，文档的词袋模型），有时仅仅出于计算原因而假设可交换;对于基于主题的应用程序，不可交换模型可能是更好的选择。利用图形模型和遗传学的思想，我们描述了一类非参数潜在特征模型的不可交换先验，其计算效率几乎与其可交换的对应物一样。我们的模型是适用于一般的设置中，对象之间的依赖关系可以表示使用树，其中边的长度表示的关系的强度。我们展示了一个应用程序建模概率选择。
2012-06-13 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva（日内瓦大学）
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器，条件先验VAE（CP-VAE），它学会区分各个混合成分，因此允许从分布式数据集群的世代。我们假设一个两级的生成过程，连续（高斯）的潜变量采样条件上的离散（分类）的潜在成分。新的变分目标自然地耦合后验和先验条件的学习，以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后，当从对应于原始数据的多模态结构的各个混合成分生成新样本时，数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Variational Autoencoders with Riemannian Brownian Motion Priors
Technical University of Denmark（丹麦技术大学）；Research Institutes of Sweden（瑞典研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
变分自编码器（VAE）表示低维潜在空间中的给定数据，该潜在空间通常被假设为欧几里得。这个假设自然会导致对连续潜变量的标准高斯先验的共同选择。然而，最近的工作表明，这种先验对模型容量有不利影响，导致性能低于标准。我们建议，欧几里德假设在于这种故障模式的核心。为了解决这个问题，我们假设一个黎曼结构的潜在空间，这构成了一个更有原则的几何视图的潜在代码，并取代标准高斯先验与黎曼布朗运动先验。我们提出了一个有效的推理方案，不依赖于这个先验的未知归一化因子。最后，我们证明了这一先验显着增加模型容量，只使用一个额外的标量参数。
2020-08-07 cs.LG stat.ML
Learning Hierarchical Priors in VAEs
Volkswagen Group（大众汽车集团）；Technical University of Munich（慕尼黑工业大学）
我们建议在变分自编码器的背景下学习分层先验，以避免标准正态先验分布导致的过度正则化。为了激励数据的信息潜在表示，我们通过将驯服VAE框架扩展到两级分层模型来将学习问题制定为约束优化问题。我们介绍了一种基于图形的插值方法，它表明，学习的潜在表示的拓扑结构对应于数据流形的拓扑结构-并提出了几个例子，其中所需的属性的潜在表示，如平滑度和简单的解释因素是由事先学习。
2019-10-05 cs.LG stat.ML
Effect of The Latent Structure on Clustering with GANs
IIT Jodhpur（印度理工学院焦特布尔分校）；Flipkart Internet Pvt Ltd（Flipkart互联网私人有限公司）；IIT Delhi（印度理工学院德里分校）
生成对抗网络（GANs）在从自然数据流形（如图像）生成数据方面取得了显着的成功。在一些场景中，生成的数据最好是很好的聚类，特别是当存在严重的类不平衡时。本文重点研究了GANs生成空间中的聚类问题，并揭示了其与潜在空间特征的关系。我们从第一原理，必要和充分条件需要实现忠实的聚类在GAN框架：（i）存在一个多模态的潜在空间与可调先验，（ii）存在一个潜在的空间反转机制和（iii）强加所需的集群先验的潜在空间。我们还确定了部分满足这些条件的文献中的GAN模型，并通过对多个真实世界图像数据集的烧蚀研究证明了所需所有组件的重要性。此外，我们描述了一个程序来构建一个多模态的潜在空间，便于学习集群先验稀疏监督。
2020-05-05 cs.LG stat.ML
Dimension-reduced KRnet maps for high-dimensional Bayesian inverse problems
ShanghaiTech University（上海科技大学）；Changsha Institute for Computing and Digital Economy, Peking University（北京大学长沙计算与数字经济研究院）；Louisiana State University（路易斯安那州立大学）
我们提出了一个降维KRnet地图的方法（DR-KRnet）高维贝叶斯逆问题，这是基于一个明确的建设的地图，推动前的措施，在潜在空间的后验措施。我们的方法包括两个主要部分：数据驱动的VAE先验和潜变量后验的密度近似。实际上，初始化一个与可用先验数据一致的先验分布可能并不简单;换句话说，复杂的先验信息通常超出简单的手工先验。我们采用变分自动编码器（VAE）来近似先验数据集的底层分布，这是通过一个潜在变量和一个解码器来实现的。使用VAE先验提供的解码器，我们在低维潜在空间中重新表达问题。特别地，我们寻求由KRnet给出的可逆运输映射来近似潜变量的后验分布。此外，一个有效的物理约束的代理模型没有任何标记的数据被构造，以减少计算成本的解决前向和伴随问题的似然计算。通过数值实验，我们证明了DR-KRnet的精度和效率的高维贝叶斯反问题。
2023-03-08 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago（芝加哥大学）；Stevens Institute of Technology（史蒂文斯理工学院）
研究了在发电机模型的隐空间中学习基于能量的模型（EBM）的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗（MCMC）。相反，我们建议使用噪声对比估计（NCE）通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而，NCE通常不能准确地估计这样的密度比，给定两个密度之间的大差距。为了有效地解决这个问题，并学习更具表现力的先验模型，我们开发了自适应多阶段密度比估计，将估计分解为多个阶段，并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习，使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息，并且可以有效地训练。我们的实验表明，强大的性能，在图像生成和重建，以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park（马里兰大学帕克分校数学系与科学计算与数学建模中心）
虽然变分自编码器在若干任务中已经成功，但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器，其中一个额外的先验编码器网络学习数据流形的嵌入，保留了数据的拓扑和几何属性，从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的，测地线生成的样本位于数据流形上，因此与欧几里得插值相比更真实。为此，我们引入了一个基于图形的算法，探索数据流形和插值沿网络测地线在潜在的空间，最大限度地提高密度的样本沿路径，同时最大限度地减少总能量。我们使用的3D螺旋数据显示，与传统的自动编码器不同，先验编码的几何基础的数据，并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集，以展示学习数据表示在离群值生成，潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Recovering Latent Signals from a Mixture of Measurements using a Gaussian Process Prior
Center for Mathematical Modeling (CMM), Universidad de Chile（智利大学数学建模中心）；Universidad de Chile（智利大学）；Advanced Mining Technology Center, Universidad de Chile（智利大学先进采矿技术中心）
在传感应用中，传感器不能总是以所需的分辨率测量感兴趣的潜在量，有时由于传感器的传递函数，它们只能获得模糊的版本。为了恢复潜在的信号时，只有嘈杂的混合测量的信号是可用的，我们提出了高斯过程混合测量（GPMM），该模型的潜在信号作为一个高斯过程（GP），并允许我们执行贝叶斯推断这样的信号条件的一组嘈杂的混合测量。我们描述了如何训练GPMM，也就是说，找到超参数的GP和混合权重，以及如何执行推断的潜在信号下GPMM;此外，我们确定的解决方案欠定线性系统作为一个特殊的情况下，从传感应用程序的GPMM。该模型在三个信号的恢复：一个平滑的合成信号，一个真实世界的心率时间序列和一个阶跃函数，其中GPMM优于标准GP的估计误差，不确定性表示和恢复的潜在信号的频谱内容。
2017-07-19 cs.LG stat.ML
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
变分自编码器（VAE）是一类强大的深度生成潜变量模型，用于高维数据的无监督表示学习。为了确保计算的易处理性，VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关，原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架，张量变量高斯过程先验变分自编码器（tvGP-VAE），它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子，我们表明，选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering（康科迪亚信息系统工程研究所）；Concordia University（康科迪亚大学）
本文提出潜在狄利克雷树分配（LDTA），通过引入树状先验改进LDA，实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with Short-run Langevin Flow for Approximate Inference
研究了自顶向下生成器模型潜空间中的归一化流，其中归一化流模型充当生成器的先验信息模型。我们建议联合学习的潜在空间规范化流先验模型和自上而下的发电机模型的马尔可夫链蒙特卡罗（MCMC）为基础的极大似然算法，其中一个短期的朗之万采样从棘手的后验分布进行推断的潜变量为每个观察到的例子，使规范化流先验和发电机的参数可以更新与推断的潜变量。我们表明，在非收敛的短期MCMC的情况下，有限步Langevin动力学是一个流的近似推理模型和学习目标实际上遵循的极大似然估计（MLE）的扰动。我们进一步指出，学习框架旨在（i）匹配潜在空间归一化流和短期Langevin流产生的聚合后验，以及（ii）使模型偏离MLE，使得短期Langevin流推断接近真实后验。大量的实验结果验证了所提出的潜在空间归一化流模型在图像生成、图像重建、异常检测、有监督图像修复和无监督图像恢复等任务中的有效性。
2023-01-23 cs.LG stat.ML
Learning Latent Space Hierarchical EBM Diffusion Models
Stevens Institute of Technology（史蒂文斯理工学院）
针对多层生成模型中的先验空洞问题，本文提出利用扩散概率方案辅助EBM先验学习，实验证明其性能优越。
2024-05-27 cs.CV cs.LG stat.ML
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University（香港理工大学）
本文提出PDGMM-VAE，通过为每个潜在维度分配独立的高斯混合模型先验，实现非线性ICA中的源分离。模型通过自适应学习先验参数，提升对非高斯源统计的捕捉能力，实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
The LORACs prior for VAEs: Letting the Trees Speak for the Data
U.C. San Diego（加州大学圣地亚哥分校）；Google AI（谷歌人工智能）；Google Brain（谷歌大脑）
在变分自编码器中，潜在代码$z$的先验知识通常被视为事后的想法，但先验知识塑造了模型学习的潜在表示类型。如果目标是学习一种可解释且有用的表示，那么先验应该反映描述数据的高级因素的变化方式。“默认”先验是各向同性正态分布，但如果数据集中的自然变异因子表现出离散结构或不独立，则各向同性正态先验实际上会鼓励学习掩盖这种结构的表示。为了缓解这个问题，我们建议使用一个灵活的贝叶斯非参数层次聚类先验的基础上的时间边缘化的聚结（TMC）。为了将学习扩展到大数据集，我们开发了一种新的诱导点近似和推理算法。然后，我们将该方法应用于几个数据集，并检查推断的层次结构和学习的潜在空间的可解释性和实际性能。
2018-10-16 cs.LG stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
变分自动编码器（VAE）的传统先验是高斯分布。最近的工作表明，先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法（嵌入-重新参数化过程，简称ER）。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield（谢菲尔德大学）
高斯过程隐变量模型（GP-LVM）是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM，并提出了一个有效的变分推断程序，给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外，我们扩展了多视图高斯过程，依赖于共享潜在的尺寸（称为流形相关性确定）与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时，跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Exploring and Exploiting Hubness Priors for High-Quality GAN Latent Sampling
Cardiff University（卡迪夫大学）
尽管对生成对抗网络（GANs）进行了广泛的研究，但如何从其潜在空间中可靠地采样高质量图像仍然是一个未充分探索的话题。在本文中，我们提出了一种新的GAN潜在的抽样方法，通过探索和利用的hubness先验GAN潜在的分布。我们的关键见解是，GAN潜在空间的高维性将不可避免地导致中心潜在空间的出现，这些中心潜在空间通常具有比潜在空间中的其他潜在空间大得多的采样密度。因此，这些中心潜伏期得到了更好的训练，从而为高质量图像的合成做出了更多贡献。与后验“樱桃采摘”不同，我们的方法是高效的，因为它是一种先验方法，在合成图像之前识别高质量的潜伏期。此外，我们还证明了著名的纯经验截断技巧是对中心潜伏期的中心聚类效应的一种朴素近似，这不仅揭示了截断技巧的基本原理，也表明了我们方法的优越性和基础性.大量的实验结果证明了该方法的有效性。
2022-06-13 cs.CV cs.LG
Tunable Latent Generative Priors for Compressed Sensing and Inverse Problems
Northeastern University（东北大学）；Harvard University（哈佛大学）；Technical University of Munich（慕尼黑技术大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出可调复杂度生成模型，用于提升压缩感知等反问题的重建性能，并通过理论分析和实验验证其有效性。
2026-09-14 cs.AI cs.LG
Disentangling Disentanglement in Variational Autoencoders
University of Oxford（牛津大学）
我们开发了一个概括的VAE中的解纠缠-分解的潜在表示-其特征在于实现两个因素：a）具有适当重叠水平的数据的潜在编码，以及b）符合所需结构的数据的聚合编码，通过先前表示。作为特殊情况，分解允许解开纠缠，即潜在项之间的显式独立性，但也允许将更丰富的属性类别强加给已学习的表示，例如稀疏性、集群、独立子空间，甚至复杂的分层依赖关系。我们发现，$β$ -VAE不同的标准VAE主要是在其控制的潜在重叠，并为标准选择的各向同性高斯先验，其目标是不变的潜在表示的旋转。从分解的角度来看，打破这种不变性与简单的操纵先验可以产生更好的解纠缠很少或没有损害重建。我们进一步展示了其他选择的先验如何帮助产生不同的分解，并引入了一个替代的训练目标，允许控制两个分解因子的原则性方式。
2019-06-12 cs.LG stat.ML
Flexible Prior Distributions for Deep Generative Models
ETH Zurich（苏黎世联邦理工学院）
我们考虑用深度神经网络作为生成器来训练生成模型的问题，即将潜在代码映射到数据点。虽然占主导地位的范例结合了简单的先验代码与复杂的确定性模型，我们认为，它可能是有利的，使用更灵活的代码分布。我们演示了如何可以直接从数据中诱导这些分布。好处包括：更强大的生成模型，更好的潜在结构建模和显式控制的泛化程度。
2018-01-07 cs.LG stat.ML
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
最近，人们越来越关注使用变分自动编码器（VAE）框架对解纠缠表示进行无监督学习。大多数现有的工作主要集中在修改变分成本函数，以实现这一目标。我们首先表明，这些修改，例如β-VAE，简化的倾向，变分推断欠适应造成病理过度修剪和过度正交化的学习组件。其次，我们提出了一个补充的方法：修改概率模型与结构化的潜在先验。这种先验允许发现被构造成独立向量空间的层次结构的潜在变量表示。所提出的先验有三个主要优点：第一，与标准VAE正常先验相比，所提出的先验不是旋转不变的。这解决了标准VAE正态先验不可识别的问题。其次，我们证明了建议的先验鼓励解开的潜在表示，这有利于学习解开的表示。第三，大量的定量实验表明，在现有技术中，先验显著减轻了重建损失和解纠缠之间的权衡。
2019-09-05 cs.LG stat.ML
Learning Joint Latent Space EBM Prior Model for Multi-layer Generator
Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对多层生成器先验模型表达能力有限的问题，提出联合潜空间EBM先验模型，通过能量项捕获层内关系并联合校正潜变量，采用MLE与MCMC训练，实验证明能生成高质量图像并提升异常检测性能。
2023-10-11 cs.CV cs.LG
Learning Multimodal Latent Space with EBM Prior and MCMC Inference
Stevens Institute of Technology（史蒂文斯理工学院）；School of Systems Enterprises（系统企业学院）
提出结合EBM先验与MCMC推断的多模态生成方法，通过短程朗之万动力学优化后验，提升跨模态生成连贯性。
2024-08-20 cs.CV cs.LG
To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs
IIT Delhi（印度理工学院德里分校）；TIFR Mumbai（塔塔基础研究院孟买分院）
正则化自动编码器（Regularized Auto-Encoders，RAE）是一类丰富的神经生成模型。它们使用编码器-解码器组合有效地对数据和潜在空间之间的联合分布进行建模，并根据潜在空间的先验进行正则化。尽管它们具有诸如训练稳定性等优点，但基于AE的模型的性能尚未达到诸如生成对抗网络（GANs）等其他生成模型的性能的优越标准。基于此，本文研究了潜在先验对确定性声发射模型生成质量的影响。具体而言，我们认为类的RAE确定性编码器-解码器对，Wasserstein自动编码器（WAE），并表明，有一个固定的先验分布，\textit{a priori}，无视的“真正的”潜在空间的维数，将导致考虑的优化问题的不可行性。此外，我们表明，在有限的数据制度，尽管知道正确的潜在维度，存在一个偏差方差权衡与任何任意的先验强加。作为对上述两个问题的补救措施，我们在WAE的优化目标中以灵活学习的潜在先验的形式引入了额外的状态空间。我们隐式地学习潜在先验的分布与AE训练，这不仅使学习目标可行，而且便于在偏差-方差曲线的不同点上进行操作。我们通过在多个数据集上的几个实验展示了我们的模型（称为FlexAE）的有效性，并证明了它是基于AE的生成模型的最新技术水平。
2020-09-19 cs.CV cs.LG stat.ML
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology（韩国科学技术院）
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器（Variational Autoencoder，VAE）是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标，可以很容易地优化。然而，这个目标并没有提供一个明确的措施，潜在的变量表示的质量，这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比，它提供了一个明确的目标，最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在变量，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明，所提出的方法加强了潜在代码和观察之间的关系，并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models
提出免训练的扩散正则化Wasserstein梯度流方法，利用预训练潜变量扩散模型作为先验，通过梯度流求解不适定逆问题，并在标准基准上验证了性能。
2026-09-17 cs.LG stat.CO stat.ML
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
Insight Research Centre, National University of Ireland, Galway（爱尔兰国立高威大学Insight研究中心）；Aylien Ltd.（Aylien有限公司）；The Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
提出结合二分匹配词典先验与基于表示方法的新型判别式隐变量模型，推导高效Viterbi EM算法，经6种语言对实验验证其先验可提升双语词典质量，且可将过往相关研究归为同类结构的隐变量模型。
2026-08-26 cs.CL cs.LG stat.ML
Aligning Latent Spaces with Flow Priors
本文提出通过流生成模型作为先验来对齐可学习潜在空间的新框架，通过预训练流模型捕捉目标分布，并利用对齐损失优化潜在空间，理论和实验验证了方法的有效性。
2026-03-15 cs.CV cs.LG
Ordinal-Content VAE: Isolating Ordinal-Valued Content Factors in Deep Latent Variable Models
Samsung AI Center Cambridge（三星人工智能中心剑桥）；Rutgers University（罗格斯大学）
在深度表征学习中，通常希望将特定因素（称为{ \em content}）与其他因素（称为{ \em style}）隔离。内容的构成通常由用户通过数据中的显式标签指定，而所有未标记/未知的因素都被视为风格。最近，已经表明可以通过修改深度潜在因素模型（例如，VAE），使风格和内容在潜在的表征中很好地分离。然而，该方法假设内容因子是分类值的（例如，面部图像数据中的受试者ID，或MNIST数据集中的数字类）。在某些情况下，内容是序值的，也就是说，内容因子采用的值是{ \em有序的}而不是分类的，使得内容标记的VAE，包括它们推断的潜在空间，是次优的。在本文中，我们提出了一种新的VAE扩展，它在内容潜在空间中施加了偏序集（偏序集）结构，同时使其与有序内容值对齐。为此，而不是在现有的方法中采用的iid高斯潜在先验，我们引入了一个条件高斯间距先验模型。该模型承认一个听话的联合高斯先验，但也有效地将可以忽略不计的密度值的内容潜在的配置，违反偏序集约束。为了评估这个模型，我们考虑两个特定的顺序结构的问题：估计一个主题的年龄在一张脸的图像和阐明的热量在一个食物餐图像。我们展示了显着的改进，在内容风格的分离比以前的非有序方法。
2020-09-07 cs.AI cs.LG stat.ML
Sparse Infinite Random Feature Latent Variable Modeling
University of Hong Kong（香港大学）
我们提出了一个非线性，贝叶斯非参数潜变量模型，其中的潜空间被假定为稀疏和无限维先验使用印度抖振过程先验。后验，潜在空间中的实例化维度的数量保证是有限的。将印度自助过程置于潜变量上的目的是：1.）自动并按概率选择潜在维度的数量。2.）的情况。在潜在空间中施加稀疏性，印度自助餐过程将选择哪些元素正好为零。我们提出的模型允许稀疏的，非线性的潜在变量建模，其中自动选择潜在维度的数量。使用随机傅立叶近似使推理变得易于处理，并且我们可以通过马尔可夫链蒙特卡罗采样容易地实现后验推理。这种方法适用于高斯设置之外的许多观测模型。我们证明了我们的方法在各种合成，生物和文本数据集上的实用性，并表明与以前的潜变量模型相比，我们可以获得优越的测试集性能。
2022-05-27 cs.AI cs.LG stat.ML
Raven's Progressive Matrices Completion with Latent Gaussian Process Priors
Fudan University（复旦大学）
抽象推理能力是人类智能的基础。它使人们能够揭示抽象概念之间的关系，并进一步从这些关系中推导出隐含的规则。Raven's Progressive Matrices（RPM）是一种著名的抽象视觉推理任务，被广泛应用于人类智商测试中。虽然对具有机器智能的RPM求解器进行了广泛的研究，但很少有研究考虑将标准答案选择（分类）问题进一步推进到更具挑战性的答案绘制（生成）问题，这可以验证模型是否确实理解了隐含规则。在本文中，我们的目标是解决后者提出了一个深潜变量模型，其中多个高斯过程作为先验的潜变量分别学习底层的抽象概念RPM，因此，所提出的模型是可解释的概念特定的潜变量。隐高斯过程也提供了一种有效的方式外推的基础上学习的概念变化规则的答案绘画。我们评估所提出的模型RPM类数据集与多个连续变化的视觉概念。实验结果表明，我们的模型只需要很少的训练样本来绘制高质量的答案，生成新的RPM面板，并通过概念特定的潜变量实现可解释性。
2023-02-17 cs.AI cs.LG
Sculpting the Latent Space: Disentanglement with WAE-MMD and Programmable Priors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；InterDigital Communications, AI Lab（InterDigital通讯人工智能实验室）
本文提出基于MMD的可编程先验框架，解决VAE中KL正则化无法实现潜空间解耦的问题，在复杂数据集上实现最先进的相互独立性，为表示工程提供基础工具。
2026-10-22 cs.AI cs.LG
PSI3D: Plug-and-Play 3D Stochastic Inference with Slice-wise Latent Diffusion Prior
Johns Hopkins University（约翰霍普金斯大学）
PSI3D通过切片式潜在扩散先验和总变分正则化，提升大规模3D随机推断在OCT超分辨率中的重建质量。
2026-08-06 cs.LG eess.IV
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST（韩国科学技术院）
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标，可以很容易地优化。然而，它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标，最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在的代码，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
DiMEx: Breaking the Cold Start Barrier in Data-Free Model Extraction via Latent Diffusion Priors
Dept. of Computer Science New York University（计算机科学系纽约大学）
DiMEx通过利用预训练的潜在扩散模型先验，有效突破数据无关模型提取的冷启动问题，同时提出HSE防御机制以抑制攻击成功率
2026-01-10 cs.LG
Bayesian Predictive Densities Based on Latent Information Priors
从预测的角度研究先验密度的构造方法。利用观测数据构造了未来观测量的预测密度。假设未来观测量和观测数据的同时分布属于多项式模型的参数子模型。未来的观测数据和数据可能是依赖的。用Kullback-Leibler散度来评价给定观测数据的预测密度与未来观测量的真实条件密度的差异。证明了贝叶斯预测密度的极限构成一个本质完全类。潜在信息先验被定义为最大化给定观测数据的参数和未来观测量之间的条件互信息的先验。极小极大预测密度被构造为贝叶斯预测密度的极限，基于收敛到潜在信息先验的先验序列。
2010-09-26 math.ST stat.TH
Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学CMA-上海）
提出解耦潜变量优化（DLO），通过二次惩罚目标分离物理变量和潜变量，结合数据保真度梯度和扩散先验，在OpenFWI基准上优于经典正则化和现有扩散方法。
2026-06-15 cs.LG
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
FMOPF: Latent Flow Matching with Constraint-Aware Interaction Priors for AC Optimal Power Flow
研究交流最优潮流计算问题，提出FMOPF框架，通过潜在流匹配和解耦压缩与生成，并利用约束感知交互先验网络建模负荷 - 状态耦合，实现有效热启动，降低尾部风险，可扩展到大型系统。
2026-07-28 cs.AI cs.LG stat.ML
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
我们提出了一系列新型分层贝叶斯深度自动编码器模型，能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内，他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是，解开的潜在变量负责的主要来源的变异性，相关因素，可以更适当地使用长尾分布建模。另一方面，典型的高斯先验更适合于滋扰因素的建模。出于这一动机，我们通过引入高斯潜在先验方差的超先验，模仿无限混合，同时保持传统VAE的易处理的学习和推理，将VAE扩展到分层贝叶斯模型。这一分析表明，以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型，被称为贝叶斯因子VAE，表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
Latent Variables on Spheres for Autoencoders in High Dimensions
Xiaomi AI Lab（小米人工智能实验室）；Chinese University of Hong Kong（香港中文大学）
变分自动编码器（VAE）作为机器学习中的一种基本生成模型得到了广泛的应用。然而，对于像图像对象或场景这样的复杂样本，VAE遭受需要高维潜在代码的重建精度和有利于低维潜在空间的概率推理之间的维度困境。凭借高维几何，我们提出了一个非常简单的算法，称为球面自动编码器（SAE），完全不同于现有的VAE来解决这个问题。SAE本质上是对潜在空间进行球形归一化的香草自动编码器。我们分析了球上的随机变量在高维空间中的独特特征，并认为当维数足够高时，球上的随机变量对各种先验分布和数据模式是不可知的。因此，SAE可以利用一个高维的潜在空间，以提高潜在代码的推理精度，同时保持从先验随机抽样的性质。抽样和推理实验验证了理论分析和SAE的优越性。
2020-02-17 cs.CV cs.LG stat.ML
Learning Energy-Based Prior Model with Diffusion-Amortized MCMC
UCLA（加州大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Google DeepMind（谷歌DeepMind）
针对潜空间EBM短程MCMC采样质量差导致生成质量低、训练不稳定的问题，提出基于扩散的长程MCMC摊销采样方法及对应学习算法，经理论验证有效性且在图像基准数据集上性能优于同类方法。
2023-10-05 cs.AI cs.LG stat.ML
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分所）；INRIA（法国国家信息与自动化研究所）
针对无节点特征图生成中边独立性导致的去噪困难问题，引入潜在社交性先验与联合扩散过程，在无复杂编码器的情况下提升图分布捕获精度。
2026-10-12 cs.AI cs.LG
Learnable Explicit Density for Continuous Latent Space and Variational Inference
MILA, Université de Montréal（蒙特利尔大学MILA）；Imagia Inc.（Imagia公司）；HEC Montréal（蒙特利尔高等商学院）
本文研究了变分自编码器（VAE）的两个方面：隐变量的先验分布及其相应的后验分布。首先，我们将VAE的学习分解为逐层的密度估计，并认为具有灵活的先验对样本生成和推理都是有益的。其次，我们分析了逆自回归流（逆AF）的家庭，并表明，通过进一步的改进，逆AF可以被用来作为任何复杂的后验的通用近似。我们的分析结果在一个统一的方法来参数化的VAE，而不需要限制自己使用阶乘高斯在潜在的真实空间。
2017-10-06 cs.AI cs.LG stat.ML
Learning Multimodal Latent Generative Models with Energy-Based Prior
School of Systems and Enterprises（系统与企业学院）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出将多模态隐变量生成模型与能量模型结合的新框架，通过变分联合训练获得更具表达力的先验，从而提升跨模态生成一致性。
2024-09-30 cs.CV cs.LG
Unified Latents (UL): How to train your latents
Google DeepMind（谷歌DeepMind）
本文提出统一潜在空间框架，通过结合扩散先验和模型实现高效潜在表示学习，实现在ImageNet-512和Kinetics-600上的优异性能。
2026-02-19 cs.CV cs.LG
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上，该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合，使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中，符号向量耦合，生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域，如图像，文本和表格数据。实验结果表明，该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
Opaque prior distributions in Bayesian latent variable models
本文探讨了Bayesian潜变量模型中研究者指定与估计时使用先验分布不一致的问题及其对可重复性和模型检查的影响，评估了信息性先验等解决方案并提出了实践建议。
2023-08-24 stat.ME
Bayesian analysis of nonlinear structured latent factor models using a Gaussian Process Prior
针对显变量与潜因子间的非线性关系，提出带 Gaussian process prior 的贝叶斯结构化潜因子模型，证明可识别性与估计一致性，并通过模拟和油流数据验证其有效性。
2025-01-06 stat.ME
