Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London（伦敦大学学院）；Faculty（学院）
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而，基于变分自编码器（VAE）训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的，非基于似然的框架，用于训练具有吸引人的理论属性的生成模型，原则上允许分布之间更容易的训练收敛。在这项工作中，我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构，而不需要高度定制的模型和推理网络。我们表明，我们的方法使生成模型能够充分利用其深层的潜在层次结构，避免了VAE的众所周知的“潜在变量崩溃”问题;因此，提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Bivariate beta distribution: parameter inference and diagnostics
School of Applied Mathematics, Fundação Getulio Vargas（应用数学学院，巴西得加斯·瓦格斯基金会）
针对相关比例的概率建模难题，本文研究Olkin & Trikalinos（2015）提出的双变量Beta分布，给出频率学派与贝叶斯参数估计方法，讨论先验设定并开发模型诊断方法。
2023-03-02 stat.CO stat.ME
Gaussian Process Vine Copulas for Multivariate Dependence
Copula允许学习边缘分布独立于多元依赖结构（copula），多元依赖结构将它们连接到一个密度函数中。藤因子分解通过构造条件二元copula的层次结构来简化高维copula的学习。然而，为了简化推理，通常假设这些条件二元Copula中的每一个都独立于其条件变量。在本文中，我们放松了这一假设，发现潜在的功能，指定的形状的条件Copula给定其条件变量我们学习这些功能的贝叶斯方法的基础上稀疏高斯过程的期望传播可扩展的，近似的推理。在真实世界数据集上的实验表明，当对所有条件依赖进行建模时，我们可以更好地估计数据的底层copula。
2013-02-16 stat.ME stat.ML
Spatial Modeling for Correlated Cancers Using Bivariate Directed Graphs
疾病地图是癌症流行病学的一个重要工具，用于分析疾病率的地理差异和调查空间模式背后的环境风险因素。癌症地图帮助流行病学家突出显示癌症患病率、发病率或死亡率高和低的地理区域，以及这些比率在空间域上的变化。当不止一种癌症感兴趣时，除了空间关联之外，模型还必须捕获疾病之间的固有或地方性关联。本文开发了两种或多种癌症的可解释和易于实现的空间自相关模型。这篇文章建立在单变量疾病映射的最新发展基础上，这些发展表明使用数学结构（如有向无环图）来捕获单个癌症的空间关联，估计两种癌症的固有或地方性关联，以及每种癌症的空间关联（聚类）。该方法构建了一个贝叶斯分层模型，其中空间效应被引入作为每种癌症的潜在随机效应。我们分析了从监测、流行病学和最终结果（SEER）项目中提取的食管癌和肺癌发病率之间的关系。我们的分析显示，加州各县肺癌和食道癌发病率之间存在统计学显著相关性。二元有向无环图模型的性能优于现有文献中的竞争二元空间模型。
2019-11-26 stat.AP
Latent Instrumental Variables as Priors in Causal Inference based on Independence of Cause and Mechanism
Sorbonne University（索邦大学）
基于条件独立的因果推理方法构造马尔可夫等价图，不能应用于二元情况。相反，基于原因和机制独立性的方法则认为因果发现可以从两个观测结果中推断出来。在我们的贡献，我们挑战调和这两个研究方向。我们研究了潜在的变量，如潜在的工具变量和隐藏的共同原因的因果图形结构中的作用。我们发现，基于原因和机制的独立性的方法，间接包含的痕迹存在的隐藏的工具变量。我们推导出一种新的算法来推断两个变量之间的因果关系，我们验证了模拟数据和基准的因果对所提出的方法。我们说明我们的实验，所提出的方法是简单的和极具竞争力的经验准确性相比，国家的最先进的方法。
2020-07-17 cs.AI cs.LG stat.ME
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Learning Topic Hierarchies by Tree-Directed Latent Variable Models
本文提出基于有根有向树结构约束LDA的潜变量主题模型，建立数学框架证明潜在主题层次的可识别性并推导后验收缩率界限，通过模拟和《纽约时报》数据验证了其有效性与实用性。
2024-08-26 math.ST stat.TH
A common zero-inflation bivariate Poisson model with comonotonic and counter-monotonic shocks
本文提出一种含公共零质量的二元零膨胀 Poisson 混合模型，通过潜在 Poisson 对的同单调与反单调冲击刻画正负相依，并给出矩估计与最大似然估计、渐近及模拟性质和两个实例。
2025-09-26 stat.ME
Binary Latent Diffusion
Purdue University（普渡大学）；Microsoft Corporation（微软公司）
本文提出二元潜在扩散方法，通过伯努利自编码器将图像表示为二元潜在向量，并用二元潜在扩散模型建模其先验，在保持与最先进方法相当生成质量的同时，将采样效率提升至16步，并支持1024×1024高分辨率生成。
2023-04-10 cs.CV
Relaxed-Responsibility Hierarchical Discrete VAEs
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；Oxford-Man Institute（牛津-曼彻斯特研究所）
成功地训练具有离散潜变量层次结构的变分自动编码器（VAE）仍然是一个活跃的研究领域。矢量量化VAE是离散VAE的一种强大方法，但在训练时，朴素的分层扩展可能不稳定。利用经典推理方法的见解，我们引入了\textit{Relaxed-Responsibility Vector-Quantisation}，这是一种参数化离散潜变量的新方法，是放松矢量量化的一种改进，可以提供更好的性能和更稳定的训练。这使得一种新的方法，分层离散变分自动编码器与许多层的潜在变量（这里高达32），我们训练端到端。在具有端到端训练的离散潜变量的分层概率深度生成模型中，我们为各种标准数据集实现了最先进的bits-per-dim结果。与具有单层潜在变量的离散VAE不同，我们可以通过祖先采样来产生样本：在学习的潜在表示上训练第二自回归生成模型，然后从中采样，然后解码，这不是必需的。此外，在这些深层次模型中的后一种方法将需要数千次向前传递来生成单个样本。此外，我们观察到模型的不同层与数据的不同方面相关联。
2021-02-04 cs.CV cs.LG stat.ML
Generative Hierarchical Models for Parts, Objects, and Scenes
Rutgers University（罗格斯大学）；Xi’an Jiaotong University（西安交通大学）
部件和对象之间的组成结构是自然场景中固有的。通过无监督学习对这种组合层次结构进行建模可以带来各种好处，例如可解释性和可转移性，这在许多下游任务中非常重要。在本文中，我们提出了第一个深度潜变量模型，称为RICH，用于学习可解释组成层次的表示。RICH的核心是一个潜在的场景图表示，它根据场景实体的组成关系将它们组织成一个树结构。在推理过程中，采用自顶向下的方法，RICH能够使用更高级别的表示来指导更低级别的分解。这避免了自底向上方法所面临的部件和对象之间布线的难题。在包含多个对象与不同部分组成的图像上的实验中，我们证明了RICH能够学习潜在的组成层次结构，并生成想象中的场景。
2019-10-21 cs.CV cs.LG stat.ML
Joint models as latent Gaussian models - not reinventing the wheel
近年来，随着向各个方向的扩展，联合模型受到越来越多的关注;其中包括许多风险函数、不同的关联结构、线性和非线性纵向轨迹。其中许多导致了新的R包和联合模型的新公式。然而，具有线性双变量高斯关联结构的联合模型仍然是潜在高斯模型（LGM），因此可以使用大多数现有的LGM包来实现。在本文中，我们将表明，这些联合模型可以实现从一个LGM的观点使用R-INLA包。作为一个特殊的例子，我们将集中在一个非线性的纵向轨迹的联合模型，最近开发的部分线性联合模型。而不是通常的样条方法，我们认为使用贝叶斯平滑样条框架的关节模型，是稳定的结的选择，因此不那么麻烦的从业者。
2019-01-27 stat.ME
Multi-View Oriented GPLVM: Expressiveness and Efficiency
School of Computing and Data Science University of Hong Kong（计算与数据科学学院 香港大学）；Department of Signal Theory and Communications Universidad Carlos III de Madrid（信号理论与通信系 马德里卡洛斯三世大学）
本文提出了一种多视图导向的GPLVM模型，通过引入Next-Gen Spectral Mixture核和改进的随机傅里叶特征近似方法，提升了模型的表达力和计算效率。
2025-12-15 cs.LG stat.ML
Deep Hierarchy in Bandits
University of California, Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；DeepMind（深度思维）；Google Research（谷歌研究院）
行动的平均回报往往是相关的。这些相关性的形式可能是复杂的并且是先验未知的，诸如用户对推荐产品及其类别的偏好。为了最大限度地提高统计效率，重要的是在学习时利用这些相关性。我们制定了这个问题的一个强盗变体，其中的相关性的平均行动奖励表示的层次贝叶斯模型与潜在变量。由于层次结构可以有多个层，我们称之为深层次。我们提出了一个分层的汤普森采样算法（HierTS），这个问题，并展示了如何实现它有效的高斯层次结构。有效的实施是可能的，由于一种新的精确的层次表示的后，这本身是独立的利益。我们使用这个精确的后验分析的贝叶斯后悔HierTS高斯土匪。我们的分析反映了问题的结构，即后悔减少与事先的宽度，也表明，层次减少了后悔的行动数量的非常数因素。我们证实了这些理论研究结果的经验，在合成和现实世界的实验。
2022-02-03 cs.LG stat.ML
Swap Regression Methodology for Predicting Relationship with Historical Bivariate Data
本文提出一种基于高斯混合模型和贝塔分布的交换回归方法，用于在任意时间点判断两个变量之间的方向性关系，并通过1966-2023年美国GDP与公共债务数据验证了方法的有效性。
2025-08-21 stat.AP stat.ME
Hierarchical Diffusion Autoencoders and Disentangled Image Manipulation
Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
针对扩散模型潜空间语义表示单一、缺乏层次的问题，提出HDAE分层潜空间编码与截断特征解耦编辑方法，在重建、风格混合等多任务中验证有效。
2023-04-25 cs.AI cs.CV
PixelVAE: A Latent Variable Model for Natural Images
Department of Computer Science and Engineering, IIT Kanpur（印度理工学院坎普尔分校计算机科学与工程系）；Computer Vision Center & Universitat Autonoma de Barcelona（计算机视觉中心与巴塞罗那自治大学）；Politecnico di Milano（米兰理工大学）；CIFAR（加拿大高等研究院）
自然图像建模是无监督学习的一个重要挑战。变分自编码器（VAE）学习有用的潜在表示并很好地建模全局结构，但难以捕获小细节。PixelCNN模型细节非常好，但缺乏潜在代码，并且难以扩展以捕获大型结构。我们提出了PixelVAE，一个基于PixelCNN的自回归解码器的VAE模型。与PixelCNN相比，我们的模型需要很少的昂贵自回归层，并且学习比标准VAE更压缩的潜在代码，同时仍然捕获大多数非平凡结构。最后，我们将我们的模型扩展到不同尺度的潜变量层次结构。我们的模型在二值化MNIST上实现了最先进的性能，在64x64 ImageNet上实现了具有竞争力的性能，并在LSUN卧室数据集上实现了高质量的样本。
2016-11-15 cs.LG
Improved Conditional VRNNs for Video Prediction
Mila - Université de Montréal（Mila - 蒙特利尔大学）；Facebook AI Research（Facebook人工智能研究院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
预测视频序列的未来帧是一项具有挑战性的生成建模任务。有前途的方法包括概率潜在变量模型，如变分自动编码器。虽然VAE可以处理不确定性并对多种可能的未来结果进行建模，但它们往往会产生模糊的预测。在这项工作中，我们认为这是一个迹象不足。为了解决这个问题，我们建议增加潜在分布的表现力，并使用更高的容量似然模型。我们的方法依赖于一个层次的潜变量，它定义了一个家庭的灵活的先验和后验分布，以更好地模拟未来序列的概率。我们通过一系列的消融实验来验证我们的建议，并将我们的方法与当前最先进的潜变量模型进行比较。我们的方法在三个不同的数据集的几个指标下表现良好。
2019-04-27 cs.CV cs.LG
Characterizing the Representational Capacity of Neural Processes
University of Cambridge（剑桥大学）
本文通过严格层级分析，刻画了条件神经过程、注意力神经过程、Transformer神经过程及其潜在变体的表示能力，揭示了不同架构在函数表示上的包含关系与局限。
2026-05-22 cs.LG stat.ML
DVAE++: Discrete Variational Autoencoders with Overlapping Transformations
D-Wave Systems Inc.
离散潜变量模型的训练仍然具有挑战性，因为通过离散单元传递梯度信息是困难的。我们提出了一类新的平滑变换的基础上的混合物的两个重叠的分布，并表明，所提出的变换可用于训练二进制潜在模型，无论是有向或无向先验。我们推导出一个新的变分约束，以有效地训练与玻尔兹曼机的先验。使用这个界限，我们开发了DVAE++，这是一个具有全局离散先验和卷积连续变量层次的生成模型。在几个基准上的实验表明，重叠变换优于离散潜变量的其他最近的连续松弛，包括Gumbel-Softmax（Maddison等人，2016; Jang等人，2016）和离散变分自编码器（Rolfe 2016）。
2018-05-25 cs.LG stat.ML
Extractive Summary as Discrete Latent Variables
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们比较了使用神经模型压缩文本的各种方法。我们发现，提取令牌作为潜变量显着优于最先进的离散潜变量模型，如VQ-VAE。此外，我们比较了各种提取压缩方案。有两种性能最好的方法，它们的性能相当。一种方法是简单地选择具有最高tf-idf分数的令牌。另一种方法是训练一个类似于ELMo的双向语言模型，并选择损失最大的令牌。如果我们把文本的任何子序列都看作是广义上的文本，我们就可以得出结论，语言本身就是一种强大的压缩代码。我们的发现证明了高质量的生成与分层方法，因为他们的潜变量只不过是自然语言的总结。我们还得出结论，有一个层次结构的语言，使整个文本可以更容易地预测的基础上，一个序列的少数关键字，这可以很容易地找到经典的方法，如tf-idf。我们推测，这种提取过程可能是有用的无监督分层文本生成。
2019-01-24 cs.CL cs.LG stat.ML
Hypernymy Understanding Evaluation of Text-to-Image Models via WordNet Hierarchy
HSE University（高等经济大学）；Yandex（扬德克斯）
本文提出基于WordNet层次结构和ImageNet分类器的自动指标，评估GLIDE、Latent Diffusion和Stable Diffusion等文本到图像模型的上下位词理解能力，揭示其语言理解的优势与不足。
2023-10-13 cs.CL cs.CV cs.LG
Deep Exponential Families
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们描述了\textit{deep exponential families}（DEF），这是一类受深层神经网络中使用的隐藏结构启发的潜在变量模型。DEF捕获潜在变量之间的依赖关系的层次结构，并且很容易通过指数族推广到许多设置。我们使用最近的“黑箱”变分推断技术进行推理。然后，我们评估文本上的各种DEF，并将多个DEF组合成成对推荐数据的模型。在一项广泛的研究中，我们表明，超越一层可以提高对DEF的预测。我们证明了DEF在大型数据集中发现了有趣的探索性结构，并且比最先进的模型具有更好的预测性能。
2014-11-10 cs.LG stat.ML
Benchmarking Generative Latent Variable Models for Speech
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
随机潜变量模型（LVMs）在自然图像生成上实现了最先进的性能，但在语音上仍然不如确定性模型。在本文中，我们开发了一个流行的时间LVMs的语音基准，并将其与最先进的确定性模型进行比较。我们报告的可能性，这是一个经常使用的度量在图像域中，但很少，或无与伦比的，报告的语音模型。为了评估质量的学习表示，我们还比较它们的有用性音素识别。最后，我们适应的发条VAE，一个国家的最先进的时间视频生成的LVM，语音域。尽管自回归只在潜在的空间，我们发现，发条VAE可以优于以前的LVMs和减少差距，确定性模型通过使用层次结构的潜在变量。
2022-04-05 cs.AI cs.LG cs.SD
Robust Deep Mixture Models
The University of Queensland（昆士兰大学）
该研究提出一种基于通路级共享尺度混合构造的鲁棒深度混合模型，采用随机期望最大化算法估计参数，在重尾及污染场景下聚类性能优于深度高斯混合模型，可识别异质潜在结构并降低异常观测影响。
2026-08-20 stat.CO stat.ME
Towards Generating Long and Coherent Text with Multi-Level Latent Variable Models
Duke University（杜克大学）；Microsoft Research（微软研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
变分自编码器（VAE）作为一种用于隐变量文本生成的端到端架构，近年来受到了广泛关注。在本文中，我们研究了几个多层次的结构来学习VAE模型生成长，连贯的文本。特别是，我们在编码器和解码器网络之间使用随机层的层次结构来生成更多信息的潜在代码。我们还研究了一个多层次的解码器结构，学习一个连贯的长期结构，通过生成中间的句子表示为高层次的计划向量。实验结果表明，一个多层次的VAE模型产生更多的连贯性和更少的重复长文本相比，标准的VAE模型，可以进一步减轻后崩溃的问题。
2019-06-19 cs.CL cs.LG
Nonparametric Dynamic State Space Modeling of Observed Circular Time Series with Circular Latent States: A Bayesian Perspective
循环时间序列在统计学中受到的关注相对较少，并且使用状态空间方法对复杂循环时间序列进行建模在文献中不存在。在这篇文章中，我们介绍了一个灵活的贝叶斯非参数方法来观察循环时间序列的状态空间建模，即使潜在的状态是循环随机变量。至关重要的是，我们假设观测函数和进化函数的形式都是未知的和随时间变化的，它们在本质上都是循环的。我们对这些未知的循环函数进行了适当的包装高斯过程具有理想的性能。我们开发了一个有效的马尔可夫链蒙特卡罗策略来实现我们的贝叶斯模型，通过明智地结合吉布斯抽样和大都会黑斯廷斯方法。验证我们的想法与模拟研究和两个真正的双变量循环时间序列数据集，我们假设的变量之一是不可观察的，我们的模型和方法显示非常令人鼓舞的性能。最后，我们分析了一个数据组成的鲸鱼迁徙的方向，考虑到未观察到的洋流方向的潜在的循环过程的利益。我们得到的结果是令人鼓舞的，所观察到的过程的后验预测分布正确地预测了所观察到的鲸鱼运动。
2017-03-15 stat.ME
From Part to Whole: 3D Generative World Model with an Adaptive Structural Hierarchy
Wangxuan Institute of \ Technology, Peking University Beijing, China；Institute for Math \& AI, Wuhan University Wuhan, China
本文提出了一种自适应部分-整体层次的3D生成世界模型，通过直接从图像令牌推断出软且组合性的掩码，自主发现潜在结构槽，实现跨类别的形状共享和去噪。
2026-03-23 cs.CV
Nested Diffusion Models Using Hierarchical Latent Priors
The University of Chicago（芝加哥大学）
本研究提出采用分层隐变量先验的嵌套扩散模型，通过多扩散模型分层生成隐变量并引导生成过程，借助预训练视觉编码器构建隐变量，在多数据集上提升生成质量且计算开销极小。
2024-12-08 cs.CV
LT3SD: Latent Trees for 3D Scene Diffusion
Technical University of Munich（慕尼黑技术大学）
提出LT3SD潜在扩散模型，利用潜在树表示从粗到细编码3D场景的几何与细节，通过场景块训练实现任意尺寸大规模3D场景的高质量生成与概率补全。
2025-05-01 cs.AI cs.CV
HiVAE: Hierarchical Latent Variables for Scalable Theory of Mind
HiVAE通过层次化变分架构提升理论之心推理能力，解决现实时空领域中的心理状态推断问题，并提出自监督对齐策略以增强潜在表示的参照性。
2026-02-18 cs.AI cs.LG
Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
最近，人们越来越关注使用变分自动编码器（VAE）框架对解纠缠表示进行无监督学习。大多数现有的工作主要集中在修改变分成本函数，以实现这一目标。我们首先表明，这些修改，例如β-VAE，简化的倾向，变分推断欠适应造成病理过度修剪和过度正交化的学习组件。其次，我们提出了一个补充的方法：修改概率模型与结构化的潜在先验。这种先验允许发现被构造成独立向量空间的层次结构的潜在变量表示。所提出的先验有三个主要优点：第一，与标准VAE正常先验相比，所提出的先验不是旋转不变的。这解决了标准VAE正态先验不可识别的问题。其次，我们证明了建议的先验鼓励解开的潜在表示，这有利于学习解开的表示。第三，大量的定量实验表明，在现有技术中，先验显著减轻了重建损失和解纠缠之间的权衡。
2019-09-05 cs.LG stat.ML
MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）
提出一种多尺度token空间的粗到细展开方法，通过预训练层次化自编码器压缩帧为多层token，并训练视频扩散模型生成这些token，在保持几何和物体持久性长程一致性的同时降低计算开销。
2026-06-08 cs.CV cs.LG
Efficient Bayesian inference for nonlinear state space models with univariate autoregressive state equation
潜自回归过程是一个流行的选择模型的时变参数。这些模型可以用公式表示为非线性状态空间模型，由于参数数量多，因此推断不直接。因此，极大似然方法往往是不可行的，研究人员依赖于替代技术，如吉布斯抽样。但是传统的吉布斯采样器通常是针对特定情况定制的，并且在重复抽取中具有高自相关性。针对一般的非线性状态空间模型，提出了一种基于单变量自回归状态方程的Gibbs采样器。为此，我们采用交织策略和椭圆切片采样，以利用自回归过程所隐含的依赖性。在一个模拟研究中，我们证明了所提出的采样器的效率为二元动态copula模型。此外，我们有兴趣在波动率回报关系建模。因此，我们使用所提出的采样估计的参数的随机波动率模型的偏学生t误差和一个新的二元动态混合copula模型的参数。该模型允许动态非对称尾部依赖。相关的基准模型，如DCC-Gestra或学生t copula模型，预测精度方面的比较显示所提出的方法的优越性能。
2019-10-31 stat.CO
Tree-Wasserstein Distance for High Dimensional Data with a Latent Feature Hierarchy
Viterbi Faculty of Electrical and Computer Engineering, Technion（以色列理工学院维特比电气与计算机工程学院）；Department of Mathematics, Yale University（耶鲁大学数学系）
提出一种针对具有潜在特征层次结构的高维数据的树Wasserstein距离，通过扩散几何嵌入多尺度双曲空间并解码树结构，高效恢复潜在层次，在词-文档和单细胞RNA测序数据上优于现有方法。
2025-02-24 cs.LG stat.ML
GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Fudan University（复旦大学）
GeoLAM从无标注人类视频中学习几何基础的潜在动作，结合几何特征与4D教师监督，提升机器人操作性能。
2026-09-16 cs.CV cs.RO
Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration
Indian Institute of Science（印度科学学院）；Samsung Research India（三星印度研究院）
使用最新的生成对抗网络（GANs），现在可以实现具有高度真实感的无约束图像生成。然而，生成具有给定属性集的图像是相当具有挑战性的。最近的方法使用基于样式的GAN模型来通过利用存在于生成器的层中的语义层次结构来执行图像编辑。我们提出了Few-Shot基于潜在空间的属性操作和编辑（FLAME），一个简单而有效的框架来执行高度控制的图像编辑潜在空间操作。具体来说，我们估计潜在空间（预先训练的StyleGAN）中的线性方向，该空间控制生成图像中的语义属性。与以前依赖于大规模属性标记数据集或属性分类器的方法相比，FLAME使用对少数策划图像对的最小监督来估计解纠缠的编辑方向。FLAME可以在保留身份的同时，对不同的图像集进行高精度的单独和顺序编辑。此外，我们提出了一个新的任务属性样式操作，以产生不同的风格属性，如头发和头发。我们首先编码一组合成图像的同一身份，但具有不同的属性风格的潜在空间估计的属性风格流形。从该流形中采样新的潜在项将在生成的图像中产生新的属性样式。我们提出了一种新的采样方法来从流形中对潜在样本进行采样，使我们能够生成一组不同的属性样式，超出了训练集中存在的样式。FLAME可以以一种分离的方式生成不同的属性样式。我们通过大量的定性和定量比较说明了FLAME对以前的图像编辑方法的优越性能。FLAME还可以很好地概括汽车和教堂等多个数据集。
2022-07-20 cs.AI cs.CV
Joint Temperature-Precipitation Patterns in the U.S. South Central Region: Multivariate Functional Inference and Gaussian Mixture Modeling
Texas Tech University（德克萨斯理工大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
本研究以美国中南部为对象，采用FMANOVA与高斯混合模型两种方法，揭示该区域冬夏两季气温-降水联合模式的显著差异，明确了冬夏气候 regime 的空间一致性及降水作用的差异。
2026-08-17 stat.AP
Multiresolution Equivariant Graph Variational Autoencoder
University of Chicago（芝加哥大学）
在本文中，我们提出了多分辨率等变图变分自编码器（MGVAE），第一个层次的生成模型学习和生成图形的多分辨率和等变的方式。在每个分辨率级别上，MGVAE采用高阶消息传递来编码图形，同时学习将其划分为互斥的集群并粗化为最终创建潜在分布层次结构的较低分辨率。然后，MGVAE构建了一个分层生成模型，变分解码成一个层次的粗化图。重要的是，我们提出的框架是端到端的置换等变的节点排序。MGVAE通过几个生成任务实现了有竞争力的结果，包括通用图生成、分子生成、预测分子性质的无监督分子表示学习、引文图上的链接预测和基于图的图像生成。
2022-06-28 cs.LG cs.SI physics.chem-ph
Clockwork Variational Autoencoders
University of Toronto（多伦多大学）；Google Research, Brain Team（谷歌研究院大脑团队）
深度学习使算法能够生成逼真的图像。然而，准确预测长视频序列需要了解长期依赖关系，仍然是一个开放的挑战。虽然现有的视频预测模型成功地生成了清晰的图像，但它们往往无法准确地预测未来。我们引入了Clockwork VAE（CW-VAE），这是一种视频预测模型，它利用了潜在序列的层次结构，其中较高的级别以较慢的时间间隔进行。我们证明了分层潜伏期和时间抽象的好处4不同的视频预测数据集的序列高达1000帧，其中CW-VAE优于顶级视频预测模型。此外，我们还提出了一个Minecraft长期视频预测基准。我们进行了几个实验来深入了解CW-VAE，并确认较慢的水平学习表示视频中变化较慢的对象，而较快的水平学习表示较快的对象。
2021-02-20 cs.AI cs.CV cs.LG
Discovering and decoding latent mean-field structure with variational autoencoders
Department of Physics and the James Franck Institute, University of Chicago（芝加哥大学物理系及詹姆斯·弗兰克研究所）；CuspAI；AMLab, University of Amsterdam（阿姆斯特丹大学AMLab）；Leinweber Institute for Theoretical Physics（莱因韦伯理论物理研究所）
提出一种量化变分自编码器（VAE）重建多体系统联合概率分布能力的准则，证明成功VAE的条件独立解码器等价于有限尺寸平均场分解，从而可从解码器读出平均场理论的微观参数，并在标量、向量和张量序参量模型及视网膜记录数据中验证。
2026-06-07 cond-mat.soft cond-mat.stat-mech cs.LG
Exploring Latent Spaces of Tonal Music using Variational Autoencoders
Faculty of Engineering of University of Porto（波尔图大学工程学院）；INESC-TEC（INESC-TEC（葡萄牙系统工程与计算机技术研究所））
本研究使用不同编码方式的VAE在巴赫众赞谓语料上训练，评估其潜在空间与音乐认知中调性层级、调式距离的匹配度，发现Pitch DFT编码的VAE表现最优，相关实现已开源。
2023-11-07 cs.LG cs.MM cs.SD
Hierarchy-Guided Topology Latent Flow for Molecular Graph Generation
BCG X AI Science Institute（BCG X AI科学研究所）
本文提出HLTF模型，通过层次化潜在拓扑流生成具有3D坐标的分子键图，提升拓扑可行性，实验表明在QM9和GEOM-DRUGS数据集上均取得显著效果。
2026-03-28 cond-mat.mtrl-sci cs.LG stat.ML
Efficient Bayesian inference for multivariate factor stochastic volatility models with leverage
本文讨论了带杠杆的多变量因子随机波动率模型的有效贝叶斯估计。基于粒子马尔可夫链蒙特卡罗（PMCMC）方法的最新进展，提出了一种新的构造收敛于因子MSV模型潜在波动率和参数后验分布的采样方案的方法.与Chib et al.（2006）和Omori et al.（2007）的方法相反，我们的方法不需要通过二元正态分布的混合来近似结果和波动性创新的联合分布。为了对载荷矩阵的自由元素进行采样，我们采用了Kastner等人（2017）在吉布斯（PMwG）步骤中使用的交织方法。所提出的方法说明经验使用模拟数据集和每日美国股票收益率的样本。
2017-06-13 stat.ME
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程（HDP）及其后续变体，它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型（LDA）的更灵活的扩展，并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型，其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程（HIBP），它利用了一个层次的贝塔过程在J组，其中每个组生成二进制随机矩阵，反映组内共享的功能，根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本，我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘，后验和预测分布的HIBP和它的概括，允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性，并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
在聚类中，我们通常为每个数据点输出一个聚类变量。然而，情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如，人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构，我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层，我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器（Zhao等人，2017），我们提出了一种聚类算法，VLAC，在SVHN的测试集上，它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据，并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
From neural PCA to deep unsupervised learning
ZenRobotics Ltd.（ZenRobotics有限公司）
提出了一种支持深度无监督学习的网络。该网络是一个自动编码器，在层次结构的每个级别上具有从编码器到解码器的横向快捷连接。横向快捷连接允许层次结构的更高级别专注于抽象不变特征。虽然标准的自动编码器类似于具有单层随机变量的潜变量模型，但所提出的网络类似于分层潜变量模型。学习结合了去噪自动编码器和去噪源分离框架。网络的每一层都对成本函数有贡献，成本函数是衡量编码器和解码器产生的表示的距离的一项。由于训练信号来自网络的各个层次，因此即使在深度网络中，所有层也可以有效地学习。从更高层次的成本条款提供的加速和学习不变的功能的能力在实验中证明。
2015-02-02 cs.LG cs.NE stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Topic Modeling of Hierarchical Corpora
University of California, San Diego（加州大学圣地亚哥分校）
本文研究了多层次语料库中的主题建模问题。我们探索这个问题的参数方法，假设主题的数量是已知的，或者可以通过交叉验证来估计。我们考虑的模型可以被看作是特殊的（有限维）层次狄利克雷过程（HDPs）的实例。对于这些模型，我们表明，存在一个简单的变分近似概率推理。该近似依赖于一个以前未利用的不等式，该不等式处理模型层次结构中相邻级别的狄利克雷潜变量之间的条件依赖性。我们将我们的方法与现有的非参数HDP实现进行比较。在几个基准测试中，我们发现我们的方法比吉布斯抽样更快，并且能够比现有的变分方法学习更多的预测模型。最后，我们证明了大规模的可行性，我们的方法对两个新的可用语料库的研究人员在计算机安全-一个有350，000个文件和超过6，000个内部子类别，另一个有五个层次的深层结构。
2015-04-13 cs.IR cs.LG stat.ML
Variational Temporal Deep Generative Model for Radar HRRP Target Recognition
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们基于高分辨率距离像（HRRP）开发了一种用于雷达自动目标识别（RATR）的循环伽马置信网络（rGBN），该网络表征了HRRP距离单元之间的时间依赖性。所提出的rGBN采用一个层次的Γ分布来建立其时间深度生成模型。对于可扩展的训练和快速的样本外预测，我们提出了一个随机梯度马尔可夫链蒙特卡罗（MCMC）和一个经常性的变分推断模型的混合执行后验推理。为了利用标签信息来提取更具鉴别力的潜在表示，我们进一步提出了监督rGBN来联合建模HRRP样本及其相应的标签。在合成和实测HRRP数据上的实验结果表明，该模型计算效率高，具有良好的分类精度和泛化能力，并提供了高度可解释的多随机层潜在结构。
2020-09-28 cs.LG stat.ML
WHAI: Weibull Hybrid Autoencoding Inference for Deep Topic Modeling
为了训练推理网络与深度生成主题模型，使其既可扩展到大语料库，又能快速进行样本外预测，我们开发了用于深度潜在Dirichlet分配的Weibull混合自编码推理（WHAI），该推理通过随机梯度MCMC和自编码变分贝叶斯的混合来推断后验样本。WHAI的生成网络具有Γ分布的层次结构，而WHAI的推理网络是Weibull向上-向下变分自编码器，其集成了确定性向上深度神经网络和基于韦布尔分布的层次结构的随机向下深度生成模型。韦布尔分布可以很好地逼近具有解析库尔贝克-莱布勒散度的Γ分布，并且通过均匀噪声可以简单地重新参数化，这有助于有效地计算证据下界相对于推理网络参数的梯度。通过在大语料库上的实验，验证了WHAI的有效性和效率。
2020-04-25 stat.AP stat.CO stat.ML
