Linear combinations of latents in generative models: subspaces and beyond
本文提出潜变量最优线性组合（LOL）方法，以通用方式构造符合生成模型假设的潜变量线性组合和子空间，简化高维对象的低维表示构建。
2025-11-07 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
LOGAN: Latent Optimisation for Generative Adversarial Networks
DeepMind
训练生成对抗网络需要平衡微妙的对抗动态。即使经过仔细的调整，训练也可能会出现分歧，或者最终以放弃模式的不佳平衡而告终。在这项工作中，我们使用基于自然梯度的潜在优化来改进CS-GAN，并表明它通过增强机器人和生成器之间的交互来改善对抗动态。我们的实验表明，潜在优化可以显着改善GAN训练，获得ImageNet（$128 \times 128$）数据集的最新性能。我们的模型实现了$148$的初始得分（IS）和$3.4$的Fréchet初始距离（FID），与具有相同架构和参数数量的基线BigGAN-deep模型相比，IS和FID分别改进了$17\%$和$32\%$。
2020-07-01 cs.LG stat.ML
Unsupervised Causal Abstractions Discovery
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出从低层测量数据中直接学习高层结构因果模型的方法，利用低秩因果发现假设，证明低秩图观测诱导的潜变量形成因果抽象，并给出可辨识性结果及实用学习目标。
2026-06-19 cs.LG
Perceptual Generative Autoencoders
University of Calgary（卡尔加里大学）；MILA, Université de Montréal（蒙特利尔大学MILA）；Wuhan University（武汉大学）
现代生成模型通常被设计为直接在数据空间中匹配目标分布，其中数据的内在维度可能远低于环境维度。我们认为，这种差异可能有助于在训练生成模型的困难。因此，我们建议使用标准自动编码器的编码器将生成的分布和目标分布映射到潜在空间，并训练生成器（或解码器）以匹配潜在空间中的目标分布。具体来说，我们在理论上合理的数据和潜在的重建损失的数据空间和潜在的空间的一致性。生成的模型，我们称之为感知生成自动编码器（PGA），然后用最大似然或变分自编码器（VAE）目标进行训练。利用最大似然法，PGA将可逆生成模型的思想推广到无限制的神经网络架构和任意数量的潜在维度。当与VAE联合使用时，PGA在样本质量方面明显优于基线VAE。与其他使用简单先验的基于自动编码器的生成模型相比，PGA在CIFAR-10和CelebA上实现了最先进的FID分数。
2020-07-01 cs.LG stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
变分自动编码器（VAE）的传统先验是高斯分布。最近的工作表明，先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法（嵌入-重新参数化过程，简称ER）。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从模型复杂性视角重新思考生成建模的隐空间，提出隐-数据分布距离及解耦自编码器（DAE）两阶段训练策略，在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Score-based Generative Modeling in Latent Space
NVIDIA（英伟达）
基于分数的生成模型（SGM）最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而，它们通常直接应用于数据空间，并且通常需要数千个网络评估来进行采样。在这里，我们提出了基于潜在分数的生成模型（LSGM），这是一种在潜在空间中训练SGM的新方法，依赖于变分自动编码器框架。从数据转移到潜在空间，使我们能够训练更具表现力的生成模型，将SGM应用于非连续数据，并在更小的空间中学习更平滑的SGM，从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端，我们（i）引入适合LSGM设置的新的分数匹配目标，（ii）提出一种新的得分函数参数化，使SGM能够专注于目标分布相对于简单正态分布的不匹配，以及（iii）分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数，优于该数据集上所有现有的生成结果。在CelebA-HQ-256上，LSGM在采样质量上与之前的SGM相当，而在采样时间上则超过它们两个数量级。在对二值图像建模时，LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）；High Energy Physics Division Argonne National Laboratory（阿贡国家实验室高能物理部）；Computational Science Division Argonne National Laboratory（阿贡国家实验室计算科学部）；Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory（国家可再生能源实验室计算科学中心数据、分析与可视化组）
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间，揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）将潜在向量转换为视觉上合理的图像。通常认为，原始的GAN公式没有给出开箱即用的方法来反转映射，将图像投影回潜在空间。我们介绍一个简单的，基于梯度的技术称为随机裁剪。在实验中，对于由GAN生成的图像，我们100%准确地恢复了它们的潜在向量前图像。实验结果表明，该方法对噪声具有较好的鲁棒性.最后，我们表明，即使是看不见的图像，我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Generative Modeling of Discrete Data Using Geometric Latent Subspaces
Institute for Mathematics, Heidelberg University（海德堡大学数学研究所）；Mannheim Institute for Intelligent Systems in Medicine, Heidelberg University（海德堡大学曼海姆智能医学系统研究所）；IWR, Heidelberg University（海德堡大学IWR研究所）；Research Station Geometry and Dynamics, Heidelberg University（海德堡大学几何与动力学研究站）
本文提出了一种几何潜在子空间框架，用于生成离散数据模型。通过在积流形的指数参数空间中引入潜在子空间，学习生成离散数据模型。该方法通过编码统计依赖关系并去除冗余自由度，实现了低维潜在空间。
2026-09-28 cs.LG stat.ML
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Unveiling the Latent Space Geometry of Push-Forward Generative Models
Ecole des Ponts（巴黎桥路学院）；UGE（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）
本文研究推前生成模型（如GANs和VAEs）的潜在空间几何，证明最优性充分条件，并提出一种截断方法以改善GANs在不连通分布上的性能。
2023-05-15 cs.AI cs.LG stat.ML
Avoiding Latent Variable Collapse With Generative Skip Models
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
变分自动编码器学习高维数据的分布。他们用深层潜变量模型对数据进行建模，然后通过最大化对数边际似然的下限来拟合模型。VAE可以捕获复杂的分布，但它们也可能遭受称为“潜在变量崩溃”的问题，特别是如果可能性模型很强大。具体来说，下界涉及潜在变量的近似后验;当它被设置为等于先验时，这个后验“崩溃”，即，当近似后验独立于数据时。虽然VAE学习良好的生成模型，但潜在变量崩溃阻止它们学习有用的表示。在本文中，我们提出了一种简单的新方法，以避免潜在变量崩溃，包括跳过连接在我们的生成模型，这些连接之间的强联系的潜在变量和似然函数。我们从理论和实证两个方面研究了生成跳跃模型。理论上，我们证明了跳跃模型增加了观测值和推断的潜变量之间的互信息。从经验上讲，我们研究图像（MNIST和Omniglot）和文本（Yahoo）。与现有的VAE架构相比，我们表明生成跳过模型保持类似的预测性能，但导致更少的崩溃，并提供更有意义的数据表示。
2019-01-30 cs.CL cs.LG stat.ML
EQ-VAE: Equivariance Regularized Latent Space for Improved Generative Image Modeling
Archimedes,Athena Reaserch Center, Greece（阿基米德、阿泰纳研究中心）；National Technical University of Athens, Greece（雅典技术大学）；University of Crete, Greece（克里特大学）
针对现有自编码器缺乏等变性导致潜空间复杂、阻碍生成性能的问题，提出EQ-VAE正则化方法，强制潜空间等变性，微调预训练自编码器，显著提升多种生成模型性能并实现7倍加速。
2025-08-04 cs.LG
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Latent Translation: Crossing Modalities by Bridging Generative Models
Stony Brook University（石溪大学）；Google AI（谷歌人工智能）
端到端优化已经在许多特定问题上实现了最先进的性能，但是没有直接的方法来结合预训练模型来解决新问题。在这里，我们探索通过学习两个现有模型之间的事后接口来解决新任务来提高模块化。具体来说，我们从神经机器翻译中获得灵感，并将跨模态域转移的挑战性问题转化为预训练深度生成模型的潜在空间之间的无监督翻译。通过抽象出数据表示，我们证明了可以在不同的模态之间传输（例如，图像到音频）以及甚至不同类型的生成模型（例如，VAE到GAN）。我们比较国家的最先进的技术，并发现一个直接的变分自编码器是能够最好地桥接两个生成模型，通过学习一个共享的潜在空间。我们可以进一步在共享潜在空间中使用分类器对两个域中的属性进行监督对齐。通过定性和定量的评估，我们证明了局部性和语义对齐通过传输过程中，保持高传输精度和类内的平滑插值所示。最后，我们展示了这种模块化结构通过将其与基础生成模型的昂贵再训练解耦，加快了新接口模型的训练速度。
2019-02-21 cs.LG cs.NE stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
深度生成神经网络已被证明在复杂数据分布的条件和无条件建模方面都是有效的。条件生成支持交互式控件，但创建新控件通常需要昂贵的再培训。在本文中，我们开发了一种方法，条件生成无需重新训练的模型。通过事后学习潜在约束，即识别潜在空间中生成具有所需属性的输出的区域的价值函数，我们可以使用基于梯度的优化或摊销的演员函数从这些区域中有条件地采样。结合属性约束与一个普遍的“现实主义”的约束，这强制相似的数据分布，我们产生现实的条件图像从一个无条件的变分自编码器。此外，使用基于梯度的优化，我们展示了保持身份的变换，使潜在空间中的最小调整，以修改图像的属性。最后，与离散序列的音符，我们展示了zero-shot条件生成，学习潜在的约束条件下的标记数据或可微的奖励函数。具有专用云实例的代码已公开提供（https：//goo.gl/STGMGx）。
2017-12-21 cs.LG cs.NE stat.ML
BIVA: A Very Deep Hierarchy of Latent Variables for Generative Modeling
Corti（Corti公司）；Unumed（Unumed公司）；Technical University of Denmark（丹麦技术大学）
随着变分自动编码器（VAE）的引入，概率潜变量模型作为强大的生成模型重新受到关注。然而，它们在测试可能性和生成样本的质量方面的性能已经被没有随机单元的自回归模型所超越。此外，基于流的模型最近被证明是一个有吸引力的替代方案，以及高维数据的规模。在本文中，我们通过构建VAE模型，可以有效地利用一个深层次的随机变量和模型复杂的协方差结构的性能差距。我们介绍了双向推理变分自动编码器（BIVA），其特征在于一个跳跃连接的生成模型和一个由双向随机推理路径形成的推理网络。我们表明，BIVA达到了最先进的测试似然，生成清晰和连贯的自然图像，并使用隐变量的层次结构来捕获数据分布的不同方面。我们观察到，BIVA，在最近的结果相反，可以用于异常检测。我们把这归因于隐变量的层次结构，它能够提取高层次的语义特征。最后，我们将BIVA扩展到半监督分类任务，并证明它通过生成对抗网络实现了最先进的结果。
2019-11-06 cs.CV cs.LG stat.ML
The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models
Stanford University（斯坦福大学）
已经提出了大量的目标来训练潜变量生成模型。我们发现，他们中的许多人是相同的原始优化问题的拉格朗日对偶函数。原始问题优化了潜在变量和可见变量之间的互信息，但受到精确建模数据分布和执行正确摊销推理的约束。通过选择最大化或最小化互信息，并选择不同的拉格朗日乘子，我们获得了不同的目标，包括InfoGAN，ALI/BiGAN，ALICE，CycleGAN，beta-VAE，对抗性自编码器，AVB，AS-VAE和InfoVAE。基于这一观察，我们提供了这类拉格朗日函数中所有训练目标所做的统计和计算权衡的详尽表征。接下来，我们提出了一个双重优化方法，我们优化模型参数以及拉格朗日乘子。该方法在优化信息和满足约束条件的前提下实现了Pareto最优解。
2018-07-08 cs.AI cs.LG stat.ML
All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
Harvard University（哈佛大学）
本文通过训练线性映射拼接四种生成模型的潜在空间，发现性能良好的模型间线性映射能保留视觉信息，性别属性表征最相似，且NF的潜在表征在训练早期收敛。
2024-07-18 cs.LG
Quantum Generative Models for Computational Fluid Dynamics: A First Exploration of Latent Space Learning in Lattice Boltzmann Simulations
Al Akhawayn University（阿尔阿赫韦因大学）
本文首次将量子生成模型应用于CFD数据的潜在空间学习，通过对比量子与经典方法，展示了在格子玻尔兹曼模拟中提升生成样本质量的潜力。
2025-12-27 cs.LG
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University（埃默里大学）；University College London（伦敦大学学院）
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释，提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology（麻省理工学院）
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近，诸如变分自编码器（VAE）的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中，我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力，修改语音内容或扬声器的身份语音段使用派生的操作，而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
Generative Latent Flow
University of Chicago（芝加哥大学）
在这项工作中，我们提出了生成潜在流（GLF），生成建模的数据分布的算法。GLF使用自动编码器（AE）来学习数据的潜在表示，并使用归一化流程将潜在变量的分布映射到简单i.i.d噪声的分布。与其他一些基于自动编码器的生成模型相比，这些模型使用各种正则化器来鼓励编码的潜在分布与先验分布相匹配，我们的模型显式地构建了这两个分布之间的映射，从而实现了更好的密度匹配，同时避免了过度正则化潜在变量。我们比较了我们的模型与几个相关的技术，并表明它具有许多相对的优势，包括快速收敛，单阶段训练和最小的重建权衡。我们还研究了我们的模型和它的随机对应之间的关系，并表明，我们的模型可以被看作是一个消失的噪声限制的VAE与流动的先验。量化，在标准化评估下，我们的方法在常用数据集上基于AE的模型中实现了最先进的样本质量，并且与GANs的基准测试具有竞争力。
2019-09-22 cs.CV cs.LG
MaskAAE: Latent space optimization for Adversarial Auto-Encoders
IIT Delhi（德里印度理工学院）；Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）；TIFR（塔塔基础研究院）
神经生成模型领域由非常成功的生成对抗网络（GANs）主导，尽管它们面临着训练不稳定性和模式坍塌等挑战。具有正则化潜在空间的自动编码器（AE）为生成模型提供了一个替代框架，尽管它们的性能水平还没有达到GANs的水平。在这项工作中，我们假设AE模型的潜在空间的维度对生成的数据的质量有着至关重要的影响。假设自然产生的数据从一个“真正的”生成的潜在空间，然后由一个确定性的功能采样，我们表明，获得最佳性能时，AE模型的潜在空间的维数与“真正的”生成的潜在空间相匹配。此外，我们提出了一种称为掩码对抗自动编码器（MaskAAE）的算法，其中对抗自动编码器的潜在空间的维度通过一个过程来掩盖虚假的潜在维度，从而更接近“真实”生成潜在空间的维度。我们证明，通过实验合成和几个真实世界的数据集，所提出的配方产生更好的生成质量。
2020-05-17 cs.CV cs.LG
Latent graph encoding of multimodal neuroimaging features with generative AI architectures
Center for Translational Research in Neuroimaging and Data Science (TReNDS)（转化神经影像与数据科学研究中心）
研究旨在设计多模态生成框架用于神经影像特征分析，通过评估多种策略和模型，利用GMV和sFNC特征分析多个生成框架，提出的gMMVAE在多指标上超替代变体，有潜力用于稳健的多模态神经影像分析。
2026-07-09 cs.AI cs.CV cs.LG
Latent Regularization in Generative Test Input Generation
North Carolina State University（北卡罗来纳州立大学）；Technical University of Munich（慕尼黑技术大学）；fortiss GmbH（fortiss公司）
本研究提出通过潜在空间正则化提升生成测试输入质量的方法，通过比较两种截断策略，发现潜在代码混合能提高故障检测、多样性和有效性。
2026-02-17 cs.LG cs.SE
Knowledge Abstraction for Knowledge-based Semantic Communication: A Generative Causality Invariant Approach
Department of Intelligent Computing and Data Science, VinUniversity（智能计算与数据科学系，文大学）；School of Computer Science and Statistics, Trinity College Dublin（计算机科学与统计学系，三一学院）；School of Computer Science, The University of Sydney（计算机科学系，悉尼大学）；School of Engineering, The University of Newcastle（工程系，新castle大学）；Department of Information Convergence Engineering, Pusan National University（信息融合工程系，釜山国立大学）
本文提出利用因果不变性学习的生成对抗网络提取语义知识，并通过稀疏更新协议保障跨域一致性，以低通信开销提升语义通信解码器的分类与数据重建性能。
2025-07-23 cs.LG
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
Stanford University（斯坦福大学）
比较自回归LSTM、潜变量模型和生成对抗网络在巴赫风格钢琴音乐生成中的表现，发现带注意力的自回归LSTM生成音乐最连贯，向量量化缓解后验塌陷，对抗方法捕捉局部音高但训练困难。
2026-06-15 cs.LG cs.SD
Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics
IBM（国际商业机器公司）；IBM Research（IBM研究院）
深度生成模型越来越多地成为计算机分子设计管道的组成部分，并且具有双重目标，即学习使候选分子可行的化学和结构特征，同时还具有足够的灵活性以生成新颖的设计。具体地，变分自动编码器（VAE）是生成模型，其中编码器-解码器网络对被训练以重构训练数据分布，使得编码器网络的潜在空间是平滑的。因此，可以通过从该潜在空间采样来发现新的候选者。然而，架构和超参数的范围是巨大的，选择最佳组合进行计算机发现对下游的成功具有重要意义。因此，重要的是开发一种原则性的方法来区分给定的生成模型能够学习显著的分子特征的程度。在这项工作中，我们提出了一种方法，通过将潜在空间度量与拓扑数据分析（TDA）领域的度量相关联，来测量深度生成模型的潜在空间能够编码分子数据集的结构和化学特征的程度。我们将我们的评估方法应用于在SMILES字符串上训练的VAE，并表明3D拓扑信息在整个模型的潜在空间中始终编码。
2021-06-07 cs.LG q-bio.BM
Tunable Latent Generative Priors for Compressed Sensing and Inverse Problems
Northeastern University（东北大学）；Harvard University（哈佛大学）；Technical University of Munich（慕尼黑技术大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出可调复杂度生成模型，用于提升压缩感知等反问题的重建性能，并通过理论分析和实验验证其有效性。
2026-09-14 cs.AI cs.LG
OCL-PDE: A Generative Framework for PDE Inverse Problems with Observation-Complementary Latents
The Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）
针对PDE逆问题的不适定性，提出OCL-PDE生成框架，利用观测互补潜变量结合观测重建未知场，基于物理感知AE和条件流匹配，提升重建精度与细节恢复。
2026-10-06 cs.LG
Bayesian Inverse Problems with Conditional Sinkhorn Generative Adversarial Networks in Least Volume Latent Spaces
University of Maryland（马里兰大学）；General Electric Vernova Advanced Research（通用电气维诺瓦先进研究院）
本文提出一种基于最小体积降维的潜条件Sinkhorn生成对抗网络框架，用于高效训练并解决高维非线性贝叶斯逆问题，在ODE参数反演和地下水流高维水力传导率反演中验证了其有效性。
2024-05-22 cs.LG
DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model
The University of Tokyo（东京大学）
从单色草图合成人脸图像是图像到图像翻译领域中最基本的任务之一。然而，它仍然是具有挑战性的（1）~使模型学习高维人脸特征，如几何形状和颜色，（2）~考虑到输入草图的特点。现有的方法通常使用草图作为间接输入（或辅助输入）来引导模型，导致草图特征的丢失或几何信息的改变。在本文中，我们介绍了一个草图引导的潜空间扩散模型（SGLDM），一个基于LDM的网络架构师训练的配对草图面数据集。我们应用一个多自动编码器（AE）编码不同的输入草图从不同区域的人脸从像素空间到特征映射在潜在的空间，这使我们能够减少输入的草图的尺寸，同时保持局部人脸细节的几何相关信息。我们建立了一个素描脸配对数据集的基础上现有的方法，从图像中提取边缘图。然后，我们介绍了一个随机区域抽象（SRA），一种方法来增加我们的数据集，以提高SGLDM的鲁棒性，以处理草图输入任意抽象。评价研究表明，SGLDM可以合成高质量的人脸图像与不同的表情，面部饰品，发型从各种草图与不同的抽象层次。
2023-02-26 cs.AI cs.CV cs.LG
From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective
School of Computing and Engineering University of Huddersfield（计算与工程学院赫德斯菲尔德大学）
本文以概率潜变量模型为统一框架，梳理从经典模型到变分自编码器、扩散模型等现代生成式AI的演进脉络，揭示共享原理与推断策略差异，为生成式AI提供理论路线图。
2025-08-18 cs.AI cs.LG
An attempt to generate new bridge types from latent space of generative adversarial network
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先见数智交通科技有限公司）
本研究利用生成对抗网络，基于Python、TensorFlow和Keras框架及四种对称结构桥梁图像数据集，通过低维潜在空间采样生成具有不对称结构的新桥型，展现了生成式AI的原创能力与启发潜力。
2024-01-01 cs.AI cs.CV cs.LG
Generative Latent Diffusion for Efficient Spatiotemporal Data Reduction
University of Florida（佛罗里达大学）
本文提出一种结合变分自编码器与条件扩散模型的潜在扩散框架，仅压缩少量关键帧并通过生成式插值重建其余帧，在多个数据集上实现比SZ3高10倍的压缩比和比领先学习方法高63%的性能。
2025-07-02 cs.CV cs.LG
Generative Latent Alignment for Interpretable Radar Based Occupancy Detection in Ambient Assisted Living
本文提出GLA框架，结合变分自编码器和CLIP文本编码器，通过潜在空间对齐实现雷达占用检测的可解释性，通过Grad-CAM可视化决策区域，并验证雷达特定锚点对解释效果的重要性。
2026-01-27 cs.LG eess.SP
Latent Generative Modeling of Random Fields from Limited Training Data
NASA Langley Research Center（美国国家航空航天局兰利研究中心）；Texas Tech. University（德克萨斯技术大学）
本文提出一种结合领域知识的潜在空间生成模型，用于在数据有限时建模随机场，通过约束-aware VAE和函数解码器学习紧凑的潜在表示，提升生成质量与鲁棒性。
2026-04-30 cs.CE cs.LG
Geometric Disentanglement for Generative Latent Shape Models
University of Toronto（多伦多大学）；Vector Institute for AI（矢量人工智能研究院）；Samsung AI Center Toronto（多伦多三星人工智能中心）；Samsung Research America, Inc.（美国三星研究公司）
三维形状表示是人工智能的一个基本问题，在计算机视觉和图形学中有着广泛的应用。最近开始探索的一条途径是使用生成模型的潜在表示。然而，它仍然是一个开放的问题，学习一个生成模型的形状，是可解释的，易于操纵，特别是在没有监督标签。在本文中，我们提出了一种无监督的方法来划分的潜在空间的变分自编码器的三维点云在一个自然的方式，只使用几何信息。我们的方法利用工具从谱微分几何分离的内在和外在的形状信息，然后考虑几个层次的解纠缠的处罚，以这种方式划分的潜在空间，包括一个新的惩罚雅可比矩阵的解码输出的潜在表示相对于潜在的编码。我们表明，由此产生的表示具有直观和可解释的行为，使任务，如姿势转移和姿势感知形状检索，不能很容易地执行的模型与纠缠表示。
2019-08-18 cs.CV cs.LG eess.IV
Fourier Transformers for Latent Crystallographic Diffusion and Generative Modeling
CRIL UMR 8188, Universit\'e d'Artois, CNRS, France
本文提出一种基于傅里叶变换的生成模型，用于高效生成具有周期性和对称性的晶体结构，通过潜在扩散模型在压缩空间中实现高精度重建和生成。
2026-02-12 cs.AI cs.LG
Attributing Image Generative Models using Latent Fingerprints
Arizona State University（亚利桑那州立大学）
本文提出利用潜在语义维度作为指纹进行生成模型溯源，分析了维度选择、强度与容量对准确率与质量权衡的影响，并以最小计算开销在StyleGAN2和潜在扩散模型上验证了其有效性。
2023-05-26 cs.CR cs.CV cs.LG
LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））
该研究提出LASERS稀疏潜在空间编码方法，构建基于字典学习的DL-VAE与DL-GAN模型，在重建质量上优于VQ类方法，同时解决码本崩溃问题，揭示VQ的核心优势源于有损压缩而非离散化。
2024-09-16 cs.CV cs.LG
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London（伦敦大学学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于谱几何的新型损失函数，通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影，实现了局部形状属性的解耦生成，在保持良好生成能力和相当训练时间的同时，显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
生成对抗网络（GANs）和变分自编码器（VAE）等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而，到目前为止，由于监督数据的要求，他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力，通过在胸部CT扫描上训练GAN和VAE，并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换，如旋转或乳房大小。此外，这些方向表明，生成模型捕捉3D结构，尽管只呈现2D数据。结果表明，在GANs中发现可解释方向的无监督方法可推广到VAE，并可应用于医学图像。这打开了一个广泛的未来的工作，使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Learning Multimodal Latent Generative Models with Energy-Based Prior
School of Systems and Enterprises（系统与企业学院）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出将多模态隐变量生成模型与能量模型结合的新框架，通过变分联合训练获得更具表达力的先验，从而提升跨模态生成一致性。
2024-09-30 cs.CV cs.LG
Integrating Predictive and Generative Capabilities by Latent Space Design via the DKL-VAE Model
Center for Nanointegration Duisburg-Essen (CENIDE), University of Duisburg-Essen（杜伊斯堡-埃森大学纳米集成中心）；Department of Materials Science and Engineering, University of Tennessee（田纳西大学材料科学与工程系）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
提出 VAE-DKL 框架，结合 VAE 生成能力与 DKL 预测特性，通过高斯过程回归优化潜在空间，实现高精度属性预测并生成新结构，为高通量材料发现提供新方法。
2025-03-04 cond-mat.mtrl-sci cs.LG
Latent-Space No-Arbitrage Geometry of Generative Models for Implied Volatility Surfaces
Delft University of Technology（代尔夫特理工大学）；Delft Institute of Applied Mathematics（代尔夫特应用数学研究所）
本研究在隐空间分析生成隐含波动率曲面的模型的无套利约束，建立可接受隐集的边界条件，将分析推广至多种生成模型架构，实验验证了边界的有效性并揭示隐先验的分布特征。
2026-09-02 cs.AI cs.LG cs.NA
FarSky: Task-Aware Latent-Space Coupling for Generative Intra-Hour Solar Forecasting
本研究提出FarSky生成式预测框架，结合任务感知隐空间耦合与隐扩散模型，在太阳辐照度预测中实现最优确定性及概率性能，斜坡事件检测F1超60%，预测技能最高提升11个百分点。
2026-08-13 cs.LG physics.ao-ph stat.AP
Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis
Nagoya Institute of Technology（名古屋工业大学）；Microsoft Development Co., Ltd.（微软开发有限公司）
本文提出了一种多粒度隐变量的层次生成模型来合成表达性语音。近年来，文本到语音合成中引入了细粒度的隐变量，使得能够对合成语音的韵律和说话风格进行精细控制。然而，当这些潜变量通过从标准高斯先验中采样来获得时，语音的自然度降低。为了解决这个问题，我们提出了一个新的框架，考虑到依赖于输入文本，层次语言结构，和时间结构的潜变量建模的细粒度的潜变量。该框架包括一个多粒度的变分自编码器，一个条件先验，和一个多层次的自回归潜转换器，以获得不同的时间分辨率的潜变量，并考虑到输入文本从粗层次的潜变量采样细层次的潜变量。实验结果表明，适当的方法采样细粒度的潜变量没有参考信号在合成阶段。我们提出的框架还提供了在整个话语的说话风格的可控性。
2021-12-26 cs.LG cs.SD eess.AS
Synergizing Transport-Based Generative Models and Latent Geometry for Stochastic Closure Modeling
Department of Mechanical Engineering, University of Wisconsin–Madison, Madison, WI 53706（威斯康星大学麦迪逊分校机械工程系）
本文提出通过融合基于传输的生成模型与潜在几何，实现随机闭合模型的高效采样与学习。
2026-02-19 cs.LG math.DS physics.comp-ph
