Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GAN）的生成器经过训练，可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的，但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间，并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions
UC San Diego（加州大学圣地亚哥分校）；SPAWAR（SPAWAR（太空与海战系统司令部））
我们提出了一种基于自动编码器（AE）和生成对抗网络（GAN）的神经网络架构，通过对潜在空间插值进行对抗训练来促进凸潜在分布。通过使用AE作为GAN的生成器和消隐器，我们在消隐器上传递逐像素误差函数，产生一个AE，它产生与原始图像的高级和低级特征相匹配的非模糊样本。在这个空间中的图像之间的插值保持在真实图像的潜空间分布内，如由神经网络训练的，并且因此保持对网络输入的现实不对称性。代码可在https://github.com/timsainb/GAIA获得
2019-04-22 cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago（芝加哥大学）
在本文中，我们提出了一种通用的方法，可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数，该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型，并且在训练之后，从基于能量的模型生成潜在空间中的新样本，并通过生成器以在观察空间中产生样本。我们表明，使用我们提出的方法，我们可以大大提高流行的基于似然的生成模型，如规范化流和VAE，与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Modelling Latent Travel Behaviour Characteristics with Generative Machine Learning
Ryerson University（瑞尔森大学）
在本文中，我们实现了一个信息理论的方法，通过引入一个生成建模框架，以确定信息的潜在特征，在旅游决策的旅行行为分析。它涉及使用受限玻尔兹曼机（RBM）生成建模框架开发联合三方贝叶斯图形网络模型。我们将此框架应用于模式选择调查数据，以识别抽象潜变量，并将性能与具有特定潜偏好（安全性、舒适性和环境）的传统潜变量模型进行比较。在加拿大魁北克省的一项联合声明和显示偏好模式选择调查中收集的数据被用来校准RBM模型。结果表明，一个显着的影响模型的似然统计，并建议机器学习工具是非常适合建模复杂的网络条件独立的行为相互作用。
2018-09-15 cs.LG stat.ML
Latent Abstractions in Generative Diffusion Models
EURECOM（欧洲电信研究院）；CNRS（法国国家科学研究中心）；SAP Labs（思爱普实验室）
本文提出扩展NLF的理论框架，将扩散模型刻画为由潜在抽象引导的非线性滤波SDE系统，并通过实证研究验证潜在抽象在生成过程中的涌现。
2024-10-04 cs.LG stat.ML
Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila；Google（谷歌）；CIFAR
在这项工作中，我们提出了一个新的家庭的生成流的增强数据空间，目的是提高表现力，而不会大幅增加计算成本的采样和评估的下限的可能性。理论上，我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验，我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Latent Space Exploration Using Generative Kernel PCA
KU Leuven（鲁汶大学）
核PCA是一种功能强大的特征提取器，最近在受限核机器（RKM）的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解，称为生成内核PCA。在本文中，使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成，这允许对组件进行解释。首先，在三个数据集上显示了这种特征空间探索的示例，其中一个数据集导致ECG信号的可解释表示。之后，结合使用的工具与新颖性检测，在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington（华盛顿大学）
生成对抗网络（GANs）在许多无监督学习任务中取得了显著的成功，聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类，但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中，我们提出了一种新的机制，使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量，再加上一个逆网络（将数据投影到潜空间），并使用聚类特定损失进行联合训练，我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象，即GANs可以保持跨类别的潜在空间插值，即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较，并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
Evaluating Disentanglement in Generative Models Without Knowledge of Latent Factors
University of California San Diego（加州大学圣地亚哥分校）
概率生成模型为学习数据的底层几何结构提供了一个灵活而系统的框架。然而，在这种情况下，模型选择是具有挑战性的，特别是当选择不明确的质量，如解缠或可解释性。在这项工作中，我们通过引入一种基于学习过程中表现出的训练动态对生成模型进行排名的方法来解决这一差距。受最近的理论表征解纠缠的启发，我们的方法不需要监督的潜在因素。我们评估我们的方法，证明需要的解纠缠指标，不需要标签\textemdash的基本生成因素。我们还证明了我们的方法与基线监督方法评估解缠相关。最后，我们表明，我们的方法可以用作下游性能的无监督指标强化学习和公平分类问题。
2022-10-04 cs.LG stat.ML
Linear combinations of latents in generative models: subspaces and beyond
本文提出潜变量最优线性组合（LOL）方法，以通用方式构造符合生成模型假设的潜变量线性组合和子空间，简化高维对象的低维表示构建。
2025-11-07 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
LOGAN: Latent Optimisation for Generative Adversarial Networks
DeepMind
训练生成对抗网络需要平衡微妙的对抗动态。即使经过仔细的调整，训练也可能会出现分歧，或者最终以放弃模式的不佳平衡而告终。在这项工作中，我们使用基于自然梯度的潜在优化来改进CS-GAN，并表明它通过增强机器人和生成器之间的交互来改善对抗动态。我们的实验表明，潜在优化可以显着改善GAN训练，获得ImageNet（$128 \times 128$）数据集的最新性能。我们的模型实现了$148$的初始得分（IS）和$3.4$的Fréchet初始距离（FID），与具有相同架构和参数数量的基线BigGAN-deep模型相比，IS和FID分别改进了$17\%$和$32\%$。
2020-07-01 cs.LG stat.ML
Latent Geometry and Memorization in Generative Models
Sentient Technologies
很难判断一个经过训练的生成模型是已经学会生成新的示例，还是仅仅记住了一组特定的输出。在已发表的工作中，通常尝试在视觉上解决这个问题，例如通过显示生成的示例及其在训练集中的最近邻居（例如，在L2度量中）。由于任何生成模型都会在其输出域上引入概率密度，因此我们建议直接研究这个密度。我们首先研究了潜在表示和生成器的几何形状，将其与输出密度联系起来，然后开发计算和检查输出密度的技术。作为一个应用程序，我们证明了“记忆”往往是一个密度的δ函数集中在记忆的例子。我们注意到，如果不首先理解几何形状，基本上不可能进行测量。
2017-05-25 cs.LG stat.ML
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Preferred Networks Inc.（优选网络公司）
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中，我们提出了一个新的框架，学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差，以在图模型中对依赖结构进行建模，并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素，这些因素反映了各种类型的期望结构，如捕获相关性或编码不变性，同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明，我们的框架统一了许多现有的生成模型，可以应用于各种任务，包括多模态数据建模，算法公平性，不变的风险最小化。
2020-10-02 cs.LG stat.ML
On Latent Distributions Without Finite Mean in Generative Models
Jagiellonian University（雅盖隆大学）
我们调查的背景下，隐式生成模型的潜在空间先验分布的多维概率分布的属性。我们的工作围绕着解码两个随机潜在向量之间的线性插值时出现的现象-接近空间原点的潜在空间区域被采样，导致分布不匹配。我们表明，由于中心极限定理，这个区域几乎从来没有在训练过程中采样。因此，线性插值可能会生成不切实际的数据，并且将其用作检查训练模型质量的工具是值得怀疑的。我们建议使用多维柯西分布作为潜在先验。柯西分布不满足CLT的假设，并且具有许多属性，这些属性允许它与线性插值一起很好地工作。我们还提供了两种通用的方法来创建非线性插值，很容易适用于一个大家庭的共同潜在的分布。最后，我们在CelebA数据集上实证分析了DCGAN模型从低概率质量区域生成的数据质量。
2018-06-05 cs.LG stat.ML
Perceptual Generative Autoencoders
University of Calgary（卡尔加里大学）；MILA, Université de Montréal（蒙特利尔大学MILA）；Wuhan University（武汉大学）
现代生成模型通常被设计为直接在数据空间中匹配目标分布，其中数据的内在维度可能远低于环境维度。我们认为，这种差异可能有助于在训练生成模型的困难。因此，我们建议使用标准自动编码器的编码器将生成的分布和目标分布映射到潜在空间，并训练生成器（或解码器）以匹配潜在空间中的目标分布。具体来说，我们在理论上合理的数据和潜在的重建损失的数据空间和潜在的空间的一致性。生成的模型，我们称之为感知生成自动编码器（PGA），然后用最大似然或变分自编码器（VAE）目标进行训练。利用最大似然法，PGA将可逆生成模型的思想推广到无限制的神经网络架构和任意数量的潜在维度。当与VAE联合使用时，PGA在样本质量方面明显优于基线VAE。与其他使用简单先验的基于自动编码器的生成模型相比，PGA在CIFAR-10和CelebA上实现了最先进的FID分数。
2020-07-01 cs.LG stat.ML
Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Microsoft Research（微软研究院）
科学和工程中的许多重要问题，如药物设计，涉及在复杂的，高维的，结构化的输入空间上优化昂贵的黑箱目标函数。尽管机器学习技术在解决这些问题方面已经显示出前景，但是现有方法基本上缺乏样本效率。我们介绍了一种改进的高效黑盒优化方法，该方法在通过深度生成模型学习的低维连续隐流形中进行优化。与以前的方法相比，我们积极地引导生成模型来维护一个潜在的流形，这对于有效地优化目标非常有用。我们通过周期性地重新训练生成模型来实现这一点，这些生成模型是沿着优化轨迹查询的数据点，并根据目标函数值对这些数据点进行加权。这种加权再训练可以很容易地在现有方法的基础上实现，并且经验表明，它可以显着提高合成和现实世界优化问题的效率和性能。
2020-10-25 cs.LG stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
变分自动编码器（VAE）的传统先验是高斯分布。最近的工作表明，先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法（嵌入-重新参数化过程，简称ER）。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models
University of Central Florida（中佛罗里达大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
无监督元学习方法依赖于使用诸如随机选择、聚类和/或增强之类的技术创建的合成元任务。不幸的是，聚类和增强是依赖于域的，因此它们需要手动调整或昂贵的学习。在这项工作中，我们描述了一种使用生成模型生成元任务的方法。一个关键的组件是一种新的方法，从潜在的空间，生成对象分组到合成类形成的训练和验证数据的元任务的采样。我们发现，所提出的方法，潜在空间插值无监督元学习（LASIUM），优于或有竞争力的Few-Shot分类任务的最广泛使用的基准数据集上的当前无监督学习基线。此外，该方法有望适用于比以前的方法更广泛的领域，而无需手动调整。
2020-06-18 cs.LG stat.ML
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从模型复杂性视角重新思考生成建模的隐空间，提出隐-数据分布距离及解耦自编码器（DAE）两阶段训练策略，在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Modeling Complex Disease Trajectories using Deep Generative Models with Semi-Supervised Latent Processes
University of Zurich（苏黎世大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Oslo University Hospital（奥斯陆大学医院）；University of Oslo（奥斯陆大学）；University Hospital Zurich（苏黎世大学医院）；Bogomolets National Medical University（博戈莫列茨国立医科大学）
本研究提出带半监督潜过程的深度生成时间序列方法，结合医学知识解耦潜空间以提升可解释性，可用于疾病轨迹建模、患者匹配、亚型聚类及个性化监测预测，在系统性硬化症中验证了有效性。
2024-01-29 cs.LG stat.ML
Socratic Learning: Augmenting Generative Models to Incorporate Latent Subsets in Training Data
Stanford University（斯坦福大学）；California Institute of Technology（加州理工学院）；Cornell University（康奈尔大学）
训练像神经网络这样的判别模型的挑战是获得足够的标记训练数据。最近的方法使用生成模型来组合弱监督源，如用户定义的统计学或知识库，以标记训练数据。先前的工作已经探索了这些源的学习精度，即使没有地面真值标签，但他们假设单个精度参数足以在整个训练集上对这些源的行为进行建模。特别地，它们不能对训练数据中的潜在子集进行建模，其中监督源的表现不同于平均值。我们提出了苏格拉底式学习，一种范式，使用相应的判别模型的反馈，自动识别这些子集，并相应地增强生成模型的结构。在实验中，我们表明，没有任何地面真相标签，增强生成模型减少了高达56.06%的错误相比，一个关系抽取任务的最先进的弱监督技术，利用生成模型。
2017-09-28 cs.LG stat.ML
Score-based Generative Modeling in Latent Space
NVIDIA（英伟达）
基于分数的生成模型（SGM）最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而，它们通常直接应用于数据空间，并且通常需要数千个网络评估来进行采样。在这里，我们提出了基于潜在分数的生成模型（LSGM），这是一种在潜在空间中训练SGM的新方法，依赖于变分自动编码器框架。从数据转移到潜在空间，使我们能够训练更具表现力的生成模型，将SGM应用于非连续数据，并在更小的空间中学习更平滑的SGM，从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端，我们（i）引入适合LSGM设置的新的分数匹配目标，（ii）提出一种新的得分函数参数化，使SGM能够专注于目标分布相对于简单正态分布的不匹配，以及（iii）分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数，优于该数据集上所有现有的生成结果。在CelebA-HQ-256上，LSGM在采样质量上与之前的SGM相当，而在采样时间上则超过它们两个数量级。在对二值图像建模时，LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）将潜在向量转换为视觉上合理的图像。通常认为，原始的GAN公式没有给出开箱即用的方法来反转映射，将图像投影回潜在空间。我们介绍一个简单的，基于梯度的技术称为随机裁剪。在实验中，对于由GAN生成的图像，我们100%准确地恢复了它们的潜在向量前图像。实验结果表明，该方法对噪声具有较好的鲁棒性.最后，我们表明，即使是看不见的图像，我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）；High Energy Physics Division Argonne National Laboratory（阿贡国家实验室高能物理部）；Computational Science Division Argonne National Laboratory（阿贡国家实验室计算科学部）；Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory（国家可再生能源实验室计算科学中心数据、分析与可视化组）
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间，揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Generative Modeling of Discrete Data Using Geometric Latent Subspaces
Institute for Mathematics, Heidelberg University（海德堡大学数学研究所）；Mannheim Institute for Intelligent Systems in Medicine, Heidelberg University（海德堡大学曼海姆智能医学系统研究所）；IWR, Heidelberg University（海德堡大学IWR研究所）；Research Station Geometry and Dynamics, Heidelberg University（海德堡大学几何与动力学研究站）
本文提出了一种几何潜在子空间框架，用于生成离散数据模型。通过在积流形的指数参数空间中引入潜在子空间，学习生成离散数据模型。该方法通过编码统计依赖关系并去除冗余自由度，实现了低维潜在空间。
2026-09-28 cs.LG stat.ML
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Fast Compressive Sensing Recovery Using Generative Models with Structured Latent Variables
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型显著提高了压缩感知恢复的视觉质量和准确性。在本文中，我们提出了一种算法，从压缩测量与图像先验捕获的生成模型的信号重建。我们搜索和约束的潜变量空间，使该方法稳定的压缩测量的数量是非常有限的。我们表明，通过利用某些结构的潜变量，所提出的方法产生改进的重建精度，并保留现实和非光滑的图像特征。该算法通过在原始信号空间和隐变量空间之间进行交替投影，实现了较高的计算速度。
2020-03-19 cs.CV cs.LG stat.ML
Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds
School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）
该研究提出ILDM框架，将概率降维与未知流形几何感知扩散结合，通过混合扩散与近似去噪得分匹配方法，在三类数据集上实现生成质量提升，降低了FID和LPIPS分数。
2026-08-06 cs.LG stat.ML
Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data
Carnegie Mellon University（卡内基梅隆大学）
如何对包括但不限于语音和人体运动的序列数据的分布进行建模是一个重要的正在进行的研究问题。已经证明，通过在递归神经网络的隐状态中引入随机潜变量，可以显着提高模型容量。同时，WaveNet，配备了膨胀卷积，在自然语音生成任务中取得了惊人的经验表现。在本文中，我们结合了随机潜变量和扩张卷积的思想，并提出了一种新的体系结构来建模序列数据，称为随机WaveNet，其中随机潜变量被注入到WaveNet结构中。我们认为，随机WaveNet具有强大的分布建模能力和扩张卷积并行训练的优势。为了有效地推断潜变量的后验分布，基于WaveNet体系结构的特点，设计了一种新的推理网络结构。Stochastic WaveNet在自然语音建模方面获得了基准数据集上的最先进性能，并且还可以生成高质量的人类笔迹样本。
2018-06-15 cs.LG stat.ML
Feature-Based Interpolation and Geodesics in the Latent Spaces of Generative Models
Jagiellonian University（雅盖隆大学）
点间插补是一个与测地线的求取和生成模型的研究相联系的问题。在测地线的情况下，我们搜索具有最短长度的曲线，而在生成模型的情况下，我们通常在潜在空间中应用线性插值。然而，这种插值隐含地使用了高斯是单峰的事实。因此，当隐密度为非高斯分布时的插值问题是一个公开问题。本文提出了一种通用的、统一的插值方法，它允许我们在任意密度的情况下，同时搜索隐空间中的测地线和插值曲线。我们的结果有很强的理论背景的基础上引入的插值曲线的质量措施。特别是，我们表明，最大限度地提高曲线的质量措施，可以等价地理解为搜索测地线的空间上的黎曼度量的某种重新定义。我们提供三个重要案例的例子。首先，我们表明，我们的方法可以很容易地应用到流形上找到测地线。接下来，我们将重点关注在预训练的生成模型中寻找插值。我们表明，我们的模型有效地工作在任意密度的情况下。此外，我们可以在由具有给定特征的数据组成的空间的子集中进行插值。最后一种情况是集中在寻找插值空间的化合物。
2023-03-13 cs.LG stat.ML
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University（韩东国际大学）
在深度生成模型成功应用于图像生成任务后，学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量，一些模型显示出较低的重建图像质量，而另一些模型增加了难以训练的模型复杂度。在本文中，我们提出了一个简单的去纠缠方法的基础上，传统的白化过程。该方法适用于变分自动编码器（VAE）的潜变量，虽然它可以应用于任何生成模型的潜变量。在实验中，我们将所提出的方法应用到简单的VAE模型和实验结果证实，我们的方法发现更多的解释因素，从潜在的空间，而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Latent Schr{ö}dinger Bridge Diffusion Model for Generative Learning
School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；Center of Statistical Research and School of Statistics, Southwestern University of Finance and Economics（西南财经大学统计研究中心与统计学院）
本文提出一种利用潜空间薛定谔桥扩散模型的生成式学习方法，通过预训练编码器-解码器架构并建立端到端误差分析，有效控制二阶Wasserstein距离并缓解维度灾难，为扩散模型提供理论支持。
2024-12-22 cs.LG stat.ML
Unveiling the Latent Space Geometry of Push-Forward Generative Models
Ecole des Ponts（巴黎桥路学院）；UGE（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）
本文研究推前生成模型（如GANs和VAEs）的潜在空间几何，证明最优性充分条件，并提出一种截断方法以改善GANs在不连通分布上的性能。
2023-05-15 cs.AI cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London（帝国理工学院）
我们专注于生成式自动编码器，例如变分或对抗式自动编码器，它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布，它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗（MCMC）采样过程，相当于迭代解码和编码，这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射，因此我们可以使用MCMC来提高从生成模型提取的样本的质量，特别是当学习的潜在分布远离先验时。使用MCMC采样，我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Avoiding Latent Variable Collapse With Generative Skip Models
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
变分自动编码器学习高维数据的分布。他们用深层潜变量模型对数据进行建模，然后通过最大化对数边际似然的下限来拟合模型。VAE可以捕获复杂的分布，但它们也可能遭受称为“潜在变量崩溃”的问题，特别是如果可能性模型很强大。具体来说，下界涉及潜在变量的近似后验;当它被设置为等于先验时，这个后验“崩溃”，即，当近似后验独立于数据时。虽然VAE学习良好的生成模型，但潜在变量崩溃阻止它们学习有用的表示。在本文中，我们提出了一种简单的新方法，以避免潜在变量崩溃，包括跳过连接在我们的生成模型，这些连接之间的强联系的潜在变量和似然函数。我们从理论和实证两个方面研究了生成跳跃模型。理论上，我们证明了跳跃模型增加了观测值和推断的潜变量之间的互信息。从经验上讲，我们研究图像（MNIST和Omniglot）和文本（Yahoo）。与现有的VAE架构相比，我们表明生成跳过模型保持类似的预测性能，但导致更少的崩溃，并提供更有意义的数据表示。
2019-01-30 cs.CL cs.LG stat.ML
Theoretical guarantees for sampling and inference in generative models with latent diffusions
University of Illinois（伊利诺伊大学）
引入并研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观测变量是在扩散的终点上有条件地抽取的.我们做了以下贡献：我们提供了一个统一的观点，通过镜头的随机控制在这种生成模型的采样和变分推理。我们量化了基于扩散的生成模型的表现力。具体而言，我们表明，可以有效地从广泛的终端目标分布的类选择漂移的潜在扩散的多层前馈神经网络，采样的准确性测量的Kullback-Leibler发散的目标分布。最后，我们提出并分析了一个无偏模拟生成模型与潜在扩散的计划，并提供了所得到的估计方差的界限。该方案可以实现为具有随机数层的深度生成模型。
2019-05-31 cs.LG math.OC math.PR
EQ-VAE: Equivariance Regularized Latent Space for Improved Generative Image Modeling
Archimedes,Athena Reaserch Center, Greece（阿基米德、阿泰纳研究中心）；National Technical University of Athens, Greece（雅典技术大学）；University of Crete, Greece（克里特大学）
针对现有自编码器缺乏等变性导致潜空间复杂、阻碍生成性能的问题，提出EQ-VAE正则化方法，强制潜空间等变性，微调预训练自编码器，显著提升多种生成模型性能并实现7倍加速。
2025-08-04 cs.LG
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley（加州大学伯克利分校）
提出GReinSS框架，使用动态缩放奖励学习潜在状态分布以最大化观测数据似然，在模拟潜在集和图重建中优于基线，并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Latent Space Cartography: Generalised Metric-Inspired Measures and Measure-Based Transformations for Generative Models
Cogent Labs（科进实验室）
深度生成模型是通过映射到低维潜在空间来学习高维数据空间上的数据分布的通用工具。我们提供了一个研究潜在的空间几何形状和扩展和建立在以前的结果黎曼度量。我们展示了一类启发式措施如何在寻找有意义的，特定于问题的距离方面提供更大的灵活性，以及它如何应用于不同的生成器类型，例如语言和其他序列建模中常用的自回归生成器。我们进一步演示了如何使用之前在制图学中研究的扩散启发的变换来平滑潜在空间，并根据所选的度量来拉伸它们。除了直接在潜在空间中提供更有意义的距离外，这还为新型数据可视化提供了独特的工具。我们相信，所提出的方法可以成为一个有价值的工具，用于研究潜在空间的结构和生成模型的学习数据分布。
2019-02-06 cs.AI cs.CL cs.LG
Latent Translation: Crossing Modalities by Bridging Generative Models
Stony Brook University（石溪大学）；Google AI（谷歌人工智能）
端到端优化已经在许多特定问题上实现了最先进的性能，但是没有直接的方法来结合预训练模型来解决新问题。在这里，我们探索通过学习两个现有模型之间的事后接口来解决新任务来提高模块化。具体来说，我们从神经机器翻译中获得灵感，并将跨模态域转移的挑战性问题转化为预训练深度生成模型的潜在空间之间的无监督翻译。通过抽象出数据表示，我们证明了可以在不同的模态之间传输（例如，图像到音频）以及甚至不同类型的生成模型（例如，VAE到GAN）。我们比较国家的最先进的技术，并发现一个直接的变分自编码器是能够最好地桥接两个生成模型，通过学习一个共享的潜在空间。我们可以进一步在共享潜在空间中使用分类器对两个域中的属性进行监督对齐。通过定性和定量的评估，我们证明了局部性和语义对齐通过传输过程中，保持高传输精度和类内的平滑插值所示。最后，我们展示了这种模块化结构通过将其与基础生成模型的昂贵再训练解耦，加快了新接口模型的训练速度。
2019-02-21 cs.LG cs.NE stat.ML
Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
深度生成神经网络已被证明在复杂数据分布的条件和无条件建模方面都是有效的。条件生成支持交互式控件，但创建新控件通常需要昂贵的再培训。在本文中，我们开发了一种方法，条件生成无需重新训练的模型。通过事后学习潜在约束，即识别潜在空间中生成具有所需属性的输出的区域的价值函数，我们可以使用基于梯度的优化或摊销的演员函数从这些区域中有条件地采样。结合属性约束与一个普遍的“现实主义”的约束，这强制相似的数据分布，我们产生现实的条件图像从一个无条件的变分自编码器。此外，使用基于梯度的优化，我们展示了保持身份的变换，使潜在空间中的最小调整，以修改图像的属性。最后，与离散序列的音符，我们展示了zero-shot条件生成，学习潜在的约束条件下的标记数据或可微的奖励函数。具有专用云实例的代码已公开提供（https：//goo.gl/STGMGx）。
2017-12-21 cs.LG cs.NE stat.ML
Latent Graph Learning in Generative Models of Neural Signals
Case Western Reserve University（凯斯西储大学）
本文研究神经信号生成模型中的隐式图学习，发现提取的网络表示与真实有向图仅适度对齐，而与共输入图表示强对齐，为在神经数据基础模型中引入图几何约束提供了依据。
2025-08-22 cs.LG
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University（哥伦比亚大学统计系）
针对深度生成模型不可识别和不可解释的问题，提出具有二元潜层的深度离散编码器（DDE），通过可识别性条件和谱初始化加惩罚EM算法，实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
BIVA: A Very Deep Hierarchy of Latent Variables for Generative Modeling
Corti（Corti公司）；Unumed（Unumed公司）；Technical University of Denmark（丹麦技术大学）
随着变分自动编码器（VAE）的引入，概率潜变量模型作为强大的生成模型重新受到关注。然而，它们在测试可能性和生成样本的质量方面的性能已经被没有随机单元的自回归模型所超越。此外，基于流的模型最近被证明是一个有吸引力的替代方案，以及高维数据的规模。在本文中，我们通过构建VAE模型，可以有效地利用一个深层次的随机变量和模型复杂的协方差结构的性能差距。我们介绍了双向推理变分自动编码器（BIVA），其特征在于一个跳跃连接的生成模型和一个由双向随机推理路径形成的推理网络。我们表明，BIVA达到了最先进的测试似然，生成清晰和连贯的自然图像，并使用隐变量的层次结构来捕获数据分布的不同方面。我们观察到，BIVA，在最近的结果相反，可以用于异常检测。我们把这归因于隐变量的层次结构，它能够提取高层次的语义特征。最后，我们将BIVA扩展到半监督分类任务，并证明它通过生成对抗网络实现了最先进的结果。
2019-11-06 cs.CV cs.LG stat.ML
All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
Harvard University（哈佛大学）
本文通过训练线性映射拼接四种生成模型的潜在空间，发现性能良好的模型间线性映射能保留视觉信息，性别属性表征最相似，且NF的潜在表征在训练早期收敛。
2024-07-18 cs.LG
Compressed Sensing of Generative Sparse-latent (GSL) Signals
KTH Royal Institute of Technology（KTH皇家理工学院）
研究基于神经网络的生成式稀疏潜在（GSL）信号的压缩感知重建问题，提出一种非凸的稀疏诱导重建算法，并利用基于梯度的搜索在模拟数据上实现了良好的重建性能。
2023-10-16 cs.AI cs.LG
The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models
Stanford University（斯坦福大学）
已经提出了大量的目标来训练潜变量生成模型。我们发现，他们中的许多人是相同的原始优化问题的拉格朗日对偶函数。原始问题优化了潜在变量和可见变量之间的互信息，但受到精确建模数据分布和执行正确摊销推理的约束。通过选择最大化或最小化互信息，并选择不同的拉格朗日乘子，我们获得了不同的目标，包括InfoGAN，ALI/BiGAN，ALICE，CycleGAN，beta-VAE，对抗性自编码器，AVB，AS-VAE和InfoVAE。基于这一观察，我们提供了这类拉格朗日函数中所有训练目标所做的统计和计算权衡的详尽表征。接下来，我们提出了一个双重优化方法，我们优化模型参数以及拉格朗日乘子。该方法在优化信息和满足约束条件的前提下实现了Pareto最优解。
2018-07-08 cs.AI cs.LG stat.ML
Quantum Generative Models for Computational Fluid Dynamics: A First Exploration of Latent Space Learning in Lattice Boltzmann Simulations
Al Akhawayn University（阿尔阿赫韦因大学）
本文首次将量子生成模型应用于CFD数据的潜在空间学习，通过对比量子与经典方法，展示了在格子玻尔兹曼模拟中提升生成样本质量的潜力。
2025-12-27 cs.LG
Dual reparametrized Variational Generative Model for Time-Series Forecasting
King’s College London（伦敦国王学院）
本文提出了一种用于时间序列预测的生成式模型DualVDT。在变分自编码器（VAE）模型中引入双重重参数化变分机制，收紧了模型的证据下限（ELBO），并从理论上证明了其性能的提高。该机制利用基于潜在基于得分的生成模型（SGM），通过逆时随机微分方程和变分祖先采样显式地去除潜在向量上累积的扰动。融合对偶重参数变分密度的隐分布去噪后验。ELBO中的KL发散将减小，以达到更好的模型结果。本文还提出了一种潜在的注意力机制来显式提取多元依赖关系。通过构造局部拓扑和时态关联，在因子关联中同时建立局部时态关联。在多个数据集上的验证和实验表明，DualVDT具有一种新的双重重新参数化结构，通过逆动力学结合局部时间推理来消除潜在扰动，在分析和实验上都具有先进的性能。
2022-03-11 cs.AI cs.LG stat.ML
