Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah(犹他大学);Kahlert School of Computing(卡勒特计算机学院);SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦,发现表示生成因子的潜向量,解决潜变量未与潜轴对齐的问题,并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Understanding Self-Supervised Learning via Latent Distribution Matching
Friedrich Miescher Institute for Biomedical Research, 4056 Basel, Switzerland(弗里德里希·迈斯彻生物医学研究所);Faculty of Science, University of Basel, 4033 Basel, Switzerland(巴塞尔大学科学学院)
本文将自监督学习形式化为潜在分布匹配(LDM),通过对齐和均匀性最大化潜在表示的对数概率和熵,统一了多种SSL方法,并推导出用于高维时间序列的非线性无采样贝叶斯滤波模型。
2026-07-22 cs.LG stat.ML
BIVA: A Very Deep Hierarchy of Latent Variables for Generative Modeling
Corti(Corti公司);Unumed(Unumed公司);Technical University of Denmark(丹麦技术大学)
随着变分自动编码器(VAE)的引入,概率潜变量模型作为强大的生成模型重新受到关注。然而,它们在测试可能性和生成样本的质量方面的性能已经被没有随机单元的自回归模型所超越。此外,基于流的模型最近被证明是一个有吸引力的替代方案,以及高维数据的规模。在本文中,我们通过构建VAE模型,可以有效地利用一个深层次的随机变量和模型复杂的协方差结构的性能差距。我们介绍了双向推理变分自动编码器(BIVA),其特征在于一个跳跃连接的生成模型和一个由双向随机推理路径形成的推理网络。我们表明,BIVA达到了最先进的测试似然,生成清晰和连贯的自然图像,并使用隐变量的层次结构来捕获数据分布的不同方面。我们观察到,BIVA,在最近的结果相反,可以用于异常检测。我们把这归因于隐变量的层次结构,它能够提取高层次的语义特征。最后,我们将BIVA扩展到半监督分类任务,并证明它通过生成对抗网络实现了最先进的结果。
2019-11-06 cs.CV cs.LG stat.ML
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GAN)的生成器经过训练,可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的,但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间,并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构,在标准VAE框架内通过辅助变量引入先验统计知识,以最小损失函数修改实现潜空间解耦,并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)(日内瓦工商管理学院(HES-SO));University of Geneva(日内瓦大学)
本文提出 GLAD,一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型,并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions
UC San Diego(加州大学圣地亚哥分校);SPAWAR(SPAWAR(太空与海战系统司令部))
我们提出了一种基于自动编码器(AE)和生成对抗网络(GAN)的神经网络架构,通过对潜在空间插值进行对抗训练来促进凸潜在分布。通过使用AE作为GAN的生成器和消隐器,我们在消隐器上传递逐像素误差函数,产生一个AE,它产生与原始图像的高级和低级特征相匹配的非模糊样本。在这个空间中的图像之间的插值保持在真实图像的潜空间分布内,如由神经网络训练的,并且因此保持对网络输入的现实不对称性。代码可在https://github.com/timsainb/GAIA获得
2019-04-22 cs.LG stat.ML
Fast Adaptation in Generative Models with Generative Matching Networks
Higher School of Economics(高等经济学院);Yandex
尽管最近取得了进展,但深度生成模型中仍然存在的瓶颈是大量训练的必要性以及从少量训练示例中泛化的困难。我们开发了一个新的生成模型,称为生成匹配网络,它的灵感来自最近提出的匹配网络在判别任务中的一次性学习。通过对额外的输入数据集进行调节,我们的模型可以立即学习训练数据中不可用但符合类似生成过程的新概念。所提出的框架没有明确限制条件数据的多样性,也不需要广泛的推理过程进行训练或适应。我们在Omniglot数据集上的实验表明,生成匹配网络显着提高了预测性能,因为有更多的额外数据可用,并且优于现有的最先进的条件生成模型。
2017-09-05 cs.LG stat.ML
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University(哥伦比亚大学统计系)
针对深度生成模型不可识别和不可解释的问题,提出具有二元潜层的深度离散编码器(DDE),通过可识别性条件和谱初始化加惩罚EM算法,实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago(芝加哥大学)
在本文中,我们提出了一种通用的方法,可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数,该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型,并且在训练之后,从基于能量的模型生成潜在空间中的新样本,并通过生成器以在观察空间中产生样本。我们表明,使用我们提出的方法,我们可以大大提高流行的基于似然的生成模型,如规范化流和VAE,与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
Inria(法国国家信息与自动化研究所)
本文梳理生成建模中不同技术的高层数学原理,揭示最优传输与薛定谔桥、流匹配等标准方法之间的联系。
2026-06-29 cs.LG stat.ML
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络(GANs)将潜在向量转换为视觉上合理的图像。通常认为,原始的GAN公式没有给出开箱即用的方法来反转映射,将图像投影回潜在空间。我们介绍一个简单的,基于梯度的技术称为随机裁剪。在实验中,对于由GAN生成的图像,我们100%准确地恢复了它们的潜在向量前图像。实验结果表明,该方法对噪声具有较好的鲁棒性.最后,我们表明,即使是看不见的图像,我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Latent Abstractions in Generative Diffusion Models
EURECOM(欧洲电信研究院);CNRS(法国国家科学研究中心);SAP Labs(思爱普实验室)
本文提出扩展NLF的理论框架,将扩散模型刻画为由潜在抽象引导的非线性滤波SDE系统,并通过实证研究验证潜在抽象在生成过程中的涌现。
2024-10-04 cs.LG stat.ML
Latent Space Exploration Using Generative Kernel PCA
KU Leuven(鲁汶大学)
核PCA是一种功能强大的特征提取器,最近在受限核机器(RKM)的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解,称为生成内核PCA。在本文中,使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成,这允许对组件进行解释。首先,在三个数据集上显示了这种特征空间探索的示例,其中一个数据集导致ECG信号的可解释表示。之后,结合使用的工具与新颖性检测,在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学)
我们研究了基于生成对抗网络(GANs)的图像多模态生成建模问题。尽管现有的方法取得了成功,但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题,我们引入狄利克雷先验的多模态图像生成,这导致了一个新的潜在狄利克雷分配的GAN(LDAGAN)。详细地,对于生成过程建模,LDAGAN为每个样本定义生成模式,确定其属于哪个生成子过程。对于对抗训练,LDAGAN推导出一种变分期望最大化(VEM)算法来估计模型参数。在真实数据集上的实验结果表明,LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington(华盛顿大学)
生成对抗网络(GANs)在许多无监督学习任务中取得了显著的成功,聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类,但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中,我们提出了一种新的机制,使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量,再加上一个逆网络(将数据投影到潜空间),并使用聚类特定损失进行联合训练,我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象,即GANs可以保持跨类别的潜在空间插值,即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较,并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
本文提出哈密顿速度预测器,并据此构建HSM分数匹配方法与HGFs生成模型,将扩散和流匹配统一为零力场特例,实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Fast Compressive Sensing Recovery Using Generative Models with Structured Latent Variables
Georgia Institute of Technology(佐治亚理工学院)
深度学习模型显著提高了压缩感知恢复的视觉质量和准确性。在本文中,我们提出了一种算法,从压缩测量与图像先验捕获的生成模型的信号重建。我们搜索和约束的潜变量空间,使该方法稳定的压缩测量的数量是非常有限的。我们表明,通过利用某些结构的潜变量,所提出的方法产生改进的重建精度,并保留现实和非光滑的图像特征。该算法通过在原始信号空间和隐变量空间之间进行交替投影,实现了较高的计算速度。
2020-03-19 cs.CV cs.LG stat.ML
SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations
University of Amsterdam(阿姆斯特丹大学);Constructor University, Bremen(布雷梅构造大学)
本文提出SDE Matching,一种免仿真的Latent SDE训练新方法,通过扩展Score-和Flow Matching算法至随机动力学领域,消除了昂贵的数值仿真需求,在保持与伴随灵敏度方法相当性能的同时大幅降低了计算复杂度。
2025-06-26 cs.LG stat.ML
Evaluating Disentanglement in Generative Models Without Knowledge of Latent Factors
University of California San Diego(加州大学圣地亚哥分校)
概率生成模型为学习数据的底层几何结构提供了一个灵活而系统的框架。然而,在这种情况下,模型选择是具有挑战性的,特别是当选择不明确的质量,如解缠或可解释性。在这项工作中,我们通过引入一种基于学习过程中表现出的训练动态对生成模型进行排名的方法来解决这一差距。受最近的理论表征解纠缠的启发,我们的方法不需要监督的潜在因素。我们评估我们的方法,证明需要的解纠缠指标,不需要标签\textemdash的基本生成因素。我们还证明了我们的方法与基线监督方法评估解缠相关。最后,我们表明,我们的方法可以用作下游性能的无监督指标强化学习和公平分类问题。
2022-10-04 cs.LG stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University(海德堡大学);Université catholique de Louvain(鲁汶天主教大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校)
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型,并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的,并且具有许多内部潜在维度的情况,这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化(LaSeR)协议,重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Linear combinations of latents in generative models: subspaces and beyond
本文提出潜变量最优线性组合(LOL)方法,以通用方式构造符合生成模型假设的潜变量线性组合和子空间,简化高维对象的低维表示构建。
2025-11-07 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions
School of Mathematics(数学学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种结合非线性前向动力学与VAE的潜在SGM框架,通过改进的训练目标提升结构分布学习的效率和质量。
2026-10-28 cs.LG stat.ML
Theoretical guarantees for sampling and inference in generative models with latent diffusions
University of Illinois(伊利诺伊大学)
引入并研究了一类概率生成模型,其中潜在对象是有限时间间隔上的有限维扩散过程,观测变量是在扩散的终点上有条件地抽取的.我们做了以下贡献:我们提供了一个统一的观点,通过镜头的随机控制在这种生成模型的采样和变分推理。我们量化了基于扩散的生成模型的表现力。具体而言,我们表明,可以有效地从广泛的终端目标分布的类选择漂移的潜在扩散的多层前馈神经网络,采样的准确性测量的Kullback-Leibler发散的目标分布。最后,我们提出并分析了一个无偏模拟生成模型与潜在扩散的计划,并提供了所得到的估计方差的界限。该方案可以实现为具有随机数层的深度生成模型。
2019-05-31 cs.LG math.OC math.PR
LOGAN: Latent Optimisation for Generative Adversarial Networks
DeepMind
训练生成对抗网络需要平衡微妙的对抗动态。即使经过仔细的调整,训练也可能会出现分歧,或者最终以放弃模式的不佳平衡而告终。在这项工作中,我们使用基于自然梯度的潜在优化来改进CS-GAN,并表明它通过增强机器人和生成器之间的交互来改善对抗动态。我们的实验表明,潜在优化可以显着改善GAN训练,获得ImageNet($128 \times 128$)数据集的最新性能。我们的模型实现了$148$的初始得分(IS)和$3.4$的Fréchet初始距离(FID),与具有相同架构和参数数量的基线BigGAN-deep模型相比,IS和FID分别改进了$17\%$和$32\%$。
2020-07-01 cs.LG stat.ML
Unveiling the Latent Space Geometry of Push-Forward Generative Models
Ecole des Ponts(巴黎桥路学院);UGE(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);Criteo AI Lab(Criteo人工智能实验室)
本文研究推前生成模型(如GANs和VAEs)的潜在空间几何,证明最优性充分条件,并提出一种截断方法以改善GANs在不连通分布上的性能。
2023-05-15 cs.AI cs.LG stat.ML
Latent Process Generator Matching
Department of Microbiology, Tumor and Cell Biology, Karolinska Institutet(微生物学、肿瘤和细胞生物学系,Karolinska研究院)
本文提出了一种潜在过程生成器匹配框架,该框架将观测到的生成状态视为可 tractable 马尔可夫过程的确定性图像,从而扩展了生成器匹配理论,使其适用于时间依赖的潜在条件过程。
2026-05-19 cs.AI cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Latent Geometry and Memorization in Generative Models
Sentient Technologies
很难判断一个经过训练的生成模型是已经学会生成新的示例,还是仅仅记住了一组特定的输出。在已发表的工作中,通常尝试在视觉上解决这个问题,例如通过显示生成的示例及其在训练集中的最近邻居(例如,在L2度量中)。由于任何生成模型都会在其输出域上引入概率密度,因此我们建议直接研究这个密度。我们首先研究了潜在表示和生成器的几何形状,将其与输出密度联系起来,然后开发计算和检查输出密度的技术。作为一个应用程序,我们证明了“记忆”往往是一个密度的δ函数集中在记忆的例子。我们注意到,如果不首先理解几何形状,基本上不可能进行测量。
2017-05-25 cs.LG stat.ML
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila(米拉);Université de Montréal(蒙特利尔大学);Preferred Networks Inc.(优选网络公司)
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中,我们提出了一个新的框架,学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差,以在图模型中对依赖结构进行建模,并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素,这些因素反映了各种类型的期望结构,如捕获相关性或编码不变性,同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明,我们的框架统一了许多现有的生成模型,可以应用于各种任务,包括多模态数据建模,算法公平性,不变的风险最小化。
2020-10-02 cs.LG stat.ML
Convergence Analysis of Flow Matching in Latent Space with Transformers
Wuhan University(武汉大学);The Hong Kong University of Science and Technology(香港科技大学)
我们提出了基于ODE的生成模型的理论收敛保证,特别是流匹配。我们使用预训练的自编码器网络将高维原始输入映射到低维潜在空间,其中Transformer网络被训练以预测从标准正态分布到目标潜在分布的变换的速度场。我们的误差分析表明,这种方法的有效性,通过估计ODE流产生的样本的分布收敛到目标分布的Wasserstein-2距离下温和和实用的假设。此外,我们证明了任意光滑函数可以有效地近似的Transformer网络与Lipschitz连续性,这可能是独立的利益。
2024-04-28 cs.LG stat.ML
Latent Space Cartography: Generalised Metric-Inspired Measures and Measure-Based Transformations for Generative Models
Cogent Labs(科进实验室)
深度生成模型是通过映射到低维潜在空间来学习高维数据空间上的数据分布的通用工具。我们提供了一个研究潜在的空间几何形状和扩展和建立在以前的结果黎曼度量。我们展示了一类启发式措施如何在寻找有意义的,特定于问题的距离方面提供更大的灵活性,以及它如何应用于不同的生成器类型,例如语言和其他序列建模中常用的自回归生成器。我们进一步演示了如何使用之前在制图学中研究的扩散启发的变换来平滑潜在空间,并根据所选的度量来拉伸它们。除了直接在潜在空间中提供更有意义的距离外,这还为新型数据可视化提供了独特的工具。我们相信,所提出的方法可以成为一个有价值的工具,用于研究潜在空间的结构和生成模型的学习数据分布。
2019-02-06 cs.AI cs.CL cs.LG
On Latent Distributions Without Finite Mean in Generative Models
Jagiellonian University(雅盖隆大学)
我们调查的背景下,隐式生成模型的潜在空间先验分布的多维概率分布的属性。我们的工作围绕着解码两个随机潜在向量之间的线性插值时出现的现象-接近空间原点的潜在空间区域被采样,导致分布不匹配。我们表明,由于中心极限定理,这个区域几乎从来没有在训练过程中采样。因此,线性插值可能会生成不切实际的数据,并且将其用作检查训练模型质量的工具是值得怀疑的。我们建议使用多维柯西分布作为潜在先验。柯西分布不满足CLT的假设,并且具有许多属性,这些属性允许它与线性插值一起很好地工作。我们还提供了两种通用的方法来创建非线性插值,很容易适用于一个大家庭的共同潜在的分布。最后,我们在CelebA数据集上实证分析了DCGAN模型从低概率质量区域生成的数据质量。
2018-06-05 cs.LG stat.ML
Perceptual Generative Autoencoders
University of Calgary(卡尔加里大学);MILA, Université de Montréal(蒙特利尔大学MILA);Wuhan University(武汉大学)
现代生成模型通常被设计为直接在数据空间中匹配目标分布,其中数据的内在维度可能远低于环境维度。我们认为,这种差异可能有助于在训练生成模型的困难。因此,我们建议使用标准自动编码器的编码器将生成的分布和目标分布映射到潜在空间,并训练生成器(或解码器)以匹配潜在空间中的目标分布。具体来说,我们在理论上合理的数据和潜在的重建损失的数据空间和潜在的空间的一致性。生成的模型,我们称之为感知生成自动编码器(PGA),然后用最大似然或变分自编码器(VAE)目标进行训练。利用最大似然法,PGA将可逆生成模型的思想推广到无限制的神经网络架构和任意数量的潜在维度。当与VAE联合使用时,PGA在样本质量方面明显优于基线VAE。与其他使用简单先验的基于自动编码器的生成模型相比,PGA在CIFAR-10和CelebA上实现了最先进的FID分数。
2020-07-01 cs.LG stat.ML
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);Microsoft Research(微软研究院)
科学和工程中的许多重要问题,如药物设计,涉及在复杂的,高维的,结构化的输入空间上优化昂贵的黑箱目标函数。尽管机器学习技术在解决这些问题方面已经显示出前景,但是现有方法基本上缺乏样本效率。我们介绍了一种改进的高效黑盒优化方法,该方法在通过深度生成模型学习的低维连续隐流形中进行优化。与以前的方法相比,我们积极地引导生成模型来维护一个潜在的流形,这对于有效地优化目标非常有用。我们通过周期性地重新训练生成模型来实现这一点,这些生成模型是沿着优化轨迹查询的数据点,并根据目标函数值对这些数据点进行加权。这种加权再训练可以很容易地在现有方法的基础上实现,并且经验表明,它可以显着提高合成和现实世界优化问题的效率和性能。
2020-10-25 cs.LG stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Compressed Sensing of Generative Sparse-latent (GSL) Signals
KTH Royal Institute of Technology(KTH皇家理工学院)
研究基于神经网络的生成式稀疏潜在(GSL)信号的压缩感知重建问题,提出一种非凸的稀疏诱导重建算法,并利用基于梯度的搜索在模拟数据上实现了良好的重建性能。
2023-10-16 cs.AI cs.LG
Semi-Supervised Generative Learning via Latent Space Distribution Matching
School of Computing & Data Science, University of Hong Kong(香港大学计算与数据科学学院)
LSDM通过潜在空间分布匹配实现半监督生成学习,利用非配对数据提升生成质量。
2026-03-04 cs.LG stat.ML
Optimal transport maps for distribution preserving operations on latent spaces of Generative Models
ETH Zurich(苏黎世联邦理工学院);Merantix GmbH(梅兰蒂克斯有限责任公司);KU Leuven(鲁汶大学)
诸如变分自动编码器(VAE)和生成对抗网络(GANs)之类的生成模型通常针对潜在空间中的固定先验分布(诸如均匀或高斯分布)进行训练。在获得训练模型之后,可以以各种形式对生成器进行采样以进行探索和理解,例如在两个样本之间进行插值,在样本附近进行采样或探索应用于第三个样本的一对样本之间的差异。在本文中,我们表明,到目前为止,文献中使用的潜在空间操作会导致结果输出和模型训练的先验分布之间的分布不匹配。为了解决这个问题,我们建议使用分布匹配传输映射来确保这种潜在空间操作保持先验分布,同时最小限度地修改原始操作。我们的实验结果验证了所提出的操作提供更高质量的样本相比,原来的操作。
2018-01-24 cs.CV cs.LG stat.ML
EQ-VAE: Equivariance Regularized Latent Space for Improved Generative Image Modeling
Archimedes,Athena Reaserch Center, Greece(阿基米德、阿泰纳研究中心);National Technical University of Athens, Greece(雅典技术大学);University of Crete, Greece(克里特大学)
针对现有自编码器缺乏等变性导致潜空间复杂、阻碍生成性能的问题,提出EQ-VAE正则化方法,强制潜空间等变性,微调预训练自编码器,显著提升多种生成模型性能并实现7倍加速。
2025-08-04 cs.LG
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Institute of Science Technology Austria(奥地利科学技术研究所)
本文为分数匹配方法建立了统计样本复杂度界,证明用深度ReLU网络和随机梯度下降可准确估计分数函数,并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley(加州大学伯克利分校)
提出GReinSS框架,使用动态缩放奖励学习潜在状态分布以最大化观测数据似然,在模拟潜在集和图重建中优于基线,并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models
University of Central Florida(中佛罗里达大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
无监督元学习方法依赖于使用诸如随机选择、聚类和/或增强之类的技术创建的合成元任务。不幸的是,聚类和增强是依赖于域的,因此它们需要手动调整或昂贵的学习。在这项工作中,我们描述了一种使用生成模型生成元任务的方法。一个关键的组件是一种新的方法,从潜在的空间,生成对象分组到合成类形成的训练和验证数据的元任务的采样。我们发现,所提出的方法,潜在空间插值无监督元学习(LASIUM),优于或有竞争力的Few-Shot分类任务的最广泛使用的基准数据集上的当前无监督学习基线。此外,该方法有望适用于比以前的方法更广泛的领域,而无需手动调整。
2020-06-18 cs.LG stat.ML
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文从模型复杂性视角重新思考生成建模的隐空间,提出隐-数据分布距离及解耦自编码器(DAE)两阶段训练策略,在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Modeling Complex Disease Trajectories using Deep Generative Models with Semi-Supervised Latent Processes
University of Zurich(苏黎世大学);ETH AI Center(苏黎世联邦理工学院人工智能中心);Oslo University Hospital(奥斯陆大学医院);University of Oslo(奥斯陆大学);University Hospital Zurich(苏黎世大学医院);Bogomolets National Medical University(博戈莫列茨国立医科大学)
本研究提出带半监督潜过程的深度生成时间序列方法,结合医学知识解耦潜空间以提升可解释性,可用于疾病轨迹建模、患者匹配、亚型聚类及个性化监测预测,在系统性硬化症中验证了有效性。
2024-01-29 cs.LG stat.ML
Flow Matching under Noisy Latent Structure: Beyond Exact Low-Dimensional Support
Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院)
针对噪声潜在结构下的流匹配问题,提出空间正则ReLU速度类,证明样本复杂度由潜在维度主导,无需精确低维支撑即可获得Wasserstein收敛保证。
2026-10-01 cs.LG stat.ML
Socratic Learning: Augmenting Generative Models to Incorporate Latent Subsets in Training Data
Stanford University(斯坦福大学);California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
训练像神经网络这样的判别模型的挑战是获得足够的标记训练数据。最近的方法使用生成模型来组合弱监督源,如用户定义的统计学或知识库,以标记训练数据。先前的工作已经探索了这些源的学习精度,即使没有地面真值标签,但他们假设单个精度参数足以在整个训练集上对这些源的行为进行建模。特别地,它们不能对训练数据中的潜在子集进行建模,其中监督源的表现不同于平均值。我们提出了苏格拉底式学习,一种范式,使用相应的判别模型的反馈,自动识别这些子集,并相应地增强生成模型的结构。在实验中,我们表明,没有任何地面真相标签,增强生成模型减少了高达56.06%的错误相比,一个关系抽取任务的最先进的弱监督技术,利用生成模型。
2017-09-28 cs.LG stat.ML
Score-based Generative Modeling in Latent Space
NVIDIA(英伟达)
基于分数的生成模型(SGM)最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而,它们通常直接应用于数据空间,并且通常需要数千个网络评估来进行采样。在这里,我们提出了基于潜在分数的生成模型(LSGM),这是一种在潜在空间中训练SGM的新方法,依赖于变分自动编码器框架。从数据转移到潜在空间,使我们能够训练更具表现力的生成模型,将SGM应用于非连续数据,并在更小的空间中学习更平滑的SGM,从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端,我们(i)引入适合LSGM设置的新的分数匹配目标,(ii)提出一种新的得分函数参数化,使SGM能够专注于目标分布相对于简单正态分布的不匹配,以及(iii)分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数,优于该数据集上所有现有的生成结果。在CelebA-HQ-256上,LSGM在采样质量上与之前的SGM相当,而在采样时间上则超过它们两个数量级。在对二值图像建模时,LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory(阿贡国家实验室数学与计算机科学部);High Energy Physics Division Argonne National Laboratory(阿贡国家实验室高能物理部);Computational Science Division Argonne National Laboratory(阿贡国家实验室计算科学部);Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory(国家可再生能源实验室计算科学中心数据、分析与可视化组)
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间,揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Optimizing the Latent Space of Generative Networks
Facebook AI Research(脸书人工智能研究院)
生成对抗网络(GANs)在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中,GAN模型有两个共同的方面:解决一个具有挑战性的鞍点优化问题,解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是,我们介绍了生成潜在优化(GLO),这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验,我们证明了GLO具有GANs的许多理想特性:合成视觉上吸引人的样本,在样本之间进行有意义的插值,以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Structured Coupling for Flow Matching
Imperial College London(帝国理工学院伦敦分校)
本文提出结构耦合用于流匹配(SCFM),通过引入结构化潜在变量和外源噪声,联合学习结构化先验和连续传输映射,实现无条件流模型,提升潜在表示学习能力。
2026-05-08 cs.LG
Latent Translation: Crossing Modalities by Bridging Generative Models
Stony Brook University(石溪大学);Google AI(谷歌人工智能)
端到端优化已经在许多特定问题上实现了最先进的性能,但是没有直接的方法来结合预训练模型来解决新问题。在这里,我们探索通过学习两个现有模型之间的事后接口来解决新任务来提高模块化。具体来说,我们从神经机器翻译中获得灵感,并将跨模态域转移的挑战性问题转化为预训练深度生成模型的潜在空间之间的无监督翻译。通过抽象出数据表示,我们证明了可以在不同的模态之间传输(例如,图像到音频)以及甚至不同类型的生成模型(例如,VAE到GAN)。我们比较国家的最先进的技术,并发现一个直接的变分自编码器是能够最好地桥接两个生成模型,通过学习一个共享的潜在空间。我们可以进一步在共享潜在空间中使用分类器对两个域中的属性进行监督对齐。通过定性和定量的评估,我们证明了局部性和语义对齐通过传输过程中,保持高传输精度和类内的平滑插值所示。最后,我们展示了这种模块化结构通过将其与基础生成模型的昂贵再训练解耦,加快了新接口模型的训练速度。
2019-02-21 cs.LG cs.NE stat.ML