On the failure of variational score matching for VAE models
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学部）；University College London（伦敦大学学院）；Amazon Web Services（亚马逊云科技）
分数匹配（SM）是训练灵活概率模型的一种方便方法，通常优于传统的最大似然（ML）方法。然而，这些模型的可解释性不如标准化模型;因此，训练鲁棒性通常难以评估。我们提出了一个批判性的研究现有的变分SM目标，在广泛的数据集和网络架构上显示灾难性的失败。我们的理论见解的目标出现直接从他们的等价自编码损失时，优化变分自编码器（VAE）模型。首先，我们表明，在费舍尔自动编码器，SM产生远不如最大似然模型，和近似推理的费舍尔发散可能会导致低密度局部最优。然而，通过重要的修改，这个目标减少到类似于证据下限（ELBO）的正则化自动编码损失。该分析预测，修改后的SM算法的行为应该非常类似于ELBO高斯VAE。然后，我们从文献中回顾了另外两个基于FD的目标，并表明它们减少了不可解释的自动编码损失，可能导致性能不佳。实验验证了我们的理论预测，并建议只有ELBO和基线目标鲁棒地产生预期的结果，而以前提出的SM方法不。
2022-10-24 cs.LG stat.ML
Variational Autoencoding Molecular Graphs with Denoising Diffusion Probabilistic Model
针对常规VAE潜变量后验分布假设简单限制表征性能的问题，提出结合DDPM的层级潜变量分子生成模型，在小数据集分子性质预测任务上实现更优性能与鲁棒性。
2023-08-22 cs.LG q-bio.BM stat.ML
Model-Aware Deep Architectures for One-Bit Compressive Variational Autoencoding
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
参数化数学模型在理解和设计复杂信息系统中起着核心作用。然而，他们往往不能考虑到这些系统固有的复杂的相互作用。相反，纯数据驱动的方法不需要明确的数学模型来生成数据，并且以可解释性为代价具有更广泛的适用性。在本文中，我们考虑一位压缩变分自编码器的设计，并提出了一种新的混合模型为基础的数据驱动的方法，使我们不仅可以设计的传感矩阵和量化阈值为一位数据采集，但也允许学习的潜在参数的迭代优化算法专门设计的一位稀疏信号恢复的问题。此外，该方法具有自适应学习合适的量化阈值的能力，为1比特压缩感知中的幅度恢复铺平了道路。我们的研究结果表明，一个显着的改进相比，最先进的基于模型的算法。
2019-11-27 cs.IT cs.LG eess.IV
CoVAE: Consistency Training of Variational Autoencoders
OnePlanet Research Center, imec-the Netherlands（OnePlanet研究所以及imec-荷兰）；Donders Institute for Brain, Cognition and Behaviour（大脑、认知与行为研究所）
提出单阶段生成式自编码框架 CoVAE，利用一致性模型技术训练 VAE，无需学习先验即可一步或几步生成高质量样本，显著优于等效 VAE 及其他单阶段方法。
2025-07-12 cs.LG stat.ML
Discrete Variational Autoencoding via Policy Search
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Robotics Institute Germany (RIG)（德国机器人研究所）
本文提出了一种基于策略搜索的离散VAE训练框架，利用非参数编码器的自然梯度提升编码器性能，实现高效高维数据重建。
2026-02-11 cs.AI cs.LG cs.RO
Variance Constrained Autoencoding
Victoria University of Wellington（惠灵顿维多利亚大学）
最新的基于自动编码器的生成模型具有编码器-解码器结构，并学习具有可从中采样的预定义分布的潜在表示。以随机方式实现这些模型的编码器网络提供了一种自然和常见的方法来避免过拟合并执行平滑的解码器功能。然而，我们表明，对于随机编码器，同时试图强制执行分布约束和最小化输出失真导致生成和重建质量的降低。此外，在执行解纠缠时，试图强制执行潜在的分布约束是不合理的。因此，我们提出了方差约束自动编码器（VCAE），它只对潜在分布执行方差约束。我们的实验表明，VCAE提高了Wasserstein自动编码器和变分自编码器在MNIST和CelebA上的重建和生成质量。此外，我们表明，VCAE配备了一个总的相关性惩罚项执行等效于FactorVAE在学习解纠缠表示的3D-双曲，而更有原则的方法。
2020-05-08 cs.LG stat.ML
Autoencoding beyond pixels using a learned similarity metric
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Twitter
我们提出了一个自动编码器，它利用学习的表示来更好地测量数据空间中的相似性。通过将变分自编码器与生成对抗网络相结合，我们可以使用GAN中的学习特征表示作为VAE重建目标的基础。因此，我们用特征错误替换元素错误，以更好地捕获数据分布，同时提供对例如翻译的不变性。我们将我们的方法应用于人脸图像，并表明它在视觉保真度方面优于VAE与元素相似性度量。此外，我们表明，该方法学习的嵌入，其中高层次的抽象视觉特征（如戴眼镜）可以使用简单的算法进行修改。
2016-02-10 cs.CV cs.LG stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Channel-Recurrent Autoencoding for Image Modeling
UvA-Bosch-Deltalab（阿姆斯特丹大学-博世-德尔塔实验室）；NEC Labs（日本电气实验室）；Facebook AI Research（脸书人工智能研究院）
尽管最近在合成人脸和卧室方面取得了成功，但现有的生成模型很难捕捉到更复杂的图像类型，这可能是由于其潜在空间结构的过度简化。为了解决这个问题，基于变分自编码器（VAE），我们将跨通道的循环连接集成到推理和生成步骤中，允许以全局到局部，粗到细的方式捕获高级特征。结合对抗性损失，我们的通道递归VAE-GAN（crVAE-GAN）在生成不同光谱的高分辨率图像方面优于VAE-GAN，同时保持相同的计算效率水平。我们的模型产生可解释和表达的潜在表示，以利于下游任务，如图像完成。此外，我们提出了两个新的正则化，即KL目标加权方案的时间步长和互信息最大化之间的转换的潜变量和输出，以加强训练。
2018-03-11 cs.CV cs.LG
Autoencoding Labeled Interpolator, Inferring Parameters From Image, And Image From Parameters
Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Waterloo（滑铁卢大学）
针对EHT黑洞图像合成计算昂贵的问题，本文提出扩展变分自编码器的生成式机器学习工具，可在图像与物理参数间连续插值并反演参数，从而加速参数估计和模型验证。
2023-12-07 astro-ph.HE cs.AI cs.CV
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Variational Autoencoding of PDE Inverse Problems
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）
在物理学缺失的情况下如何建立一个支配物理模型和恢复其参数是科学中两个相互交织的基本问题。现代机器学习允许人们通过仿真器和代理人来规避这些问题，但这样做会忽视先验知识和物理定律，而这些知识和物理定律对于小数据机制、可解释性和决策制定尤为重要。在这项工作中，我们折叠成一个灵活的数据驱动的代理机制模型，以达到一个物理结构的解码器网络。这为贝叶斯逆问题提供了加速推理，并且可以充当编码先验物理信息的插入式正则化器。我们采用偏微分方程问题的变分形式，并引入随机局部近似作为一种形式的基于模型的数据增强。我们证明了在现实世界的设置和结构化的空间过程的框架的准确性和提高的计算效率。
2020-06-28 cs.LG stat.ML
Variational Autoencoder with Embedded Student-$t$ Mixture Model for Authorship Attribution
Ruhr University Bochum（波鸿鲁尔大学）；Bucknell University（巴克内尔大学）
传统的计算作者归属描述的是闭集场景下的分类任务。给定一组有限的候选作者和相应的标记文本，目标是确定哪些作者写了另一组匿名或有争议的文本。在这项工作中，我们提出了一个概率自动编码框架来处理这个监督分类任务。更确切地说，我们正在扩展的变分自编码器（VAE）与嵌入高斯混合模型的学生- $t$混合模型。自动编码器在学习潜在表征方面取得了巨大的成功。然而，现有的VAE目前仍然受到潜在空间中潜在概率分布的假定高斯性所施加的限制的约束。在这项工作中，我们将VAE的高斯模型扩展到Student- $t$模型，该模型允许独立控制隐含概率密度各自尾部的“沉重程度”。在亚马逊评论数据集上的实验表明，所提出的方法具有优越的性能。
2020-05-28 cs.CL cs.LG stat.ML
Autoencoding a Soft Touch to Learn Grasping from On-land to Underwater
Southern University of Science and Technology（南方科技大学）
本文提出基于视觉的软体机器人手指与SVAE，通过高帧率捕捉全身变形并学习可跨陆地、水下迁移的6D FT触觉表征，提升水下抓取可靠性并降低成本。
2023-08-16 cs.LG cs.RO
VAE-QWGAN: Addressing Mode Collapse in Quantum GANs via Autoencoding Priors
University of Birmingham（伯明翰大学）；University College London（伦敦大学学院）
本文提出VAE-QWGAN，一种结合经典VAE与量子Wasserstein GAN的混合量子-经典生成模型，通过数据依赖的潜在向量采样和GMM先验，有效缓解量子GAN的模式崩溃，提升图像生成的多样性与质量。
2025-05-22 cs.CV cs.LG quant-ph
Towards Autoencoding Variational Inference for Aspect-based Opinion Summary
University of Information Technology（信息技术大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）
基于情感的意见摘要（AOS），包括方面发现和情感分类步骤，最近成为电子商务系统中最重要的数据采掘任务之一。沿着这个方向，基于LDA的模型被认为是一个非常合适的方法，因为这个模型提供了主题建模和情感分类。然而，与传统的主题建模不同，在方面发现的背景下，它往往需要一些初始种子词，其先验知识是不容易被纳入LDA模型。此外，LDA方法依赖于采样方法，这需要将整个语料库加载到内存中，使得它们难以扩展。在这项研究中，我们研究了AOS问题的替代方法，基于自动编码变分推理（AVI）。首先，我们介绍了自动编码变分推理方面发现（AVIAD）模型，它扩展了以前的工作自动编码变分推理主题模型（AVITM）嵌入先验知识的种子词。这项工作包括增强以前的AVI架构，也修改的损失函数。最后，我们提出了联合情感/主题的自动编码变分推理（AVIJST）模型。在这个模型中，我们大大扩展了AVI模型，以支持JST模型，它执行相应的情感主题建模。实验结果表明，我们提出的模型具有更高的主题一致性，更快的收敛时间和更好的情感分类的准确性，相比基于LDA的同行。
2019-06-07 cs.CL cs.LG
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
Ladder Variational Autoencoders
University of Copenhagen（哥本哈根大学）；Aalto University（阿尔托大学）；Technical University of Denmark（丹麦技术大学）
变分自编码器是无监督学习的强大模型。然而，具有多层相关随机变量的深层模型难以训练，这限制了使用这些高度表达的模型所获得的改进。我们提出了一个新的推理模型，梯形变分自动编码器，递归地纠正生成分布的数据依赖的近似似然在一个过程中，类似于最近提出的梯形网络。我们表明，与分层变分自动编码器和其他生成模型中的纯自下而上的推理相比，该模型提供了最先进的预测对数似然和更严格的对数似然下限。我们提供了一个详细的分析，学习层次的潜在表示，并表明我们的新的推理模型是质的不同，并利用更深的更分布式层次的潜在变量。最后，我们观察到批量归一化和确定性预热（逐渐打开KL项）对于训练具有许多随机层的变分模型至关重要。
2016-05-27 cs.LG stat.ML
Improving Novelty Detection using the Reconstructions of Nearest Neighbours
University of Amsterdam（阿姆斯特丹大学）；eScience Center（电子科学中心）；ASTRON, the Netherlands Institute for Radio Astronomy（荷兰射电天文研究所（ASTRON））
我们表明，在自编码器（AE）的潜在空间中使用最近邻显着提高了单类和多类上下文中半监督新奇检测的性能。自动编码方法通过学习区分非新颖的训练类和所有其他看不见的类来检测新颖性。我们的方法利用了给定输入的潜在表示的最近邻居和潜在邻居距离的重建的组合。我们证明了我们的最近潜在邻居（NLN）算法是内存和时间效率，不需要显着的数据增强，也不依赖于预先训练的网络。此外，我们表明，NLN算法很容易适用于多个数据集，无需修改。此外，该算法是不可知的自动编码器的结构和重建误差的方法。我们使用重建、残余或特征一致性损失，在多种不同自动编码架构（例如香草、对抗和变分自编码器）的多个标准数据集上验证了我们的方法。结果表明，NLN算法授予高达17%的增加面积下的接收器工作特性（AUROC）曲线性能的多类情况下和8%的单类新颖性检测。
2022-01-28 cs.LG
A Deeper Look at the Unsupervised Learning of Disentangled Representations in $β$-VAE from the Perspective of Core Object Recognition
Harvard University（哈佛大学）
识别物体的能力，尽管存在外观上的差异，被称为核心物体识别，形成了人类感知的关键部分。虽然可以理解，大脑通过视觉流的前馈、分层计算来完成核心对象识别，但允许下游形成不变表示的底层算法仍然没有得到很好的理解。（DiCarlo等人，已经建立了各种计算感知模型来尝试和解决人工感知设置中的对象识别任务。人工神经网络是由加权边和顶点处的数学运算组成的计算图，其灵感大致来自大脑中的神经网络，并且已被证明在各种视觉感知任务中是有效的，包括对象表征和识别。（Pinto等人，2008）（DiCarlo等人，对于许多数据分析任务，学习表示，其中每个维度在统计上是独立的，因此与其他维度分离是有用的。如果数据的潜在生成因素在统计上也是独立的，则潜变量的贝叶斯推断可以形成分离的表示。本论文是一个研究计画，探讨变分自编码器（VAE）的推广，$β$ -VAE，其目的是使用变分推理来学习解纠缠表示。$β$ -VAE包含超参数$β$，并强制其瓶颈神经元的条件独立性，这通常与潜在变量的统计独立性不兼容。本文探讨这种架构，并提供了分析和数值参数，目的是证明这种不兼容性导致非单调推理性能在$β$ -VAE有限的最佳$β$。
2020-04-25 cs.LG stat.ML
Distribution Matching in Variational Inference
DeepMind（深度思维）
随着生成模型的部署越来越广泛，越来越需要深入了解其行为和局限性。在本文中，我们暴露了变分自编码器（VAE）的局限性，它始终无法学习潜在和可见空间中的边缘分布。我们证明了这是通过匹配条件分布学习的结果，以及显式模型和后验分布的局限性。人们普遍认为生成对抗网络（GANs）是克服这些限制的一种手段，从而导致VAE和GANs的混合。我们对几种VAE-GAN混合算法进行了大规模的评估，并分析了类概率估计对学习分布的影响。虽然有希望，但我们得出结论，目前VAE-GAN混合动力系统的适用性有限：与VAE相比，它们更难扩展，评估和用于推理;并且它们不会提高GANs的生成质量。
2019-06-10 cs.LG stat.ML
Variational Autoencoding of Dental Point Clouds
Technical University of Denmark（丹麦技术大学）；Shape（3Shape公司）
本文提出用于牙齿点云的概率变分自编码器VF-Net，通过编码器替代Chamfer距离显式优化提升计算效率，在牙齿重建与生成任务中展现出最先进性能。
2024-08-27 cs.CV cs.LG
Synthetic Patient Generation: A Deep Learning Approach Using Variational Autoencoders
Inspired Ideas LLC（灵感创意有限责任公司）
医疗保健领域的人工智能是一个令人兴奋的新领域，其可能性是无限的。随着深度学习方法在许多领域击败人类的表现，合乎逻辑的下一步是尝试将其应用于健康领域。为了使这些和其他机器学习方法产生良好的结果并实现其潜力，对大量准确数据的需求和重要性是首屈一指的。这是许多行业面临的挑战，在医疗保健领域更是如此。我们提出了一种使用变分自编码器（VAE）的方法，作为一种生成更多数据以训练更深层次网络的方法，以及揭示诊断中的潜在模式和患者的方法。通过在可用数据上训练VAE，它能够学习给定诊断的患者特征的潜在分布。然后，在训练之后，可以从学习的潜在分布中进行采样，以在给定患者诊断的情况下生成新的准确的患者记录。
2018-08-20 cs.LG stat.ML
Variational decomposition autoencoding improves disentanglement of latent representations
Dept. of Biomedical Engineering, Khalifa University of Science and Technology（生物医学工程系，哈利法大学）；School of Electrical and Computer Engineering, Aristotle University of Thessaloniki（电气与计算机工程学院，亚里士多德大学）
变分分解自编码器通过信号分解模型和对比自监督任务，提升高维动态信号的潜在表示解耦能力，适用于语音识别和情感分类等任务。
2026-11-02 cs.AI cs.LG eess.AS
Hierarchical Graph-Convolutional Variational AutoEncoding for Generative Modelling of Human Motion
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
人体运动模型通常集中在轨迹预测或动作分类，但很少两者兼而有之。人类运动的显著异质性和复杂的组合性使得每个任务都容易受到现实世界场景中常见的数据退化和分布变化的影响。一个充分表达的生成性行动模型在理论上可以在一个适用于这两项任务的统一框架内实现数据调节和分布弹性。在这里，我们提出了一种基于分层变分自编码器和深度图卷积神经网络的新架构，用于在多个时间尺度上生成整体动作模型。我们展示了这种分层图卷积变分自编码器（HG-VAE）能够生成连贯的动作，检测分布外的数据，并通过模型后验的梯度上升来估算缺失的数据。在H3.6M和最大的开源人体运动数据集AMASS上进行训练和评估后，我们发现HG-VAE可以比基线模型更好地促进下游判别学习。
2022-06-06 cs.AI cs.CV cs.LG
Fragment Graphical Variational AutoEncoding for Screening Molecules with Small Data
Material Research Institute, Queen Mary, University of London（伦敦大学玛丽女王学院材料研究所）
在大多数分子优化任务中，预测机器学习（ML）模型由于在特定任务上生成大型实验数据集的不可用性和成本而受到限制。为了规避这一限制，机器学习模型在大型理论数据集或分子适用性的实验指标上进行训练，这些数据集或实验指标要么是公开的，要么是廉价的。这些方法产生了一组候选分子，这些分子必须使用有限的实验数据或专家知识进行排名。在结构与功能相关的假设下，我们使用基于分子片段的图形自动编码器来生成独特的结构指纹，以有效地搜索候选集。我们表明，基于片段的图形自动编码减少了错误预测的物理特性，如溶解度和分配系数在小数据制度相比，其他扩展的圆形指纹和字符串为基础的方法。我们进一步证明，这种方法能够深入了解现实世界的分子优化问题，例如通过准确预测92%的测试分子，给出69个训练示例，在有机半导体中搜索稳定添加剂。该任务是黑箱分子优化的典型示例，因为只有最少的理论和实验知识来准确预测添加剂的适用性。
2019-10-30 cond-mat.mtrl-sci cs.LG physics.app-ph
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Sony CSL（索尼计算机科学研究所）；École Polytechnique（巴黎综合理工学院）
VAE（变分自编码器）已被证明在密度建模的背景下是强大的，并已被用于各种背景下的创造性目的。在许多情况下，我们建模的数据具有连续属性，我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE，一个测地线潜在空间正则化的变分自编码器架构及其推广，它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时，学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务，我们设法生成离散序列的变化，在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
Coupled VAE: Improved Accuracy and Robustness of a Variational Autoencoder
Worcester Polytechnic Institute（伍斯特理工学院）；Boston University（波士顿大学）；Photrek（Photrek公司）
本文提出一种耦合变分自编码器，通过改进损失函数提升模型的准确性和鲁棒性。
2021-07-12 cs.LG stat.ML
Recursive Tree Grammar Autoencoders
The University of Sydney（悉尼大学）
关于树的机器学习主要集中在将树作为算法的输入。很少有研究将树作为输出，其具有许多应用，例如药物发现的分子优化或智能辅导系统的提示生成。在这项工作中，我们提出了一种新的自动编码器的方法，称为递归树语法自动编码器（RTG-AE），通过自下而上的解析器编码树和解码树通过树语法，都通过递归神经网络，最大限度地减少变分自编码器的损失。然后，所得到的编码器和解码器可以用于后续任务，例如优化和时间序列预测。RTG-AE是第一个结合变分自编码器、语法知识和递归处理的模型。我们的关键信息是，所有三个元素的这种独特组合优于结合三个元素中任何两个的模型。特别是，我们进行了一项消融研究，以表明与四个基线相比，我们提出的方法改善了自动编码错误，训练时间和合成数据集以及真实数据集的优化得分。我们进一步证明了RTG-AE解析和生成树的线性时间，并表现出足够的处理所有定期树文法。
2022-02-10 cs.LG cs.NE
Posterior Collapse of a Linear Latent Variable Model
HKUST（香港科技大学）；The University of Tokyo（东京大学）
这项工作确定了在贝叶斯深度学习实践中经常发生的一种后验崩溃的存在和原因。对于一般的线性潜变量模型，包括线性变分自编码器作为一种特殊情况下，我们精确地识别后验崩溃的性质是由于前的均值的似然和正则化之间的竞争。我们的研究结果表明，后部塌陷可能与神经塌陷和维度塌陷有关，可能是更深层次结构学习的一般问题的一个子类。
2022-10-13 cs.LG stat.ML
Cauchy-Schwarz Regularized Autoencoder
Imperial College London（帝国理工学院）；Facebook AI Applied Research（Facebook人工智能应用研究部）；University College London（伦敦大学学院）
无监督学习最近的工作集中在潜在变量模型的有效推理和学习。通过最大化证据（边际似然）来训练这些模型通常是棘手的。因此，一个常见的近似是最大化证据下限（ELBO）。变分自编码器（VAE）是一类功能强大且广泛使用的生成模型，其针对大型数据集有效地优化ELBO。然而，VAE的默认高斯先验选择对其表示真实后验的能力施加了强约束，从而降低了整体性能。高斯混合模型（GMM）将是一个更丰富的先验，但不能有效地处理VAE框架内，因为GMM的Kullback-Leibler发散的棘手性。我们偏离了常见的VAE框架，有利于高斯混合先验的解析解。为了对GMM先验进行有效的推断，我们引入了一个新的基于Cauchy-Schwarz散度的约束目标，该目标可以解析地计算GMM。这个新的目标使我们能够将更丰富的，多模态的先验信息纳入自动编码框架。我们提供了一系列的数据集的实证研究，并表明我们的目标提高了变分自动编码模型的密度估计，无监督聚类，半监督学习，和人脸分析。
2021-02-12 cs.CV cs.LG
Variational Autoencoders with a Structural Similarity Loss in Time of Flight MRAs
Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心影像科学研究所）；Department of Radiology, University Medical Center Utrecht（乌得勒支大学医学中心放射科）；Department of Neurology and Neurosurgery, UMC Utrecht Brain Center, University Medical Center Utrecht（乌得勒支大学医学中心神经病学与神经外科系，乌得勒支大学医学中心脑中心）
飞行时间磁共振血管造影（TOF-MRA）可实现脑动脉的可视化和分析。这种分析可以指示脑血管系统的配置的正常变化或血管异常，例如动脉瘤。一个模型将是有用的，以代表正常的脑血管结构和变异性在一个健康的人口，并从异常区分。目前使用自动编码卷积神经网络的异常检测通常使用体素平均误差进行优化。我们建议优化变分自动编码器（VAE）与结构相似性损失（SSIM）的TOF-MRA重建。通过比较原始和重建MRA的血管分割，优化了用于TOF-MRA重建的块训练的2D全卷积VAE。该方法在两个数据集上进行了训练和测试：IXI数据集和ADAM挑战的子集。两个训练过的网络都在包括动脉瘤受试者的数据集上进行了测试。我们比较了VAE优化与L2损失和SSIM损失。使用均方误差，平均SSIM，峰值信噪比和切片相似性指数（DSI）的分割血管的原始和重建MRA之间的性能进行了评估。L2优化的VAE优于SSIM，两个数据集的重建指标和DSI都有所改善。使用SSIM优化的视觉图像质量最好，但在定量重建和血管分割的差异。更大、更多样化的IXI数据集具有更好的整体性能。包括动脉瘤在内的MRA的重建指标（包括SSIM）较低。SSIM优化的VAE改善了TOF-MRA重建的视觉感知图像质量。L2优化的VAE对于TOF-MRA重建表现最好，其中血管分割很重要。SSIM是MRA异常检测的潜在度量。
2021-01-20 cs.CV cs.LG eess.IV
Unsupervised Learning of Neurosymbolic Encoders
California Institute of Technology（加州理工学院）；Northwestern University Feinberg School of Medicine（西北大学范伯格医学院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一个神经符号编码器的无监督学习的框架，这些编码器是通过将神经网络与来自特定领域语言的符号程序组合而获得的。我们的框架自然地将符号专家知识融入学习过程，与完全神经编码器相比，这导致了更多的可解释性和因子化的潜在表示。我们将现代程序合成技术与变分自动编码（VAE）框架相结合，以学习神经符号编码器与标准解码器。我们编码器的编程描述可以使许多分析工作流程受益，例如在行为建模中，解释代理动作和移动非常重要。我们评估了我们的方法，从动物生物学和体育分析中学习真实世界轨迹数据的潜在表示。我们表明，我们的方法提供了显着更好的分离有意义的类别比标准的VAE，并导致实际收益的下游分析任务，如行为分类。
2022-12-21 cs.AI cs.LG
Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms
Seoul National University（首尔大学）
基于神经网络的协同过滤模型最近开始受到关注。研究的一个分支是基于使用深度生成模型来模拟用户偏好，其中变分自动编码器被证明可以产生最先进的结果。然而，当前用于CF的变分自动编码器存在一些潜在的问题特性。第一个是VAE在学习用户偏好的潜在表示时引入的过于简单的先验知识。另一个是模型无法学习每个网络具有多个隐藏层的更深层次的表示。我们的目标是采用适当的技术来缓解变分自动编码器CF的上述问题，并进一步提高推荐性能。我们的工作是第一个应用灵活的先验协同过滤，并表明，简单的先验（在原始VAE）可能过于限制，以充分模拟用户的喜好和设置一个更灵活的先验提供了显着的收益。我们实验VampPrior，最初提出的图像生成，检查灵活的先验CF的效果。我们还表明，VampPriors加上门控机制优于SOTA结果，包括在2个流行的基准数据集（MovieLens和Netflix）上有意义的利润率的协同过滤的变分自动编码器。
2019-11-03 cs.IR cs.LG stat.ML
Disentangling Interpretable Generative Parameters of Random and Real-World Graphs
University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）
虽然存在各种各样的可解释的图形生成程序，匹配观察到的图形拓扑结构与这些程序和选择其参数仍然是一个悬而未决的问题。设计生成模型，密切再现现实世界的图形需要领域知识和耗时的模拟。虽然现有的深度学习方法依赖于较少的手动建模，但它们几乎没有提供可解释性。这项工作的方法图生成（解码）的逆图压缩（编码）。我们表明，在一个以解纠缠为重点的深度自动编码框架中，特别是Beta-变分自编码器（Beta-VAE），生成过程及其参数的选择自然出现在潜在空间中。我们的模型能够学习解纠缠的，可解释的潜变量，这些潜变量代表程序生成的随机图和真实世界的图的生成参数。解纠缠的程度是使用互信息间隙（Mutual Information Gap，简称ISI）来定量测量的。当在ER随机图上训练我们的Beta-VAE模型时，它的潜变量与ER随机图参数n和p有一个接近一对一的映射。我们部署该模型来分析图拓扑和节点属性之间的相关性，测量它们的相互依赖性，而无需手工挑选拓扑属性。
2019-11-06 cs.LG cs.SI nlin.CD
Understanding Diffusion Models: A Unified Perspective
Google Research（谷歌研究院）
扩散模型作为生成模型已经显示出令人难以置信的能力;事实上，它们为当前最先进的文本条件图像生成模型（如Imagen和DALL-E 2）提供动力。在这项工作中，我们审查，揭秘，并统一的理解扩散模型在变分和分数为基础的观点。我们首先推导出变分扩散模型（VDM）作为马尔可夫分层变分自编码器的一个特殊情况下，其中三个关键的假设，使易处理的计算和可扩展的优化ELBO。然后，我们证明，优化VDM归结为学习神经网络预测三个潜在的目标之一：从任何任意噪声化的原始源输入，从任何任意噪声化的输入，或在任何任意噪声水平的噪声化输入的得分函数的原始源噪声。然后，我们深入研究学习得分函数的意义，并通过Tweedie公式将扩散模型的变分视角与基于得分的生成建模视角显式连接起来。最后，我们将介绍如何通过指导使用扩散模型学习条件分布。
2022-08-25 cs.CV cs.LG
The Variational Fair Autoencoder
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）；University of California, Irvine（加州大学欧文分校）；University of Amsterdam（阿姆斯特丹大学）
我们研究的问题，学习表示，是不变的某些滋扰或敏感因素的变化，在数据中，同时保留尽可能多的剩余信息。我们的模型是基于一个变分自动编码架构与先验，鼓励敏感和潜在的变化因素之间的独立性。然后可以对该清除的潜在表示执行任何后续处理，诸如分类。为了去除任何剩余的依赖关系，我们根据“最大平均离散度”（MMD）度量引入了一个额外的惩罚项。我们讨论了如何在数据上有效地训练这些架构，并在实验中表明，这种方法比以前的工作更有效地去除不必要的变化来源，同时保持信息丰富的潜在表示。
2017-08-10 cs.LG stat.ML
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
通过链接一系列可微可逆变换，规范化流（NF）提供了一种后验近似，精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换，以实现更大的灵活性。我们提出了一种替代方案：梯度提升归一化流（GBNF）模型的密度连续添加新的NF组件与梯度提升。在boosting框架下，每个新的NF分量优化样本加权似然目标，从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构，其灵活性随着添加更多组件而增加。此外，GBNF提供了一个更广泛的，而不是严格的更深入的方法，以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性，密度估计，并通过耦合GBNF与变分自编码器，生成的图像建模。我们的研究结果表明，GBNF优于其非增强模拟，并且在某些情况下，用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
Identifiability Guarantees for Causal Disentanglement from Soft Interventions
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）；Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Google Research（谷歌研究院）
该研究针对潜因果变量不可观测的因果解缠场景，在广义忠实性假设下证明了可识别性，开发自编码变分贝叶斯算法实现框架，可在无限数据下恢复等价类潜因果模型并预测组合干预效果，已应用于基因组学组合扰动效应预测。
2023-11-09 cs.LG math.ST stat.ME
LION: Latent Point Diffusion Models for 3D Shape Generation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
去噪扩散模型（DDMs）在三维点云合成中显示出良好的效果。为了推进3D DDM并使其对数字艺术家有用，我们需要（i）高生成质量，（ii）操作和应用（如条件合成和形状插值）的灵活性，以及（iii）输出平滑表面或网格的能力。为此，我们引入了分层的潜在点扩散模型（LION）的三维形状生成。LION是一个变分自编码器，它具有一个分层的潜在空间，结合了全局形状的潜在表示与点结构的潜在空间。对于生成，我们训练两个层次的DDM在这些潜在的空间。与直接在点云上操作的DDM相比，分层VAE方法提高了性能，而点结构的隐层仍然非常适合基于DDM的建模。在实验中，LION在多个ShapeNet基准测试中实现了最先进的生成性能。此外，我们的VAE框架使我们能够轻松地使用LION执行不同的相关任务：LION擅长多模态形状去噪和体素条件合成，并且可以适用于文本和图像驱动的3D生成。我们还演示了形状自动编码和潜在的形状插值，我们增加了狮子与现代表面重建技术，以生成光滑的三维网格。我们希望LION能够为艺术家提供一个强大的工具，因为它具有高质量的生成，灵活性和表面重建。项目页面和代码：https://nv-tlabs.github.io/LION.
2022-10-12 cs.CV cs.LG stat.ML
Poisson Variational Autoencoder
UC Berkeley（加州大学伯克利分校）
针对传统VAE依赖连续潜变量、与生物神经元离散特性不符的问题，提出结合预测编码与泊松分布离散潜变量的P-VAE，验证了其与稀疏编码的关联，且表征维度更高、分类样本效率提升5倍，为类脑感官研究提供可解释框架。
2024-12-09 cs.AI cs.LG q-bio.NC
Stable by Construction: Variational Latent Markov Operators for Long-Horizon PDE Prediction
Duke University（杜克大学）
本文提出变分潜在马尔可夫算子（VAMO），通过潜在分布与概率转移建模物理状态，减少长时程自回归预测中的误差累积，并在流体动力学基准上验证了其稳定性和有效性。
2026-09-16 cs.LG stat.ML
Solving Inverse Problems by Joint Posterior Maximization with Autoencoding Prior
CNRS（法国国家科学研究中心）
本文提出JPMAP方法，通过计算联合（空间-潜在）MAP并使用去噪准则训练的VAE先验，高效求解成像中的不适定逆问题，避免非凸优化且收敛性更好，解的质量更高。
2022-04-25 cs.CV cs.LG eess.IV
eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling
Champalimaud Research（尚帕利莫德研究院）；National Institute of Mental Health（美国国家精神卫生研究院）
本研究提出低秩结构化变分自编码框架XFADS，用于非线性高斯状态空间建模，通过利用协方差结构实现线性时间复杂度的近似变分平滑，在预测性能上优于现有深度状态空间模型，还可从少量神经生理数据预测群体尖峰与行为关联。
2024-11-03 cs.LG stat.ML
Fraud is Not Just Rarity: A Causal Prototype Attention Approach to Realistic Synthetic Oversampling
University of Catania（卡塔尼亚大学）
提出因果原型注意力分类器（CPAC），结合VAE-GAN编码器，通过原型注意力机制改善潜在空间聚类分离，在信用卡欺诈检测中实现93.74%的F1分数和92.85%的召回率。
2026-07-02 cs.AI cs.LG
ResVGAE: Going Deeper with Residual Modules for Link Prediction
Istanbul Technical University（伊斯坦布尔技术大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Istanbul Medeniyet University（伊斯坦布尔梅德尼耶特大学）
图自动编码器在嵌入基于图的数据集方面是有效的。大多数图形自动编码器架构具有浅的深度，这限制了它们捕获由多跳分离的节点之间的有意义的关系的能力。在本文中，我们提出了残差变分图自动编码器，ResVGAE，一个深度变分图自动编码器模型与多个残差模块。我们证明了我们的多个残差模块，一个带有残差连接的卷积层，提高了图自动编码器的平均精度。实验结果表明，我们提出的模型与残留模块优于模型没有残留模块，并取得类似的结果时，与其他国家的最先进的方法相比。
2022-08-04 cs.LG cs.SI
Associative Compression Networks for Representation Learning
DeepMind（DeepMind（深度思维））
本文介绍了关联压缩网络（ACNs），一个新的框架变分自动编码与神经网络。该系统不同于现有的变分自编码器（VAE），因为用于对每个代码进行建模的先验分布以来自数据集的类似代码为条件。在压缩术语中，这等同于使用由潜在空间中的接近度确定的排序来顺序地传输数据集。由于先验只需要考虑潜在空间中的局部变化，而不是全局变化，因此大大降低了编码成本，从而产生丰富的信息代码。至关重要的是，当使用强大的自回归解码器时，代码仍然提供信息，我们认为这对于正常的VAE来说是根本困难的。在MNIST，CIFAR-10，ImageNet和CelebA上的实验结果表明，ACNs发现了诸如对象类，写作风格，姿势和面部表情等高级潜在特征，这些特征可用于对数据进行聚类和分类，以及生成多样化和令人信服的样本。我们的结论是，ACNs是表示学习的一个有前途的新方向：一个远离IID建模，并朝着学习数据集作为一个整体的结构化描述。
2018-04-26 cs.LG cs.NE stat.ML
Learning Variational Models with Unrolling and Bilevel Optimization
German Aerospace Center（德国航空航天中心）；Technical University of Braunschweig（布伦瑞克工业大学）
本文通过风险最小化研究变分模型的学习，深入对比双层优化与算法展开两种方法，发现展开计算更简单且可优于双层优化，其性能显著受步长影响而迭代次数影响较小。
2023-09-06 cs.LG math.ST stat.ML
The Concordance Index decomposition: A measure for a deeper understanding of survival prediction models
Halmstad University（哈尔姆斯塔德大学）；Lund University（隆德大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）
本文提出将 C-index 分解为事件间排序与事件-删失排序两项的加权调和平均，并结合 SurVED 与基准实验揭示深度学习模型在不同删失水平下更稳定的原因。
2024-01-20 cs.LG stat.ME stat.ML
Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）
本文通过将SVGD投影到高斯分布族，系统研究了高斯-SVGD的平均场与有限粒子动力学，证明了强对数凹目标下的线性收敛性，并提出统一框架涵盖多种GVI算法，深化了对SVGD和GVI的理论理解。
2023-10-28 cs.LG math.PR math.ST
