Meta-Learning with Variational Bayes
元学习领域寻求提高当今机器学习系统有效适应少量数据的能力。通常，这是通过使用参数化更新规则训练系统来实现的，以基于监督或奖励函数来改进任务相关目标。然而，在许多领域的实际利益，任务数据是未标记的，或奖励功能是不可用的。在本文中，我们介绍了一种新的方法来解决更普遍的问题，生成元学习，我们认为这是一个重要的先决条件，获得人类水平的认知灵活性的人工代理，并可以受益于许多实际应用的道路上。我们的贡献利用AEVB框架和平均场变分贝叶斯，并创建快速适应的潜在空间生成模型。我们贡献的核心是一个新的结果，表明对于广泛的一类深度生成潜变量模型，相关的VB更新不依赖于任何生成神经网络。我们的方法的理论优点反映在实证实验中。
2021-03-25 cs.LG stat.ML
Semi-Implicit Graph Variational Auto-Encoders
Texas A&M University（得克萨斯农工大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
提出了半隐式图变分自动编码器（SIG-VAE），以扩展变分图自动编码器（VGAE）对图数据建模的灵活性。SIG-VAE采用分层变分框架来实现相邻节点共享，以更好地生成图依赖结构的建模，以及Bernoulli-Poisson链接解码器。这种分层构造不仅提供了更灵活的生成图模型以更好地捕获真实世界的图属性，而且SIG-VAE自然地导致半隐式分层变分推理，其允许对给定图数据的隐式后验进行忠实建模，其可能表现出重尾、多模式、偏斜和丰富的依赖结构。与VGAE相比，SIG-VAE所导出的图潜在表示更具可解释性，这是由于灵活的半隐式构造所实现的更具表达力的生成模型和更忠实的推理。对各种图形数据的大量实验表明，SIG-VAE在几个不同的图形分析任务上显着优于最先进的方法。
2020-04-22 cs.LG stat.ML
Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data
Carnegie Mellon University（卡内基梅隆大学）
从部分数据（缺失数据）中学习生成模型是机器学习研究的一个具有挑战性的领域。我们研究了自动编码变分贝叶斯（AEVB）算法的具体实现，在本文中命名为变分自动解码器（VAD）。VAD是一个通用的框架，它使用变分贝叶斯和马尔可夫链蒙特卡罗（MCMC）方法从部分数据中学习生成模型。VAD和可变自动编码器（VAE）之间的主要区别是编码器组件，因为VAD没有编码器组件。使用一个建议的有效的推理方法从多变量高斯近似后验，VAD模型允许通过简单的梯度上升，而不是MCMC采样从概率解码器进行推理。该技术降低了推理计算成本，允许在潜在空间推理期间使用更复杂的优化技术（由于VAD潜在空间中的高自由度，其被示出为至关重要的），并且保持框架易于实现。通过对多个数据集和不同缺失率的大量实验，我们表明编码器不能有效地边缘化由估算缺失值引起的输入波动。本文研究了多模态数据集，这是VAD模型的一个特殊影响领域。
2021-01-03 cs.AI cs.LG stat.ML
Semi-Amortized Variational Autoencoders
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
摊销变分推断（AVI）用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型（如变分自编码器（VAE））的有效训练，但最近的经验研究表明，推理网络可能会产生次优的变分参数。我们提出了一种混合的方法，使用AVI初始化变分参数和运行随机变分推断（SVI）来完善它们。最重要的是，局部SVI过程本身是可微的，因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型，而不会遇到在训练VAE时常见的后崩溃现象，例如文本生成。实验表明，该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
Variational Search Distributions
Data61, CSIRO, Australia（Data61，CSIRO，澳大利亚）
VSD通过变分推断方法，高效地在稀有类别中生成离散组合设计，实验证明其在蛋白质和DNA/RNA工程任务中的优越性。
2025-04-26 cs.LG stat.ML
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化，提供了一个统一的观点。特别是，我们证明了生成对抗网络，变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后，我们讨论了一个通用的优化算法，我们的配方，称为概率函数下降（PFD），并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Neural Variational Inference for Text Processing
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中，我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量，在这里，我们构建了一个推理网络的条件下的离散文本输入，以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序，生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型，并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中，该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
Celeste: Variational inference for a generative model of astronomical images
我们提出了一个新的，完全生成模型的光学望远镜图像集，随着变分推理过程。每个像素强度被视为泊松随机变量，速率参数依赖于恒星和星系的潜在属性。关键的潜在属性本身是随机的，科学的先验分布是从大型辅助数据集构建的。我们在合成图像上检查我们的方法。我们还在一次大型巡天的图像上运行它，它超过了目前最先进的定位天体和测量其颜色的方法的性能。
2015-06-03 astro-ph.IM stat.ML
Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；Huaiyin Normal University（淮阴师范学院）；Nanjing Normal University（南京师范大学）；University of Alberta（阿尔伯塔大学）
生成对抗网络（GANs）以学习复杂的底层数据分布的能力而闻名，然而，众所周知，在训练过程中是棘手的，这可能会导致模式坍塌或性能恶化。目前处理GANs问题的方法几乎都是利用一些实用的训练技术来进行正则化，这在另一方面破坏了GAN的收敛性和理论合理性。在本文中，我们提出了稳定GAN训练通过一种新的基于粒子的变分推理-朗之万斯坦变分梯度下降（LSVGD），它不仅继承了原始SVGD的灵活性和效率，但旨在解决其不稳定性问题，通过将额外的干扰到更新动态。我们进一步证明，通过适当地调整噪声方差，LSVGD模拟Langevin过程，其平稳分布正是目标分布。我们还表明，LSVGD动力学有一个隐式正则化，这是能够提高粒子的扩散和多样性。最后，我们提出了一种有效的方法，适用于一般的GAN的训练过程中，无论损失函数采用基于粒子的变分推理。在一个合成数据集和三个流行的基准数据集Cifar-10、Tiny-ImageNet和CelebA上的实验结果验证了LSVGD可以显著提高各种GAN模型的性能和稳定性。
2020-04-22 cs.CV cs.LG stat.ML
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题，提出基于熵的短程MALA/HMC链自适应策略，优化更紧的变分界，提升了VAEs的留出对数似然与生成性能，可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
Quantum Variational Autoencoder
D-Wave Systems Inc.（D-Wave系统公司）；Department of Physics, Simon Fraser University（西蒙弗雷泽大学物理系）
变分自编码器（VAE）是一种强大的生成模型，具有执行推理的突出能力。在这里，我们介绍了一个量子变分自动编码器（QVAE）：一个VAE的潜在的生成过程是作为一个量子玻尔兹曼机（QBM）实现的。我们证明了我们的模型可以通过最大化一个定义良好的损失函数来进行端到端的训练：一个对对数似然的变分近似的“量子”下限。我们使用量子蒙特卡罗（QMC）模拟训练和QVAE的性能进行评估。为了实现最佳性能，我们首先创建一个VAE平台，该平台具有由受限玻尔兹曼机（RBM）生成的离散潜在空间。与在生成过程中仅涉及离散变量的类似方法相比，我们的模型在MNIST数据集上实现了最先进的性能。我们认为QVAE具有较小数量的潜在单元能够执行QMC模拟，这是计算昂贵的。我们表明，QVAE可以有效地训练的制度，量子效应是相关的，尽管通过量子约束训练。我们的研究结果开辟了使用量子计算机训练QVAE以实现生成模型的竞争性能的道路。将QBM放置在VAE的潜在空间中，充分利用了当前和下一代量子计算机作为采样设备的全部潜力。
2019-01-12 cs.LG quant-ph stat.ML
A Primer on Variational Inference for Physics-Informed Deep Generative Modelling
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；London School of Economics and Political Science（伦敦政治经济学院）；The Alan Turing Institute（阿兰·图灵研究所）
本文针对物理驱动问题，介绍了变分推断（VI）在正/反问题中的技术应用，涵盖VI框架推导、深度学习实现及相关文献统一，助力科研受众解决物理问题并量化不确定性。
2025-04-14 cs.LG physics.comp-ph stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems
用变分推理（VI）方法求解高维贝叶斯逆问题（BIPs）是一个很有前途但仍具有挑战性的研究领域。主要困难来自两个方面。首先，VI方法使用简单的解析变分分布来近似后验分布，这使得在实践中难以估计复杂的空间变化参数。第二，VI方法通常依赖于基于梯度的优化，当应用于涉及偏微分方程（PDE）的BIP时，这在计算上可能是昂贵的或棘手的。为了解决这些挑战，我们提出了一种新的近似方法估计高维后验分布。这种方法利用深度生成模型来学习能够生成空间变化参数的先验模型。这使得后验近似的潜在变量，而不是复杂的参数，从而提高估计精度。此外，为了加速梯度计算，我们采用可微物理约束的代理模型来代替伴随方法。所提出的方法可以完全以自动微分的方式实现。数值算例表明，两种类型的对数渗透率估计非均质介质中的流动。实验结果表明，该方法是有效的、准确的、高效的。
2023-02-22 cs.NA math.NA physics.comp-ph
Physics-Constrained Predictive Molecular Latent Space Discovery with Graph Scattering Variational Autoencoder
人工智能的最新进展推动了创新计算材料建模和设计技术的发展。生成式深度学习模型已用于分子表示、发现和设计。在这项工作中，我们评估的预测能力的分子生成模型开发的基础上变分推理和图论在小数据制度。物理约束，鼓励能量稳定的分子提出。编码网络基于具有自适应频谱滤波器的散射变换，以允许更好地泛化模型。解码网络是一个一次性的图形生成模型，它根据分子拓扑结构确定原子类型。贝叶斯形式主义被认为是捕捉分子性质的预测估计的不确定性。通过生成具有所需目标特性的分子来评估模型的性能。
2021-02-11 physics.chem-ph stat.ML
Automatic Relevance Determination For Deep Generative Models
在建立概率潜变量模型时，经常出现的问题是正则化和模型选择，例如潜空间维数的选择。在具有潜在变量的信念网络的背景下，这个问题已经通过采用蒙特卡罗推理的自动相关性确定（ARD）来解决。我们提出了一种变分推断方法，使用双随机变分推断来提供快速和可扩展的学习。我们展示了一个标准数据集上的实证结果，说明了自动收缩潜在空间的影响。我们表明，由此产生的潜在表示显着更紧凑，而不会失去学习模型的表达能力。
2015-08-26 stat.ML
Functional Bias and Tangent-Space Geometry in Variational Inference
本文提出了一种几何框架，用于分析变分近似中后验函数的偏差，揭示了切空间与相互作用成分对偏差的影响，解释了均值场变分推断中跨块依赖性的系统性扭曲。
2026-03-09 math.ST stat.ML stat.TH
Stochastic full waveform inversion with deep generative prior for uncertainty quantification
Center for Geosciences, Mines Paris（巴黎高等矿业学院地球科学中心）；PSL Research University（巴黎文理研究大学）
本文提出利用深度生成模型作为先验，结合显式、隐式变分贝叶斯推断及SVGD方法进行随机全波形反演，实现地下参数的不确定性量化，并与McMC采样进行对比验证。
2024-06-07 cs.LG physics.geo-ph stat.CO
Clustering Functional Data via Variational Inference
功能数据分析处理随时间（或任何其他连续体）密集记录的数据，每个受试者具有一个或多个观察曲线。从概念上讲，函数数据是连续定义的，但在实践中，它们通常是在离散点上观察到的。在不同类型的函数数据分析中，聚类分析的目的是在数据集中确定潜在的曲线组，当没有每个单独曲线的组成员信息时。在这项工作中，我们提出了一种新的基于模型的方法，通过变分推断聚类和平滑功能数据同时进行。我们推导出坐标上升平均场变分贝叶斯算法来近似我们的模型参数的后验分布，通过找到最小的库尔贝克-莱布勒散度的变分分布的后验。我们提出的方法的性能进行评估，使用模拟数据和公开可用的数据集。
2023-01-19 stat.ME
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法，该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开，并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练，而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Molecular generative model based on conditional variational autoencoder for de novo molecular design
KAIST（韩国科学技术院）
我们提出了一个基于条件变分自编码器的分子生成模型，用于从头分子设计。它专门通过将多个分子特性施加在潜在空间上来同时控制它们。作为概念证明，我们证明了它可以用于产生具有五个目标特性的药物样分子。我们还能够在不改变其他属性的情况下调整单个属性，并在数据集范围之外对其进行操作。
2018-06-15 cs.LG stat.ML
Inverting Variational Autoencoders for Improved Generative Accuracy
使用深度生成模型的半监督学习的最新进展已经显示出从小标记数据集（$\mathbf{x},\mathbf{y}$）推广到大未标记数据集（$\mathbf{x}$）的希望。在共域具有已知结构的情况下，大的无特征数据集（$\mathbf{y}$）是潜在可用的。我们开发了一个参数高效的深度半监督生成模型，以利用这个未开发的数据源。实证结果表明，在解开潜在变量的语义，以及改进的火星光谱和手写数字域的歧视性预测的性能提高。
2017-08-24 cs.LG stat.ML
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Causally Disentangled Generative Variational AutoEncoder
University of Seoul（首尔大学）；Yonsei University（延世大学）
该研究提出适用于VAE的因果解耦生成（CDG）方法，探究实现CDG的充要条件，提出通用评估指标，经图像和表格数据集验证有效。
2023-10-09 cs.LG stat.ML
Monte Carlo Filtering Objectives: A New Family of Variational Objectives to Learn Generative Model and Neural Adaptive Proposal for Time Series
Royal Institute of Technology（皇家理工学院）；Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
学习生成模型和推断潜在的轨迹已被证明是具有挑战性的时间序列，由于灵活的生成模型的棘手的边缘可能性。它可以通过优化的替代目标来解决。我们提出了蒙特卡洛过滤目标（MCFO），一个家庭的变分目标，共同学习参数生成模型和摊销的时间序列的自适应重要性建议。MCFO扩展了最新目标中的顺序蒙特卡罗方法之外的似然估计量的选择，具有重要的属性，揭示了目标紧密性的因素，并允许较少的偏差和变化梯度估计。我们证明了所提出的MCFO和梯度估计导致有效和稳定的模型学习，并且学习的生成模型很好地解释了数据，并且重要性建议在各种时间序列数据上更具样本效率。
2021-05-20 cs.LG stat.ML
Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
学习跨越多种数据模态（如视觉和语言）的生成模型通常是出于学习更有用、更可概括的表示的愿望，这些表示忠实地捕捉模态之间的共同基础因素。在这项工作中，我们将成功学习这些模型视为满足四个标准：i）隐式潜在分解为共享和私有子空间，ii）所有模态的连贯联合生成，iii）跨单个模态的连贯交叉生成，以及iv）通过多模态集成改进单个模态的模型学习。在这里，我们提出了一个专家混合的多模态变分自动编码器（MMVAE）来学习不同模态集上的生成模型，包括具有挑战性的图像语言数据集，并证明其能够在定性和定量上满足所有四个标准。
2019-11-08 cs.LG stat.ML
A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression
Aalto University（阿尔托大学）
我们开发了一种新的概率生成模型的基础上变分自动编码器的方法。值得注意的方面，我们的架构是：一种新的方式指定的潜变量之前，并引入了一个序数执行单元。我们描述了如何使用该模型进行监督，无监督和半监督学习，以及名义和顺序分类。我们使用两个基准数据集分析了该方法的生成特性，以及在名义分类和有序分类下的分类有效性。我们的研究结果表明，我们的模型可以在两个分类任务中实现与相关基线相当的结果。
2018-12-19 cs.LG stat.ML
Adversarial Variational Optimization of Non-Differentiable Simulators
University of Liège（列日大学）；New York University（纽约大学）
复杂的计算机模拟器越来越多地用于科学领域，作为将基础理论的参数与实验观察相结合的生成模型。在这种情况下进行推理通常是困难的，因为模拟器很少承认易处理的密度或似然函数。我们介绍了对抗变分优化（AVO），这是一种用于拟合不可微生成模型的无似然推理算法，该算法结合了生成对抗网络，变分优化和经验贝叶斯的思想。我们通过用特定领域的模拟器替换可微分生成网络来调整生成对抗网络的训练过程。我们解决由此产生的不可微极大极小问题，通过最小化两个敌对目标的变分上界。有效地，该过程导致学习模拟器参数上的建议分布，使得合成数据的边缘分布与观测数据的经验分布之间的JS偏差最小化。我们评估和比较的方法与模拟器产生离散和连续的数据。
2020-04-16 cs.LG stat.ML
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling
University of Applied Sciences and Arts Western Switzerland (HES-SO)（瑞士西部应用科学与艺术大学（HES-SO））
将物理模型集成到机器学习模型中，对于学习具有改进的可解释性和外推能力的鲁棒模型具有相当大的希望。在这项工作中，我们专注于将不完整的物理模型整合到深度生成模型中。特别是，我们介绍了一个架构的变分自编码器（VAE），其中的一部分的潜在空间是接地的物理。一个关键的技术挑战是在不完整的物理和可训练的组件（例如神经网络）之间取得平衡，以确保以有意义的方式使用物理部分。为此，我们提出了一种正则化学习方法，该方法控制可训练组件的效果，并保留基于物理的潜在变量的语义。我们不仅在一组合成和真实世界的数据集上展示了生成性能的改进，而且我们还展示了我们学习的鲁棒模型，这些模型可以以一种有意义的方式一致地外推到训练分布之外。此外，我们表明，我们可以控制生成过程中的一个可解释的方式。
2021-10-26 cs.LG stat.ML
Evolutionary Variational Optimization of Generative Models
University of Oldenburg（奥尔登堡大学）；CERN（欧洲核子研究中心）
我们结合了两种流行的优化方法来获得生成模型的学习算法：变分优化和进化算法。通过使用截断后验作为变分分布族，实现了具有离散潜伏期的生成模型的组合。截断后验的变分参数是潜状态的集合。通过将这些状态解释为个体的基因组，并使用变分下界来定义适应度，我们可以应用进化算法来实现变分循环。所使用的变分分布是非常灵活的，我们表明，进化算法可以有效地和高效地优化变分界。此外，变分循环是普遍适用的（“黑盒”），不需要分析推导。为了显示普遍适用性，我们将该方法应用于三种生成模型（我们使用噪声或贝叶斯网络，二进制稀疏编码和尖峰和板条稀疏编码）。为了证明新的变分方法的有效性和效率，我们使用标准的图像去噪和修复的竞争基准。这些基准允许对各种方法进行定量比较，包括概率方法，深度确定性和生成网络以及非局部图像处理方法。在“zero-shot”学习类别中（当仅使用损坏的图像进行训练时），我们观察到进化变分算法在许多基准设置中显着提高了最先进的水平。对于一个著名的修复基准，我们还观察到所有类别的算法的最先进的性能，虽然我们只对损坏的图像进行训练。在一般情况下，我们的调查突出的重要性，研究生成模型的优化方法，以实现性能的改善。
2021-04-16 cs.LG cs.NE stat.ML
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
训练和使用基于现代神经网络的潜变量生成模型（如变分自编码器）通常需要同时训练生成方向和推理（编码）方向，这近似于潜变量的后验分布。因此，问题就来了：为了能够准确地模拟给定生成模型的后验分布，推理模型需要有多复杂？在本文中，我们确定了一个重要的属性的生成地图影响所需的大小的编码器。我们表明，如果生成地图是“强可逆的”（在某种意义上，我们适当地正式），推理模型不需要更复杂。相反，我们证明了存在不可逆的生成映射，其编码方向需要呈指数增长（在计算复杂性的标准假设下）。重要的是，我们不要求生成模型是逐层可逆的，这是许多相关文献假设的，并且在实践中使用的许多架构（例如基于卷积和池化的网络）都不满足。因此，我们为经验智慧提供了理论支持，即当数据位于低维流形上时，学习深度生成模型更难。
2021-07-09 cs.LG stat.ML
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research（微软研究院）
生成式神经采样器是使用前馈神经网络实现采样的概率模型：它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力，可以有效地计算样本和导数，但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明，生成对抗的方法是一个特殊的情况下，现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
Dual reparametrized Variational Generative Model for Time-Series Forecasting
King’s College London（伦敦国王学院）
本文提出了一种用于时间序列预测的生成式模型DualVDT。在变分自编码器（VAE）模型中引入双重重参数化变分机制，收紧了模型的证据下限（ELBO），并从理论上证明了其性能的提高。该机制利用基于潜在基于得分的生成模型（SGM），通过逆时随机微分方程和变分祖先采样显式地去除潜在向量上累积的扰动。融合对偶重参数变分密度的隐分布去噪后验。ELBO中的KL发散将减小，以达到更好的模型结果。本文还提出了一种潜在的注意力机制来显式提取多元依赖关系。通过构造局部拓扑和时态关联，在因子关联中同时建立局部时态关联。在多个数据集上的验证和实验表明，DualVDT具有一种新的双重重新参数化结构，通过逆动力学结合局部时间推理来消除潜在扰动，在分析和实验上都具有先进的性能。
2022-03-11 cs.AI cs.LG stat.ML
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives
Nanyang Technological University（南洋理工大学）；School of Social Sciences（社会科学学院）；School of Mechanical and Aerospace Engineering（机械与宇航工程学院）；School of Physical and Mathematical Sciences（物理与数学科学学院）
提出一种紧密逼近对数似然的变分目标，并利用置换不变神经网络构建灵活的多模态聚合方案，避免PoE或MoE的归纳偏置，在可识别模型中更好地逼近真实联合分布。
2024-09-24 cs.LG stat.ML
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Epitomic Variational Graph Autoencoder
Technical University of Munich（慕尼黑工业大学）；Mercateo AG（Mercateo公司）
变分自编码器（VAE）是一种广泛使用的生成模型，用于学习潜在表示。Burda等人在他们的开创性论文中表明，VAE的学习能力受到过度修剪的限制。这是一种现象，其中大量潜变量未能捕获关于输入数据的任何信息，并且对应的隐藏单元变得不活动。这对学习多样化和可解释的潜在表征产生了不利影响。变分图自动编码器（VGAE）扩展了VAE的图结构数据，它继承了过度修剪问题。在本文中，我们采用了基于模型的方法，并提出了epitomic VGAE（EVGAE），一个生成的变分框架的图数据集，成功地减轻了过度修剪问题，也提高了VGAE的生成能力。我们认为EVGAE由多个稀疏的VGAE模型组成，称为epitomes，这是一组共享潜在空间的潜在变量。这种方法有助于增加活动单元，因为摘要竞争学习更好的图形数据表示。我们通过三个基准数据集上的实验验证了我们的说法。实验结果表明，EVGAE比VGAE具有更好的生成能力。在引文网络中，EVGAE的链接预测性能优于VGAE.
2020-08-07 cs.LG stat.ML
The Variational InfoMax AutoEncoder
University of Stirling（斯特灵大学）
变分自编码器（VAE）同时学习推理和生成模型，但这些模型中只有一个可以在最佳情况下学习，该行为与ELBO学习目标相关联，该ELBO学习目标由非信息生成器优化。为了解决这个问题，我们提供了一个学习目标，学习一个最大的信息生成器，同时保持有界的网络容量：变分InfoMax（VIM）。VIM推导的贡献是双重的：一个目标学习的最佳推理和生成模型和网络容量的明确定义，网络鲁棒性的估计。
2020-11-08 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Generative-Discriminative Variational Model for Visual Recognition
Carnegie Mellon University（卡内基梅隆大学）
从具有手工制作特征的浅层分类器到端到端可训练的深度学习模型的范式转变已经显示出监督学习任务的显着改进。尽管深度神经网络（DNN）具有很好的潜力，但如何减轻训练过程中的过拟合一直是人们感兴趣的研究课题。在本文中，我们提出了一个生成判别变分模型（GDVM）的视觉分类，在其中，我们引入了一个潜在的变量推断，从输入表现出生成能力的预测。换句话说，我们的GDVM将监督学习任务转换为生成学习过程，并将数据区分用于改进分类。在我们的实验中，我们考虑多类分类，多标签分类，和零样本学习的任务。我们表明，我们的GDVM与基线或最近的生成DNN模型相比表现良好。
2017-06-07 cs.LG
Variational Generative Stochastic Networks with Collaborative Shaping
McGill University（麦吉尔大学）
我们开发了一种基于将变分自动编码器展开为马尔可夫链来训练生成模型的方法，并使用最近在近似贝叶斯计算中的工作所启发的技术来塑造链的轨迹。我们表明，所得到的目标的全局极小值时，生成模型再现的目标分布。为了更好地控制模型的行为，我们添加了一个正则化项，其灵感来自于强化学习中用于正则化某些类型的策略搜索的技术。我们目前的MNIST和TFD数据集的实证结果表明，我们的方法提供了最先进的性能，无论是从定量和定性的角度来看。
2017-08-02 cs.LG
Variational Tracking and Prediction with Generative Disentangled State-Space Models
Volkswagen Group Machine Learning Research Lab（大众集团机器学习研究实验室）
我们解决跟踪和预测的多个移动对象在视觉数据流的推理和采样在一个解开潜在的状态空间模型。通过分别编码对象，包括明确的位置信息的潜在状态空间中，我们通过摊销变分贝叶斯推断的各个潜在的位置进行跟踪。推理是在一个模块化的神经框架中实现的，这个框架是针对我们解开的潜在空间而定制的。生成模型和推理模型仅从观察中联合学习。与相关的先前工作相比，我们的经验表明，我们的马尔可夫状态空间假设，使忠实和大大改善长期预测远远超出了训练范围。此外，我们的推理模型正确地将帧分解为对象，即使在存在遮挡的情况下。跟踪性能相对于现有技术显著提高。
2019-10-14 cs.CV cs.LG stat.ML
The Variational Homoencoder: Learning to learn high capacity generative models from few examples
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分层贝叶斯方法可以将许多相关的任务（例如，k-shot分类，条件和无条件生成）统一为单个生成模型中的推理。然而，当这种生成模型被表示为一个强大的神经网络，如PixelCNN，我们表明，现有的学习技术通常无法有效地使用潜在变量。为了解决这个问题，我们开发了一个修改的变分自编码器，其中编码的意见被解码为新的元素从同一个类。这种技术，我们称之为变分同伦编码器（VHE），产生一个层次的潜变量模型，更好地利用潜变量。我们使用VHE框架在Omniglot数据集上学习分层PixelCNN，它在测试集似然性上优于所有现有模型，并在一次性生成和分类任务上实现了强大的性能。我们还验证了来自YouTube Faces数据库的自然图像上的VHE。最后，我们开发扩展的模型，适用于更丰富的数据集结构，如阶乘和层次类别。
2018-07-24 cs.AI cs.LG stat.ML
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal（蒙特利尔大学）；Mila（米拉）
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近，Song等人（2021）表明，将数据转换为噪声的扩散过程可以通过学习得分函数（即扰动数据的对数密度的梯度）来逆转。他们建议将学习的得分函数插入到逆公式中，以定义生成扩散过程。尽管在经验上取得了成功，但这一程序仍然缺乏理论基础。在这项工作中，我们直接接近（连续时间）生成扩散，并推导出一个变分框架的似然估计，其中包括连续时间规范化流作为一个特殊情况下，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失相当于最大化Song等人（2021）提出的插入式反向搜索的可能性下限，弥合了理论差距。
2021-09-30 cs.LG
Variational Autoencoders for Generative Modelling of Water Cherenkov Detectors
University of Manitoba（曼尼托巴大学）；TRIUMF；University of British Columbia（不列颠哥伦比亚大学）
物质-反物质不对称性是物理学中尚未解决的主要问题之一，可以通过当前和下一代中微子振荡实验中电荷宇称对称性破坏的精确测量来探索。在这项工作中，我们展示了变分自动编码器和归一化流的能力，以近似这些实验中常用的水切伦科夫探测器的模拟数据的生成分布。我们研究了这些方法的性能及其适用于半监督学习和合成数据生成。
2019-11-01 cs.LG hep-ex physics.ins-det
Beyond Imitation: Generative and Variational Choreography via Machine Learning
Yale University（耶鲁大学）；Coventry University（考文垂大学）；Harvard University（哈佛大学）
我们的舞蹈艺术家、物理学家和机器学习研究人员团队共同开发了几种原创的、可配置的机器学习工具，以生成新颖的编舞序列以及输入编舞序列的可调变体。我们使用递归神经网络和自动编码器架构，这些架构来自每个时间步捕获为53个三维点的运动训练数据集。生成的序列的示例动画和我们模型的交互式版本可以在http：//www.beyondimitation.com上找到。
2019-07-11 cs.LG cs.MM stat.ML
A Variational Inequality Perspective on Generative Adversarial Networks
Mila & DIRO, University of Montreal（蒙特利尔大学 Mila 与 DIRO）；Facebook Artificial Intelligence Research（Facebook 人工智能研究院）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能教席）
生成对抗网络（GANs）形成了一种生成建模方法，以产生吸引人的样本而闻名，但它们非常难以训练。解决这一问题的一种常见方法是提出GAN目标的新表述。然而，令人惊讶的是，很少有研究关注为这种对抗性训练设计的优化方法。在这项工作中，我们投GAN优化问题的一般变分不等式框架。利用数学规划文献，我们反驳了一些关于鞍点优化困难的常见误解，并提出将为变分不等式设计的技术扩展到GANs的训练。我们应用平均，外推和计算成本更低的变体，我们称之为外推从过去的随机梯度法（SGD）和亚当。
2020-08-28 cs.LG math.OC stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder
University of Chicago（芝加哥大学）
深度概率生成模型能够对非常高维数据的可能性进行建模。生成建模的一个重要应用应该是通过设置可能性阈值来检测分布外（OOD）样本的能力。然而，最近的一些研究表明，概率生成模型可以，在某些情况下，分配较高的似然对某些类型的OOD样本，使OOD检测规则的基础上的似然阈值的问题。为了解决这个问题，已经针对深度生成模型提出了几种OOD检测方法。在本文中，我们观察到，这些方法中的许多失败时，应用到基于变分自动编码器（VAE）的生成模型。作为一种替代方案，我们提出了一个有效的OOD评分VAE的Likestival遗憾。我们基准我们提出的方法在现有的方法，和实证结果表明，我们的方法获得最佳的整体OOD检测性能时，应用于VAE。
2020-10-10 cs.CV cs.LG stat.ML
Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders
Harvard University（哈佛大学）；IBM Research（IBM研究院）
变分自动编码器（VAE）是由两个组件组成的深度生成潜在变量模型：生成模型，通过在潜在空间上转换分布p（z）来捕获数据分布p（x），以及推断每个数据点可能的潜在代码的推断模型（Kingma和Welling，2013）。最近的研究表明，传统的训练方法往往会产生违反建模要求的解决方案：（1）学习的生成模型捕获了观察到的数据分布，但忽略了潜在代码，导致代码不能代表数据（例如van den Oord et al.（2017）; Kim et al.（2018））;（2）学习的潜在代码的聚合与先验p（z）不匹配。这种不匹配意味着学习的生成模型将无法使用p（z）的样本生成真实的数据（例如Makhzani et al.（2015）; Tomczak and Welling（2017））。在本文中，我们证明了这两个问题源于这样一个事实，即VAE训练目标的全局最优值往往对应于不期望的解决方案。我们的分析建立在两个观察基础上：（1）生成模型是不可识别的-存在许多生成模型可以同样很好地解释数据，每个模型都具有不同的（并且可能不需要的）属性;（2）VAE目标中的偏见-VAE目标可能更喜欢解释数据不佳但具有易于近似的后验的生成模型。我们提出了一种新的推理方法，LiBI，减轻在我们的分析中发现的问题。在合成数据集上，我们证明了LiBI可以学习生成模型，这些模型可以捕获数据分布和推理模型，从而在传统方法难以做到这…
2020-03-17 cs.LG stat.ML
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University（韩东国际大学）
在深度生成模型成功应用于图像生成任务后，学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量，一些模型显示出较低的重建图像质量，而另一些模型增加了难以训练的模型复杂度。在本文中，我们提出了一个简单的去纠缠方法的基础上，传统的白化过程。该方法适用于变分自动编码器（VAE）的潜变量，虽然它可以应用于任何生成模型的潜变量。在实验中，我们将所提出的方法应用到简单的VAE模型和实验结果证实，我们的方法发现更多的解释因素，从潜在的空间，而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Self-Reflective Variational Autoencoder
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一个学习概率潜变量生成模型的强大框架。然而，编码器和/或先验的近似后验分布的典型假设严重限制了其推理和生成建模的能力。基于神经自回归模型的变分推理尊重精确后验的条件依赖性，但这种灵活性是有代价的：这种模型在高维状态下进行训练是昂贵的，并且产生样本的速度可能很慢。在这项工作中，我们引入了一个正交的解决方案，我们称之为自反射推理。通过重新设计现有VAE架构的分层结构，自反射确保随机流保留精确后验的因式分解，以与生成模型一致的递归方式顺序更新潜在代码。我们经验性地证明了将变分后验与精确后验匹配的明显优势--在二值化MNIST上，自反射推理实现了最先进的性能，而无需求助于复杂的、计算上昂贵的组件，如自回归层。此外，我们设计了一个变分规范化流程，采用所提出的架构，产生预测的好处相比，其纯粹的生成对应。我们提出的修改是相当普遍的，并补充了现有的文献;自反射推理可以自然地利用分布估计和生成建模的进步，以提高层次结构中每一层的能力。
2020-07-10 cs.CV cs.LG stat.ML
Variational Memory Addressing in Generative Models
DeepMind
为了增强具有外部存储器的生成模型，我们将具有随机寻址的存储器模块的输出解释为条件混合分布，其中读取操作对应于对离散存储器地址进行采样并从存储器中检索相应的内容。这种观点使我们能够将变分推理应用于内存寻址，从而通过使用目标信息来指导内存查找来有效地训练内存模块。随机寻址特别适合生成模型，因为它自然地鼓励多模态，这是大多数高维数据集的一个突出方面。将所选择的地址视为潜在变量还允许我们量化通过存储器查找获得的信息量，并测量存储器模块对生成过程的贡献。为了说明这种方法的优点，我们将其纳入一个变分自编码器和生成少样本学习的任务应用所产生的模型。这种架构背后的直觉是，内存模块可以从内存中挑选相关的模板，而模型的连续部分可以专注于对剩余的变化进行建模。我们的经验表明，我们的模型能够识别和访问相关的内存内容，即使在内存中有数百个看不见的Omniglot字符
2017-09-21 cs.LG
