Hierarchical Residual Learning Based Vector Quantized Variational Autoencoder for Image Reconstruction and Generation
Monash University（莫纳什大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了一种多层变分自编码器方法，我们称之为HR-VQVAE，它学习数据的分层离散表示。通过利用一种新的目标函数，在HR-VQVAE中的每一层通过矢量量化编码器从先前的层学习残差的离散表示。此外，每一层的表示都与前一层的表示分层链接。我们评估我们的方法的图像重建和生成的任务。实验结果表明，HR-VQVAE学习的离散表示使解码器能够重建高质量的图像，失真比基线方法，即VQVAE和VQVAE-2。HR-VQVAE还可以生成高质量和多样化的图像，这些图像的性能优于最先进的生成模型，从而进一步验证了学习表示的效率。HR-VQVAE的分层性质i）减少了解码搜索时间，使得该方法特别适用于高负载任务，以及ii）允许增加码本大小而不会引起码本崩溃问题。
2022-08-09 cs.CV cs.LG
S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction
Norwegian University of Science and Technology（挪威科技大学）；Monash University（莫纳什大学）；Università degli Studi di Palermo（巴勒莫大学）
本文提出S-HR-VQVAE视频预测模型，结合层次残差向量量化变分自编码器与自回归时空预测模型，在四个基准上以更小模型规模取得优于最先进方法的性能。
2024-11-19 cs.AI cs.CV cs.LG
Hierarchical Variational Autoencoder for Visual Counterfactuals
Ghent University（根特大学）
条件变分自动编码器（VAE）作为一种可解释的人工智能（XAI）工具正受到广泛关注。潜在空间中的代码提供了一种理论上合理的方式来产生反事实，即由于对目标语义特征的干预而导致的改变。为了应用于真实图像，需要更复杂的模型，例如分层CVAE。这带来了一个挑战，因为天真的条件作用不再有效。在本文中，我们将展示如何放松后验的影响，导致成功的反事实，我们介绍了VAEX的层次VAE设计这种方法，可以在应用程序中的视觉审计分类。
2021-02-01 cs.LG
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Inverse problem regularization with hierarchical variational autoencoders
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与计算机科学研究所）；Ubisoft La Forge（育碧拉福奇工作室）；Université Paris Cité（巴黎城市大学）；MAP5（数学与应用概率科学研究所）
提出用分层变分自编码器作为图像先验正则化不适定逆问题，结合PnP收敛保证与生成模型灵活性，在自然图像恢复上达到SOTA水平。
2023-09-29 cs.CV cs.LG
Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Brain（谷歌大脑）
在这项工作中，我们采取表示学习的角度分层强化学习，其中学习层次结构中的较低层的问题转化为学习自动生成模型的问题。我们证明了我们可以学习轨迹的连续潜在表示，这在解决时间扩展和多阶段问题中是有效的。我们提出的模型SeCTAR从变分自编码器中汲取灵感，并学习轨迹的潜在表示。这种方法的一个关键组成部分是学习一个潜在的条件政策和一个潜在的条件模型是一致的。给定相同的潜势，策略生成的轨迹应该与模型预测的轨迹相匹配。该模型通过预测闭环策略行为的结果，提供了一个内置的预测机制。我们提出了一种新的算法来执行分层RL与此模型，结合基于模型的规划学习的潜在空间与无监督的探索目标。我们表明，我们的模型是有效的推理在长期的视野与稀疏的奖励几个模拟任务，优于标准的强化学习方法和先验方法的层次推理，基于模型的规划和探索。
2018-06-07 cs.AI cs.LG stat.ML
Generalizing Variational Autoencoders with Hierarchical Empirical Bayes
Brown University（布朗大学）
变分自动编码器（VAE）最近通过使用不需要对超参数进行重大微调的简单架构，成功地作为数据生成模型。然而，已知VAE遭受过度正则化，这可能导致无法逃脱局部最大值。这种现象被称为后崩溃，阻止学习数据的有意义的潜在编码。最近的方法已经缓解了这个问题，确定性矩匹配的聚合后验分布的聚合前。然而，放弃概率框架（从而依赖于点估计）可能会导致不连续的潜在空间并生成不切实际的样本。在这里，我们提出了分层经验贝叶斯自动编码器（HEBAE），概率生成模型的计算稳定框架。我们的主要贡献有两个方面。首先，我们通过在编码分布上放置分层先验来获得收益，使我们能够自适应地平衡最小化重建损失函数和避免过度正则化之间的权衡。其次，我们表明，假设一个一般的依赖结构变量之间的潜在空间产生更好的收敛到平均场假设，以改善后验推理。总的来说，HEBAE比类似的VAE对广泛的超参数初始化更鲁棒。使用来自MNIST和CelebA的数据，我们说明了HEBAE基于FID分数生成比现有基于自动编码器的方法更高质量的样本的能力。
2020-07-20 cs.LG stat.ML
NVAE: A Deep Hierarchical Variational Autoencoder
NVIDIA（英伟达）
规范化流、自回归模型、变分自编码器（VAE）和基于深度能量的模型是深度生成学习的竞争性基于可能性的框架。其中，VAE具有快速易处理的采样和易于访问的编码网络的优点。然而，它们目前的表现优于其他模型，如正常化流量和自回归模型。虽然大多数VAE的研究都集中在统计挑战上，但我们探索了仔细设计分层VAE神经架构的正交方向。我们提出了新的VAE（NVAE），一个深层次的VAE图像生成使用深度可分离卷积和批量归一化。NVAE配备有正态分布的残差参数化，并且其训练通过谱正则化来稳定。我们表明，NVAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ数据集上的非自回归似然模型中取得了最先进的结果，并为FFHQ提供了强有力的基线。例如，在CIFAR-10上，NVAE将最先进的每维从2.98位提升到2.91位，并在CelebA HQ上生成高质量的图像。据我们所知，NVAE是第一个成功应用于最大为256 $\times$ 256像素的自然图像的VAE。源代码可在https://github.com/NVlabs/NVAE上获得。
2021-01-08 cs.CV cs.LG stat.ML
Attention Based Molecule Generation via Hierarchical Variational Autoencoder
本文提出一种分层结合循环神经网络与卷积网络的变分自编码器方法，用于从SMILES字符串生成分子，在保持长程依赖的同时将已知分子重建有效率提升至约95%，并取得平均0.6的Tanimoto相似度，优于此前类似方法。
2024-01-18 cs.LG q-bio.BM
Tree Variational Autoencoders
ETH Zurich（苏黎世联邦理工学院）
提出树变分自编码器（TreeVAE），通过层次聚类学习树状后验分布，自适应发现最优树结构，利用叶解码器提升生成性能，在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Trading Information between Latents in Hierarchical Variational Autoencoders
University of Tübingen（图宾根大学）；IMPRS-IS（马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院）
变分自动编码器（VAE）最初的动机（Kingma & Welling，2014）是概率生成模型，其中执行近似贝叶斯推断。$β$ -VAE的提议（Higgins等人，2017）打破了这种解释，并将VAE推广到生成建模之外的应用领域（例如，表示学习、聚类或有损数据压缩），通过引入允许从业者在潜在表示的信息内容（“比特率”）和重构数据的失真之间进行权衡的目标函数（Alemi等人，2018年）。在本文中，我们在分层VAE的背景下重新考虑这种速率/失真权衡，即，具有多个潜在变量层的VAE。我们确定了一类一般的推理模型，其中一个可以分裂成从每一层的贡献率，然后可以独立调整。我们推导出下游任务性能的理论界限作为各个层的速率的函数，并在大规模实验中验证了我们的理论发现。我们的研究结果为从业者提供了指导，指导他们针对给定的应用程序在速率空间中的哪个区域。
2023-02-09 cs.CV cs.IT cs.LG
Scalable Factorized Hierarchical Variational Autoencoder Training
Massachusetts Institute of Technology（麻省理工学院）
深度生成模型在无监督学习中取得了巨大的成功，能够捕捉潜在生成因子和观测之间的复杂非线性关系。其中，因子分解分层变分自动编码器（FHVAE）是一个基于变分推断的模型，制定了一个层次的生成过程的顺序数据。具体来说，FHVAE模型可以学习解纠缠和可解释的表示，这已经被证明对许多语音应用有用，例如说话人验证，鲁棒语音识别和语音转换。然而，正如我们将在本文中详细说明的那样，原始论文中提出的训练算法无法扩展到数千小时的数据集，这使得该模型在更大规模上的适用性较低。在确定了运行时间、内存和超参数优化方面的限制后，我们提出了一种分层采样训练算法来解决这三个问题。我们提出的方法在各种数据集上进行了全面评估，范围从3小时到1，000小时，涉及不同类型的生成因素，例如记录条件和噪音类型。此外，我们还提出了一种新的可视化方法，定性评估的性能方面的可解释性和解开。用我们提出的算法训练的模型在所有数据集上都表现出所需的特征。
2018-06-15 cs.CL cs.LG cs.SD
From Baseline to Follow-Up: Counterfactual Spine DXA Image Synthesis in UK Biobank Using a Causal Hierarchical Variational Autoencoder
School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（萨塞克斯大学）；MRC Lifecourse Epidemiology Centre（英国医学研究理事会生命周期流行病学中心）；University of Southampton, Southampton General Hospital（萨塞克斯大学索马塞特医院）；Computer Science University of Southampton（计算机科学萨塞克斯大学）
本文提出了一种基于元数据的因果层次变分自编码器，用于在UK Biobank中生成一致的脊柱DXA图像，通过基线到随访的设置评估因果一致性，展示了年龄干预下关键椎体形态学变量的高一致性，支持了在解剖上合理的DXA图像合成。
2026-05-21 cs.CV cs.LG
CAVACHON: a hierarchical variational autoencoder to integrate multi-modal single-cell data
Centre for Molecular Medicine Norway (NCMM)（挪威分子医学中心（NCMM））；Nordic EMBL Partnership（北欧欧洲分子生物学实验室合作组织）；University of Oslo（奥斯陆大学）；National Taiwan University（国立台湾大学）；Oslo University Hospital（奥斯陆大学医院）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
提出基于广义分层变分自编码器的概率学习框架CAVACHON，通过有向无环图显式纳入多模态单细胞数据间的条件独立性关系，有效实现多组学数据整合与分析。
2024-05-28 cs.AI cs.LG q-bio.GN
Conditional Deep Hierarchical Variational Autoencoder for Voice Conversion
DeNA Co., Ltd.（DeNA有限公司）；University of Tokyo（东京大学）；The University of Electro-Communications（电气通信大学）
基于变分自编码器的语音转换（VAE-VC）具有仅需要成对的语音和说话者标签用于训练的优点。与大多数VAE-VC的研究，重点是利用辅助损失或离散化的潜变量，本文研究了如何增加模型的表现力有好处和影响的VAE-VC。具体来说，我们首先分析VAE-VC从率失真的角度来看，并指出，模型的表现力是重要的VAE-VC，因为率和失真反映的相似性和自然的转换语音。基于分析，我们提出了一种新的VC方法，使用一个深层次的VAE，它具有高的模型表现力，以及由于其非自回归解码器具有快速的转换速度。此外，我们的分析还揭示了另一个问题，即当VAE的潜变量具有冗余信息时，相似性会降低。我们解决这个问题，通过使用$β$ -VAE目标控制包含在潜变量中的信息。在使用VCTK语料库的实验中，所提出的方法在跨性别设置中的自然度和相似度上的平均意见得分均高于3.5，高于现有的基于自动编码器的VC方法的得分。
2021-12-06 cs.LG cs.SD eess.AS
Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder
Seoul National University（首尔国立大学）；Jeonbuk National University（全北国立大学）；Institute of Advanced Aerospace Technology, Seoul National University（首尔国立大学高等航空技术研究所）
提出基于LSH-VAE与潜流形球面线性插值的数据驱动参数化非线性MOR框架，并在流固耦合、极限环振荡和三维流动中验证其精度、稳定性与加速效果。
2023-07-10 cs.LG physics.data-an physics.flu-dyn
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
Multimodal hierarchical Variational AutoEncoders with Factor Analysis latent space
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁健康研究所）
本文提出FA-VAE方法，将多个变分自编码器与因子分析潜空间结合，通过层次化的私有与共享潜空间设计，实现异构多视图数据的可解释、灵活、模块化建模，并支持跨域数据生成与迁移学习。
2024-10-22 cs.AI cs.LG
Top-down inference in an early visual cortex inspired hierarchical Variational Autoencoder
Wigner Research Centre for Physics（维格纳物理研究中心）
将视觉皮层中的计算解释为环境生成模型中的学习和推理，在神经科学和认知科学中都得到了广泛的支持。然而，分层计算，视觉皮层处理的一个标志，仍然是不受影响的生成models，因为缺乏足够的工具来解决它。在这里，我们利用在变分自动编码器（VAE）的进步，调查早期视觉皮层与稀疏编码分层VAE训练的自然图像。我们设计的替代架构，不同的两个潜在层VAE的生成和识别组件。我们发现，在轻度归纳偏见下，与初级和次级视觉皮层中发现的表征相似的表征自然出现。重要的是，纹理样图案的非线性表示是抵抗VAE的特定结构的高级潜在空间的稳定性质，这让人想起次级视觉皮层。我们表明，神经科学启发的识别模型的选择，其中具有自上而下的处理组件是至关重要的两个签名的计算与生成模型：学习高阶矩的后验超出均值和图像修复。高阶响应统计中的模式为神经科学解释响应相关性和机器学习通过更详细的后验特征来评估学习的表示提供了灵感。
2022-06-01 cs.LG q-bio.NC stat.ML
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
Multiresolution Equivariant Graph Variational Autoencoder
University of Chicago（芝加哥大学）
在本文中，我们提出了多分辨率等变图变分自编码器（MGVAE），第一个层次的生成模型学习和生成图形的多分辨率和等变的方式。在每个分辨率级别上，MGVAE采用高阶消息传递来编码图形，同时学习将其划分为互斥的集群并粗化为最终创建潜在分布层次结构的较低分辨率。然后，MGVAE构建了一个分层生成模型，变分解码成一个层次的粗化图。重要的是，我们提出的框架是端到端的置换等变的节点排序。MGVAE通过几个生成任务实现了有竞争力的结果，包括通用图生成、分子生成、预测分子性质的无监督分子表示学习、引文图上的链接预测和基于图的图像生成。
2022-06-28 cs.LG cs.SI physics.chem-ph
Emotion-Conditioned Melody Harmonization with Hierarchical Variational Autoencoder
Xi’an Jiaotong University（西安交通大学）
针对现有旋律和声模型忽略情感、生成和声多样性不足的问题，提出基于LSTM的分层变分自编码器LHVAE，结合层级情感条件与注意力机制，在生成质量和多样性上优于同类模型，且验证了和弦类型对音乐整体情感影响微弱。
2023-07-20 cs.LG cs.MM cs.SD
Variational Composite Autoencoders
Shanghai Jiao Tong University（上海交通大学）；University of Technology Sydney（悉尼科技大学）
在复杂的数据结构或难以处理的潜在变量的存在下，潜在变量模型中的学习是具有挑战性的。先前的变分自编码器由于简单的编码器-解码器结构而可能是低效的。在本文中，我们提出了一个变分复合自动编码器，以回避这个问题的分层隐变量模型的顶部摊销。实验结果证实了我们的模型的优点。
2018-04-12 cs.LG stat.ML
Hierarchical clustering in particle physics through reinforcement learning
New York University（纽约大学）；Bloomberg（彭博）
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明，这个任务可以被描述为一个马尔可夫决策过程，并适应强化学习算法来解决它。特别是，我们表明，蒙特卡罗树搜索指导下的神经政策，可以构建高质量的层次聚类，并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation
University of Science and Technology of China（中国科学技术大学）
现有的大多数用于音乐生成的神经网络模型探索如何生成音乐小节，然后直接将音乐小节拼接成歌曲。但是，这些方法没有探索小节之间的关系，连接的歌曲作为一个整体没有音乐形式结构和音乐方向感。为了解决这个问题，我们提出了一个多模型多任务层次条件VAE-GAN（变分自动编码器生成对抗网络）网络，名为MIDI-Sandwich，它结合了音乐知识，如音乐形式，主音和旋律运动。MIDI-Sandwich有两个子模型：分层条件变分自编码器（HCVAE）和分层条件生成对抗网络（HCGAN）。HCVAE使用分层结构。HCVAE的底层使用局部条件变分自动编码器（L-CVAE）来生成由第一个和最后一个音符（FLN）预先指定的音乐条。HCVAE的上层使用全局变分自编码器（G-VAE）对L-CVAE编码器生成的特征向量序列进行分析，挖掘小节之间的音乐关系，产生由L-CVAE解码器生成的多个音乐小节拼接而成的歌曲，使歌曲既有音乐结构又有方向感。与此同时，HCVAE与HCGAN共享其自身的一部分，以进一步提高所生成音乐的性能。MIDI-Sandwich在Nottingham数据集上进行了验证，能够生成单音轨旋律序列（17 x8拍），这优于大多数生成的模型（8到32拍）的长度。同时，参考多种经典文献的实验方法，对生成的音乐进行了质量评价。以上实验证明了该模型的有效性。
2019-07-04 cs.LG cs.MM cs.SD
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题，提出基于熵的短程MALA/HMC链自适应策略，优化更紧的变分界，提升了VAEs的留出对数似然与生成性能，可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
Relaxed-Responsibility Hierarchical Discrete VAEs
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；Oxford-Man Institute（牛津-曼彻斯特研究所）
成功地训练具有离散潜变量层次结构的变分自动编码器（VAE）仍然是一个活跃的研究领域。矢量量化VAE是离散VAE的一种强大方法，但在训练时，朴素的分层扩展可能不稳定。利用经典推理方法的见解，我们引入了\textit{Relaxed-Responsibility Vector-Quantisation}，这是一种参数化离散潜变量的新方法，是放松矢量量化的一种改进，可以提供更好的性能和更稳定的训练。这使得一种新的方法，分层离散变分自动编码器与许多层的潜在变量（这里高达32），我们训练端到端。在具有端到端训练的离散潜变量的分层概率深度生成模型中，我们为各种标准数据集实现了最先进的bits-per-dim结果。与具有单层潜在变量的离散VAE不同，我们可以通过祖先采样来产生样本：在学习的潜在表示上训练第二自回归生成模型，然后从中采样，然后解码，这不是必需的。此外，在这些深层次模型中的后一种方法将需要数千次向前传递来生成单个样本。此外，我们观察到模型的不同层与数据的不同方面相关联。
2021-02-04 cs.CV cs.LG stat.ML
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam（阿姆斯特丹大学）
针对残差量化在欧几里得空间忽视层次结构的问题，提出几何感知双曲残差量化，通过前向聚合与后向梯度路由提升稳定性，在层次任务中优于双曲基线，但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
Diffusion Priors In Variational Autoencoders
University of Liège（列日大学）
在基于可能性的深度生成建模方法中，变分自编码器（VAE）提供可扩展的摊销后验推理和快速采样。然而，VAE也越来越多地被竞争模型所超越，例如归一化流（NF），深能模型或新的去噪扩散概率模型（DDPM）。在这个初步的工作中，我们通过演示如何DDPM可以用于建模的潜变量的先验分布来改善VAE。扩散先验模型改进了经典VAE的高斯先验，并与基于NF的先验具有竞争力。最后，我们假设分层VAE可以类似地受益于扩散先验能力的增强。
2021-06-29 cs.LG
Learning deep autoregressive models for hierarchical data
Uppsala University（乌普萨拉大学）
我们提出了一个分层结构化数据模型作为随机时间卷积网络的扩展。该模型结合了自回归模型与分层变分自编码器和下采样，以实现卓越的计算复杂性。我们评估两种不同类型的序列数据：语音和手写文本的模型。结果是有希望的，所提出的模型实现国家的最先进的性能。
2021-07-01 cs.LG cs.SY eess.SY
Unsupervised Clustering of Roman Potsherds via Variational Autoencoders
University of Cambridge（剑桥大学）
在本文中，我们提出了一个人工智能成像解决方案，以支持考古学家在罗马陶器碎片的分类任务。通常，每个陶片都以其截面轮廓作为二维的黑白图像来表示，并印刷在与特定考古发掘相关的考古书籍中。片段的随机和手工方差使得它们的匹配成为一个具有挑战性的问题：我们建议通过在深度卷积变分自编码器（VAE）网络的潜在空间中学习的非线性特征的无监督分层聚类来配对相似的配置文件。我们的贡献还包括创建一个罗马陶瓷（ROCOPOT）数据库，从25个罗马陶器语料库中提取了4000多个陶片配置文件，以及一个MATLAB GUI软件，用于轻松检查形状相似性。从数学和考古学的角度对结果进行了评论，以便在两个社区中解锁新的研究方向。
2022-03-14 cs.AI cs.CV cs.DB
Clockwork Variational Autoencoders
University of Toronto（多伦多大学）；Google Research, Brain Team（谷歌研究院大脑团队）
深度学习使算法能够生成逼真的图像。然而，准确预测长视频序列需要了解长期依赖关系，仍然是一个开放的挑战。虽然现有的视频预测模型成功地生成了清晰的图像，但它们往往无法准确地预测未来。我们引入了Clockwork VAE（CW-VAE），这是一种视频预测模型，它利用了潜在序列的层次结构，其中较高的级别以较慢的时间间隔进行。我们证明了分层潜伏期和时间抽象的好处4不同的视频预测数据集的序列高达1000帧，其中CW-VAE优于顶级视频预测模型。此外，我们还提出了一个Minecraft长期视频预测基准。我们进行了几个实验来深入了解CW-VAE，并确认较慢的水平学习表示视频中变化较慢的对象，而较快的水平学习表示较快的对象。
2021-02-20 cs.AI cs.CV cs.LG
Optimizing Hierarchical Image VAEs for Sample Quality
虽然分层变分自编码器（VAE）已经在图像建模任务上实现了很好的密度估计，但来自其先验的样本往往比具有类似对数似然的模型看起来不那么令人信服。我们将此归因于学习的表示，过度强调压缩图像的不可感知的细节。为了解决这个问题，我们引入了KL重新加权策略来控制每个潜在组中的信息量，并采用高斯输出层来降低学习目标的锐度。为了权衡图像的多样性和保真度，我们还引入了分层VAE的无分类器引导策略。我们在实验中证明了这些技术的有效性。代码可在https://github.com/tcl9876/visual-vae上获得。
2022-10-18 cs.CV cs.LG
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London（伦敦大学学院）；Faculty（学院）
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而，基于变分自编码器（VAE）训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的，非基于似然的框架，用于训练具有吸引人的理论属性的生成模型，原则上允许分布之间更容易的训练收敛。在这项工作中，我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构，而不需要高度定制的模型和推理网络。我们表明，我们的方法使生成模型能够充分利用其深层的潜在层次结构，避免了VAE的众所周知的“潜在变量崩溃”问题;因此，提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
A Split-Window Transformer for Multi-Model Sequence Spammer Detection using Multi-Model Variational Autoencoder
School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications（重庆邮电大学通信与信息工程学院）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
本文提出MS$^2$Dformer，一种基于MVAE和分裂窗口注意力机制的Transformer，用于多模态序列垃圾信息发送者检测，性能超越现有方法。
2025-02-23 cs.AI cs.LG cs.MM
Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
KAIST（韩国科学技术院）；AITRICS；Maru Inc（42Maru公司）
问答（QA）中最关键的挑战之一是标记数据的稀缺性，因为使用人工注释获得目标文本域的问答（QA）对的成本很高。解决这个问题的另一种方法是使用从问题上下文或大量非结构化文本（例如维基百科）自动生成的QA对。在这项工作中，我们提出了一个分层的条件变分自编码器（HCVAE）生成QA对给定的非结构化文本作为上下文，同时最大限度地提高生成的QA对之间的互信息，以确保其一致性。我们在几个基准数据集上验证了我们的信息最大化分层条件变分自编码器（Info-HCVAE），方法是仅使用生成的QA对（基于QA的评估）或使用生成的和人类标记的对（半监督学习）进行训练，以评估QA模型（BERT基础）的性能。结果表明，我们的模型在两个任务的所有基线上都获得了令人印象深刻的性能增益，只使用了一小部分数据进行训练。
2020-06-15 cs.CL cs.LG
Univariate Conditional Variational Autoencoder for Morphogenic Patterns Design in Frontal Polymerization-Based Manufacturing
National Center for Supercomputing Applications, University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心）；Beckman Institute for Advanced Science and Technology, University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼先进科学技术研究所）；Grainger College of Engineering, University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Kansas State University（堪萨斯州立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对正面聚合制造中图案逆向设计的映射难题，提出仅编码设计空间的单变量条件变分自编码器UcVAE，在减少参数量、缩短训练时间的同时，可生成多组能产出高保真层级图案的工艺条件解。
2024-10-31 cs.LG physics.comp-ph
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速，逼真的图像生成的高分辨率，多模态数据集使用分层变分自编码器（VAE）上训练的确定性自编码器的潜在空间。在这个两阶段的设置中，自动编码器将图像压缩为其语义特征，然后使用深度VAE对其进行建模。通过这种方法，VAE避免了对构成图像代码长度大部分的细粒度细节进行建模，从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性，在ImageNet-256数据集上实现了9.34的FID，与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
Hierarchical Patch VAE-GAN: Generating Diverse Videos from a Single Sample
Tel Aviv University（特拉维夫大学）
我们认为，从一个单一的视频样本生成不同的和新颖的视频的任务。最近，提出了新的基于分层补丁GAN的方法来生成不同的图像，在训练时只给出一个样本。移动到视频，这些方法无法生成不同的样本，并且经常崩溃为生成类似于训练视频的样本。我们介绍了一种新的补丁为基础的变分自编码器（VAE），它允许一个更大的多样性的产生。使用这个工具，一个新的分层视频生成方案的构建：在粗尺度上，我们的补丁VAE，确保样本的高多样性。随后，在更精细的尺度上，patch-GAN渲染细节，从而生成高质量的视频。我们的实验表明，该方法产生不同的样本在图像域，更具有挑战性的视频域。
2020-10-22 cs.CV cs.LG
Ladder Variational Autoencoders
University of Copenhagen（哥本哈根大学）；Aalto University（阿尔托大学）；Technical University of Denmark（丹麦技术大学）
变分自编码器是无监督学习的强大模型。然而，具有多层相关随机变量的深层模型难以训练，这限制了使用这些高度表达的模型所获得的改进。我们提出了一个新的推理模型，梯形变分自动编码器，递归地纠正生成分布的数据依赖的近似似然在一个过程中，类似于最近提出的梯形网络。我们表明，与分层变分自动编码器和其他生成模型中的纯自下而上的推理相比，该模型提供了最先进的预测对数似然和更严格的对数似然下限。我们提供了一个详细的分析，学习层次的潜在表示，并表明我们的新的推理模型是质的不同，并利用更深的更分布式层次的潜在变量。最后，我们观察到批量归一化和确定性预热（逐渐打开KL项）对于训练具有许多随机层的变分模型至关重要。
2016-05-27 cs.LG stat.ML
ARD-VAE: A Statistical Formulation to Find the Relevant Latent Dimensions of Variational Autoencoders
The University of Utah（犹他大学）
针对VAE潜在维度需试错估计的问题，提出ARD-VAE方法，通过在目标函数中引入分层先验估计潜在轴方差，自动发现相关潜在维度，并在多个基准数据集上验证了其有效性。
2025-01-26 cs.LG
Discrete Variational Autoencoders
D-Wave Systems（D-Wave系统公司）
具有离散潜变量的概率模型自然地捕获由离散类组成的数据集。然而，它们难以有效地训练，因为通过离散变量的反向传播通常是不可能的。我们提出了一种新的方法来训练一类概率模型与离散的潜变量使用变分自动编码器框架，包括反向传播通过离散的潜变量。相关联的概率模型类包括无向离散分量和有向分层连续分量。离散分量捕获由连续分量引起的不连通光滑流形上的分布。因此，这类模型可以有效地从无监督数据中学习图像中的对象类别及其在像素中的具体实现，并且在排列不变的MNIST、Omniglot和Caltech-101 Silhouettes数据集上的性能优于最先进的方法。
2017-04-22 cs.LG stat.ML
Anomaly Detection With Conditional Variational Autoencoders
European Organization for Nuclear Research (CERN)（欧洲核子研究组织（CERN））；Laboratoire de Recherche en Informatique (LRI)（计算机科学研究实验室（LRI））；Université Paris-Saclay（巴黎萨克雷大学）
利用概率推理的快速发展，特别是变分贝叶斯和变分自编码器（VAE），异常检测（AD）任务仍然是一个开放的研究问题。以往的工作认为，训练VAE模型只与内点是不够的，框架应显着修改，以区分异常的情况。在这项工作中，我们利用深度条件变分自编码器（CVAE），我们定义了一个原始的损失函数与一个指标，目标层次结构化的数据AD。我们的激励应用程序是一个现实世界的问题：监测触发系统，这是许多粒子物理实验在欧洲核子研究中心大型强子对撞机（LHC）的基本组成部分。在实验中，我们展示了这种方法的经典机器学习（ML）基准测试和我们的应用程序的优越性能。
2020-10-12 cs.LG hep-ex
Learning Subject-Invariant Representations from Speech-Evoked EEG Using Variational Autoencoders
KU Leuven（鲁汶大学）
脑电图（EEG）是了解大脑如何处理语音的有力方法。为此，线性模型最近被深度神经网络取代，并产生了有希望的结果。在相关的EEG分类领域，它表明，明确建模主体不变的功能，提高了模型的泛化跨学科和效益的分类精度。在这项工作中，我们适应因式分解层次变分自编码器，利用并行EEG记录相同的刺激。我们将EEG建模为两个解纠缠的潜在空间。主题和内容潜在空间上的主题准确率分别达到98.96%和1.60%，而二进制内容分类实验分别达到51.51%和62.91%。
2022-07-01 cs.LG eess.AS
Generation Drawing/Grinding Trajectoy Based on Hierarchical CVAE
Saitama University（埼玉大学）；University of Tsukuba（筑波大学）
在这项研究中，我们提出了一种方法来建模的局部和全局特征的绘图/磨削轨迹与分层变分自编码器（VAE）。通过在分层结构中组合两个单独训练的VAE模型，可以生成具有局部和全局特征的高再现性的轨迹。分层生成网络使得能够用相对少量的训练数据生成高阶轨迹。仿真和实验结果验证了该方法的泛化性能。此外，我们还证实，通过改变学习模型的组合，可以生成过去从未学习过的新轨迹。
2021-11-24 cs.LG cs.SY eess.SY
Learning Hierarchical Priors in VAEs
Volkswagen Group（大众汽车集团）；Technical University of Munich（慕尼黑工业大学）
我们建议在变分自编码器的背景下学习分层先验，以避免标准正态先验分布导致的过度正则化。为了激励数据的信息潜在表示，我们通过将驯服VAE框架扩展到两级分层模型来将学习问题制定为约束优化问题。我们介绍了一种基于图形的插值方法，它表明，学习的潜在表示的拓扑结构对应于数据流形的拓扑结构-并提出了几个例子，其中所需的属性的潜在表示，如平滑度和简单的解释因素是由事先学习。
2019-10-05 cs.LG stat.ML
Hierarchical VAE with a Diffusion-based VampPrior
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对深度分层 VAE 的先验设计问题，提出结合扩散 VampPrior 与摊销推断的方法，在多个基准上以更少参数提升性能、训练稳定性和潜空间利用率。
2024-12-02 cs.LG stat.ML
Unsupervised Embedding of Hierarchical Structure in Euclidean Space
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
深度嵌入方法影响了无监督学习的许多领域。然而，学习层次结构的最佳方法使用非欧几里得表示，而欧几里得几何是许多层次聚类算法背后的理论基础。为了弥合这两个领域之间的差距，我们考虑学习数据到欧几里得空间的非线性嵌入作为一种方法来提高凝聚算法产生的层次聚类。为了学习嵌入，我们重新使用一个变分自编码器与高斯混合先验，我们表明，重新调整潜在的空间嵌入，然后应用沃德的基于链接的算法导致改进的结果树状图纯度和Moseley-Wang成本函数。最后，我们补充我们的实证结果与这种方法的成功的理论解释。我们研究了一个嵌入向量的合成模型，证明了Ward的方法可以以很高的概率准确地恢复种植层次聚类。
2020-10-30 cs.LG stat.ML
Hierarchical Diffusion Autoencoders and Disentangled Image Manipulation
Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
针对扩散模型潜空间语义表示单一、缺乏层次的问题，提出HDAE分层潜空间编码与截断特征解耦编辑方法，在重建、风格混合等多任务中验证有效。
2023-04-25 cs.AI cs.CV
Greedy Structure Learning of Hierarchical Compositional Models
University of Basel（巴塞尔大学）
在这项工作中，我们考虑的问题，学习一个分层生成模型的对象从一组图像中显示的对象的例子中存在的可变背景杂波。现有的解决这个问题的方法是有限的，由强大的先验假设对象的几何结构，并需要分段的训练数据学习。在本文中，我们提出了一个新的框架，学习层次组合模型（HCM），不受上述限制。我们提出了一个广义的HCM公式，并描述了一个贪婪的结构学习框架，包括两个阶段：自下而上的部分学习和自上而下的模型组合。我们的框架集成了前景-背景分割问题的结构学习任务，通过一个背景模型。因此，我们可以联合优化层次结构中的层数，每层的部件数量和仅基于类别标签的前景-背景分割。我们表明，学习的HCM是语义上有意义的，并实现竞争力的结果相比，其他生成对象模型在对象分类的标准迁移学习数据集。
2019-04-14 cs.CV
Analyzing Hierarchical Structure in Vision Models with Sparse Autoencoders
Intel Labs（英特尔实验室）；Oregon State University（俄勒冈州立大学）
本研究利用稀疏自编码器分析视觉模型如何编码ImageNet层次结构，发现其隐式编码分类关系，并在DINOv2各层中验证一致性，建立了层次分析框架。
2025-05-21 cs.CV cs.LG
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh（孟加拉国独立大学）
针对传感器故障或受试者残疾导致的未见活动识别问题，提出一种基于分层自注意力的自编码器方法，在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性，并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器，解决自监督视觉预训练中对比学习与掩码建模的矛盾，提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
Interpreting CLIP with Hierarchical Sparse Autoencoders
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
提出分层稀疏自编码器（MSAE）以同时学习多粒度分层表示，在 CLIP 上实现重建质量与稀疏性的新帕累托前沿，并提取超 120 个语义概念用于下游任务的解释与控制。
2025-05-28 cs.AI cs.CV cs.LG
