PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器（VAE）的框架，大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中，我们首先提出了一个新的学习目标，称为相关信息的原则变分自编码器（PRI-VAE），学习解开表示。然后，我们提出了一个信息理论的角度来分析现有的VAE模型，通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs
DeepMind（深度思维）
我们提出了一个简单的神经渲染架构，帮助变分自编码器（VAE）学习解纠缠表示。代替VAE解码器中通常使用的去卷积网络，我们在空间中平铺（广播）潜在向量，连接固定的X和Y“坐标”通道，并应用具有1x1步幅的完全卷积网络。这提供了一个架构之前，从VAE的潜在分布中的非位置特征分离的位置，但没有提供任何明确的监督，这种效果。我们表明，这种架构，我们称之为空间广播解码器，提高了解开，重建精度，并推广到数据空间中的区域。当应用于具有小对象的数据集时，它提供了特别显着的好处。我们还强调了一种可视化学习的潜在空间的方法，帮助我们诊断我们的模型，并可能证明对其他旨在评估数据表示的人有用。最后，我们展示了空间广播解码器是最先进的（SOTA）解纠缠技术的补充，并在合并时提高了它们的性能。
2019-08-14 cs.CV cs.LG stat.ML
WeLa-VAE: Learning Alternative Disentangled Representations Using Weak Labels
Institute of Informatics and Telecommunications（信息与通信研究所）
在没有监督或归纳偏见的情况下学习分解的表征，往往会导致不可解释或不受欢迎的表征。另一方面，严格的监督要求详细了解真正的生成因素，这并不总是可能的。在本文中，我们认为弱监管的高层次的标签，不被认为是明确相关的地面真相因素。这样的标签虽然更容易获得，但也可以用作算法的归纳偏差，以学习更多可解释或替代的解纠缠表示。为此，我们提出了WeLa-VAE，一个变分推理框架，其中观测和标签共享相同的潜变量，这涉及到修改的变分下限和总相关正则化的最大化。我们的方法是TCVAE的推广，只增加了一个额外的超参数。我们在笛卡尔坐标生成的数据集上进行了实验，结果表明，在TCVAE学习因子分解的笛卡尔表示时，考虑到距离和角度的弱标签，WeLa-VAE能够学习并解开极坐标表示。这是在不需要细化标签或必须调整层数、优化参数或总相关超参数的情况下实现的。
2020-08-22 cs.AI cs.LG stat.ML
A Closer Look at Disentangling in $β$-VAE
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
在许多数据分析任务中，学习表示是有益的，其中每个维度在统计上是独立的，因此与其他维度分离。如果数据生成因子在统计上也是独立的，则可以通过潜变量的贝叶斯推断来形成解纠缠表示。我们研究了变分自动编码器（VAE），$β$ -VAE，学习这样的表示使用变分推断的推广。$β$ -VAE强制由其超参数$β$控制的瓶颈神经元的条件独立性。这个条件通常与潜伏期的统计独立性不相容。通过提供分析和数值参数，我们表明，这种不相容性导致非单调推理性能在$β$ -VAE有限的最佳$β$。
2019-12-11 cs.LG stat.ML
Disentangled Representation Learning Using ($β$-)VAE and GAN
Indiana University（印第安纳大学）
给定包含具有不同特征（例如形状、大小、旋转和x-y位置）的不同对象的图像数据集;和变分自编码器（VAE）;在VAE的隐藏空间向量中创建这些特征的解纠缠编码是本文感兴趣的任务。dSprite数据集为本研究中所需的实验提供了所需的功能。在结合生成对抗网络（GAN）训练VAE后，隐藏向量的每个维度都被打乱，以探索每个维度上的解纠缠。注意，GAN用于提高输出图像重建的质量。
2022-08-09 cs.CV cs.LG eess.IV
Disentangled VAE Representations for Multi-Aspect and Missing Data
University of Washington（华盛顿大学）
机器学习和相关应用领域中的许多问题从根本上讲是跨多方面数据（多视图、多模态或简单的多组）的条件建模和采样的变体。例如，从以给定法语句子为条件的英语句子的分布进行采样，或者对以给定文本片段为条件的音频波形进行采样。这些问题的核心是缺失数据的问题：我们可以单独观察许多英语、法语或德语句子，但只有偶尔才有句子对的数据。受这些应用的启发，并受到分组数据的变分自编码器的最新进展的启发，我们开发了factVAE，这是一种能够处理多方面数据的深度生成模型，对丢失的观测结果具有鲁棒性，并且具有鼓励组和潜在维度之间解开纠缠的先验。factVAE的有效性在各种丰富的真实世界数据集上得到了证明，包括运动捕捉姿势和从不同姿势和视角捕捉的人脸图片。
2018-06-24 cs.LG stat.ML
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
A Revisit of Total Correlation in Disentangled Variational Auto-Encoder with Partial Disentanglement
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
针对完全解耦VAE对潜在成分独立性约束过强的问题，提出PDisVAE框架，将总相关性推广为偏相关以支持分组独立，并在合成与真实数据上验证其灵活性和有效性。
2025-02-04 cs.LG q-bio.NC
Disentangled Deep Smoothed Bootstrap for Fair Imbalanced Regression
Aix Marseille Université I2M, CNRS, Centrale Marseille（艾克斯-马赛大学I2M研究所、国家科学研究中心、马赛中央理工大学）；UQAM（魁北克大学蒙特利尔分校）
本文针对不平衡回归问题，提出将解耦变分自编码器与潜在空间平滑自助法相结合的数据生成方法，并在基准数据集上验证了其有效性。
2025-08-19 cs.LG stat.ML
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们想学习一种数据的表示方法，它将观察结果分解为我们可以独立控制的变化因素。具体来说，我们希望使用最少的监督来学习一种潜在的表示，它反映了特定数据分组背后的语义，其中在一个组中，样本共享一个共同的变化因素。例如，考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而，现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器（ML-VAE），这是一种新的深度概率模型，用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分，同时保留有效的测试时推理。定量和定性评估表明，ML-VAE模型（i）学习分组数据的语义上有意义的解纠缠，（ii）能够操纵潜在表示，以及（iii）推广到看不见的组。
2017-05-24 cs.LG stat.ML
Disentangled Inference for GANs with Latently Invertible Autoencoder
Xiaomi AI Lab（小米人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）在机器学习中发挥着越来越重要的作用。然而，有一个基本问题阻碍了它们的实际应用：缺乏对真实世界样本进行编码的能力。解决该问题的传统方式是经由变分自动编码器（VAE）来学习用于GAN的编码器。在本文中，我们表明，VAE/GAN框架的潜在空间的纠缠构成了编码器学习的主要挑战。为了解决GAN中的纠缠问题并实现推理，我们提出了一种新的算法，称为潜在可逆自动编码器（LIA）。LIA的框架是一个可逆网络及其逆映射对称地嵌入VAE的潜空间中。首先将LIA的解码器训练成一个标准的GAN，然后通过将LIA的可逆网络从LIA中分离出来，从解纠缠的自编码器中学习部分编码器，从而避免了随机潜在空间带来的纠缠问题。在FFHQ人脸数据集和三个LSUN数据集上进行的实验验证了LIA/GAN的有效性。
2022-03-01 cs.LG stat.ML
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
L-VAE: Variational Auto-Encoder with Learnable Beta for Disentangled Representation
本文提出L-VAE模型，通过可学习地调整损失函数中重构与解耦项的权重并加入正则化项，在多个数据集上取得了优于或接近现有变分自编码器方法的解耦表示性能。
2025-07-03 cs.CV cs.LG
Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent Representations
Rutgers University（罗格斯大学）
多模态生成模型代表了一个重要的深度模型家族，其目标是促进对具有多个视图或模态的数据的表示学习。然而，目前的深度多模态模型专注于共享表示的推理，而忽略了单个模态中数据的重要私有方面。在本文中，我们介绍了一个解纠缠多模态变分自编码器（DMVAE），利用解纠缠VAE策略分离的私人和共享的潜在空间的多模态。我们特别考虑的情况下，潜在的因素可能是连续和离散的性质，导致家庭的一般混合DMVAE模型。我们证明了DMVAE在半监督学习任务上的实用性，其中一种方式包含部分数据标签，与其他方式相关和不相关。我们在几个基准上的实验表明了私有共享解纠缠和混合潜在表示的重要性。
2020-12-23 cs.CV cs.LG
Understanding disentangling in $β$-VAE
DeepMind（深度思维）
我们提出了新的直觉和理论评估的出现，解开表示变分自动编码器。以率失真理论的角度来看，我们显示的情况下，表示对齐的基础生成因素的变化数据出现时，优化修改后的ELBO约束在$β$ -VAE，随着训练的进展。从这些见解，我们提出了一个修改的训练制度的$β$ -VAE，逐步增加的信息容量的潜在代码在训练过程中。这种修改有利于在$β$ -VAE中的解纠缠表示的鲁棒学习，而无需先前在重建精度上的权衡。
2018-04-10 cs.AI cs.LG stat.ML
Multi-VAE: Learning Disentangled View-common and View-peculiar Visual Representations for Multi-view Clustering
多视图聚类是一个长期存在的重要研究课题，其研究重点是从不同的视图中挖掘互补信息。然而，现有的工作往往融合多个视图的表示或处理聚类在一个共同的特征空间，这可能会导致他们的纠缠，特别是视觉表示。为了解决这个问题，我们提出了一种新的基于VAE的多视图聚类框架（多VAE）通过学习解开视觉表示。具体地说，我们在生成模型中定义了一个视图公共变量和多个视图特有变量。视图公共变量的先验服从近似离散的Gumbel Softmax分布，引入该分布提取多视图的公共聚类因子。同时，视点特征变量的先验服从连续高斯分布，用来表征每个视点的视觉特征。通过控制互信息容量来分解视图公共和视图特有表示，可以分离多个视图的连续视觉信息，从而可以有效地挖掘它们的公共离散聚类信息。实验结果表明，多VAE享有解开和可解释的视觉表示，同时获得优越的聚类性能相比，国家的最先进的方法。
2021-07-07 cs.CV cs.LG
SW-VAE: Weakly Supervised Learn Disentangled Representation Via Latent Factor Swapping
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
表示解纠缠是表示学习的一个重要目标，它有利于各种下游任务。为了实现这一目标，许多无监督学习表示解纠缠方法已经被开发出来。然而，不利用任何监督信号的训练过程已被证明是不足以用于解纠缠表示学习。因此，我们提出了一种新的弱监督训练方法，命名为SW-VAE，它通过使用数据集的生成因子将输入观测对作为监督信号。此外，我们还引入了在训练过程中逐步增加学习难度的策略，以使训练过程更加顺利。如在几个数据集上所示，我们的模型在表示解纠缠任务上比最先进的（SOTA）方法有了显着的改进。
2022-09-21 cs.AI cs.LG
Learning Disentangled Phone and Speaker Representations in a Semi-Supervised VQ-VAE Paradigm
University of Edinburgh（爱丁堡大学）；Tokyo Institute of Technology（东京工业大学）
我们提出了一种新的方法，通过引入新的组件的VQ-VAE架构的语音合成解开扬声器的声音和电话内容。原始的VQ-VAE不能很好地推广到看不见的扬声器或内容。为了缓解这个问题，我们已经纳入了一个扬声器编码器和扬声器VQ码本，学习全球扬声器特性完全独立于现有的子音素码本。我们还比较了两种训练方法：全局条件下的自监督和说话人标签的半监督。添加扬声器VQ组件改进了语音合成质量的客观测量（估计MOS、扬声器相似性、基于ASR的可懂度），并提供了有意义的学习表示。我们的扬声器VQ码本索引可以用于一个简单的扬声器日记任务，并执行略优于x向量基线。此外，在我们的半监督VQ-VAE中，可以从子音素VQ码本索引中识别音素，比全局条件下的自监督更好。
2021-02-10 cs.LG cs.SD eess.AS
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
解纠缠生成模型将潜在代码向量映射到目标空间，同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器（VAE）的方法，而训练解纠缠生成对抗网络（GANs）仍然具有挑战性。在这项工作中，我们表明，可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献：首先，我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化，这是一个自然的概念的启发解开：潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次，我们提出了一个无监督的模型选择方案，称为ModelCentrality，它使用生成的合成样本来计算一组模型的medoid（多维泛化中位数）。目前超参数调整的常见做法需要使用地面实况样本，每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签，我们提出了一个无监督的模型选择方案，并表明它找到了一个接近最好的模型，对于VAE和GANs。将对比正则化与ModelCentrality相结合，我们显着提高了最先进的解纠缠分数，而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints
KU Leuven（鲁汶大学）
我们介绍了Constr-DRKM，一个深度内核方法的无监督学习解开数据表示。我们建议通过对潜在变量的正交约束来增强用于核PCA的原始深度限制核机公式，以促进解纠缠，并使其能够在不首先定义稳定目标的情况下进行优化。在说明了一个端到端的训练过程的基础上，二次惩罚优化算法与热启动，我们定量评估所提出的方法的有效性，在解开特征学习。我们证明了四个基准数据集，这种方法执行类似的整体$β$ -VAE的一些解纠缠指标时，很少的训练点是可用的，而不太敏感的随机性和超参数选择比$β$ -VAE。我们还提出了一个确定性的初始化Constr-DRKM的训练算法，显着提高了结果的再现性。最后，我们经验性地评估和讨论了所提出的方法中层数的作用，检查了每一层中每个主成分的影响，并表明较低层中的组件作为局部特征检测器捕获数据分布的广泛趋势，而更深层中的组件使用前一层学习的表示，更准确地再现更高级别的特征。
2020-11-25 cs.LG stat.ML
Learning disentangled representation from 12-lead electrograms: application in localizing the origin of Ventricular Tachycardia
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
心电图（ECG）数据的可用性不断提高，促使人们使用数据驱动模型来自动执行基于ECG数据的各种临床任务。针对特定对象的模型的开发受到为每个个体获得足够的训练数据的成本和难度的限制。然而，群体模型的替代方案面临着由ECG数据中的显著受试者间差异引起的挑战。我们解决这一挑战，第一次调查的问题，学习表示的临床信息变量，同时解开其他因素的变化内的心电图数据。在这项工作中，我们提出了一个有条件的变分自编码器（VAE）提取特定于受试者的调整心电图数据，从确定性编码器的任务特定的表示学习的条件。为了鼓励主体间变化的表示独立于任务特定的表示，最大平均差异用于匹配通过VAE条件化来自确定性编码器的代码而学习到的分布之间的所有时刻。特定任务表征的学习通过对比正则化形式的弱监督进行正则化。我们将所提出的方法应用于一个新的但重要的临床任务，将室性心动过速（VT）的起源分类为预定义的片段，证明了所提出的方法对标准VAE的有效性。
2018-08-04 cs.LG stat.ML
Structural Equation-VAE: Disentangled Latent Representations for Tabular Data
Department of Politics and Public Administration（政治与公共行政系）；The University of Hong Kong（香港大学）；School of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Applied Social Sciences（应用社会科学系）；The Hong Kong Polytechnic University（香港理工大学）
本文提出SE-VAE，通过将测量结构嵌入变分自编码器实现表格数据潜在表示的解耦，并在因子恢复和鲁棒性上优于现有基线。
2025-08-16 cs.AI cs.LG cs.NE
ControlVAE: Controllable Variational Autoencoder
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS Deep Learning（AWS 深度学习部门）；Alibaba Group（阿里巴巴集团）
变分自编码器（Variational Autoencoder，VAE）及其变体已经广泛用于各种应用中，诸如对话生成、图像生成和解纠缠表示学习。然而，现有的VAE模型在不同的应用中存在一定的局限性。例如，VAE容易遭受语言建模中的KL消失和用于解开的低重建质量。为了解决这些问题，我们提出了一种新的可控变分自编码器框架，ControlVAE，它结合了控制器，灵感来自自动控制理论，与基本的VAE，以提高性能的生成模型。具体而言，我们设计了一种新的非线性PI控制器，比例积分微分（PID）控制的一种变体，在模型训练期间使用输出KL发散作为反馈来自动调整VAE目标中添加的超参数（权重）。该框架评估使用三个应用程序，即语言建模，解开表示学习，图像生成。实验结果表明，ControlVAE算法能够获得比现有方法更好的解缠和重建质量。对于语言建模，它不仅避免了KL消失，而且提高了生成文本的多样性。最后，我们还表明，ControlVAE提高了重建质量的原始VAE相比，生成的图像。
2020-06-20 cs.LG stat.ML
Learning Disentangled Latent Factors from Paired Data in Cross-Modal Retrieval: An Implicit Identifiable VAE Approach
Samsung AI Center Cambridge（三星剑桥人工智能中心）；Rutgers University（罗格斯大学）
我们处理的问题，学习潜在的解开潜在因素之间共享的成对的双模态数据在跨模态检索。我们的假设是，这两种模式中的数据都是复杂的、结构化的和高维的（例如，图像和文本），对于这些，诸如变分自编码器（VAE）的常规深度自动编码潜在变量模型经常遭受准确解码器训练或真实合成的困难。一个次优训练的解码器可能会损害模型识别真实因素的能力。在本文中，我们提出了一种新的想法，隐式解码器，它完全删除了环境数据解码模块从一个潜在的变量模型，通过隐式编码器反演，实现了雅可比正则化的低维嵌入函数。从最近的可识别的VAE（IVAE）模型的动机，我们修改它，将查询模态数据作为条件辅助输入，这使我们能够证明，模型的真实参数可以确定在一定的规律性条件下。在真实因素完全/部分可用的各种数据集上进行测试，我们的模型可以准确地识别因素，显着优于传统的编码器-解码器潜变量模型。我们还在大型食物图像/食谱数据集Recipe 1 M上测试了我们的模型，其中通过我们的方法学习的因素与广泛认同的最明显的食物因素高度一致，包括美味，平淡和绿色。
2020-12-01 cs.CV cs.LG
Causally Disentangled Generative Variational AutoEncoder
University of Seoul（首尔大学）；Yonsei University（延世大学）
该研究提出适用于VAE的因果解耦生成（CDG）方法，探究实现CDG的充要条件，提出通用评估指标，经图像和表格数据集验证有效。
2023-10-09 cs.LG stat.ML
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
我们提出了一系列新型分层贝叶斯深度自动编码器模型，能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内，他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是，解开的潜在变量负责的主要来源的变异性，相关因素，可以更适当地使用长尾分布建模。另一方面，典型的高斯先验更适合于滋扰因素的建模。出于这一动机，我们通过引入高斯潜在先验方差的超先验，模仿无限混合，同时保持传统VAE的易处理的学习和推理，将VAE扩展到分层贝叶斯模型。这一分析表明，以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型，被称为贝叶斯因子VAE，表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
A Unified Latent Space Disentanglement VAE Framework with Robust Disentanglement Effectiveness Evaluation
Department of Applied and Computational Mathematics and Statistics（应用与计算数学与统计系）；Lucy Family Institute for Data & Society（数据与社会学院）
提出统一框架bfVAE整合多种解缠VAE方法，并开发FVH-LT和DBSR-LS评估解缠效果，引入LSSI指标量化潜在结构分离，无需真实生成因子。
2026-06-12 cs.LG stat.ML
Learning disentangled representations for explainable chest X-ray classification using Dirichlet VAEs
University of Leeds（利兹大学）
本研究探讨了使用狄利克雷变分自编码器（DirVAE）学习解开的胸部X射线（CXR）图像的潜在表示。我们的工作假设是，分布稀疏性，由狄利克雷先验促进，将鼓励解开CXR图像的多标签分类的复杂任务的特征学习。使用CheXpert数据库中的CXR图像对DirVAE进行训练，并通过实施辅助多标签分类任务来研究DirVAE模型学习的多模态潜在表示的预测能力，以期根据类特定特征强制分离潜在因素。使用DirVAE学习的潜在空间的预测性能和可解释性分别进行了定量和定性评估，并与标准高斯先验VAE（GVAE）进行比较。我们介绍了一种新的方法，可解释的多标签分类，我们进行梯度引导的潜在遍历为每个类的兴趣。研究结果表明，DirVAE是能够解开潜在的因素到类特定的视觉功能，一个属性不提供的GVAE，并实现了边际增长的预测性能相对于GVAE。我们生成的视觉示例表明，我们的可解释性方法在应用于训练的DirVAE时，能够突出显示CXR图像中与感兴趣的类别临床相关的区域，此外，还可以识别分类依赖于虚假特征相关性的情况。
2023-02-06 cs.AI cs.CV cs.LG
Theory and Evaluation Metrics for Learning Disentangled Representations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们对解纠缠学习做出了两个理论贡献：（a）定义解纠缠表示的精确语义;（b）建立鲁棒的评估指标。首先，我们描述的概念“解开表示”在监督和无监督的方法沿三个维度的信息性，可分性和可解释性-这可以表达和量化明确使用信息理论的结构。这有助于解释几个著名的解纠缠学习模型的行为。然后，我们提出了强大的度量信息，可分性和可解释性。通过一套全面的实验，我们证明了我们的指标正确地表征了通过不同方法学习的表示，并且与定性（视觉）结果一致。因此，这些指标允许在公平的基础上比较解纠缠学习方法。我们还根据经验发现了基于VAE的方法的新的有趣特性，并用我们的公式解释了它们。这些发现是有希望的，希望将鼓励设计更多的理论驱动的模型，学习解开表示。
2021-03-18 cs.LG stat.ML
Gated Variational AutoEncoders: Incorporating Weak Supervision to Encourage Disentanglement
University of Surrey（萨里大学）
变分自编码器（VAE）提供了一种生成代表性潜在嵌入的方法。以前的研究已经强调了实现分离的表征的好处，特别是对于下游任务。然而，关于如何鼓励与VAE的解纠缠存在一些争论，并且有证据表明，VAE的现有实现没有一致地实现解纠缠。对VAE的潜在空间被分解得有多好的评估通常是根据我们对给定问题应该分解哪些属性的主观期望来评估的。因此，根据定义，我们已经有了应该实现的领域知识，但我们使用无监督的方法来实现它。我们提出了一种弱监督的方法，将任何可用的领域知识纳入训练过程中，形成Gated-VAE。该过程涉及分割代表性嵌入和门控反向传播。所有分区都用于前向传递，但梯度根据选定的图像/目标配对通过不同的分区反向传播。该方法可以用来修改现有的VAE模型，如beta-VAE，InfoVAE和DIP-VAE-II。实验表明，使用门控反向传播，潜在的因素表示在其预期的分区。该方法适用于面部图像的目的是解开头部姿势从面部表情。定量指标表明，使用Gated-VAE提高了平均解纠缠，完整性和信息量，与un-gated实现相比。潜在的遍历定性评估表明，即使只有弱/嘈杂的监督是可用的，它的解纠缠的头部姿势从表达。
2019-11-15 cs.CV cs.LG
Learning Disentangled Representations with Semi-Supervised Deep Generative Models
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Deepmind
变分自动编码器（VAE）通过联合训练概率编码器和解码器网络来学习数据的表示。通常，这些模型将数据的所有特征编码到单个变量中。在这里，我们感兴趣的是学习将数据的不同方面编码为单独变量的非纠缠表示。我们建议学习这样的表示使用模型架构，概括从标准VAE，采用一般的图形模型结构的编码器和解码器。这使我们能够训练部分指定的模型，这些模型对可解释变量的子集做出相对较强的假设，并依赖于神经网络的灵活性来学习剩余变量的表示。我们进一步定义了半监督学习的一般目标，在这个模型类，它可以近似使用重要性抽样程序。我们评估我们的框架的能力，学习解开表示，无论是通过定性探索其生成能力，和定量评估其区分能力的各种模型和数据集。
2017-11-13 cs.AI cs.LG stat.ML
Variational Learning with Disentanglement-PyTorch
University of British Columbia（不列颠哥伦比亚大学）
解纠缠表示的无监督学习是机器学习中的一个公开问题。开发Disentanglement-PyTorch库是为了促进新变分算法的研究、实现和测试。在这个模块化库中，神经架构，潜在空间的维度和训练算法完全解耦，允许跨变分方法进行独立和一致的实验。该库处理训练调度、日志记录以及重建和潜在空间遍历的可视化。它还根据各种解纠缠指标评估编码。到目前为止，该库包括以下无监督算法VAE，Beta-VAE，Factor-VAE，DIP-I-VAE，DIP-II-VAE，Info-VAE和Beta-TCVAE的实现，以及CVAE和IFCVAE等条件方法。该库与AICrowd上举办的NeurIPS 2019年解开挑战赛兼容，并在挑战赛的第一和第二阶段均获得第三名。
2019-12-11 cs.LG stat.ML
Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement
University of Pittsburgh（匹兹堡大学）
Locatello等人（2018）的最新研究表明，需要电感偏置来解开变分自编码器（VAE）中的感兴趣因素。出于现实世界中的问题，我们提出了一个设置，这样的偏见是通过提供成对的顺序实例之间的比较，根据所需的因素被解开。例如，医生根据患者疾病的严重程度对患者进行比较，所需的因素是疾病严重程度的定量水平。在实际应用中，成对比较通常是有噪声的。我们的方法，鲁棒有序VAE（ROVAE），采用了嘈杂的成对顺序比较的解纠缠任务。我们在ROVAE中引入非负随机变量，使得它可以自动确定每个成对顺序比较是否可信，并且忽略噪声比较。实验结果表明，ROVAE优于现有的方法，是更强大的噪声成对比较在基准数据集和现实世界的应用。
2019-10-14 cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology（埃因霍温理工大学）；Prosus AI（Prosus人工智能）；Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是，当潜在的生成因素具有一定的几何结构时，使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如，从不同角度看到的汽车图像。该角度具有周期性结构，但一维表示将无法捕获该拓扑。我们如何解决这个问题？提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器（$Δ$ VAE），该编码器具有超球形潜在空间，例如，可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限（ELBO）的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Demystifying Inductive Biases for $β$-VAE Based Architectures
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
$β$ -变分自动编码器（$β$ -VAE）及其变体在学习语义上有意义的解纠缠表示方面的性能是无与伦比的。另一方面，有理论论据表明，无监督的解缠是不可能的。在这项工作中，我们揭示了负责基于VAE的架构的成功的感性偏见。我们表明，在经典的数据集的方差结构，诱导的生成因子，是方便地对齐的潜在方向培育的VAE目标。这就建立了VAE的解开能力所依赖的关键偏差。通过对现有数据集进行小而精细的扰动，我们隐藏了方便的相关结构，这种结构很容易被各种架构所利用。为了证明这一点，我们构建了标准数据集的修改版本，其中（i）生成因子被完美地保留;（ii）每个图像都经过温和的变换，导致方差的微小变化;（iii）领先的\textbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}。我们的修改的建设是不平凡的，并依赖于最近的进展机制的理解$β$ -VAE及其连接到PCA。我们通过提供具有独立利益的额外见解来加强这种联系。
2021-02-12 cs.AI cs.LG
Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms
University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文从独立因果机制角度定义因果解耦，提出ICM-VAE框架，利用非线性流函数建模因果机制并结合辅助标签学习解耦先验，理论上证明可辨识性，实验表明能提升干预鲁棒性与反事实生成能力。
2024-08-23 cs.LG stat.ML
Learning Disentangled Representations via Mutual Information Estimation
IRT Saint Exupéry（圣埃克苏佩里跨学科研究中心）；IRIT（图卢兹计算机研究所）
在本文中，我们研究了学习解纠缠表示的问题。给定一对共享某些属性的图像，我们的目标是创建一个低维表示，它分为两部分：一个共享表示，捕获图像之间的共同信息和一个排他性表示，包含每个图像的特定信息。为了解决这个问题，我们提出了一种基于互信息估计的模型，而不依赖于图像重建或图像生成。互信息最大化的执行，以捕获共享和独占表示中的数据的属性，而我们最小化的共享和独占表示之间的互信息，以执行表示解纠缠。我们表明，这些表示是有用的，以执行下游任务，如图像分类和图像检索的基础上共享或排他性的组件。此外，分类结果表明，我们的模型优于国家的最先进的模型的基础上VAE/GAN的方法表示解开。
2019-12-09 cs.LG stat.ML
How do Variational Autoencoders Learn? Insights from Representational Similarity
School of Computing（计算机学院）；University of Kent（肯特大学）
变分自编码器（VAE）学习解纠缠表示的能力使其在实际应用中很受欢迎。然而，他们的行为还没有被完全理解。例如，他们什么时候可以提供解纠缠的表征，或者遭受后崩溃的问题仍然是活跃的研究领域。尽管如此，VAE学习的表示没有分层比较，这将进一步加深我们对这些模型的理解。因此，在本文中，我们期待的内部行为的VAE使用代表性的相似性技术。具体来说，使用CKA和Procrustes的相似性，我们发现编码器的表示在解码器之前很久就被学习了，并且这种行为与超参数，学习目标和数据集无关。此外，除了均值和方差层之外，编码器在所有超参数和学习目标中的表示都是相似的。
2022-09-26 cs.LG
Fine-grained Sentiment Controlled Text Generation
IIT Kharagpur（印度理工学院卡拉格布尔分校）
受控文本生成技术旨在调节特定属性（例如情感），同时保留属性独立内容。最先进的方法将指定属性建模为结构化或离散表示，同时使内容表示独立于它以实现更好的控制。然而，将文本表示分解为单独的潜在空间忽略了内容和属性之间的复杂依赖关系，导致生成结构不良且没有意义的句子。此外，这种方法无法对属性变化的程度提供更精细的控制。为了解决这些问题的控制文本生成，在本文中，我们提出了DE-VAE，一个分层的框架，捕获信息丰富的纠缠表示和属性特定的解纠缠表示在不同的层次结构。DE-VAE实现了更好地控制情感作为一个属性，同时通过学习一个合适的无损转换网络从解纠缠的情感空间到所需的纠缠表示保留内容。DE-VAE通过对解纠缠表示的单个维度进行特征监督，将情感的变化映射到一个连续的空间，这有助于平滑地调节情感从积极到消极，反之亦然。在三个公开的评论数据集上的详细实验表明，DE-VAE优于最近的最先进的方法。
2020-06-17 cs.CL cs.LG
Disentanglement of Sources in a Multi-Stream Variational Autoencoder
Machine Learning Lab, Department of Medical Physics and Acoustics, Carl von Ossietzky Universität Oldenburg, Germany（德国奥尔登堡卡尔·冯·奥西茨基大学医学物理与声学系机器学习实验室）；Research Group AI, Department of Computer Science, University of Innsbruck, Austria（奥地利因斯布鲁克大学计算机科学系人工智能研究组）
本文提出多流变分自编码器，结合离散和连续潜在变量实现源解耦，通过显式源组合模型在解码器中叠加多个源，验证了其在手写数字和声音源分离中的有效性。
2026-04-01 cs.LG stat.ML
Failure Modes of Variational Autoencoders and Their Effects on Downstream Tasks
Harvard University（哈佛大学）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）
变分自动编码器（VAE）是深度生成潜变量模型，广泛用于许多下游任务。虽然已经证明VAE训练可能会受到许多病理学的影响，但现有文献缺乏对这些病理学何时发生以及它们如何影响下游任务性能的准确描述。在本文中，我们具体描述了VAE训练表现出病态的条件，并将这些故障模式与对特定下游任务的不良影响联系起来，例如学习压缩和分解的表示、对抗鲁棒性和半监督学习。
2022-03-15 cs.LG stat.ML
Semi-Supervised Disentanglement of Class-Related and Class-Independent Factors in VAE
Sharif University of Technology（谢里夫理工大学）
近年来，扩展变分自动编码器的框架来学习解纠缠表示受到了广泛的关注。我们解决这个问题，提出了一个框架，能够解开类相关的和类无关的数据变化的因素。我们的框架采用了注意力机制在其潜在的空间，以改善从数据中提取类相关因素的过程。我们还利用混合模型作为可学习的先验分布来处理数据分布的多峰性，并将Bhattacharyya系数纳入目标函数以防止高度重叠的混合。我们模型的编码器以半监督的方式进一步训练，使用一小部分标记数据，以提高表示的可解释性。实验表明，我们的框架解开类相关和类无关的变化因素，并学习可解释的功能。此外，我们展示了我们的模型的性能与各种数据集上的定量和定性结果。
2021-02-01 cs.LG stat.ML
Disentangling Generative Factors of Physical Fields Using Variational Autoencoders
University of Michigan（密歇根大学）
在计算物理中，以无监督的方式从高维数据场提取生成参数的能力是非常期望的但尚未实现的目标。这项工作探讨了使用变分自编码器（VAE）的非线性降维的具体目标{ \em解开}的低维潜变量，以确定独立的物理参数，产生的数据。解纠缠分解是可解释的，并且可以被转移到各种任务，包括生成建模、设计优化和概率降阶建模。这项工作的一个主要重点是使用VAE表征解纠缠，同时最小限度地修改经典的VAE损失函数（即证据下限），以保持高的重建精度。损失景观的特点是过度正规化的局部极小值，其中所需的解决方案。我们说明解纠缠和纠缠表示并列学习潜在的分布和真正的生成因素模型多孔流问题之间的比较。分层先验被示出，以促进解开表示的学习。当使用旋转不变先验进行训练时，正则化损失不受潜在旋转的影响，因此学习非旋转不变先验有助于捕获生成因子的属性，改善解纠缠。最后，它表明，半监督学习-完成标记少量的样本（$O(1\%)$）-结果在准确的解开潜在的表示，可以始终学习。
2021-11-15 cs.LG physics.comp-ph
VAE-Loco: Versatile Quadruped Locomotion by Learning a Disentangled Gait Representation
Agility Robotics（敏捷机器人公司）；DeepMind Technologies Ltd.（深度思维科技有限公司）
本文提出VAE-Loco，利用在单一快步上训练的解耦VAE潜空间生成可在线连续调节步频、抬脚高度和支撑时长的步态，并在真实ANYmal上验证其鲁棒抗扰能力。
2023-07-12 cs.LG cs.RO
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
Beta-VAE Reproducibility: Challenges and Extensions
University of Oxford（牛津大学）
$β$ -VAE是变分自编码器的后续技术，其提出在VAE损失中对KL发散项进行特殊加权以获得解纠缠表示。无监督学习即使在玩具数据集上也是脆弱的，并且很难找到一个有意义的，数学上精确的解纠缠定义。在这里，我们调查了原始的$β$ -VAE论文，并为先前获得的结果增加了证据，表明其缺乏重现性。我们还进一步扩展了模型的实验，并在分析中包括更多复杂的数据集。我们还实现了FID评分度量的$β$ -VAE模型，并得出结论，所获得的结果的定性分析。最后，我们简要讨论了未来可能进行的调查，以增加索赔的鲁棒性。
2021-12-30 cs.AI cs.LG
Towards Deeper Understanding of Variational Autoencoding Models
Stanford University（斯坦福大学）
我们提出了一个新的家庭变分自动编码模型的优化标准，推广了标准的证据下限。我们提供的条件下，他们恢复的数据分布和学习潜在的功能，并正式显示，常见的问题，如模糊的样本和无信息的潜在功能时，这些条件不满足。基于这些新的见解，我们提出了一个新的顺序VAE模型，可以在LSUN图像数据集上生成基于像素级重建损失的清晰样本，并提出了一个优化标准，鼓励信息潜在特征的无监督学习。
2017-02-28 cs.LG stat.ML
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University（韩东国际大学）
在深度生成模型成功应用于图像生成任务后，学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量，一些模型显示出较低的重建图像质量，而另一些模型增加了难以训练的模型复杂度。在本文中，我们提出了一个简单的去纠缠方法的基础上，传统的白化过程。该方法适用于变分自动编码器（VAE）的潜变量，虽然它可以应用于任何生成模型的潜变量。在实验中，我们将所提出的方法应用到简单的VAE模型和实验结果证实，我们的方法发现更多的解释因素，从潜在的空间，而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Distribution Matching in Variational Inference
DeepMind（深度思维）
随着生成模型的部署越来越广泛，越来越需要深入了解其行为和局限性。在本文中，我们暴露了变分自编码器（VAE）的局限性，它始终无法学习潜在和可见空间中的边缘分布。我们证明了这是通过匹配条件分布学习的结果，以及显式模型和后验分布的局限性。人们普遍认为生成对抗网络（GANs）是克服这些限制的一种手段，从而导致VAE和GANs的混合。我们对几种VAE-GAN混合算法进行了大规模的评估，并分析了类概率估计对学习分布的影响。虽然有希望，但我们得出结论，目前VAE-GAN混合动力系统的适用性有限：与VAE相比，它们更难扩展，评估和用于推理;并且它们不会提高GANs的生成质量。
2019-06-10 cs.LG stat.ML
Disentangled Latent Spaces for Reduced Order Models using Deterministic Autoencoders
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology（汉堡工业大学流体动力学与船舶理论研究所）；Institute of Mathematics, Hamburg University of Technology（汉堡工业大学数学研究所）
针对自编码器降阶模型可解释性不足的问题，提出两种非概率确定性自编码器解耦方法，在基准数据集上取得与β-VAE相当的效果，且超参数鲁棒性更强，还可识别活跃潜变量，并验证了其在飞机着水载荷降维中的工业应用价值。
2025-02-20 cs.LG
GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
DOT-VAE: Disentangling One Factor at a Time
University of Maryland, College Park（马里兰大学帕克分校）
随着我们进入以数据过剩为特征的机器学习时代，以无监督的方式发现、组织和解释数据成为一种关键需求。一个很有前途的方法，这一努力是问题的解开，其目的是学习潜在的生成因素，称为变异的因素，数据和编码不相交的潜在表示。最近的进展已经努力解决这个问题的合成数据集生成的一组固定的独立的变异因素。在这里，我们建议将其扩展到现实世界的数据集，具有可数数量的变化因素。我们提出了一个新的框架，它增加了一个变分自编码器的潜在空间与解纠缠空间，并使用唤醒睡眠启发的两步算法进行训练，用于无监督解纠缠。我们的网络学会从数据中“一次一个”地解开可解释的独立因素，并将其编码在解开的潜在空间的不同维度中，同时不对因素的数量或其联合分布进行事先假设。我们通过评估在两个合成基准数据集上学习的潜在表示来证明其定量和定性的有效性; DSPrites和3DSPrites以及真实数据集CelebA。
2022-10-21 cs.LG cs.NE
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology（韩国科学技术院）
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器（Variational Autoencoder，VAE）是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标，可以很容易地优化。然而，这个目标并没有提供一个明确的措施，潜在的变量表示的质量，这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比，它提供了一个明确的目标，最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在变量，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明，所提出的方法加强了潜在代码和观察之间的关系，并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
