Robust Disentanglement of a Few Factors at a Time
Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）
解纠缠是无监督学习的最前沿，因为解纠缠的数据表示可以提高下游任务的泛化性、可解释性和性能。目前的无监督方法仍然不适用于真实世界的数据集，因为它们的性能变化很大，并且无法达到（半）监督方法的解纠缠水平。我们引入了基于群体的训练（PBT），以提高训练变分自编码器（VAE）的一致性，并证明了这种方法在监督设置（PBT-VAE）的有效性。然后，我们使用无监督解纠缠排名（UDR）作为无监督启发式算法，在PBT-VAE训练中对模型进行评分，并展示了以这种方式训练的模型如何始终只解纠缠生成因子的子集。在此基础上，我们引入了递归rPU-VAE方法。我们训练模型直到收敛，从数据集中删除学习的因素并重复。在这样做的时候，我们可以用学习到的因子来标记数据集的子集，并连续使用这些标签来训练一个完全解开整个数据集的模型。通过这种方法，我们在多个数据集和指标上显示出最先进的无监督解纠缠性能和鲁棒性的显着改善。
2020-10-26 cs.CV cs.LG stat.ML
Commutative Lie Group VAE for Disentanglement Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
我们认为解纠缠学习是发现一个潜在的结构，它等变地反映了数据中显示的因子化变化。传统上，这样的结构被固定为具有由沿着各个潜在维度的平移表示的数据变化的向量空间。我们认为这种简单的结构是次优的，因为它需要模型学习丢弃数据变化的属性（例如不同的变化尺度，不同的抽象程度），这比等方差学习要多做一些工作。相反，我们建议用组对数据变化进行编码，这种结构不仅可以等变地表示变化，而且还可以自适应地优化以保持数据变化的属性。考虑到对群结构进行训练是困难的，我们将重点放在李群上，并采用了使用李代数的参数化。在参数化的基础上，自然地导出了一些解纠缠学习约束。提出了一种简单的交换李群VAE模型来实现基于群的解纠缠学习。实验表明，我们的模型可以在没有监督的情况下有效地学习解纠缠的表示，并且可以在没有额外限制的情况下实现最先进的性能。
2021-06-07 cs.CV cs.LG
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在表示学习中，学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中，我们专注于半监督解纠缠学习，并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.（2019）的工作。具体来说，在训练过程中，只要可用，我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发，该框架自然地激励了现有半监督VAE中常用的监督术语（但不用于解纠缠学习）。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement
针对深度生成模型易编码敏感属性引发公平性问题、且天然相关因素下严格独立解耦不现实的问题，提出CAD-VAE通过相关潜码与条件互信息最小化实现公平解耦，实验验证其表征、反事实生成与公平编辑效果更优。
2025-11-15 cs.CV cs.LG stat.ME
Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs
Department of Mathematics, Miami University, Oxford, OH, USA；Department of Mathematics, Louisiana State University, Baton Rouge, LA, USA；Division of Electrical \& Computer Engineering, Louisiana State University, Baton Rouge, LA, USA
β-VAE中解耦失败源于互信息崩溃，通过引入λβ-VAE和L2正则化惩罚解决信息论失效问题。
2026-02-09 cs.LG stat.ML
Multiple Invertible and Partial-Equivariant Function for Latent Vector Transformation to Enhance Disentanglement in VAEs
Gwangju Institute of Science and Technology (GIST)（全州科学与技术研究院）
本文提出MIPE-Transformation方法，通过可逆变换与指数族转换提升VAEs中的解耦性能。
2026-02-05 cs.AI cs.LG
Denoising Multi-Beta VAE: Representation Learning for Disentanglement and Generation
Technical University of Denmark（丹麦技术大学）；Sony AI Tokyo（索尼东京人工智能实验室）；Sony AI（索尼人工智能实验室）；Sony Group Corporation（索尼集团）
提出去噪多Beta VAE框架，通过训练单一VAE获得多β值表示，并利用非线性扩散模型平滑过渡，平衡解耦与生成质量，支持独立样本生成。
2025-07-09 cs.AI cs.CV cs.LG
Closed-Loop Unsupervised Representation Disentanglement with $β$-VAE Distillation and Diffusion Probabilistic Feedback
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）；Shanghai Jiao Tong University（上海交通大学）；Xi’an Jiaotong University（西安交通大学）
针对表示解缠中依赖标注、约束启发式和评估缺失的问题，提出闭环无监督方法 CL-Dis，结合扩散自编码器与 $\eta$-VAE 蒸馏及反馈，实现语义解缠并提升真实图像操作与视觉分析性能。
2025-09-09 cs.CV cs.LG
An Identifiable Double VAE For Disentangled Representations
EURECOM（欧洲通信研究院）；SAP Labs France（SAP法国实验室）
关于学习解纠缠表示的大部分文献集中在变分自编码器（VAE）上。最近的发展表明，在完全无监督的环境中，如果没有对模型和数据的归纳偏见，就无法获得解纠缠。然而，Khemakhem等人，AISTATS，2020表明，采用特定形式的因子分解先验，有条件地依赖于补充输入观测的辅助变量，可能是一种这样的偏差，从而产生一个可识别的模型，并保证解纠缠。沿着这条线工作，我们提出了一种新的基于VAE的生成模型与理论保证的可识别性。我们通过学习一个最佳表示来获得潜在的条件先验，这对它们的正则化施加了额外的力量。我们还将我们的方法扩展到半监督设置。实验结果表明，优越的性能相对于国家的最先进的方法，根据几个既定的指标在文献中提出的解纠缠。
2021-02-10 cs.LG stat.ML
Relevance Factor VAE: Learning and Identifying Disentangled Factors
Rutgers University（罗格斯大学）
我们提出了一种新的基于VAE的深度自动编码器模型，该模型可以以完全无监督的方式学习解纠缠的潜在表示，并具有识别所有有意义的变异源及其基数的能力。我们的模型，被称为相关因子-VAE，利用总相关性（TC）在潜在的空间，以实现解纠缠的目标，但也解决了现有的方法，不能区分有意义的和滋扰因素的潜在变化，往往是相当大的退化的解纠缠性能的来源的关键问题。我们通过引入所谓的相关性指标变量来解决这个问题，这些变量可以与VAE参数一起从数据中自动学习。我们的模型有效地集中在TC损失的相关因素，只有通过容忍大的先验KL分歧，一个必要的证明我们的半参数理论分析。使用一套解纠缠指标，包括一个新提出的，以及定性的证据，我们证明我们的模型优于现有的方法在几个具有挑战性的基准数据集。
2019-02-05 cs.LG stat.ML
SW-VAE: Weakly Supervised Learn Disentangled Representation Via Latent Factor Swapping
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
表示解纠缠是表示学习的一个重要目标，它有利于各种下游任务。为了实现这一目标，许多无监督学习表示解纠缠方法已经被开发出来。然而，不利用任何监督信号的训练过程已被证明是不足以用于解纠缠表示学习。因此，我们提出了一种新的弱监督训练方法，命名为SW-VAE，它通过使用数据集的生成因子将输入观测对作为监督信号。此外，我们还引入了在训练过程中逐步增加学习难度的策略，以使训练过程更加顺利。如在几个数据集上所示，我们的模型在表示解纠缠任务上比最先进的（SOTA）方法有了显着的改进。
2022-09-21 cs.AI cs.LG
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限（ELBO）操作的方法相比，我们认为，VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此，我们增加了标准的VAE与逆Wishart（IW）之前的协方差矩阵的潜在代码。通过调整IW参数，我们能够鼓励（或阻止）学习的潜在维度的独立性。在一系列数据集（2Dfields，3DChairs，3DFaces和CelebA）上的广泛实验结果表明，我们的方法优于$β$ -VAE，并与最先进的FactorVAE竞争。我们的方法在一个新的数据集（CorrelatedEllipses）上实现了更好的解纠缠和重建，该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
CRADLE-VAE: Enhancing Single-Cell Gene Perturbation Modeling with Counterfactual Reasoning-based Artifact Disentanglement
Korea University（高丽大学）；Hankuk University of Foreign Studies（韩国外国语大学）
本文提出 CRADLE-VAE 因果生成框架，通过反事实推理解耦单细胞数据中的技术伪影与扰动效应，从而提升基因扰动响应的处理效应估计和数据生成质量。
2024-09-10 cs.AI cs.LG q-bio.GN
L-VAE: Variational Auto-Encoder with Learnable Beta for Disentangled Representation
本文提出L-VAE模型，通过可学习地调整损失函数中重构与解耦项的权重并加入正则化项，在多个数据集上取得了优于或接近现有变分自编码器方法的解耦表示性能。
2025-07-03 cs.CV cs.LG
Semi-Supervised Disentanglement of Class-Related and Class-Independent Factors in VAE
Sharif University of Technology（谢里夫理工大学）
近年来，扩展变分自动编码器的框架来学习解纠缠表示受到了广泛的关注。我们解决这个问题，提出了一个框架，能够解开类相关的和类无关的数据变化的因素。我们的框架采用了注意力机制在其潜在的空间，以改善从数据中提取类相关因素的过程。我们还利用混合模型作为可学习的先验分布来处理数据分布的多峰性，并将Bhattacharyya系数纳入目标函数以防止高度重叠的混合。我们模型的编码器以半监督的方式进一步训练，使用一小部分标记数据，以提高表示的可解释性。实验表明，我们的框架解开类相关和类无关的变化因素，并学习可解释的功能。此外，我们展示了我们的模型的性能与各种数据集上的定量和定性结果。
2021-02-01 cs.LG stat.ML
Topological degree as a discrete diagnostic for disentanglement, with applications to the $Δ$VAE
Eindhoven University of Technology（埃因霍温理工大学）；EAISI, Eindhoven University of Technology（埃因霍温理工大学EAISI机构）
本文提出用编码器的拓扑度作为解缠诊断方法，并应用于以单位球面为潜在空间的$Δ$VAE，实验表明训练后编码器拓扑度变为±1，说明其同伦于同胚且解缠效果较好。
2024-09-02 cs.AI cs.LG math.AT
NeurIPS 2019 Disentanglement Challenge: Improved Disentanglement through Aggregated Convolutional Feature Maps
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
我们向NeurIPS 2019解纠缠挑战提交的第1阶段报告提出了一种简单的图像预处理方法，用于训练VAE，与直接使用图像相比，可以改善解纠缠。特别是，我们建议使用从在ImageNet上预训练的CNN中提取的区域聚合特征图。我们的方法在挑战赛第一阶段获得了第二名。代码可在https://github.com/mseitzer/neurips2019-disentanglement-challenge上获得。
2020-02-23 cs.CV cs.LG stat.ML
Quantifying and Learning Linear Symmetry-Based Disentanglement
Eindhoven University of Technology (TU/e)（埃因霍温理工大学）；Eindhoven Artificial Intelligence Systems Institute (EAISI)（埃因霍温人工智能系统研究所）；Prosus（Prosus公司）
基于线性对称的解纠缠（LSBD）的定义形式化了线性解纠缠表示的概念，但目前还没有量化LSBD的度量。这样一个指标是至关重要的评估LSBD方法，并与以前的理解去纠缠。我们提出了$\mathcal{D}_\mathrm{LSBD}$，这是一种量化LSBD的数学上合理的指标，并为$\mathrm{SO}(2)$组提供了实际的实现。此外，从这个度量，我们得到LSBD-VAE，一个半监督的方法来学习LSBD表示。我们证明了我们的度量的实用性，表明（1）常见的基于VAE的解纠缠方法不学习LSBD表示，（2）LSBD-VAE以及其他最近的方法可以学习LSBD表示，只需要有限的监督变换，和（3）现有的解纠缠度量表示的各种理想的属性也实现了LSBD表示。
2022-06-28 cs.LG
Disentangling Disentanglement in Variational Autoencoders
University of Oxford（牛津大学）
我们开发了一个概括的VAE中的解纠缠-分解的潜在表示-其特征在于实现两个因素：a）具有适当重叠水平的数据的潜在编码，以及b）符合所需结构的数据的聚合编码，通过先前表示。作为特殊情况，分解允许解开纠缠，即潜在项之间的显式独立性，但也允许将更丰富的属性类别强加给已学习的表示，例如稀疏性、集群、独立子空间，甚至复杂的分层依赖关系。我们发现，$β$ -VAE不同的标准VAE主要是在其控制的潜在重叠，并为标准选择的各向同性高斯先验，其目标是不变的潜在表示的旋转。从分解的角度来看，打破这种不变性与简单的操纵先验可以产生更好的解纠缠很少或没有损害重建。我们进一步展示了其他选择的先验如何帮助产生不同的分解，并引入了一个替代的训练目标，允许控制两个分解因子的原则性方式。
2019-06-12 cs.LG stat.ML
CFASL: Composite Factor-Aligned Symmetry Learning for Disentanglement in Variational AutoEncoder
AI Graduate School（人工智能研究生院）；Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
提出CFASL方法，通过引入对称性码本、复合对称性和群等变编解码器，在无需数据集因子信息的无监督学习下实现VAE的解耦，并显著提升单因子与多因子变化条件下的解耦性能。
2024-11-12 cs.AI cs.LG
Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
University of Electronic Science and Technology of China（电子科技大学）
本文揭示了Factorized VAEs中“解耦粒度”这一隐式归纳偏置，发现其形成“V”形ELBO轨迹，并提出\{eta}-STCVAE模型通过调整该粒度实现了对高复杂度特征的解耦。
2025-05-30 cs.AI cs.LG
A Revisit of Total Correlation in Disentangled Variational Auto-Encoder with Partial Disentanglement
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
针对完全解耦VAE对潜在成分独立性约束过强的问题，提出PDisVAE框架，将总相关性推广为偏相关以支持分组独立，并在合成与真实数据上验证其灵活性和有效性。
2025-02-04 cs.LG q-bio.NC
An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection
Vidyasirimedhi Institute of Science and Technology (VISTEC)（维迪亚西利梅迪科学技术学院）；King Mongkut’s University of Technology Thonburi (KMUTT)（国王科技大学吞武里分校）；Imperial College London（帝国理工学院）
视觉数据可以在不同的粒度级别上被理解，其中全局特征对应于语义级信息，局部特征对应于纹理模式。在这项工作中，我们提出了一个框架，称为SPLIT，它使我们能够解开本地和全球信息到两个单独的潜变量集内的变分自编码器（VAE）框架。我们的框架通过要求潜变量的子集来生成可观察数据的辅助集，从而将生成假设添加到VAE。这个额外的生成假设将潜在变量准备好局部信息，并鼓励其他潜在变量表示全局信息。我们研究了三种不同的口味的VAE与不同的生成假设。我们表明，该框架可以有效地解开这些模型中的局部和全局信息，从而改善表示，具有更好的聚类和无监督目标检测基准。最后，我们建立SPLIT和最近的研究在认知神经科学关于人类视觉感知的解开之间的联系。我们实验的代码在https://github.com/51616/split-vae。
2020-02-24 cs.CV cs.LG eess.IV
Disentanglement as Identifiable Pushforward Factorisation
Centre for Data Science, \'Ecole Normale Sup\'erieure, Paris, France（巴黎高等师范学院数据科学中心）
本文研究了生成模型中解耦的定义与性质，证明了解耦与生成器的SVD相关，并通过实验验证了Gaussian VAEs中解耦与β参数的关系。
2026-04-10 cs.AI cs.LG stat.ML
VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
本文提出基于变分自编码器特征解耦的方法，通过低维潜在表示插值实现数据压缩与增强，在四个GNSS干扰数据集上达到最高99.92%的分类准确率和512至8192倍的压缩率。
2025-04-14 cs.AI cs.IT cs.LG
Disentanglement of Sources in a Multi-Stream Variational Autoencoder
Machine Learning Lab, Department of Medical Physics and Acoustics, Carl von Ossietzky Universität Oldenburg, Germany（德国奥尔登堡卡尔·冯·奥西茨基大学医学物理与声学系机器学习实验室）；Research Group AI, Department of Computer Science, University of Innsbruck, Austria（奥地利因斯布鲁克大学计算机科学系人工智能研究组）
本文提出多流变分自编码器，结合离散和连续潜在变量实现源解耦，通过显式源组合模型在解码器中叠加多个源，验证了其在手写数字和声音源分离中的有效性。
2026-04-01 cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology（埃因霍温理工大学）；Prosus AI（Prosus人工智能）；Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是，当潜在的生成因素具有一定的几何结构时，使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如，从不同角度看到的汽车图像。该角度具有周期性结构，但一维表示将无法捕获该拓扑。我们如何解决这个问题？提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器（$Δ$ VAE），该编码器具有超球形潜在空间，例如，可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限（ELBO）的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Unsupervised Representation Disentanglement using Cross Domain Features and Adversarial Learning in Variational Autoencoder based Voice Conversion
Nagoya University（名古屋大学）；Academia Sinica（中央研究院）
语音转换（VC）的一个有效方法是将语言内容从语音信号的其他成分中分离出来。例如，基于变分自动编码器（VAE）的VC（VAE-VC）的有效性强烈依赖于该原理。在我们之前的工作中，我们提出了一个跨域VAE-VC（CDVAE-VC）框架，它利用不同属性的声学特征，以提高VAE-VC的性能。我们相信，成功来自于更清晰的潜在表征。在本文中，我们通过引入对抗学习的概念来扩展CDVAE-VC框架，以进一步提高解纠缠的程度，从而提高转换语音的质量和相似性。更具体地说，我们首先研究了将生成对抗网络（GANs）与CDVAE-VC相结合的有效性。然后，我们考虑域对抗训练的概念，并添加一个显式约束的潜在表示，实现了一个扬声器分类器，明确消除扬声器的信息，驻留在潜在代码。实验结果表明，GANs和说话人分类器都可以提高学习到的潜在表征的解纠缠程度。同时，主观评价结果的质量和相似性分数证明了我们提出的方法的有效性。
2020-02-07 cs.CL cs.LG cs.SD
Video Reenactment as Inductive Bias for Content-Motion Disentanglement
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
低维表示中的独立分量是几个下游任务中的重要输入，并对观察到的数据提供解释。基于视频的解纠缠的变化因素提供了低维的表示，可以识别和用于饲料特定于任务的模型。我们引入MTC-VAE，一个自监督的运动传输VAE模型，从视频中分离运动和内容。与以往的视频内容运动解纠缠的工作不同，我们采用了一个块明智的建模方法，并利用时空邻域中包含的运动信息。我们的模型产生独立的每块表示，保持时间的一致性。因此，我们在一次向前传递中重建整个视频。我们扩展了ELBO的对数似然项，并包括一个盲重演损失作为一个感应偏差，以利用运动解纠缠，假设交换运动功能产生两个视频之间的重演。我们评估我们的模型与最近提出的解纠缠指标，并表明它优于各种视频运动内容解纠缠的方法。视频重现实验表明，我们的解纠缠的输入空间，我们的模型优于基线重建质量和运动对齐的有效性。
2022-02-18 cs.CV cs.LG
Impact of Disentanglement on Pruning Neural Networks
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）
该研究针对边缘设备部署深度学习网络的压缩需求，结合Beta-VAE框架与标准剪枝准则，在MNIST、CIFAR10数据集上探究解耦表示学习对分类任务剪枝过程的影响，并提出未来研究方向。
2023-07-19 cs.CV cs.LG eess.SP
Attri-VAE: attribute-based interpretable representations of medical images with variational autoencoders
Universitat Pompeu Fabra（庞培法布拉大学）；Vicomtech Foundation（Vicomtech基金会）；ICREA（加泰罗尼亚研究与高等教育学院）
深度学习（DL）方法，其中可解释性本质上被认为是模型的一部分，需要更好地理解临床和基于成像的属性与DL结果的关系，从而促进它们在医疗决策背后的推理中的使用。使用变分自编码器（VAE）构建的潜在空间表示不能确保对数据属性的单独控制。文献中已经提出了基于属性的方法，用于基准数据中的经典计算机视觉任务。在本文中，我们提出了一种VAE方法，属性VAE，其中包括一个属性正则化项，将临床和医学成像属性与生成的潜在空间中的不同正则化维度相关联，从而能够更好地解释属性。此外，生成的注意力地图解释了正则化潜在空间维度中的属性编码。使用属性VAE方法，我们分析了健康和心肌梗死患者的临床，心脏形态学和放射组学属性。该模型提供了一个很好的权衡重建保真度，解纠缠，和可解释性，优于国家的最先进的VAE方法根据几个定量指标。由此产生的潜在空间允许在两个不同输入样本之间的轨迹中或沿着特定属性维度生成真实的合成数据，以更好地解释不同心脏状况之间的变化。
2022-12-12 cs.CV cs.LG eess.IV
Is Disentanglement enough? On Latent Representations for Controllable Music Generation
Georgia Institute of Technology（佐治亚理工学院）
提高可控性或操纵生成数据的一个或多个属性的能力已成为音乐深度生成模型背景下的一个有趣话题。最近在这个方向上的尝试依赖于从数据中学习解开的表示，以便很好地分离变化的潜在因素。在本文中，我们专注于解纠缠和可控性之间的关系进行了系统的研究，使用不同的监督解纠缠学习算法的基础上变分自动编码器（VAE）架构。我们的实验表明，通过使用不同形式的监督训练一个强鉴别编码器，可以实现高度的解纠缠。然而，在没有强生成解码器的情况下，解纠缠并不一定意味着可控性。潜在空间相对于VAE解码器的结构在提高生成模型操纵不同属性的能力方面起着重要作用。为此，我们还提出了方法和指标，以帮助评估潜在空间的质量相对于所提供的可控性程度。
2021-08-01 cs.LG cs.SD eess.AS
Demystifying Inductive Biases for $β$-VAE Based Architectures
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
$β$ -变分自动编码器（$β$ -VAE）及其变体在学习语义上有意义的解纠缠表示方面的性能是无与伦比的。另一方面，有理论论据表明，无监督的解缠是不可能的。在这项工作中，我们揭示了负责基于VAE的架构的成功的感性偏见。我们表明，在经典的数据集的方差结构，诱导的生成因子，是方便地对齐的潜在方向培育的VAE目标。这就建立了VAE的解开能力所依赖的关键偏差。通过对现有数据集进行小而精细的扰动，我们隐藏了方便的相关结构，这种结构很容易被各种架构所利用。为了证明这一点，我们构建了标准数据集的修改版本，其中（i）生成因子被完美地保留;（ii）每个图像都经过温和的变换，导致方差的微小变化;（iii）领先的\textbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}。我们的修改的建设是不平凡的，并依赖于最近的进展机制的理解$β$ -VAE及其连接到PCA。我们通过提供具有独立利益的额外见解来加强这种联系。
2021-02-12 cs.AI cs.LG
Disentangled Representation Learning Using ($β$-)VAE and GAN
Indiana University（印第安纳大学）
给定包含具有不同特征（例如形状、大小、旋转和x-y位置）的不同对象的图像数据集;和变分自编码器（VAE）;在VAE的隐藏空间向量中创建这些特征的解纠缠编码是本文感兴趣的任务。dSprite数据集为本研究中所需的实验提供了所需的功能。在结合生成对抗网络（GAN）训练VAE后，隐藏向量的每个维度都被打乱，以探索每个维度上的解纠缠。注意，GAN用于提高输出图像重建的质量。
2022-08-09 cs.CV cs.LG eess.IV
A Multi-Level Causal Intervention Framework for Mechanistic Interpretability in Variational Autoencoders
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Rajarshi School of Management Technology, Varanasi（拉贾尔希管理技术学院瓦拉纳西分校）；Jaypee Institute of Information Technology, Noida（杰皮信息技术学院诺伊达分校）
本文提出多级因果干预框架，用于分析变分自编码器的机制可解释性，定义了三个新指标，并通过大规模实验揭示了VAE因果机制的特性。
2026-04-05 cs.LG
Isolating Sources of Disentanglement in Variational Autoencoders
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们分解的证据下限，以显示存在一个术语测量的总相关性之间的潜变量。我们使用这一点来激励我们的$β$ -TCVAE（总相关变分自编码器），这是对最先进的$β$ -VAE目标的改进，用于学习解纠缠表示，在训练过程中不需要额外的超参数。我们进一步提出了一个原则性的分类器免费措施的解纠缠称为互信息差距（GIP）。我们进行了广泛的定量和定性实验，在限制和非限制的设置，并显示了强相关性和解纠缠之间的关系，当潜变量模型使用我们的框架进行训练。
2019-04-23 cs.AI cs.LG stat.ML
Structural Equation-VAE: Disentangled Latent Representations for Tabular Data
Department of Politics and Public Administration（政治与公共行政系）；The University of Hong Kong（香港大学）；School of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Applied Social Sciences（应用社会科学系）；The Hong Kong Polytechnic University（香港理工大学）
本文提出SE-VAE，通过将测量结构嵌入变分自编码器实现表格数据潜在表示的解耦，并在因子恢复和鲁棒性上优于现有基线。
2025-08-16 cs.AI cs.LG cs.NE
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London（伦敦大学学院）
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时，这个问题尤其严重。在本文中，我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器（VAE），鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明，国家的最先进的方法，潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成，同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
CausalVAE: Structured Causal Disentanglement in Variational Autoencoder
University College London（伦敦大学学院）；The Hong Kong University of Science and Technology（香港科技大学）
针对真实场景中语义因子多存在因果依赖而非独立的问题，提出含因果层的CausalVAE框架，可学习可解释因果表示、识别DAG因果关系并生成反事实数据，且在一定监督下具备模型可识别性。
2023-12-19 cs.LG stat.ML
Learning Discrete and Continuous Factors of Data via Alternating Disentanglement
Seoul National University（首尔大学）
我们解决的问题，无监督的解纠缠的离散和连续的解释因素的数据。我们首先展示了一个简单的程序，用于最小化连续潜变量的总相关性，而不必使用一个神经网络或执行重要性采样，通过级联的信息流在$β$ -神经网络框架。此外，我们提出了一种方法，它避免卸载的整个负担，联合建模的连续和离散的因素，变分编码器采用单独的离散推理过程。这导致了一个有趣的交替最小化问题，该问题在给定连续因子的情况下找到最可能的离散配置和基于计算出的离散因子更新变分编码器之间切换。实验结果表明，该方法能够清晰地对离散因子进行解缠，并在解缠得分和推理网络分类得分上明显优于现有的解缠方法。源代码可在https://github.com/snu-mllab/DisentanglementICML19上获得。
2019-05-23 cs.LG stat.ML
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London（伦敦大学学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于谱几何的新型损失函数，通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影，实现了局部形状属性的解耦生成，在保持良好生成能力和相当训练时间的同时，显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；City University of London（伦敦城市大学）
我们提出了一个新的关系VAE半监督模型，能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面，在半监督表示上强制执行结构可以大大提高zero-shot转导传输，但可能不太有利，甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Beta-VAE Reproducibility: Challenges and Extensions
University of Oxford（牛津大学）
$β$ -VAE是变分自编码器的后续技术，其提出在VAE损失中对KL发散项进行特殊加权以获得解纠缠表示。无监督学习即使在玩具数据集上也是脆弱的，并且很难找到一个有意义的，数学上精确的解纠缠定义。在这里，我们调查了原始的$β$ -VAE论文，并为先前获得的结果增加了证据，表明其缺乏重现性。我们还进一步扩展了模型的实验，并在分析中包括更多复杂的数据集。我们还实现了FID评分度量的$β$ -VAE模型，并得出结论，所获得的结果的定性分析。最后，我们简要讨论了未来可能进行的调查，以增加索赔的鲁棒性。
2021-12-30 cs.AI cs.LG
Surrogate Model For Field Optimization Using Beta-VAE Based Regression
Visage Technology
油田开发相关的决策是使用基于油藏模拟的优化研究，其中不同的生产方案和井控制进行了比较。这种模拟在计算上是昂贵的，因此使用代理模型来加速研究。深度学习过去曾被用于生成替代模型，但此类模型通常无法量化预测的不确定性，并且不可解释。在这项工作中，β-VAE为基础的回归，提出了生成模拟替代品用于优化工作流程。beta-VAE使潜在空间中的决策变量的可解释的、因子化的表示成为可能，然后进一步用于回归。概率密集层用于量化预测的不确定性，并支持近似贝叶斯推理。使用基于β-VAE的回归开发的代理模型发现可解释的和相关的潜在表征。合理的β值确保因子解纠缠和重构之间的良好平衡。概率密集层有助于量化目标函数的预测不确定性，然后用于决定是否需要对案例进行全物理模拟。
2022-02-27 cs.LG stat.ML
GCVAE: Generalized-Controllable Variational AutoEncoder
Mines Saint-Etienne（圣艾蒂安国立高等矿业学校）；Univ Clermont Auvergne（克莱蒙奥弗涅大学）；INP Clermont Auvergne（克莱蒙奥弗涅国立理工学院）；CNRS（法国国家科学研究中心）
变分自动编码器（VAE）最近已被用于复杂密度分布的无监督解纠缠学习。存在许多变体来鼓励在潜在空间中解开纠缠，同时改善重建。然而，没有一个同时管理之间的权衡实现极低的重建误差和高的解纠缠分数。我们提出了一个通用的框架来处理约束优化下的这一挑战，并证明它优于最先进的现有模型，同时平衡重建的解纠缠。我们引入三个可控的拉格朗日超参数来控制重构损失、库尔贝克-莱布勒散度损失和相关性测度。我们证明了在合理的假设和约束松弛条件下，重构网络中的信息最大化等价于摊销推理中的信息最大化。
2022-06-09 cs.LG stat.ML
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
Discond-VAE: Disentangling Continuous Factors from the Discrete
Seoul National University（首尔国立大学）
在真实世界的数据中，存在所有类共享的共同变体（例如类别标签）和每个类的排他性变体。我们提出了一个VAE的变种能够解开这两个变化。为了表示数据的这些生成因素，我们引入了两组连续潜变量，私有变量和公共变量。我们提出的框架模型的私人变量作为高斯混合和公共变量作为高斯，分别。私有变量的每个模式负责离散变量的一个类。大多数以前的尝试，整合离散生成因子解开假设统计独立的连续和离散变量之间。我们提出的模型，我们称之为discond-VAE，通过引入私有变量，将类相关的连续因素与离散因素分开。实验结果表明，Discond-VAE算法能够发现数据中的私有和公共因素。此外，即使在只有公共因子的数据集下，Discond-VAE也不会失败，并且适应私有变量来表示公共因子。
2021-06-17 cs.LG stat.ML
Catch Me If You Can
University of Toronto（多伦多大学）
随着签名识别技术的进步，其性能已经达到了一个新的平台，出错率约为2%，研究替代方法是很有意义的。本文中详细介绍的方法着眼于使用变分自动编码器（VAE）来学习真实签名的潜在空间表示。然后，这被用于传递未标记的签名，使得只有真正的签名将被VAE成功地重建。该潜在空间表示和重建损失随后由随机森林和kNN分类器用于预测。随后，确定并分析了VAE解缠和后部塌陷的可能性。最终结果表明，虽然这种方法的性能不如现有的替代品，但进一步的工作可能会使其成为未来模型集成的一部分。
2019-04-18 cs.CV cs.LG stat.ML
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
解纠缠生成模型将潜在代码向量映射到目标空间，同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器（VAE）的方法，而训练解纠缠生成对抗网络（GANs）仍然具有挑战性。在这项工作中，我们表明，可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献：首先，我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化，这是一个自然的概念的启发解开：潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次，我们提出了一个无监督的模型选择方案，称为ModelCentrality，它使用生成的合成样本来计算一组模型的medoid（多维泛化中位数）。目前超参数调整的常见做法需要使用地面实况样本，每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签，我们提出了一个无监督的模型选择方案，并表明它找到了一个接近最好的模型，对于VAE和GANs。将对比正则化与ModelCentrality相结合，我们显着提高了最先进的解纠缠分数，而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，丹麦南部大学）；Department of Computer Engineering, Istanbul Technical University（计算机工程系，伊斯坦布尔技术大学）；Department of AI and Data Engineering, Istanbul Technical University（人工智能与数据工程系，伊斯坦布尔技术大学）
本文提出FactorQVAE，通过全局码本标量量化和总相关归纳偏置，将离散表示学习与解耦优化结合，在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
DOT-VAE: Disentangling One Factor at a Time
University of Maryland, College Park（马里兰大学帕克分校）
随着我们进入以数据过剩为特征的机器学习时代，以无监督的方式发现、组织和解释数据成为一种关键需求。一个很有前途的方法，这一努力是问题的解开，其目的是学习潜在的生成因素，称为变异的因素，数据和编码不相交的潜在表示。最近的进展已经努力解决这个问题的合成数据集生成的一组固定的独立的变异因素。在这里，我们建议将其扩展到现实世界的数据集，具有可数数量的变化因素。我们提出了一个新的框架，它增加了一个变分自编码器的潜在空间与解纠缠空间，并使用唤醒睡眠启发的两步算法进行训练，用于无监督解纠缠。我们的网络学会从数据中“一次一个”地解开可解释的独立因素，并将其编码在解开的潜在空间的不同维度中，同时不对因素的数量或其联合分布进行事先假设。我们通过评估在两个合成基准数据集上学习的潜在表示来证明其定量和定性的有效性; DSPrites和3DSPrites以及真实数据集CelebA。
2022-10-21 cs.LG cs.NE
Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent Representations
Rutgers University（罗格斯大学）
多模态生成模型代表了一个重要的深度模型家族，其目标是促进对具有多个视图或模态的数据的表示学习。然而，目前的深度多模态模型专注于共享表示的推理，而忽略了单个模态中数据的重要私有方面。在本文中，我们介绍了一个解纠缠多模态变分自编码器（DMVAE），利用解纠缠VAE策略分离的私人和共享的潜在空间的多模态。我们特别考虑的情况下，潜在的因素可能是连续和离散的性质，导致家庭的一般混合DMVAE模型。我们证明了DMVAE在半监督学习任务上的实用性，其中一种方式包含部分数据标签，与其他方式相关和不相关。我们在几个基准上的实验表明了私有共享解纠缠和混合潜在表示的重要性。
2020-12-23 cs.CV cs.LG
Resetting a fixed broken ELBO
Michigan State University（密歇根州立大学）
针对beta-VAE中β≠1会违反条件概率定律的问题，提出基于Rényi熵的Rényi VAE及对应变分下界RELBO，其额外类正则项的条件分布无需学习，可通过奇异值分解解析计算，实现类似的参数化调节效果。
2023-12-11 cs.LG stat.ML
