A Spectral Regularizer for Unsupervised Disentanglement
OpenAI（开放人工智能研究中心）；New York University（纽约大学）；Yale University（耶鲁大学）
一个生成模型与解纠缠表示允许独立控制输出的不同方面。学习非纠缠表征一直是最近的一个非常感兴趣的话题，但它仍然知之甚少。我们表明，即使对于不具有解纠缠表示的GANs，也可以在潜在空间中找到局部解纠缠发生的弯曲轨迹。这些轨迹是通过迭代地跟随生成器相对于其输入的雅可比矩阵的前导右奇异向量来找到的。基于这一见解，我们描述了一个有效的正则化器，将这些向量与坐标轴对齐，并表明它可以用于以完全无监督的方式在GANs中诱导解纠缠表示。
2019-02-06 cs.AI cs.LG stat.ML
A Deeper Look at the Unsupervised Learning of Disentangled Representations in $β$-VAE from the Perspective of Core Object Recognition
Harvard University（哈佛大学）
识别物体的能力，尽管存在外观上的差异，被称为核心物体识别，形成了人类感知的关键部分。虽然可以理解，大脑通过视觉流的前馈、分层计算来完成核心对象识别，但允许下游形成不变表示的底层算法仍然没有得到很好的理解。（DiCarlo等人，已经建立了各种计算感知模型来尝试和解决人工感知设置中的对象识别任务。人工神经网络是由加权边和顶点处的数学运算组成的计算图，其灵感大致来自大脑中的神经网络，并且已被证明在各种视觉感知任务中是有效的，包括对象表征和识别。（Pinto等人，2008）（DiCarlo等人，对于许多数据分析任务，学习表示，其中每个维度在统计上是独立的，因此与其他维度分离是有用的。如果数据的潜在生成因素在统计上也是独立的，则潜变量的贝叶斯推断可以形成分离的表示。本论文是一个研究计画，探讨变分自编码器（VAE）的推广，$β$ -VAE，其目的是使用变分推理来学习解纠缠表示。$β$ -VAE包含超参数$β$，并强制其瓶颈神经元的条件独立性，这通常与潜在变量的统计独立性不兼容。本文探讨这种架构，并提供了分析和数值参数，目的是证明这种不兼容性导致非单调推理性能在$β$ -VAE有限的最佳$β$。
2020-04-25 cs.LG stat.ML
Unsupervised Learning of Disentangled and Interpretable Representations from Sequential Data
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个因式分解的分层变分自编码器，它学习解开和可解释的表示从序列数据没有监督。具体来说，我们利用多尺度性质的信息在序列数据中制定明确的因子分解层次图形模型，将序列相关的先验和序列无关的先验不同的潜在变量集。两个语音语料库的模型进行评估，定性地证明，它的能力，通过操纵不同的潜变量集转换扬声器或语言内容;和定量地，它的能力优于一个i-向量基线扬声器验证和减少字出错率高达35%，在不匹配的训练/测试方案的自动语音识别任务。
2017-09-22 cs.CL cs.LG cs.SD
Learning Disentangled Joint Continuous and Discrete Representations
Schlumberger Software Technology Innovation Center（斯伦贝谢软件技术创新中心）
我们提出了一个框架，学习解开和可解释的联合连续和离散表示在无监督的方式。通过增加一个宽松的离散分布和控制的信息量编码在每个潜在的单位的连续潜在分布的变分自动编码器，我们展示了如何连续和分类的变化因素可以发现自动从数据。实验表明，该框架在各种数据集上对连续和离散生成因子进行了分离，并且在离散生成因子突出时优于当前的分离方法。
2018-10-22 cs.LG stat.ML
Disentangled Representation Learning with Wasserstein Total Correlation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
解纠缠表示的无监督学习涉及发现有助于数据生成过程的不同变化因素。总相关惩罚是近年来解纠缠方法中的一个重要组成部分。然而，Kullback-Leibler（KL）分歧为基础的总相关性是度量不可知的和敏感的数据样本。在本文中，我们引入Wasserstein总相关性在变分自编码器和Wasserstein自编码器设置学习解开潜在的表示。一个批评家是对抗训练的主要目标，以估计瓦瑟斯坦总相关项。我们讨论了使用Wasserstein距离KL分歧来衡量独立性的好处，并在几个数据集上进行定量和定性实验。此外，我们引入了一个新的度量去纠缠。我们表明，所提出的方法具有可比的性能与较小的牺牲重建能力的解纠缠。
2019-12-30 cs.LG stat.ML
Theory and Evaluation Metrics for Learning Disentangled Representations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们对解纠缠学习做出了两个理论贡献：（a）定义解纠缠表示的精确语义;（b）建立鲁棒的评估指标。首先，我们描述的概念“解开表示”在监督和无监督的方法沿三个维度的信息性，可分性和可解释性-这可以表达和量化明确使用信息理论的结构。这有助于解释几个著名的解纠缠学习模型的行为。然后，我们提出了强大的度量信息，可分性和可解释性。通过一套全面的实验，我们证明了我们的指标正确地表征了通过不同方法学习的表示，并且与定性（视觉）结果一致。因此，这些指标允许在公平的基础上比较解纠缠学习方法。我们还根据经验发现了基于VAE的方法的新的有趣特性，并用我们的公式解释了它们。这些发现是有希望的，希望将鼓励设计更多的理论驱动的模型，学习解开表示。
2021-03-18 cs.LG stat.ML
Early Visual Concept Learning with Unsupervised Deep Learning
Google DeepMind（谷歌DeepMind）
从原始图像数据中自动发现早期视觉概念是人工智能研究中的一个主要挑战。为了解决这个问题，我们提出了一种无监督的方法来学习解纠缠表示的变化的基本因素。我们从神经科学中汲取灵感，并展示了如何在无监督的生成模型中实现这一点，方法是应用与已建议在大脑腹侧视觉流中起作用的相同的学习压力。通过执行冗余减少，鼓励统计独立性，并暴露于数据的变换连续性类似于人类婴儿所暴露的，我们得到了一个变分自动编码器（VAE）的框架，能够学习解开的因素。我们的方法几乎没有假设，并且在各种各样的数据集上都能很好地工作。此外，我们的解决方案具有有用的涌现属性，如zero-shot推理和对“对象性”的直观理解。
2016-09-20 cs.LG q-bio.NC stat.ML
An Identifiable Double VAE For Disentangled Representations
EURECOM（欧洲通信研究院）；SAP Labs France（SAP法国实验室）
关于学习解纠缠表示的大部分文献集中在变分自编码器（VAE）上。最近的发展表明，在完全无监督的环境中，如果没有对模型和数据的归纳偏见，就无法获得解纠缠。然而，Khemakhem等人，AISTATS，2020表明，采用特定形式的因子分解先验，有条件地依赖于补充输入观测的辅助变量，可能是一种这样的偏差，从而产生一个可识别的模型，并保证解纠缠。沿着这条线工作，我们提出了一种新的基于VAE的生成模型与理论保证的可识别性。我们通过学习一个最佳表示来获得潜在的条件先验，这对它们的正则化施加了额外的力量。我们还将我们的方法扩展到半监督设置。实验结果表明，优越的性能相对于国家的最先进的方法，根据几个既定的指标在文献中提出的解纠缠。
2021-02-10 cs.LG stat.ML
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
解纠缠生成模型将潜在代码向量映射到目标空间，同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器（VAE）的方法，而训练解纠缠生成对抗网络（GANs）仍然具有挑战性。在这项工作中，我们表明，可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献：首先，我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化，这是一个自然的概念的启发解开：潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次，我们提出了一个无监督的模型选择方案，称为ModelCentrality，它使用生成的合成样本来计算一组模型的medoid（多维泛化中位数）。目前超参数调整的常见做法需要使用地面实况样本，每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签，我们提出了一个无监督的模型选择方案，并表明它找到了一个接近最好的模型，对于VAE和GANs。将对比正则化与ModelCentrality相结合，我们显着提高了最先进的解纠缠分数，而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
Relevance Factor VAE: Learning and Identifying Disentangled Factors
Rutgers University（罗格斯大学）
我们提出了一种新的基于VAE的深度自动编码器模型，该模型可以以完全无监督的方式学习解纠缠的潜在表示，并具有识别所有有意义的变异源及其基数的能力。我们的模型，被称为相关因子-VAE，利用总相关性（TC）在潜在的空间，以实现解纠缠的目标，但也解决了现有的方法，不能区分有意义的和滋扰因素的潜在变化，往往是相当大的退化的解纠缠性能的来源的关键问题。我们通过引入所谓的相关性指标变量来解决这个问题，这些变量可以与VAE参数一起从数据中自动学习。我们的模型有效地集中在TC损失的相关因素，只有通过容忍大的先验KL分歧，一个必要的证明我们的半参数理论分析。使用一套解纠缠指标，包括一个新提出的，以及定性的证据，我们证明我们的模型优于现有的方法在几个具有挑战性的基准数据集。
2019-02-05 cs.LG stat.ML
Generative Restricted Kernel Machines: A Framework for Multi-view Generation and Disentangled Feature Learning
KU Leuven（鲁汶大学）
本文介绍了一种新的框架，生成模型的基础上限制核机器（RKM）与联合多视图生成和不相关的特征学习，称为Gen-RKM。为了实现联合多视图生成，该机制使用来自各种视图的数据的共享表示。此外，该模型具有原始和对偶公式，以将基于内核的模型和基于（深度卷积）神经网络的模型合并在同一设置中。当使用神经网络作为显式特征映射时，提出了一种新的训练过程，该过程联合学习特征和共享子空间表示。隐变量由核矩阵的特征分解给出，其中特征向量的相互正交性表示所学习的不相关特征。实验表明，通过对各种标准数据集上生成的样本进行定性和定量评估，该框架具有潜力。
2020-12-17 cs.LG stat.ML
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
Can Diffusion Models Disentangle? A Theoretical Perspective
Massachusetts Institute of Technology（麻省理工学院）；Takeda（武田药品工业）
本文提出理论框架分析扩散模型学习解耦表示的能力，建立可辨识性条件并推导样本复杂度，实验验证了理论并发现风格引导正则化可提升解耦性能。
2025-09-26 cs.AI cs.CV cs.LG
InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs
the Chinese University of Hong Kong（香港中文大学）
虽然生成对抗网络（GANs）在人脸合成方面取得了重大进展，但人们对GANs在潜在表示中学到了什么缺乏足够的理解，无法将随机代码映射到照片般逼真的图像。在这项工作中，我们提出了一个框架称为InterFaceGAN来解释解纠缠的面部表示学习的最先进的GAN模型和研究的属性的面部语义编码的潜在空间。我们首先发现GANs在潜在空间的一些线性子空间中学习各种语义。在识别出这些子空间之后，我们可以真实地操纵相应的面部属性，而无需重新训练模型。然后，我们对不同语义之间的相关性进行了详细的研究，并通过子空间投影来更好地解开它们，从而更精确地控制属性操作。除了操纵性别，年龄，表情和眼镜的存在，我们甚至可以改变面部姿势并修复GANs意外制造的工件。此外，我们进行了深入的人脸身份分析和逐层分析，以定量评估编辑结果。最后，我们采用GAN反演方法，并根据InterFaceGAN建立的合成数据明确训练前馈模型，将我们的方法应用于真实人脸编辑。大量的实验结果表明，学习合成脸自发带来了一个解开和可控的脸表示。
2020-10-29 cs.CV cs.LG eess.IV
Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models
Georgia Institute of Technology（佐治亚理工学院）
针对神经行为数据分析中解码模型缺乏行为编码细节的问题，提出BeNeDiff方法，通过行为感知潜变量模型识别解耦神经子空间，结合生成扩散模型合成行为视频解释潜因子动力学，在多会话数据集上验证了其高解耦性与重建质量。
2024-11-26 cs.CV cs.LG q-bio.NC
Disentangled Sequence Clustering for Human Intention Inference
Imperial College London（帝国理工学院）
让机器人具备推断人类意图的能力是有效协作的重要前提。大多数实现这一目标的计算方法得出的概率分布的“意图”的机器人的感知状态的条件。然而，这些方法通常假设人类意图的任务特定标签是先验已知的。为了克服这一限制，我们提出了解纠缠序列聚类变分自编码器（DiSCVAE），一个聚类框架，能够学习这样的意图分布在一个无监督的方式。该框架利用无监督学习的最新进展来解开序列数据的潜在表示，将时变局部特征与时不变全局属性分离。作为一种新的扩展，DiSCVAE还推断出一个离散变量，形成一个潜在的混合模型，从而使这些全局序列的概念，如高层次的意图聚类。我们评估了使用机器人轮椅收集的真实世界的人机交互数据集上的DiSCVAE。我们的研究结果表明，推断出的离散变量与人类的意图相吻合，为协作设置，如共享控制，持有承诺。
2022-08-01 cs.LG cs.RO
Unsupervised Model Selection for Variational Disentangled Representation Learning
DeepMind（深度思维）
最近已经证明，在简单的监督和强化学习任务中，解纠缠表示可以提高公平性、数据效率和泛化能力。为了将解纠缠表示的好处扩展到更复杂的领域和实际应用，重要的是要启用现有无监督方法的超参数调整和模型选择，而无需访问大多数数据集不可用的地面真值属性标签。本文针对这个问题，介绍了一个简单而强大的和可靠的方法，无监督的解纠缠模型选择。我们的方法，无监督解纠缠排名（UDR），利用最近的理论结果解释了为什么变分自编码器解纠缠（Rolinek et al，2019），通过在训练的模型表示之间进行成对比较来量化解纠缠的质量。我们表明，我们的方法对来自六个最先进的无监督分解表示学习模型类的5,400个模型中的现有监督替代方案进行了验证。此外，我们表明，我们的方法产生的排名以及相关的最终任务的性能在两个不同的域。
2020-02-14 cs.LG stat.ML
Disentangling Disentangled Representations: Towards Improved Latent Units via Diffusion Models
Yonsei University（延世大学）
针对无监督解耦表征学习中扩散模型应用探索有限的问题，提出动态高斯锚定和跳跃丢弃技术，提升潜在单元独立性与模型适配性，实现最优解耦性能及下游任务优势。
2024-10-31 cs.AI cs.CV cs.LG
Diffusion-Based Generation of Neural Activity from Disentangled Latent Codes
Center for Machine Learning, Georgia Tech（佐治亚理工学院机器学习中心）；Department of Biomedical Engineering, Georgia Tech and Emory University（佐治亚理工学院与埃默里大学生物医学工程系）；AE Studio（AE工作室）；Department of Neurosurgery, Emory University School of Medicine（埃默里大学医学院神经外科）
本文提出GNOCCHI模型，将InfoDiffusion与条件扩散生成相结合，从神经活动中无监督推断解耦行为变量，在合成与生物伸手数据上相比VAE基线学习到更结构化、更解耦的潜在空间，并能通过线性遍历生成未见行为条件下的高质量神经样本。
2024-07-30 cs.LG q-bio.NC
Learning Latent Subspaces in Variational Autoencoders
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分自编码器（VAE）是广泛使用的深度生成模型，能够学习数据的无监督潜在表示。这种表示通常难以解释或控制。我们考虑的问题，无监督学习的功能相关的特定标签的数据集。我们提出了一个基于VAE的生成模型，我们表明它能够提取与数据中的二进制标签相关的特征，并将其结构化在一个易于解释的潜在子空间中。我们的模型，条件子空间VAE（CSVAE），使用互信息最小化，学习一个低维的潜在子空间与每个标签，可以很容易地检查和独立操作。我们展示了多伦多脸和CelebA数据集上的属性操作任务的学习表示的实用性。
2018-12-14 cs.CV cs.LG stat.ML
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Learning Disentangled Representations of Satellite Image Time Series
IRT Saint Exupéry（圣埃克苏佩里研究所）；IRIT（图卢兹信息研究所）
在本文中，我们研究如何学习一个合适的表示卫星图像时间序列在无监督的方式，利用大量的未标记的数据。此外，我们的目标是解开时间序列的表示成两个表示：一个共享的表示，捕捉的共同信息之间的图像的时间序列和一个排他性的表示，包含特定的信息的每个图像的时间序列。为了解决这些问题，我们提出了一个模型，它结合了一个新的组件称为跨域自动编码器与变分自动编码器（VAE）和生成对抗网络（GAN）的方法。为了学习时间序列的解纠缠表示，我们的模型学习多模态图像到图像翻译任务。我们使用Sentinel-2任务的卫星图像时间序列来训练我们的模型。进行了几个实验，以评估所获得的表示。我们表明，这些解纠缠表示可以是非常有用的执行多个任务，如图像分类，图像检索，图像分割和变化检测。
2019-03-21 cs.CV cs.LG
SW-VAE: Weakly Supervised Learn Disentangled Representation Via Latent Factor Swapping
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
表示解纠缠是表示学习的一个重要目标，它有利于各种下游任务。为了实现这一目标，许多无监督学习表示解纠缠方法已经被开发出来。然而，不利用任何监督信号的训练过程已被证明是不足以用于解纠缠表示学习。因此，我们提出了一种新的弱监督训练方法，命名为SW-VAE，它通过使用数据集的生成因子将输入观测对作为监督信号。此外，我们还引入了在训练过程中逐步增加学习难度的策略，以使训练过程更加顺利。如在几个数据集上所示，我们的模型在表示解纠缠任务上比最先进的（SOTA）方法有了显着的改进。
2022-09-21 cs.AI cs.LG
Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
EPFL, LTS4 laboratory, Lausanne, Switzerland（瑞士洛桑联邦理工学院，LTS4实验室，洛桑，瑞士）
从函数视角出发，通过生成映射雅可比的正交性约束实现无监督解缠，证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性，实验验证了理论有效性。
2026-08-11 cs.AI cs.LG
DAVA: Disentangling Adversarial Variational Autoencoder
ETH Zürich（苏黎世联邦理工学院）
使用良好解缠的表示为下游任务提供了许多优点，例如增加的样本效率或更好的可解释性。然而，解纠缠解释的质量通常高度依赖于特定于特定超参数的选择，特别是正则化强度。为了解决这个问题，我们引入了DAVA，这是一种用于变分自动编码器的新型训练过程。DAVA完全解决了超参数选择问题。我们将DAVA与具有最优超参数的模型进行比较。无需任何超参数调优，DAVA在各种常用数据集上都具有竞争力。在DAVA的基础上，我们发现了一个无监督解纠缠的必要条件，我们称之为PIPE。我们证明了PIPE在抽象推理中积极预测下游模型性能的能力。我们还彻底调查了与现有监督和无监督指标的相关性。该代码可在https://github.com/besterma/dava上获得。
2023-03-02 cs.AI cs.CV cs.LG
Linear Disentangled Representations and Unsupervised Action Estimation
Southampton University（南安普顿大学）
解纠缠表示学习在最近一段时间里受到了极大的关注，通常集中在优化许多不同解纠缠指标之一的新模型上。基于对称性的解纠缠表示学习引入了一个强大的数学框架，精确定义了“线性解纠缠表示”的含义。这个框架决定了这样的表示将依赖于作用于数据的对称群的特定分解，表明作用将通过作用于独立表示子空间的不可约群表示来表现。Caselles-Dupre等人[2019]随后提出了第一个模型，以诱导和证明VAE模型中的线性解纠缠表示。在这项工作中，我们的经验表明，线性解纠缠表示一般不存在于标准的VAE模型，而是需要改变损失景观，以诱导他们。我们继续表明，这样的表示是一个理想的属性，关于经典的解纠缠度量。最后，我们提出了一种方法来诱导不可约表示，放弃了需要标记的行动序列，如以前的工作所要求的。我们探讨了这种方法的一些属性，包括从动作序列中学习的能力，而不需要知道中间状态和视觉噪声下的鲁棒性。我们还证明，它可以成功地学习4个独立的对称性直接从像素。
2020-12-15 cs.LG stat.ML
Unsupervised Disentangled Representation Learning with Analogical Relations
Zhejiang University（浙江大学）
学习数据的可解释生成因子的解纠缠表示是允许人工智能像人一样思考的基础之一。本文提出了生成模型中无监督分离表示学习的类比训练策略。类比是一种典型的认知过程，我们提出的策略是基于这样一种观察：在一个特定的生成因子中，一个与另一个不同的样本对表现出相同的类比关系。因此，生成器被训练以生成样本对，所设计的分类器可以从样本对识别潜在的类比关系。此外，我们提出了一种称为子空间分数的解纠缠度量，它受到子空间学习方法的启发，并且不需要监督信息。实验表明，我们提出的训练策略允许生成模型找到解开的因素，我们的方法可以提供有竞争力的性能相比，国家的最先进的方法。
2018-04-25 cs.AI cs.LG stat.ML
Improving SCGAN's Similarity Constraint and Learning a Better Disentangled Representation
Isfahan University of Technology（伊斯法罕理工大学）
本文通过揭示 SCGAN 相似性约束的对比损失本质，引入 SSIM 与对比损失原则改进模型，提升了 FID、FactorVAE 表现及泛化能力。
2023-12-07 cs.CV cs.LG eess.IV
Disentangled Representation Learning with Information Maximizing Autoencoder
University of Southern Queensland（南昆士兰大学）
从任何未标记的数据中学习解纠缠表示是一个重要的问题。在本文中，我们提出了信息最大化自动编码器（InfoAE），编码器学习强大的解开表示通过最大化之间的互信息的表示和给定的信息在一个无监督的方式。我们已经在MNIST数据集上评估了我们的模型，并在使用完全无监督训练时达到了98.9（$\pm .1$）$\%$测试准确率。
2019-04-18 cs.CV cs.LG stat.ML
Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data
UC Davis（加州大学戴维斯分校）；Adobe Research（奥多比研究院）；UCLA（加州大学洛杉矶分校）
我们提出了一种新型的无监督生成模型，它学会将对象身份与类别不平衡数据中的其他低级方面区分开来。我们首先调查了InfoGAN关于均匀性假设的问题，并证明了它在不平衡数据中正确解开对象身份的无效性。我们的主要思想是发现离散的潜在因素的变化不变的真实图像中的身份保持变换，并使用它作为一个信号来学习适当的潜在分布代表对象的身份。在人工（MNIST，3D汽车，3D椅子，ShapeNet）和真实世界（YouTube-Faces）不平衡数据集上的实验证明了我们的方法在解开对象身份作为潜在变化因素方面的有效性。
2020-10-30 cs.CV cs.LG stat.ML
Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations
ML6；IDlab, Ghent University - imec（根特大学-imec IDlab）
在这项工作中，我们探讨了无监督的表示学习的泛化特性，利用解开VAE的学习一组关系推理问题，从乌鸦渐进矩阵的一个有用的潜在空间。我们发现，通过使用正确的目标函数进行无监督训练来学习的潜在表示，显着优于纯监督学习训练的相同架构，特别是在泛化方面。
2018-11-12 cs.LG cs.NE stat.ML
Learning Disentangled Representations via Independent Subspaces
Leibniz University Hannover（莱布尼茨汉诺威大学）
图像生成神经网络通常被视为黑箱，其中输入的任何变化都可能在输出上产生许多全局有效的变化。在这项工作中，我们提出了一种方法来学习解开表示，允许本地化的图像操作。我们使用人脸图像作为我们选择的例子。根据图像区域，可以修改身份和其他面部属性。所提出的网络可以传输面部的部分，例如眼睛，头发，嘴巴等的形状和颜色。人与人之间直接接触，而面部的所有其他部分保持不变。该网络允许生成看起来像真实图像的修改图像。我们的模型通过弱监督来学习解开的表示。我们提出了一个本地化的resnet autoencoder优化使用几个损失函数，包括损失的基础上的语义分割，我们解释为掩模，和损失，强制解除纠缠的潜在空间分解成统计上独立的子空间。我们评估建议的解决方案w.r.t.解缠结和产生的图像质量。使用CelebA数据集证明了令人信服的结果。
2019-08-26 cs.CV cs.LG stat.ML
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich（慕尼黑技术大学）
本文提出机制独立性原则，通过解耦表示中的机制作用来识别潜在子空间，建立独立性准则层级并提供图论特征描述，无需依赖统计假设。
2026-05-10 cs.LG stat.ML
Disentangled and Self-Explainable Node Representation Learning
University of Pisa（比萨大学）；CENTAI Institute（CENTAI研究院）；Delft University of Technology（代尔夫特理工大学）
针对无监督节点嵌入可解释性不足的问题，提出DiSeNE框架，通过解耦表示学习生成逐维度可解释的嵌入，并设计新目标函数与评估指标，实验验证其有效性。
2025-10-16 cs.AI cs.LG stat.ML
Evaluating unsupervised disentangled representation learning for genomic discovery and disease risk prediction
Google Research（谷歌研究院）
本研究在遗传关联研究背景下评估多种无监督解耦表示学习方法，发现FactorVAE和beta-VAE相比标准方法能提升基因组发现与疾病风险预测效果，且FactorVAE超参数鲁棒性更强。
2023-07-17 cs.LG q-bio.GN stat.ML
Learning Disentangled Discrete Representations
University of Mannheim（曼海姆大学）；Max Planck Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；University of Stuttgart（斯图加特大学）；NEC Laboratories Europe（NEC欧洲实验室）
本文通过用定制的分类变分自编码器替换标准高斯VAE，探索离散潜在空间与解耦表示的关系，证明其网格结构能缓解旋转不变性问题，并提出首个偏好解耦表示的无监督模型选择策略。
2023-07-26 cs.LG stat.ML
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Disentangled State Space Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
序列数据通常来自不同的领域，在这些领域中存在统计数据和领域细节。为了专门学习跨域序列表示，我们引入了解纠缠状态空间模型（DSSM）-一类SSM，其中域不变状态动力学明确地从管理该动力学的特定于域的信息中解纠缠。我们分析了这种分离如何提高知识转移到新的领域，并使强大的预测，序列操作和域表征。我们还提出了一个无监督的基于VAE的训练过程，以贝叶斯滤波器的形式实现DSSM。在我们的实验中，我们应用VAE-DSSM框架在实验设置中实现在线ODE系统识别和回归的竞争性能，并在不同的重力影响下控制弹跳球视频序列的生成和预测。
2019-06-07 cs.LG stat.ML
On Causally Disentangled Representations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
表征学习器，解开变量的因素已经被证明是重要的，在解决各种现实世界的关注，如公平性和可解释性。最初由具有独立性假设的无监督模型组成，最近，弱监督和相关特征已经被探索，但没有生成过程的因果视图。相比之下，我们在因果生成过程的制度下工作，其中生成因素要么是独立的，要么可能被一组观察到的或未观察到的混杂因素所混淆。我们提出了一个分析的解纠缠表示通过解纠缠因果过程的概念。我们激励需要新的指标和数据集来研究因果解纠缠，并提出了两个评估指标和一个数据集。我们表明，我们的指标捕捉到的desiderata解开因果过程。最后，我们使用我们的指标和数据集从因果关系的角度对最先进的解纠缠表示学习器进行了实证研究。
2021-12-10 cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Robust Subspace Recovery Layer for Unsupervised Anomaly Detection
University of Minnesota（明尼苏达大学）
我们提出了一个神经网络的无监督异常检测与一个新的强大的子空间恢复层（RSR层）。该层试图从给定数据的潜在表示中提取底层子空间，并删除远离该子空间的离群值。它在自动编码器中使用。编码器将数据映射到潜在空间中，RSR层从潜在空间中提取子空间。解码器然后平滑地将底层子空间映射回接近原始内点的“流形”。根据原始位置和映射位置之间的距离区分内点和离群点（内点小，离群点大）。使用图像和文档数据集进行的大量数值实验证明了最先进的精确度和召回率。
2019-12-24 cs.CV cs.LG stat.ML
Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies
UCLA（加州大学洛杉矶分校）；DeepMind（深度思维）
现实世界中的智能行为需要从一系列持续的经验中获取新知识的能力，同时保留和重用过去的知识。我们提出了一种新的算法，用于从逐段静态视觉数据中进行无监督的表示学习：具有共享嵌入的变分自编码器（VASE）。基于最小描述长度原则，VASE自动检测数据分布中的变化，并为新知识分配空闲的表示容量，同时保护先前学习的表示免受灾难性遗忘。我们的方法鼓励学习的表示被解开，这赋予了一些理想的属性：VASE可以明智地处理模糊的输入，它可以通过基于解释的探索来增强自己的表示，最重要的是，它表现出语义上有意义的共享不同数据集之间的潜伏期。与具有纠缠表示的基线相比，我们的方法能够超越表面级统计数据进行推理，并执行语义上有意义的跨域推理。
2018-08-20 cs.LG stat.ML
Unsupervised Domain Shift Detection with Interpretable Subspace Attribution
SISSA（国际理论物理中心）
本文提出一种无监督领域偏移检测工具，通过高维特征空间中的局部密度异常检测，识别偏移特征子空间，从而可解释偏移来源，并提供补偿协议。
2026-05-15 cs.LG stat.ML
Disentangling Factors of Variation Using Few Labels
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究脑科学团队）
解纠缠表征的学习被认为是表示学习的基础问题。最近，Locatello等人（2019）证明，没有归纳偏见的无监督解缠学习在理论上是不可能的，现有的归纳偏见和无监督方法不允许一致地学习解缠表示。然而，在许多实际设置中，人们可能能够获得有限量的监督，例如通过在几个训练样本中手动标记（一些）变化因素。在本文中，我们调查了这种监督对最先进的解缠方法的影响，并进行了大规模的研究，在定义明确和可重复的实验条件下训练了52000多个模型。我们观察到，少量的标记示例（数据集的0.01- 0.5%），具有潜在的不精确和不完整的标签，足以在最先进的无监督模型上执行模型选择。此外，我们调查的好处，将监督纳入培训过程。总的来说，我们经验验证，很少和不精确的监督是可能的，可靠地学习解开表示。
2020-02-14 cs.AI cs.LG stat.ML
Disentangling by Subspace Diffusion
DeepMind
我们提出了一种新的非参数算法，基于几何的数据流形，几何流形分量估计（GEOMANCER）。GEOMANCER为Higgins等人（2018）提出的问题提供了部分答案：是否有可能学习如何仅从其作用于的物体的轨道的观测中分解李群？我们表明，完全无监督分解的数据流形是可能的，如果流形的真实度量是已知的，每个因子流形有非平凡的holonomy -例如，在3D中的旋转。我们的算法通过估计在随机游动扩散下不变的子空间，给出了微分几何中de Rham分解的近似。我们证明了几个复杂的合成流形的GEOMANCER的功效。我们的工作将无监督解缠是否可能的问题简化为无监督度量学习是否可能的问题，为表征学习的几何性质提供了统一的见解。
2020-11-18 cs.LG stat.ML
Are Disentangled Representations Helpful for Abstract Visual Reasoning?
IDSIA（IDSIA研究所）；USI（瑞士意大利语区大学）；SUPSI（瑞士应用科学大学）；ETH Zurich（苏黎世联邦理工学院）；MPI-IS（马克斯·普朗克智能系统研究所）；NNAISENSE（NNAISENSE公司）；Google Research, Brain Team（谷歌研究院大脑团队）
解纠缠表示独立地编码关于数据中变化的显著因素的信息。虽然人们经常认为这种表征格式在学习解决许多现实世界的下游任务方面是有用的，但很少有经验证据支持这种说法。在本文中，我们进行了一项大规模的研究，调查是否解开表示更适合抽象推理任务。使用两个类似于乌鸦的渐进矩阵的新任务，我们评估了360个最先进的无监督解纠缠模型所学习的表示的有用性。基于这些表示，我们训练了3600个抽象推理模型，并观察到解纠缠表示实际上确实会导致更好的下游性能。特别是，它们可以使用更少的样本进行更快的学习。
2020-01-07 cs.CV cs.LG cs.NE
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
Variational Inference of Disentangled Latent Concepts from Unlabeled Observations
IBM Research AI（IBM研究人工智能部门）；Yorktown Heights, NY（纽约州约克镇高地（这里注意：根据提取规则，地址信息不应提取，但原HTML中“Affiliation: Yorktown Heights, NY”可能是地址而非机构，结合上下文，正确机构应为“IBM Research AI”，另一个“Affiliation”可能是地址或重复，需确认。但根据提取规则，只提取明确的机构。原文本中明确的机构是“IBM Research AI”，“Yorktown Heights, NY”是地点，非机构。因此正确应为[{）
解纠缠表示，其中更高层次的数据生成因素反映在不相交的潜在维度，提供了几个好处，如易于导出不变表示，可转移到其他任务，可解释性等，我们考虑的问题，从大池的未标记的观察解纠缠表示的无监督学习，并提出了一个变分推理为基础的方法来推断解纠缠的潜在因素。我们引入了一个正则化的近似后验的期望超过观察到的数据，鼓励解开。我们还提出了一个新的解纠缠度量，这是更好地与定性解纠缠解码器的输出中观察到。我们凭经验观察显着改善现有的方法在两个解纠缠和数据的可能性（重建质量）。
2018-12-27 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Structured Disentangled Representations
Northeastern University（东北大学）；University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
深度潜变量模型以无监督的方式学习高维数据的表示。最近的一些努力集中在学习表示，通过引入修改的标准目标函数，解开统计独立的轴的变化。这些方法通常假设一个简单的对角高斯先验，因此不能可靠地解开离散的变化因素。我们提出了一个两级分层目标，以控制块的变量和块内的个体变量之间的统计独立性的相对程度。我们推导出这个目标作为证据下限的泛化，这使我们能够明确地表示数据和表示之间的互信息之间的权衡，表示和先验之间的库尔贝克-莱布勒散度，以及经验数据分布的支持的覆盖范围。在各种数据集上的实验表明，我们的目标不仅可以解开离散变量，而且这样做还可以改善其他变量的解开，更重要的是，甚至可以推广到看不见的因素组合。
2018-12-12 cs.LG stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon（奈森（韩国游戏公司））；Danggeun Market（당근마켓（韩国电商公司））；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Yonsei University（延世大学）
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题，提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法，有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
Diffusion-based Image Translation using Disentangled Style and Content Representation
KAIST（韩国科学技术院）
基于扩散的图像翻译以语义文本或单个目标图像为指导，实现了不局限于特定领域的灵活风格转换。不幸的是，由于扩散模型的随机性质，在反向扩散期间通常难以保持图像的原始内容。为了解决这个问题，在这里，我们提出了一种新的基于扩散的无监督图像翻译方法，使用分离的风格和内容表示。具体来说，受拼接视觉Transformer的启发，我们从ViT模型中提取多头自注意层的中间密钥，并将其用作内容保存损失。然后，通过匹配来自去噪样本和目标图像的[CLS]分类标记来执行图像引导的风格转移，而额外的CLIP损失用于文本驱动的风格转移。为了进一步加速反向扩散过程中的语义变化，我们还提出了一种新的语义发散损失和恢复策略。我们的实验结果表明，该方法优于国家的最先进的基线模型在文本引导和图像引导的翻译任务。
2023-02-01 cs.AI cs.CV cs.LG
