Leveraging Relational Information for Learning Weakly Disentangled Representations
University of Pisa（比萨大学）
在神经表征中，解纠缠是一个很难实现的特性。这可能是由于，在某种程度上，一个正规化的解纠缠问题，过于侧重于分离相关因素的变化的数据在单个孤立的维度的神经表示。我们认为，这样的定义可能过于限制性，并不一定有利于下游任务。在这项工作中，我们提出了另一种观点学习（弱）解开表示，利用关系学习的概念。我们识别对应于生成因子的特定实例的潜在空间的区域，并且我们学习这些区域之间的关系，以便对潜在代码执行受控的改变。我们还介绍了一个复合生成模型，实现了这样一个弱解纠缠的方法。我们的实验表明，学习的表示可以分离数据中的相关变化因素，同时保留有效生成高质量数据样本所需的信息。
2022-05-20 cs.LG
Leveraging sparse and shared feature activations for disentangled representation learning
Sapienza University of Rome（罗马第一大学）；Amazon AWS（亚马逊云科技）；IST Austria（奥地利科学技术研究所）
针对现有解耦表征研究多局限于合成场景的问题，该研究利用多样化监督任务的知识，基于特征稀疏激活与信息共享机制学习解耦表征，证明多任务信息可保证可辨识性，并在真实基准与多模态数据上验证了方法的有效性。
2023-12-13 cs.LG
Disentangled Mode-Specific Representations for Tensor Time Series via Contrastive Learning
SANKEN, Osaka University, Osaka, Japan（SANKEN，大阪大学，大阪，日本）；Yokohama National University, Kanagawa, Japan（Yokohama国立大学，神奈川，日本）
本文提出MoST方法，通过对比学习实现张量时间序列的解耦模式表示，提升分类和预测性能。
2026-02-27 cs.LG
Disentangled Representation via Variational AutoEncoder for Continuous Treatment Effect Estimation
National University of Defense Technology（国防科技大学）；College of Systems Engineering（系统工程学院）
针对连续处理效应估计中协变量混杂与噪声问题，提出DRVAE模型将协变量解耦为工具、混杂、调整和噪声因子，通过平衡混杂因子提升剂量-反应曲线估计精度，优于现有方法。
2024-06-04 cs.LG
Disentangled Graph Representation Based on Substructure-Aware Graph Optimal Matching Kernel Convolutional Networks
针对现有图表示方法结构刻画粗糙的问题，提出GOMKCN，以子图为结构因子，用GOMK卷积算子度量子图与可学习滤波器的相似性，实现解耦表示，提升图模式挖掘的准确性与可解释性。
2025-04-23 cs.LG
Learning Disentangled Discrete Representations
University of Mannheim（曼海姆大学）；Max Planck Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；University of Stuttgart（斯图加特大学）；NEC Laboratories Europe（NEC欧洲实验室）
本文通过用定制的分类变分自编码器替换标准高斯VAE，探索离散潜在空间与解耦表示的关系，证明其网格结构能缓解旋转不变性问题，并提出首个偏好解耦表示的无监督模型选择策略。
2023-07-26 cs.LG stat.ML
Disentangled Representation Learning for Parametric Partial Differential Equations
IBM Research（IBM研究院）
DisentangO通过解耦神经算子参数中的潜在物理因素，提升PDE求解的可解释性和泛化能力。
2026-02-07 cs.LG
Towards Better Understanding of Disentangled Representations via Mutual Information
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Microsoft（微软）
现有的大多数关于非纠缠表示学习的研究都是建立在边缘独立性假设之上的：非纠缠表征中的所有因素都应该是统计独立的。这一假设是必要的，但肯定是不够的，在建模过程中没有额外的归纳偏差，这是在理论上表明，在最近的研究中，解开表示。我们认为，在这项工作中，解纠缠表示的特点是它们与可观察到的数据的关系。特别是，我们制定这样的关系，通过互信息的概念：之间的互信息的解纠缠表示和数据的每个因素应该是不变的其他因素的值的条件。连同广泛接受的独立性假设，我们进一步桥接它与有条件的独立性的因素表示条件的数据。此外，我们注意到，由于在编码器中人为选择了因子分解的近似后验$q(\rvz|\rvx)$，大多数VAE类型模型和InfoGAN都被施加了潜变量的条件独立性。这种编码器的安排为解纠缠表示引入了关键的归纳偏差。为了证明我们提出的假设和相关的归纳偏差的重要性，我们在实验中表明，违反假设导致下降的因素之间的解纠缠的学习表示。
2020-07-01 cs.LG stat.ML
RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities
EPFL（瑞士联邦理工学院）
提出RePercENT框架，通过多模态即插即用架构和联合优化目标，实现超过两种模态的可扩展成对解耦，无需联合预训练并降低计算复杂度。
2026-11-03 cs.LG
Disentangled Representation Learning with Information Maximizing Autoencoder
University of Southern Queensland（南昆士兰大学）
从任何未标记的数据中学习解纠缠表示是一个重要的问题。在本文中，我们提出了信息最大化自动编码器（InfoAE），编码器学习强大的解开表示通过最大化之间的互信息的表示和给定的信息在一个无监督的方式。我们已经在MNIST数据集上评估了我们的模型，并在使用完全无监督训练时达到了98.9（$\pm .1$）$\%$测试准确率。
2019-04-18 cs.CV cs.LG stat.ML
Linear Disentangled Representations and Unsupervised Action Estimation
Southampton University（南安普顿大学）
解纠缠表示学习在最近一段时间里受到了极大的关注，通常集中在优化许多不同解纠缠指标之一的新模型上。基于对称性的解纠缠表示学习引入了一个强大的数学框架，精确定义了“线性解纠缠表示”的含义。这个框架决定了这样的表示将依赖于作用于数据的对称群的特定分解，表明作用将通过作用于独立表示子空间的不可约群表示来表现。Caselles-Dupre等人[2019]随后提出了第一个模型，以诱导和证明VAE模型中的线性解纠缠表示。在这项工作中，我们的经验表明，线性解纠缠表示一般不存在于标准的VAE模型，而是需要改变损失景观，以诱导他们。我们继续表明，这样的表示是一个理想的属性，关于经典的解纠缠度量。最后，我们提出了一种方法来诱导不可约表示，放弃了需要标记的行动序列，如以前的工作所要求的。我们探讨了这种方法的一些属性，包括从动作序列中学习的能力，而不需要知道中间状态和视觉噪声下的鲁棒性。我们还证明，它可以成功地学习4个独立的对称性直接从像素。
2020-12-15 cs.LG stat.ML
Symmetry-Based Disentangled Representation Learning requires Interaction with Environments
ENSTA Paris（法国国立高等先进技术学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）
找到一个普遍接受的正式定义的情况下，一个代理在环境中的行为是一个重要的挑战，对数据高效的自主智能体的建设。Higgins等人最近提出了基于对称性的非纠缠表示学习，这是一个基于使用群论描述环境中对称性的定义。我们建立在他们的工作和观察，理论和实证，这导致我们认为，基于对称性的解纠缠表示学习不能只基于静态观察：代理应该与环境交互，发现其对称性。我们的实验可以在Colab中复制，代码可以在GitHub上找到。
2019-09-19 cs.LG stat.ML
Group-disentangled Representation Learning with Weakly-Supervised Regularization
Autodesk AI Lab（欧特克人工智能实验室）；Imperial College London（伦敦帝国理工学院）
学习可解释和人类可控的表示，揭示数据中的变化因素，仍然是表示学习中的一个持续的关键挑战。我们研究学习组的因素与弱监督的解纠缠表示。解决这一挑战的现有技术仅仅通过对共享组的观察进行平均来约束近似后验。因此，具有共同变化集的观察被编码为不同的潜在表示，降低了它们分解和推广到下游任务的能力。与以前的工作相比，我们提出了GroupVAE，一个简单而有效的Kullback-Leibler（KL）分歧为基础的正则化共享的潜在表示，以执行一致和解开表示。我们进行了彻底的评估，并证明我们的GroupVAE显着提高了群体解纠缠。此外，我们证明了学习组解缠表示改进了下游任务，包括公平分类和3D形状相关任务，如重建，分类和迁移学习，并且与监督方法相比具有竞争力。
2021-10-23 cs.CV cs.LG
Unsupervised Model Selection for Variational Disentangled Representation Learning
DeepMind（深度思维）
最近已经证明，在简单的监督和强化学习任务中，解纠缠表示可以提高公平性、数据效率和泛化能力。为了将解纠缠表示的好处扩展到更复杂的领域和实际应用，重要的是要启用现有无监督方法的超参数调整和模型选择，而无需访问大多数数据集不可用的地面真值属性标签。本文针对这个问题，介绍了一个简单而强大的和可靠的方法，无监督的解纠缠模型选择。我们的方法，无监督解纠缠排名（UDR），利用最近的理论结果解释了为什么变分自编码器解纠缠（Rolinek et al，2019），通过在训练的模型表示之间进行成对比较来量化解纠缠的质量。我们表明，我们的方法对来自六个最先进的无监督分解表示学习模型类的5,400个模型中的现有监督替代方案进行了验证。此外，我们表明，我们的方法产生的排名以及相关的最终任务的性能在两个不同的域。
2020-02-14 cs.LG stat.ML
Towards Learning Fine-Grained Disentangled Representations from Speech
University of Notre Dame（圣母大学）
学习高维数据的非纠缠表示是当前一个活跃的研究领域。然而，与计算机视觉领域相比，语音处理方面的工作做得较少。在本文中，我们提供了一个审查的两个代表性的努力在这个话题上，并提出了新的概念细粒度的解开语音表示学习。
2018-08-08 cs.CL cs.LG cs.SD
Theory and Evaluation Metrics for Learning Disentangled Representations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们对解纠缠学习做出了两个理论贡献：（a）定义解纠缠表示的精确语义;（b）建立鲁棒的评估指标。首先，我们描述的概念“解开表示”在监督和无监督的方法沿三个维度的信息性，可分性和可解释性-这可以表达和量化明确使用信息理论的结构。这有助于解释几个著名的解纠缠学习模型的行为。然后，我们提出了强大的度量信息，可分性和可解释性。通过一套全面的实验，我们证明了我们的指标正确地表征了通过不同方法学习的表示，并且与定性（视觉）结果一致。因此，这些指标允许在公平的基础上比较解纠缠学习方法。我们还根据经验发现了基于VAE的方法的新的有趣特性，并用我们的公式解释了它们。这些发现是有希望的，希望将鼓励设计更多的理论驱动的模型，学习解开表示。
2021-03-18 cs.LG stat.ML
On Causally Disentangled Representations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
表征学习器，解开变量的因素已经被证明是重要的，在解决各种现实世界的关注，如公平性和可解释性。最初由具有独立性假设的无监督模型组成，最近，弱监督和相关特征已经被探索，但没有生成过程的因果视图。相比之下，我们在因果生成过程的制度下工作，其中生成因素要么是独立的，要么可能被一组观察到的或未观察到的混杂因素所混淆。我们提出了一个分析的解纠缠表示通过解纠缠因果过程的概念。我们激励需要新的指标和数据集来研究因果解纠缠，并提出了两个评估指标和一个数据集。我们表明，我们的指标捕捉到的desiderata解开因果过程。最后，我们使用我们的指标和数据集从因果关系的角度对最先进的解纠缠表示学习器进行了实证研究。
2021-12-10 cs.LG stat.ML
Learning Disentangled Representation by Exploiting Pretrained Generative Models: A Contrastive Learning View
HKUST（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；EIT（欧洲创新与技术学院）
从解纠缠的直观概念来看，不同因素所对应的图像变化应该是彼此不同的，解纠缠的表征应该以不同的维度反映这些变化。为了发现这些因素并学习解纠缠表示，以前的方法通常在学习生成逼真图像时利用额外的正则化项。然而，该术语通常导致解纠缠和生成质量之间的权衡。对于在没有任何解纠缠项的情况下预训练的生成模型，生成的图像在沿着潜在空间中的不同方向遍历时显示出语义上有意义的变化。基于这一观察，我们认为，$(i)$利用具有高生成质量的预训练生成模型来减轻这种权衡是可能的，$(ii)$专注于发现遍历方向作为分解表示学习的因素。为了实现这一目标，我们提出通过对比的解纠缠（DisCo）作为一个框架，根据目标解纠缠表示的变化建模，并对比变化，共同发现解纠缠的方向和学习解纠缠表示。DisCo实现了最先进的解纠缠表示学习和不同的方向发现，给定预训练的非解纠缠生成模型，包括GAN，VAE和Flow。源代码位于https://github.com/xrenaa/DisCo。
2022-02-14 cs.AI cs.CV cs.LG
Hierarchical disentangled representation learning for singing voice conversion
Sony（索尼）
由于数据的高维性，传统的歌唱声转换（SVC）方法通常在高分辨率音频中操作。在本文中，我们提出了一个分层的表示学习，使独立的多分辨率的解纠缠表示的学习。利用学习到的解纠缠表示，所提出的方法从低到高分辨率逐步执行SVC。实验结果表明，所提出的方法优于基线操作与一个单一的分辨率方面的平均意见得分（MOS），相似性得分，和音高准确性。
2021-04-26 cs.LG cs.SD eess.AS
Learning Interpretable Disentangled Representations using Adversarial VAEs
Technische Universität München（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
学习医学应用中的可解释表示对于将数据驱动模型应用于临床实践变得至关重要。最近的研究表明，学习一个解纠缠的特征表示对于数据的更紧凑和可解释的表示是很重要的。在本文中，我们引入了一种新的对抗性的变分自编码器与总相关约束，以执行独立的潜在表示，同时保持重建保真度。我们提出的方法在公开的数据集上进行了验证，表明学习的解纠缠表示不仅是可解释的，而且优于最先进的方法。我们报告了一个相对的改善81.50%的解纠缠，11.60%的聚类，和2%的监督分类与少量的标记数据。
2019-04-17 cs.LG stat.ML
Learning Disentangled Representations for Counterfactual Regression via Mutual Information Minimization
Alibaba Group（阿里巴巴集团）
学习个体水平的处理效应是因果推理中的一个基本问题，在许多领域受到越来越多的关注，特别是在用户增长领域，这是许多互联网公司关注的问题。近年来，将协变量分解为工具因子、混杂因子和调节因子的非纠缠表示学习方法在治疗效果估计中取得了巨大的成功。然而，如何准确地了解潜在的分离因素仍然是一个悬而未决的问题。具体而言，以前的方法无法获得独立的解开的因素，这是一个必要的条件，识别处理效果。在本文中，我们提出了通过互信息最小化（MIM-DRFR），它使用多任务学习框架来共享信息时，学习潜在的因素，并纳入MI最小化学习标准，以确保这些因素的独立性的反事实回归的解开表示。包括公共基准测试和真实工业用户增长数据集在内的广泛实验表明，我们的方法比最先进的方法表现得更好。
2022-06-02 cs.LG stat.ML
Disentangled Dynamic Representations from Unordered Data
ETH Zurich（苏黎世联邦理工学院）；Disney Research（迪士尼研究院）
我们提出了一个深度生成模型，可以从无序输入中学习数据的静态和动态表示。我们的方法利用了顺序数据中的冗余，无论数据被查看的顺序如何。我们的因式分解图模型的结果是数据动态的组织良好和连贯的潜在空间。我们展示了我们的方法在几个合成的动态数据集和真实的视频数据具有各种面部表情和头部姿势。
2018-12-10 cs.LG stat.ML
Independence Promoted Graph Disentangled Networks
Tiangong University（天津工业大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
我们解决了图卷积网络（GCN）中具有独立潜在因子的解纠缠表示学习问题。目前的方法通常通过整体的方式将其邻域描述为一个感知整体来学习节点表示，而忽略了潜在因素的纠缠。然而，真实世界的图是由许多潜在因素（例如，在社交网络中有相同的爱好、教育或工作）。然而，很少有人致力于探索GCN中的非纠缠表示。在本文中，我们提出了一种新的独立性促进图解纠缠网络（IPGDN）学习解纠缠的节点表示，同时提高节点表示之间的独立性。特别地，我们首先通过邻域路由机制提出了解纠缠的表示学习，然后采用Hilbert-Schmidt独立性准则（HSIC）来加强潜在表示之间的独立性，该准则有效地集成到图卷积框架中作为输出层的正则化器。对真实世界图的实验研究验证了我们的模型，并表明我们的算法在不同的网络应用中，包括半监督图分类，图聚类和图可视化，都远远优于最先进的算法。
2019-11-26 cs.LG stat.ML
Causal Flow-based Variational Auto-Encoder for Disentangled Causal Representation Learning
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文提出解耦因果变分自编码器（DCVAE），通过将因果流集成到有监督VAE框架中，解决传统解耦表示学习假设因子独立的局限，并在因果解耦、干预实验及下游任务中取得优于现有方法的性能。
2024-12-30 cs.LG stat.ME
Learning Disentangled Joint Continuous and Discrete Representations
Schlumberger Software Technology Innovation Center（斯伦贝谢软件技术创新中心）
我们提出了一个框架，学习解开和可解释的联合连续和离散表示在无监督的方式。通过增加一个宽松的离散分布和控制的信息量编码在每个潜在的单位的连续潜在分布的变分自动编码器，我们展示了如何连续和分类的变化因素可以发现自动从数据。实验表明，该框架在各种数据集上对连续和离散生成因子进行了分离，并且在离散生成因子突出时优于当前的分离方法。
2018-10-22 cs.LG stat.ML
Learning Disentangled Representations of Satellite Image Time Series
IRT Saint Exupéry（圣埃克苏佩里研究所）；IRIT（图卢兹信息研究所）
在本文中，我们研究如何学习一个合适的表示卫星图像时间序列在无监督的方式，利用大量的未标记的数据。此外，我们的目标是解开时间序列的表示成两个表示：一个共享的表示，捕捉的共同信息之间的图像的时间序列和一个排他性的表示，包含特定的信息的每个图像的时间序列。为了解决这些问题，我们提出了一个模型，它结合了一个新的组件称为跨域自动编码器与变分自动编码器（VAE）和生成对抗网络（GAN）的方法。为了学习时间序列的解纠缠表示，我们的模型学习多模态图像到图像翻译任务。我们使用Sentinel-2任务的卫星图像时间序列来训练我们的模型。进行了几个实验，以评估所获得的表示。我们表明，这些解纠缠表示可以是非常有用的执行多个任务，如图像分类，图像检索，图像分割和变化检测。
2019-03-21 cs.CV cs.LG
Disentangled Representation Learning with Wasserstein Total Correlation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
解纠缠表示的无监督学习涉及发现有助于数据生成过程的不同变化因素。总相关惩罚是近年来解纠缠方法中的一个重要组成部分。然而，Kullback-Leibler（KL）分歧为基础的总相关性是度量不可知的和敏感的数据样本。在本文中，我们引入Wasserstein总相关性在变分自编码器和Wasserstein自编码器设置学习解开潜在的表示。一个批评家是对抗训练的主要目标，以估计瓦瑟斯坦总相关项。我们讨论了使用Wasserstein距离KL分歧来衡量独立性的好处，并在几个数据集上进行定量和定性实验。此外，我们引入了一个新的度量去纠缠。我们表明，所提出的方法具有可比的性能与较小的牺牲重建能力的解纠缠。
2019-12-30 cs.LG stat.ML
Improving Disentangled Text Representation Learning with Information-Theoretic Guidance
Duke University（杜克大学）；NEC Labs America（NEC美国实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能）；Microsoft Research（微软研究院）
学习自然语言的分解表示对于许多NLP任务是必不可少的，例如，条件文本生成、风格转换、个性化对话系统等。对于其它形式的数据，例如图像和视频，已经广泛地研究了类似的问题。然而，自然语言的离散性质使得文本表示的解开更具挑战性（例如，不能容易地实现对数据空间的操纵）。受信息论的启发，我们提出了一种新的方法，有效地体现了解开表示的文本，没有任何监督的语义。一个新的互信息上限推导和杠杆来衡量风格和内容之间的依赖性。通过最小化这个上界，所提出的方法将风格和内容嵌入到两个独立的低维空间中。两个有条件的文本生成和文本风格转移的实验表明，我们的解纠缠表示的内容和风格保存方面的高品质。
2022-01-12 cs.LG stat.ML
Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations
ML6；IDlab, Ghent University - imec（根特大学-imec IDlab）
在这项工作中，我们探讨了无监督的表示学习的泛化特性，利用解开VAE的学习一组关系推理问题，从乌鸦渐进矩阵的一个有用的潜在空间。我们发现，通过使用正确的目标函数进行无监督训练来学习的潜在表示，显着优于纯监督学习训练的相同架构，特别是在泛化方面。
2018-11-12 cs.LG cs.NE stat.ML
Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
最近，人们越来越关注使用变分自动编码器（VAE）框架对解纠缠表示进行无监督学习。大多数现有的工作主要集中在修改变分成本函数，以实现这一目标。我们首先表明，这些修改，例如β-VAE，简化的倾向，变分推断欠适应造成病理过度修剪和过度正交化的学习组件。其次，我们提出了一个补充的方法：修改概率模型与结构化的潜在先验。这种先验允许发现被构造成独立向量空间的层次结构的潜在变量表示。所提出的先验有三个主要优点：第一，与标准VAE正常先验相比，所提出的先验不是旋转不变的。这解决了标准VAE正态先验不可识别的问题。其次，我们证明了建议的先验鼓励解开的潜在表示，这有利于学习解开的表示。第三，大量的定量实验表明，在现有技术中，先验显著减轻了重建损失和解纠缠之间的权衡。
2019-09-05 cs.LG stat.ML
Learning Disentangled Representations in the Imaging Domain
The University of Edinburgh（爱丁堡大学）；Canon Medical Research Europe（佳能欧洲医疗研究公司）；The Alan Turing Institute（艾伦·图灵研究所）
解纠缠表示学习已被提出作为一种方法来学习一般表示，即使在没有，或有限的监督。一个好的通用表示可以使用适量的数据针对新的目标任务进行微调，或者直接用于看不见的领域，在相应的任务中实现卓越的性能。这种对数据和注释要求的缓解为计算机视觉和医疗保健领域的应用提供了诱人的前景。在本教程中，我们激发了对解纠缠表示的需求，重新审视了关键概念，并描述了学习这种表示的实际构建块和标准。我们调查在医学成像中的应用，强调在范例关键工作中做出的选择，然后讨论与计算机视觉应用的联系。最后，我们提出了限制，挑战和机遇。
2022-07-29 cs.CV cs.LG
C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled Representations with Contrastive Posterior
University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）
提出自监督 C²VAE，通过 TC 分解、神经 Gaussian Copula 与对比后验分类器联合区分并强化解耦表示，同时改善训练稳定性和重建—表示权衡。
2023-09-23 cs.CV cs.LG stat.ML
Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent Representations
Rutgers University（罗格斯大学）
多模态生成模型代表了一个重要的深度模型家族，其目标是促进对具有多个视图或模态的数据的表示学习。然而，目前的深度多模态模型专注于共享表示的推理，而忽略了单个模态中数据的重要私有方面。在本文中，我们介绍了一个解纠缠多模态变分自编码器（DMVAE），利用解纠缠VAE策略分离的私人和共享的潜在空间的多模态。我们特别考虑的情况下，潜在的因素可能是连续和离散的性质，导致家庭的一般混合DMVAE模型。我们证明了DMVAE在半监督学习任务上的实用性，其中一种方式包含部分数据标签，与其他方式相关和不相关。我们在几个基准上的实验表明了私有共享解纠缠和混合潜在表示的重要性。
2020-12-23 cs.CV cs.LG
Disentangled State Space Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
序列数据通常来自不同的领域，在这些领域中存在统计数据和领域细节。为了专门学习跨域序列表示，我们引入了解纠缠状态空间模型（DSSM）-一类SSM，其中域不变状态动力学明确地从管理该动力学的特定于域的信息中解纠缠。我们分析了这种分离如何提高知识转移到新的领域，并使强大的预测，序列操作和域表征。我们还提出了一个无监督的基于VAE的训练过程，以贝叶斯滤波器的形式实现DSSM。在我们的实验中，我们应用VAE-DSSM框架在实验设置中实现在线ODE系统识别和回归的竞争性能，并在不同的重力影响下控制弹跳球视频序列的生成和预测。
2019-06-07 cs.LG stat.ML
On Disentangled and Locally Fair Representations
Tel Aviv University（特拉维夫大学）
我们研究的问题进行分类的方式是公平的敏感群体，如种族和性别。这一问题是通过分解和当地公平的陈述来解决的。我们学习了一个局部公平的表示，这样，在学习的表示下，每个样本的邻域在敏感属性方面是平衡的。例如，当决定雇用一个人时，我们确保$K$中最相似的被雇用人员在种族上是平衡的。至关重要的是，我们确保相似的个体是基于与其种族无关的属性被发现的。为此，我们将嵌入空间分解为两个表示。其中第一个与敏感属性相关，而第二个不相关。我们只对第二个不相关的表示应用我们的局部公平性目标。通过一组实验，我们证明了必要性的解纠缠和本地公平获得公平和准确的表示。我们评估我们的方法在现实世界中的设置，如预测收入和重新监禁率，并证明我们的方法的优势。
2022-05-05 cs.AI cs.LG
Learning Network Representations with Disentangled Graph Auto-Encoder
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文提出解耦图自动编码器（DGA）和解耦变分图自动编码器（DVGA），通过多通道消息传递和独立性约束学习解耦图表示，在合成与真实数据集上优于现有基线。
2024-07-16 cs.AI cs.LG stat.ML
Learning Group Structure and Disentangled Representations of Dynamical Environments
École Normale Supérieure（巴黎高等师范学院）；University of Oxford（牛津大学）
学习解纠缠表示是有效发现和建模环境底层结构的关键一步。在自然科学中，物理学通过用保持对称性的变换来描述宇宙而取得了巨大的成功。受此形式主义的启发，我们提出了一个框架，建立在理论的组表示，学习表示的动态环境结构周围的转换，产生其演变。在实验中，我们学习的结构显式对称的环境中没有监督的观测数据所产生的顺序相互作用。我们还引入了一个直观的解纠缠正则化，以确保学习表示的可解释性。我们表明，我们的方法可以实现准确的长期预测，并证明预测质量和潜在空间中的解纠缠之间的相关性。
2020-10-25 cs.LG stat.ML
Disentangled Representations in Neural Models
Massachusetts Institute of Technology（麻省理工学院）
表示学习是神经网络模型最近成功的基础。然而，由神经网络生成的分布式表示远不是理想的。由于它们高度纠缠的本质，它们很难重用和解释，并且它们在捕捉现实世界变换中存在的稀疏性方面做得很差。在本文中，我描述的方法，学习解开表示在两个领域的图形和计算。这些方法允许神经方法学习易于解释和重用的表示，但它们对性能几乎没有影响。在图形部分，我展示了这些方法的能力，推断图像的生成参数，并在新的条件下重新渲染这些图像。在计算部分，我描述了一个模型，它能够将多任务学习问题分解为子任务，并且不会经历灾难性遗忘。这些技术共同提供了设计各种模型的工具，这些模型可以学习分离的表示，并更好地模拟现实世界中的变化因素。
2016-02-07 cs.LG cs.NE
Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness
ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
学习分解表示的能力对于神经网络的数据高效和鲁棒使用是重要的，所述分解表示将高维非结构化数据中的变化的潜在来源分开。虽然最近提出了各种旨在实现这一目标的方法，但缺乏一个普遍接受的定义和验证程序。我们提供了一个因果关系的角度表示学习，其中包括解纠缠和域转移的鲁棒性作为特殊情况。我们的因果框架使我们能够引入一个新的指标来定量评估深层潜变量模型。我们展示了如何从标记的观测数据中估计这个度量，并进一步提供了一个有效的估计算法，该算法在数据集大小上线性扩展。
2019-05-13 cs.LG stat.ML
Learning Disentangled Representations via Mutual Information Estimation
IRT Saint Exupéry（圣埃克苏佩里跨学科研究中心）；IRIT（图卢兹计算机研究所）
在本文中，我们研究了学习解纠缠表示的问题。给定一对共享某些属性的图像，我们的目标是创建一个低维表示，它分为两部分：一个共享表示，捕获图像之间的共同信息和一个排他性表示，包含每个图像的特定信息。为了解决这个问题，我们提出了一种基于互信息估计的模型，而不依赖于图像重建或图像生成。互信息最大化的执行，以捕获共享和独占表示中的数据的属性，而我们最小化的共享和独占表示之间的互信息，以执行表示解纠缠。我们表明，这些表示是有用的，以执行下游任务，如图像分类和图像检索的基础上共享或排他性的组件。此外，分类结果表明，我们的模型优于国家的最先进的模型的基础上VAE/GAN的方法表示解开。
2019-12-09 cs.LG stat.ML
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich（慕尼黑技术大学）
本文提出机制独立性原则，通过解耦表示中的机制作用来识别潜在子空间，建立独立性准则层级并提供图论特征描述，无需依赖统计假设。
2026-05-10 cs.LG stat.ML
Independence Constrained Disentangled Representation Learning from Epistemological Perspective
University of New South Wales（新南威尔士大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
该研究从认识论视角探讨解耦表示学习中潜变量独立性争议，提出双层潜空间框架及结合互信息与独立性约束的GAN解耦方法，在多指标上优于基线，提升可控生成质量与算法可解释性。
2024-10-05 cs.AI cs.LG
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在表示学习中，学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中，我们专注于半监督解纠缠学习，并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.（2019）的工作。具体来说，在训练过程中，只要可用，我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发，该框架自然地激励了现有半监督VAE中常用的监督术语（但不用于解纠缠学习）。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Are Disentangled Representations Helpful for Abstract Visual Reasoning?
IDSIA（IDSIA研究所）；USI（瑞士意大利语区大学）；SUPSI（瑞士应用科学大学）；ETH Zurich（苏黎世联邦理工学院）；MPI-IS（马克斯·普朗克智能系统研究所）；NNAISENSE（NNAISENSE公司）；Google Research, Brain Team（谷歌研究院大脑团队）
解纠缠表示独立地编码关于数据中变化的显著因素的信息。虽然人们经常认为这种表征格式在学习解决许多现实世界的下游任务方面是有用的，但很少有经验证据支持这种说法。在本文中，我们进行了一项大规模的研究，调查是否解开表示更适合抽象推理任务。使用两个类似于乌鸦的渐进矩阵的新任务，我们评估了360个最先进的无监督解纠缠模型所学习的表示的有用性。基于这些表示，我们训练了3600个抽象推理模型，并观察到解纠缠表示实际上确实会导致更好的下游性能。特别是，它们可以使用更少的样本进行更快的学习。
2020-01-07 cs.CV cs.LG cs.NE
On the Fairness of Disentangled Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Oxford（牛津大学）；Google Research（谷歌研究院）
最近，人们对学习解纠缠表示产生了浓厚的兴趣，因为它们有望提高可解释性，推广到看不见的场景，并更快地学习下游任务。在本文中，我们调查的有用性不同的概念，以提高下游预测任务的公平性的基础上表示的解纠缠。我们考虑的设置，其中的目标是预测一个目标变量的基础上学习表示的高维观测（如图像），这取决于目标变量和\emph{unobserved}敏感变量。我们表明，在这种情况下，最佳和经验的预测可能是不公平的，即使目标变量和敏感变量是独立的。分析超过\num{12600}训练的最先进的解纠缠模型的表示，我们观察到，几个解纠缠分数始终与增加的公平性，这表明解纠缠可能是一个有用的属性，以鼓励公平时，敏感变量没有观察到。
2019-10-29 cs.LG stat.ML
Learning Controllable Disentangled Representations with Decorrelation Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习解纠缠图像表示的一个关键问题是在图像编辑过程中控制解纠缠的程度，同时保持对象的身份。在这项工作中，我们提出了一个简单而有效的模型与编码器-解码器架构，以解决这一挑战。为了鼓励解纠缠，我们设计了一个基于距离协方差的去相关正则化。此外，对于重建步骤，我们的模型利用与潜像代码相结合的软目标表示。通过利用软目标表示的实值空间，我们能够合成具有指定属性的新图像。我们还设计了一个基于分类的协议来定量评估我们的模型的解纠缠强度。实验结果表明，该模型能有效地分离变异因素，并能对人脸图像进行操作，以合成所需的属性。
2019-12-25 cs.LG stat.ML
Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
对抗性脆弱性仍然是构建可靠NLP系统的主要障碍。当将不可感知的扰动添加到原始输入文本时，深度学习模型的性能可能会在攻击下急剧下降。最近的工作认为，模型的对抗性脆弱性是由监督训练中的非鲁棒特征引起的。因此，在本文中，我们从解纠缠表示学习的角度来解决对抗性鲁棒性挑战，它能够明确地解开文本中的鲁棒性和非鲁棒性特征。具体而言，受信息论中信息（VI）变化的启发，我们推导出一个由互信息组成的解纠缠学习目标，以表示潜在嵌入的语义代表性和鲁棒性和非鲁棒性特征的区分。在此基础上，我们设计了一个解纠缠学习网络来估计这些互信息。文本分类和蕴涵任务的实验表明，我们的方法显着优于对抗攻击下的代表性方法，表明丢弃非鲁棒性特征是提高对抗鲁棒性的关键。
2022-10-26 cs.CL cs.LG
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们想学习一种数据的表示方法，它将观察结果分解为我们可以独立控制的变化因素。具体来说，我们希望使用最少的监督来学习一种潜在的表示，它反映了特定数据分组背后的语义，其中在一个组中，样本共享一个共同的变化因素。例如，考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而，现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器（ML-VAE），这是一种新的深度概率模型，用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分，同时保留有效的测试时推理。定量和定性评估表明，ML-VAE模型（i）学习分组数据的语义上有意义的解纠缠，（ii）能够操纵潜在表示，以及（iii）推广到看不见的组。
2017-05-24 cs.LG stat.ML
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science（认知科学研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文针对解耦听觉表示学习中基准数据稀缺的问题，提出具有明确真值解释因子的合成数据集SynTone，通过基准测试评估最先进方法，揭示了音频解耦的优势与局限，为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms
University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文从独立因果机制角度定义因果解耦，提出ICM-VAE框架，利用非线性流函数建模因果机制并结合辅助标签学习解耦先验，理论上证明可辨识性，实验表明能提升干预鲁棒性与反事实生成能力。
2024-08-23 cs.LG stat.ML
Self-Supervised Learning of Disentangled Representations for Multivariate Time-Series
本文提出TimeDRL框架，通过双层解耦嵌入、时间戳预测与实例对比任务，并避免数据增强引入的归纳偏置，在多元时间序列预测和分类任务中优于现有方法，且在有限标注数据的半监督场景下表现良好。
2024-10-21 cs.AI cs.LG
Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies
UCLA（加州大学洛杉矶分校）；DeepMind（深度思维）
现实世界中的智能行为需要从一系列持续的经验中获取新知识的能力，同时保留和重用过去的知识。我们提出了一种新的算法，用于从逐段静态视觉数据中进行无监督的表示学习：具有共享嵌入的变分自编码器（VASE）。基于最小描述长度原则，VASE自动检测数据分布中的变化，并为新知识分配空闲的表示容量，同时保护先前学习的表示免受灾难性遗忘。我们的方法鼓励学习的表示被解开，这赋予了一些理想的属性：VASE可以明智地处理模糊的输入，它可以通过基于解释的探索来增强自己的表示，最重要的是，它表现出语义上有意义的共享不同数据集之间的潜伏期。与具有纠缠表示的基线相比，我们的方法能够超越表面级统计数据进行推理，并执行语义上有意义的跨域推理。
2018-08-20 cs.LG stat.ML
A Commentary on the Unsupervised Learning of Disentangled Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究院大脑团队）
解纠缠表示的无监督学习的目标是在没有监督的情况下分离数据中变化的独立解释因素。在本文中，我们总结了Locatello等人的结果，2019年，并专注于其对从业人员的影响。我们讨论的理论结果表明，无监督学习的解纠缠表示是根本不可能的，没有归纳偏见和它所带来的实际挑战。最后，我们对我们的实验结果进行了评论，强调了最先进方法的局限性和未来研究的方向。
2020-07-28 cs.AI cs.LG stat.ML
Learning Disentangled Representations of Negation and Uncertainty
否定和不确定性建模是自然语言处理中长期存在的任务。语言学理论认为，否定和不确定的表达在语义上是相互独立的，也与它们所修饰的内容无关。然而，以前的作品表示学习没有明确的模型这种独立性。因此，我们尝试使用变分自编码器来理清否定、不确定和内容的表示。我们发现，简单地监督潜在的表示结果在良好的解纠缠，但辅助目标的基础上对抗学习和互信息最小化可以提供额外的解纠缠增益。
2022-04-01 cs.CL cs.LG
