IndiSeek learns information-guided disentangled representations
Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
IndiSeek通过结合独立性强制目标和高效重建损失，有效学习信息引导的解耦表示，提升多模态学习性能。
2025-12-04 cs.LG stat.ML
Self-Distilled Disentangled Learning for Counterfactual Prediction
The University of New South Wales（新南威尔士大学）；The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；CSIRO’s Data 61（联邦科学与工业研究组织数据61部门）
针对高维互信息最小化难题，提出基于信息论的自蒸馏解耦框架 $SD^2$，无需复杂估计器即可学习独立表示，并在合成与真实数据上验证其反事实推理效果。
2024-06-14 cs.AI cs.LG stat.ML
Disentangled Representation Learning and Generation with Manifold Optimization
KU Leuven（鲁汶大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
解纠缠是表示学习中的一个有用属性，它增加了生成模型的可解释性，例如变分自编码器（VAE），生成对抗模型及其许多变体。通常在这样的模型中，解缠结性能的增加与生成质量相权衡。在潜在空间模型的背景下，这项工作提出了一个表示学习框架，该框架通过鼓励变化的正交方向来显式促进解开纠缠。建议的目标是一个自动编码器的误差项的总和，以及在特征空间中的主成分分析重建误差。这有一个解释的限制核机器的特征向量矩阵价值的Stiefel流形。我们的分析表明，这样的结构促进解纠缠匹配的主要方向在潜在的空间与数据空间中的正交变化的方向。在交替最小化方案中，我们使用Cayley ADAM算法-Stiefel流形上的随机优化方法以及ADAM优化器。我们的理论讨论和各种实验表明，该模型提高了许多VAE变种的生成质量和解开表示学习。
2022-05-30 cs.LG stat.ML
Synergy Between Sufficient Changes and Sparse Mixing Procedure for Disentangled Representation Learning
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Guangdong University of Technology（广东工业大学）
本文揭示了解耦表示学习中分布充分变化与稀疏混合过程假设的协同作用，提出约束更少的可识别性理论及估计框架，并通过实验验证了其有效性。
2025-03-01 cs.LG stat.ML
Weakly Supervised Disentangled Generative Causal Representation Learning
The Hong Kong University of Science and Technology（香港科技大学）；Zhejiang Laboratory（之江实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出了一种在适当的监督信息下的分解能量因果表示（DEAR）学习方法.与现有的解开方法，强制独立的潜变量，我们考虑的一般情况下，潜在的利益因素可以是因果关系。我们发现，以前的方法与独立的先验未能解开因果相关的因素，即使在监督。基于这一发现，我们提出了一种新的解纠缠学习方法，称为DEAR，使因果可控生成和因果表示学习。这个新配方的关键成分是使用结构因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与关于地面实况因素及其潜在因果结构的监督信息结合，与生成器和编码器联合训练先验。我们提供了理论证明所提出的方法的可识别性和渐近收敛。我们进行了大量的实验，合成和真实的数据集，以证明的有效性，DEAR因果可控生成，和下游任务的样本效率和分布鲁棒性方面的学习表示的好处。
2022-08-24 cs.AI cs.LG stat.ML
RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities
EPFL（瑞士联邦理工学院）
提出RePercENT框架，通过多模态即插即用架构和联合优化目标，实现超过两种模态的可扩展成对解耦，无需联合预训练并降低计算复杂度。
2026-11-03 cs.LG
Disentangled Recurrent Wasserstein Autoencoder
PCG, Tencent（腾讯PCG）；NEC Laboratories America（NEC美国实验室）；Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；Texas A&M University（德克萨斯A&M大学）
学习解纠缠表示导致可解释的模型，并促进具有风格转移的数据生成，这已经在无监督学习框架中对静态数据（例如图像）进行了广泛研究。然而，只有少数作品探索了无监督的解开顺序表示学习，由于生成顺序数据的挑战。在本文中，我们提出了经常性的Wasserstein自动编码器（R-WAE），一个新的框架生成建模的序列数据。R-WAE将输入序列的表示分解为静态和动态因素（即，时不变和时变部分）。我们的理论分析表明，R-WAE最小化模型分布和序列数据分布之间的Wasserstein距离的惩罚形式的上界，同时最大化输入数据和不同的解开的潜在因素之间的互信息，分别。这优于（循环的）VAE，其不显式地强制输入数据与解纠缠的潜在表示之间的互信息最大化。当序列数据中的动作数量作为弱监督信息时，R-WAE被扩展为学习动作的分类潜在表示以改善其解纠缠。在各种数据集上的实验表明，我们的模型在定量和定性的解纠缠和无条件视频生成方面优于其他具有相同设置的基线。
2021-01-19 cs.AI cs.LG
DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning
Department of Computer Science at UIUC（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
本文挑战了通常的假设，即在$β$ -VAE中，权重$β$应该大于$1$，以便有效地解开潜在因素。我们证明了使用$β$不仅可以获得良好的解纠缠，而且通过动态控制可以显着提高重建精度。本文消除了$β$ -VAE的重建精度和解纠缠之间的固有权衡。现有的方法，如$β$ -VAE和FactorVAE，分配一个大的权重的KL-发散项的目标函数，导致高的重建误差，为了更好地解开。为了缓解这个问题，最近开发了ControlVAE，其动态地调整KL发散权重，以尝试将权衡控制到更有利的点。然而，ControlVAE未能消除需要大的$β$（用于解缠）和需要小的$β$之间的冲突。相反，我们提出了DynamicVAE，在不同的训练阶段保持不同的$β$，从而解耦解纠缠和重建精度。为了使权重$β$沿着能够实现这种解耦的轨迹发展，DynamicVAE利用修改的增量PI（比例积分）控制器，并采用移动平均以及混合退火方法以严格控制的方式平滑地发展KL发散的值。我们从理论上证明了该方法的稳定性。在三个基准数据集上的评估结果表明，DynamicVAE显着提高了重建精度，同时实现了与现有最佳方法相当的解纠缠。实验结果表明，该方法可以有效地分离表示学习和重构，消除二者之间的内在张力。
2020-09-30 cs.LG stat.ML
Self-Supervised Learning Disentangled Group Representation as Feature
Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Singapore Management University（新加坡管理大学）
一个好的视觉表示是一个从观察（图像）到特征（向量）的推理映射，它忠实地反映了隐藏的模块化生成因子（语义）。在本文中，我们制定了“好”表示的概念，从群论的角度使用希金斯的定义，并表明，现有的自监督学习（SSL）只解开简单的增强功能，如旋转和着色，从而无法模块化其余的语义。为了打破这一限制，我们提出了一种迭代SSL算法：基于迭代划分的不变风险最小化（IP-SSL），它成功地将抽象的语义和作用于它们的组接地到具体的对比学习。在每次迭代中，IP-SVM首先将训练样本划分为对应于纠缠群元素的两个子集。然后，它最小化一个子集不变的对比损失，其中的不变性保证解开组元素。我们证明了IP-ESTA收敛到一个完全解开表示，并显示其有效性在各种基准。代码可在https://github.com/Wangt-CN/IP-IRM上获得。
2021-10-29 cs.CV cs.LG
Disentangled Representation Learning with Transmitted Information Bottleneck
State Grid Shaanxi Electric Power Company Ltd.（国家电网陕西省电力公司）；State Grid Corporation of China（国家电网有限公司）；University of Science and Technology of China（中国科学技术大学）
针对解耦表示学习中压缩导致性能下降、解耦约束优化复杂的问题，提出基于传输信息瓶颈的DisTIB目标函数，通过变分推断实现可优化估计，理论证明其最优解耦能力，实验验证了其在下游任务上的有效性。
2024-08-14 cs.CV cs.LG
Improving Disentangled Representation Learning with the Beta Bernoulli Process
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
为了提高VAE在潜在空间中的分解能力，现有的工作主要集中在加强学习的潜在因素之间的独立性。然而，这些模型的能力，以解开往往降低的复杂性的生成因素的增加。在本文中，我们探讨了很少探索的影响的建模能力的后验密度的解缠能力的VAE。我们注意到，潜在密度的独立性和复杂性是我们在正则化后验密度时限制的两个不同的属性：前者促进了VAE的解纠缠能力，后者-如果过度限制-则会与VAE中的数据重建目标产生不必要的竞争。因此，如果我们保持独立性，但允许后验密度具有更丰富的建模能力，我们将解除这种竞争，从而同时提高独立性和数据重建。我们研究这种理论直觉与VAE，利用非参数潜在因素模型，印度自助餐过程（IBP），作为一个潜在的密度，是能够增长的数据的复杂性。在三个广泛使用的基准数据集和两个临床数据集上，我们定性和定量地证明了IBP-VAE在最新技术水平上的改进的解缠性能。在后两个充满复杂变异因素的临床数据集中，我们进一步证明，通过IBP-VAE对滋扰因素的无监督分解--当与有监督的目标相结合时--与相关的监督深度架构相比，不仅可以提高任务准确性，而且还可以促进与任务决策相关的知识发现。这项工作的简短版本将出现在ICDM 2019会议记录中。
2019-09-03 cs.LG stat.ML
Blocked and Hierarchical Disentangled Representation From Information Theory Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Information Science Academy of China Electronics Technology Group Corporation（中国电子科技集团公司信息科学研究院）
我们提出了一种新的理论模型，分块和分层的变分自编码器（BHiVAE），以获得更好的解纠缠表示。众所周知，信息论对于网络具有极好的解释意义，因此我们从信息论的角度着手解决解纠缠问题。BHiVAE主要来源于信息瓶颈理论和信息最大化原理。我们的主要思想是：（1）神经元块不是只有一个神经元节点用来表示属性，它可以包含足够的信息;（2）在不同的层上创建一个具有不同属性的层次结构，这样我们就可以在每一层内分割信息，以确保最终的表示是解纠缠的。此外，我们分别提出了有监督和无监督的BHiVAE，其中的差异主要体现在不同块之间的信息分离上。在监督BHiVAE中，我们利用标签信息作为标准来分离块。在无监督的BHiVAE中，在没有额外信息的情况下，我们使用总相关（TC）度量来实现独立性，并且我们设计了一个新的潜在空间的先验分布来指导表示学习。它还表现出良好的解纠缠的结果在实验中和优越的分类精度在表示学习。
2021-01-21 cs.IT cs.LG math.IT
CLOAK: Contrastive Guidance for Latent Diffusion-Based Data Obfuscation
University of Alberta（阿尔伯塔大学）
针对数据混淆问题，提出基于潜在扩散模型的Cloak框架，用对比学习提取解纠缠表示，指导潜在扩散过程平衡隐私与效用。实验表明该框架优于现有技术，能降低效用和隐私损失，适合资源受限环境。
2026-07-24 cs.CR cs.LG
Learning Disentangled Representations for Time Series
Texas A&M University（得克萨斯农工大学）；NEC Labs America（NEC美国实验室）；Rutgers University（罗格斯大学）
时间序列表示学习是时间序列分析的一项基本任务。虽然已经取得了重大进展，以实现下游应用程序的准确表示，学习的表示往往缺乏可解释性，不暴露语义含义。不同于以往的纠缠特征空间的努力，我们的目标是提取语义丰富的时间相关性的潜在的可解释的因式分解表示的数据。受计算机视觉中解纠缠表示学习的成功启发，我们研究了学习语义丰富的时间序列表示的可能性，由于三个主要挑战，这一点尚未探索：1）顺序数据结构引入了复杂的时间相关性，使得潜在的表示难以解释，2）顺序模型遭受KL消失问题，3）时间序列的可解释语义概念往往依赖于多个因素而不是个体。为了弥补这一差距，我们提出了一种新的序列数据解纠缠增强框架--解纠缠时间序列（Disentangle Time Series，简称TSN）。具体而言，生成层次语义概念作为时间序列的可解释性和解纠缠表示，ESTA引入了多层次的解纠缠策略，涵盖个人的潜在因素和组语义段。我们进一步从理论上展示了如何缓解KL消失问题：KLM引入了一个互信息最大化项，同时保留了对总相关性和维数KL的更重惩罚以保持解纠缠特性。在各种真实世界的基准数据集上的实验结果表明，通过训练学习的表示在下游应用中具有优异的性能，具有较高的语义概念可解释性。
2021-05-21 cs.AI cs.LG
Disentangled Representation with Causal Constraints for Counterfactual Fairness
University of South Australia（南澳大学）；Simon Fraser University（西蒙弗雷泽大学）
针对公平表示学习忽视隐变量因果关系的问题，提出CF-VAE学习符合领域知识的结构化表示，理论保证反事实公平，并在实验中同时提升公平性与预测准确性。
2023-12-16 cs.AI cs.CY cs.LG
Theory and Evaluation Metrics for Learning Disentangled Representations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们对解纠缠学习做出了两个理论贡献：（a）定义解纠缠表示的精确语义;（b）建立鲁棒的评估指标。首先，我们描述的概念“解开表示”在监督和无监督的方法沿三个维度的信息性，可分性和可解释性-这可以表达和量化明确使用信息理论的结构。这有助于解释几个著名的解纠缠学习模型的行为。然后，我们提出了强大的度量信息，可分性和可解释性。通过一套全面的实验，我们证明了我们的指标正确地表征了通过不同方法学习的表示，并且与定性（视觉）结果一致。因此，这些指标允许在公平的基础上比较解纠缠学习方法。我们还根据经验发现了基于VAE的方法的新的有趣特性，并用我们的公式解释了它们。这些发现是有希望的，希望将鼓励设计更多的理论驱动的模型，学习解开表示。
2021-03-18 cs.LG stat.ML
The 1st International Workshop on Disentangled Representation Learning for Controllable Generation (DRL4Real): Methods and Results
本文回顾了ICCV 2025的DRL4Real研讨会，该会旨在弥合解耦表示学习理论与现实应用的差距，重点评估DRL在可控生成等实际场景中的鲁棒性与泛化性，并概述了9篇录用论文在引入归纳偏置、扩散模型应用及专业领域扩展等方面的方法与进展。
2025-08-15 cs.CV cs.LG
Disentangling Factors of Variation Using Few Labels
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究脑科学团队）
解纠缠表征的学习被认为是表示学习的基础问题。最近，Locatello等人（2019）证明，没有归纳偏见的无监督解缠学习在理论上是不可能的，现有的归纳偏见和无监督方法不允许一致地学习解缠表示。然而，在许多实际设置中，人们可能能够获得有限量的监督，例如通过在几个训练样本中手动标记（一些）变化因素。在本文中，我们调查了这种监督对最先进的解缠方法的影响，并进行了大规模的研究，在定义明确和可重复的实验条件下训练了52000多个模型。我们观察到，少量的标记示例（数据集的0.01- 0.5%），具有潜在的不精确和不完整的标签，足以在最先进的无监督模型上执行模型选择。此外，我们调查的好处，将监督纳入培训过程。总的来说，我们经验验证，很少和不精确的监督是可能的，可靠地学习解开表示。
2020-02-14 cs.AI cs.LG stat.ML
Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention
Applied Artificial Intelligence Lab, Oxford Robotics Institute, Oxford, UK（应用人工智能实验室，牛津机器人研究所，英国牛津）
提出一种结合因果表示学习和局部稀疏注意力的方法，从原始轨迹数据中无结构假设地解耦系统参数，并通过图论准则保证可辨识性。
2026-06-12 cs.LG
Towards Building A Group-based Unsupervised Representation Disentanglement Framework
Xi’an Jiaotong University（西安交通大学）；HKUST（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；EIT（电子与信息技术研究所）
解纠缠的表示学习是深度学习的主要目标之一，是实现可解释和可推广模型的关键步骤。基于VAE的无监督去纠缠方法是实现无监督去纠缠的一组流行方法，但缺乏明确的理论保证。基于群论的表示解纠缠的定义在数学上将数据转换与使用群的形式主义的表示联系起来。在本文中，建立在基于组的定义和启发的第n个二面角群，我们首先提出了一个理论框架，实现无监督表示解纠缠。然后，我们提出了一个模型，基于现有的基于VAE的方法，以解决框架的无监督学习问题。在理论框架中，我们证明了三个充分条件模型，组结构，数据分别在努力实现，在无监督的方式，每基于组的定义解开表示。在满足前两个条件和第三个条件的必要条件的情况下，我们从基于组的定义的角度为现有的基于VAE的模型提供了额外的约束。实验上，我们训练1800模型，涵盖了最突出的基于VAE的方法在五个数据集上，以验证我们的理论框架的有效性。与原始的基于VAE的方法相比，这些分组的VAE始终以较小的方差实现更好的平均性能。
2022-03-15 cs.CV cs.LG
Enriching Disentanglement: From Logical Definitions to Quantitative Metrics
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
本研究建立逻辑定义与解耦量化指标的代数关联，通过组合式替换方法推导有理论支撑的解耦指标，部分指标可直接作学习目标，并经实验验证了其有效性。
2024-10-31 cs.LG math.CT math.LO
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich（慕尼黑技术大学）
本文提出机制独立性原则，通过解耦表示中的机制作用来识别潜在子空间，建立独立性准则层级并提供图论特征描述，无需依赖统计假设。
2026-05-10 cs.LG stat.ML
A theoretical framework for deep locally connected ReLU network
Facebook AI Research（脸书人工智能研究院）
深度卷积神经网络（DCNN）是一种深度局部连接的非线性网络，尽管它在经验上取得了成功，但理解其理论性质仍然是一个难题。在本文中，我们为此类具有ReLU非线性的网络提出了一个新的理论框架。该框架明确地制定了数据分布，有利于解开表示，并与常见的正则化技术，如批规范兼容。该框架是建立在教师-学生设置，通过扩大学生的前向/后向传播到教师的计算图。由此产生的模型不会强加不切实际的假设（例如，高斯输入、激活的独立性等）。我们的框架可以帮助促进许多实际问题的理论分析，例如过拟合，泛化，深度网络中的解纠缠表示。
2018-09-28 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在表示学习中，学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中，我们专注于半监督解纠缠学习，并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.（2019）的工作。具体来说，在训练过程中，只要可用，我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发，该框架自然地激励了现有半监督VAE中常用的监督术语（但不用于解纠缠学习）。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms
University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文从独立因果机制角度定义因果解耦，提出ICM-VAE框架，利用非线性流函数建模因果机制并结合辅助标签学习解耦先验，理论上证明可辨识性，实验表明能提升干预鲁棒性与反事实生成能力。
2024-08-23 cs.LG stat.ML
An Identifiable Double VAE For Disentangled Representations
EURECOM（欧洲通信研究院）；SAP Labs France（SAP法国实验室）
关于学习解纠缠表示的大部分文献集中在变分自编码器（VAE）上。最近的发展表明，在完全无监督的环境中，如果没有对模型和数据的归纳偏见，就无法获得解纠缠。然而，Khemakhem等人，AISTATS，2020表明，采用特定形式的因子分解先验，有条件地依赖于补充输入观测的辅助变量，可能是一种这样的偏差，从而产生一个可识别的模型，并保证解纠缠。沿着这条线工作，我们提出了一种新的基于VAE的生成模型与理论保证的可识别性。我们通过学习一个最佳表示来获得潜在的条件先验，这对它们的正则化施加了额外的力量。我们还将我们的方法扩展到半监督设置。实验结果表明，优越的性能相对于国家的最先进的方法，根据几个既定的指标在文献中提出的解纠缠。
2021-02-10 cs.LG stat.ML
A Commentary on the Unsupervised Learning of Disentangled Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究院大脑团队）
解纠缠表示的无监督学习的目标是在没有监督的情况下分离数据中变化的独立解释因素。在本文中，我们总结了Locatello等人的结果，2019年，并专注于其对从业人员的影响。我们讨论的理论结果表明，无监督学习的解纠缠表示是根本不可能的，没有归纳偏见和它所带来的实际挑战。最后，我们对我们的实验结果进行了评论，强调了最先进方法的局限性和未来研究的方向。
2020-07-28 cs.AI cs.LG stat.ML
Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning
Mila（米拉研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机与运筹学系）；Université de Montréal（蒙特利尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
本文研究多任务学习中解耦表示与稀疏基预测器的协同关系，证明稀疏性带来可辨识性的条件，并提出双层优化与元学习算法，在小样本分类基准上取得竞争力结果。
2023-06-06 cs.LG stat.ML
Disentangled representations via score-based variational autoencoders
Center for Neural Science, New York University（纽约大学神经科学中心）；Center for Computational Neuroscience, Flatiron Institute（Flatiron研究所计算神经科学中心）；Center for Data Science, New York University（纽约大学数据科学中心）
SAMI通过结合扩散模型和VAEs的理论框架，实现无监督表示学习，能够从数据中提取有意义的结构信息，并在无需监督标签的情况下识别语义轴。
2025-12-18 cs.CV cs.LG stat.ML
A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究大脑团队）
\emph{disentangled}表示的\emph{unsupervised}学习背后的想法是，真实世界的数据是由一些解释性的变化因素生成的，这些变化因素可以通过无监督学习算法来恢复。在本文中，我们提供了一个冷静的看看在该领域的最新进展，并挑战一些常见的假设。我们首先从理论上证明了，如果模型和数据都没有归纳偏差，那么解纠缠表示的无监督学习从根本上是不可能的。然后，我们训练超过$14000$模型，涵盖最突出的方法和评估指标，在8个数据集的可重复的大规模实验研究。我们观察到，虽然不同的方法成功地执行属性“鼓励”相应的损失，以及解开模型似乎不能确定没有监督。此外，不同的评价指标并不总是同意什么应该被认为是“解开”，并在估计中表现出系统性的差异。最后，增加解纠缠似乎并不一定会导致下游任务学习的样本复杂性降低。我们的研究结果表明，未来的工作应该明确的诱导偏见和（隐式）监督的作用，调查的具体好处，强制解开的学习表示，并考虑一个可重复的实验设置，涵盖几个数据集。
2020-10-27 cs.LG stat.ML
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文以高斯混合模型为对象，首次从理论上分析扩散引导的作用，证明其在 DDPM 与 DDIM 等采样方案下会提升分类置信度并降低输出分布的微分熵与多样性。
2024-03-03 cs.LG stat.ML
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器（VAE）的框架，大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中，我们首先提出了一个新的学习目标，称为相关信息的原则变分自编码器（PRI-VAE），学习解开表示。然后，我们提出了一个信息理论的角度来分析现有的VAE模型，通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
ETH Zurich（苏黎世联邦理工学院）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
解纠缠表示的无监督学习背后的关键思想是，真实世界的数据是由几个解释变量的因素产生的，这些变量可以通过无监督学习算法来恢复。在本文中，我们提供了一个冷静的看看在该领域的最新进展，并挑战一些常见的假设。我们首先从理论上证明了，如果模型和数据都没有归纳偏差，那么解纠缠表示的无监督学习从根本上是不可能的。然后，我们训练超过12000个模型，涵盖了最突出的方法和评估指标，在7个不同的数据集上进行了可重复的大规模实验研究。我们观察到，虽然不同的方法成功地执行相应的损失的属性“adjudged”，以及解开模型似乎不能确定没有监督。此外，增加解纠缠似乎不会导致下游任务学习的样本复杂性降低。我们的研究结果表明，未来的工作应该明确的诱导偏见和（隐式）监督的作用，调查的具体好处，强制解开的学习表示，并考虑一个可重复的实验设置，涵盖几个数据集。
2019-06-18 cs.AI cs.LG stat.ML
Revisiting Factorizing Aggregated Posterior in Learning Disentangled Representations
Bosch China Investment Ltd（博世中国投资有限公司）；Bosch Center for AI（博世人工智能中心）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；School of Mathematical Sciences, Shanghai Jiaotong University（上海交通大学数学科学学院）；Department of Applied Mathematics, University of Colorado at Boulder（科罗拉多大学博尔德分校应用数学系）
在解纠缠表示的学习问题中，一种有前途的方法是通过惩罚采样潜变量的总相关性来分解聚合后验。然而，这种动机良好的策略有一个盲点：采样的潜在表示与其对应的平均表示之间存在差异。本文从理论上解释了样本表示的低全相关性并不能保证均值表示的低全相关性。事实上，我们证明了对于多元正态分布，具有任意高的总相关性的平均表示可以有一个相应的采样表示与有界的总相关性。我们还提出了一种方法来消除这种差异。实验表明，我们的模型可以学习总相关性低得多的平均表示，因此是因子分解的平均表示。此外，我们提供了一个详细的解释的限制因素分解聚合后验：因素解体。我们的工作为解纠缠学习的未来研究指明了一个潜在的方向。
2021-05-10 cs.AI cs.LG stat.ML
Disentangled Cumulants Help Successor Representations Transfer to New Tasks
DeepMind（深度思维）；University of Michigan（密歇根大学）
生物智能可以学习以数据有效的方式解决许多不同的任务，通过从一个任务到另一个任务重新使用基本知识和技能。此外，许多这样的技能是在没有明确监督的情况下以内在驱动的方式获得的。这与最先进的强化学习代理相反，后者通常从头开始学习每个新任务，并努力进行知识转移。在本文中，我们提出了一个原则性的方法来学习一组基本的政策，当通过广义的政策改进重组时，保证最终任务空间的覆盖范围。特别是，我们专注于解决基于目标的下游任务，其中动作的执行顺序并不重要。我们从理论上和经验上证明，学习少量的政策，达到内在指定的目标区域在一个解开的潜在空间可以重复使用，以快速实现高水平的性能指数更大数量的外部指定的，往往显着更复杂的下游任务。我们的学习管道包括两个阶段。首先，智能体学习在完全没有环境奖励的情况下执行内在生成的、基于目标的任务。其次，代理利用这种经验，在许多不同的外部指定任务上快速实现高水平的性能。
2019-11-25 cs.LG stat.ML
Weakly-Supervised Disentanglement Without Compromises
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
智能代理应该能够通过观察环境的变化来学习有用的表示。我们将这些观测值建模为非独立同分布对。共享至少一个潜在变化因素的图像。首先，我们从理论上证明，只知道有多少因素发生了变化，而不是哪些因素发生了变化，就足以学习解开纠缠的表征。第二，我们提供了实用的算法，从成对的图像中学习解纠缠的表示，而不需要注释组，单个因素或已改变的因素的数量。第三，我们进行了大规模的实证研究，并表明，这样的观察对是足够的，可靠地学习解纠缠表示在几个基准数据集。最后，我们评估了我们学到的表示，并发现它们同时适用于各种任务，包括协变量偏移下的泛化，公平性和抽象推理。总的来说，我们的研究结果表明，弱监督使学习有用的解纠缠表示在现实的情况下。
2020-10-20 cs.LG stat.ML
Weakly Supervised Disentanglement with Guarantees
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
学习与真实世界数据中的变化因素相对应的解纠缠表示对于可解释和人类可控的机器学习至关重要。最近，人们对以纯粹无监督的方式学习解缠表示的可行性的担忧促使人们转向弱监督。然而，目前还没有一种形式主义来确定何时以及如何通过监管不力来保证脱钩。为了解决这个问题，我们提供了一个理论框架，以协助分析解纠缠的保证（或缺乏）时，再加上基于分布匹配的学习算法的弱监督。我们实证验证了几种弱监督方法（限制标签，匹配配对和排名配对）的保证和限制，展示了我们的理论框架的预测能力和实用性。
2020-04-10 cs.LG stat.ML
Learning Disentangled Representations for Recommendation
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
推荐系统中的用户行为数据由用户决策过程背后的许多潜在因素的复杂交互驱动。这些因素是高度纠缠在一起的，并且可以从管理用户意图的高级因素到表征用户在执行意图时的偏好的低级因素。发现和解开这些潜在因素的学习表示可以带来增强的鲁棒性，可解释性和可控性。然而，从用户行为中学习这种分离的表示是具有挑战性的，并且在很大程度上被现有文献所忽视。在本文中，我们提出了MACRo-micro解纠缠变分自动编码器（MacridVAE）学习解纠缠表示用户行为。我们的方法通过推断与用户意图相关联的高级概念（例如，购买衬衫或手机），同时分别捕获用户关于不同概念的偏好。然后，源自VAE的信息论解释的微解纠缠正则化器迫使表示的每个维度独立地反映孤立的低水平因子（例如，衬衫的尺寸或颜色）。实证结果表明，我们的方法可以实现实质性的改善，超过国家的最先进的基线。我们进一步证明，学习的表示是可解释和可控的，这可能会导致一个新的范例推荐，用户被赋予细粒度的控制目标方面的推荐列表。
2019-10-31 cs.IR cs.LG stat.ML
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Wells Fargo（富国银行）
针对现有解耦表示学习中解耦效果与重构质量的权衡问题，提出多阶段建模方法，先学习解耦因子再用生成模型补充相关潜在变量细节，在多基准上实现同等解耦性能下更高重构质量，还可用于合成表格数据生成。
2024-11-04 cs.CV cs.LG stat.ML
Disentangled Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
信息瓶颈（IB）方法是用于从源随机变量提取与预测目标随机变量相关的信息的技术，其通常通过优化平衡压缩项和预测项的IB拉格朗日来实现。然而，IB拉格朗日函数很难优化，并且需要多次尝试调整拉格朗日乘子的值。此外，我们表明，预测性能严格降低，因为压缩变得更强，在优化IB拉格朗日。在本文中，我们实现了IB方法的监督解开的角度。具体来说，我们引入了解纠缠信息瓶颈（DisenIB），它在最大限度地压缩源而不损失目标预测性能（最大压缩）上是一致的。理论和实验结果表明，该方法在最大压缩率上具有一致性，在泛化能力、对抗攻击鲁棒性、分布外检测和监督解缠等方面表现良好.
2020-12-22 cs.IT cs.LG math.IT
Disentangled Graph Representation Based on Substructure-Aware Graph Optimal Matching Kernel Convolutional Networks
针对现有图表示方法结构刻画粗糙的问题，提出GOMKCN，以子图为结构因子，用GOMK卷积算子度量子图与可学习滤波器的相似性，实现解耦表示，提升图模式挖掘的准确性与可解释性。
2025-04-23 cs.LG
How to Not Measure Disentanglement
Vienna University of Technology（维也纳工业大学）；Microsoft Research AI（微软研究院AI部门）；University of Amsterdam（阿姆斯特丹大学）
为了评估解纠缠表示，已经提出了几个度量。然而，传统的解纠缠度量的理论保证是缺失的。此外，传统的度量标准与定性研究的结果没有一致的相关性。本文分析了非纠缠度规及其性质。我们的结论是，现有的解纠缠指标是为了反映解纠缠的不同特征而创建的，并且不满足两个基本的理想属性：（1）根据定义为解纠缠的表示分配高分;以及（2）根据定义为纠缠的表示分配低分。此外，我们提出了一个新的解纠缠度量，并证明它满足这两个性质。
2021-03-24 cs.LG stat.ML
Improving Classifier-Free Guidance in Masked Diffusion: Low-Dim Theoretical Insights with High-Dim Impact
Georgia Institute of Technology（佐治亚理工学院）；Sony AI（索尼人工智能）
本文提出了一种改进的分类器自由引导方法，通过理论分析和实验验证，解决了早期采样阶段引导过强导致的生成质量下降问题，并通过简单代码调整提升了样本质量。
2026-03-02 cs.AI cs.LG stat.ML
Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning
Dartmouth College（达特茅斯学院）；UCSD（加利福尼亚大学圣迭戈分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出与模型无关的DISGEN框架，通过尺寸/任务不变增强和解耦损失从图表示中分离尺寸因素，在真实数据集上比现有最优模型提升最高6%的尺寸泛化性能。
2024-06-11 cs.LG
Information-Theoretic Classifier-Free Guidance with Adaptive Schedule Optimization
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of Rochester（罗彻斯特大学）
针对扩散模型中分类器自由引导（CFG）导致的多样性-覆盖权衡问题，提出基于信息论的CFG调度优化框架，通过清洁端点参考优化实际分布，在ImageNet-512和COCO上实现竞争性权衡。
2026-06-24 cs.LG
Understanding disentangling in $β$-VAE
DeepMind（深度思维）
我们提出了新的直觉和理论评估的出现，解开表示变分自动编码器。以率失真理论的角度来看，我们显示的情况下，表示对齐的基础生成因素的变化数据出现时，优化修改后的ELBO约束在$β$ -VAE，随着训练的进展。从这些见解，我们提出了一个修改的训练制度的$β$ -VAE，逐步增加的信息容量的潜在代码在训练过程中。这种修改有利于在$β$ -VAE中的解纠缠表示的鲁棒学习，而无需先前在重建精度上的权衡。
2018-04-10 cs.AI cs.LG stat.ML
Disentangling Representations through Multi-task Learning
California Institute of Technology（加州理工学院）
本文提出通过多任务证据累积分类学习可保证解耦表征的涌现，实验验证RNN和transformers能以连续吸引子形式实现零样本分布外泛化，揭示了多任务能力与可解释世界模型形成的联系。
2025-03-02 cs.AI cs.LG q-bio.NC
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University（耶鲁大学）
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素，通过理论分析和在MNIST变体等数据集上的实验，证明单个量子比特可作为有意义的可解释潜在因素，为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
What does guidance do? A fine-grained analysis in a simple setting
Duke University（杜克大学）；MIT（麻省理工学院）；Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究严格证明了扩散模型中的引导机制无法从预期的倾斜分布中采样，并在混合紧支撑分布与混合高斯分布两种情形下，揭示了增大引导参数会使采样偏向条件分布支撑集边界甚至偏离支撑集，从而解释了大引导导致生成失真的现象，并为实际部署提供了理论指导。
2024-09-19 cs.CV cs.LG stat.ML
REG: Rectified Gradient Guidance for Conditional Diffusion Models
Massachusetts Institute of Technology（麻省理工学院）
本文提出校正梯度引导（REG），通过修正理论无效的缩放边际分布目标为联合分布目标，提升条件扩散模型性能，实验证明其在多个任务上优于现有引导方法。
2025-05-22 cs.AI cs.CV cs.LG
Analyzing Generative Models by Manifold Entropic Metrics
Heidelberg University（海德堡大学）
本文提出一组基于独立机制原理的信息论评估指标，用于客观量化生成模型表征的解耦程度，并在EMNIST上比较归一化流与β-VAE，揭示了不同架构和训练过程收敛到解耦表征的归纳偏置排序。
2025-04-07 cs.LG stat.ML
A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification
CentraleSupélec（巴黎中央理工-高等电力学院）；Telecom Paris（巴黎电信学院）；Inria Saclay（法国国家信息与自动化研究所萨克莱分部）；CNRS（法国国家科学研究中心）
本文提出一种名为CLINIC的无参数信息论正则化器族，通过最小化潜在表征与敏感属性间的条件互信息实现解耦，在2k神经网络实验中展现出更优的解耦/精度权衡与泛化能力。
2023-10-21 cs.CL cs.LG
Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
如果我们能开发出一种方法来去除分类特征中隐藏的敏感信息，那么公平分类的问题就可以得到缓解。这条分离敏感信息的线是通过因果推理发展起来的，因果推理使反事实世代能够对比相反敏感属性的假设情况。随着这种与因果关系的分离，深层潜在因果模型中的一个频繁假设定义了一个单一的潜在变量来吸收因果图的整个外生不确定性。然而，我们声称这种结构不能区分1）由干预引起的信息（即，敏感变量）和2）来自数据的与干预相关的信息。因此，本文提出了解纠缠因果效应变分自编码器（DCEVAE）来解决这一局限性，它将外生不确定性分解为两个潜在变量：1）与干预措施无关; 2）与干预措施相关而无因果关系。特别是，我们的解开方法保留了潜在的变量相关的干预措施，在生成反事实的例子。我们表明，我们的方法估计的总效果和反事实的效果没有一个完整的因果图。通过添加公平正则化，DCEVAE生成反事实公平数据集，同时丢失较少的原始信息。此外，DCEVAE仅通过翻转敏感信息来生成自然的反事实图像。此外，我们从理论上展示了DCEVAE的协方差结构的差异和以前的工作的潜在的解纠缠的角度来看。
2020-12-09 cs.AI cs.LG
Informative GANs via Structured Regularization of Optimal Transport
Technical University of Munich（慕尼黑工业大学）
我们从正则化最优传输（OT）的角度来解决生成对抗网络（GANs）中的解纠缠表示学习的挑战。具体而言，平滑的OT损失引起潜在空间和数据空间之间的隐式传输计划。基于这一理论观察，我们利用一个结构化的正则化的运输计划，鼓励规定的潜在子空间是信息。这产生了一个新的信息OT为基础的GAN的配方。通过凸对偶，我们得到了等价的观点，这导致扰动地面成本有利于稀疏的信息潜在的尺寸。实际上，我们设计了一个稳定的训练算法，建议的信息GAN。我们的实验支持这一假设，即这种正规化有效地产生发现解开和可解释的潜在表示。我们的工作展示了一个正规化的OT框架的生成建模的背景下，通过其访问运输计划的潜在力量。在这方面还处理了进一步的挑战。
2019-12-04 cs.LG stat.ML
