Guided Variational Autoencoder for Disentanglement Learning
Tsinghua University（清华大学）；UC San Diego（加州大学圣地亚哥分校）；Qualcomm, Inc.（高通公司）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种算法，引导变分自编码器（Guided-VAE），这是能够学习一个可控的生成模型，通过执行潜在表示解纠缠学习。学习的目标是通过提供信号的潜在的编码/嵌入VAE不改变其主要骨干架构，从而保持所需的属性的VAE。我们在Guided-VAE中设计了一个无监督策略和一个有监督策略，并观察到增强的建模和控制能力。在无监督策略中，我们通过引入学习潜在几何变换和主成分的轻量级解码器来指导VAE学习;在有监督策略中，我们使用对抗性激励和抑制机制来鼓励潜在变量的解开。Guided-VAE对于一般的表示学习任务以及解纠缠学习具有透明性和简单性。在表示学习的许多实验中，已经观察到元学习中改进的合成/采样、更好的分类解缠以及减少的分类错误。
2020-04-02 cs.CV cs.LG
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题，本文提出AFD，通过特征解耦器分离并消除对抗样本的特定潜在特征，同时对齐干净特征，在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London（伦敦大学学院）
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时，这个问题尤其严重。在本文中，我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器（VAE），鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明，国家的最先进的方法，潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成，同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
Image Style Transfer and Content-Style Disentanglement
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种学习解纠缠的内容风格的图像表示的方法，使我们能够外推图像到任何风格，以及任何对风格之间的插值。通过在有监督的环境中增加数据集并施加三元组损失，我们确保了由内容和风格表示编码的信息的分离。我们还利用循环一致性损失来保证图像可以忠实地重建他们的代表。
2021-11-25 cs.CV cs.LG
Variational Inference of Disentangled Latent Concepts from Unlabeled Observations
IBM Research AI（IBM研究人工智能部门）；Yorktown Heights, NY（纽约州约克镇高地（这里注意：根据提取规则，地址信息不应提取，但原HTML中“Affiliation: Yorktown Heights, NY”可能是地址而非机构，结合上下文，正确机构应为“IBM Research AI”，另一个“Affiliation”可能是地址或重复，需确认。但根据提取规则，只提取明确的机构。原文本中明确的机构是“IBM Research AI”，“Yorktown Heights, NY”是地点，非机构。因此正确应为[{）
解纠缠表示，其中更高层次的数据生成因素反映在不相交的潜在维度，提供了几个好处，如易于导出不变表示，可转移到其他任务，可解释性等，我们考虑的问题，从大池的未标记的观察解纠缠表示的无监督学习，并提出了一个变分推理为基础的方法来推断解纠缠的潜在因素。我们引入了一个正则化的近似后验的期望超过观察到的数据，鼓励解开。我们还提出了一个新的解纠缠度量，这是更好地与定性解纠缠解码器的输出中观察到。我们凭经验观察显着改善现有的方法在两个解纠缠和数据的可能性（重建质量）。
2018-12-27 cs.AI cs.CV cs.LG
Improving Style-Content Disentanglement in Image-to-Image Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
近年来，无监督图像到图像翻译方法取得了巨大的成功。然而，可以很容易地观察到，他们的模型包含显着的纠缠，这往往会损害翻译性能。在这项工作中，我们提出了一个原则性的方法，以提高风格内容解开图像到图像的翻译。通过考虑进入每个表示的信息流，我们引入了一个额外的损失项，作为内容瓶颈。我们表明，我们的方法的结果是显着更解开比目前的方法产生的，同时进一步提高视觉质量和翻译的多样性。
2020-07-09 cs.CV cs.LG
Video Reenactment as Inductive Bias for Content-Motion Disentanglement
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
低维表示中的独立分量是几个下游任务中的重要输入，并对观察到的数据提供解释。基于视频的解纠缠的变化因素提供了低维的表示，可以识别和用于饲料特定于任务的模型。我们引入MTC-VAE，一个自监督的运动传输VAE模型，从视频中分离运动和内容。与以往的视频内容运动解纠缠的工作不同，我们采用了一个块明智的建模方法，并利用时空邻域中包含的运动信息。我们的模型产生独立的每块表示，保持时间的一致性。因此，我们在一次向前传递中重建整个视频。我们扩展了ELBO的对数似然项，并包括一个盲重演损失作为一个感应偏差，以利用运动解纠缠，假设交换运动功能产生两个视频之间的重演。我们评估我们的模型与最近提出的解纠缠指标，并表明它优于各种视频运动内容解纠缠的方法。视频重现实验表明，我们的解纠缠的输入空间，我们的模型优于基线重建质量和运动对齐的有效性。
2022-02-18 cs.CV cs.LG
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London（伦敦大学学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于谱几何的新型损失函数，通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影，实现了局部形状属性的解耦生成，在保持良好生成能力和相当训练时间的同时，显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
Latent Disentanglement for Low Light Image Enhancement
P.C. Rossin College of Engineering and Applied Science, Lehigh University（利哈伊大学P.C.罗森工程与应用科学学院）；Qualcomm Technologies, Inc.（高通技术公司）
针对基于Retinex的低光照图像增强算法存在分解伪影限制性能的问题，提出潜在解耦增强网络LDE-Net，在潜在空间解耦图像并设计内容感知嵌入模块引导增强，还可拓展至下游轻量增强任务，性能优于现有方法。
2024-08-12 cs.CV
Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization
Cornell University（康奈尔大学）
最近在表示学习方面取得了许多进展;然而，无监督的表示学习仍然可以解决与潜在空间旋转相关的模型识别问题。变分自动编码器（VAE）及其扩展，如$β$ -VAE已被证明可以改善潜在变量与PCA方向的局部对齐，这有助于在某些条件下改善模型解纠缠。借鉴独立分量分析（ICA）和稀疏编码的灵感，我们建议在训练过程中对VAE的生成雅可比矩阵应用$L_1$损失，以鼓励局部潜变量与多个对象或多个部分的图像中的独立变化因素对齐。我们展示了我们的结果在各种数据集上，使用信息理论和模块化措施，表明我们增加的$L_1$成本鼓励本地轴对齐的潜在代表与个别因素的变化，给出定性和定量的结果。
2021-10-27 cs.CV cs.LG
High-resolution Face Swapping via Latent Semantics Disentanglement
South China University of Technology（华南理工大学）；Tencent（腾讯）；Cardiff University（卡迪夫大学）；The University of Hong Kong（香港大学）
我们提出了一种新的高分辨率人脸交换方法，使用预先训练的GAN模型的固有先验知识。虽然以前的研究可以利用生成先验来产生高分辨率的结果，但它们的质量可能会受到潜在空间的纠缠语义的影响。我们明确地解开潜在的语义，利用渐进性质的生成器，从浅层和更深的外观属性派生的结构属性。通过引入地标驱动的结构转移潜在方向，进一步分离结构属性中的身份和姿态信息。解开的潜在代码产生丰富的生成特征，这些生成特征结合特征混合以产生合理的交换结果。我们进一步扩展我们的方法，视频人脸交换的潜在空间和图像空间上执行两个时空约束。大量的实验表明，该方法优于国家的最先进的图像/视频人脸交换方法的幻觉质量和一致性。代码可以在https://github.com/cnnlstm/FSLSD_HiRes上找到。
2022-03-30 cs.AI cs.CV
Geometric Disentanglement for Generative Latent Shape Models
University of Toronto（多伦多大学）；Vector Institute for AI（矢量人工智能研究院）；Samsung AI Center Toronto（多伦多三星人工智能中心）；Samsung Research America, Inc.（美国三星研究公司）
三维形状表示是人工智能的一个基本问题，在计算机视觉和图形学中有着广泛的应用。最近开始探索的一条途径是使用生成模型的潜在表示。然而，它仍然是一个开放的问题，学习一个生成模型的形状，是可解释的，易于操纵，特别是在没有监督标签。在本文中，我们提出了一种无监督的方法来划分的潜在空间的变分自编码器的三维点云在一个自然的方式，只使用几何信息。我们的方法利用工具从谱微分几何分离的内在和外在的形状信息，然后考虑几个层次的解纠缠的处罚，以这种方式划分的潜在空间，包括一个新的惩罚雅可比矩阵的解码输出的潜在表示相对于潜在的编码。我们表明，由此产生的表示具有直观和可解释的行为，使任务，如姿势转移和姿势感知形状检索，不能很容易地执行的模型与纠缠表示。
2019-08-18 cs.CV cs.LG eess.IV
CoDeGAN: Contrastive Disentanglement for Generative Adversarial Network
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对GAN无监督解耦中的模式崩溃问题，提出CoDeGAN，通过将解耦约束从图像域放宽至特征域并集成自监督预训练，提升了训练稳定性与解耦能力，在多个基准上优于现有方法。
2024-05-31 cs.AI cs.CV cs.LG
Orthogonal SVD Covariance Conditioning and Latent Disentanglement
University of Trento（特伦托大学）；Beijing Jiaotong University（北京交通大学）
在神经网络中插入奇异值分解元层容易使协方差出现病态，从而影响模型的训练稳定性和泛化能力。在本文中，我们系统地研究了如何提高协方差条件，通过强制正交的Pre-SVD层。现有的正交处理的权重首先进行了研究。然而，这些技术可以改善条件，但会损害性能。为了避免这样的副作用，我们提出了最近正交梯度（NOG）和最佳学习率（OLR）。我们的方法的有效性进行了验证，在两个应用程序：去相关的批量归一化（BN）和全球协方差池（GCP）。大量的视觉识别实验表明，我们的方法可以同时提高协方差调节和泛化。正交权值的组合可以进一步提高性能。此外，我们表明，我们的正交技术可以通过一系列的实验在各种基准生成模型更好地潜在的解纠缠。代码可从以下网址获得：\href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}。
2022-12-11 cs.CV cs.LG
Measuring the Biases and Effectiveness of Content-Style Disentanglement
University of Edinburgh（爱丁堡大学）；IMT School for Advanced Studies Lucca（卢卡高等研究院）；Canon Medical Research Europe Ltd.（佳能医疗欧洲研究有限公司）；The Alan Turing Institute（艾伦·图灵研究所）
最近一系列最先进的半监督和无监督解决方案将图像“内容”分解并编码为空间张量，并将图像外观或“风格”编码为向量，以在空间等变任务（例如，图像到图像的翻译）中实现良好的性能。为了实现这一目标，他们采用不同的模型设计，学习目标和数据偏差。虽然已经做出了相当大的努力来测量矢量表示中的解纠缠，并评估其对任务性能的影响，但缺乏对（空间）内容风格解纠缠的这种分析。本文通过一项实证研究，考察了不同偏向在内容风格解纠缠情境中的作用，并揭示了解纠缠程度与任务绩效之间的关系。特别是，我们考虑的设置，我们：（一）确定关键的设计选择和学习约束三个流行的内容风格的解纠缠模型;（二）放松或删除这种约束的消融方式;和（三）使用两个指标来衡量解纠缠的程度，并评估其对每个任务的性能。我们的实验表明，有一个“甜蜜点”之间的解纠缠，任务性能和-令人惊讶的-内容的可解释性，这表明，盲目地强迫更高的解纠缠会伤害模型的性能和内容因素的语义。我们的研究结果，以及所使用的任务无关的指标，可以用来指导设计和选择的新模型的任务，内容风格的表示是有用的。
2021-09-15 cs.CV
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，丹麦南部大学）；Department of Computer Engineering, Istanbul Technical University（计算机工程系，伊斯坦布尔技术大学）；Department of AI and Data Engineering, Istanbul Technical University（人工智能与数据工程系，伊斯坦布尔技术大学）
本文提出FactorQVAE，通过全局码本标量量化和总相关归纳偏置，将离散表示学习与解耦优化结合，在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
Review of Disentanglement Approaches for Medical Applications -- Towards Solving the Gordian Knot of Generative Models in Healthcare
Institute for AI in Medicine (IKIM), University Medicine Essen（埃森大学医学人工智能研究所（IKIM））；Computer Vision and Learning Lab (CVL), Heidelberg University（海德堡大学计算机视觉与学习实验室（CVL））
深度神经网络通常用于医学目的，例如图像生成、分割或分类。除此之外，它们经常被批评为黑箱，因为它们的决策过程通常不是人类可以解释的。鼓励生成模型的潜在表征被解开，提供了控制和可解释性的新视角。了解数据生成过程可以帮助创建人工医疗数据集，而不会侵犯患者隐私，合成不同的数据模态或发现数据生成特征。这些特征可能会揭示与遗传特征或患者结局相关的新关系。在本文中，我们对流行的生成模型进行了全面的概述，如生成对抗网络（GANs），变分自编码器（VAE）和基于流的模型。此外，我们总结了不同的概念去纠缠，审查方法去纠缠潜在的空间表示和度量来评估的程度去纠缠。在介绍了理论框架之后，我们概述了最近的医学应用，并讨论了解纠缠方法对医学应用的影响和重要性。
2022-03-21 cs.AI cs.CV cs.LG
Gated Variational AutoEncoders: Incorporating Weak Supervision to Encourage Disentanglement
University of Surrey（萨里大学）
变分自编码器（VAE）提供了一种生成代表性潜在嵌入的方法。以前的研究已经强调了实现分离的表征的好处，特别是对于下游任务。然而，关于如何鼓励与VAE的解纠缠存在一些争论，并且有证据表明，VAE的现有实现没有一致地实现解纠缠。对VAE的潜在空间被分解得有多好的评估通常是根据我们对给定问题应该分解哪些属性的主观期望来评估的。因此，根据定义，我们已经有了应该实现的领域知识，但我们使用无监督的方法来实现它。我们提出了一种弱监督的方法，将任何可用的领域知识纳入训练过程中，形成Gated-VAE。该过程涉及分割代表性嵌入和门控反向传播。所有分区都用于前向传递，但梯度根据选定的图像/目标配对通过不同的分区反向传播。该方法可以用来修改现有的VAE模型，如beta-VAE，InfoVAE和DIP-VAE-II。实验表明，使用门控反向传播，潜在的因素表示在其预期的分区。该方法适用于面部图像的目的是解开头部姿势从面部表情。定量指标表明，使用Gated-VAE提高了平均解纠缠，完整性和信息量，与un-gated实现相比。潜在的遍历定性评估表明，即使只有弱/嘈杂的监督是可用的，它的解纠缠的头部姿势从表达。
2019-11-15 cs.CV cs.LG
Face Identity Disentanglement via Latent Space Mapping
Tel-Aviv University（特拉维夫大学）；Alibaba Cloud Intelligence Business Group（阿里云智能事业群）
学习数据的解纠缠表示是人工智能的一个基本问题。具体来说，解纠缠的潜在表征允许生成模型控制和合成的解纠缠的因素在合成过程中。然而，目前的方法需要广泛的监督和培训，或者相反，明显损害质量。在本文中，我们提出了一种学习如何以一种解脱的方式表示数据的方法，只需最少的监督，仅使用可用的预训练网络。我们的关键见解是通过采用领先的预训练无条件图像生成器（如StyleGAN）来解耦解纠缠和合成的过程。通过学习映射到其潜在空间，我们利用其最先进的质量，以及其丰富和富有表现力的潜在空间，而无需训练它。我们展示了我们在人类头部的复杂和高维域上的方法。我们评估我们的方法定性和定量，并展示其成功与去识别操作和时间身份的一致性图像序列。通过大量的实验，我们证明了我们的方法成功地将身份从其他面部属性中分离出来，超越了现有的方法，尽管它们需要更多的训练和监督。
2020-10-19 cs.CV cs.GR cs.LG
Density-aware Haze Image Synthesis by Self-Supervised Content-Style Disentanglement
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
通过对抗训练进行haze图像翻译的关键过程在于将只参与haze合成的特征i.e.style特征与代表不变语义内容的特征即内容特征之间的纠缠解开。以往的方法都是在训练过程中利用内容特征对雾霾图像进行分类，从而将内容特征分离出来。然而，在本文中，我们认识到在这样的技术例程的内容风格的解开的不完整性。有缺陷的风格特征与内容信息纠缠在一起，不可避免地会导致雾霾图像的渲染效果不佳。为了解决这个问题，我们提出了一种自监督的风格回归方法，通过随机线性插值来减少风格特征中的内容信息。烧蚀实验证明了解缠的完整性及其在层次感知雾霾图像合成中的优越性。此外，生成的雾霾数据被应用于车辆检测器的测试泛化。进一步研究了雾霾对车辆检测器性能的影响，结果表明，雾霾对车辆检测器的泛化能力有明显的影响，且检测器的泛化能力下降程度与雾霾程度呈线性相关，从而验证了该方法的有效性。
2021-11-25 cs.CV cs.LG
Self-supervised Enhancement of Latent Discovery in GANs
TCS Research（塔塔咨询服务研究部）；Flytxt Mobile Solutions（Flytxt 移动解决方案公司）；Indian Institute of Space Science and Technology（印度空间科学技术研究所）
已经提出了几种用于在预训练的GANs的潜在空间中发现可解释方向的方法。由无监督方法发现的潜在语义比监督方法相对较少，因为它们不使用预先训练的属性分类器。我们提出了规模排名估计（SRE），这是使用自我监督训练。SRE增强了现有的无监督解缠技术获得的方向上的解缠。这些方向被更新以保持潜在空间中每个方向内的变化的顺序。定性和定量评估发现的方向表明，我们提出的方法显着提高了各种数据集的解纠缠。我们还表明，学习SRE可以用来执行基于属性的图像检索任务，而无需进一步的训练。
2021-12-16 cs.CV cs.LG
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
我们提出了一系列新型分层贝叶斯深度自动编码器模型，能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内，他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是，解开的潜在变量负责的主要来源的变异性，相关因素，可以更适当地使用长尾分布建模。另一方面，典型的高斯先验更适合于滋扰因素的建模。出于这一动机，我们通过引入高斯潜在先验方差的超先验，模仿无限混合，同时保持传统VAE的易处理的学习和推理，将VAE扩展到分层贝叶斯模型。这一分析表明，以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型，被称为贝叶斯因子VAE，表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
Diagonal Attention and Style-based GAN for Content-Style Disentanglement in Image Generation and Translation
Korea Advanced Institute of Science & Technology (KAIST)（韩国高等科学技术研究院（KAIST））
图像生成模型的一个重要研究课题是将空间内容和空间风格分离，分别控制。虽然StyleGAN可以从随机噪声中生成内容特征向量，但由此产生的空间内容控制主要用于较小的空间变化，并且全局内容和样式的分离绝不是完全的。受归一化和注意力的数学理解的启发，在这里，我们提出了一种新的分层自适应对角线空间注意力（DAT）层，以分层的方式分别操纵空间内容的样式。使用DAT和AdaIN，我们的方法使粗到细的空间内容和风格的层次解开。此外，我们的生成器可以很容易地集成到GAN反演框架中，以便可以灵活地控制来自多域图像翻译任务的翻译图像的内容和风格。通过使用各种数据集，我们证实，所提出的方法不仅优于现有的模型在解纠缠分数，但也提供了更灵活的控制空间特征生成的图像。
2021-07-23 cs.CV
CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement
针对深度生成模型易编码敏感属性引发公平性问题、且天然相关因素下严格独立解耦不现实的问题，提出CAD-VAE通过相关潜码与条件互信息最小化实现公平解耦，实验验证其表征、反事实生成与公平编辑效果更优。
2025-11-15 cs.CV cs.LG stat.ME
WikiStyle+: A Multimodal Approach to Content-Style Representation Disentanglement for Artistic Image Stylization
Xidian University（西安电子科技大学）
针对现有艺术图像风格化方法依赖图像监督导致的单模态限制和解耦不彻底问题，本文构建WikiStyle+多模态数据集，提出解耦表示引导的扩散模型，实现更精细且符合参考风格艺术特征的风格化。
2025-04-12 cs.CV
MIND: Decoupling Model-Induced Label Noise via Latent Manifold Disentanglement
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing 210023, China（新型软件技术国家重点实验室，南京大学，南京210023，中国）
MIND通过潜在流形解耦技术解决模型诱导标签噪声问题，通过动态投影样本到潜在结构聚类，提升噪声识别能力，验证了其在复杂基准测试中的优越性。
2026-05-15 cs.CV cs.LG
Unsupervised Geometric Disentanglement for Surfaces via CFAN-VAE
Rensselaer Polytechnic Institute（伦斯勒理工学院）
几何解纠缠，内在（即身份）和外在（即姿态）几何的潜在代码的分离，是非欧几里德数据的生成模型，如3D可变形模型的一个突出任务。它为潜在空间提供了更大的可解释性，并导致了对生成的更多控制。这项工作介绍了一个网格功能，共形因子和正常功能（CFAN），用于网格卷积自动编码器。我们进一步提出CFAN-VAE，一种新的架构，解开身份和构成使用CFAN功能。CFAN-VAE在训练过程中不需要身份或姿态的标签信息，以无监督的方式实现几何解纠缠。我们的综合实验，包括重建，插值，生成和身份/姿态转移，证明CFAN-VAE实现了最先进的性能无监督的几何解纠缠。我们还成功地检测到网格卷积自动编码器中的几何解纠缠水平，该编码器通过将其潜在空间注册到CFAN-VAE的潜在空间来直接编码xyz坐标。
2020-12-10 cs.CG cs.CV cs.GR
Mitigating Shortcut Learning via Feature Disentanglement in Medical Imaging: A Benchmark Study
Hertie Institute for AI in Brain Health, Faculty of Medicine, University of Tübingen, Germany（德国图宾根大学医学系希特研究所，人工智能在脑健康中的应用）
本文通过特征解耦方法缓解医学影像中的捷径学习，评估了对抗学习和潜在空间分割等方法，发现结合数据与模型中心的解耦策略能更有效抑制捷径学习，同时保持计算效率。
2026-04-14 cs.CV cs.LG
InfoStyler: Disentanglement Information Bottleneck for Artistic Style Transfer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出 InfoStyler，通过信息瓶颈与跨域重构策略实现内容与风格特征的清晰解耦，有效平衡艺术风格迁移中的内容保持与风格丰富度。
2023-07-30 cs.CV
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.（InterDigital公司）
生成对抗网络（GANs）已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中，我们发现，面部属性解纠缠不是最佳的，因此，依赖于线性属性分离的面部编辑是有缺陷的。因此，我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示，我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
Unsupervised Disentanglement with Tensor Product Representations on the Torus
Tel-Aviv University（特拉维夫大学）；Univrses；Simons Center for Geometry and Physics（西蒙斯几何与物理中心）
提出用环面潜在空间上的张量积表示替代向量表示，实现无监督解缠，实验证明在解缠性、完整性和信息性上优于传统方法。
2022-02-13 cond-mat.dis-nn cs.CV cs.LG
Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder
Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于改进变分自编码器的无监督多域翻译方法，通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素，在多个视觉数据集上验证了其优于GAN类方法的性能，并证明了解耦的有效性。
2024-01-18 cs.CV cs.LG
Content Disentanglement for Semantically Consistent Synthetic-to-Real Domain Adaptation
TUM（慕尼黑工业大学）；BMW AG（宝马股份公司）；Google（谷歌）
合成数据生成是自动驾驶中生成新交通场景的一种有吸引力的方法。然而，仅在合成数据上训练的深度学习感知算法在真实数据上进行测试时会遇到严重的性能下降。这种性能下降通常归因于真实数据和合成数据之间的域间隙。已经应用于减轻上述领域差距的领域自适应方法实现了视觉上吸引人的结果，但是通常将语义不一致引入到翻译样本中。在这项工作中，我们提出了一种新的，无监督的，端到端的领域自适应网络架构，使语义一致的\textit{sim2real}图像传输。我们的方法通过采用共享内容编码器和固定样式的代码来执行内容解纠缠。
2021-08-03 cs.CV
Simple Disentanglement of Style and Content in Visual Representations
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）
本文提出一种基于概率模型的简单后处理框架，从预训练视觉表示中解耦内容与风格，并在风格相关分布偏移下显著提升领域泛化性能。
2023-05-31 cs.CV cs.LG stat.ML
Demystifying Inter-Class Disentanglement
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
学习如何在一组观测数据中找出隐藏的变异因素是人工智能的一项关键任务。我们提出了一个统一的制定类和内容解开，并用它来说明目前的方法的局限性。因此，我们介绍洛德，一种新的方法，基于潜在的优化表示解开。我们发现，潜在的优化，以及非对称噪声正则化，是优于摊销推理实现解开表示。在广泛的实验中，我们的方法被证明比使用相同监督级别的对抗性和非对抗性方法实现更好的解纠缠性能。我们进一步介绍了一种基于聚类的方法，用于扩展我们的方法，用于在域翻译任务上表现出有希望的结果的类内变化的设置。
2020-02-18 cs.CV cs.LG stat.ML
Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
从原始图像中学习视觉概念而没有强有力的监督是一项具有挑战性的任务。在这项工作中，我们展示了原型表征的优势，用于理解和修改神经概念学习者的潜在空间。为此，我们引入了交互式概念交换网络（iCSNs），一个新的框架，通过弱监督和隐式原型表示学习概念接地表示。iCSN通过交换成对图像的潜在表示来学习将概念信息绑定到特定的原型插槽。这种语义上接地和离散的潜在空间有利于人类的理解和人机交互。我们支持这一主张进行实验，我们的新数据集“基本概念推理”（ECR），专注于视觉概念共享的几何对象。
2022-03-29 cs.CV cs.LG
Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition
本文提出VLEED方法，通过变分自编码器解耦人脸嵌入中的身份信息与性别、种族等属性，提升隐私和公平性。
2026-04-13 cs.CV
Controllable Video Generation with Provable Disentanglement
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现有可控视频生成方法忽略细粒度时空关系、控制精度与效率受限的问题，提出具有可证明解耦性的CoVoGAN框架，通过解耦静动态潜变量实现可控生成，实验验证其在生成质量和可控性上的显著提升。
2025-10-04 cs.AI cs.CV cs.LG
Disentanglement of Biological and Technical Factors via Latent Space Rotation in Clinical Imaging Improves Disease Pattern Discovery
Computational Imaging Research Lab, Department for Biomedical Imaging and Image-guided Therapy（生物医学成像与影像引导治疗部门计算成像研究实验室）；Comprehensive Center for Artificial Intelligence in Medicine（医学人工智能综合中心）；Division of General and Pediatric Radiology, Department for Biomedical Imaging and Image-guided Therapy（普通放射科与儿科放射科，生物医学成像与影像引导治疗部门）；Medical University of Vienna（维也纳医学大学）
提出一种通过事后旋转潜在空间主动学习域偏移的方法，实现生物学与技术因素解耦，在真实临床数据上显著提升聚类一致性并增强Cox生存预测，促进多中心影像生物标志物发现。
2025-09-14 cs.CV cs.LG
Render, Don't Decode: Weight-Space World Models with Latent Structural Disentanglement
Department of Computer Science（计算机科学系）；University of Manchester（曼彻斯特大学）；University of Bristol（布里斯托大学）
本文提出NOVA框架，通过权重和偏置构建隐式神经表示，实现高效且可解释的世界模型，支持结构场景组件的解耦与编辑。
2026-05-08 cs.AI cs.CV
UniCSG: Unified High-Fidelity Content-Constrained Style-Driven Generation via Staged Semantic and Frequency Disentanglement
China University of Mining and Technology（中国矿业大学）；OPPO Artificial Intelligence Center（OPPO人工智能中心）
UniCSG通过分阶段语义和频率解耦，解决风格迁移中内容与风格纠缠问题，提升生成内容的忠实度和稳定性。
2026-08-06 cs.CV
NaviNeRF: NeRF-based 3D Representation Disentanglement by Latent Semantic Navigation
Tianjin University（天津大学）；Eastern Institute of Technology（东方理工学院）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）；Shanghai Jiao Tong University（上海交通大学）；Northwest Normal University（西北师范大学）；Zhejiang University（浙江大学）
NaviNeRF首次在无先验和无监督条件下，通过潜在语义导航与内外分支协同实现基于NeRF的细粒度三维表征解耦，性能优于以往三维感知模型并媲美依赖先验的编辑模型。
2024-03-28 cs.CV
Latent-space disentanglement with untrained generator networks for the isolation of different motion types in video data
The Chinese University of Hong Kong（香港中文大学）；University of Graz（格拉茨大学）；Emory University（埃默里大学）
本文提出一种利用未经训练的生成器网络和最小一维信息的潜在空间解耦技术，直接从单个视频中高效分离高度非线性运动类型，实现运动冻结与独立动态表示。
2023-05-17 cs.CV cs.LG eess.IV
Disentangling Geometric Deformation Spaces in Generative Latent Shape Models
University of Toronto（多伦多大学）；Samsung Toronto AI Research Center（三星多伦多人工智能研究中心）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
3D对象的完整表示需要以可解释的方式表征变形空间，从单个实例的关节到跨类别的形状变化。在这项工作中，我们改进了先前的生成模型的几何解纠缠的三维形状，其中的空间对象的几何形状被分解为刚性方向，非刚性姿势，和内在的形状。所得到的模型可以从原始的3D形状中训练，没有对应关系，标签，甚至刚性对齐，使用经典的光谱几何和结构化潜在表示空间的概率解纠缠的组合。我们的改进包括更复杂的处理旋转不变性和使用一个同构流网络来桥接潜在的光谱空间。潜在空间的几何结构赋予了对象的变形空间的可解释的表征。此外，它还支持姿势转移和姿势感知检索等任务，而无需监督。我们评估我们的模型的生成建模，表示学习，和解纠缠性能，显示出改进的旋转不变性和内在-外在因子分解质量比以前的模型。
2023-03-19 cs.CV cs.LG
Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing
University of Michigan（密歇根大学）
本文揭示DiT潜在空间具有语义解耦特性，提出EIM框架和HSDS方法实现零样本细粒度图像编辑，并构建新基准验证有效性。
2024-11-12 cs.CV
Heredity-aware Child Face Image Generation with Latent Space Disentanglement
University of Science and Technology of China（中国科学技术大学）
近年来，生成对抗网络在图像合成中得到了广泛的应用，生成的图像质量得到了很大的提高。然而，控制和解耦面部属性（例如，眼睛、鼻子、嘴巴）仍然有限。在本文中，我们提出了一种新的方法，称为ChildGAN，根据遗传先验的父母的图像生成一个孩子的图像。其主要思想是解开预训练生成模型的潜在空间，并精确控制具有清晰语义的子图像的面部属性。我们使用人脸地标之间的距离作为伪标签，通过计算潜在向量对伪标签的梯度来计算相应人脸属性的最有影响力的语义向量。此外，我们解开的语义向量加权无关的功能和正交化他们与施密特化。最后，在生物遗传规律的指导下，利用解纠缠后的语义向量对双亲的隐向量进行融合。大量的实验表明，我们的方法优于现有的方法与令人鼓舞的结果。
2021-08-25 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出并验证了一个框架，利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现，解开的内容和风格表示可以用来指导图像生成器，采用它们作为草图到图像生成器，而无需（重新）训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法，包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明，这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力，而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection
Vidyasirimedhi Institute of Science and Technology (VISTEC)（维迪亚西利梅迪科学技术学院）；King Mongkut’s University of Technology Thonburi (KMUTT)（国王科技大学吞武里分校）；Imperial College London（帝国理工学院）
视觉数据可以在不同的粒度级别上被理解，其中全局特征对应于语义级信息，局部特征对应于纹理模式。在这项工作中，我们提出了一个框架，称为SPLIT，它使我们能够解开本地和全球信息到两个单独的潜变量集内的变分自编码器（VAE）框架。我们的框架通过要求潜变量的子集来生成可观察数据的辅助集，从而将生成假设添加到VAE。这个额外的生成假设将潜在变量准备好局部信息，并鼓励其他潜在变量表示全局信息。我们研究了三种不同的口味的VAE与不同的生成假设。我们表明，该框架可以有效地解开这些模型中的局部和全局信息，从而改善表示，具有更好的聚类和无监督目标检测基准。最后，我们建立SPLIT和最近的研究在认知神经科学关于人类视觉感知的解开之间的联系。我们实验的代码在https://github.com/51616/split-vae。
2020-02-24 cs.CV cs.LG eess.IV
Disentanglement of Latent Representations via Causal Interventions
University of Auckland（奥克兰大学）
本文提出一种结合因果理论与向量量化变分自编码器的解耦方法，通过因果图干预实现图像单一因素的原子转换，并引入动作检索任务，在不平衡数据下也能精确操控高层语义属性。
2023-09-23 cs.CV cs.DM cs.LG
NashAE: Disentangling Representations through Adversarial Covariance Minimization
Duke University（杜克大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一种自我监督的方法来解开高维数据中的变化因素，该方法不依赖于基础变化曲线的先验知识（例如，没有关于要提取的各个潜在变量的数量或分布的假设）。在这种方法中，我们称之为NashAE，高维特征解纠缠是在一个标准的自动编码器（AE）的低维潜在空间中完成的，通过促进每个编码元素和从所有其他编码元素恢复的元素的信息之间的差异。解纠缠是有效地促进框架之间的AE和一个合奏的回归网络，每个提供一个估计的一个元素的条件下观察到的所有其他元素的极大极小的游戏。我们定量比较我们的方法与领先的解纠缠方法，使用现有的解纠缠指标。此外，我们表明，NashAE提高了可靠性和能力，以捕捉显着的数据特征，在学习的潜在表示。
2022-09-21 cs.CV cs.LG
Latent Space Disentanglement in Diffusion Transformers Enables Zero-shot Fine-grained Semantic Editing
University of Michigan（密歇根大学）
本文揭示了扩散Transformer潜在空间的解耦特性，并提出EMS框架实现零样本细粒度图像编辑，同时引入新指标和综合基准评估编辑性能。
2024-08-23 cs.CV
The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement
University of California, Berkeley（加州大学伯克利分校）；Yale University（耶鲁大学）；Adobe Research（Adobe 研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
现有的深度生成模型的解纠缠方法依赖于手工挑选的先验和复杂的基于编码器的架构。在本文中，我们提出了Hessian Penalty，这是一个简单的正则化项，它鼓励生成模型的Hessian相对于其输入是对角的。我们引入了一个基于Hutchinson估计量的模型不可知的无偏随机近似，以便在训练过程中有效地计算它。我们的方法可以应用于各种深度生成器，只需几行代码。我们表明，当应用于多个数据集上的ProGAN时，使用Hessian Penalty的训练通常会导致轴对齐的解纠缠出现在潜在空间中。此外，我们使用正则化项以无监督的方式识别BigGAN潜在空间中的可解释方向。最后，我们提供的经验证据表明，Hessian罚鼓励大幅收缩时，应用于过度参数化的潜在空间。
2020-08-24 cs.CV cs.GR cs.LG
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
University of Munich（慕尼黑大学）
研究如何分离内容和风格表示，提出对比增强流匹配框架，将对比正则化融入可逆流匹配，在多个数据集实验中提升了内容和风格检索、增强嵌入簇分离及开集鲁棒性，改进了分布转移下的解缠和鲁棒性。
2026-07-15 cs.CV
MLSD-GAN -- Generating Strong High Quality Face Morphing Attacks using Latent Semantic Disentanglement
Advanced Technology Development Centre, IIT Kharagpur（印度理工学院克勒格布尔分校先进技术发展中心）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Department of Computer Science and Engineering, IIT Kharagpur（印度理工学院克勒格布尔分校计算机科学与工程系）
提出MLSD-GAN方法，利用StyleGAN潜在语义解缠和球形插值生成高质量人脸变形攻击，并在两种深度学习人脸识别系统上验证其显著威胁性。
2024-04-19 cs.CR cs.CV
