Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
我们提出了一系列新型分层贝叶斯深度自动编码器模型，能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内，他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是，解开的潜在变量负责的主要来源的变异性，相关因素，可以更适当地使用长尾分布建模。另一方面，典型的高斯先验更适合于滋扰因素的建模。出于这一动机，我们通过引入高斯潜在先验方差的超先验，模仿无限混合，同时保持传统VAE的易处理的学习和推理，将VAE扩展到分层贝叶斯模型。这一分析表明，以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型，被称为贝叶斯因子VAE，表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
Gated Variational AutoEncoders: Incorporating Weak Supervision to Encourage Disentanglement
University of Surrey（萨里大学）
变分自编码器（VAE）提供了一种生成代表性潜在嵌入的方法。以前的研究已经强调了实现分离的表征的好处，特别是对于下游任务。然而，关于如何鼓励与VAE的解纠缠存在一些争论，并且有证据表明，VAE的现有实现没有一致地实现解纠缠。对VAE的潜在空间被分解得有多好的评估通常是根据我们对给定问题应该分解哪些属性的主观期望来评估的。因此，根据定义，我们已经有了应该实现的领域知识，但我们使用无监督的方法来实现它。我们提出了一种弱监督的方法，将任何可用的领域知识纳入训练过程中，形成Gated-VAE。该过程涉及分割代表性嵌入和门控反向传播。所有分区都用于前向传递，但梯度根据选定的图像/目标配对通过不同的分区反向传播。该方法可以用来修改现有的VAE模型，如beta-VAE，InfoVAE和DIP-VAE-II。实验表明，使用门控反向传播，潜在的因素表示在其预期的分区。该方法适用于面部图像的目的是解开头部姿势从面部表情。定量指标表明，使用Gated-VAE提高了平均解纠缠，完整性和信息量，与un-gated实现相比。潜在的遍历定性评估表明，即使只有弱/嘈杂的监督是可用的，它的解纠缠的头部姿势从表达。
2019-11-15 cs.CV cs.LG
Rate-Regularization and Generalization in VAEs
Northeastern University（东北大学）；Boston College（波士顿学院）
变分自编码器优化组合重构损失（失真）和KL项（速率）的目标。速率是互信息的上界，其通常被解释为控制压缩程度的正则化器。我们在这里研究是否包括率也作为一个归纳偏差，提高泛化。我们进行率失真分析，控制率项的强度，网络容量和泛化问题的难度。在大多数情况下，降低速率的强度反而会提高泛化能力，而降低互信息通常会导致欠拟合。此外，我们表明，泛化继续改善，即使在互信息饱和，表明在边界上的差距（即KL发散相对于推理边际）影响泛化。这表明，标准高斯先验并不是一种通常有助于泛化的归纳偏差，这促使人们了解先验的选择如何改善VAE中的泛化。
2021-03-25 cs.LG stat.ML
Learning Interpretable Disentangled Representations using Adversarial VAEs
Technische Universität München（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
学习医学应用中的可解释表示对于将数据驱动模型应用于临床实践变得至关重要。最近的研究表明，学习一个解纠缠的特征表示对于数据的更紧凑和可解释的表示是很重要的。在本文中，我们引入了一种新的对抗性的变分自编码器与总相关约束，以执行独立的潜在表示，同时保持重建保真度。我们提出的方法在公开的数据集上进行了验证，表明学习的解纠缠表示不仅是可解释的，而且优于最先进的方法。我们报告了一个相对的改善81.50%的解纠缠，11.60%的聚类，和2%的监督分类与少量的标记数据。
2019-04-17 cs.LG stat.ML
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
GCVAE: Generalized-Controllable Variational AutoEncoder
Mines Saint-Etienne（圣艾蒂安国立高等矿业学校）；Univ Clermont Auvergne（克莱蒙奥弗涅大学）；INP Clermont Auvergne（克莱蒙奥弗涅国立理工学院）；CNRS（法国国家科学研究中心）
变分自动编码器（VAE）最近已被用于复杂密度分布的无监督解纠缠学习。存在许多变体来鼓励在潜在空间中解开纠缠，同时改善重建。然而，没有一个同时管理之间的权衡实现极低的重建误差和高的解纠缠分数。我们提出了一个通用的框架来处理约束优化下的这一挑战，并证明它优于最先进的现有模型，同时平衡重建的解纠缠。我们引入三个可控的拉格朗日超参数来控制重构损失、库尔贝克-莱布勒散度损失和相关性测度。我们证明了在合理的假设和约束松弛条件下，重构网络中的信息最大化等价于摊销推理中的信息最大化。
2022-06-09 cs.LG stat.ML
Disentangling Disentanglement in Variational Autoencoders
University of Oxford（牛津大学）
我们开发了一个概括的VAE中的解纠缠-分解的潜在表示-其特征在于实现两个因素：a）具有适当重叠水平的数据的潜在编码，以及b）符合所需结构的数据的聚合编码，通过先前表示。作为特殊情况，分解允许解开纠缠，即潜在项之间的显式独立性，但也允许将更丰富的属性类别强加给已学习的表示，例如稀疏性、集群、独立子空间，甚至复杂的分层依赖关系。我们发现，$β$ -VAE不同的标准VAE主要是在其控制的潜在重叠，并为标准选择的各向同性高斯先验，其目标是不变的潜在表示的旋转。从分解的角度来看，打破这种不变性与简单的操纵先验可以产生更好的解纠缠很少或没有损害重建。我们进一步展示了其他选择的先验如何帮助产生不同的分解，并引入了一个替代的训练目标，允许控制两个分解因子的原则性方式。
2019-06-12 cs.LG stat.ML
Overlooked Implications of the Reconstruction Loss for VAE Disentanglement
University of the Witwatersrand（金山大学）
本文揭示VAE解纠缠主要源于数据与重建损失的交互而非正则化，并通过构造对抗数据集与定制重建损失验证了解纠缠的主观性。
2023-08-09 cs.AI cs.CV cs.LG
Learning Multimodal VAEs through Mutual Supervision
University of Oxford（牛津大学）；University of Durham（杜伦大学）；Improbable（Improbable公司）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
多模态VAE试图对异质数据（例如，视觉、语言），同时还捕获跨这些模态的共享表示。先前的工作通常通过直接在识别模型中通过显式产品，混合物或其他此类因子分解来协调特质表示来组合来自模态的信息。在这里，我们介绍了一种新的替代方案，MEME，避免这种明确的组合，通过重新利用半监督VAE，通过相互监督隐式地结合模态之间的信息。这种表述自然允许从部分观察到的数据中学习，其中一些模态可能完全缺失-大多数现有方法要么无法处理，要么在有限的程度上这样做。我们证明了MEME在MNIST-SVHN（图像-图像）和CUB（图像-文本）数据集上的部分和完整观察方案中的标准指标上优于基线。我们还对比了通过相互监督与标准方法学习的表示的质量，并观察到其捕获数据之间相关性的能力的有趣趋势。
2022-12-16 cs.CV cs.LG
A Revisit of Total Correlation in Disentangled Variational Auto-Encoder with Partial Disentanglement
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
针对完全解耦VAE对潜在成分独立性约束过强的问题，提出PDisVAE框架，将总相关性推广为偏相关以支持分组独立，并在合成与真实数据上验证其灵活性和有效性。
2025-02-04 cs.LG q-bio.NC
A Unified Latent Space Disentanglement VAE Framework with Robust Disentanglement Effectiveness Evaluation
Department of Applied and Computational Mathematics and Statistics（应用与计算数学与统计系）；Lucy Family Institute for Data & Society（数据与社会学院）
提出统一框架bfVAE整合多种解缠VAE方法，并开发FVH-LT和DBSR-LS评估解缠效果，引入LSSI指标量化潜在结构分离，无需真实生成因子。
2026-06-12 cs.LG stat.ML
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限（ELBO）操作的方法相比，我们认为，VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此，我们增加了标准的VAE与逆Wishart（IW）之前的协方差矩阵的潜在代码。通过调整IW参数，我们能够鼓励（或阻止）学习的潜在维度的独立性。在一系列数据集（2Dfields，3DChairs，3DFaces和CelebA）上的广泛实验结果表明，我们的方法优于$β$ -VAE，并与最先进的FactorVAE竞争。我们的方法在一个新的数据集（CorrelatedEllipses）上实现了更好的解纠缠和重建，该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Robust Disentanglement of a Few Factors at a Time
Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）
解纠缠是无监督学习的最前沿，因为解纠缠的数据表示可以提高下游任务的泛化性、可解释性和性能。目前的无监督方法仍然不适用于真实世界的数据集，因为它们的性能变化很大，并且无法达到（半）监督方法的解纠缠水平。我们引入了基于群体的训练（PBT），以提高训练变分自编码器（VAE）的一致性，并证明了这种方法在监督设置（PBT-VAE）的有效性。然后，我们使用无监督解纠缠排名（UDR）作为无监督启发式算法，在PBT-VAE训练中对模型进行评分，并展示了以这种方式训练的模型如何始终只解纠缠生成因子的子集。在此基础上，我们引入了递归rPU-VAE方法。我们训练模型直到收敛，从数据集中删除学习的因素并重复。在这样做的时候，我们可以用学习到的因子来标记数据集的子集，并连续使用这些标签来训练一个完全解开整个数据集的模型。通过这种方法，我们在多个数据集和指标上显示出最先进的无监督解纠缠性能和鲁棒性的显着改善。
2020-10-26 cs.CV cs.LG stat.ML
Learning Disentangled Representations via Mutual Information Estimation
IRT Saint Exupéry（圣埃克苏佩里跨学科研究中心）；IRIT（图卢兹计算机研究所）
在本文中，我们研究了学习解纠缠表示的问题。给定一对共享某些属性的图像，我们的目标是创建一个低维表示，它分为两部分：一个共享表示，捕获图像之间的共同信息和一个排他性表示，包含每个图像的特定信息。为了解决这个问题，我们提出了一种基于互信息估计的模型，而不依赖于图像重建或图像生成。互信息最大化的执行，以捕获共享和独占表示中的数据的属性，而我们最小化的共享和独占表示之间的互信息，以执行表示解纠缠。我们表明，这些表示是有用的，以执行下游任务，如图像分类和图像检索的基础上共享或排他性的组件。此外，分类结果表明，我们的模型优于国家的最先进的模型的基础上VAE/GAN的方法表示解开。
2019-12-09 cs.LG stat.ML
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
EPFL, LTS4 laboratory, Lausanne, Switzerland（瑞士洛桑联邦理工学院，LTS4实验室，洛桑，瑞士）
从函数视角出发，通过生成映射雅可比的正交性约束实现无监督解缠，证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性，实验验证了理论有效性。
2026-08-11 cs.AI cs.LG
Towards Unsupervised Content Disentanglement in Sentence Representations via Syntactic Roles
Université Sorbonne Paris Nord-CNRS UMR 7030（索邦巴黎北大学-法国国家科学研究中心 UMR 7030）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
将神经表征与语言因素联系起来对于构建和分析人类可解释的NLP模型至关重要。在这些因素中，句法角色（如主语、直接宾语、$\dots$）及其实现是必不可少的标记，因为它们可以被理解为谓词结构的分解，从而也就是句子的意义。从一个深概率生成模型与注意力，我们测量的潜变量和实现的句法角色之间的相互作用，并表明它是可能的，没有监督，表示的句子，不同的句法角色对应于明确确定的不同的潜变量。我们提出的概率模型是一个注意力驱动的变分自编码器（ADVAE）。从基于transformer的机器翻译模型中汲取灵感，ADVAE能够通过注意力分析潜在变量和输入令牌之间的交互。我们还开发了一个评估协议来衡量解纠缠方面的实现的语法角色。该协议基于编码器的注意力最大值和解码器的潜在变量扰动。我们对SNLI数据集的原始英语文本的实验表明，$\textit{i)}$解开句法角色可以在没有监督的情况下诱导，$\textit{ii)}$ ADVAE分离句法角色比经典的序列VAE和Transformer VAE更好，$\textit{iii)}$实现的句法角色可以单独修改在句子中通过干预相关的潜变量。我们的工作是迈向无监督可控内容生成的第一步。我们工作的代码是公开的。
2022-06-22 cs.AI cs.CL cs.LG
$β$-Annealed Variational Autoencoder for glitches
Proscia Inc.（Proscia公司）；Boston University（波士顿大学）
像LIGO和Virgo这样的引力波探测器容易受到各种类型的仪器和环境干扰的影响，这些干扰被称为毛刺，可以掩盖和模仿引力波。虽然目前有22类非高斯噪声梯度，但随着这些探测器在观测运行之间进行调试，类别的数量可能会增加。由于识别和标记新的噪声梯度可能是艰巨和耗时的，我们提出了$β$ -Annelead VAE学习表示从频谱图在一个无监督的方式。使用与\cite{alemi2017fixing}相同的公式，我们通过信息论的镜头来看待瓶颈-VAE ~cite{burgess 2018 understanding}，并将它们与$β$ -VAE ~cite{higgins 2017 beta}联系起来。受这种联系的启发，我们提出了一个退火时间表的超参数$β$在$β$ -VAE，它具有以下优点：1）一个更少的超参数调整，2）更好的重建质量，同时产生类似水平的解开。
2021-07-20 cs.LG gr-qc
Demystifying Inductive Biases for $β$-VAE Based Architectures
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
$β$ -变分自动编码器（$β$ -VAE）及其变体在学习语义上有意义的解纠缠表示方面的性能是无与伦比的。另一方面，有理论论据表明，无监督的解缠是不可能的。在这项工作中，我们揭示了负责基于VAE的架构的成功的感性偏见。我们表明，在经典的数据集的方差结构，诱导的生成因子，是方便地对齐的潜在方向培育的VAE目标。这就建立了VAE的解开能力所依赖的关键偏差。通过对现有数据集进行小而精细的扰动，我们隐藏了方便的相关结构，这种结构很容易被各种架构所利用。为了证明这一点，我们构建了标准数据集的修改版本，其中（i）生成因子被完美地保留;（ii）每个图像都经过温和的变换，导致方差的微小变化;（iii）领先的\textbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}。我们的修改的建设是不平凡的，并依赖于最近的进展机制的理解$β$ -VAE及其连接到PCA。我们通过提供具有独立利益的额外见解来加强这种联系。
2021-02-12 cs.AI cs.LG
Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs
Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs Supplementary Material（Hölder++：多模态VAE中质量与一致性权衡的改进补充材料）
针对多模态VAE生成质量与语义一致性之间的权衡问题，提出Hölder++，通过精确Hölder池化、扩展架构和层次推理，在提升一致性的同时保持生成质量。
2026-06-12 cs.LG
GILBO: One Metric to Measure Them All
Google AI（谷歌人工智能（Google AI））
我们提出了一个简单的，易于处理的下限包含在任何潜变量生成模型的联合生成密度的互信息：GILBO（生成信息下限）。它提供了一个数据独立的测量学习的潜在变量描述的复杂性，给出了有效描述长度的日志。它对于VAE和GANs都是明确定义的。我们计算了800个GANs和VAE的GILBO，每个GAN和VAE都在四个数据集（MNIST，FashionMNIST，CIFAR-10和CelebA）上训练，并讨论了结果。
2019-01-10 cs.LG stat.ML
Adversarial Disentanglement with Grouped Observations
Ultinous（Ultinous公司）
我们考虑使用变分自编码器将数据（内容）的相关属性的表示与所有其他变量（样式）的表示分离。最近的一些工作解决了这个问题，利用分组观察，其中的内容属性被假定为是共同的每个组内，而没有任何监督的信息的风格因素。然而，在许多情况下，这些方法无法阻止模型使用样式变量来编码与内容相关的特征。这项工作补充了这些算法的方法，消除了样式表示中的内容信息。为此目的，训练目标被增强，以对抗的方式最小化适当定义的互信息项。实验结果和图像数据集上的比较表明，该方法可以有效地分离与内容和风格相关的属性，并推广到看不见的数据。
2020-01-14 cs.LG stat.ML
Variational Collaborative Learning for User Probabilistic Representation
Cooperative Madianet Innovation Center（媒体网络协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
协同过滤（CF）已成功地应用于许多现代推荐系统。传统的基于CF的方法使用用户-项目交互数据作为向用户推荐项目的唯一信息源。然而，基于CF的方法已知遭受冷启动问题和数据稀疏问题。在交互数据之上利用辅助信息的混合模型越来越受到关注。最近提出了一些基于“协作学习”的模型，通过相互正则化将两个异构学习者紧密地连接起来，用于混合推荐。然而，现有方法中的“协作”实际上是异步的，这是由于两个学习器的交替优化。利用变分自编码器~（VAE）的最新进展，本文提出了一种由两个相互关联的VAE流组成的模型，称为变分协作模型（VCM）。与以前的作品中使用的两个学习者异步优化的相互正则化不同，VCM实现了同步协作学习机制。此外，两个流VAE设置允许VCM在协作学习中充分利用贝叶斯概率表示。在三个真实数据集上的大量实验表明，VCM优于几种最先进的方法。
2018-09-22 cs.LG stat.ML
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London（伦敦大学学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于谱几何的新型损失函数，通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影，实现了局部形状属性的解耦生成，在保持良好生成能力和相当训练时间的同时，显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs
ETH Zürich（苏黎世联邦理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
原则上，将变分自编码器（VAE）应用于序列数据提供了一种用于受控序列生成、操作和结构化表示学习的方法。然而，训练序列VAE具有挑战性：自回归解码器通常可以在不利用潜在空间（称为后验崩溃）的情况下解释数据。为了减轻这种情况，最先进的模型通过对解码器输入应用均匀随机丢弃来削弱强大的解码器。我们从理论上表明，这消除了逐点互信息提供的解码器输入，这是通过利用潜在的空间进行补偿。然后，我们提出了一个对抗性的训练策略，以实现基于信息的随机辍学。与标准文本基准数据集上的均匀dropout相比，我们的目标方法提高了序列建模性能和潜在空间中捕获的信息。
2022-12-16 cs.LG
Isolating Sources of Disentanglement in Variational Autoencoders
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们分解的证据下限，以显示存在一个术语测量的总相关性之间的潜变量。我们使用这一点来激励我们的$β$ -TCVAE（总相关变分自编码器），这是对最先进的$β$ -VAE目标的改进，用于学习解纠缠表示，在训练过程中不需要额外的超参数。我们进一步提出了一个原则性的分类器免费措施的解纠缠称为互信息差距（GIP）。我们进行了广泛的定量和定性实验，在限制和非限制的设置，并显示了强相关性和解纠缠之间的关系，当潜变量模型使用我们的框架进行训练。
2019-04-23 cs.AI cs.LG stat.ML
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research（维奈研究院）；Deezer Research and Development（迪泽研发中心）
语音转换是一项具有挑战性的任务，它将源说话人的语音特征转换为目标说话人，而不改变语言内容。近年来，基于变分自编码器（VAE）的多对多语音转换（VC）取得了很好的效果，但这些方法缺乏区分说话人身份和语言内容的能力，无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力，它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外，它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价，以显示我们提出的方法与其他国家的最先进的模型相比，在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Review of Disentanglement Approaches for Medical Applications -- Towards Solving the Gordian Knot of Generative Models in Healthcare
Institute for AI in Medicine (IKIM), University Medicine Essen（埃森大学医学人工智能研究所（IKIM））；Computer Vision and Learning Lab (CVL), Heidelberg University（海德堡大学计算机视觉与学习实验室（CVL））
深度神经网络通常用于医学目的，例如图像生成、分割或分类。除此之外，它们经常被批评为黑箱，因为它们的决策过程通常不是人类可以解释的。鼓励生成模型的潜在表征被解开，提供了控制和可解释性的新视角。了解数据生成过程可以帮助创建人工医疗数据集，而不会侵犯患者隐私，合成不同的数据模态或发现数据生成特征。这些特征可能会揭示与遗传特征或患者结局相关的新关系。在本文中，我们对流行的生成模型进行了全面的概述，如生成对抗网络（GANs），变分自编码器（VAE）和基于流的模型。此外，我们总结了不同的概念去纠缠，审查方法去纠缠潜在的空间表示和度量来评估的程度去纠缠。在介绍了理论框架之后，我们概述了最近的医学应用，并讨论了解纠缠方法对医学应用的影响和重要性。
2022-03-21 cs.AI cs.CV cs.LG
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
解纠缠生成模型将潜在代码向量映射到目标空间，同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器（VAE）的方法，而训练解纠缠生成对抗网络（GANs）仍然具有挑战性。在这项工作中，我们表明，可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献：首先，我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化，这是一个自然的概念的启发解开：潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次，我们提出了一个无监督的模型选择方案，称为ModelCentrality，它使用生成的合成样本来计算一组模型的medoid（多维泛化中位数）。目前超参数调整的常见做法需要使用地面实况样本，每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签，我们提出了一个无监督的模型选择方案，并表明它找到了一个接近最好的模型，对于VAE和GANs。将对比正则化与ModelCentrality相结合，我们显着提高了最先进的解纠缠分数，而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Disentanglement of Sources in a Multi-Stream Variational Autoencoder
Machine Learning Lab, Department of Medical Physics and Acoustics, Carl von Ossietzky Universität Oldenburg, Germany（德国奥尔登堡卡尔·冯·奥西茨基大学医学物理与声学系机器学习实验室）；Research Group AI, Department of Computer Science, University of Innsbruck, Austria（奥地利因斯布鲁克大学计算机科学系人工智能研究组）
本文提出多流变分自编码器，结合离散和连续潜在变量实现源解耦，通过显式源组合模型在解码器中叠加多个源，验证了其在手写数字和声音源分离中的有效性。
2026-04-01 cs.LG stat.ML
An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection
Vidyasirimedhi Institute of Science and Technology (VISTEC)（维迪亚西利梅迪科学技术学院）；King Mongkut’s University of Technology Thonburi (KMUTT)（国王科技大学吞武里分校）；Imperial College London（帝国理工学院）
视觉数据可以在不同的粒度级别上被理解，其中全局特征对应于语义级信息，局部特征对应于纹理模式。在这项工作中，我们提出了一个框架，称为SPLIT，它使我们能够解开本地和全球信息到两个单独的潜变量集内的变分自编码器（VAE）框架。我们的框架通过要求潜变量的子集来生成可观察数据的辅助集，从而将生成假设添加到VAE。这个额外的生成假设将潜在变量准备好局部信息，并鼓励其他潜在变量表示全局信息。我们研究了三种不同的口味的VAE与不同的生成假设。我们表明，该框架可以有效地解开这些模型中的局部和全局信息，从而改善表示，具有更好的聚类和无监督目标检测基准。最后，我们建立SPLIT和最近的研究在认知神经科学关于人类视觉感知的解开之间的联系。我们实验的代码在https://github.com/51616/split-vae。
2020-02-24 cs.CV cs.LG eess.IV
Style Feature Extraction Using Contrastive Conditioned Variational Autoencoders with Mutual Information Constraints
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）
本文提出一种仅用未标注数据提取风格特征的方法，通过对比学习获取风格无关特征作为条件，并结合互信息约束训练条件变分自编码器，在MNIST、Google Fonts及自然图像数据集上验证了其有效性。
2023-03-16 cs.CV cs.LG stat.ML
Disentangling Generative Factors of Physical Fields Using Variational Autoencoders
University of Michigan（密歇根大学）
在计算物理中，以无监督的方式从高维数据场提取生成参数的能力是非常期望的但尚未实现的目标。这项工作探讨了使用变分自编码器（VAE）的非线性降维的具体目标{ \em解开}的低维潜变量，以确定独立的物理参数，产生的数据。解纠缠分解是可解释的，并且可以被转移到各种任务，包括生成建模、设计优化和概率降阶建模。这项工作的一个主要重点是使用VAE表征解纠缠，同时最小限度地修改经典的VAE损失函数（即证据下限），以保持高的重建精度。损失景观的特点是过度正规化的局部极小值，其中所需的解决方案。我们说明解纠缠和纠缠表示并列学习潜在的分布和真正的生成因素模型多孔流问题之间的比较。分层先验被示出，以促进解开表示的学习。当使用旋转不变先验进行训练时，正则化损失不受潜在旋转的影响，因此学习非旋转不变先验有助于捕获生成因子的属性，改善解纠缠。最后，它表明，半监督学习-完成标记少量的样本（$O(1\%)$）-结果在准确的解开潜在的表示，可以始终学习。
2021-11-15 cs.LG physics.comp-ph
A Multi-Level Causal Intervention Framework for Mechanistic Interpretability in Variational Autoencoders
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Rajarshi School of Management Technology, Varanasi（拉贾尔希管理技术学院瓦拉纳西分校）；Jaypee Institute of Information Technology, Noida（杰皮信息技术学院诺伊达分校）
本文提出多级因果干预框架，用于分析变分自编码器的机制可解释性，定义了三个新指标，并通过大规模实验揭示了VAE因果机制的特性。
2026-04-05 cs.LG
Disentanglement of Variations with Multimodal Generative Modeling
Department of Computer Science University of Iowa（计算机科学系 印第安纳大学）
针对现有多模态生成模型在高难度数据集上解耦效果不佳的问题，提出IDMVAE模型，通过互信息正则化、循环一致性损失及扩散模型增强先验，实现共享与私有信息的清晰分离，提升生成质量与语义一致性。
2025-09-28 cs.AI cs.LG
eVAE: Evolutionary Variational Autoencoder
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
本文提出进化变分自编码器eVAE，将变分遗传算法与VAE结合，通过内外联合训练动态优化ELBO中的权衡学习，有效改善重构损失、解纠缠和生成-推断平衡。
2023-01-01 cs.LG cs.NE
Resetting a fixed broken ELBO
Michigan State University（密歇根州立大学）
针对beta-VAE中β≠1会违反条件概率定律的问题，提出基于Rényi熵的Rényi VAE及对应变分下界RELBO，其额外类正则项的条件分布无需学习，可通过奇异值分解解析计算，实现类似的参数化调节效果。
2023-12-11 cs.LG stat.ML
Shortcut Detection with Variational Autoencoders
Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University of Munich（慕尼黑工业大学）
针对机器学习模型易依赖数据虚假相关性（捷径）的问题，提出基于变分自编码器（VAE）的捷径检测方法，利用VAE潜空间特征解耦发现并半自动评估特征-目标相关性，在多个真实数据集上验证有效并发现新捷径。
2023-07-21 cs.CV cs.LG
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们介绍了互信息机（MIM），一种新的表示学习的制定，使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息，其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解，互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度，加上一个相互信息鼓励正则化。我们表明，这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似，并与此相关的极大似然框架。我们还将MIM与变分自编码器（VAE）联系起来，并证明MIM能够学习对称因子分解，具有高互信息，避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
Catch Me If You Can
University of Toronto（多伦多大学）
随着签名识别技术的进步，其性能已经达到了一个新的平台，出错率约为2%，研究替代方法是很有意义的。本文中详细介绍的方法着眼于使用变分自动编码器（VAE）来学习真实签名的潜在空间表示。然后，这被用于传递未标记的签名，使得只有真正的签名将被VAE成功地重建。该潜在空间表示和重建损失随后由随机森林和kNN分类器用于预测。随后，确定并分析了VAE解缠和后部塌陷的可能性。最终结果表明，虽然这种方法的性能不如现有的替代品，但进一步的工作可能会使其成为未来模型集成的一部分。
2019-04-18 cs.CV cs.LG stat.ML
VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
本文提出基于变分自编码器特征解耦的方法，通过低维潜在表示插值实现数据压缩与增强，在四个GNSS干扰数据集上达到最高99.92%的分类准确率和512至8192倍的压缩率。
2025-04-14 cs.AI cs.IT cs.LG
Uniform Transformation: Refining Latent Representation in Variational Autoencoders
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出三阶段均匀变换模块（G-KDE聚类、非参数高斯混合建模和概率积分变换），将VAE潜在空间的不规则分布重构为均匀分布，以缓解后验坍缩并提升解耦性与可解释性，在dSprites和MNIST上验证了有效性。
2024-07-02 cs.LG eess.IV math.OC
Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
KAIST（韩国科学技术院）；AITRICS；Maru Inc（42Maru公司）
问答（QA）中最关键的挑战之一是标记数据的稀缺性，因为使用人工注释获得目标文本域的问答（QA）对的成本很高。解决这个问题的另一种方法是使用从问题上下文或大量非结构化文本（例如维基百科）自动生成的QA对。在这项工作中，我们提出了一个分层的条件变分自编码器（HCVAE）生成QA对给定的非结构化文本作为上下文，同时最大限度地提高生成的QA对之间的互信息，以确保其一致性。我们在几个基准数据集上验证了我们的信息最大化分层条件变分自编码器（Info-HCVAE），方法是仅使用生成的QA对（基于QA的评估）或使用生成的和人类标记的对（半监督学习）进行训练，以评估QA模型（BERT基础）的性能。结果表明，我们的模型在两个任务的所有基线上都获得了令人印象深刻的性能增益，只使用了一小部分数据进行训练。
2020-06-15 cs.CL cs.LG
CoDeGAN: Contrastive Disentanglement for Generative Adversarial Network
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对GAN无监督解耦中的模式崩溃问题，提出CoDeGAN，通过将解耦约束从图像域放宽至特征域并集成自监督预训练，提升了训练稳定性与解耦能力，在多个基准上优于现有方法。
2024-05-31 cs.AI cs.CV cs.LG
Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders
Kyushu University（九州大学）
本研究试图建构一个网路，将线上与线下手写文字互相转换。该网络由两个可变自动编码器（VAE）组成，具有共享的潜在空间。VAE被训练成同时生成在线和离线手写拉丁字符。通过这种方式，我们创建了一个跨模态VAE（Cross-VAE）。在训练期间，所提出的交叉VAE被训练以最小化两种模态的重建损失、两个VAE的分布损失以及称为空间共享损失的新颖的第三损失。第三，空间共享损失用于通过计算潜变量之间的距离来鼓励模态共享相同的潜空间。通过该方法，在线和离线手写字符的相互转换是可能的。在本文中，我们证明了交叉VAE的性能，通过定性和定量分析。
2019-06-14 cs.CV cs.LG
Half-AVAE: Adversarial-Enhanced Factorized and Structured Encoder-Free VAE for Underdetermined Independent Component Analysis
Hong Kong Polytechnic University（香港理工大学）
本文提出无编码器的 Half-AVAE，结合对抗网络、EE 项与结构化先验，在欠定 ICA 中提升潜变量独立性，并以更低 RMSE 优于 GP-AVAE 和 Half-VAE。
2025-06-08 cs.LG eess.SP stat.ML
Posterior-Calibrated Causal Circuits in Variational Autoencoders: Why Image-Domain Interpretability Fails on Tabular Data
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Rajarshi School of Management Technology, Varanasi（拉贾尔希管理技术学院瓦拉纳西分校）；Jaypee Institute of Information Technology, Noida（杰皮信息技术学院诺伊达分校）
研究探讨了图像相关变分自编码器中的因果电路在表格数据上的泛化能力，提出三种新方法并发现表格VAE的因果电路模块化程度低于图像VAE，且β-VAE在异质表格特征上的CES评分显著下降。
2026-04-05 cs.LG
CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement
针对深度生成模型易编码敏感属性引发公平性问题、且天然相关因素下严格独立解耦不现实的问题，提出CAD-VAE通过相关潜码与条件互信息最小化实现公平解耦，实验验证其表征、反事实生成与公平编辑效果更优。
2025-11-15 cs.CV cs.LG stat.ME
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
Interpretable Sentence Representation with Variational Autoencoders and Attention
Université Sorbonne Paris-Nord（索邦巴黎北大学）；Laboratoire d’Informatique de Paris-Nord（巴黎北信息学实验室）；Sorbonne Paris Cité（巴黎索邦西岱大学）；Université Paris Sorbonne（巴黎索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；Sorbonne Université（索邦大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对NLP中无标注数据下表示学习可解释性不足的问题，本文优化半监督VAE结构，并提出ADVAE和QKVAE两种模型，可无监督分离句法、语义信息，性能媲美有监督模型，提升了语言建模架构的可解释性。
2023-05-04 cs.CL cs.LG
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
