Unsupervised Style and Content Separation by Minimizing Mutual Information for Speech Synthesis
Apple（苹果公司）
我们提出了一种从输入文本和以无监督方式从参考语音信号中提取的风格向量生成语音的方法，即，不需要诸如说话者信息之类的样式注释。现有的无监督方法在训练期间通过从相应的地面真实样本计算风格来生成语音，并使用解码器将风格向量与输入文本相结合。以这种方式训练模型会将内容信息泄漏到样式向量中。解码器可以使用泄漏的内容并忽略一些输入文本以最小化重建损失。在推断时，当参考语音与内容输入不匹配时，输出可能不包含输入文本的所有内容。我们将这个问题称为“内容泄漏”，我们通过对抗训练公式明确估计和最小化风格和内容之间的互信息来解决这个问题。我们称我们的方法MIST -基于互信息的风格内容分离。该方法的主要目标是保留输入内容的合成语音信号，我们衡量的字错误率（WER），并表现出显着的改进，在国家的最先进的无监督语音合成方法。
2020-03-09 cs.CV cs.IT cs.LG
Improving Style-Content Disentanglement in Image-to-Image Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
近年来，无监督图像到图像翻译方法取得了巨大的成功。然而，可以很容易地观察到，他们的模型包含显着的纠缠，这往往会损害翻译性能。在这项工作中，我们提出了一个原则性的方法，以提高风格内容解开图像到图像的翻译。通过考虑进入每个表示的信息流，我们引入了一个额外的损失项，作为内容瓶颈。我们表明，我们的方法的结果是显着更解开比目前的方法产生的，同时进一步提高视觉质量和翻译的多样性。
2020-07-09 cs.CV cs.LG
Semi-Supervised StyleGAN for Disentanglement Learning
Rice University（莱斯大学）；Nvidia（英伟达）；University of Toronto（多伦多大学）；California Institute of Technology（加州理工学院）
解纠缠学习是获得解纠缠表示和可控生成的关键。目前的解缠方法面临着几个固有的局限性：高分辨率图像的困难，主要集中在学习解缠表示，以及由于无监督设置的不可识别性。为了减轻这些限制，我们基于StyleGAN设计了新的架构和损失函数（Karras等人，2019），用于半监督高分辨率解纠缠学习。我们创建了两个复杂的高分辨率合成数据集进行系统测试。我们研究了有限监督的影响，发现仅使用0.25%~2.5%的标记数据就足以在合成数据集和真实数据集上实现良好的解纠缠。我们提出了新的指标来量化发电机的可控性，并观察到可能存在一个重要的权衡之间的解开表示学习和可控的生成。我们还考虑了语义细粒度图像编辑，以实现更好的泛化到看不见的图像。
2020-11-25 cs.CV cs.LG
Rethinking Content and Style: Exploring Bias for Unsupervised Disentanglement
HKUST（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
内容与风格（C-S）解纠缠的目的是将对象的潜在解释因素分解为两个独立的子空间。从无监督解纠缠的角度来看，我们重新思考的内容和风格，并提出了一个公式的无监督C-S解纠缠的基础上，我们假设不同的因素是不同的重要性和流行性的图像重建，这作为一个数据偏差。我们提出的C-S解纠缠模块（C-S DisMo）引入了相应的模型归纳偏差，在逼近真实数据分布时，为内容和风格分配了不同且独立的角色。具体地，假设从数据集嵌入的每个内容（其编码用于图像重建的最主要因素）是从跨数据集的共享分布中采样的。特定图像的样式嵌入（对剩余因子进行编码）用于通过仿射变换定制共享分布。在几个流行的数据集上的实验表明，我们的方法实现了最先进的无监督C-S解纠缠，这是可比的，甚至更好的监督方法。我们通过下游任务：域转换和单视图3D重建来验证我们方法的有效性。项目页面https://github.com/xrenaa/CS-DisMo。
2021-09-03 cs.AI cs.CV cs.LG
SCFlow: Implicitly Learning Style and Content Disentanglement with Flow Models
Munich Center for Machine Learning (MCML)（慕尼黑機器學習中心）
SCFlow通过流匹配框架学习风格与内容的可逆合并，无需显式解耦监督，在合成数据集上训练后零样本泛化至ImageNet-1k和WikiArt，实现自然涌现的解耦。
2025-08-05 cs.AI cs.CV cs.LG
Adversarial Disentanglement with Grouped Observations
Ultinous（Ultinous公司）
我们考虑使用变分自编码器将数据（内容）的相关属性的表示与所有其他变量（样式）的表示分离。最近的一些工作解决了这个问题，利用分组观察，其中的内容属性被假定为是共同的每个组内，而没有任何监督的信息的风格因素。然而，在许多情况下，这些方法无法阻止模型使用样式变量来编码与内容相关的特征。这项工作补充了这些算法的方法，消除了样式表示中的内容信息。为此目的，训练目标被增强，以对抗的方式最小化适当定义的互信息项。实验结果和图像数据集上的比较表明，该方法可以有效地分离与内容和风格相关的属性，并推广到看不见的数据。
2020-01-14 cs.LG stat.ML
StyleID: Identity Disentanglement for Anonymizing Faces
Linköping University（林雪平大学）
机器学习模型的隐私是阻碍人工智能（AI）广泛采用的剩余挑战之一。本文认为这个问题的背景下，图像数据集包含的面孔。由于这些数据集在自动驾驶汽车训练中的核心作用以及监控系统生成的大量数据，这些数据集的分析变得越来越重要。虽然大多数先前的工作通过修改像素空间中的身份特征来对面部图像进行去识别，但我们将图像投影到生成对抗网络（GAN）模型的潜在空间上，找到提供最大身份解开的特征，然后在潜在空间，像素空间或两者中操纵这些特征。本文的主要贡献是设计了一个特征保持匿名化框架StyleID，它保护了个人的身份，同时尽可能多地保留了图像数据集中原始人脸的特征。作为贡献的一部分，我们提出了一种新的解纠缠度量，三个互补的解纠缠方法，和新的见解身份解纠缠。StyleID提供了可调的隐私，具有低计算复杂性，并显示出优于当前最先进的解决方案。
2022-12-28 cs.AI cs.CR cs.CV
We never go out of Style: Motion Disentanglement by Subspace Decomposition of Latent Space
IISc Bangalore（印度科学学院班加罗尔分院）；IIT Dharwad（印度理工学院达尔瓦德分院）
针对视频中多成分复杂运动的解耦问题，本文利用基于 style 的 GAN 潜空间发现语义运动子空间，仅需约10个真值视频即可支持运动编辑与选择性迁移。
2023-06-01 cs.AI cs.CV cs.LG
Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；Meta AI；University of Cambridge（剑桥大学）
针对自监督学习中丢弃风格特征导致下游任务性能下降的问题，提出通过多个风格嵌入空间解缠而非丢弃风格特征，并证明其可辨识性，在合成和真实数据上验证了有效性。
2024-08-20 cs.AI cs.CV cs.LG
Video Reenactment as Inductive Bias for Content-Motion Disentanglement
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
低维表示中的独立分量是几个下游任务中的重要输入，并对观察到的数据提供解释。基于视频的解纠缠的变化因素提供了低维的表示，可以识别和用于饲料特定于任务的模型。我们引入MTC-VAE，一个自监督的运动传输VAE模型，从视频中分离运动和内容。与以往的视频内容运动解纠缠的工作不同，我们采用了一个块明智的建模方法，并利用时空邻域中包含的运动信息。我们的模型产生独立的每块表示，保持时间的一致性。因此，我们在一次向前传递中重建整个视频。我们扩展了ELBO的对数似然项，并包括一个盲重演损失作为一个感应偏差，以利用运动解纠缠，假设交换运动功能产生两个视频之间的重演。我们评估我们的模型与最近提出的解纠缠指标，并表明它优于各种视频运动内容解纠缠的方法。视频重现实验表明，我们的解纠缠的输入空间，我们的模型优于基线重建质量和运动对齐的有效性。
2022-02-18 cs.CV cs.LG
ZS-MSTM: Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
ISIR（智能系统与机器人研究所）；STMS（科学技术与音乐声音实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）
本研究提出一种基于多模态风格编码对抗解耦的零样本手势动画风格迁移方法，利用韵律特征和文本驱动，无需额外训练即可生成未见说话人的风格化手势。
2023-05-22 cs.AI cs.LG cs.SD
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；STMS（科学与音乐技术实验室）
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势，包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的，它为交际行为的表现性赋予了色彩，而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入，而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移，而无需重新训练模型。我们的系统包括：（1）说话者风格编码器网络，其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及（2）序列到序列合成网络，其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估，我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估，以验证我们的方法，并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
VQ-Style: Disentangling Style and Content in Motion with Residual Quantized Representations
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（华特迪士尼研究与工作室）
本文提出VQ-Style方法，通过残差量化表示解构运动中的风格与内容，实现无需微调的风格迁移和多种运动应用。
2026-02-26 cs.AI cs.CV cs.LG
Hamiltonian latent operators for content and motion disentanglement in image sequences
University of Edinburgh（爱丁堡大学）
我们介绍了\textit{HALO} --一种深度生成模型，利用Hamiltonian潜在算子来可靠地解开图像序列中的内容和运动信息。\textit{content}表示序列的汇总统计量，而\textit{motion}是一个动态过程，用于确定如何在序列的任何部分中表达信息。通过将动力学建模为哈密尔顿运动，确保了重要的必要条件：（1）运动是可逆的，（2）相空间中的辛，保体积结构意味着路径是连续的，并且在潜在空间中不发散。因此，序列帧的接近性是通过它们在相空间中的坐标的接近性来实现的，这对于解纠缠和长时间序列的产生是有价值的。序列空间通常由不同类型的动力学运动组成。为了确保长期可分性并允许受控生成，我们将每个运动与作用在其各自子空间中的唯一哈密顿量相关联。我们证明了\textit{HALO}的效用交换的一对序列，控制生成，和图像旋转的运动。
2022-10-12 cs.AI cs.CV cs.LG
Retrieve in Style: Unsupervised Facial Feature Transfer and Retrieval
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）；Google Research（谷歌研究院）
我们提出了一个无监督的框架，用于真实图像上的面部特征传输和检索。最近的工作显示了通过利用StyleGAN潜在空间的解纠缠特性来转移局部面部特征的能力。RIS在以下方面改进了现有技术：1）引入更有效的特征解缠结，以允许在SoTA方法中不可能显示的挑战性转移（即，毛发、姿势）。2)消除了对每个图像超参数调整的需要，以及对大量图像计算目录的需要。3)使用分离的面部特征（例如眼睛）实现细粒度的面部检索。据我们所知，这是第一个在这个精细级别上检索人脸图像的工作。4)在真实图像上展示强大、自然的编辑功能。我们的定性和定量分析表明，RIS实现了高保真度的特征传输和准确的细粒度检索的真实图像。我们还讨论了负责任的应用RIS。
2021-08-24 cs.CV cs.LG
Demystifying Inter-Class Disentanglement
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
学习如何在一组观测数据中找出隐藏的变异因素是人工智能的一项关键任务。我们提出了一个统一的制定类和内容解开，并用它来说明目前的方法的局限性。因此，我们介绍洛德，一种新的方法，基于潜在的优化表示解开。我们发现，潜在的优化，以及非对称噪声正则化，是优于摊销推理实现解开表示。在广泛的实验中，我们的方法被证明比使用相同监督级别的对抗性和非对抗性方法实现更好的解纠缠性能。我们进一步介绍了一种基于聚类的方法，用于扩展我们的方法，用于在域翻译任务上表现出有希望的结果的类内变化的设置。
2020-02-18 cs.CV cs.LG stat.ML
USO: Unified Style and Subject-Driven Generation via Disentangled and Reward Learning
UXO Team, Intelligent Creation Lab, ByteDance（字节跳动UXO团队、智能创作实验室）
USO通过解耦学习与奖励学习统一风格与主体驱动生成，提出USO-Bench基准，在开源模型中达到最先进性能。
2025-08-26 cs.CV cs.LG
PaDPaF: Partial Disentanglement with Partially-Federated GANs
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出PaDPaF架构，通过部分联邦GAN隐式解耦内容与风格，实现个性化生成和隐私保护，实验验证其有效性。
2024-05-28 cs.CV cs.LG
Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
我们研究学习映射的问题，在一个无监督的方式，域A和B之间，这样的样本b在B中包含所有的信息，存在于样本a在A和一些额外的信息。例如，忽略遮挡，B可以是戴眼镜的人，A可以是不戴眼镜的人，而戴眼镜的人则是添加的信息。当将样本a从第一域映射到另一域时，缺失的信息从B中的独立参考样本b复制。因此，在上面的例子中，我们可以为每个不戴眼镜的人创建一个在任何面部图像中观察到的眼镜版本。我们的解决方案采用了一个单一的双通道编码器和一个单一的解码器的两个域。两个域的公共部分和分离部分被编码为两个向量，并且对于域A，分离部分被固定为零。损失项是最小的，涉及两个域的重建损失和一个域混淆项。我们的分析表明，在温和的假设下，这种架构，这是比文献中的引导翻译方法简单得多，是足以确保解开两个域之间的纠缠。我们在一些视觉领域，如无眼镜眼镜，添加面部毛发的基础上参考图像，等令人信服的结果。
2020-01-14 cs.CV cs.LG
Disentanglement enables cross-domain Hippocampus Segmentation
Darmstadt University of Technology（达姆施塔特工业大学）
有限数量的标记训练数据是医学成像中的常见问题。这使得很难训练一个通用的模型，因此往往会导致在未知领域的失败。从磁共振成像（MRI）扫描中分割海马对于神经精神疾病的诊断和治疗至关重要。对比度或形状的域差异会显著影响分割。我们通过将T1加权MRI图像分解为其内容和域来解决这个问题。这种分离使我们能够执行域转移，从而将数据从新的源转换到训练域。因此，该步骤简化了分割问题，导致更高质量的分割。我们用提出的新方法“内容域解纠缠GAN”实现了解纠缠，并且我们建议在变换后的输出上重新训练UNet以处理GAN特定的伪影。通过这些更改，我们能够将不可见域的性能提高6-13%，并优于最先进的域转移方法。
2022-01-14 cs.CV cs.LG eess.IV
Text Attribute Control via Closed-Loop Disentanglement
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；University of Oxford（牛津大学）；Zhongguancun Laboratory（中关村实验室）；Vienna University of Technology（维也纳工业大学）
本文提出一种基于半监督对比学习和闭环重解耦的文本属性控制方法，在保证内容保留的同时实现鲁棒的属性改变，并降低了计算成本，在三个文本数据集上验证了有效性。
2023-12-01 cs.CL cs.LG
Open-Ended Content-Style Recombination Via Leakage Filtering
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Sensory, Inc.（Sensory公司）；Google Brain（谷歌大脑）
我们认为视觉领域中的一个类标签指定的图像的内容，和类无关的属性，区分实例构成的风格。我们提出了一个域独立的方法，允许开放式重组的一个图像的内容与风格。开放式简单地意味着该方法推广到训练数据中不存在的风格和内容。该方法首先使用现有的深度度量学习技术构建内容嵌入。该训练的内容编码器被并入变分自编码器（VAE）中，与待训练的风格编码器配对。仅VAE重建损失不足以确保将潜在表征分解为风格和内容。因此，我们的方法包括一个辅助损失，泄漏过滤，这确保了没有风格信息剩余的内容表示用于重建，反之亦然。我们合成新的图像解码的风格表示从一个图像与内容表示从另一个。使用这种方法进行数据集增强，我们在少样本学习任务上获得了最先进的性能。
2018-09-28 cs.LG stat.ML
Mutual Information Based Method for Unsupervised Disentanglement of Video Representation
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
视频预测是一项有趣且具有挑战性的任务，即从属于视频序列的给定上下文帧集合中预测未来帧。视频预测模型在机动规划、医疗保健、自主导航和仿真等领域有着广阔的应用前景。未来帧生成的主要挑战之一是由于视觉数据的高维性质。在这项工作中，我们提出了互信息预测自动编码器（MIPAE）的框架，减少了预测高维视频帧的任务分解成内容和低维构成的潜在变量，很容易预测的视频表示。使用标准LSTM网络来预测这些低维姿态表示。内容和预测的姿态表示被解码以生成未来帧。我们的方法利用视频的潜在生成因素的时间结构和一种新的互信息损失来学习解纠缠的视频表示。我们还提出了一个度量的基础上互信息差距（间隙）定量访问的有效性解纠缠的DSPrites和MPI三维真实数据集。MIPAE预测的帧的视觉优势，证实了视觉上的优势。我们还定量地比较了我们的方法的评价指标LPIPS，SSIM和PSNR。
2020-11-17 cs.CV cs.LG
Disentangling Content from Style to Overcome Shortcut Learning: A Hybrid Generative-Discriminative Learning Framework
the School of Remote Sensing and Information Engineering（遥感与信息工程学院）
本文提出混合生成-判别框架 HyGDL，通过不变性预训练原则实现显式内容-风格解耦，从根本上克服捷径学习，并在相关基准上取得优越性能。
2025-09-21 cs.CV cs.LG
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Koopman Regularized Deep Speech Disentanglement for Speaker Verification
School of Electronics and Computer Science, University of Southampton（电子与计算机科学学院，南安普顿大学）；Marine Geosciences, National Oceanography Centre（海洋科学，国家海洋学中心）
本文提出DKSD-AE，通过结合Koopman算子学习和实例归一化，实现高效且鲁棒的说话人验证表示学习。
2026-03-05 cs.LG cs.SD
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research（维奈研究院）；Deezer Research and Development（迪泽研发中心）
语音转换是一项具有挑战性的任务，它将源说话人的语音特征转换为目标说话人，而不改变语言内容。近年来，基于变分自编码器（VAE）的多对多语音转换（VC）取得了很好的效果，但这些方法缺乏区分说话人身份和语言内容的能力，无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力，它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外，它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价，以显示我们提出的方法与其他国家的最先进的模型相比，在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Structured Content Preservation for Unsupervised Text Style Transfer
University of California, Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持句子内容不变的情况下改变句子的风格。最近的风格转换系统往往不能忠实地保留改变后的风格的内容。本文提出了一种结构化的内容保持模型，利用语言信息的结构化细粒度监督，以更好地保持风格无关的内容在风格转移。特别是，我们通过设计基于句子的词汇信息和基于内容的语言模型的丰富模型目标来实现目标。因此，所得到的模型被鼓励保留目标句子的语义意义。我们进行了大量的实验，比较我们的模型与其他现有的方法在情感和政治倾向转移的任务。我们的模型在自动和人工评估的内容保存和风格转移方面都取得了显着的改进。
2018-10-31 cs.CL cs.LG stat.ML
Zero Shot Audio to Audio Emotion Transfer With Speaker Disentanglement
Indian Institute of Science（印度科学院）
本文提出了一种名为 ZEST 的高效零样本音频到音频情感迁移方法，通过将语音分解为语义令牌、说话人表示和情感嵌入并基于自监督重建损失训练模型，在无需平行数据或标签的情况下实现了保留源说话人内容的情感迁移。
2024-01-09 cs.LG cs.SD eess.AS
Towards Unsupervised Content Disentanglement in Sentence Representations via Syntactic Roles
Université Sorbonne Paris Nord-CNRS UMR 7030（索邦巴黎北大学-法国国家科学研究中心 UMR 7030）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
将神经表征与语言因素联系起来对于构建和分析人类可解释的NLP模型至关重要。在这些因素中，句法角色（如主语、直接宾语、$\dots$）及其实现是必不可少的标记，因为它们可以被理解为谓词结构的分解，从而也就是句子的意义。从一个深概率生成模型与注意力，我们测量的潜变量和实现的句法角色之间的相互作用，并表明它是可能的，没有监督，表示的句子，不同的句法角色对应于明确确定的不同的潜变量。我们提出的概率模型是一个注意力驱动的变分自编码器（ADVAE）。从基于transformer的机器翻译模型中汲取灵感，ADVAE能够通过注意力分析潜在变量和输入令牌之间的交互。我们还开发了一个评估协议来衡量解纠缠方面的实现的语法角色。该协议基于编码器的注意力最大值和解码器的潜在变量扰动。我们对SNLI数据集的原始英语文本的实验表明，$\textit{i)}$解开句法角色可以在没有监督的情况下诱导，$\textit{ii)}$ ADVAE分离句法角色比经典的序列VAE和Transformer VAE更好，$\textit{iii)}$实现的句法角色可以单独修改在句子中通过干预相关的潜变量。我们的工作是迈向无监督可控内容生成的第一步。我们工作的代码是公开的。
2022-06-22 cs.AI cs.CL cs.LG
Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation
East China University of Science and Technology（华东理工大学）；University of St.Gallen（圣加仑大学）
本文提出一种仅用两个增强函数即可自动将语音解缠为内容、音色、节奏和音高四部分的语音转换模型，无需手工特征或瓶颈调优，实验证明其在解缠有效性和自然度上优于基线。
2023-06-21 cs.LG cs.SD eess.AS
Discrete Unit based Masking for Improving Disentanglement in Voice Conversion
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对语音转换中说话人特征依赖语音内容、解耦效果受限的问题，提出输入层面对齐音素类的离散语音单元掩码机制，可适配各类编解码VC框架，显著提升解耦与转换性能，注意力类方法的客观可懂度相对提升44%。
2024-09-17 cs.LG cs.SD eess.AS
Face Identity Disentanglement via Latent Space Mapping
Tel-Aviv University（特拉维夫大学）；Alibaba Cloud Intelligence Business Group（阿里云智能事业群）
学习数据的解纠缠表示是人工智能的一个基本问题。具体来说，解纠缠的潜在表征允许生成模型控制和合成的解纠缠的因素在合成过程中。然而，目前的方法需要广泛的监督和培训，或者相反，明显损害质量。在本文中，我们提出了一种学习如何以一种解脱的方式表示数据的方法，只需最少的监督，仅使用可用的预训练网络。我们的关键见解是通过采用领先的预训练无条件图像生成器（如StyleGAN）来解耦解纠缠和合成的过程。通过学习映射到其潜在空间，我们利用其最先进的质量，以及其丰富和富有表现力的潜在空间，而无需训练它。我们展示了我们在人类头部的复杂和高维域上的方法。我们评估我们的方法定性和定量，并展示其成功与去识别操作和时间身份的一致性图像序列。通过大量的实验，我们证明了我们的方法成功地将身份从其他面部属性中分离出来，超越了现有的方法，尽管它们需要更多的训练和监督。
2020-10-19 cs.CV cs.GR cs.LG
StyleMotif: Multi-Modal Motion Stylization using Style-Content Cross Fusion
Roblox（罗布乐思公司）
StyleMotif提出一种风格化运动潜在扩散模型，通过风格-内容交叉融合机制，从多模态输入中提取风格线索，生成兼具内容多样性和风格准确性的运动，超越现有方法。
2025-03-27 cs.AI cs.CL cs.CV
StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）
StyleDistance 利用大语言模型生成风格受控的合成平行改写数据，围绕 40 种风格特征进行对比学习，训练出更强内容无关的风格嵌入，并在现实基准和下游任务中优于现有方法。
2025-02-08 cs.CL cs.LG
NoiseVC: Towards High Quality Zero-Shot Voice Conversion
University of St.Gallen（圣加仑大学）
语音转换（VC）是将语音从目标音频转换为源音频而不丢失语言内容的任务，特别是当源和目标说话人在训练期间不可见（zero-shot VC）时，它是具有挑战性的。以前的方法需要预先训练的模型或语言数据来进行zero-shot转换。同时，具有矢量量化（VQ）或实例归一化（IN）的VC模型能够从音频中分离内容并实现成功的转换。然而，这些模型中的解纠缠高度依赖于严重受限的瓶颈层，因此，声音质量被大大牺牲。在本文中，我们提出了NoiseVC，一种可以基于VQ和对比预测编码（CPC）来解开内容的方法。此外，执行噪声增强以进一步增强解纠缠能力。我们进行了几个实验，并证明了NoiseVC具有很强的解纠缠能力与一个小的牺牲的质量。
2021-04-13 cs.LG cs.SD eess.AS
Cross-Platform Hate Speech Detection with Weakly Supervised Causal Disentanglement
Arizona State University（亚利桑那州立大学）；Stanford University（斯坦福大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
针对跨平台仇恨言论检测中传统方法适配性差、因果解耦需依赖目标标签的问题，研究提出弱监督因果解耦框架HATE WATCH，通过置信度重加权与对比正则化实现特征解耦，在跨平台场景下取得更优检测性能，助力可扩展内容审核与安全网络社区建设。
2024-04-17 cs.CL cs.LG
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
仅参考单个目标说话人语音的一次性语音转换（VC）已成为研究热点。现有的作品通常会将音色分解，而关于音高、节奏和内容的信息仍然混合在一起。为了有效地执行一次性VC，进一步解开这些语音分量，我们采用随机重定向的音高和内容编码器，并使用变分对比对数比互信息和基于梯度反转层的对抗性互信息学习的上限，以确保在训练过程中潜在空间的不同部分只包含所需的解开表示。在VCTK数据集上的实验表明，该模型在自然度和可重构性方面达到了一次性VC的最佳性能。此外，我们可以通过语音表示解纠缠来分别传递单次VC在音色、音高和节奏上的特征。我们的代码、预训练模型和演示可在https://im1eon.github.io/IS2022-SRDVC/上获得。
2022-08-18 cs.LG cs.SD eess.AS
Content-Style Identification via Differential Independence
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, Oregon, USA（电气工程与计算机科学学院，俄勒冈州立大学，科瓦利斯，俄勒冈，美国）
本文提出了一种新的结构条件，即内容-风格微分独立性（CSDI），用于在内容和风格可能依赖的情况下实现生成分析中的可识别性，通过在雅可比子空间上施加块状正交约束，并设计了基于数值雅可比近似的随机正则化器以支持高维生成模型。
2026-05-18 cs.AI cs.LG
Are disentangled representations all you need to build speaker anonymization systems?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）；LIUM（勒芒大学信息实验室）；Le Mans Université（勒芒大学）
语音信号中包含了大量的敏感信息，如说话人的身份，这在语音数据采集时引起了隐私问题。说话人匿名化的目的是对语音信号进行变换，去除源说话人的身份，同时保持说话内容不变。当前的方法通过依赖于内容/说话者解纠缠和语音转换来执行转换。通常，来自自动语音识别系统的声学模型提取内容表示，而x向量系统提取说话者表示。先前的工作表明，提取的特征并没有完全解开。本文研究如何提高特征分解，从而转换匿名语音。我们建议通过使用矢量量化从声学模型中去除扬声器信息来增强解纠缠。使用VoicePrivacy 2022工具包进行的评估表明，矢量量化有助于隐藏原始说话者身份，同时保持语音识别的实用性。
2023-01-13 cs.AI cs.CR cs.LG
