Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题，提出几何迭代检索方法，在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
Towards Learning Fine-Grained Disentangled Representations from Speech
University of Notre Dame（圣母大学）
学习高维数据的非纠缠表示是当前一个活跃的研究领域。然而，与计算机视觉领域相比，语音处理方面的工作做得较少。在本文中，我们提供了一个审查的两个代表性的努力在这个话题上，并提出了新的概念细粒度的解开语音表示学习。
2018-08-08 cs.CL cs.LG cs.SD
Disentangled Feature Learning for Real-Time Neural Speech Coding
Microsoft Research Asia（微软亚洲研究院）
最近，端到端神经音频/语音编码已经显示出其优于传统的基于信号分析的音频编解码器的巨大潜力。这主要是通过遵循VQ-VAE范式来实现的，其中盲特征被学习、矢量量化和编码。在本文中，而不是盲目的端到端的学习，我们提出学习解纠缠的功能，实时的【形】神经语音编码。具体而言，更全球化的扬声器身份和本地内容特征与解纠缠表示语音学习。这种紧凑的特征分解不仅通过利用不同特征之间的比特分配来实现更好的编码效率，而且还提供了在嵌入空间中进行音频编辑的灵活性，例如实时的【形】通信中的语音转换。主观和客观的结果都证明了它的编码效率，我们发现学习的解纠缠特征在任何到任何语音转换上表现出与现代自监督语音表示学习模型相当的性能，具有更少的参数和低延迟，显示了我们的神经编码框架的潜力。
2023-02-25 cs.LG cs.SD eess.AS
Learning Disentangled Speech Representations
Institute of Cognitive Science, Universität Osnabrück（奥斯纳布吕克大学认知科学研究所）
针对语音解耦表示研究缺乏带标注评估数据集的问题，本文提出大规模合成数据集SynSpeech及配套评估框架，以RAVE模型为测试用例验证了其基准测试能力，填补了领域关键空白。
2025-01-11 cs.LG cs.SD eess.AS
Protecting gender and identity with disentangled speech representations
Centre for Intelligent Sensing, Queen Mary University of London（伦敦玛丽女王大学智能感知中心）
除了语言内容，我们的语音中还含有丰富的生物特征信息，可以通过分类器进行推断。学习语音信号的隐私保护表示使得下游任务能够在不共享关于个体的不必要的隐私信息的情况下进行。在本文中，我们表明，保护语音中的性别信息是更有效的建模扬声器身份信息时，只生成一个不敏感的语音表示。我们的方法依赖于重建语音解码语言内容以及性别信息使用变分自编码器。具体来说，我们利用解纠缠的表示学习编码不同属性的信息到单独的子空间，可以独立分解。我们提出了一种新的方式来编码性别信息和解开两个敏感的生物特征标识符，即性别和身份，在隐私保护设置。LibriSpeech数据集上的实验表明，性别识别和说话人验证可以简化为随机猜测，从而防止基于分类的攻击。
2021-06-16 cs.LG cs.SD eess.AS
Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization
Concordia University, Montreal, Canada（康科德大学）；Mila-Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所）
DyCAST通过动态字符对齐和显式持续时间建模，实现可变帧率语音分词，提升低帧率下的语音重合成质量与下游性能。
2026-02-04 cs.AI cs.LG cs.SD
ParaMETA: Towards Learning Disentangled Paralinguistic Speaking Styles Representations from Speech
ParaMETA通过统一框架学习解耦的语音语义说话风格表示，实现多任务处理和生成任务中的细粒度风格控制。
2026-01-18 cs.LG cs.SD eess.AS
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman（度小满）
针对目标语音提取中的说话人混淆问题，提出自监督解耦表示学习方法，通过两阶段网络分离说话人身份信息，并引入自适应调制Transformer进行条件指导，有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA（英伟达）
在这项工作中，我们提出了一种使用经过自监督学习训练的语音表示的零射击（zero-shot）语音转换方法。首先，我们开发了一个多任务模型，将语音话语分解为语言内容，说话人特征和说话风格等特征。为了理清内容和扬声器表示，我们提出了一种基于Siamese网络的训练策略，该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来，我们开发了一个合成模型与音高和持续时间预测，可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成，以执行zero-shot任何到任何语音转换，实现最先进的结果的度量评估扬声器的相似性，可理解性和自然性。对于目标说话者，仅使用10秒的数据，我们的框架就可以执行语音交换，并实现了5.5%的说话者验证EER，对于看不见的说话者，EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Improving Unsupervised Subword Modeling via Disentangled Speech Representation Learning and Transformation
The Chinese University of Hong Kong（香港中文大学）
这项研究解决了无监督的子词建模在零资源的情况下，学习帧级语音表示，语音歧视和说话人不变，只使用目标语言的未转录语音。帧标签获取是解决这一问题的关键步骤。高质量的帧标签应该与黄金透明度保持良好的一致性，并对扬声器变化具有鲁棒性。我们建议通过应用因式分解的分层变分自编码器（FHVAE）来改进我们先前采用的深度神经网络瓶颈特征（DNN-BNF）架构中的帧标签获取。FHVAE学习解开语言内容和说话者身份信息编码的语音。通过丢弃或统一说话人信息，学习说话人不变特征并将其作为DPGMM帧聚类和DNN-BNF训练的输入。在ZeroSpeech 2017上进行的实验表明，与不应用FHVAE的基线DNN-BNF系统相比，我们提出的方法在跨扬声器和扬声器内条件下实现了$2.4\%$和$0.6\%$绝对ABX错误率降低。我们提出的方法显着优于声道长度归一化，提高帧标记和子字建模。
2019-07-03 cs.LG cs.SD eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh（爱丁堡大学）；The Centre for Speech Technology Research（语音技术研究中心）
针对自监督语音模型量化易丢失韵律及副语言信息的问题，提出分段可变码本方法，在多语言单元层级量化分解语音，实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
AugCodec: A Low-Bitrate Disentangled Neural Speech Codec via Data Augmentation
Amazon, USA（亚马逊（美国））
提出AugCodec，利用数据增强将语音分解为语义、说话人和韵律三种令牌，在12.5Hz低比特率下实现优于现有方法的重建质量和解耦性能。
2026-06-23 cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成，支持独立控制语音音色和环境背景，提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
Learning Expressive Disentangled Speech Representations with Soft Speech Units and Adversarial Style Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出SAVC框架，利用HuBERT-soft软语音单元，通过对抗风格增强消除说话人信息，并借助知识蒸馏建模韵律，实现表达性语音转换，在可懂度和自然度上优于已有方法。
2024-05-01 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence, CUHK（香港中文大学感知与交互智能中心）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
我们提出了一种无监督学习方法，将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务，以证明解纠缠的有效性。受$β$ -VAE的启发，我们引入了一个学习目标，该目标在内容和说话人表示所捕获的信息之间进行平衡。此外，来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明，该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
Learning Disentangled Speech Representations with Contrastive Learning and Time-Invariant Retrieval
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Huya Inc (Shenzhen) Co., Ltd.（虎牙信息科技（深圳）有限公司）
本文提出CTVC方法，通过对比学习与时不变检索实现语音表示解耦，以提升语音转换中的音质和说话人相似度。
2024-01-18 cs.SD eess.AS
Generalizable Zero-Shot Speaker Adaptive Speech Synthesis with Disentangled Representations
University of New South Wales（新南威尔士大学）
针对零样本说话人自适应语音合成中未见过说话人语音自然度与相似度下降的问题，提出引入解耦表征和变分自编码器增强的GZS-TV模型，提升了泛化性且在多数据集上优于基线。
2023-08-24 cs.AI cs.SD eess.AS
Enhancing Low-Quality Voice Recordings Using Disentangled Channel Factor and Neural Waveform Model
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；University of Science and Technology of China（中国科学技术大学）
高质量的语音语料库是大多数语音应用的重要基础。然而，由于这些语音数据是在专业记录环境中收集的，因此它们是昂贵且有限的。在这项工作中，我们提出了一个编码器-解码器神经网络，可以自动将低质量的录音增强为专业的高质量录音。为了解决通道可变性，我们首先使用具有对抗训练的编码器网络从原始输入音频中过滤掉通道特征。接下来，我们从参考音频中解开通道因子。以该因子为条件，然后使用自回归解码器来预测目标-环境Mel谱图。最后，我们应用一个类神经声码器来合成语音波形。实验结果表明，该系统在以高质量音频为参考的情况下，能够生成专业的高质量语音波形。与几种最先进的基线系统相比，它还提高了语音增强性能。
2020-11-10 cs.SD eess.AS
Speech denoising by parametric resynthesis
The CUNY Graduate Center（纽约市立大学研究生中心）；Brooklyn College（布鲁克林学院）
这项工作提出了使用干净的语音声码器参数作为目标的神经网络执行语音增强。这些参数已经被设计用于文本到语音合成，使得它们都产生高质量的再合成，并且还可以直接用神经网络建模，但是直到现在还没有被用于语音增强。与匹配的文本到语音系统相比，该系统给出了嘈杂语音的地面真实成绩单，我们的模型能够产生更自然的语音，因为它可以访问嘈杂语音中的真实韵律。在比较两个去噪系统，甲骨文维纳面具和基于DNN的面具预测器，我们的模型等于甲骨文维纳面具的主观质量和可懂度，并超越了现实的系统。一个基于声码器的上限表明，这种方法仍然有改进的空间，超越了甲骨文维纳掩码。我们用两个扬声器测试扬声器依赖性，并表明单个模型可用于多个扬声器。
2019-04-02 cs.LG cs.SD eess.AS
FreeCodec: A disentangled neural speech codec with fewer tokens
NERCMS, School of Computer Science（NERCMS计算机学院）
针对现有神经语音编解码器在token较少时因建模复杂耦合信息效率低而性能下降的问题，提出FreeCodec，通过将语音内在属性解耦为音色、韵律和内容组件实现更有效编码，在重建与解耦场景中达到SOTA。
2025-06-28 cs.SD eess.AS
Factorized RVQ-GAN For Disentangled Speech Tokenization
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Brno University of Technology（布拉格技术大学）；LIUM University, France（法国利乌姆大学）
提出因子化RVQ-GAN的HAC编解码器，通过多层级瓶颈和知识蒸馏实现语音解纠缠分词，优于单层级基线。
2025-06-18 cs.CL cs.SD eess.AS
Combining Adversarial Training and Disentangled Speech Representation for Robust Zero-Resource Subword Modeling
The Chinese University of Hong Kong（香港中文大学）
本研究针对非转录语音的无监督子字单元发现问题。它构成了ZeroSpeech 2019最终目标的基础，即构建没有文本标签的文本到语音系统。在这项工作中，单位发现制定为一个管道的语音判别特征学习和单位推理。鲁棒无监督特征学习的一个主要困难是处理说话人变异。在这里，通过应用对抗训练和基于FHVAE的分离语音表示学习来实现对说话人变化的鲁棒性。在DNN瓶颈特征（DNN-BNF）架构中对这两种方法及其组合进行了比较研究。实验在ZeroSpeech 2019和2017上进行。ZeroSpeech 2017上的实验结果表明，两种方法都是有效的，而后者更为突出，并且它们的组合带来了跨说话人条件的进一步边际改善。ZeroSpeech 2019的结果显示，在ABX辨别力任务中，我们的方法显著优于官方基线，并且与官方背线竞争甚至优于官方背线。所提出的单位序列平滑算法提高了合成质量，在ABX的可辨别性略有下降的成本。
2019-08-09 cs.CL cs.SD eess.AS
Universal Semantic Disentangled Privacy-preserving Speech Representation Learning
Amazon AGI（亚马逊人工智能实验室）
针对语音训练LLM的隐私问题，提出基于USC编解码器的解耦式语音表示学习方法，分离隐私安全的语义表示与说话人相关残差表示，兼顾内容保留与说话人隐私保护，实现SOTA重建效果并提出对应评估方法。
2025-05-20 cs.LG eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Learning Disentangled Phone and Speaker Representations in a Semi-Supervised VQ-VAE Paradigm
University of Edinburgh（爱丁堡大学）；Tokyo Institute of Technology（东京工业大学）
我们提出了一种新的方法，通过引入新的组件的VQ-VAE架构的语音合成解开扬声器的声音和电话内容。原始的VQ-VAE不能很好地推广到看不见的扬声器或内容。为了缓解这个问题，我们已经纳入了一个扬声器编码器和扬声器VQ码本，学习全球扬声器特性完全独立于现有的子音素码本。我们还比较了两种训练方法：全局条件下的自监督和说话人标签的半监督。添加扬声器VQ组件改进了语音合成质量的客观测量（估计MOS、扬声器相似性、基于ASR的可懂度），并提供了有意义的学习表示。我们的扬声器VQ码本索引可以用于一个简单的扬声器日记任务，并执行略优于x向量基线。此外，在我们的半监督VQ-VAE中，可以从子音素VQ码本索引中识别音素，比全局条件下的自监督更好。
2021-02-10 cs.LG cs.SD eess.AS
Investigation of Using Disentangled and Interpretable Representations for One-shot Cross-lingual Voice Conversion
ObEN, Inc.（ObEN公司）
本文研究了非平行语音库和一次性学习环境下的跨语言语音转换问题。大多数先前的工作需要平行的语音语料库或足够数量的训练数据从一个目标说话人。然而，我们只需要一个目标说话人的训练话语，就可以将任意源说话人的任意句子转换为目标说话人的句子。为了实现这一点，我们将问题公式化为学习解纠缠的特定于说话者和特定于上下文的表示，并遵循[1]的思想，其使用因子化分层变分自编码器（FHVAE）。在多说话人训练数据上训练FHVAE后，给定任意源说话人和目标说话人的话语，估计这些潜在表示，然后将转换后的语音的期望话语重构为目标说话人的期望话语。我们调查的有效性的方法进行语音转换实验与不同大小的训练话语，它能够实现合理的性能，即使只有一个训练话语。我们还研究了语音表示，并表明世界声码器优于[1]中使用的短时傅立叶变换（STFT）。最后，在主观测试中，对于一种语言和跨语言语音转换，与VAE-STFT和GMM基线相比，我们的方法在语音质量和相似性方面取得了显着更好或相当的结果。
2018-08-15 cs.SD eess.AS
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动Nineverse人工智能技术（北京）有限公司）；Nineverse Institute of Artificial Intelligence（Nineverse人工智能研究院）；The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京，中国）
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成，提升语音克隆与语调控制性能。
2026-01-04 cs.SD
ZSVC: Zero-shot Style Voice Conversion with Disentangled Latent Diffusion Models and Adversarial Training
Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
提出 ZSVC 零样本风格语音转换方法，结合语音编解码器、语音提示潜在扩散、信息瓶颈、UMAdaIN 与对抗训练，实现风格与音色解耦，并在 44,000 小时数据上验证其优越性能。
2025-01-08 cs.SD eess.AS
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis
Meta AI；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出Expresso数据集及重合成基准，包含朗读与26种自发表达风格的即兴对话，系统评估自监督离散编码器在低比特率下保留内容与风格并转换目标声音的质量与权衡。
2023-08-10 cs.CL cs.LG cs.SD
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出DiEmo-TTS，通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入，实现跨说话人情感迁移，减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集，用于评估神经音频编码器和基于LLM的TTS模型，尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本，涵盖10种口音，通过大规模主观测试收集19600条注解，揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Rethinking Discrete Speech Representation Tokens for Accent Generation
本文重新思考离散语音表示标记在口音生成中的作用，提出统一评估框架，发现层选择对保留口音信息影响最大，ASR监督会减少口音信息，且简单代码书缩减无法有效分离口音信息。
2026-03-09 cs.CL cs.SD eess.AS
CrossAccent-TTS: Cross-Lingual Accent-Intensity Controllable Text-to-Speech via Disentangled Speaker and Accent Representations
Media Analysis, Sony Research India（索尼印度研究机构媒体分析部）
提出CrossAccent-TTS框架，通过口音强度控制器（AIC）注入加权语言嵌入到口音子空间，实现跨语言口音控制与转换，同时保持说话人身份，在Indic Multilingual和L2-arctic数据集上优于基线。
2026-06-25 cs.AI cs.SD eess.AS
MMM: Multi-Layer Multi-Residual Multi-Stream Discrete Speech Representation from Self-supervised Learning Model
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
本文提出 MMM，通过对 SSL 模型不同层使用结合 K-means 的迭代残差向量量化提取多流离散语音单元，并在多项语音任务中达到或超过神经编解码器性能。
2024-06-14 cs.SD eess.AS
Joycent: Multi-Accent TTS via Disentangled Accent Modeling and Layer-Specific Conditioning
University of Science and Technology of China（中国科学技术大学）
提出Joycent，一种基于扩散模型的口音TTS方法，直接从标准音素序列和语音参考合成口音语音，无需口音音素预测，通过条件层归一化集成口音和说话人表征，并引入WhisAID口音识别模型，在保持说话人身份的同时提升口音自然度。
2026-09-01 cs.SD eess.AS
Tracing and Relearning Detection Evidence in Text-to-Speech Systems
Ewha W. University（梨花女子大学）；KAIST AI（韩国科学技术院人工智能学院）
本研究通过F5-TTS-BigVGAN流水线追踪检测证据来源，发现声学模型更新可减少固定检测器的检测证据，而检测器适应能恢复检测能力，显著降低EER。
2026-09-28 cs.SD eess.AS
Improved disentangled speech representations using contrastive learning in factorized hierarchical variational autoencoder
Aalborg University（奥尔堡大学）
针对FHVAE中说话人身份变量解耦约束较弱的问题，本文在其训练流程中引入对比学习，在不改变模型结构、不增加测试开销的前提下，提升了说话人身份与内容特征提取效果及语音转换性能。
2023-06-14 cs.LG eess.AS
Fine-Grained and Interpretable Neural Speech Editing
Northwestern University（西北大学）
针对现有语音表征属性纠缠、难以细粒度编辑的问题，本文提出首个解纠缠且可解释的语音表征，并结合数据增强训练神经声码器，实现多属性高质量编辑。
2024-07-07 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University（哥伦比亚大学）
单次语音转换（One-shot Voice Conversion，VC）的目的是利用来自目标说话人的几秒钟参考语音，将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容，这仍然是一项具有挑战性的任务。在这里，我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音（TTS）模型的迁移学习。通过周期一致性和对抗性训练，基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器，通过师生知识转移和新的数据增强方案，我们的方法的结果在解开语音表示，而不需要输入文本。主观评价表明，我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
Disentanglement in a GAN for Unconditional Speech Synthesis
Stellenbosch University（斯泰伦博斯大学）
本文提出 AudioStyleGAN，通过借鉴 StyleGAN、抑制混叠并改进自适应判别器增强，学习解耦潜空间，在小词汇量无条件语音合成上达到最优且速度更快。
2024-01-25 cs.CL cs.SD eess.AS
FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks
Concordia University（康科德大学）；Mila-Quebec AI Institute（魁北克AI研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Université Laval（拉瓦尔大学）
本文提出FocalCodec，一种基于焦点调制的低比特率语音编解码器，利用单一二进制码本在0.16-0.65 kbps下压缩语音，兼顾语义与声学信息，性能优于现有方法，并支持多语言及噪声环境。
2025-10-24 cs.AI cs.LG cs.SD
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China（九天人工智能研究院，中国移动，国家多媒体信息处理重点实验室，北京大学）
DeCodec通过正交子空间投影和表示交换训练，将音频编解码器转化为通用解耦表示学习器，实现语音与背景声音及语义与副语言的分层解耦，支持灵活特征选择，在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出基于半监督对比学习的多说话人TTS方法，通过多层级对比学习提取解耦的风格、情感与说话人表征，并结合半监督策略利用多领域数据，整合至改进VITS模型，实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics（信息学院）；School of Electronic Science and Engineering（电子科学与工程学院）
提出Discl-VC框架，通过解耦自监督语音表示中的内容与韵律信息，结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记，实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学与技术研究院）；Japan Kyoto University（京都大学）
针对仅用母语数据合成外语口音语音的现有方法无法再现时长口音的问题，本文整合时长修改，提出韵律增强方法，实验证明能成功复现真实L2语音中的时长口音。
2025-05-22 cs.SD eess.AS
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University（名古屋大学）
NeuMark-Native提出一种TTS原生水印框架，在神经编解码器潜在空间中嵌入载荷，提升水印在DSP和编解码器攻击下的持久性，同时保持语音质量。
2026-10-06 cs.SD
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
LY Corporation（LY公司）
提出一种基于描述的跨语言可控TTS方法，通过结合目标语言TTS模型与另一语言的描述控制模型，并利用SSL共享解耦的音色与风格表示，在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
2024-09-26 cs.CL cs.LG cs.SD
Unsupervised Speech Decomposition via Triple Information Bottleneck
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
语音信息可以大致分解为四个组成部分：语言内容、音色、音高和节奏。获得这些分量的解纠缠表示在许多语音分析和生成应用中是有用的。最近，国家的最先进的语音转换系统已经导致语音表示，可以解开扬声器相关和独立的信息。然而，这些系统只能解开音色，而有关音高，节奏和内容的信息仍然混合在一起。在没有针对每个分量的明确注释的情况下，进一步解开剩余的语音分量是欠确定的问题，这是难以获得且昂贵的。在本文中，我们提出了SpeechSplit，它可以通过引入三个精心设计的信息瓶颈，将语音盲分解为四个组成部分。SpeechSplit是第一个可以在没有文本标签的情况下单独对音色、音高和节奏进行风格转换的算法。我们的代码可在https://github.com/auspicious3000/SpeechSplit上公开获取。
2021-03-13 cs.LG cs.SD eess.AS
