End-to-End Text-to-Speech using Latent Duration based on VQ-VAE
Tokyo Institute of Technology（东京工业大学）
在文本转语音合成（TTS）中，显式时长建模是实现鲁棒和高效对齐的关键。我们提出了一个新的TTS框架，使用显式的持续时间建模，将持续时间作为一个离散的潜在变量TTS，并使联合优化的整个模块从头开始。我们制定了我们的方法的基础上，条件VQ-VAE处理离散时间在变分自动编码器，并提供了理论解释，以证明我们的方法。在我们的框架中，一个连接主义的时间分类（CTC）为基础的力对齐器作为近似后验，和文本持续时间工程作为前变自动编码器。我们评估了我们提出的方法与听力测试，并将其与其他TTS方法的基础上软注意或显式持续时间建模。结果表明，我们的系统在基于软注意力的方法（Transformer-TTS，Tacotron 2）和基于显式持续时间建模的方法（Fastspeech）之间进行了评分。
2020-10-20 cs.CL cs.SD eess.AS
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
由于最近提出的语音克隆系统，NAUTILUS，是能够克隆看不见的声音使用未转录的语音，我们调查的可行性，使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音，而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语，芬兰语和普通话使用者创建跨语言TTS和VC系统，我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC，而且可以无缝地用于跨语言TTS，而无需执行任何额外的步骤。然而，主观评价的感知自然度似乎不同的目标扬声器，这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部）
本文提出了一种表达性语音合成模型，利用令牌级潜在韵律变量，以捕捉和控制话语级属性，如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块，在相应的水平。我们发现，细粒度的潜在空间也捕获粗粒度的信息，这是更明显的潜在空间的维度增加，以捕捉不同的韵律表示。因此，在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中，然后单独训练一个先验网络，该网络给定输入文本，学习话语级表示，以预测在前一步中提取的音素级后验潜在空间，从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
Disentanglement in a GAN for Unconditional Speech Synthesis
Stellenbosch University（斯泰伦博斯大学）
本文提出 AudioStyleGAN，通过借鉴 StyleGAN、抑制混叠并改进自适应判别器增强，学习解耦潜空间，在小词汇量无条件语音合成上达到最优且速度更快。
2024-01-25 cs.CL cs.SD eess.AS
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息，提出有监督和无监督方法寻找语义方向，实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
End-to-End Text-to-Speech Based on Latent Representation of Speaking Styles Using Spontaneous Dialogue
rinna Co., Ltd.（Rinna株式会社）；Nagoya Institute of Technology（名古屋工业大学）
近年来的文本转语音（TTS）技术已经取得了与人类相当的质量，然而，它在口语对话中的应用还没有得到广泛的研究。本研究的目的是实现一个TTS，非常类似于人类的对话。首先，我们记录和转录真实的自发对话。第一阶段，训练变分自动编码器（VAE）-VITS或高斯混合变分自动编码器（GMVAE）-VITS，将话语级隐变量引入到端到端文本转语音（VITS）的变分推理中，并进行对抗学习。一个风格编码器，提取一个潜在的说话风格表示从语音训练联合TTS。在第二阶段中，训练风格预测器以预测将从对话历史合成的说话风格。在推理过程中，通过将风格预测器预测的说话风格表示传递给VAE/GMVAE-VITS，可以以适合于对话上下文的风格合成语音。主观评价结果表明，所提出的方法优于原来的VITS对话级的自然度。
2022-06-24 cs.CL cs.LG cs.SD
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
An Empirical Study on Learning Latent Representations for Emotional Speech Synthesis
Aimesoft JSC
本文针对VLSP 2022情感语音合成任务，通过将说话人嵌入和韵律瓶颈集成到FastSpeech 2中，实现了单说话人情感语音生成及跨说话人风格迁移。
2026-06-16 cs.AI cs.CL cs.SD
Uncovering Latent Style Factors for Expressive Speech Synthesis
Google Research（谷歌研究院）
韵律建模是语音合成的核心问题。关键的挑战是从只包含语音信息的文本输入中产生所需的韵律。在这个初步的研究中，我们介绍了“风格令牌”的概念，在Tacotron，最近提出的端到端的神经语音合成模型。使用风格标记，我们的目标是从训练数据中提取独立的韵律风格。我们表明，没有注释数据或明确的监督信号，我们的方法可以自动学习各种韵律变化在一个纯粹的数据驱动的方式。重要的是，每个样式标记都对应于一个固定的样式因子，而不管给定的文本序列如何。因此，我们可以控制合成语音的韵律风格在某种程度上可预测的和全球一致的方式。
2017-11-01 cs.CL cs.SD
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute（韩国电子通信研究院）
本文提出将表示学习与重建分离，用端到端编码器学习离散令牌，并用潜在扩散模型去量化，在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
Parallel WaveNet conditioned on VAE latent vectors
最近，最先进的文本到语音合成系统已经转移到两个模型的方法：一个序列到序列模型来预测语音的表示（通常是梅尔频谱图），其次是一个“神经声码器”模型，它产生的时域语音波形从这个中间的语音表示。这种方法能够合成与自然语音记录混淆的语音。然而，神经声码器方法的推理速度是将该技术用于商业应用的主要障碍。并行WaveNet是为解决这一问题而开发的一种方法，它牺牲了一些合成质量，以获得更快的推理速度。在本文中，我们研究了使用一个并行的WaveNet神经声码器的信号质量，以提高一个电平调节向量。我们用来自Tacotron 2型序列到序列模型的预训练VAE分量的潜在向量来调节神经声码器。这样，我们就能够显著提高声码语音的质量。
2020-12-17 cs.SD eess.AS
WavThruVec: Latent speech representation as intermediate features for neural speech synthesis
Charactr, Inc.（Charactr公司）；Max-Planck-Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）
神经文本到语音研究的最新进展主要是利用低级中间语音表示（如梅尔频谱图）的两阶段管道。然而，这样的预定特征从根本上是有限的，因为它们不允许通过学习隐藏的表示来利用数据驱动方法的全部潜力。为此，已经提出了几种端到端方法。然而，这样的模型很难训练，并且需要大量的高质量的录音。在这里，我们提出了WavThruVec -一个两阶段的架构，通过使用高维Wav 2 Vec 2.0嵌入作为中间语音表示来解决瓶颈。由于这些隐藏的激活提供了高级语言特征，因此它们对噪声更鲁棒。这允许我们利用较低质量的带注释的语音数据集来训练第一阶段模块。同时，第二阶段组件可以在大规模的未转录音频语料库上进行训练，因为Wav 2 Vec 2.0嵌入已经是时间对齐的。这导致对词汇表外的单词的泛化能力增加，以及对看不见的说话者的更好的泛化。我们表明，所提出的模型不仅符合最先进的神经模型的质量，而且还提出了有用的属性，使语音转换或zero-shot合成等任务。
2022-07-11 cs.CL cs.LG cs.SD
LatentSpeech: Latent Diffusion for Text-To-Speech Generation
UNSW Sydney（新南威尔士大学悉尼分校）；Monash University（莫纳什大学）
针对主流TTS系统映射梅尔频谱图计算负载高的问题，提出采用潜在扩散模型的LatentSpeech，以潜在嵌入为中间表示大幅降维，首次将潜在扩散集成到TTS中，在基准数据集上显著提升语音生成的准确性与自然度。
2024-12-11 cs.AI cs.CL cs.LG
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
Beijing University of Posts and Telecommunications（北京邮电大学）；Hello Group（Hello集团）
提出VoTSpeech模型，通过显式中间语音潜在变量分离语音设计与语音生成，在InstructTTSEval-ZH上表现出色，可实现可控语音合成。
2026-10-14 cs.CL cs.SD
Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance
National Institute of Informatics（日本国立信息学研究所）
一般来说，当训练神经语音合成系统时的主要目标是从神经网络的输出层合成自然的和有表现力的语音，而不太注意隐藏层。然而，通过学习有用的潜在表示，该系统可以用于许多更实际的场景。在本文中，我们研究了使用量化向量来模拟潜在的语言嵌入，并将其与连续对应。通过在训练中对潜在空间实施不同的策略，我们能够获得具有不同属性的潜在语言嵌入，同时在质量和说话人相似性方面具有相似的性能。我们的实验表明，建立与矢量量化的语音克隆系统只有一个小的退化方面的感知评价，但有一个离散的潜在空间，这是有用的减少表示比特率，这是可取的数据传输，或限制信息泄漏，这是重要的发言人匿名和其他任务的性质。
2021-06-25 cs.CL cs.SD eess.AS
Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis
Nagoya Institute of Technology（名古屋工业大学）；Microsoft Development Co., Ltd.（微软开发有限公司）
本文提出了一种多粒度隐变量的层次生成模型来合成表达性语音。近年来，文本到语音合成中引入了细粒度的隐变量，使得能够对合成语音的韵律和说话风格进行精细控制。然而，当这些潜变量通过从标准高斯先验中采样来获得时，语音的自然度降低。为了解决这个问题，我们提出了一个新的框架，考虑到依赖于输入文本，层次语言结构，和时间结构的潜变量建模的细粒度的潜变量。该框架包括一个多粒度的变分自编码器，一个条件先验，和一个多层次的自回归潜转换器，以获得不同的时间分辨率的潜变量，并考虑到输入文本从粗层次的潜变量采样细层次的潜变量。实验结果表明，适当的方法采样细粒度的潜变量没有参考信号在合成阶段。我们提出的框架还提供了在整个话语的说话风格的可控性。
2021-12-26 cs.LG cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab（Soul AI实验室）
该研究提出SemBridge框架，通过离散语义令牌监督自回归LM状态，在零样本TTS和SVS任务中提升内容准确性，同时保持说话人相似度与感知质量，为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research（谷歌研究院）
最近的工作已经探索了序列到序列的表达性语音合成（支持韵律和风格的控制和转移）的潜在变量模型，但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中，我们提出了嵌入容量（嵌入包含的信息量的数据）作为一个统一的方法来分析语音的潜变量模型的行为，比较现有的启发式（非变分）的方法，变分方法，能够明确限制容量上界的代表性互信息。在我们提出的模型（Capacitron）中，我们表明，通过将条件依赖性添加到变分后验中，使其与真实后验的形式相匹配，相同的模型可用于高精度韵律传输，文本不可知风格传输和生成自然的先验样本。对于多说话人模型，Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后，我们介绍了一种方法，用于在两组潜伏期中分层分解嵌入容量，允许指定一部分潜伏变异性，其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；LY Corp.（LY公司）
针对未见噪声下语音转换自然度受限的问题，提出用录音质量与环境潜变量条件化VC模型的去噪训练方法，并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers
Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音部门）
NaturalSpeech 2利用残差向量量化神经音频编解码器与扩散模型，结合语音提示机制实现零样本语音与歌声合成，在44K小时数据上训练后显著优于以往TTS系统。
2023-05-30 cs.AI cs.CL cs.LG
DiffVoice: Text-to-Speech with Latent Diffusion
Shanghai Jiao Tong University（上海交通大学）
本文提出 DiffVoice，利用对抗增强 VAE 编码音素速率语音潜变量，并以扩散模型联合建模时长与表示，在自然度、文本语音编辑及零样本适配上取得先进结果。
2023-04-23 cs.AI cs.HC cs.LG
ZSVC: Zero-shot Style Voice Conversion with Disentangled Latent Diffusion Models and Adversarial Training
Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
提出 ZSVC 零样本风格语音转换方法，结合语音编解码器、语音提示潜在扩散、信息瓶颈、UMAdaIN 与对抗训练，实现风格与音色解耦，并在 44,000 小时数据上验证其优越性能。
2025-01-08 cs.SD eess.AS
Hierarchical Generative Modeling for Controllable Speech Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）
本文提出了一种神经序列到序列的文语转换（TTS）模型，该模型可以控制生成的语音中很少在训练数据中注释的潜在属性，如说话风格、口音、背景噪声和录音条件。该模型被制定为一个条件生成模型的基础上的变分自编码器（VAE）的框架，具有两个层次的潜变量。第一级是分类变量，表示属性组（例如干净/嘈杂）并提供可解释性。第二个层次，条件是第一个，是一个多变量高斯变量，其特征在于特定的属性配置（如噪音水平，说话速率），并使这些属性的解开细粒度控制。这相当于对潜在分布使用高斯混合模型（GMM）。广泛的评价表明其控制上述属性的能力。特别是，我们训练一个高质量的可控TTS模型的真实发现的数据，这是能够推断扬声器和风格属性从嘈杂的话语，并用它来合成干净的语音可控的说话风格。
2018-12-27 cs.CL cs.LG cs.SD
Benchmarking Neural Speech Compression from a Rate-Distortion Perspective
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（信息科学与电子工程学院，上海交通大学）
提出熵约束编解码器ECC，通过标量量化与学习熵模型结合，在低比特率下实现优于传统和神经编解码器的率失真性能。
2026-06-11 cs.SD eess.AS
Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)（伦敦大学学院（UCL））；Google Inc.（谷歌公司）
我们提出了一种新的生成模型，结合了最先进的神经文本到语音（TTS）与半监督概率潜变量模型。通过对一些潜在变量提供部分监督，我们能够迫使它们具有一致和可解释的目的，这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性，例如影响和说话速度，只需1%（30分钟）的监督。即使在如此低的监督水平下，我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
SupertonicTTS: Towards Highly Efficient and Streamlined Text-to-Speech System
Supertone, Inc.（Supertone公司）
SupertonicTTS 通过低维潜在空间、流匹配、字符级建模和上下文共享批量扩展，以 44M 参数实现与零样本 TTS 相当的性能，显著降低架构复杂性与计算成本。
2025-09-23 cs.LG cs.SD eess.AS
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
本研究修改RVQ-VAE模型使其在音素级运行，通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息，验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
VoxGenesis: Unsupervised Discovery of Latent Speaker Manifold for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）；University of California Berkeley（加州大学伯克利分校）
针对有监督说话人建模难以标注情感、语调等声音属性的问题，本文提出无监督框架 VoxGenesis，通过语义 token 对齐的高斯到语音分布映射发现解耦的潜在说话人流形，并支持生成新说话人与可解释声音编辑。
2024-03-01 cs.LG cs.SD eess.AS
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis
Zhejiang University（浙江大学）；ByteDance（字节跳动）；Inner Mongolia University（内蒙古大学）
本文提出MegaTTS 3，通过稀疏对齐算法引导潜扩散变换器，实现高质量零样本语音合成，支持口音强度灵活控制，仅需8步采样即可生成一分钟语音。
2025-03-28 cs.LG cs.SD eess.AS
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对深度伪造语音检测泛化难的问题，提出结合潜在空间精炼与增强的方法，在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
Tencent AI Lab（腾讯人工智能实验室）
构建一个语音转换系统的嘈杂的目标扬声器，如用户提供嘈杂的样本或互联网上找到的数据，是一个具有挑战性的任务，因为在模型训练中使用污染的语音将明显降低转换性能。在本文中，我们利用我们最近提出的Glow-WaveGAN的进步，并提出了一个独立于噪声的语音表示学习方法，用于高质量的语音转换嘈杂的目标扬声器。具体来说，我们学习一个潜在的特征空间，在这里我们确保转换模型建模的目标分布完全来自波形发生器的建模分布。在此前提下，我们进一步设法使潜在特征是噪声不变的。具体来说，我们介绍了一个噪声可控的WaveGAN，它直接学习噪声独立的声学表示波形的编码器和进行噪声控制在隐藏空间通过一个电影模块在解码器。至于转换模型，重要的是，我们使用一个基于流的模型来学习分布的噪声无关，但说话人相关的潜在功能，从音素后验图。实验结果表明，该模型在含噪目标说话人的语音转换中具有较高的语音质量和说话人相似度。
2022-07-02 cs.SD eess.AS
Towards Robust Generative Speech Enhancement Using Vector Quantisation-Based Neural Audio Codec
IDLab, Ghent University - imec（IDLab，根特大学 - imec）
研究VQ-NAC中连续与离散潜在空间的建模策略，提出cNAC-SE和dNAC-SE框架，发现VQ正则化通过干净先验约束增强鲁棒性，且cNAC-SE在DNS-MOS指标上领先。
2026-06-16 cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示，而声码器从中间表示生成波形。虽然中间表示作为一个桥梁，仍然存在的声学模型和声码器之间的关键不匹配，因为它们通常是分开学习和工作在不同的分布的表示，导致不可避免的人工合成的语音。在这项工作中，不同于使用预先设计的中间表示在大多数以前的研究中，我们提出使用VAE结合GAN直接从语音学习的潜在表示，然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式，当两个阶段在相同的分布上工作时，不匹配问题被迁移。结果表明，基于流的声学模型可以准确地模拟我们学习的语音表示的分布，并且所提出的TTS框架，即Glow-WaveGAN，可以产生高保真语音，优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space
IRIT；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立综合理工学院）；UT3（图卢兹第三大学）
本研究针对语音命令分类，提出基于ASR的过滤方法提升合成数据质量，并利用CycleGAN在自监督潜在空间中缩小合成与真实语音差距，实验验证了性能提升。
2024-09-19 cs.AI cs.LG cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University（名古屋大学）
NeuMark-Native提出一种TTS原生水印框架，在神经编解码器潜在空间中嵌入载荷，提升水印在DSP和编解码器攻击下的持久性，同时保持语音质量。
2026-10-06 cs.SD
Latent-Domain Predictive Neural Speech Coding
School of Information and Communication Engineering, Communication University of China（信息与通信工程学院，中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）；State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学）
提出TF-Codec，将潜在域预测编码引入VQ-VAE，以低比特率实现高质量低延迟神经语音编码，优于Opus和EVS。
2025-10-15 cs.LG cs.SD eess.AS
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
Universitat Oberta de Catalunya (UOC)（开放加泰罗尼亚大学（UOC））；Monoceros Labs（麒麟座实验室）；University of Granada（格拉纳达大学）
该研究提出基于StyleTTS 2的人脸到语音合成框架，通过人脸适配器实现静态人脸到语音的零样本生成，在LRS3数据集上验证了效果，且映射具有语言无关性。
2026-07-30 cs.AI cs.SD eess.AS
Adversarial Learning of Intermediate Acoustic Feature for End-to-End Lightweight Text-to-Speech
Yonsei University（延世大学）
针对隐式学习中间隐表示的轻量TTS语音变化性不足的问题，提出添加韵律嵌入并通过GAN从文本估计该嵌入的方法，兼具高效性与鲁棒对齐能力，以更低参数量和复杂度超越多个公开模型。
2023-08-28 cs.SD eess.AS
InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt
Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）
针对现有TTS风格控制方法多样性和可解释性不足的问题，提出InstructTTS模型，利用自然语言风格提示，结合三阶段句子嵌入训练、离散潜空间扩散建模及互信息最小化，实现了富有表现力且避免信息泄露的语音合成。
2023-06-25 cs.SD eess.AS
CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents
Shanghai Innovation Institute（上海创新研究院）；OPPO AI Center（OPPO人工智能中心）；Fudan University（复旦大学）
CuteTTS是结合语义对齐因果VAE隐变量等的连续自回归TTS系统，经引导步蒸馏后，在保持相当质量的同时降低了延迟，实现了高保真与低延迟的平衡。
2026-08-27 cs.AI cs.CL cs.SD
Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis
Google Brain（谷歌大脑）
本文在Tacotron 2文语转换模型的基础上，提出了一种层次化、细粒度、可解释的韵律潜变量模型。它实现了韵律的多分辨率建模，通过调节较细的水平表示的粗水平的。此外，它使用具有自回归结构的条件变分自动编码器（VAE）在所有潜在维度上施加分层条件。重建性能的评价表明，新的结构不会降低模型，同时允许更好的可解释性。韵律属性的解释提供了词级和音素级的韵律表征之间的比较。此外，定性和定量的评价被用来证明潜在的维度的解纠缠的改善。
2020-02-06 cs.LG cs.SD eess.AS
Provable Speech Attributes Conversion via Latent Independence
Bar Ilan University（巴伊兰大学）
本文提出一种基于潜在独立性约束的非概率自编码器框架，实现可证明的语音属性转换，在保留内容的同时修改风格属性，并通过说话人身份和情感实验验证其有效性与通用性。
2026-09-28 cs.AI cs.SD
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space
Singapore Institute of Technology（新加坡理工学院）；Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）
CodecFlow通过条件流匹配和结构受限量化器，在神经编解码器潜在空间中实现高效语音带宽扩展，提升频谱保真度和感知质量。
2026-10-14 cs.AI cs.SD
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法，引入随机单调对齐机制，以VALL-E 10.3%的参数实现更优性能，为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
HoliTok: A Continuous Holistic Tokenization with Robust Dual Capabilities of Speech Generation and Understanding
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China（X-LANCE实验室，计算机科学学院，上海交通大学，中国）；hi lab, Xiaohongshu Inc, China（hi实验室，小红书公司，中国）
提出HoliTok连续整体式语音分词模型，通过渐进训练策略联合保持信号保真度、融入语义信息并维持潜在可学习性，基于该分词构建统一AR+DiT模型实现语音合成与识别，实验证明其在统一生成-理解架构中无需额外优化即可鲁棒运行。
2026-09-09 cs.AI cs.SD eess.AS
ReaFlow-TTS: Realization-Conditioned Flow Matching for High-Quality and Controllable Speech Synthesis
School of Information Science and Technology, Lanzhou University（兰州大学信息科学与工程学院）
ReaFlow-TTS通过引入话语级随机实现潜变量并施加VAD语义，实现无需目标语音的可分级属性操控，提升合成质量并保持自然度。
2026-09-25 cs.SD
VocalBridge: Latent Diffusion-Bridge Purification for Defeating Perturbation-Based Voiceprint Defenses
Department of Computer Science University of Texas at San Antonio San Antonio, Texas（计算机科学系德克萨斯大学圣安东尼奥分校）
VocalBridge通过学习潜在空间映射实现高效净化，提升对抗基于扰动的语音指纹防御的鲁棒性。
2026-01-05 cs.AI cs.CR cs.LG
M3-TTS: Multi-modal DiT Alignment & Mel-latent for Zero-shot High-fidelity Speech Synthesis
Beijing Institute of Technology（北京理工大学）；Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
M3-TTS通过多模态扩散变换器实现零样本高质量语音合成，采用联合扩散层和梅尔-变体编码器，实现高效且自然的语音生成。
2025-12-04 cs.SD
