Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS
School of Robotics, Kwangwoon University（光云大学机器人学院）
为提升DiffGAN-TTS性能，提出结合扩散判别器与频谱图判别器的双判别器对抗训练语音合成模型，在多项客观与主观指标上优于FastSpeech2等基线。
2023-08-03 cs.LG cs.SD eess.AS
Improved parallel WaveGAN vocoder with perceptually weighted spectrogram loss
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）；Search Solutions Inc.（Search Solutions公司）
本文提出了一种基于并行WaveGAN的文语转换（TTS）系统的频谱域感知加权技术。最近提出的并行WaveGAN声码器使用快速非自回归WaveNet模型成功地生成波形序列。通过将多分辨率短时傅里叶变换（MR-STFT）准则与生成对抗网络相结合，可以有效地训练轻量级卷积网络，而无需任何蒸馏过程。为了进一步提高声码性能，我们提出了频率相关加权的MR-STFT损失函数的应用。所提出的方法惩罚感知敏感的错误在频域中，因此，该模型被优化，以减少合成语音中的听觉噪声。主观听力测试结果表明，我们提出的方法实现4.21和4.26 TTS的平均意见分数为女性和男性韩国人，分别。
2021-01-19 cs.SD eess.AS
VQTTS: High-Fidelity Text-to-Speech Synthesis with Self-Supervised VQ Acoustic Feature
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室 人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出 VQTTS，以自监督 VQ 声学特征替代梅尔频谱图，并用 txt2vec 分类模型与 vec2wav 声码器实现高保真、自然度达到 SOTA 的 TTS。
2024-10-24 cs.SD eess.AS
VAENAR-TTS: Variational Auto-Encoder based Non-AutoRegressive Text-to-Speech Synthesis
Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；Huya Inc.（虎牙公司）
提出了一种基于变分自编码器的非自回归文语转换（VAENAR-TTS）模型。基于序列到序列结构的自回归TTS（AR-TTS）模型可以产生高质量的语音，但其顺序解码过程可能是耗时的。最近，非自回归TTS（NAR-TTS）模型已被证明是更有效的并行解码过程。然而，这些NAR-TTS模型依赖于音素级持续时间来生成文本和声谱图之间的硬对齐。无论是通过强制对齐还是通过知识蒸馏来获得持续时间标签都是很麻烦的。此外，基于音素扩展的硬对齐会降低合成语音的自然度。相比之下，所提出的模型VAENAR-TTS是一个端到端的方法，不需要音素级的持续时间。VAENAR-TTS模型不包含递归结构，并且在训练和推理阶段都是完全非自回归的。基于VAE架构，对齐信息被编码在潜在变量中，并且在解码器中使用文本和潜在变量之间的基于注意力的软对齐来重建频谱图。实验结果表明，VAENAR-TTS实现了最先进的合成质量，而合成速度与其他NAR-TTS模型相当。
2021-07-07 cs.MM cs.SD eess.AS
Exploration of End-to-end Synthesisers forZero Resource Speech Challenge 2020
Indian Institute of Techonology Madras, India
一个看不见的语言的口语对话系统被称为零资源语音。这对于为数字资源较少的语言开发应用程序特别有益。零源语音合成是在没有传输的情况下建立文语转换模型的任务。在这项工作中，语音被建模为一个序列的瞬态和稳态的声学单元，和一组独特的声学单元被发现的迭代训练。使用声学单元序列，训练TTS模型。本文的主要目标是提高零资源语音合成系统的合成质量。提出了四种不同的系统。所有的系统包括三个阶段：单元发现，其次是单元序列到频谱图的映射，最后是频谱图到语音反转。修改提出了频谱图映射阶段。这些修改包括在语音数据上训练映射，使用x向量来改进映射，两阶段学习和性别特定的建模。在Zerospeech 2020挑战中对所提出的系统进行的评估表明，可以实现相当好的质量合成。
2020-09-10 cs.SD eess.AS
WavTTS: Towards High-Quality Zero-Shot TTS via Direct Raw Waveform Modeling
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；ByteDance Seed（字节跳动种子）
提出WavTTS，首个基于流匹配与扩散Transformer的原始波形生成TTS模型，通过简单分块策略直接建模波形并集成多尺度梅尔频谱监督，在零样本TTS中接近潜在空间生成模型性能。
2026-06-02 cs.SD eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise（Kakao企业）；Seoul National University（首尔国立大学）
最近，已经提出了诸如FastSpeech和ParaNet的文本转语音（TTS）模型来并行地从文本生成梅尔频谱图。尽管有这样的优点，但在没有自回归TTS模型作为其外部对准器的指导下，并行TTS模型不能被训练。在这项工作中，我们提出了辉光TTS，一个基于流的生成模型并行TTS，不需要任何外部对准。通过结合流和动态规划的属性，该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明，强制执行硬单调对齐，使强大的TTS，它概括为长的话语，并采用生成流，使快速，多样，可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型，Tacotron 2，在合成具有可比的语音质量。我们进一步表明，我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）被广泛用于为目标说话人合成个人语音，其中训练良好的源TTS模型被微调，而目标说话人的配对适应数据（语音及其转录本）很少。然而，在许多场景中，只有未转录的语音数据可用于适配，这给先前的TTS适配流水线（例如，AdaSpeech）。在本文中，我们开发了AdaSpeech 2，一个自适应TTS系统，只利用未转录的语音数据进行适应。具体来说，我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建，并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中，我们使用未转录的语音数据进行语音重建，只微调TTS解码器。AdaSpeech 2有两个优点：1）可插拔：我们的系统可以很容易地应用于现有的训练TTS模型，而无需重新训练。2)有效：我们的系统通过转录的TTS适配实现了同等的语音质量（例如，AdaSpeech）与相同数量的未转录数据，并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
FastSpeech: Fast, Robust and Controllable Text to Speech
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
基于神经网络的端到端文语转换（TTS）技术显著提高了合成语音的质量。突出的方法（例如，Tacotron 2）通常首先从文本生成梅尔频谱图，然后使用声码器（如WaveNet）从梅尔频谱图合成语音。与传统的拼接和统计参数方法相比，基于神经网络的端到端模型的推理速度慢，并且合成的语音通常不鲁棒（即，某些单词被跳过或重复）和缺乏可控性（语音速度或韵律控制）。在这项工作中，我们提出了一种新的前馈网络的基础上Transformer的并行生成梅尔频谱的TTS。具体而言，我们提取注意力对齐从编码器-解码器为基础的教师模型音素持续时间预测，这是由长度调节器扩展源音素序列，以匹配的目标梅尔频谱图序列的长度并行梅尔频谱图生成。在LJSpeech数据集上的实验表明，我们的并行模型在语音质量方面与自回归模型相匹配，几乎消除了特别困难情况下的单词跳过和重复问题，并且可以平滑地调整语音速度。最重要的是，与自回归Transformer TTS相比，我们的模型将梅尔频谱图生成速度提高了270倍，端到端语音合成速度提高了38倍。因此，我们称我们的模型为FastSpeech。
2019-11-20 cs.CL cs.LG cs.SD
A Comparative Study of Self-Supervised Speech Representations in Read and Spontaneous TTS
KTH Royal Institute of Technology（KTH皇家理工学院）
本文通过固定TTS架构对比多种自监督语音表征在朗读与自发语音TTS中的表现，发现经ASR微调的12层wav2vec2.0第9层效果最佳，优于梅尔频谱图及其他SSL。
2023-07-10 cs.HC cs.LG cs.SD
Universal Adaptor: Converting Mel-Spectrograms Between Different Configurations for Speech Synthesis
National Taiwan University（国立台湾大学）
最新的语音合成系统由合成器和声码器组成。然而，现有的合成器和声码器只能匹配到用特定配置提取的声学特征。因此，我们不能将任意的合成器和声码器组合在一起形成一个完整的系统，更不用说应用于新开发的模型。在本文中，我们提出了通用适配器，它采取由源配置参数化的梅尔频谱图，并将其转换成由目标配置参数化的梅尔频谱图，只要我们在源和目标配置的饲料。实验结果表明，无论是在单说话人还是多说话人情况下，基于Universal Adaptor的语音合成质量都可以与基于真实Mel-声谱图的语音合成质量相媲美。此外，通用适配器可以应用于最近的TTS系统和语音转换系统，而不会降低质量。
2022-10-29 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University（哥伦比亚大学）
单次语音转换（One-shot Voice Conversion，VC）的目的是利用来自目标说话人的几秒钟参考语音，将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容，这仍然是一项具有挑战性的任务。在这里，我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音（TTS）模型的迁移学习。通过周期一致性和对抗性训练，基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器，通过师生知识转移和新的数据增强方案，我们的方法的结果在解开语音表示，而不需要输入文本。主观评价表明，我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
Speech BERT Embedding For Improving Prosody in Neural TTS
Microsoft China（微软中国）
提出了一种语音BERT模型，用于提取语音段中的韵律信息，以改善神经文语转换（TTS）系统中合成语音的韵律特征。作为一个预先训练好的模型，它可以从大量的语音数据中学习韵律属性，这可以利用比目标TTS使用的原始训练数据更多的数据。在建议的BERT中，嵌入是从固定长度的前一段中提取的。然后，提取的嵌入与梅尔频谱图一起用于预测TTS解码器中的后续片段。在Transformer文语转换系统上的实验结果表明，本文提出的BERT方法能够提取细粒度的、段级的韵律，与话语级韵律互补，提高文语转换语音的最终韵律。在单个扬声器TTS上测量的客观失真在生成的语音和原始录音之间减小。主观听力测试也表明，所提出的方法是有利的首选TTS没有BERT韵律嵌入模块，无论是在域内和域外的应用。对于微软专业人员、单个/多个说话者和公共数据库中的LJ说话者，主观偏好类似地用新的BERT韵律嵌入来确认。TTS演示音频样本在https://judy44chen.github.io/TTSSpeechBERT/。
2021-09-14 cs.SD eess.AS
Spoofing Speaker Verification Systems with Deep Multi-speaker Text-to-speech Synthesis
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）
提出了一种用于欺骗说话人确认系统的深度多说话人文本转语音（TTS）模型。该模型采用一个网络从文本输入合成时间下采样的梅尔频谱图，另一个网络将其转换为线性频谱图，然后使用Griffin-Lim算法将其进一步转换为时域。这两个网络分别在生成对抗网络（GAN）框架下进行训练。在两个最先进的SV系统（i-vectors和Google的GE 2 E）上的欺骗实验表明，所提出的系统可以成功地欺骗这些系统，成功率很高。反欺骗系统上的欺骗实验（即，用于区分真实语音和合成语音的二进制分类器）也显示出当这种反欺骗系统的结构暴露于所提出的TTS系统时的高欺骗成功率。
2019-10-29 cs.SD eess.AS
Multi-Scale Sub-Band Constant-Q Transform Discriminator for High-Fidelity Vocoder
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
提出多尺度子带常数Q变换判别器以解决STFT固定分辨率问题，通过多尺度与子带处理提升音高与谐波建模能力，联合训练使HiFi-GAN在歌声合成上的MOS显著提升。
2023-11-25 cs.SD eess.AS
E2 TTS: Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS
Microsoft Corporation（微软公司）
本研究提出完全非自回归的零样本TTS系统E2 TTS，以音频填充任务训练基于流匹配的梅尔频谱生成器，无需额外组件与复杂技术，性能达到当前最优，还具备输入表示灵活性并推出多种推理优化变体。
2024-09-12 cs.SD eess.AS
Wave-Tacotron: Spectrogram-free end-to-end text-to-speech synthesis
Google Research（谷歌研究院）
我们描述了一个序列到序列的神经网络，它直接从文本输入产生语音波形。该架构通过将归一化流纳入自回归解码器循环来扩展Tacotron模型。输出波形被建模为一系列不重叠的固定长度块，每个块包含数百个样本。每个块内的波形样本的相互依赖性使用归一化流程进行建模，从而实现并行训练和合成。长期依赖性通过在前面的块上调节每个流来进行自回归处理。该模型可以直接使用最大似然优化，无需使用中间，手工设计的功能，也无需额外的损失项。当代最先进的文本到语音（TTS）系统使用一系列单独学习的模型：一个（如Tacotron）从文本中生成中间特征（如频谱图），然后是一个声码器（如WaveRNN）从中间特征生成波形样本。相比之下，所提出的系统不使用固定的中间表示，并且端到端地学习所有参数。实验表明，该模型生成的语音质量接近最先进的神经TTS系统，与显着提高生成速度。
2021-02-05 cs.CL cs.SD eess.AS
Stochastic Pitch Prediction Improves the Diversity and Naturalness of Speech in Glow-TTS
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文针对零样本多说话人 TTS 中语音多样性不足的问题，提出在 Glow-TTS 中引入随机流基频预测器显式建模每个说话人的音高轮廓分布，并在推理时以生成音高为条件，显著提升了语音的自然度和多样性。
2023-05-28 cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google（谷歌）
虽然神经端到端文本到语音模型可以合成高度自然的语音，但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron}，在训练和推理过程中都是高度并行的，允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度，我们使用轻量级卷积，它可以有效地捕获局部上下文，并引入迭代细化启发的迭代频谱图损失。实验结果表明，并行Tacotron匹配一个强大的自回归基线的主观评价，显着减少推理时间。
2020-10-22 cs.SD eess.AS
EM-TTS: Efficiently Trained Low-Resource Mongolian Lightweight Text-to-Speech
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
本文提出EM-TTS，一种基于深度卷积神经网络的两阶段端到端轻量级TTS模型，通过数据增强解决低资源蒙古语问题，在保证语音质量和自然度的同时显著减少训练时间和参数。
2024-03-17 cs.LG cs.SD eess.AS
Robust MelGAN: A robust universal neural vocoder for high-fidelity TTS
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
在目前的两阶段神经文本到语音（TTS）的范例，它是理想的，有一个通用的神经声码器，一旦训练，这是强大的不完美的梅尔频谱预测从声学模型。为此，我们提出了鲁棒MelGAN声码器，解决了原来的多频带MelGAN的金属声问题，并增加其泛化能力。具体来说，我们引入了一个细粒度的网络丢弃策略的生成器。通过一个专门设计的过平滑处理器，将语音信号的周期性和非周期性成分分离，只对周期性成分进行网络丢弃，消除了金属音，保持了良好的说话人相似性。为了进一步提高泛化能力，我们引入了几种数据增强方法来增强伪数据，包括谐波偏移、谐波噪声和相位噪声。实验表明，鲁棒MelGAN可以作为一个通用的声码器，显着提高语音合成系统的声音质量建立在各种类型的数据。
2022-11-02 cs.SD eess.AS
ReFlow-TTS: A Rectified Flow Model for High-fidelity Text-to-Speech
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）
针对扩散模型语音合成采样步骤多、速度慢的问题，提出基于整流流的ReFlow-TTS，通过ODE将高斯分布直线路径映射到真实梅尔频谱，单步采样即可实现高质量合成，在LJSpeech数据集上性能优于同类扩散模型、媲美现有单步TTS模型。
2024-01-31 cs.SD eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
DuraMark: Duration-Embedded Watermarking in LLM-based TTS
University of Science and Technology of China（中国科学技术大学）；Institute of Forensic Science, Ministry of Public Security（公安部刑侦科学研究所）；The Hong Kong Polytechnic University（香港理工大学）
提出DuraMark，一种基于音节时长编辑的信息级水印框架，利用可控时长的LLM-TTS模型嵌入水印，并使用时长提取器检测，有效抵抗生成式攻击。
2026-06-16 cs.SD eess.AS
A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS
The Chinese University of Hong Kong（香港中文大学）；Xiaohongshu Inc.（小红书公司）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个多阶段，多码本（MSMC）的方法来高性能的神经TTS合成。基于矢量量化的变分自编码器（VQ-VAE）的特征分析器通过多级下采样将语音训练数据的Mel谱图编码为具有不同时间分辨率的MSMC表示（MSMCR），并分别用多个VQ码本对其进行量化。多阶段预测器被训练成通过最小化重建均方误差（MSE）和“三重损失”的组合损失来逐步地将输入文本序列映射到MSMCR。在合成中，神经声码器将预测的MSMCR转换成最终的语音波形。该方法是训练和测试的英语TTS数据库的16个小时的女性发言人。所提出的TTS实现了4.41的MOS分数，其优于MOS为3.62的基线。紧凑版本的建议TTS少得多的参数仍然可以保持高MOS分数。消融研究表明，多阶段和多码本是有效的，以实现高TTS性能。
2022-09-22 cs.CL cs.SD eess.AS
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia（微软亚洲研究院）
自适应文本转语音（TTS）技术可以在zero-shot场景下有效地合成新的语音，它使用一个经过良好训练的源TTS模型，而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性，zero-shot自适应语音合成对说话人特征的泛化能力要求很高，这给语音合成建模带来了挑战。在本文中，我们开发了AdaSpeech 4，一个zero-shot自适应TTS系统，用于高质量的语音合成。我们系统地对说话者特征进行建模，以提高对新说话者的概括性。一般来说，说话人特征的建模可以分为三个步骤：提取说话人特征，以该说话人特征为条件，在给定该说话人特征的情况下合成语音/梅尔谱图。相应地，我们分三步改进模型：1）为了提取具有更好泛化性的说话人表示，我们将说话人特征分解为基向量，并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化，将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布，以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下，AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
Wave-U-Net Discriminator: Fast and Lightweight Discriminator for Generative Adversarial Network-Based Speech Synthesis
NTT Communication Science Laboratories, NTT Corporation（NTT 公司 NTT 通信科学实验室）
在语音合成中，生成对抗网络（GAN），在最小-最大游戏中训练生成器（语音合成器）和训练器，被广泛用于提高语音质量。在最近的神经声码器（例如，HiFi-GAN）和端到端文本到语音（TTS）系统（例如，VITS）从多个角度仔细检查波形。这种鉴别器允许合成语音充分接近真实语音;然而，它们需要根据鉴别器数量的增加而增加模型大小和计算时间。或者，本研究提出了一个Wave-U-Net的架构，这是一个单一的，但富有表现力的Wave-U-Net的架构。这是独一无二的;它可以以与输入信号相同的分辨率以逐样本方式评估波形，同时通过具有跳跃连接的编码器和解码器提取多级特征。这种结构为生成器提供了足够丰富的信息，以使合成语音与真实语音紧密匹配。在实验过程中，所提出的想法被应用到一个代表性的神经声码器（HiFi-GAN）和一个端到端的TTS系统（VITS）。结果表明，所提出的模型可以实现相当的语音质量与2.31倍的速度和14.5倍更轻量级的编码时，用于HiFi-GAN和1.90倍的速度和9.62倍更轻量级的编码时，用于VITS。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/waveunetd/上获得。
2023-03-24 cs.LG cs.SD eess.AS
Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias
ByteDance（字节跳动）；Zhejiang University（浙江大学）
本文提出 Mega-TTS，通过为内容、音色、韵律和相位配置具有不同归纳偏置的模块，并在 2 万小时多领域语音上规模化训练，实现了优于现有系统的零样本、语音编辑和跨语言 TTS。
2023-06-06 cs.AI cs.SD eess.AS
DSE-TTS: Dual Speaker Embedding for Cross-Lingual Text-to-Speech
Shanghai Jiao Tong University（上海交通大学）
本文提出DSE-TTS框架，通过双说话人嵌入分别学习语言风格和模仿音色，显著提升了跨语言语音合成的母语感与说话人相似度。
2023-06-25 cs.CL cs.SD eess.AS
U-DiT TTS: U-Diffusion Vision Transformer for Text-to-Speech
University of Augsburg（奥格斯堡大学）；Beijing Forestry University（北京林业大学）；Imperial College London（帝国理工学院）
本文针对扩散模型TTS系统，提出结合U-Net与ViT优点的U-DiT架构作为核心，利用预训练HiFi-GAN声码器，在LJSpeech数据集上取得最先进性能。
2023-05-22 cs.SD eess.AS
E3 TTS: Easy End-to-End Diffusion-based Text to Speech
Google（谷歌公司）
本文提出 E3 TTS，一种无需中间表示和对齐信息的端到端扩散文本到语音模型，可直接从纯文本生成高保真音频，并支持零样本编辑等任务。
2023-11-02 cs.CL cs.LG cs.SD
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
An investigation of phrase break prediction in an End-to-End TTS system
International Institute of Information Technology, Hyderabad（印度信息技术国际学院）
本研究探索在端到端TTS系统中引入外部短语停顿预测模型（双向LSTM和微调BERT）以提升听者理解度，主观听力测试表明听者明显偏好带有预测短语停顿的合成语音。
2025-01-01 cs.CL cs.SD eess.AS
ItôTTS and ItôWave: Linear Stochastic Differential Equation Is All You Need For Audio Generation
Yangzhou University（扬州大学）；Fujitsu R&D Center（富士通研发中心）
在本文中，我们提出了统一的语音合成的两个方面，即文本到语音（TTS）和声码器，到一个框架的基础上对正向和反向时间线性随机微分方程（DTS）。这一对的解是两个随机过程，其中一个将我们想要生成的梅尔谱图（或波）的分布变成一个简单易处理的分布。另一个是将这个简单易处理的信号转换成目标梅尔频谱图（或波）的生成过程。生成mel谱图的模型称为ItôTTS，生成波的模型称为ItôWave。ItôTTS和ItôWave使用Wiener过程作为驱动器，在原始文本或mel声谱图的条件输入下，逐渐从噪声信号中减去多余的信号，以分别生成真实对应的有意义的mel声谱图和音频。实验结果表明，ItôTTS和ItôWave的平均意见得分（MOS）可以超过目前最先进的方法，分别达到3.925 $\pm$ 0.160和4.35 $\pm$ 0.115。生成的音频样本可在https://wushoule.github.io/ItoAudio/上获得。所有作者都对这项工作做出了同样的贡献。
2022-01-29 cs.SD eess.AS
ManaTTS Persian: a recipe for creating TTS datasets for lower resource languages
Sharif University of Technology（谢里夫理工大学）
本研究推出大规模波斯语单说话人TTS语料库ManaTTS及配套低资源语言语音数据处理流水线，训练的Tacotron2模型MOS得分接近自然语音水平。
2024-09-11 cs.SD eess.AS
Bayesian Speech Synthesizers Can Learn from Multiple Teachers
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
BELLE通过贝叶斯推断提升语音合成的不确定性建模，以更少的数据实现更优的语音生成性能。
2026-10-12 cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
High Fidelity Speech Synthesis with Adversarial Networks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
生成对抗网络近年来发展迅速，并在图像生成建模方面取得了显着进步。然而，它们在音频域中的应用受到了有限的关注，并且自回归模型（诸如WaveNet）仍然是音频信号（诸如人类语音）的生成建模的最新技术。为了解决这一问题，我们引入了GAN-TTS，这是一种用于文本到语音的生成对抗网络。我们的架构是由一个有条件的前馈生成器产生原始语音音频，和一个合奏的歧视，不同大小的随机窗口上操作。鉴别器分析音频的一般真实性以及音频与应该发音的话语的对应程度。为了衡量GAN-TTS的性能，我们采用了主观的人类评价（MOS -平均意见得分）以及新的定量指标（Fréchet DeepSpeech距离和Kernel DeepSpeech距离），我们发现这些指标与MOS有很好的相关性。我们表明，GAN-TTS能够生成高保真语音，其自然度可与最先进的模型相媲美，并且与自回归模型不同，由于高效的前馈发生器，它具有高度的并行性。请在https://storage.googleapis.com/deepmind-media/research/abstract.wav上收听GAN-TTS阅读这篇摘要。
2019-09-26 cs.LG cs.SD eess.AS
Improving Performance of Seen and Unseen Speech Style Transfer in End-to-end Neural TTS
Microsoft（微软）
端到端神经TTS训练在语音风格转换方面表现出了更好的性能。然而，改进仍然受到目标风格和扬声器的训练数据的限制。当训练的TTS试图将语音从具有未知的任意风格的新说话者转换为目标风格时，会出现风格转换性能不足。在本文中，我们提出了一种新的方法，以风格转移的可见和不可见的风格，与不相交的，多风格的数据集，即，记录不同风格的数据集，每种风格是由一个说话者用多个话语。为了对风格信息进行编码，我们采用了逆自回归流（IAF）结构来改进变分推理。整个系统被优化以最小化四个不同损失函数的加权和：1）用于测量源和目标重建中的失真的重建损失; 2）用于“欺骗”训练有素的用户的对抗损失; 3）用于测量传输后的预期风格损失的风格失真损失; 4）循环一致性损失，以在转移之后保持源的说话者身份。实验表明，客观和主观的，所提出的方法的有效性，可见和不可见的风格转移任务。新方法的性能比现有技术的四个基线系统的性能更好且更鲁棒。
2021-06-18 cs.SD eess.AS
Towards Universal Speech Discrete Tokens: A Case Study for ASR and TTS
Shanghai Jiao Tong University（上海交通大学）；Xiaomi Corporation（小米公司）
针对现有语音离散Token研究多聚焦单任务、多任务场景性能受限的问题，该研究对比优化多种主流SSL模型生成的离散Token在ASR和TTS任务中的表现，验证了其通用性与应用潜力，并开源了相关工作。
2023-12-14 cs.SD eess.AS
MPE-TTS: Customized Emotion Zero-Shot Text-To-Speech Using Multi-Modal Prompt
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；TencentChina（腾讯中国）；Youtu Lab（你图实验室）
提出基于多模态提示的定制情感零样本语音合成系统，解耦语音内容、音色、情感和韵律，通过多模态情感编码器和韵律预测器提升自然度与相似性。
2025-05-24 cs.AI cs.SD eess.AS
Interpretable Style Transfer for Text-to-Speech with ControlVAE and Diffusion Bridge
Xiamen University（厦门大学）
本文提出一种结合ControlVAE、量化VAE扩散桥和扩散细化器的TTS系统，在LibriTTS上实现了可解释且高保真的风格迁移，优于基线模型。
2023-07-11 cs.SD eess.AS
MM-TTS: Multi-modal Prompt based Style Transfer for Expressive Text-to-Speech Synthesis
Xiamen University（厦门大学）
针对现有TTS风格迁移灵活性不足的问题，提出多模态可控框架MM-TTS，通过对齐多模态提示编码器、风格自适应卷积和修正流精炼器实现多模态提示风格迁移，并构建MEAD-TTS数据集，实验验证其效果良好。
2024-01-31 cs.SD eess.AS
Text-to-Speech Pipeline for Swiss German -- A comparison
University of Applied Sciences and Arts Northwestern Switzerland（西北瑞士应用科学与艺术大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
本文比较多种TTS模型在三个瑞士德语语料库上的表现，发现VITS效果最好，并提出利用训练好的声码器GAN判别器识别人声与合成语音的新评估方法。
2023-05-31 cs.CL cs.SD eess.AS
CM-TTS: Enhancing Real Time Text-to-Speech Synthesis Efficiency through Weighted Samplers and Consistency Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出基于一致性模型的CM-TTS架构，结合加权采样器实现无对抗训练的高质量实时语音合成，并在实验中优于现有单步语音合成系统。
2024-03-31 cs.CL cs.SD eess.AS
Harmonizing Spectral Evolution in Conditional Flow Matching for TTS
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对条件流匹配TTS推理时频谱演化不连贯的问题，提出免训练的基于离散小波变换的频率选择性增强方法，在多种架构上减少NFE并提升FAD，且不损害音质。
2026-10-01 cs.LG cs.SD
Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出Bridge-TTS，用Schrodinger桥替代扩散模型中的噪声先验，实现数据到数据的TTS合成，在质量和采样效率上超越扩散基线Grad-TTS及快速TTS模型。
2023-12-06 cs.LG cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
DPI-TTS: Directional Patch Interaction for Fast-Converging and Style Temporal Modeling in Text-to-Speech
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；AI Lab, Tencent（腾讯AI实验室）
针对现有DiT语音扩散模型忽略语音声学特性的问题，提出DPI-TTS方法，采用符合声学特性的低频到高频逐帧渐进推理与细粒度风格时序建模，在保证精度的同时训练速度提升近2倍，且生成语音效果优于基线。
2024-09-18 cs.AI cs.SD eess.AS
Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder
NetEase Youdao（网易有道）
本研究提出支持14种语言的Confucius4-TTS系统，采用两阶段架构，无需音频提示转录即可实现跨语言零样本TTS，在多项基准测试中表现优异，相关资源已公开。
2026-08-13 cs.CL cs.SD
StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling
College of Computer Science, Nankai University（南开大学计算机科学学院）；Microsoft Corporation（微软公司）
针对现有零样本TTS多为离线设计、流式方案性能欠佳的问题，提出单阶段流式框架StreamMel，通过文本与声学帧交错的连续自回归建模实现低延迟高质量合成，性能媲美离线系统，适配实时语音大模型集成需求。
2025-06-14 cs.CL cs.SD eess.AS
FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯人工智能实验室）
去噪扩散概率模型（DDPMs）最近在许多生成任务中取得了领先的性能。然而，传统的迭代采样过程成本阻碍了它们在语音合成中的应用。提出了一种快速条件扩散模型FastDiff，用于高质量语音合成。FastDiff采用不同感受野模式的时间感知位置可变卷积堆栈，以有效地模拟具有自适应条件的长期时间依赖性。同时采用了噪声时序预测器，在不牺牲生成质量的前提下减少了采样步长。基于FastDiff，我们设计了一个端到端的文本到语音合成器，FastDiff-TTS，它生成高保真的语音波形，没有任何中间特征（例如，Mel-光谱图）。我们对FastDiff的评估证明了具有更高质量（MOS 4.28）语音样本的最新结果。此外，FastDiff使采样速度比V100 GPU上的实时速度快58倍，使扩散模型首次实际适用于语音合成部署。我们进一步表明，FastDiff推广以及梅尔频谱图反转看不见的扬声器，和FastDiff-TTS优于其他竞争的方法在端到端的文本到语音合成。音频样本可在\url{https://FastDiff.github.io/}上获得。
2022-04-21 cs.LG cs.SD eess.AS
InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt
Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）
针对现有TTS风格控制方法多样性和可解释性不足的问题，提出InstructTTS模型，利用自然语言风格提示，结合三阶段句子嵌入训练、离散潜空间扩散建模及互信息最小化，实现了富有表现力且避免信息泄露的语音合成。
2023-06-25 cs.SD eess.AS
Comparison of Speech Representations for Automatic Quality Estimation in Multi-Speaker Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）
我们的目标是表征不同的扬声器有助于感知输出质量的多扬声器文本到语音（TTS）合成。我们使用一个神经网络（NN）训练人类平均意见评分（MOS）评级的TTS的质量自动率。首先，我们在ASVSpoof 2019逻辑访问（LA）数据集的13个不同的TTS和语音转换（VC）系统上训练和评估我们的NN模型。由于目前还不知道如何最好地表示语音的这项任务，我们比较了8种不同的表示方式，以及MOSNet基于帧的功能。我们的表示包括基于图像的频谱图特征和x向量嵌入，这些特征明确地对不同类型的噪声（如T60混响时间）进行建模。我们的NN预测MOS与人类判断高度相关。我们报告预测相关性和误差。一个关键的发现是，无论TTS或VC系统如何，某些扬声器所达到的质量似乎是一致的。人们普遍认为，一些扬声器提供更高的质量比其他人建立一个TTS系统：我们的方法提供了一个自动的方式来识别这样的扬声器。最后，为了看看我们的质量预测模型是否具有普遍性，我们使用一个单独的多扬声器TTS系统来预测合成语音的质量分数，该系统是在LibriTTS数据上训练的，并进行我们自己的MOS听力测试来比较人类的评级与我们的NN预测。
2020-04-27 cs.CL cs.LG cs.SD
