Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音，并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Diff-TTS: A Denoising Diffusion Model for Text-to-Speech
Seoul National University（首尔国立大学）；Neosapience, Inc.（Neosapience公司）
虽然神经文本转语音（TTS）模型已经吸引了大量的关注，并成功地产生了类似人类的语音，但其自然度和架构效率仍有改进的空间。在这项工作中，我们提出了一种新的非自回归TTS模型，即Diff-TTS，它实现了高度自然和高效的语音合成。在给定文本的情况下，Diff-TTS利用去噪扩散框架通过扩散时间步长将噪声信号转换为梅尔频谱图。为了学习基于文本的梅尔语谱分布，我们提出了一种基于似然的优化方法。此外，为了提高推理速度，我们利用加速采样方法，使Diff-TTS生成原始波形更快，而不会显着降低感知质量。通过实验，我们验证了Diff-TTS的生成速度比使用单个NVIDIA 2080 Ti GPU的实时生成速度快28倍。
2021-04-03 cs.AI cs.SD eess.AS
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong（香港中文大学）；Xiaohongshu（小红书）
QS-TTS通过向量量化自监督语音表征学习，利用无标签音频降低监督数据需求，提升半监督TTS质量，在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出Spotlight-TTS，通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性，结合风格方向调整优化与TTS模型的整合，显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation
AI Lab, Giant Network（巨量引擎AI实验室）
Bailing-TTS 通过持续半监督学习和专用 transformer 多阶段训练，实现高质量、类人自发的中文方言语音合成。
2024-08-01 cs.CL cs.SD eess.AS
Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
构音障碍是一种运动性言语障碍，其特征通常是通过缓慢、不协调的言语产生肌肉控制降低言语清晰度。自动语音识别（ASR）系统可以帮助构音障碍的说话者更有效地沟通。为了具有稳健的构音障碍特异性ASR，需要足够的训练语音，这是不容易获得的。文语转换（TTS）合成多说话人端到端TTS系统的最新进展表明，使用合成数据增强的可能性。在本文中，我们的目标是改善多扬声器端到端TTS系统合成构音障碍的语音，以改善构音障碍特异性DNN-HMM ASR的训练。在合成的语音，我们添加构音障碍的严重程度和暂停插入机制，以其他控制参数，如音高，能量和持续时间。结果表明，与基线相比，在额外的合成构音障碍语音上训练的DNN-HMM模型实现了12.2%的WER改善，添加严重程度和暂停插入控制使WER降低了6.5%，显示了添加这些参数的有效性。音频样本可在
2022-01-27 cs.CL cs.SD eess.AS
QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
近年来的表达性文本到语音（TTS）模型主要关注情感语音的合成，但忽略了语调等细粒度的风格。在本文中，我们提出了QI-TTS，其目的是更好地转移和控制语调，以进一步传递说话人的提问意图，同时转移情感从参考语音。我们提出了一个多风格提取器，提取风格嵌入从两个不同的水平。句子层次代表情感，最后一个音节层次代表语调。在细粒度的语调控制方面，我们采用相对属性来表示音节层次的语调强度，实验验证了QI-TTS在情感语音合成中提高语调表达能力的有效性。
2023-03-14 cs.CL cs.SD eess.AS
TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems
Centre for Speech Technology Research University of Edinburgh（语音技术研究中心爱丁堡大学）
TTSDS2是一种改进的TTS评估基准，通过高相关性指标和持续更新的资源，提升对合成语音真实性的评估能力。
2026-03-02 cs.CL cs.SD eess.AS
Facial Expression-Enhanced TTS: Combining Face Representation and Emotion Intensity for Adaptive Speech
Sogang University（西江大学）
本文提出零样本TTS模型FEIM-TTS，结合面部表征与情感强度生成自适应情感语音，提升了视障人群无障碍体验。
2024-09-24 cs.AI cs.SD eess.AS
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）被广泛用于为目标说话人合成个人语音，其中训练良好的源TTS模型被微调，而目标说话人的配对适应数据（语音及其转录本）很少。然而，在许多场景中，只有未转录的语音数据可用于适配，这给先前的TTS适配流水线（例如，AdaSpeech）。在本文中，我们开发了AdaSpeech 2，一个自适应TTS系统，只利用未转录的语音数据进行适应。具体来说，我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建，并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中，我们使用未转录的语音数据进行语音重建，只微调TTS解码器。AdaSpeech 2有两个优点：1）可插拔：我们的系统可以很容易地应用于现有的训练TTS模型，而无需重新训练。2)有效：我们的系统通过转录的TTS适配实现了同等的语音质量（例如，AdaSpeech）与相同数量的未转录数据，并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
Stable-TTS: Stable Speaker-Adaptive Text-to-Speech Synthesis via Prosody Prompting
AITRICS；KAIST（韩国科学技术院）
Stable-TTS提出利用高质量先验样本的韵律提示和先验保持损失，在有限且含噪的目标语音样本条件下实现稳定的说话人自适应语音合成。
2024-12-28 cs.AI cs.SD eess.AS
EE-TTS: Emphatic Expressive TTS with Linguistic Information
Tencent AI Lab（腾讯AI实验室）；Zhejiang University（浙江大学）
提出EE-TTS，利用句法和语义的多层次语言信息，通过强调预测器和条件声学模型合成表现力语音，在表现力和自然度上分别提升MOS 0.49和0.67，并展现出跨数据集的强泛化能力。
2024-04-14 cs.CL cs.SD eess.AS
CTC-TTS: LLM-based dual-streaming text-to-speech with CTC alignment
School of Computer Science and Technology, Xinjiang University, China（新疆大学计算机科学与技术学院）；Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China（清华大学语音处理与机器智能实验室）
CTC-TTS提出了一种基于大语言模型的双流文本到语音系统，采用CTC对齐器和双词交错策略，提升了流式合成和零样本任务的性能。
2026-09-09 cs.AI cs.SD eess.AS
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
TTSDS -- Text-to-Speech Distribution Score
The University of Edinburgh（爱丁堡大学）
针对新型TTS系统评估难题，提出综合韵律、说话人身份和可懂度等因素并测量其与真实语音及噪声数据距离的TTSDS，在35个系统上验证其与人工评估高度相关。
2024-12-02 cs.CL cs.LG cs.SD
GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
针对当前TTS架构在声学特征丢失、严格对齐依赖和文本理解灾难性遗忘上的矛盾，提出双分支架构GOAT-TTS，通过模态对齐与模块化微调实现无需转录依赖的实时流式高质量语音合成。
2025-05-28 cs.CL cs.SD eess.AS
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（埃里沙实验室）
目前，使用端到端神经模型用高质量转录语音数据训练的文本到语音（TTS）系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练，通常从有声读物中提取。同时，由于这类免费语音语料库的稀缺，阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练，因为它们包含多说话者的随意语音，其记录条件和质量存在差异，而为语音合成策划的语料库通常尺寸较小，不适合训练最先进的端到端模型。为了填补这一资源缺口，我们提出了一个语音语料库古典阿拉伯文文本到语音（ClArTTS），以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的，然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中，我们描述了语料库创建的过程，并提供了语料库统计的细节，并与现有资源进行了比较。此外，我们开发了两个TTS系统的基础上，梯度TTS和辉光TTS，并说明了所产生的系统的性能，通过主观和客观的评价。该语料库将在www.clartts.com上公开提供，用于研究目的，以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
Speech BERT Embedding For Improving Prosody in Neural TTS
Microsoft China（微软中国）
提出了一种语音BERT模型，用于提取语音段中的韵律信息，以改善神经文语转换（TTS）系统中合成语音的韵律特征。作为一个预先训练好的模型，它可以从大量的语音数据中学习韵律属性，这可以利用比目标TTS使用的原始训练数据更多的数据。在建议的BERT中，嵌入是从固定长度的前一段中提取的。然后，提取的嵌入与梅尔频谱图一起用于预测TTS解码器中的后续片段。在Transformer文语转换系统上的实验结果表明，本文提出的BERT方法能够提取细粒度的、段级的韵律，与话语级韵律互补，提高文语转换语音的最终韵律。在单个扬声器TTS上测量的客观失真在生成的语音和原始录音之间减小。主观听力测试也表明，所提出的方法是有利的首选TTS没有BERT韵律嵌入模块，无论是在域内和域外的应用。对于微软专业人员、单个/多个说话者和公共数据库中的LJ说话者，主观偏好类似地用新的BERT韵律嵌入来确认。TTS演示音频样本在https://judy44chen.github.io/TTSSpeechBERT/。
2021-09-14 cs.SD eess.AS
EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Tencent AI Lab（腾讯人工智能实验室）
提出EmoSteer-TTS，通过激活引导实现无需训练的细粒度语音情感控制，支持转换、插值和擦除，优于现有最先进方法。
2025-10-25 cs.AI cs.SD eess.AS
DSE-TTS: Dual Speaker Embedding for Cross-Lingual Text-to-Speech
Shanghai Jiao Tong University（上海交通大学）
本文提出DSE-TTS框架，通过双说话人嵌入分别学习语言风格和模仿音色，显著提升了跨语言语音合成的母语感与说话人相似度。
2023-06-25 cs.CL cs.SD eess.AS
DiTTo-TTS: Diffusion Transformers for Scalable Text-to-Speech without Domain-Specific Factors
KRAFTON（克拉夫顿（游戏公司））；NVIDIA（英伟达公司）
本文提出基于 DiT 的 DiTTo-TTS，通过变长建模、长度预测和语义潜在条件，在 82K 小时数据与 790M 参数规模下实现无需音素、时长等领域因素的先进零样本 TTS。
2025-02-17 cs.AI cs.CL cs.LG
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
GSA-TTS : Toward Zero-Shot Speech Synthesis based on Gradual Style Adaptor
提出GSA-TTS，通过渐进式风格适配器从声学参考中编码局部与全局风格，实现零样本语音合成，在未见说话者上表现优异，并具备可解释性与可控性。
2025-05-26 cs.CL cs.SD eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise（Kakao企业）；Seoul National University（首尔国立大学）
最近，已经提出了诸如FastSpeech和ParaNet的文本转语音（TTS）模型来并行地从文本生成梅尔频谱图。尽管有这样的优点，但在没有自回归TTS模型作为其外部对准器的指导下，并行TTS模型不能被训练。在这项工作中，我们提出了辉光TTS，一个基于流的生成模型并行TTS，不需要任何外部对准。通过结合流和动态规划的属性，该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明，强制执行硬单调对齐，使强大的TTS，它概括为长的话语，并采用生成流，使快速，多样，可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型，Tacotron 2，在合成具有可比的语音质量。我们进一步表明，我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
Prosodic Parameter Manipulation in TTS generated speech for Controlled Speech Generation
本文提出通过 PyWorld、Librosa 提取并调整 TTS 语音的音高、时长和能量特征，再经合成与评估，使其更贴近自然人声韵律，从而增强 TTS 的自然度、表现力与可控性。
2024-09-10 cs.SD eess.AS
Clip-TTS: Contrastive Text-content and Mel-spectrogram, A High-Quality Text-to-Speech Method based on Contextual Semantic Understanding
本文提出Clip-TTS方法，利用Clip架构在文本编码阶段建立文本与真实梅尔频谱图的语义联系，并采用Transformer结构实现快速推理，在LJSpeech和Baker数据集上取得最先进的MOS分数。
2025-03-08 cs.AI cs.CL cs.HC
Augmenting Images for ASR and TTS through Single-loop and Dual-loop Multimodal Chain Framework
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）
先前的研究已经提出了一种机器语音链，以使自动语音识别（ASR）和文本到语音合成（TTS），以协助对方的半监督学习，并避免需要大量的成对的语音和文本数据。然而，该框架仍然需要大量的未配对（语音或文本）数据。然后探索了一个原型多模态机器链，以进一步减少对大量未配对数据的需求，即使在没有更多语音或文本数据可用的情况下，也可以改善ASR或TTS。不幸的是，这个框架依赖于图像检索（IR）模型，因此它仅限于处理那些在训练过程中已经知道的图像。此外，该框架的性能只与单说话人的人工语音数据进行了研究。在这项研究中，我们修改了多模态机器链框架与图像生成（IG）和调查的可能性，增加图像数据的ASR和TTS使用单循环和双循环架构的多扬声器自然语音数据。实验结果表明，单循环和双循环多模态链框架使ASR和TTS使用仅图像数据集提高其性能。
2020-11-04 cs.CL cs.SD eess.AS
ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis
Maum AI Inc.（Maum AI公司）；Humelo Inc.（Humelo公司）
提出ZeSTA框架，通过轻量领域嵌入区分真实与合成语音，结合真实数据过采样，在极低资源下提升零样本文本转语音增强的说话人相似度，保持可懂度和感知质量。
2026-06-23 cs.AI cs.SD eess.AS
Cross-Dialect Text-To-Speech in Pitch-Accent Language Incorporating Multi-Dialect Phoneme-Level BERT
The University of Tokyo（东京大学）
针对音高重音语言的跨方言文本转语音任务，提出融合多方言音素级BERT、含重音潜变量预测模块的三模块TTS模型，实验证明其提升了合成语音的方言自然度。
2024-09-11 cs.CL cs.SD eess.AS
TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis
Search Solutions Inc.（搜索解决方案公司）；LINE Corp.（LINE公司）；NAVER Corp.（NAVER公司）
在本文中，我们提出了一个文本到语音（TTS）驱动的数据增强方法，以提高非自回归（AR）TTS系统的质量。最近提出的非AR模型，如FastSpeech 2，已经成功地实现了快速语音合成系统。然而，它们的质量并不令人满意，特别是当训练数据量不足时。为了解决这个问题，我们提出了一个有效的数据增强方法，使用一个精心设计的AR TTS系统。在该方法中，大规模的合成语料库，包括文本波形对音素持续时间的AR TTS系统产生，然后用于训练目标非AR模型。实验结果表明，该方法显著提高了非AR语音合成系统的质量。特别是，我们将5小时的训练数据库增加到179小时的合成数据库。使用这些数据库，我们的TTS系统组成的FastSpeech 2声学模型与并行WaveGAN声码器实现了平均意见得分为3.74，这是40%，比传统的方法实现的。
2020-10-26 cs.SD eess.AS
Towards High-Quality Neural TTS for Low-Resource Languages by Learning Compact Speech Representations
Xiaohongshu（小红书）
本文旨在通过使用紧凑的语音表示减少训练数据的要求，以提高低资源的TTS。训练多级多码本（MSMC）VQ-GAN以学习表示MSMCR，并将其解码为波形。随后，我们训练多阶段预测器来预测文本中的MSMCR，用于TTS合成。此外，我们通过利用更多的音频来优化训练策略，以便更好地学习低资源语言的MSMCR。该方法利用说话人相似度度量从其他语言中选取音频样本来扩充训练集，并应用迁移学习来提高训练质量。在MOS测试中，所提出的系统在标准和低资源场景中显着优于FastSpeech和VITS，显示出较低的数据要求。所提出的训练策略有效地增强了波形重构的MSMCR。它进一步提高了TTS的性能，在偏好测试中赢得了77%的选票，用于只有15分钟配对数据的低资源TTS。
2022-10-27 cs.CL cs.SD eess.AS
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS，利用球面情感向量控制情感风格与强度，通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出了VARA-TTS，一种非自回归（non-AR）的文本到语音（TTS）模型，使用一个非常深的变分自编码器（VDVAE）与剩余注意力机制，它细化的文本到声学对齐逐层。层次隐变量与不同的时间分辨率从VDVAE被用作查询的剩余注意力模块。通过利用来自前一个注意层的粗略全局对齐作为额外的输入，下面的注意层可以产生对齐的细化版本。这分摊了在多个注意层之间学习文本到声学对齐的负担，并且在鲁棒性方面优于仅使用单个注意层。由联合训练的说话速度预测器计算话语级说话速度因子，该预测器将粗层的平均池化潜变量作为输入，以确定推断时的声学帧的数量。实验结果表明，VARA-TTS实现略差的语音质量的AR对应Tacotron 2，但数量级的速度在推理;和优于一个类似的非AR模型，BVAE-TTS，在语音质量方面。
2021-02-12 cs.CL cs.SD eess.AS
Bahasa Harmony: A Comprehensive Dataset for Bahasa Text-to-Speech Synthesis with Discrete Codec Modeling of EnGen-TTS
本研究构建了含5.2万条录音、55小时时长的印尼语TTS数据集Bahasa Harmony，提出EnGen-TTS模型，其MOS达4.45±0.13，在性能与效率上均优于基线，推动了印尼语语音合成技术发展。
2024-10-09 cs.AI cs.SD eess.AS
VALL-T: Decoder-Only Generative Transducer for Robust and Decoding-Controllable Text-to-Speech
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；AISpeech（思必驰）
本文提出 VALL-T，通过为音素序列引入移位相对位置嵌入，在保留仅解码器 Transformer 与零样本语音提示适配能力的同时增强单调对齐，使词错误率相对降低 28.3%。
2025-03-14 cs.SD eess.AS
Arabic Text-To-Speech (TTS) Data Preparation
Mawdoo3 Ltd（Mawdoo3有限公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
人们可能会感到困惑的事实是，除了文本到语音（TTS），合成系统的进步之外，还存在录音数据集，尽管事实并非如此。本研究的目的是解释TTS的相关性以及数据准备程序。TTS在很大程度上依赖于记录的数据，因为它可以对TTS模块的结果产生重大影响。此外，无论领域是专门的还是一般的，都应该开发适当的数据来解决所有预测的语言变体和领域。考虑到质量和行为，不同的记录方法也可能对模块的开发有利。鉴于目前合成系统中缺乏阿拉伯语，正在考虑影响记录话语流的许多变量，以便操纵阿拉伯语TTS模块。在这项研究中，两个观点将被讨论：语言学和创造高质量的录音TTS。这项工作的目的是提供光地面真理话语可能会影响语音系统的自然度，可理解性和理解方面的演变。我们提供配音演员规格以及数据规格，这将有助于配音演员和语音教练在工作室以及注释谁将评估音频。
2022-04-07 cs.CL cs.SD eess.AS
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
Adapting TTS models For New Speakers using Transfer Learning
University of California, San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
为新的说话者训练神经文本到语音（TTS）模型通常需要几个小时的高质量语音数据。先前的语音克隆工作试图通过使用新说话者的几分钟语音数据来适应新语音的预训练的多说话者TTS模型来解决这一挑战。然而，公开可用的大型多说话者数据集通常是嘈杂的，从而导致不适合在产品中使用的TTS模型。我们通过提出迁移学习准则来应对这一挑战，该准则仅使用几分钟的语音数据来为新的说话者调整高质量的单说话者TTS模型。我们进行了广泛的研究，使用不同的数据量为一个新的扬声器和评估合成语音的自然度和语音/风格的相似性的目标扬声器。我们发现，仅在30分钟的数据上微调单扬声器TTS模型，就可以产生与男性和女性目标扬声器超过27小时的数据从头开始训练的模型相当的性能。
2022-04-06 cs.CL cs.SD eess.AS
A review-based study on different Text-to-Speech technologies
Leading University（领先大学）
本文通过综述研究梳理了拼接式、共振峰合成、统计参数等传统TTS技术及神经、混合等前沿TTS技术，从语音自然度、系统复杂度、应用适配性维度对比优劣，为相关从业者和用户提供参考。
2023-12-17 cs.CL cs.LG cs.SD
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成，支持独立控制语音音色和环境背景，提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
E3 TTS: Easy End-to-End Diffusion-based Text to Speech
Google（谷歌公司）
本文提出 E3 TTS，一种无需中间表示和对齐信息的端到端扩散文本到语音模型，可直接从纯文本生成高保真音频，并支持零样本编辑等任务。
2023-11-02 cs.CL cs.LG cs.SD
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University（台湾大学）
个性化语音合成系统是非常期望的应用，其中系统可以利用用户的语音生成语音，而用户的语音具有罕见的登记记录。在最近的工作中，有两种主要的方法来建立这样的系统：说话人自适应和说话人编码。一方面，说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音（TTS）模型进行微调。然而，它们需要至少数千个微调步骤才能实现高质量的适配，这使得它很难应用于设备。另一方面，说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而，扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中，我们提出了应用Meta学习算法的说话人自适应方法。更具体地说，我们使用模型不可知元学习（MAML）作为多说话者TTS模型的训练算法，其目的是找到一个很好的元初始化，以使模型快速适应任何Few-Shot说话者自适应任务。因此，我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法（元TTS）与两个基线：一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明，在相同训练方案下，元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音，且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时，Meta-TTS仍然可以在LibriTTS数据集上优于基线，并在VC…
2022-07-29 cs.CL cs.SD eess.AS
Transformer-Transducer: End-to-End Speech Recognition with Self-Attention
Facebook AI（Facebook人工智能研究院）
我们探索在神经换能器中使用Transformer网络进行端到端语音识别的选项。Transformer网络使用自注意力进行序列建模，并在并行计算和捕获上下文方面具有优势。我们提出1）使用具有因果卷积的VGGNet来合并位置信息并降低帧速率以进行有效推理2）使用截断的自注意力来实现Transformer的流式传输并降低计算复杂度。所有的实验都是在公共的LibriSpeech语料库上进行的。所提出的Transformer-Transducer优于LSTM/BLSTM网络的神经传感器，并且在测试干净集上实现了6.37%的字错误率，在测试其他集上实现了15.30%的字错误率，同时保持了整个系统的45.7M参数的可流化，紧凑，并且计算效率高，复杂度为O（T），其中T是输入序列长度。
2019-10-28 cs.CL cs.SD eess.AS
Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens
Hong Kong University of Science and Technology（香港科技大学）；SparkAudio Open Source Community（SparkAudio开源社区）；Shanghai Mobvoi Information Technology Co., Ltd（上海出门问问信息技术有限公司）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；Northwestern Polytechnical University（西北工业大学）；NetEase, Inc（网易公司）
提出基于LLM的单流解耦语音编解码模型Spark-TTS，结合Qwen2.5与思维链实现粗细粒度双重语音控制，在零样本语音克隆与定制化生成上达到SOTA。
2025-03-03 cs.AI cs.SD eess.AS
The Zero Resource Speech Challenge 2019: TTS without T
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)（认知机器学习实验室（巴黎高等师范学院 - 法国国家科学研究中心 - 法国高等社会科学研究院 - 法国国家信息与自动化研究所 - PSL研究大学））；Brno Univ. of Technology（布尔诺理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Facebook A.I. Research（脸书人工智能研究部）
我们提出了2019年零资源语音挑战赛，该挑战赛建议构建一个没有任何文本或语音标签的语音合成器：因此，TTS没有T（没有文本的文本到语音）。我们为未知语言的目标语音（语音数据集）提供原始音频，但没有对齐，文本或标签。参与者必须以无监督的方式（使用Unit Discovery数据集）发现子词单元，并将它们与语音记录对齐，以便最好地合成来自新说话者的新话语，类似于目标说话者的声音。我们描述了用于评估的指标，一个基线系统，包括无监督的子字单元发现加上一个标准的TTS系统，和一个背线TTS使用黄金音素transmittance。我们提出了一个概述的19个提交的系统从10个团队，并讨论了主要结果。
2019-07-07 cs.CL cs.SD eess.AS
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲技术中心）
文本到语音（TTS）和自动语音识别（ASR）是语音处理中的两个双重任务，由于深度学习的最新进展和大量对齐的语音和文本数据，它们都取得了令人印象深刻的性能。然而，缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中，通过利用这两个任务的双重性质，我们提出了一种几乎无监督的学习方法，该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分：（1）一个去噪自动编码器，它分别对语音和文本序列进行重构，以开发语音和文本域的语言建模能力;（2）双重转换，其中TTS模型将文本$y$转换为语音$\hat{x}$，并且ASR模型利用转换后的对$(\hat{x},y)$进行训练，反之亦然，（3）双向序列建模，其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;（4）统一的模型结构，其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS，以及11.7%的PER的ASR，通过利用仅200对语音和文本数据（约20分钟的音频），以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias
ByteDance（字节跳动）；Zhejiang University（浙江大学）
本文提出 Mega-TTS，通过为内容、音色、韵律和相位配置具有不同归纳偏置的模块，并在 2 万小时多领域语音上规模化训练，实现了优于现有系统的零样本、语音编辑和跨语言 TTS。
2023-06-06 cs.AI cs.SD eess.AS
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
传统的自动语音识别（ASR）系统通常只关注单个语音，而没有考虑到具有有用历史信息的长语音，这在实际应用中更加实用。在我们的初步实验中，简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益，因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构，包含一个真正的语言模型，词汇预测。我们提出了{LongFNT-Text}架构，该架构将词汇级别的长形式特征直接与词汇预测器的输出融合，然后将标记级别的长形式特征嵌入词汇预测器中，并使用预训练的上下文编码器RoBERTa进一步提高性能。此外，我们提出了{LongFNT}架构，通过扩展的长形式的语音到原始的语音输入，并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性，相对单词出错率~（WER）分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来，通过文本到语音（TTS）应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务，很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案，但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡，导致语音相似性问题。我们提出了目标领域自适应语音合成网络（TDASS）来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干，引入了一个自利分类器来减少非目标影响。此外，在分类器中增加了一个特殊的梯度反转层，对目标和非目标进行不同的操作。在汉语语音库上的实验表明，该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
