From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo（东京大学）
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成，并与文本表征对比，发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
Speaking style adaptation in Text-To-Speech synthesis using Sequence-to-sequence models with attention
Aalto University（阿尔托大学）
目前，有越来越多的兴趣在文本到语音（TTS）合成使用序列到序列模型的注意。这些模型是端到端的，这意味着它们直接从文本和语音中学习协同发音和持续时间属性。由于这些模型完全是数据驱动的，它们需要大量的数据来生成高质量的合成语音。然而，在具有挑战性的说话风格，如伦巴第语，很难记录足够大的语音语料库。因此，在本研究中，我们提出一个迁移学习的方法，以适应一个序列到序列的TTS系统的正常说话风格的伦巴第风格。此外，我们实验与WaveNet声码器在合成伦巴第语语音。我们进行了主观评价，以评估适应TTS系统的性能。主观评价结果表明，与WaveNet声码器的自适应系统明显优于传统的基于深度神经网络的TTS系统在合成伦巴第语语音。
2018-10-29 cs.CL cs.SD eess.AS
Towards Multi-Scale Style Control for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文介绍了一种用于端到端表达性语音合成的多尺度语音风格建模方法。该方法采用多尺度参考编码器提取目标语音的全局尺度话语级和局部尺度准音素级风格特征，然后将其作为输入音素序列的扩展输入到语音合成模型中。在训练时间期间，多尺度风格模型可以以端到端的方式与语音合成模型联合训练。将该方法应用于风格转换任务，实验结果表明，该方法大大提高了多尺度语音风格模型的可控性和合成语音的表达能力。此外，通过分配不同的参考语音提取的风格在每个尺度上，所提出的方法的灵活性进一步显示。
2021-04-08 cs.CL cs.SD eess.AS
fairseq S^2: A Scalable and Integrable Speech Synthesis Toolkit
Facebook AI（Facebook 人工智能研究院）
本文提出了一种用于语音合成的fairseq扩展算法fairseq S^2。我们实现了一些自回归（AR）和非AR文本到语音模型，以及它们的多说话人变体。为了使训练语音合成模型与较少的策划数据，建立了一些预处理工具，并显示其重要性的经验。为了促进开发和分析的更快迭代，包含了一套自动度量。除了专门为此扩展添加的功能外，fairseq S^2还受益于fairseq提供的可扩展性，并且可以轻松地与该框架中提供的其他最先进的系统集成。代码、文档和预训练模型可在https://github.com/pytorch/fairseq/tree/master/examples/speech_synthesis上获得。
2021-09-14 cs.CL cs.SD eess.AS
Eigenresiduals for improved Parametric Speech Synthesis
Acapela Group（Acapela集团）
统计参数语音合成器最近显示出它们产生自然声音和灵活声音的能力。不幸的是，由于语音是声码的事实，所传递的质量受到典型的噪声的影响。本文提出了一种新的激励模型，以减少这种不良影响。该模型是基于主成分分析得到的正交基上的音高同步残留帧的分解。该基础包含有限数量的本征残差，并且在相对较小的语音数据库上计算。基于PCA的系数流被添加到我们基于HMM的合成器，并允许在合成期间生成有声激励。与传统的激励相比，改进的报告，而合成引擎的足迹保持在约1Mb以下。
2020-01-02 cs.CL cs.SD eess.AS
KALL-E:Autoregressive Speech Synthesis with Next-Distribution Prediction
提出KALL-E，一种基于下一分布预测的自回归TTS模型，利用Flow-VAE提取连续语音表示并由AR Transformer预测分布，无需扩散组件，实现了高质量语音合成及单样本说话人适应。
2025-09-17 cs.CL cs.SD eess.AS
J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo（东京大学）
在本文中，我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功，其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子，它需要跨句子、表达力等。与阅读式语音不同，有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究，我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中，我们的方法可以自动提取和提炼数据，而不依赖于任何语言。具体来说，我们使用声乐乐器分离来提取干净的数据，连接主义的时间分类来粗略对齐文本和音频，语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估，结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control
Singapore University of Technology and Design（新加坡科技设计大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对语音合成难以捕捉情感风格细微差异的问题，提出PROEMO提示驱动TTS方法，结合多说话人情感强度控制与LLM韵律调控，通过情感嵌入、强度调节与提示引导提升合成语音表现力，并验证了方法有效性。
2025-01-10 cs.CL cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
本文通过结合LLaMA/OPT和VALL-E，探索了三种将大语言模型与语音合成模型集成的方法，发现以LLM作为文本编码器的耦合方法效果最佳，显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
Enhancing Code-switched Text-to-Speech Synthesis Capability in Large Language Models with only Monolingual Corpora
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
本文提出CS-LLM，通过多语言语音任务和单语语料拼接构建语码转换数据，在仅用单语数据的情况下提升大语言模型的语码转换语音合成能力。
2025-08-22 cs.CL cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
近年来的表达性文本到语音（TTS）模型主要关注情感语音的合成，但忽略了语调等细粒度的风格。在本文中，我们提出了QI-TTS，其目的是更好地转移和控制语调，以进一步传递说话人的提问意图，同时转移情感从参考语音。我们提出了一个多风格提取器，提取风格嵌入从两个不同的水平。句子层次代表情感，最后一个音节层次代表语调。在细粒度的语调控制方面，我们采用相对属性来表示音节层次的语调强度，实验验证了QI-TTS在情感语音合成中提高语调表达能力的有效性。
2023-03-14 cs.CL cs.SD eess.AS
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab（Brainekt AI实验室）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
语音合成是通过深度学习自动化的具有挑战性的任务之一，也是一种低资源语言，很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本，非常短的句子等。这项工作试图通过将Byakta（有史以来第一个基于开源深度学习的双语（孟加拉语和英语）文本）引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集，用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
针对现有合成语音自动评估指标多局限于可懂度的问题，提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法，该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
An Objective Evaluation Framework for Pathological Speech Synthesis
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Idiap Research Institute（伊迪亚普研究所）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
病理性语音系统的发展目前受到缺乏标准化客观评估框架的阻碍。在这项工作中，（1）我们利用现有的检测和分析技术，提出了一个通用的框架，一致的评价合成病理语音。该框架评估语音质量和语音的可懂度方面，并使用我们的实验证明是互补的。(2)使用我们提出的评估框架，我们开发和测试构音障碍的语音转换系统（VC）使用CycleGAN-VC和基于PSOLA的语音速率修改技术。我们表明，开发的系统能够合成构音障碍的语音与不同水平的语音清晰度。
2021-07-01 cs.CL cs.SD eess.AS
Audiovisual Speech Synthesis using Tacotron2
Apple（苹果公司）
视听语音合成是在最大化声学和视觉语音的相干性的同时合成说话的面部的问题。在本文中，我们提出并比较了两个视听语音合成系统的三维人脸模型。第一个系统是AVTacotron2，这是一个基于Tacotron2架构的端到端文本到视听语音合成器。AVTacotron2将表示句子的音素序列转换为声学特征序列和面部模型的相应控制器。输出的声学特征用于调节WaveRNN以重建语音波形，并且输出的面部控制器用于生成说话面部的相应视频。第二个视听语音合成系统是模块化的，其中使用传统的Tacotron 2从文本合成声学语音。然后，使用独立训练的音频到面部动画神经网络，使用重建的声学语音信号来驱动面部模型的面部控制。我们进一步条件的端到端和模块化的情感嵌入方法，编码所需的韵律生成情感的视听语音。我们分析了这两个系统的性能，并使用主观评价测试将它们与地面实况视频进行比较。端到端和模块化系统能够合成接近人类的视听语音，平均意见得分（MOS）分别为4.1和3.9，而专业录制视频生成的地面实况的MOS为4.1。虽然端到端系统给出了更好的整体质量，但模块化方法更灵活，并且声学语音和视觉语音合成的质量几乎是彼此独立的。
2021-08-30 cs.CL cs.SD eess.AS
Better speech synthesis through scaling
本文将图像生成领域的自回归transformers和DDPMs方法应用于语音合成，提出了富有表现力的多语音文本转语音系统TorToise，并已开源模型代码与权重。
2023-05-23 cs.CL cs.SD eess.AS
A Text-to-Speech Pipeline, Evaluation Methodology, and Initial Fine-Tuning Results for Child Speech Synthesis
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；University Politehnica of Bucharest（布加勒斯特理工大学）
语音合成已经取得了长足的进步，因为当前的文本到语音（TTS）模型现在可以生成自然的人类发音的语音。然而，大多数的TTS研究集中在使用成人语音数据和儿童语音合成已经做了非常有限的工作。这项研究开发并验证了一个训练管道，用于使用儿童语音数据集微调最先进的（SOTA）神经TTS模型。该方法采用多说话人TTS重调工作流程来提供迁移学习管道。一个公开可用的儿童语音数据集被清理，以提供大约19小时的较小子集，这构成了我们微调实验的基础。主观和客观的评价进行了使用预训练的MOSNet的客观评价和一个新的主观框架的平均意见评分（MOS）的评价。主观评价达到的MOS为3.95的语音清晰度，3.89的声音自然度，和3.96的声音一致性。使用预训练的MOSNet进行的客观评估显示，真实和合成儿童声音之间存在很强的相关性。说话人相似性也通过计算嵌入的话语之间的余弦相似性来验证。还使用自动语音识别（ASR）模型来提供真实儿童语音与合成儿童语音之间的字出错率（WER）比较。最终训练的TTS模型能够从参考音频样本合成儿童般的语音，短至5秒。
2022-04-04 cs.CL cs.SD eess.AS
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University（高丽大学）
本文介绍脑到语音技术，并系统分析执行语音时的神经特征与神经语音嵌入，探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion
The University of Tokyo（东京大学）
本文提出一种结合语言语音正则化与伪填充停顿插入的训练方法，通过稳定非填充停顿语音合成并利用预测模型采样伪填充停顿，显著提升了自发语音合成在面对多样化填充停顿插入时的鲁棒性和自然度。
2023-09-19 cs.SD eess.AS
Robust and fine-grained prosody control of end-to-end speech synthesis
Neosapience, Inc.（Neosapience公司）
我们提出了韵律嵌入情感和表达语音合成网络。所提出的方法在嵌入网络中引入时间结构，从而能够细粒度控制合成语音的说话风格。可以在语音侧或文本侧设计时间结构，从而在时间上导致不同的控制分辨率。韵律嵌入网络被插入到端到端的语音合成网络中，并且除了用于合成的目标语音之外，在没有任何其他监督的情况下进行训练。实验结果表明，韵律嵌入网络能够学习提取韵律特征。通过调整学习到的韵律特征，我们可以在帧级和音素级上改变合成语音的音高和幅度。我们还介绍了时间归一化的韵律嵌入，这表明对说话人的扰动在韵律传输任务具有更好的鲁棒性。
2019-02-18 cs.CL cs.LG cs.SD
Robust and Efficient Autoregressive Speech Synthesis with Dynamic Chunk-wise Prediction Policy
X-LANCE Lab, School of Computer Science（X-LANCE实验室，计算机科学学院）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能MOE重点实验室，人工智能学院，上海交通大学）；MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing（人工智能MOE重点实验室，江苏省语言计算重点实验室）
提出动态分块自回归语音合成框架DCAR，通过多词元预测训练引入块到帧注意力机制并动态调整预测跨度，显著提升合成可懂度与推理速度，为下一代语音合成奠定基础。
2025-06-27 cs.CL cs.SD eess.AS
ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出ToneUnit框架，利用声调标注数据作为CTC监督学习声调感知的离散语音单元，以解决中文语音合成中的“声调偏移”问题，并在中英文合成中验证了其有效性。
2024-09-03 cs.SD eess.AS
MASS: Multi-task Anthropomorphic Speech Synthesis Framework
Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络空间安全研究院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
文语转换（TTS）合成在人机交互中起着重要的作用。目前，大多数TTS技术都关注语音的自然性，即使语音听起来像人。然而，语音合成技术中的情感表达和说话人身份识别这两个关键任务却被忽略了，这限制了语音合成技术的应用场景。为了使合成的语音更加逼真，扩展应用场景，提出了一种多任务拟人语音合成框架（MASS），该框架可以从文本中合成具有特定情感和说话人身份的语音。MASS框架包括一个基本的TTS模块和两个新的语音转换模块：情感语音转换模块和扬声器语音转换模块。提出了基于卷积残差网络的深度情感语音转换模型（DEVC）和深度说话人语音转换模型（DSVC）。它解决了语音转换过程中的特征丢失问题。模型训练独立于并行数据集，并且能够进行多对多语音转换。在情感语音转换实验、说话人语音转换实验以及多任务语音合成实验中，实验结果表明DEVC和DSVC对语音转换效果良好。多任务语音合成实验的定量和定性评价结果表明，MASS能够有效地合成具有特定文本、情感和说话人身份的语音。
2021-05-10 cs.SD eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
A Bengali HMM Based Speech Synthesis System
Center for Educational Technology, Indian Institute of Technology Kharagpur（印度理工学院克勒格普尔分校教育技术中心）
本文介绍了基于HMM的TTS系统产生孟加拉语语音的能力。在这种合成方法中，语音参数的轨迹是从训练的隐马尔可夫模型生成的。从这些语音参数合成最终语音波形。在我们的实验中，频谱特性由梅尔倒谱系数表示。本文使用带注释的孟加拉语语音数据库研究了训练和合成问题。实验评估表明，开发的文本到语音系统是能够产生足够自然的语音孟加拉语的可懂度和语调。
2014-06-16 cs.CL cs.MM cs.SD
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出开源多场景普通话TTS数据集MSceneSpeech，涵盖多说话人和多样韵律，并基于提示机制建立基线，实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla；Google LLC（谷歌有限责任公司）
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作，因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet，这是一种WaveRNN变体，将线性预测与递归神经网络相结合，可显着提高语音合成的效率。我们证明，LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备（如嵌入式系统和手机）上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
Auto Spell Suggestion for High Quality Speech Synthesis in Hindi
Banasthali Vidyapeeth（巴纳斯塔利大学）
在特定语言中，文本到语音（TTS）合成的目标是将任意输入文本转换为可理解且听起来自然的语音。然而，对于一个特定的语言，如印地语，这是一个高度混乱的语言（由于非常接近的拼写），这不是一件容易的任务，以确定输入文本中的错误/错误，不正确的文本降低输出语音的质量，因此本文是一个贡献的高品质的语音合成的发展与拼写检查的参与，自动生成拼写错误的单词的拼写建议。拼写检查器的参与将通过为不正确的输入文本提供拼写建议来提高语音合成的效率。此外，我们还提供了对比研究，以评估在输入文本上添加拼写检查器对语音文本的效果。
2014-02-15 cs.CL cs.SD
Multi-Speaker End-to-End Speech Synthesis
University of California, Irvine（加州大学欧文分校）；Baidu Research（百度研究院）
在这项工作中，我们扩展了ClariNet（Ping等人，2019），完全端到端的语音合成模型（即，文本到波形），以从多个说话者生成高保真语音。为了模拟不同声音的独特特征，低维可训练的说话人嵌入在ClariNet的每个组件中共享，并与模型的其余部分一起训练。我们证明了多扬声器ClariNet在自然度方面优于最先进的系统，因为整个模型以端到端的方式进行了联合优化。
2019-07-09 cs.CL cs.LG cs.SD
Speech to Speech Synthesis for Voice Impersonation
University of California San Diego（加州大学圣迭戈分校）
本文提出STSSN模型，通过融合语音识别与合成技术，实现语音到语音风格迁移，用于语音模仿任务，实验表明其生成逼真音频效果优于生成对抗模型。
2026-02-13 cs.LG cs.SD eess.AS
Learning pronunciation from a foreign language in speech synthesis networks
Neosapience, Inc.（Neosapience公司）；Massachusetts Institute of Technology（麻省理工学院）
虽然世界上有6,500多种语言，但许多音素的发音在不同语言中听起来都很相似。人们在学习外语时，其发音往往反映出本族语的特点。这促使我们研究语音合成网络如何从不同语言的数据集学习发音。在本研究中，我们有兴趣分析和利用多语言语音合成网络。首先，我们用英语和韩语对语音合成网络进行了双语训练，并分析了网络是如何学习两种语言之间的音素发音关系的。我们的实验结果表明，如果不同语言的发音相似，则学习到的音素嵌入向量的位置会更接近。因此，经过训练的网络可以合成说英语的人的韩语语音，反之亦然。利用这一结果，我们提出了一个培训框架，利用不同的语言的信息。具体来说，我们使用来自高资源语言和低资源语言的数据集预训练语音合成网络，然后使用低资源语言数据集微调网络。最后，我们在10种不同的语言上进行了更多的模拟，以证明它通常可以扩展到其他语言。
2020-06-24 cs.CL cs.LG cs.SD
Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 语言发音研究组）
迄今为止，各种语音技术系统都采用了声码器方法，这是一种合成语音波形的方法，在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一，几乎类似于人类的声音，必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
Meta Learning Text-to-Speech Synthesis in over 7000 Languages
University of Stuttgart（斯图加特大学）；Fraunhofer IIS Erlangen（弗劳恩霍夫埃尔兰根应用集成电路研究所）；University of Groningen（格罗宁根大学）
本文提出结合大规模多语言预训练与元学习，构建支持超过7000种语言零样本语音合成的单一TTS系统，并通过客观与人工评估验证性能。
2024-06-10 cs.CL cs.LG cs.SD
Comprehensive evaluation of statistical speech waveform synthesis
Amazon（亚马逊）
直接预测语音波形的统计TTS系统最近报道了合成质量的改进。这项调查评估亚马逊的统计语音波形合成（SSWS）系统。在多个领域对SSWS进行深入评估，以更好地了解质量的一致性。通过在单独的一组测试人员上重复该程序来确认该评估的结果。最后，分析了SSWS与混合单元选择合成相比的语音错误的性质，以确定SSWS的优点和缺点。对SSWS有更深入的了解使我们能够更好地确定未来工作的重点，以改进这项新技术。
2018-12-11 cs.SD eess.AS
Learning Robust Latent Representations for Controllable Speech Synthesis
University of Toronto（多伦多大学）；Vanguard Center for Analytics and Insights（先锋分析与洞察中心）
最先进的变分自动编码器（VAE）用于学习解开的潜在表示，在发现语音数据中的音高、停顿持续时间和重音等特征方面取得了令人印象深刻的结果，从而实现了高度可控的文本到语音（TTS）合成。然而，这些基于LSTM的VAE在有限或嘈杂的数据集上训练时无法学习说话者属性的潜在聚类。此外，不同的潜变量开始编码相同的特征，限制了语音合成期间的控制和表达能力。为了解决这些问题，我们提出了RTI-VAE（重排序的Transformer与信息减少VAE），我们最大限度地减少不同的潜在变量之间的互信息，并设计了一个修改后的Transformer架构与层重新排序，以学习语音数据中的可控潜在表示。我们表明，RTI-VAE减少了至少30%的LSTM-VAE和至少7%的香草transformer-VAE的扬声器属性的集群重叠。
2021-05-10 cs.CL cs.LG cs.SD
Analysing Shortcomings of Statistical Parametric Speech Synthesis
Amazon（亚马逊）
统计参数语音合成（SPSS）的输出在质量、自然度、说话人相似性和噪声中的可懂度方面仍然明显低于自然语音记录。关于这些缺点的起源有许多假设，但这些假设通常是模糊的，并且没有经验证据可以证实和量化特定缺点如何导致合成语音中的不完美。在整个语音合成文献中，令人惊讶的是，很少有工作致力于识别语音合成中感知上最重要的问题，即使这些知识对于创建更好的SPSS系统具有很大的价值。在本章中，我们分析了SPSS的一些缺点。特别是，我们讨论了声码的问题，并提出了一个通用的方法来量化任何的许多假设和设计选择，阻碍SPSS的效果。该方法是伴随着一个例子，仔细测量和比较声码以及其他因素，如统计模型和它的使用所施加的感知限制的严重程度。
2018-07-28 cs.SD eess.AS
Brain2Speech-Net: Fast and Intelligible Brain-to-Speech Synthesis Without Text Decoding
Johns Hopkins University（约翰霍普金斯大学）；Academia Sinica（中央研究院）；University of Edinburgh（爱丁堡大学）
该研究针对瘫痪患者言语丧失问题，提出Brain2Speech-Net单阶段框架，通过可微分音素瓶颈与深度HMM对齐器实现无需文本解码的实时可理解语音合成，性能优于级联系统。
2026-09-23 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis
提出StyleTTS，一种基于风格的并行TTS生成模型，通过可迁移单调对齐器和时长不变数据增强，利用自监督学习从参考语音合成自然且多样化的语音，显著提升了语音自然度和说话人相似度。
2023-11-20 cs.CL cs.LG cs.SD
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
提出3阶段多模态可控语音合成框架，通过监督学习与知识蒸馏优化人脸编码器，并在文本-人脸与文本-语音数据上训练文本编码器，有效提升了生成语音的多样性与质量，优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong（香港中文大学）
提出了一种新的神经网络系统设计，用于表达性文本转语音（TTS）合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入，实现了细粒度建模。采用协作学习和对抗学习策略，有效地分离语音中的内容和风格因素，缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明，我们的系统性能优于其他细粒度的语音风格转移模型，特别是在内容保存方面。通过结合风格预测器，所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务部）
文语转换（TTS）模型通常将语音属性（如内容、说话人和韵律）分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模，以便将主要的语音因素（如语言内容、韵律和音色）与任何剩余因素（如记录条件和背景噪声）分离。本文提出了无监督的TTS模型，可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练，表示瓶颈和话语到帧建模，以学习帧级噪声表示。为了达到同样的目的，我们通过一个完全分层变分自编码器（FVAE）进行细粒度的韵律建模，这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
Speech waveform synthesis from MFCC sequences with generative adversarial networks
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
本文提出了一种从滤波器组梅尔频率倒谱系数（MFCC）生成语音的方法，MFCC被广泛用于语音应用，如ASR，但通常被认为不能用于语音合成。首先，我们预测基频和浊音信息的MFCC与自回归递归神经网络。其次，包含在MFCC的频谱包络信息被转换为全极点滤波器，并与这些滤波器匹配的桨距同步励磁模型的训练。最后，我们引入了一个基于生成对抗网络的噪声模型，以向建模的激励信号添加一个真实的高频随机分量。实验结果表明，在测试时只需要MFCC信息，就可以得到高质量的语音重建。
2018-04-03 cs.CL cs.SD eess.AS
