Building a mixed-lingual neural TTS system with only monolingual data
在部署中文神经文本到语音（TTS）合成系统时，挑战之一是合成嵌入有英语短语或单词的中文话语。本文探讨的问题，在编码器-解码器框架时，只有单语数据从目标扬声器。具体来说，我们从两个方面来看待这个问题：说话人在话语中的一致性和自然性。我们从一个平均语音模型开始研究，该模型是由多说话人的单语数据，即普通话和英语数据建立的。在此基础上，我们研究了说话人嵌入的说话人一致性和音素嵌入的自然度和可理解性，并研究了模型训练的数据选择。我们报告的结果，并讨论了挑战，建立一个混合语言的TTS系统，只有单语数据。
2019-08-22 cs.CL cs.SD eess.AS
Exploring synthetic data for cross-speaker style transfer in style representation based TTS
Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学（UNICAMP））；CPQD
本研究探索利用语音转换（VC）模型生成的合成数据辅助TTS实现跨说话人风格迁移，并结合音色扰动与原型角度损失预训练风格编码器以缓解说话人泄露，有效提升了跨说话人及跨语言场景下的语音自然度、说话人相似度和口音迁移效果。
2024-09-25 cs.SD eess.AS
Zero-Shot vs. Few-Shot Multi-Speaker TTS Using Pre-trained Czech SpeechT5 Model
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究院）；Faculty of Applied Sciences（应用科学学院）；University of West Bohemia in Pilsen（西波希米亚大学（比尔森））
本文基于大规模数据预训练SpeechT5模型并微调，在零样本和少样本多说话人TTS任务上验证，发现仅用一分钟数据即可生成高质量且相似度高的合成声音。
2024-07-24 cs.CL cs.SD eess.AS
GC-TTS: Few-shot Speaker Adaptation with Geometric Constraints
Korea University（高丽大学）
Few-Shot说话人自适应是一种特殊的文语转换（TTS）系统，其目标是用少量的训练数据再现一个新的说话人的声音。虽然已经对Few-Shot说话者自适应系统进行了许多尝试，但是在取决于数据量的说话者与目标说话者的相似性方面仍然存在差距。为了弥补这一差距，我们提出了GC-TTS，它实现了高质量的说话人自适应显着提高说话人相似性。具体来说，我们利用两个几何约束来学习区分性说话人表示。在这里，TTS模型是针对具有足够数据量的基本扬声器进行预训练的，然后针对具有两个几何约束的几分钟数据的新扬声器进行微调。两个几何约束使该模型能够从有限的数据中提取有区别的说话人嵌入，这导致了可理解的语音合成。我们讨论和验证GC-TTS的有效性，通过比较它与流行的和必要的方法。实验结果表明，GC-TTS生成高质量的语音，从只有几分钟的训练数据，优于标准的技术，在说话人的相似性目标扬声器。
2021-08-16 cs.LG cs.SD eess.AS
Building Synthetic Speaker Profiles in Text-to-Speech Systems
University of Cambridge（剑桥大学）；Amazon Alexa（亚马逊Alexa）
在多说话人TTS系统中，说话人轮廓的多样性是其性能的一个重要方面，因为它衡量了TTS系统可以合成多少不同的说话人轮廓。然而，这一重要方面往往被忽视时，建设多扬声器TTS系统，并没有既定的框架来评估这种多样性。其原因在于，大多数多说话人TTS系统仅限于生成具有与其训练数据相同的说话人简档的语音信号。它们通常使用离散的说话人嵌入向量，这些向量与单个说话人具有一一对应关系。这种对应关系限制了TTS系统，并阻碍了它们生成在训练期间没有出现的看不见的说话者简档的能力。在本文中，我们的目标是建立多扬声器TTS系统，具有更大的扬声器配置文件，并可以生成新的合成扬声器配置文件是不同的训练数据。为此，我们建议使用具有三重损失和特定洗牌机制的生成模型。在我们的实验中，所提出的方法的有效性和优势已被证明在合成语音信号的独特性和可懂度。
2022-02-07 cs.SD eess.AS
Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows
Alexa AI
最近，文本到语音系统的质量几乎与人类语音无法区分。然而，这些系统的韵律通常比自然语音更平坦，产生具有低表达力的样本。在文语转换系统中，说话人身份和韵律的分离是提高自然度和产生更多可变合成的关键。本文提出了一种新的神经文本到语音模型，通过调节Tacotron 2-like架构上的流规范化的扬声器嵌入，并通过用一个新的学习潜在分布来代替参考编码器，负责建模由于韵律的句内变异性，来解决解纠缠问题。通过消除参考编码器依赖性，通常发生在这种系统中的扬声器泄漏问题消失了，在推理时产生更独特的合成。新模型实现了显着更高的韵律方差比基线在一组定量韵律特征，以及更高的扬声器的独特性，而不会降低扬声器的可懂度。最后，我们观察到，归一化的扬声器嵌入使更丰富的扬声器插值，大大提高了新的插值扬声器的独特性。
2021-06-10 cs.CL cs.SD eess.AS
Guided-TTS 2: A Diffusion Model for High-quality Adaptive Text-to-Speech with Untranscribed Data
Seoul National University（首尔国立大学）
我们提出了Guided-TTS 2，一个基于扩散的生成模型，用于使用未转录数据的高质量自适应TTS。Guided-TTS 2将说话者条件扩散模型与说话者相关音素分类器相结合，用于自适应文本到语音。我们训练的扬声器条件扩散模型的大规模未转录的数据集的无分类器引导方法，并进一步微调的扩散模型的参考语音的目标扬声器的适应，这只需要40秒。我们证明，引导TTS 2表现出相当的性能，高质量的单扬声器TTS基线的语音质量和扬声器相似性，只有十秒的未转录数据。我们进一步表明，即使使用zero-shot自适应设置，Guided-TTS 2在多说话者数据集上的性能也优于自适应TTS基线。Guided-TTS 2仅使用未转录的语音就能适应广泛的语音，这使得能够使用\textit{"The Lord of the Rings"}中的咕噜等非人类角色的语音进行自适应TTS。
2022-05-30 cs.AI cs.SD eess.AS
KazakhTTS2: Extending the Open-Source Kazakh TTS Corpus With More Data, Speakers, and Topics
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们提出了我们以前发布的哈萨克文语音合成语料库（KazakhTTS）的扩展版本。在新的KazakhTTS2语料库中，总长度从93小时增加到271小时，发言者人数从2人增加到5人（3名女性和2名男性），在新来源的帮助下，包括一本书和维基百科文章，主题覆盖面多样化。该语料库是必要的，为哈萨克语，中亚的粘着语言从突厥语家庭，这提出了几个语言的挑战，建立高质量的TTS系统。我们描述了语料库的建设过程，并提供了TTS系统的训练和评估程序的细节。我们的实验结果表明，所构建的语料库是足够的，以建立强大的TTS模型，为现实世界的应用程序，与主观平均意见得分范围从3.6到4.2的所有五个扬声器。我们相信，我们的语料库将促进哈萨克语和其他突厥语的语音和语言研究，由于免费语言数据的有限性，这些语言被广泛认为是低资源。构建的语料库，代码和预训练模型在我们的GitHub存储库中公开提供。
2022-04-20 cs.CL cs.SD eess.AS
Scaling NVIDIA's Multi-speaker Multi-lingual TTS Systems with Zero-Shot TTS to Indic Languages
NVIDIA（英伟达）
本研究针对印度语言多说话人多语言TTS任务，面向MMITS-VC 2024挑战赛分别用RAD-MMM做少样本TTS、P-Flow做零样本TTS，搭配HiFi-GAN声码器，最终P-Flow获赛道3第一。
2024-01-29 cs.LG cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Speaker Adaptation with Continuous Vocoder-based DNN-TTS
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE伦杜莱特语言发音研究组）
传统的基于声码器的统计参数语音合成在需要低计算复杂性的应用中是有利的。目前的神经声码器虽然具有较高的自然度，但仍不能满足合成实时性的要求。在本文中，我们的实验与我们早期的连续声码器，其中的激励建模与两个一维参数：连续F0和最大浊音频率。我们在9个说话者的数据上表明，平均语音可以被训练用于DNN-TTS，并且说话者自适应是可行的400个话语（约14分钟）。客观的实验结果表明，基于连续声码器的DNN-TTS的说话人自适应的质量与基于WORLD声码器的基线的说话人自适应的质量相似。
2021-08-02 cs.SD eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来，通过文本到语音（TTS）应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务，很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案，但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡，导致语音相似性问题。我们提出了目标领域自适应语音合成网络（TDASS）来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干，引入了一个自利分类器来减少非目标影响。此外，在分类器中增加了一个特殊的梯度反转层，对目标和非目标进行不同的操作。在汉语语音库上的实验表明，该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research（谷歌研究院）
使神经文本到语音（TTS）模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数（如果不是全部）参数。然而，服务数百个微调的神经TTS模型是昂贵的，因为它们中的每一个都需要显著的占地面积和单独的计算资源（例如，加速器、存储器）。为了将说话人自适应神经TTS语音扩展到数百个说话人，同时保持自然度和说话人相似性，本文提出了一种参数有效的Few-Shot说话人自适应，其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明，与完全微调方法相比，所提方法能够获得有竞争力的自然度和说话人相似度，而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
DINO-VITS: Data-Efficient Zero-Shot TTS with Self-Supervised Speaker Verification Loss for Noise Robustness
Huawei Technologies（华为技术有限公司）；ITMO University（ITMO大学）；HSE（高等经济大学）；SPbU（圣彼得堡大学）；Huawei Noah Ark Lab（华为诺亚方舟实验室）
该研究提出DINO-VITS零样本TTS方法，通过带自监督DINO损失的双目标训练提升说话人编码器的噪声鲁棒性，还设计两阶段策略利用带噪无标注数据训练，在干净和噪声场景下的语音相似度、自然度均优于传统方法。
2024-06-18 cs.SD eess.AS
Disentangling Style and Speaker Attributes for TTS Style Transfer
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）
端到端的神经TTS在语音风格转换方面表现出更好的性能。然而，改进仍然受到目标风格和扬声器两者的可用训练数据的限制。此外，当训练的TTS试图将语音从具有未知的任意风格的新说话者转移到目标风格时，观察到退化的性能。在本文中，我们提出了一种新的方法，在不相交的多风格数据集上进行可见和不可见的风格迁移训练，即，记录不同风格的数据集，一个说话者在多个话语中的一个单独风格。首先引入逆自回归流（IAF）技术来改进用于学习表达风格表示的变分推理。一个说话人编码器网络，然后开发用于学习一个判别式说话人嵌入，这是联合训练与其余的神经TTS模块。所提出的可见和不可见风格转移方法有效地训练了六个专门设计的目标：重建损失，对抗损失，风格失真损失，周期一致性损失，风格分类损失和扬声器分类损失。实验表明，客观和主观的，所提出的方法的有效性，可见和不可见的风格转移任务。我们的方法的性能优于现有技术的其他四个参考系统的性能，并且比现有技术的其他四个参考系统的性能更稳健。
2022-01-24 cs.SD eess.AS
Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
Neosapience, Inc.（Neosapience公司）
近年来，表达性文本到语音的性能有所改善。然而，合成语音的风格控制通常限于离散的情感类别，并且需要由目标说话者以目标风格记录的训练数据。在许多实际情况下，用户可能没有记录在目标情感中的参考语音，但仍然有兴趣仅通过键入期望情感风格的文本描述来控制语音风格。在本文中，我们提出了一个基于文本的接口的情感风格控制和跨扬声器的风格转移多扬声器TTS。我们提出了一种双模态风格编码器，该编码器使用预先训练好的语言模型来模拟文本描述嵌入和语音风格嵌入之间的语义关系。为了进一步改善不相交的多风格数据集上的跨说话人风格传递，我们提出了新的风格损失。实验结果表明，我们的模型可以生成高质量的表达语音，即使在看不见的风格。
2022-07-13 cs.CL cs.LG cs.SD
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion
Coqui（Coqui公司）；QuintoAndar（QuintoAndar公司）；Darmstadt University of Applied Sciences（达姆施塔特应用技术大学）；São Paulo State University（圣保罗州立大学）；Federal University of Goiás（戈亚斯联邦大学）；Mercado Livre（自由市场公司）
本文提出在低/中等资源场景下，利用跨语言多说话人语音合成和跨语言语音转换进行ASR数据增强，仅需单一目标语言说话人即可有效提升ASR系统性能并缩小合成与真实语音间的差距。
2023-05-20 cs.CL cs.SD eess.AS
A2TTS: TTS for Low Resource Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出A2TTS，一种基于扩散模型和说话人编码器的多语言TTS系统，通过交叉注意力时长预测与无分类器引导提升零样本多说话人生成能力，并在IndicSUPERB数据集上验证了七种低资源印度语言的效果。
2025-07-21 cs.AI cs.CL cs.SD
Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder
NetEase Youdao（网易有道）
本研究提出支持14种语言的Confucius4-TTS系统，采用两阶段架构，无需音频提示转录即可实现跨语言零样本TTS，在多项基准测试中表现优异，相关资源已公开。
2026-08-13 cs.CL cs.SD
BOFFIN TTS: Few-Shot Speaker Adaptation by Bayesian Optimization
Amazon Research（亚马逊研究院）
我们提出了BOFFIN TTS（贝叶斯优化微调神经文本转语音），Few-Shot说话人自适应的一种新方法。在这里，任务是微调预训练的TTS模型，以使用目标话语的小语料库来模仿新的说话者。我们证明，不存在一个一刀切的适应策略，令人信服的合成需要一个特定于语料库的配置控制微调的超参数。通过使用贝叶斯优化来有效地优化目标扬声器的这些超参数值，我们能够执行自适应，与标准技术相比，扬声器相似性平均提高30%。结果表明，在多个语料库中，BOFFIN TTS可以使用不到10分钟的音频学习合成新的扬声器，实现与用于训练基础模型的扬声器相同的自然度。
2020-02-04 cs.LG cs.SD eess.AS
Low-Resource Multilingual and Zero-Shot Multispeaker TTS
University of Stuttgart（斯图加特大学）
虽然用于文本到语音（TTS）的神经方法在建模多个说话者方面已经显示出巨大的进步，即使在zero-shot设置中，这些方法所需的数据量对于世界上6,000多种口语中的绝大多数来说通常是不可行的。在这项工作中，我们汇集了zero-shot语音克隆和多语言低资源TTS的任务。使用语言不可知的Meta学习（LAML）的程序和修改的TTS编码器，我们表明，它是可能的系统学习讲一种新的语言，仅使用5分钟的训练数据，同时保留的能力，推断出的声音，甚至看不见的扬声器在新学到的语言。我们使用客观指标和人类研究在可懂度，自然度和与目标说话者的相似性方面展示了我们所提出的方法的成功，并提供了我们的代码和训练模型开源。
2022-10-21 cs.CL cs.SD eess.AS
Comparison of Speech Representations for Automatic Quality Estimation in Multi-Speaker Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）
我们的目标是表征不同的扬声器有助于感知输出质量的多扬声器文本到语音（TTS）合成。我们使用一个神经网络（NN）训练人类平均意见评分（MOS）评级的TTS的质量自动率。首先，我们在ASVSpoof 2019逻辑访问（LA）数据集的13个不同的TTS和语音转换（VC）系统上训练和评估我们的NN模型。由于目前还不知道如何最好地表示语音的这项任务，我们比较了8种不同的表示方式，以及MOSNet基于帧的功能。我们的表示包括基于图像的频谱图特征和x向量嵌入，这些特征明确地对不同类型的噪声（如T60混响时间）进行建模。我们的NN预测MOS与人类判断高度相关。我们报告预测相关性和误差。一个关键的发现是，无论TTS或VC系统如何，某些扬声器所达到的质量似乎是一致的。人们普遍认为，一些扬声器提供更高的质量比其他人建立一个TTS系统：我们的方法提供了一个自动的方式来识别这样的扬声器。最后，为了看看我们的质量预测模型是否具有普遍性，我们使用一个单独的多扬声器TTS系统来预测合成语音的质量分数，该系统是在LibriTTS数据上训练的，并进行我们自己的MOS听力测试来比较人类的评级与我们的NN预测。
2020-04-27 cs.CL cs.LG cs.SD
Stable-TTS: Stable Speaker-Adaptive Text-to-Speech Synthesis via Prosody Prompting
AITRICS；KAIST（韩国科学技术院）
Stable-TTS提出利用高质量先验样本的韵律提示和先验保持损失，在有限且含噪的目标语音样本条件下实现稳定的说话人自适应语音合成。
2024-12-28 cs.AI cs.SD eess.AS
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia（微软亚洲研究院）
自适应文本转语音（TTS）技术可以在zero-shot场景下有效地合成新的语音，它使用一个经过良好训练的源TTS模型，而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性，zero-shot自适应语音合成对说话人特征的泛化能力要求很高，这给语音合成建模带来了挑战。在本文中，我们开发了AdaSpeech 4，一个zero-shot自适应TTS系统，用于高质量的语音合成。我们系统地对说话者特征进行建模，以提高对新说话者的概括性。一般来说，说话人特征的建模可以分为三个步骤：提取说话人特征，以该说话人特征为条件，在给定该说话人特征的情况下合成语音/梅尔谱图。相应地，我们分三步改进模型：1）为了提取具有更好泛化性的说话人表示，我们将说话人特征分解为基向量，并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化，将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布，以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下，AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
AccentSpeech: Learning Accent from Crowd-sourced Data for Target Speaker TTS with Accents
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
从众包数据中学习口音是实现目标说话人语音合成系统的一种可行方法。为此，有两个具有挑战性的问题需要解决。首先，在口音转移中直接使用声学质量差的众包数据和目标说话人数据显然会导致合成语音质量下降。为了解决这一问题，本文提出了一种基于瓶颈特征（BN）的TTS方法，将TTS分解为用于学习口音的文本到BN（T2BN）模块和用于学习说话人音色的BN到Mel（BN2Mel）模块，其中基于神经网络的BN特征作为中间表示，对噪声干扰具有鲁棒性。第二，使用两阶段系统中的众包数据直接训练T2BN将产生具有较差韵律的目标说话人的口音语音。这是因为众包录音是由普通的非专业演讲者贡献的。为了解决这个问题，我们将两阶段方法更新为一种新的三阶段方法，其中使用高质量的目标说话人数据训练T2BN和BN2Mel，并在两个模块之间插入一个新的BN到BN模块来执行口音转移。为了训练BN2BN模块，通过提出的数据增强过程获得并行的非重音和重音BN特征。最后，所提出的三个阶段的方法管理产生口音语音的目标说话人具有良好的韵律，作为韵律模式是从专业的目标说话人和口音转移是由BN2BN模块在同一时间实现。该方法被命名为AccentSpeech，在普通话TTS口音迁移任务中得到了验证。
2022-10-31 cs.SD eess.AS
CopyCat2: A Single Model for Multi-Speaker TTS and Many-to-Many Fine-Grained Prosody Transfer
Amazon（亚马逊）
在本文中，我们提出了CopyCat2（CC2），一种新的模型能够：a）合成语音与不同的扬声器身份，b）生成语音表达和上下文适当的韵律，和c）传输韵律在细粒度的水平之间的任何一对看到的扬声器。我们通过激活网络的不同部分来完成不同的任务。我们使用一种新颖的两阶段训练方法来训练我们的模型。在第一阶段，该模型从语音中学习说话者独立的词级韵律表示，用于多对多的细粒度韵律传输。在第二阶段，我们学习预测这些韵律表示使用文本中的上下文信息，从而使多扬声器TTS与上下文适当的韵律。我们比较CC2两个强基线，一个在TTS与上下文适当的韵律，和细粒度的韵律转移。CC2通过$22.79\%$减少了我们的基线和复制合成语音之间的自然度差距。在细粒度的韵律迁移评价中，该方法在目标说话人相似度方面相对于$33.15\%$有较大的提高。
2022-06-27 cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
DS-TTS: Zero-Shot Speaker Style Adaptation from Voice Clips via Dynamic Dual-Style Feature Modulation
School of Data Science and Media Intelligence, Communication University of China（数据科学与媒体智能学院，中国传媒大学）；Psyche AI Inc. Beijing, China（北京Psyche AI公司，中国）；Hainan International College, Communication University of China（海南国际学院，中国传媒大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京理工大学）
DS-TTS 提出双风格编码网络与动态生成器网络，通过风格门控-电影机制融合互补风格特征并动态适应输入长度，在 VCTK 上显著提升零样本语音克隆的词错误率与说话人相似度。
2025-06-01 cs.SD eess.AS
Exploring Transfer Learning for Low Resource Emotional TTS
umons.ac.be（蒙斯大学）
在过去的几年里，由于深度学习，口语技术有了很大的进步。然而，基于深度学习的算法需要大量的数据，这些数据通常很难收集，而且成本很高。特别地，用很少的数据对不同说话者、不同风格或不同情绪的语音的可变性进行建模仍然具有挑战性。在本文中，我们研究了如何利用预训练的基于深度学习的TTS模型的微调来合成具有另一个说话者的小数据集的语音。然后，我们调查的可能性，以适应这个模型有情绪的TTS微调中性TTS模型与一个小的情感数据集。
2019-01-14 cs.CL cs.SD eess.AS
FMSD-TTS: Few-shot Multi-Speaker Multi-Dialect Text-to-Speech Synthesis for Ü-Tsang, Amdo and Kham Speech Dataset Generation
本文提出FMSD-TTS框架，通过少量参考音频和方言标签实现多方言文本到语音合成，引入新颖的说话人-方言融合模块和方言专用动态路由网络，提升方言表达和说话人相似度，公开发布大规模合成藏语语音语料库及开源评估工具。
2026-04-24 cs.AI cs.CL cs.SD
Dynamic Prosody Prediction in LLM-based TTS for Improving Speaker Similarity
University of Science and Technology of China（中国科学技术大学）；iFLYTEK
针对LLM-based TTS忽略风格特定韵律模式导致说话人相似度不足的问题，提出基于先前预测语音的动态音节韵律预测方法，显著提升韵律学习能力和说话人相似度。
2026-06-16 cs.SD eess.AS
Joycent: Multi-Accent TTS via Disentangled Accent Modeling and Layer-Specific Conditioning
University of Science and Technology of China（中国科学技术大学）
提出Joycent，一种基于扩散模型的口音TTS方法，直接从标准音素序列和语音参考合成口音语音，无需口音音素预测，通过条件层归一化集成口音和说话人表征，并引入WhisAID口音识别模型，在保持说话人身份的同时提升口音自然度。
2026-09-01 cs.SD eess.AS
AISHELL-3: A Multi-speaker Mandarin TTS Corpus and the Baselines
AISHELL
AISHELL-3是一个大规模、高保真的多人汉语语音语料库，可用于训练多人文语转换系统。该语料库包含了大约85小时的情感中立录音，由218名母语为中国普通话的人说。语料库中明确标注和提供了他们的辅助属性，如性别、年龄组和本地口音。因此，随录音提供中文及拼音水平的文字记录。我们提出了一个基线系统，使用AISHELL-3多扬声器Madarin语音合成。多说话人语音合成系统是Tacotron-2的扩展，其中说话人验证模型和关于语音相似性的相应损失被并入作为反馈约束。我们的目标是使用所提出的语料库，建立一个强大的合成模型，能够实现zero-shot语音克隆。在这个数据集上训练的系统也很好地概括了在训练过程中从未见过的说话者。客观评价结果表明，我们提出的多说话人合成系统实现了高的语音相似度，无论是说话人嵌入相似度和等出错率测量。数据集、基线系统代码和生成的样本可在线获取。
2021-04-22 cs.SD eess.AS
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft（微软）
基于转换器的文本转语音（TTS）模型（例如，Transformer TTS~ \cite{li2019neural}，FastSpeech~ \cite{ren2019fastspeech}）已经显示出训练和推理效率优于基于RNN的模型（例如，Tacotron~ \cite{shen2018natural}），这是由于其在训练和/或推理中的并行计算。然而，并行计算增加了Transformer学习文本和语音对齐的难度，在多说话人、多噪声数据的情况下，这种难度进一步放大，阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech，该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐：1）在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2）在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3）解码器预网中的瓶颈，以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性：1）与基于朴素Transformer的TTS相比，MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2）以MutiSpeech模型为老师，我们获得了一个强多说话人FastSpeech模型，其质量几乎为零，同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在本文中，我们提出了Adapitch，一个多说话人的TTS方法，使自适应的监督模块与未转录的数据。我们设计了两个自监督模块，分别用未转录的数据对文本编码器和梅尔解码器进行训练，以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息，设计了一个有监督的TTS模块，该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分，先用无监督模式对文本编码器和梅尔解码器进行预训练和固定，然后用有监督模式对TTS进行解缠。实验结果表明，自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究提出一种基于离散单元的多口音转换模型，以母语语音自监督聚类得到的离散单元为中间目标，结合多说话人TTS还原母语口音，还提出高效数据增强法降低非母语数据需求，可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
Revisiting IPA-based Cross-lingual Text-to-speech
Netease Games AI Lab（网易游戏AI实验室）
国际音标（IPA）已被广泛应用于跨语言的文语转换（TTS），以实现跨语言的语音克隆（CL VC）。然而，国际音标本身在跨语言TTS中的研究却不足。在本文中，我们报告了一些实证研究结果，建立一个跨语言的TTS模型使用IPA作为输入。实验表明，IPA和超切分序列的处理方式对CL VC性能的影响可以忽略不计。此外，我们发现，使用一个数据集，包括一个扬声器每种语言，以建立一个基于IPA的TTS系统将失败CL VC，因为语言唯一的IPA和音调/重音符号可以泄漏的扬声器信息。此外，我们在训练数据集中使用不同的说话人组合进行实验，以进一步研究说话人数量对CL VC性能的影响。
2021-10-18 cs.CL cs.SD eess.AS
Enhancing Zero-Shot Multi-Speaker TTS with Negated Speaker Representations
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
针对零样本多说话人 TTS 的内容泄漏与域外适配问题，提出基于减法的否定说话人表示、多流 Transformers、注意力池化和自适应层归一化融合方法，提升了说话人保真度与合成鲁棒性。
2024-03-05 cs.SD eess.AS
Multi-speaker Text-to-speech Training with Speaker Anonymized Data
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Meta；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
本文评估五类说话人匿名化方法处理VCTK后训练VITS的效果，并发现UTMOS与GVD可有效预测下游未见说话人TTS性能。
2024-05-20 cs.CR cs.SD eess.AS
Voice Imitating Text-to-Speech Neural Networks
Neosapience（尼奥萨匹恩斯）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个神经文本到语音（TTS）模型，可以模仿一个新的扬声器的声音，只有少量的语音样本。我们演示语音模仿只使用6秒长的语音样本，没有任何其他信息，如成绩单。我们的模型还可以立即进行语音模仿，而无需对模型进行额外的训练。我们实现了语音模仿TTS模型相结合的发言人嵌入网络与国家的最先进的TTS模型，Tacotron。说话人嵌入器网络获取新说话人的语音样本并返回说话人嵌入。将带有目标句子的说话者嵌入到Tacotron中，并使用新说话者的声音生成语音。我们表明，说话人嵌入网络提取的说话人嵌入可以代表不同的声音中的潜在结构。从我们的模型生成的语音样本具有可比的语音质量从现有的多扬声器TTS模型。
2018-06-04 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）；Samsung Research, Samsung Electronics Co., Ltd（三星电子株式会社三星研究院）
Zero-shot多说话人文本转语音（ZSM-TTS）模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音（TTS）模型中，最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中，我们改进了以前的扬声器调节方法，通过引入扬声器归一化仿射耦合（SNAC）层，它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入，从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出DiEmo-TTS，通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入，实现跨说话人情感迁移，减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Grad-StyleSpeech: Any-speaker Adaptive Text-to-Speech Synthesis with Diffusion Models
AITRICS；KAIST（韩国科学技术院）
近年来，由于神经生成模型的发展，文本转语音（TTS）合成技术取得了重大进展。然而，现有的方法在任何说话人自适应TTS取得了不令人满意的性能，由于他们在模仿目标说话人的风格的次优精度。在这项工作中，我们提出了梯度风格的语音，这是一个任何扬声器自适应TTS框架，它是基于扩散模型，可以生成高度自然的语音与目标扬声器的声音非常高的相似性，给定几秒钟的参考语音。Grad-StyleSpeech在英语基准测试中的表现明显优于最近的说话者自适应TTS基线。音频样本可在https://nardien.github.io/grad-stylespeech-demo上获得。
2023-03-14 cs.AI cs.SD eess.AS
Multi-GradSpeech: Towards Diffusion-based Multi-Speaker Text-to-speech Using Consistent Diffusion Models
Fuxi AI Lab, NetEase Inc.（网易公司伏羲人工智能实验室）
针对扩散模型采样漂移导致多说话人TTS性能不佳的问题，提出Multi-GradSpeech，引入一致扩散模型（CDM）并在训练中强制一致性属性，显著提升多说话人合成性能，优于Grad-TTS和微调方法。
2023-08-31 cs.SD eess.AS
Deterministic Prompting for Speaker-Stable Low-Resource Greek TTS
Institute for Language and Speech Processing, Athena R.C.（雅典娜研究与创新中心语言与语音处理研究所）；Department of Digital Medicine, University of Bern（伯尔尼大学数字医学系）；School of Electrical and Computer Engineering, National Technical University of Athens（雅典国家技术大学电气与计算机工程学院）
提出数据整理与确定性提示及LoRA微调方案，在3.5小时数据上实现低资源希腊语TTS，达到WER 10.7%和接近人类的说话人一致性。
2026-09-10 cs.CL cs.LG cs.SD
Can we reconstruct a dysarthric voice with the large speech model Parler TTS?
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
本研究探索使用大型语音模型 Parler TTS 重建构音障碍患者患病前的声音，通过微调模型生成语音，发现模型能生成但难以控制可理解性和保持说话人身份，并提出了改进方向。
2025-06-04 cs.CL cs.SD eess.AS
Intelli-Z: Toward Intelligible Zero-Shot TTS
Kakao Brain
针对零样本TTS可懂度研究不足的问题，提出Intelli-Z模型，通过教师模型学习说话人嵌入、循环一致性损失训练和选择性时间聚合，显著提升了未见说话人的语音MOS得分。
2024-01-25 cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
GSA-TTS : Toward Zero-Shot Speech Synthesis based on Gradual Style Adaptor
提出GSA-TTS，通过渐进式风格适配器从声学参考中编码局部与全局风格，实现零样本语音合成，在未见说话者上表现优异，并具备可解释性与可控性。
2025-05-26 cs.CL cs.SD eess.AS
eCat: An End-to-End Model for Multi-Speaker TTS & Many-to-Many Fine-Grained Prosody Transfer
Alexa AI, Amazon（亚马逊Alexa人工智能部门）
eCat是一种端到端多说话人TTS模型，通过两阶段学习词级韵律表示，实现细粒度韵律迁移，显著提升自然度并减少46.7%的差距。
2023-06-20 cs.SD eess.AS
Can we use Common Voice to train a Multi-Speaker TTS system?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文提出利用非侵入式 MOS 估计器 WV-MOS 自动筛选 Common Voice 中的高质量样本，训练多说话人 GlowTTS 模型，显著提升生成语音质量，为自动构建 TTS 数据集铺路。
2022-10-12 cs.SD eess.AS
Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement
ByteDance（字节跳动）
随着深度神经网络的普及，基于端到端编码器-解码器框架的语音合成任务在最近几天取得了显著的改进。越来越多的应用依赖于语音合成技术已经广泛地应用于我们的日常生活中。鲁棒的语音合成模型依赖于高质量的定制数据，而这些数据需要大量的采集工作。如何利用互联网上容易获取的低质量、低资源的语音数据进行个性化语音合成是一个值得研究的问题。本文提出的端到端语音合成模型将说话人嵌入和噪声表示作为条件输入，分别对说话人和噪声信息进行建模。该方法首先利用多说话人纯净语音数据和含噪增强语音数据对语音合成模型进行预训练，然后利用含噪低资源新说话人数据对预训练好的模型进行自适应训练，最后通过设置纯净语音条件，合成新说话人的纯净语音。实验结果表明，与直接用去噪后的新说话人数据对预训练好的多说话人语音合成模型进行微调的方法相比，该方法生成的语音具有更好的主观评价效果。
2020-10-22 cs.CL cs.LG cs.SD
CrossAccent-TTS: Cross-Lingual Accent-Intensity Controllable Text-to-Speech via Disentangled Speaker and Accent Representations
Media Analysis, Sony Research India（索尼印度研究机构媒体分析部）
提出CrossAccent-TTS框架，通过口音强度控制器（AIC）注入加权语言嵌入到口音子空间，实现跨语言口音控制与转换，同时保持说话人身份，在Indic Multilingual和L2-arctic数据集上优于基线。
2026-06-25 cs.AI cs.SD eess.AS
