Braille-to-Speech Generator: Audio Generation Based on Joint Fine-Tuning of CLIP and Fastspeech2
Xinjiang University of Finance and Economics（新疆财经大学）
针对视障人士阅读效率问题，提出基于中文语境的CLIP-KNN-Fastspeech2图像到语音框架，通过独立预训练与联合微调策略，在有限数据下提升语音合成质量与客观指标。
2024-07-19 cs.CL cs.SD eess.AS
Improving Prosody for Unseen Texts in Speech Synthesis by Utilizing Linguistic Information and Noisy Data
DiDi Chuxing（滴滴出行）
端到端语音合成的最新进展使得生成高度自然的语音成为可能。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将微调的基于BERT的前端与预训练的基于FastSpeech2的声学模型相结合，以改善韵律建模。预训练的BERT在多任务学习框架中的多音字消歧任务、联合中文分词（CWS）和词性（POS）标注任务以及韵律结构预测（PSP）任务上进行微调。FastSpeech 2是在大规模外部数据上进行预训练的，这些数据虽然嘈杂，但更容易获得。实验结果表明，无论是微调后的BERT模型还是预训练后的FastSpeech 2都能提高韵律，尤其是对于结构复杂的句子。
2021-11-15 cs.CL cs.SD eess.AS
SALTTS: Leveraging Self-Supervised Speech Representations for improved Text-to-Speech Synthesis
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
SALTTS利用自监督学习模型表征，通过重建SSL特征增强FastSpeech2，在客观和主观评估上均优于基线。
2023-08-02 cs.CL cs.SD eess.AS
Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2
本文提出一种因果语调中介框架，通过反事实训练分离情绪与语言内容，提升文本到语音的表达性和可控性。
2026-03-12 cs.AI cs.LG cs.SD
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）技术已经被广泛应用于在不同场景下合成自然、清晰的语音。在各种终端设备（如移动电话或嵌入式设备）中部署TTS需要极小的内存使用和推理延迟。虽然诸如FastSpeech的非自回归TTS模型已经实现了比自回归模型显著更快的推理速度，但是它们的模型大小和推理延迟对于在资源受限设备中的部署来说仍然很大。在本文中，我们提出了LightSpeech，它利用神经架构搜索（NAS）自动设计基于FastSpeech的更轻量级和更高效的模型。我们首先分析了当前FastSpeech模型的组成部分，并仔细设计了一个包含各种轻量级和潜在有效架构的新颖搜索空间。然后利用NAS在搜索空间内自动发现性能良好的体系结构。实验结果表明，在保证语音质量的前提下，该方法在CPU上获得了15倍的模型压缩比和6.5倍的推理加速比。音频演示在https://speechresearch.github.io/lightspeech上提供。
2021-02-08 cs.AI cs.LG cs.SD
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft（微软）
基于转换器的文本转语音（TTS）模型（例如，Transformer TTS~ \cite{li2019neural}，FastSpeech~ \cite{ren2019fastspeech}）已经显示出训练和推理效率优于基于RNN的模型（例如，Tacotron~ \cite{shen2018natural}），这是由于其在训练和/或推理中的并行计算。然而，并行计算增加了Transformer学习文本和语音对齐的难度，在多说话人、多噪声数据的情况下，这种难度进一步放大，阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech，该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐：1）在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2）在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3）解码器预网中的瓶颈，以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性：1）与基于朴素Transformer的TTS相比，MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2）以MutiSpeech模型为老师，我们获得了一个强多说话人FastSpeech模型，其质量几乎为零，同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
FastPitch: Parallel Text-to-speech with Pitch Prediction
NVIDIA Corporation（英伟达公司）
我们提出了FastPitch，一个基于FastSpeech的完全并行的文本转语音模型，条件是基频轮廓。该模型在推理过程中预测音高轮廓。通过改变这些预测，生成的语音可以更有表现力，更好地匹配话语的语义，最终更吸引听众。使用FastPitch均匀地增加或减少音高会产生类似于语音的自愿调制的语音。对频率轮廓的调节提高了合成语音的整体质量，使其与最先进的技术相媲美。它不会引入开销，FastPitch保留了有利的全并行Transformer架构，具有超过900倍的实时因子，用于典型话语的梅尔频谱图合成。
2021-02-16 cs.CL cs.LG cs.SD
TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis
Search Solutions Inc.（搜索解决方案公司）；LINE Corp.（LINE公司）；NAVER Corp.（NAVER公司）
在本文中，我们提出了一个文本到语音（TTS）驱动的数据增强方法，以提高非自回归（AR）TTS系统的质量。最近提出的非AR模型，如FastSpeech 2，已经成功地实现了快速语音合成系统。然而，它们的质量并不令人满意，特别是当训练数据量不足时。为了解决这个问题，我们提出了一个有效的数据增强方法，使用一个精心设计的AR TTS系统。在该方法中，大规模的合成语料库，包括文本波形对音素持续时间的AR TTS系统产生，然后用于训练目标非AR模型。实验结果表明，该方法显著提高了非AR语音合成系统的质量。特别是，我们将5小时的训练数据库增加到179小时的合成数据库。使用这些数据库，我们的TTS系统组成的FastSpeech 2声学模型与并行WaveGAN声码器实现了平均意见得分为3.74，这是40%，比传统的方法实现的。
2020-10-26 cs.SD eess.AS
Generative Modeling for Low Dimensional Speech Attributes with Neural Spline Flows
NVIDIA（英伟达）
尽管最近在文本到语音合成的生成建模方面取得了进展，但这些模型还没有像FastPitch和FastSpeech2这样的音高条件确定性模型那样具有相同的细粒度可调性。音高信息不仅是低维的，而且是不连续的，这使得在生成环境中建模特别困难。我们的工作探讨了几种技术来处理上述问题的规范化流模型的背景下。我们还发现这个问题非常适合神经样条流，这是一个高度表达的替代规范化流中更常见的仿射耦合机制。
2022-06-27 cs.LG cs.SD eess.AS
Multi-Speaker Multi-Style Speech Synthesis with Timbre and Style Disentanglement
JD Technology Group（京东科技集团）
在多说话人多风格的文语转换（TTS）场景中，说话人的音色和风格的分离对于风格转换非常重要。语音合成系统通过对语音的音色和风格的分离，可以合成出具有表达性的语音，并且可以根据训练语料中的语音风格来合成特定说话人的语音。然而，目前对音色和风格分解的研究还存在一些不足。目前的方法要么需要单个说话人的多风格录音，这是困难和昂贵的收集，或使用复杂的网络和复杂的训练方法，这是难以再现和控制的风格转移行为。为了提高音色和风格的分离效果，消除对单说话人多风格语料库的依赖，提出了一种简单有效的音色和风格分离方法。FastSpeech2网络被用作骨干网络，具有明确的持续时间，音高和能量轨迹来表示风格。每个说话者的数据被认为是一个单独的和孤立的风格，然后一个说话者嵌入和一个风格嵌入被添加到FastSpeech2网络来学习解纠缠的表示。利用语音电平、基音周期和能量归一化来改善解耦效果。实验结果表明，该模型可以合成任何风格的语音在训练过程中看到高风格相似性，同时保持非常高的说话人相似性。
2022-11-22 cs.SD eess.AS
Emotional Prosody Control for Speech Generation
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务公司研究院）
机器生成的语音的特点是其有限的或不自然的情感变化。当前的文本转语音系统生成具有平坦情感、从预定义集合中选择的情感、从训练数据中的韵律序列学习的平均变化或从源风格转移的语音。我们提出了一个文本转语音（TTS）系统，其中用户可以从一个连续的和有意义的情感空间（Aroup-Valence空间）中选择生成的语音的情感。所提出的TTS系统可以从文本中生成任何说话者风格的语音，并具有良好的情感控制。我们表明，该系统在训练过程中看不见的情感上工作，并且可以扩展到以前看不见的扬声器，给出他/她的语音样本。我们的工作将最先进的FastSpeech 2骨干的视野扩展到多扬声器设置，并为其提供令人垂涎的连续（和可解释的）情感控制，而不会在合成语音的质量上出现任何可观察到的退化。
2021-11-07 cs.LG cs.SD eess.AS
Learning Robust Latent Representations for Controllable Speech Synthesis
University of Toronto（多伦多大学）；Vanguard Center for Analytics and Insights（先锋分析与洞察中心）
最先进的变分自动编码器（VAE）用于学习解开的潜在表示，在发现语音数据中的音高、停顿持续时间和重音等特征方面取得了令人印象深刻的结果，从而实现了高度可控的文本到语音（TTS）合成。然而，这些基于LSTM的VAE在有限或嘈杂的数据集上训练时无法学习说话者属性的潜在聚类。此外，不同的潜变量开始编码相同的特征，限制了语音合成期间的控制和表达能力。为了解决这些问题，我们提出了RTI-VAE（重排序的Transformer与信息减少VAE），我们最大限度地减少不同的潜在变量之间的互信息，并设计了一个修改后的Transformer架构与层重新排序，以学习语音数据中的可控潜在表示。我们表明，RTI-VAE减少了至少30%的LSTM-VAE和至少7%的香草transformer-VAE的扬声器属性的集群重叠。
2021-05-10 cs.CL cs.LG cs.SD
Unsupervised Data Selection for TTS: Using Arabic Broadcast News as a Case Study
KANARI AI（卡纳里人工智能公司）；Carnegie Mellon University（卡内基梅隆大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；American University of Beirut（贝鲁特美国大学）
一些高资源的文本到语音（TTS）系统目前产生自然的，完善的类人语音。相比之下，低资源语言，包括阿拉伯语，由于缺乏资源，TTS系统非常有限。我们提出了一个完全无监督的方法来建立TTS，包括自动数据选择和预训练/微调策略的TTS训练，使用广播新闻作为案例研究。我们展示了如何仔细选择数据，但数量较少，可以提高TTS系统的效率，比在更大的数据集上训练的系统生成更自然的语音。我们采用为以下内容提出不同的方法：1）数据：我们应用了使用DNSMOS的自动注释、自动元音化和自动语音识别（ASR）来修复转录错误; 2）模型：我们在TTS模型中使用来自高资源语言的迁移学习，并通过一小时的广播录音对其进行微调，然后我们使用该模型来指导基于FastSpeech 2的Conformer模型持续时间。我们的客观评价显示3.9%的字符出错率（CER），而地面实况有1.3%的CER。至于主观评价，其中1是坏的，5是优秀的，我们的基于FastSpeech 2的Conformer模型实现了4.4的可理解性和4.2的自然度的平均意见得分（MOS），其中许多注释者识别出广播员的声音，这证明了我们提出的无监督方法的有效性。
2023-01-26 cs.CL cs.SD eess.AS
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.（卡考公司）；Kakao Enterprise Corp.（卡考企业公司）
我们提出了联合训练的持续时间通知Transformer（JDI-T），前馈Transformer与持续时间预测器联合训练，没有明确的对齐，以产生一个声学特征序列从输入文本。在这项工作中，受FastSpeech和Durian等持续时间通知网络最近成功的启发，我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说，我们在联合训练期间从自回归Transformer中实时提取音素持续时间，而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知，这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音（KSS）数据集相比，基线文本转语音（TTS）模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech
National Taiwan University（台湾大学）
Few-Shot多说话人多风格语音克隆任务是在给定少量参考样本的情况下，合成出语音和说话风格与参考说话人相似的语音。在这项工作中，我们研究了不同的扬声器表示，并提出了集成预训练和可学习的扬声器表示。在不同类型的嵌入中，通过语音转换预训练的嵌入实现了最好的性能。FastSpeech 2模型结合了预训练和可学习的说话人表示，在Few-Shot说话人上显示出强大的泛化能力，并在ICASSP 2021 M2VoC挑战赛的单次跟踪中获得第二名。
2021-05-01 cs.LG cs.SD eess.AS
Digital Einstein Experience: Fast Text-to-Speech for Conversational AI
Aflorithmic Labs Ltd.（Aflorithmic 实验室有限公司）
我们描述了我们为对话式AI用例创建和提供自定义语音的方法。更具体地说，我们为Digital Einstein角色提供语音，以实现数字对话体验中的人机交互。为了创建符合上下文的语音，我们首先设计一个语音字符，然后生成与所需语音属性相对应的录音。然后我们模拟声音。我们的解决方案利用Fastspeech 2从音素和并行WaveGAN生成波形进行对数缩放梅尔频谱图预测。该系统支持字符输入，并在输出端给出语音波形。我们使用自定义词典来选择单词，以确保其正确的发音。我们提出的云架构可以实现快速语音传输，从而可以实时与数字版本的阿尔伯特·爱因斯坦交谈。
2021-07-21 cs.AI cs.CL cs.LG
PortaSpeech: Portable and High-Quality Generative Text-to-Speech
Zhejiang University（浙江大学）
非自回归文本转语音（NAR-TTS）模型，如FastSpeech 2和Glow-TTS，可以从给定的文本中并行合成高质量的语音。在分析了两种生成式NAR-TTS模型（VAE和归一化流）之后，我们发现：VAE善于捕捉长范围语义特征（例如，韵律），但遭受模糊和不自然的结果;并且归一化流擅长于重构频率分箱细节，但当模型参数的数量有限时表现不佳。受这些观察的启发，使用轻量级架构生成具有自然细节和丰富韵律的多样化语音，我们提出了PortaSpeech，一种便携式和高质量的生成文本转语音模型。具体来说，1）为了准确地对韵律和梅尔频谱图细节进行建模，我们采用了一个轻量级的VAE，它具有增强的先验知识，然后是一个基于流的后网络，具有强条件输入作为主要架构。2)为了进一步压缩模型大小和内存占用，我们在后网络中的仿射耦合层中引入了分组参数共享机制。3)为了提高合成语音的表达能力，减少文本和语音之间对精确细粒度对齐的依赖，我们提出了一种混合对齐的语言编码器，它结合了硬词间对齐和软词内对齐，显式地提取词级语义信息。实验结果表明，PortaSpeech优于其他TTS模型在语音质量和韵律建模方面的主观和客观评价指标，并显示只有轻微的性能下降时，减少模型参数为6.7M（约4倍模型大小和3倍运行时内存压缩比相比FastSpeech 2）。我们广泛的消融研究证明PortaSpeech中的每种设计都是有效的。
2022-02-13 cs.SD eess.AS
PromptTTS: Controllable Text-to-Speech with Text Descriptions
Microsoft（微软）
使用文本描述作为提示来指导文本或图像的生成（例如，GPT-3或DALLE-2）最近引起了广泛的关注。除了文本和图像生成，在这项工作中，我们探讨了利用文本描述来指导语音合成的可能性。因此，我们开发了一个文本转语音（TTS）系统（简称为TTS），需要一个提示与风格和内容的描述作为输入，合成相应的语音。具体地说，语音合成TTS包括一个风格编码器和一个内容编码器，用于从提示中提取相应的表示，以及一个语音解码器，用于根据提取的风格和内容表示合成语音。与要求用户具有声学知识以理解诸如韵律和音高之类的风格因素的可控TTS中的先前工作相比，可控TTS更用户友好，因为文本描述是表达语音风格的更自然的方式（例如，“一位女士慢慢地对她的朋友耳语”）。鉴于没有带有提示的TTS数据集，为了对TTS任务进行基准测试，我们构建并发布了一个包含样式和内容信息以及相应语音的提示的数据集。实验结果表明，该方法能够生成风格控制精确、语音质量高的语音.音频样本和我们的数据集是公开的。
2022-11-22 cs.CL cs.LG cs.SD
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple（苹果公司）
现代神经文本转语音（TTS）合成可以生成与自然语音难以区分的语音。然而，生成的话语的韵律往往代表的平均韵律风格的数据库，而不是有广泛的韵律变化。此外，生成的韵律仅由输入文本定义，这不允许同一句子具有不同的风格。在这项工作中，我们训练一个序列到序列的神经网络的声学语音功能的条件下，学习一个潜在的韵律空间直观和有意义的尺寸。实验表明，一个模型的条件下，在韵律方面的音高，音高范围，电话持续时间，能量和频谱倾斜可以有效地控制每个韵律维度，并产生各种各样的说话风格，同时保持类似的平均意见得分（4.23），我们的Tacotron基线（4.26）。
2020-09-14 cs.CL cs.LG cs.SD
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Hierarchical Generative Modeling for Controllable Speech Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）
本文提出了一种神经序列到序列的文语转换（TTS）模型，该模型可以控制生成的语音中很少在训练数据中注释的潜在属性，如说话风格、口音、背景噪声和录音条件。该模型被制定为一个条件生成模型的基础上的变分自编码器（VAE）的框架，具有两个层次的潜变量。第一级是分类变量，表示属性组（例如干净/嘈杂）并提供可解释性。第二个层次，条件是第一个，是一个多变量高斯变量，其特征在于特定的属性配置（如噪音水平，说话速率），并使这些属性的解开细粒度控制。这相当于对潜在分布使用高斯混合模型（GMM）。广泛的评价表明其控制上述属性的能力。特别是，我们训练一个高质量的可控TTS模型的真实发现的数据，这是能够推断扬声器和风格属性从嘈杂的话语，并用它来合成干净的语音可控的说话风格。
2018-12-27 cs.CL cs.LG cs.SD
End-to-End Text-to-Speech using Latent Duration based on VQ-VAE
Tokyo Institute of Technology（东京工业大学）
在文本转语音合成（TTS）中，显式时长建模是实现鲁棒和高效对齐的关键。我们提出了一个新的TTS框架，使用显式的持续时间建模，将持续时间作为一个离散的潜在变量TTS，并使联合优化的整个模块从头开始。我们制定了我们的方法的基础上，条件VQ-VAE处理离散时间在变分自动编码器，并提供了理论解释，以证明我们的方法。在我们的框架中，一个连接主义的时间分类（CTC）为基础的力对齐器作为近似后验，和文本持续时间工程作为前变自动编码器。我们评估了我们提出的方法与听力测试，并将其与其他TTS方法的基础上软注意或显式持续时间建模。结果表明，我们的系统在基于软注意力的方法（Transformer-TTS，Tacotron 2）和基于显式持续时间建模的方法（Fastspeech）之间进行了评分。
2020-10-20 cs.CL cs.SD eess.AS
Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)（伦敦大学学院（UCL））；Google Inc.（谷歌公司）
我们提出了一种新的生成模型，结合了最先进的神经文本到语音（TTS）与半监督概率潜变量模型。通过对一些潜在变量提供部分监督，我们能够迫使它们具有一致和可解释的目的，这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性，例如影响和说话速度，只需1%（30分钟）的监督。即使在如此低的监督水平下，我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
Unsupervised word-level prosody tagging for controllable speech synthesis
Shanghai Jiao Tong University（上海交通大学）
虽然在最近的研究中已经研究了神经文本到语音（TTS）中的词级韵律建模以用于各种语音合成，但是在没有特定参考的情况下手动控制语音合成仍然具有挑战性。这很大程度上是由于缺乏单词级的韵律标签。在这项工作中，我们提出了一种新的方法，无监督的词级韵律标记两个阶段，其中我们首先分组的单词到不同的类型与决策树根据其语音内容，然后使用GMM聚类的韵律在每种类型的单词分别。这种设计是基于这样的假设，即不同类型的词，如长或短的话，韵律应该标记有不同的标签集。此外，一个TTS系统与派生的词级韵律标签的可控语音合成训练。在LJSpeech上的实验表明，使用词级韵律标签训练的TTS模型不仅比典型的FastSpeech2模型获得了更好的自然度，而且获得了操纵词级韵律的能力。
2022-02-16 cs.AI cs.LG cs.SD
EfficientSpeech: An On-Device Text to Speech Model
提出端侧高效神经TTS模型EfficientSpeech，采用浅层非自回归金字塔结构transformer，参数量和计算量极低，在ARM CPU上实现实时语音合成且质量下降轻微。
2023-05-23 cs.CL cs.SD eess.AS
ECAPA-TDNN for Multi-speaker Text-to-speech Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Language and Culture University（北京语言大学）；Unisound AI Technology Co., Ltd（云知声人工智能科技股份有限公司）
近年来，基于神经网络的多说话人文本到语音合成（TTS）方法取得了重大进展。然而，这些方法中使用的现有说话人编码器模型仍然不能捕获足够的说话人信息。在本文中，我们专注于精确的说话人编码器建模，并提出了一种端到端的方法，可以生成高质量的语音和更好的相似性，为可见和不可见的扬声器。所提出的架构由三个单独训练的组件组成：一个扬声器编码器的基础上，最先进的ECAPA-TDNN模型，这是来自扬声器验证任务，FastSpeech 2为基础的合成器，和HiFi-GAN声码器。不同的说话人编码模型之间的比较表明，我们提出的方法可以实现更好的自然度和相似度。为了有效地评估我们的合成语音，我们首次采用基于深度学习的自动MOS评估方法来评估我们的结果，这些方法在自动语音质量评估中显示出巨大的潜力。
2022-03-26 cs.LG cs.SD eess.AS
Towards High-Quality Neural TTS for Low-Resource Languages by Learning Compact Speech Representations
Xiaohongshu（小红书）
本文旨在通过使用紧凑的语音表示减少训练数据的要求，以提高低资源的TTS。训练多级多码本（MSMC）VQ-GAN以学习表示MSMCR，并将其解码为波形。随后，我们训练多阶段预测器来预测文本中的MSMCR，用于TTS合成。此外，我们通过利用更多的音频来优化训练策略，以便更好地学习低资源语言的MSMCR。该方法利用说话人相似度度量从其他语言中选取音频样本来扩充训练集，并应用迁移学习来提高训练质量。在MOS测试中，所提出的系统在标准和低资源场景中显着优于FastSpeech和VITS，显示出较低的数据要求。所提出的训练策略有效地增强了波形重构的MSMCR。它进一步提高了TTS的性能，在偏好测试中赢得了77%的选票，用于只有15分钟配对数据的低资源TTS。
2022-10-27 cs.CL cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS；KAIST（韩国科学技术院）
提出ZET-Speech零样本自适应情感可控TTS模型，通过在扩散模型上应用域对抗学习和引导方法，仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group（阿里巴巴集团）
最近的国家的最先进的神经文本到语音（TTS）合成模型，显着提高了可懂度和自然度的生成语音的文本。然而，建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是，它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性，在两种语言。在本文中，我们探讨了使用普通话语音录音从普通话扬声器，英语语音录音从另一个英语扬声器，以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音，它们表现出良好的自然度和说话人相似度。然后，使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上，本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明，这三个系统都可以产生（近）母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
LY Corporation（LY公司）
提出一种基于描述的跨语言可控TTS方法，通过结合目标语言TTS模型与另一语言的描述控制模型，并利用SSL共享解耦的音色与风格表示，在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
2024-09-26 cs.CL cs.LG cs.SD
One TTS Alignment To Rule Them All
NVIDIA（英伟达）
语音到文本对齐是神经文本到语音（TTS）模型的关键组成部分。自回归TTS模型通常使用注意力机制来在线学习这些对齐。然而，这些对齐往往是脆弱的，往往无法推广到长的话语和域外文本，导致丢失或重复的单词。大多数非自回归端到端TTS模型依赖于从外部源提取的持续时间。在本文中，我们利用在RAD-TTS中提出的对齐机制作为一个通用的对齐学习框架，很容易适用于各种神经TTS模型。该框架结合了前向和算法，维特比算法，和一个简单而有效的静态先验。在我们的实验中，对齐学习框架改进了所有测试的TTS架构，包括自回归（Flowtron，Tacotron 2）和非自回归（FastPitch，FastSpeech 2，RAD-TTS）。具体而言，它提高了现有基于注意力机制的对齐收敛速度，简化了训练管道，并使模型对长话语的错误更具鲁棒性。最重要的是，该框架提高了感知的语音合成质量，如由人类评估者所判断的。
2021-08-23 cs.CL cs.LG cs.SD
An Empirical Study on Learning Latent Representations for Emotional Speech Synthesis
Aimesoft JSC
本文针对VLSP 2022情感语音合成任务，通过将说话人嵌入和韵律瓶颈集成到FastSpeech 2中，实现了单说话人情感语音生成及跨说话人风格迁移。
2026-06-16 cs.AI cs.CL cs.SD
Text is All You Need: Personalizing ASR Models using Controllable Speech Synthesis
Apple（苹果公司）
由于个性化数据的稀缺性，使通用语音识别模型适应特定个体是一个具有挑战性的问题。最近的工作已经提出使用个性化的文本到语音合成来提高训练数据的量。在这里，我们提出了关于这种策略的两个基本问题：合成数据何时对个性化有效，以及为什么在这些情况下有效？为了解决第一个问题，我们采用了一个国家的最先进的自动语音识别（ASR）模型的目标扬声器从四个基准数据集代表不同的扬声器类型。我们表明，合成数据的ASR个性化在所有情况下都是有效的，但特别是当（i）目标说话人在全局数据中代表性不足，以及（ii）全局模型的容量有限时。为了解决第二个问题，为什么个性化的合成数据是有效的，我们使用可控的语音合成来生成具有不同风格和内容的语音。令人惊讶的是，我们发现，文本内容的合成数据，而不是风格，是重要的发言人适应。这些结果使我们提出了一个数据选择策略的基础上语音内容的ASR个性化。
2023-03-27 cs.LG cs.SD eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise（Kakao企业）；Seoul National University（首尔国立大学）
最近，已经提出了诸如FastSpeech和ParaNet的文本转语音（TTS）模型来并行地从文本生成梅尔频谱图。尽管有这样的优点，但在没有自回归TTS模型作为其外部对准器的指导下，并行TTS模型不能被训练。在这项工作中，我们提出了辉光TTS，一个基于流的生成模型并行TTS，不需要任何外部对准。通过结合流和动态规划的属性，该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明，强制执行硬单调对齐，使强大的TTS，它概括为长的话语，并采用生成流，使快速，多样，可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型，Tacotron 2，在合成具有可比的语音质量。我们进一步表明，我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
EdiTTS: Score-based Editing for Controllable Text-to-Speech
Yale University（耶鲁大学）；Supertone, Inc.（Supertone公司）；Neosapience, Inc.（Neosapience公司）
我们提出了EdiTTS，一个现成的语音编辑方法的基础上，基于分数的生成模型的文本到语音合成。EdiTTS允许在内容和音高方面对音频进行有针对性的精细编辑，而无需对基于分数的模型主干进行任何额外的训练、特定于任务的优化或架构修改。具体而言，我们在高斯先验空间中应用粗糙但故意的扰动，以从扩散模型中诱导出所需的行为，同时应用掩模和软化内核，以确保迭代编辑仅应用于目标区域。通过听力测试和语音到文本回转录，我们表明，EdiTTS优于现有的基线，并产生强大的样本，满足用户强加的要求。
2022-07-09 cs.LG cs.SD eess.AS
Aligner-Guided Training Paradigm: Advancing Text-to-Speech Models with Aligner Guided Duration
UNSW Sydney（新南威尔士大学悉尼分校）
针对现有TTS模型依赖外部工具生成时长的局限，提出对齐器引导训练范式，通过预训练对齐器保障时长标注精度，实验显示词错误率最高降16%，音素与声调对齐效果显著提升。
2024-12-11 cs.AI cs.CL cs.LG
Energy-Based Models For Speech Synthesis
University of Sheffield（谢菲尔德大学）
本文提出将能量模型（EBMs）引入非自回归语音合成，利用噪声对比估计和Langevin MCMC采样，在LJSpeech数据集上性能超越Tacotron 2。
2026-10-15 cs.LG cs.SD eess.AS
Towards Parametric Speech Synthesis Using Gaussian-Markov Model of Spectral Envelope and Wavelet-Based Decomposition of F0
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
基于神经网络的文语转换（Text-to-Speech）技术显著提高了合成语音的质量。突出的方法（例如，Tacotron 2、FastSpeech、FastPitch）通常从文本生成Mel频谱图，然后使用声码器（例如，WaveNet、WaveGlow、HiFiGAN）。与传统的参数方法（例如，STRAIGHT和WORLD），基于神经声码器的端到端模型存在推理速度慢的问题，并且合成的语音通常不鲁棒且缺乏可控性。在这项工作中，我们提出了一种新的更新声码器，这是一个简单的信号模型，训练和容易产生的波形。我们使用高斯马尔可夫模型对强大的学习谱包络和基于小波的统计信号处理的特点和分解F0功能。它能保持语音的精细谱包络，实现自然语音的高度可控性。实验结果表明，我们提出的声码器实现了更好的自然度重建语音比传统的直声码器，略优于WaveNet，并略差于WaveRNN。
2022-08-15 cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA（英伟达）
在这项工作中，我们提出了一种使用经过自监督学习训练的语音表示的零射击（zero-shot）语音转换方法。首先，我们开发了一个多任务模型，将语音话语分解为语言内容，说话人特征和说话风格等特征。为了理清内容和扬声器表示，我们提出了一种基于Siamese网络的训练策略，该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来，我们开发了一个合成模型与音高和持续时间预测，可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成，以执行zero-shot任何到任何语音转换，实现最先进的结果的度量评估扬声器的相似性，可理解性和自然性。对于目标说话者，仅使用10秒的数据，我们的框架就可以执行语音交换，并实现了5.5%的说话者验证EER，对于看不见的说话者，EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Cross-Speaker Emotion Transfer for Low-Resource Text-to-Speech Using Non-Parallel Voice Conversion with Pitch-Shift Data Augmentation
LINE Corp.（LINE公司）；NAVER Corp.（NAVER公司）
通过语音转换（VC）的数据增强已成功地应用于低资源表达的文本转语音（TTS）时，只有中性数据的目标说话人。虽然VC的质量对于这种方法至关重要，但学习稳定的VC模型是具有挑战性的，因为在低资源场景中数据量有限，并且高度表达的语音具有很大的声学变化。为了解决这个问题，我们提出了一种新的数据增强方法，结合音高偏移和VC技术。由于音高偏移数据增强能够覆盖各种音高动态，因此即使只有1,000个目标说话者的中性数据可用，它也可以极大地稳定VC和TTS模型的训练。主观测试结果表明，基于FastSpeech 2的情感语音合成系统与传统方法相比，自然度和情感相似度都有明显提高。
2022-07-05 cs.LG cs.SD eess.AS
Towards Controllable Speech Synthesis in the Era of Large Language Models: A Systematic Survey
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Surrey（萨里大学）
该系统性综述首次全面回顾可控TTS方法，从传统技术到基于自然语言提示的新兴方法，分类模型架构、控制策略等，总结挑战与数据集，为研究人员提供分类法并指明未来方向。
2025-08-25 cs.AI cs.CL cs.LG
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester（罗切斯特大学）
本研究针对当前表现力语音合成对发音特征关注不足的问题，提出GTR三维发音框架，录制GTR-Voice数据集，验证了框架有效性及TTS模型的精准可控性，并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
vTTS: visual-text to speech
The University of Tokyo（东京大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出了视觉文本到语音（vTTS），一种从视觉文本合成语音的方法（即，文本作为图像）。传统的TTS将音素或字符转换为离散的符号，并从它们合成语音波形，从而失去了字符本质上具有的视觉特征。因此，我们的方法不是从离散符号而是从视觉文本合成语音。建议vTTS提取视觉特征与卷积神经网络，然后生成声学特征与非自回归模型的启发FastSpeech2。实验结果表明：1）vTTS能够生成与传统TTS相当或更好的自然度的语音，2）它可以将视觉文本中的强调和情感属性转换为语音，而无需额外的标签和架构，3）它可以从看不见的和罕见的字符合成比传统TTS更自然和可理解的语音。
2022-03-28 cs.SD
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
Multi-modal Adversarial Training for Zero-Shot Voice Cloning
Zoom Video Communications（Zoom视频通信公司）；Cartesia AI
针对零样本语音克隆中TTS模型预测趋于平均化的问题，提出基于Transformer编码器-解码器的GAN判别器，结合FastSpeech2声学模型与Libriheavy数据集进行多模态对抗训练，显著提升了语音质量与说话人相似度。
2024-08-28 cs.LG cs.SD eess.AS
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
提出3阶段多模态可控语音合成框架，通过监督学习与知识蒸馏优化人脸编码器，并在文本-人脸与文本-语音数据上训练文本编码器，有效提升了生成语音的多样性与质量，优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Controllable Neural Prosody Synthesis
Adobe Research（Adobe 研究院）
语音合成在神经声码器和神经韵律发生器的出现的推动下，最近在保真度方面有了显著的改进。然而，这些系统缺乏对韵律的直观用户控制，使得它们不能纠正韵律错误（例如，错位的重点和上下文不适当的情绪）或生成具有不同的说话者兴奋水平和情绪的韵律。我们解决这些限制与用户可控，上下文感知神经韵律发生器。给定一个真实的或合成的语音记录，我们的模型允许用户输入韵律约束的某些时间帧，并生成剩余的时间帧从输入文本和上下文韵律。我们还提出了一个音高移位神经声码器来修改输入语音，以匹配合成的韵律。通过客观和主观的评价，我们表明，我们可以成功地将用户控制到我们的韵律生成模型，而不牺牲合成语音的整体自然。
2020-08-11 cs.LG cs.SD eess.AS
PITS: Variational Pitch Inference without Fundamental Frequency for End-to-End Pitch-controllable TTS
maum.ai Inc.（maum.ai公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University (SNU)（首尔大学）
本文提出端到端音高可控 TTS 模型 PITS，通过变分音高推断及 Yingram 编解码器、音高移位对抗训练，避免直接建模基频，实现高质量且高可控的语音合成。
2023-06-06 cs.LG cs.SD eess.AS
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对零样本文本转语音系统处理含背景语音提示的不足，提出结合双说话人编码器的可控掩码语音预测策略，实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
Towards Developing State-of-the-Art TTS Synthesisers for 13 Indian Languages with Signal Processing aided Alignments
Indian Institute of Technology Madras（印度马德拉斯理工学院）
针对端到端TTS对数据需求高、低资源场景下合成质量受限的问题，提出结合信号处理线索与强制对齐的音素边界生成方法，开发出13种印度语言的高质量TTS系统，性能优于现有最佳系统，低资源场景优势更显著。
2024-09-18 cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Leveraging the Interplay Between Syntactic and Acoustic Cues for Optimizing Korean TTS Pause Formation
Graduate School of Artificial Intelligence, POSTECH（浦项工科大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项工科大学计算机科学与工程系）；aiXplain Inc.（aiXplain公司）
针对韩语 TPS 停顿错误问题，提出融合句法与声学线索的建模框架，在短音频训练下仍可稳定处理长而复杂的 OOD 句子。
2024-04-03 cs.CL cs.SD eess.AS
