Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker（ReadSpeaker公司）
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而，这些模型通常需要大量的训练数据，这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求，但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此，在本文中，我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模，并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度，表明多语言模型可以产生与单语多说话者模型相当的自然度，并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
ServiceNow（ServiceNow公司）
该研究构建了首个TTS维度级元评估基准，测试发现MOS预测器聚焦声学信号质量，Audio-LLM评估器检测能力具选择性且依赖提示，两类方法均难捕捉语言结构化语音错误，相关资源已公开。
2026-10-23 cs.AI cs.CL cs.SD
Frame-Wise Breath Detection with Self-Training: An Exploration of Enhancing Breath Naturalness in Text-to-Speech
CyberAgent, Inc.（CyberAgent公司）；The University of Tokyo（东京大学）
针对 TTS 中呼吸位置人工标注成本高的问题，提出结合规则初标与伪标签自训练的 Conformer 逐帧呼吸检测模型，并在多说话人 TTS 中验证其可提升呼吸合成自然度。
2024-06-14 cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时，文本到语音（TTS）的最新进展已经提高了接近人类能力的质量和自然度。但是，要实现类似人类的交流，仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题，特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法，它利用语言信息，利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明，该方法提高了韵律和自然的复杂话语，以及在长形式阅读（LFR）。
2020-11-18 cs.CL cs.SD eess.AS
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个统一的系统来实现单次语音转换（VC）的音高，节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性，导致转换语音的自然度下降。此外，缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题，我们设计了一个级联的模块化系统，利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示，韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明，我们的系统优于以前的方法在自然度，可懂度，说话人可转移性，韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
Location-Relative Attention Mechanisms For Robust Long-Form Speech Synthesis
Google Research（谷歌研究院）
尽管能够为域内文本产生人类水平的语音，但基于注意力的端到端文本到语音（TTS）系统遭受文本对齐失败，其对于域外文本的频率增加。我们表明，这些故障可以使用简单的位置相关的注意力机制，消除基于内容的查询/关键字比较。我们比较了两类注意力机制：基于位置相关GMM的机制和基于附加能量的机制。我们建议对基于GMM的注意力进行简单的修改，使其能够在训练过程中快速一致地对齐，并将一种新的位置相关注意力机制引入到基于加性能量的家族中，称为动态卷积注意力（DCA）。我们比较了各种机制在训练过程中的对齐速度和一致性，自然性和推广到长话语的能力，并得出结论，GMM注意力和DCA可以推广到很长的话语，同时保留自然性较短，域内话语。
2020-04-22 cs.CL cs.LG cs.SD
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University（哥伦比亚大学）
大规模预训练的语言模型已被证明有助于提高文本到语音（TTS）模型的自然度，使它们能够产生更自然的韵律模式。然而，这些模型通常是单词级或超音素级的，并且与音素联合训练，使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中，我们提出了一个音素级的BERT（PL-BERT）的借口任务，预测相应的字随着定期掩蔽音素预测。主观评价表明，我们的音素级BERT编码器已显着提高了平均意见分数（MOS）的额定自然度的合成语音相比，国家的最先进的（SOTA）的StyleTTS基线外的分布（OOD）的文本。
2023-01-20 cs.CL cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology（代尔夫特理工大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的方法，病理语音合成。而不是使用健康的语音作为源，我们定制一个现有的病理语音样本，以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题，因为在我们的方法中，语音转换（VC）模型不需要针对语音退化进行优化，而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念，我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明，合理的自然度高清晰度构音障碍的扬声器，虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比，地面真理。对于低清晰度和高清晰度的说话人，说话人特性转换是成功的，但对于中清晰度的说话人，转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google（谷歌）
虽然神经端到端文本到语音模型可以合成高度自然的语音，但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron}，在训练和推理过程中都是高度并行的，允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度，我们使用轻量级卷积，它可以有效地捕获局部上下文，并引入迭代细化启发的迭代频谱图损失。实验结果表明，并行Tacotron匹配一个强大的自回归基线的主观评价，显着减少推理时间。
2020-10-22 cs.SD eess.AS
Improving Cross-lingual Speech Synthesis with Triplet Training Scheme
Ximalaya Inc.（喜马拉雅公司）
跨语言文本到语音（TTS）的最新进展使单语者合成外语语音成为可能。然而，生成的跨语言语音的发音与本族语者的发音在自然度和可懂度方面仍有很大的差距。在本文中，提出了一种三元组训练方案，以提高跨语言的发音，允许以前看不见的内容和扬声器组合，以在训练过程中看到。所提出的方法引入了一个额外的微调阶段，在训练过程中的三重损失，这有效地绘制了合成的外国语音的发音更接近那些从本地锚扬声器，同时保留非本地扬声器的音色。实验进行了最先进的基线跨语言的TTS系统及其增强的变种的基础上。所有的客观和主观评价表明，该方法带来了显着的改善，在可懂度和自然度的合成跨语言的语音。
2022-02-22 cs.CL cs.SD eess.AS
Building Multi lingual TTS using Cross Lingual Voice Conversion
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）
在本文中，我们提出了一种新的跨语言的语音转换（VC）的方法，它可以生成所有的语音参数（MCEP，LF0，BAP）从一个DNN模型使用PPG（语音后验）从输入的语音使用几个ASR声学模型提取。使用建议的VC方法，我们尝试了三种不同的方法来建立一个多语种的TTS系统，而无需记录多语种的语音语料库。进行了听力测试，以评估语音质量（自然度）和转换后的语音和目标语音之间的语音相似度。结果表明，方法1实现了最高水平的自然性（3.28 MOS的5点量表）和相似性（2.77 MOS）。
2020-12-28 cs.SD eess.AS
Neural Voice Cloning with a Few Samples
Baidu Research（百度研究院）
语音克隆是个性化语音界面的一个非常需要的功能。基于神经网络的语音合成已被证明可以为大量说话者生成高质量的语音。在本文中，我们介绍了一个神经语音克隆系统，需要一些音频样本作为输入。我们研究了两种方法：说话人自适应和说话人编码。说话人自适应是基于微调的多说话人生成模型与一些克隆样本。说话人编码是基于训练一个单独的模型来直接从克隆音频中推断出一个新的说话人嵌入，并与多说话人生成模型一起使用。在语音的自然度和与原说话人的相似度方面，这两种方法都可以达到很好的性能，即使克隆音频很少。虽然说话人自适应可以实现更好的自然度和相似性，但说话人编码方法的克隆时间或所需内存显着减少，使其有利于低资源部署。
2018-10-12 cs.CL cs.LG cs.SD
Voice Conversion for Whispered Speech Synthesis
我们提出了一种合成耳语的方法，通过应用手工制作的信号处理配方和语音转换（VC）技术将正常发声的语音转换为耳语。我们研究使用高斯混合模型（GMM）和深度神经网络（DNN）来建模正常语音和耳语音的声学特征之间的映射。我们评估的自然度和扬声器的相似性转换耳语的内部语料库和公开可用的wTIMIT语料库。我们表明，应用VC技术是显着优于使用基于规则的信号处理方法，它实现的结果是无法区分的自然耳语录音复制合成。我们研究了DNN模型在使用来自多个说话者的数据进行训练时，对看不见的说话者进行概括的能力。我们表明，排除目标扬声器的训练集有很少或没有影响的感知自然度和扬声器的相似性转换的耳语。建议的DNN方法用于Amazon Alexa新发布的Whisper Mode。
2020-01-17 cs.CL cs.SD eess.AS
Towards Multi-Scale Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往的表达性语音合成研究主要集中在从当前句子或语境中嵌入单尺度风格的建模上，而忽略了人类语音中说话风格的多尺度特性。为了提高合成语音的自然度和表现力，本文提出了一种多尺度说话风格建模方法来捕捉和预测多尺度说话风格。提出了一种多尺度提取器，用于从地面真实语音中提取三个不同层次的说话风格嵌入，并明确指导基于分层上下文信息的多尺度风格预测器的训练。在普通话有声读物数据集上的客观和主观评价表明，我们提出的方法可以显着提高合成语音的自然度和表现力。
2022-07-05 cs.SD eess.AS
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku（哥伦比亚大学、RoleGaku）；Columbia University（哥伦比亚大学）
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现，发现SBV2JE在自然度和可懂度方面表现更优，适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
Diff-ETS: Learning a Diffusion Probabilistic Model for Electromyography-to-Speech Conversion
University of Bremen（不来梅大学）；Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA USI-SUPSI)（人工智能研究所（IDSIA USI-SUPSI））；SUPSI（瑞士意大利语区应用科学大学）；Institute for Digital Technologies for Personalized Healthcare（个性化医疗数字技术研究所）
针对肌电转语音（ETS）合成语音自然度低的问题，提出基于分数扩散概率模型的Diff-ETS，通过优化EMG编码器预测的声学特征提升自然度，实验验证其效果显著优于基线模型。
2024-05-11 cs.SD eess.AS
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research（谷歌研究院）
使神经文本到语音（TTS）模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数（如果不是全部）参数。然而，服务数百个微调的神经TTS模型是昂贵的，因为它们中的每一个都需要显著的占地面积和单独的计算资源（例如，加速器、存储器）。为了将说话人自适应神经TTS语音扩展到数百个说话人，同时保持自然度和说话人相似性，本文提出了一种参数有效的Few-Shot说话人自适应，其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明，与完全微调方法相比，所提方法能够获得有竞争力的自然度和说话人相似度，而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics（伊诺提克斯公司）；Samsung Electronics（三星电子）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部门）
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入，并在SOMOS数据集上验证其有效性，结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group（阿里巴巴集团）
最近的国家的最先进的神经文本到语音（TTS）合成模型，显着提高了可懂度和自然度的生成语音的文本。然而，建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是，它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性，在两种语言。在本文中，我们探讨了使用普通话语音录音从普通话扬声器，英语语音录音从另一个英语扬声器，以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音，它们表现出良好的自然度和说话人相似度。然后，使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上，本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明，这三个系统都可以产生（近）母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
Multi-Speaker End-to-End Speech Synthesis
University of California, Irvine（加州大学欧文分校）；Baidu Research（百度研究院）
在这项工作中，我们扩展了ClariNet（Ping等人，2019），完全端到端的语音合成模型（即，文本到波形），以从多个说话者生成高保真语音。为了模拟不同声音的独特特征，低维可训练的说话人嵌入在ClariNet的每个组件中共享，并与模型的其余部分一起训练。我们证明了多扬声器ClariNet在自然度方面优于最先进的系统，因为整个模型以端到端的方式进行了联合优化。
2019-07-09 cs.CL cs.LG cs.SD
RedPen: Region- and Reason-Annotated Dataset of Unnatural Speech
KAIST（韩国科学技术院）
即使在语音合成模型的最新进展中，对这样的模型的评估也纯粹基于作为单个自然度得分（诸如平均意见得分（MOS））的人类判断。基于分数的度量标准并没有提供任何进一步的信息，说明哪些部分是不自然的，或者为什么人类法官认为它们是不自然的。我们提出了一个新的语音数据集，RedPen，与人类的注释不自然的语音区域及其相应的原因。RedPen由180个合成的语音组成，其中包含由人群工作人员注释的非自然区域;然后根据错误类型（如声音颤抖和背景噪音）对这些区域进行推理和分类。我们发现，我们的数据集显示了一个更好的解释不自然的语音区域比模型驱动的不自然预测。我们的分析还表明，每个模型包括不同类型的错误类型。综上所述，我们的数据集成功地显示了各种错误区域和类型位于单一自然度分数下的可能性。我们相信，我们的数据集将有助于未来评估和开发更可解释的语音模型。我们的数据集将在接受后公开提供。
2022-10-26 cs.AI cs.CL cs.SD
Zero-Shot Long-Form Voice Cloning with Dynamic Convolution Attention
Azoft Inc.（阿佐夫特公司）
随着语音克隆技术的发展，目标说话人的语音合成性能已接近人类水平。然而，自回归语音克隆系统仍然遭受文本对齐失败，导致无法合成长句。在这项工作中，我们提出了一种基于注意力的文本到语音系统的变体，可以从几秒钟的参考语音中再现目标语音，并推广到很长的话语。所提出的系统是基于三个独立训练的组件：扬声器编码器，合成器和通用声码器。对长话语的概括是使用称为动态卷积注意力的基于能量的注意力机制，结合针对基于Tacotron 2的合成器提出的一组修改来实现的。此外，有效的zero-shot扬声器自适应是通过调节合成器和声码器的扬声器编码器，已经预先训练了一个大的语料库的各种数据。我们比较了语音克隆系统的语音自然度，说话人相似性，对齐一致性和合成长话语的能力方面的几个实现，并得出结论，该模型可以产生可理解的合成语音非常长的话语，同时保留了很高程度的自然性和相似性的短文本。
2022-01-26 cs.CL cs.LG cs.SD
ClearMask: Noise-Free and Naturalness-Preserving Protection Against Voice Deepfake Attacks
Michigan State University（密歇根州立大学）；University of Hawaii at Mānoa（夏威夷大学玛诺亚分校）；University of South Florida（佛罗里达州立大学）
针对现有语音深度伪造防御注入噪声、需先验知识且实时防护不足的问题，提出无噪声的ClearMask机制，通过选择性滤波梅尔频谱图、音频风格迁移及优化混响实现防护，还开发LiveMask保护实时音频，对未知模型和黑盒服务有效且能抵御自适应攻击。
2025-08-25 cs.CR cs.SD
Non-Autoregressive TTS with Explicit Duration Modelling for Low-Resource Highly Expressive Speech
Amazon Text-to-Speech Research（亚马逊语音合成研究）
虽然最近的神经文本到语音（TTS）方法产生高质量的语音，但它们通常需要来自目标说话者的大量录音。在以前的工作中，提出了一种3步方法来生成高质量的TTS，同时大大减少了训练所需的数据量。然而，我们已经观察到使用这种方法时，高度表达的声音所能达到的自然度水平的天花板效应。在本文中，我们提出了一种方法，用于建立高度表达TTS的声音，从目标扬声器的语音数据只有15分钟。与目前最先进的方法相比，我们提出的改进方案在语音自然度和说话人相似度方面分别缩小了23.3%和16.3%的差距。此外，我们匹配的自然度和扬声器的相似性基于Tacotron 2的完整数据（~10小时）模型只使用15分钟的目标说话人数据，而使用30分钟或更长时间，我们的性能明显优于它。提出了以下改进：1）从自回归，将基于注意力的TTS模型转换为用外部持续时间模型代替注意力的非自回归模型，以及2）附加的基于条件生成对抗网络（cGAN）的微调步骤。
2021-06-25 cs.AI cs.LG cs.SD
Cross-Utterance Conditioned VAE for Non-Autoregressive Text-to-Speech
ShanghaiTech University（上海科技大学）；Cambridge University（剑桥大学）；Neurowave Ai Limited（Neurowave人工智能有限公司）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
韵律变化建模对于在端到端的文语转换（TTS）系统中合成自然和富有表现力的语音至关重要。在本文中，一个跨话语条件VAE（CUC-VAE）提出了估计后验概率分布的潜在韵律特征为每个音素的条件声学特征，说话人的信息，并从过去和未来的句子中获得的文本特征。在推理时，而不是VAE使用的标准高斯分布，CUC-VAE允许从特定于话语的先验分布采样条件下的跨话语信息，这使得由TTS系统生成的韵律特征与上下文相关，并且更类似于人类自然产生韵律的方式。CUC-VAE的性能通过自然度，可懂度和定量测量，包括单词出错率和韵律属性的标准差的定性听力测试进行评估。在LJ-Speech和LibriTTS数据上的实验结果表明，该系统提高了语音的自然度和韵律多样性，并具有清晰的边界。
2022-05-09 cs.CL cs.SD eess.AS
Bridging the Gap: Converting Read Text to Conversational Dialogue
Samsung Research and Development Institute, Bangalore, India（三星研发研究所，班加罗尔，印度）
本文提出了一种名为PACC的新方法，通过利用深度神经网络分析和修改语调、重音和节奏等语调特征，将阅读语音转换为更自然的对话语音，从而在虚拟助手、客户服务和语言学习工具中提高语音转换的自然度和准确性。
2026-10-16 cs.AI cs.CL cs.LG
Open-Source Full-Duplex Conversational Datasets for Natural and Interactive Speech Synthesis
Beijing University of Civil Engineering and Architecture（北京建筑大学）
为提升对话式TTS系统合成语音的自然度与交互性，研究团队发布中英双语共15小时的开源双轨全双工自发对话数据集，经微调实验验证其有效性，相关资源全部公开以支持领域研究。
2025-09-04 cs.SD
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh（爱丁堡大学）
与人类说话者不同，典型的文本到语音（TTS）系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下，生成模型能够捕获多个再现的分布，从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值，因为它们最小化了均方误差。在韵律学的背景下，取平均值会产生更平淡、更无聊的演讲：一种“平均韵律”。通过设计，可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器（VAE），它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议，通过向先验分布的尾部移动，该模型将过渡到生成更多的特质，不同的渲染。这里集中在语调，我们调查自然和语调变化之间的权衡，并发现，典型的声学模型可以是自然的，或变化，但不能两者兼而有之。然而，从VAE先验的尾部采样产生比传统方法更多样的语调，同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
How Similar or Different Is Rakugo Speech Synthesizer to Professional Performers?
RevComm Inc.（RevComm公司）
我们一直致力于为rakugo（一种类似单人单口喜剧的日本传统语言娱乐形式）进行语音合成，以实现真正娱乐观众的语音合成。在本文中，我们提出了一种新的评估方法，使用合成的落语语音和真正的落语语音由三个不同等级的专业表演者。合成语音的自然度与人类语音相当，但合成语音比任何级别的表演者都更难取悦听众。然而，我们获得了一些有趣的见解，以解决挑战，以实现一个真正有趣的落语合成器。例如，自然度不是最重要的因素，即使在传统的语音合成领域中它通常被强调为要评估的最重要的点。更重要的因素是内容的可理解性和落语故事中人物的可理解性，与专业表演者相比，合成落语语音在这两方面都相对较差。我们还发现基频模型还需要进一步改进，以更好地娱乐观众。这些结果显示了达到真正娱乐性语音合成的重要步骤。
2020-10-22 cs.SD eess.AS
Simple and Effective Unsupervised Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Meta AI
我们介绍了第一个无监督的语音合成系统的基础上，一个简单的，但有效的配方。该框架利用了最近在无监督语音识别以及现有的基于神经的语音合成的工作。仅使用未标记的语音音频和未标记的文本以及词典，我们的方法使语音合成，而不需要人类标记的语料库。实验表明，无监督的系统可以合成类似的语音监督同行的自然度和可懂度衡量的人的评价。
2022-04-20 cs.CL cs.SD eess.AS
UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech
Independent Researcher（独立研究者）
研究提出UtterTune轻量级方法，用于适配多语言TTS系统。利用低秩适应，在零样本设置下对目标语言日语实现音素级发音控制，保持自然度和说话者相似度，经评估证实该方法有效。
2026-07-23 cs.CL cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research（亚马逊研究院）
文语转换（TTS）声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射，如SampleRNN。这样，由于中间声学表示被丢弃，避免了可能的信号自然度损失。除了自然性之外，研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中，我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式，我们为声学模型提供了扬声器声学相关的表示，这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明，所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外，由于我们可以在推理过程中使用任何语音片段作为编码表示，因此该模型能够推广到新的说话人身份，而无需重新训练网络。我们最后表明，随着嵌入提取器中语音持续时间的小幅增加，我们大大降低了频谱失真，以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis
Zhejiang University（浙江大学）；ByteDance（字节跳动）；Inner Mongolia University（内蒙古大学）
本文提出MegaTTS 3，通过稀疏对齐算法引导潜扩散变换器，实现高质量零样本语音合成，支持口音强度灵活控制，仅需8步采样即可生成一分钟语音。
2025-03-28 cs.LG cs.SD eess.AS
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
Unified speech and gesture synthesis using flow matching
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出基于最优传输条件流匹配的统一架构，从文本联合合成语音与3D手势，以更少步骤实现更优合成质量，提升自然度与跨模态一致性。
2024-01-09 cs.GR cs.HC cs.LG
Koel-TTS: Enhancing LLM based Speech Generation with Preference Alignment and Classifier Free Guidance
NVIDIA Corporation（英伟达公司）
本文提出 Koel-TTS，利用 ASR 与说话人验证引导的偏好对齐及无分类器引导，增强文本到声学 token 的可控语音合成，并在小数据集训练下超越现有 TTS。
2025-07-22 cs.AI cs.LG cs.SD
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
CoVoMix: Advancing Zero-Shot Speech Generation for Human-like Multi-talker Conversations
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软公司）
CoVoMix提出一种零样本多说话人多轮对话语音生成模型，通过离散令牌流与流匹配声学模型生成混合梅尔频谱图，再经HiFi-GAN合成波形，实现类人自然对话。
2024-12-15 cs.AI cs.CL cs.LG
VoxHakka: A Dialectally Diverse Multi-speaker Text-to-Speech System for Taiwanese Hakka
United Link Co., Ltd.（联科股份有限公司）；National United University（国立联合大学）
本文提出基于 YourTTS 的台湾客家话 TTS 系统 VoxHakka，通过网络抓取与 ASR 清洗构建多方言多说话人语料，支持六种方言并在 CMOS 评测中显著优于现有系统。
2024-10-02 cs.AI cs.CL cs.SD
Lightweight and perceptually-guided voice conversion for electro-laryngeal speech
本文提出一种轻量级语音转换方法，通过结合自监督预训练与监督微调，提升电声式语音的自然度和可懂度，验证了轻量级架构在语音康复中的可行性。
2026-01-22 cs.LG cs.SD
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis
提出StyleTTS，一种基于风格的并行TTS生成模型，通过可迁移单调对齐器和时长不变数据增强，利用自监督学习从参考语音合成自然且多样化的语音，显著提升了语音自然度和说话人相似度。
2023-11-20 cs.CL cs.LG cs.SD
MaskedSpeech: Context-aware Speech Synthesis with Masking Strategy
JD Technology Group（京东科技集团）
本文提出上下文感知语音合成系统MaskedSpeech，通过掩码策略结合上下文语义与声学特征重建被掩蔽声学特征，显著提升了段落级语音的自然度与表现力。
2023-05-18 cs.SD eess.AS
RUSLAN: Russian Spoken Language Corpus for Speech Synthesis
Institute of Computational Mathematics and Information Technologies（计算数学与信息技术研究所）；Kazan Federal University（喀山联邦大学）
我们提出了RUSLAN -一个新的开放式俄语口语语料库的文本到语音的任务。RUSLAN包含22200个带有文本注释的音频样本-一个人超过31小时的高质量语音-就单个说话者的语音持续时间而言，是最大的注释俄语语料库。我们在我们的语料库上训练了一个端到端的神经网络来完成文本到语音的任务，并使用平均意见得分测试来评估合成语音的质量。合成语音达到4.05分的自然度和3.78分的可懂度的5点MOS量表。
2019-06-26 cs.LG cs.SD eess.AS
EAD-VC: Enhancing Speech Auto-Disentanglement for Voice Conversion with IFUB Estimator and Joint Text-Guided Consistent Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出EAD-VC两阶段自监督语音解耦模型，通过IFUB互信息上界估计器分离语音成分重叠信息，并引入联合文本引导一致性模块消除音色泄漏，在语音转换中提升解耦有效性、自然度和相似度。
2024-04-30 cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.（Neosapience公司）
近年来，情感文本到语音已经取得了相当大的进展。然而，它需要大量的标记数据，这是不容易获得的。即使可以获取情感语音数据集，在控制情感强度方面仍然存在限制。在这项工作中，我们提出了一种新的方法，跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本，我们从阅读风格的语音中生成情感语音，而不会丢失说话者身份。此外，情绪强度是容易控制的使用标量值，提供了一种直观的方式，为用户操纵语音。实验结果表明，该方法提供了优越的表现力，自然，可控性方面，保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
Text Enhancement for Paragraph Processing in End-to-End Code-switching TTS
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Science and Technology of China（中国科学技术大学）
目前端到端的语码转换文语转换（TTS）技术已经能够在单说话人双语语料库中生成高质量的双语语音。当双语语料库中的说话人不同时，语码转换生成的文语转换的自然度和一致性较差。我们提出的跨语言嵌入层结构使不同语言中相似的音节相关，从而提高了生成语音的自然度和一致性。在端到端的语码转换文语转换系统中，合成段落文本时存在韵律不稳定的问题。本文提出的文本增强方法使输入包含韵律信息和段落级上下文信息，从而提高了段落文本的韵律稳定性。实验结果表明，所提出的方法在自然性，一致性和韵律稳定性的有效性。除了普通话和英语之外，我们还将这些方法应用于上海话和广东话语料库，证明我们提出的方法可以扩展到其他语言来构建端到端的语码转换TTS系统。
2022-10-20 cs.SD eess.AS
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research（百度研究院）；OpenAI（开放人工智能研究中心）；University of California, Berkeley（加州大学伯克利分校）
我们介绍了Deep Voice 3，一个完全卷积的基于注意力的神经文本到语音（TTS）系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配，同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小，对来自2000多个扬声器的800多个小时的音频进行训练。此外，我们确定了常见的错误模式的注意力为基础的语音合成网络，演示了如何减轻他们，并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
M3-TTS: Multi-modal DiT Alignment & Mel-latent for Zero-shot High-fidelity Speech Synthesis
Beijing Institute of Technology（北京理工大学）；Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
M3-TTS通过多模态扩散变换器实现零样本高质量语音合成，采用联合扩散层和梅尔-变体编码器，实现高效且自然的语音生成。
2025-12-04 cs.SD
VRAIN-UPV MLLP's system for the Blizzard Challenge 2021
VRAIN-UPV（瓦伦西亚理工大学人工智能模式识别与图像处理研究所）
本文介绍了VRAIN-UPV MLLP的语音合成系统，用于2021年暴雪挑战赛的SH 1任务。SH 1任务包括构建一个西班牙语文本到语音系统，该系统在（但不限于）暴雪挑战2021组织发布的语料库上进行训练。其中包括一位西班牙语母语女性的5小时录音室质量录音。在我们的案例中，该数据集仅用于构建两阶段神经文本到语音管道，该管道由具有显式持续时间建模的非自回归声学模型和HiFi-GAN神经声码器组成。我们的团队在评估结果中被标识为J。我们的系统在主观评价测试中取得了很好的效果。在其他11个参与者中，只有一个系统比我们的系统获得了更好的自然性。具体而言，它实现了3.61的自然度MOS，而真实样品为4.21。
2021-10-29 cs.SD eess.AS
Expressive, Variable, and Controllable Duration Modelling in TTS
Amazon（亚马逊）
随着非注意神经文语转换系统的兴起，时长建模再次成为重要的研究课题。目前的方法主要依赖于先前的统计参数语音合成技术进行持续时间预测，这对语音的表达性和可变性建模很差。在本文中，我们提出了两种替代方法来改善持续时间建模。首先，我们提出了一个持续时间模型的措辞，提高了预测的持续时间，并提供更好的停顿建模。我们表明，持续时间模型的措辞条件下提高了语音的自然度超过我们的基线持续时间模型。其次，我们还提出了一个多扬声器持续时间模型称为Cauliflow，使用规范化的流量来预测持续时间，更好地匹配复杂的目标持续时间分布。Cauliflow在自然性方面与我们提出的其他持续时间模型表现相当，同时为相同的提示和可变的表达水平提供可变的持续时间。最后，我们建议条件Cauliflow的参数，提供了一个直观的控制合成语音中的起搏和暂停的一种新的方式。
2022-06-28 cs.SD eess.AS
Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
韵律建模是现代文语转换（TTS）框架的重要组成部分。通过显式地提供韵律特征的TTS模型，合成的话语的风格，从而可以控制。然而，在推理时预测自然和合理的韵律是具有挑战性的。在这项工作中，我们分析了非自回归TTS模型在不同的韵律建模设置下的行为，并提出了一个层次结构，其中音素级韵律特征的预测是以词级韵律特征为条件的。该方法优于其他竞争对手的音频质量和韵律自然度在我们的客观和主观评价。
2021-05-01 cs.LG cs.SD eess.AS
Disentangleing Content and Fine-grained Prosody Information via Hybrid ASR Bottleneck Features for Voice Conversion
Huya Inc.（虎牙公司）
通过引入自动语音识别（ASR）模型提取的瓶颈特征（BNF），非并行数据语音转换（VC）近年来取得了相当大的突破。然而，BNF的选择对VC结果有显著影响。例如，当从用交叉熵损失（CE-BNF）训练的ASR中提取BNF并馈送到神经网络中以训练VC系统时，转换语音的音色相似性显著降低。如果从使用连接主义时间分类损失（CTC-BNF）训练的ASR中提取BNF，则转换的语音的自然度可能降低。这种现象是由BNF所包含的信息的差异造成的。本文提出了一种基于CTC-BNF和CE-BNF的混合瓶颈特征互补的任意对一VC方法。采用梯度反转层和实例归一化技术分别从CE-BNF和CTC-BNF中提取韵律信息和内容信息。采用自回归解码器和Hifi-GAN声码器产生高质量的波形。实验结果表明，该方法在相似度、自然度、质量等方面均优于基线方法，并揭示了CE-BNF和CTC-BNF所含信息的差异及其对转换后语音的影响。
2022-03-24 cs.CL cs.SD eess.AS
