Phone-Level Prosody Modelling with GMM-Based MDN for Diverse and Controllable Speech Synthesis
针对音素级韵律建模单峰分布导致语音多样性不足的问题，提出基于GMM的MDN建模方法并扩展至多说话人TTS，还实现参考语音韵律克隆，实验验证其在多样性、自然度及说话人相似度上的优势。
2024-10-29 cs.SD eess.AS
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence（人工智能研究生院）；Dept. of Computer Science and Engineering（计算机科学与工程系）；Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出Maestro-EVC框架，通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换，并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态，实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China（中国科学技术大学）；iFLYTEK CO.LTD.（科大讯飞股份有限公司）；China Mobile Research Institute（中国移动研究院）
针对文本到韵律的一对多映射问题，提出 DiffStyleTTS，利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成，并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
MiSTR: Multi-Modal iEEG-to-Speech Synthesis with Transformer-Based Prosody Prediction and Neural Phase Reconstruction
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Ss. Cyril and Methodius（圣西里尔和美多德大学）
MiSTR利用小波特征提取、Transformer解码器和神经相位声码器，从iEEG信号合成语音，实现最先进的清晰度（Pearson相关0.91）。
2025-08-05 cs.LG cs.SD eess.AS
Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis
Google Brain（谷歌大脑）
本文在Tacotron 2文语转换模型的基础上，提出了一种层次化、细粒度、可解释的韵律潜变量模型。它实现了韵律的多分辨率建模，通过调节较细的水平表示的粗水平的。此外，它使用具有自回归结构的条件变分自动编码器（VAE）在所有潜在维度上施加分层条件。重建性能的评价表明，新的结构不会降低模型，同时允许更好的可解释性。韵律属性的解释提供了词级和音素级的韵律表征之间的比较。此外，定性和定量的评价被用来证明潜在的维度的解纠缠的改善。
2020-02-06 cs.LG cs.SD eess.AS
Prosody-controllable spontaneous TTS with neural HMMs
KTH Royal Institute of Technology（KTH皇家理工学院）
本文在基于神经 HMM 的 TTS 系统中加入话语级韵律控制，利用小规模不规则自发语音数据实现稳定单调对齐，并验证其控制准确、音质不降且可合成两类吱嘎声。
2023-06-01 cs.HC cs.LG cs.SD
Going Retro: Astonishingly Simple Yet Effective Rule-based Prosody Modelling for Speech Synthesis Simulating Emotion Dimensions
audEERING GmbH（audEERING公司）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
本文提出两个基于SSML的规则模型，通过修改语音合成韵律来模拟情感维度，实验证明简单方法即可有效模拟唤醒度和效价。
2023-07-05 cs.SD eess.AS
Improving Prosody Modelling with Cross-Utterance BERT Embeddings for End-to-end Speech Synthesis
JD AI Research（京东人工智能研究院）
尽管韵律与语篇结构的语言信息相关，但大多数文本到语音（TTS）系统仅考虑每个句子内的韵律，这使得将一段文本转换为自然和表达性语音具有挑战性。在本文中，我们建议使用相邻句子的文本嵌入，以提高韵律生成为一个段落中的每一个话语在一个端到端的方式，而不使用任何显式的韵律特征。更具体地，交叉话语（CU）上下文向量被用于增强Tacotron 2解码器的输入，所述交叉话语（CU）上下文向量由附加CU编码器基于由预训练的BERT模型提取的句子嵌入来产生。研究了两种类型的BERT嵌入，这导致使用不同的CU编码器结构。在普通话有声读物数据集和LJ-Speech英语有声读物数据集上的实验结果表明，CU信息的使用可以提高合成语音的自然度和表现力。主观听力测试显示，大多数参与者更喜欢使用CU编码器生成的语音，而不是使用标准Tacotron 2生成的语音。研究还发现，韵律可以通过改变相邻句子来间接控制。
2020-11-06 cs.LG cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University（语言与语音处理中心（CLSP），约翰·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出TTScore，一种基于条件预测离散语音令牌的无参考评估框架，用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Prosody Learning Mechanism for Speech Synthesis System Without Text Length Limit
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来的神经语音合成系统逐渐将重点放在韵律控制上，以提高合成语音的质量，但很少将韵律的可变性以及韵律与语义的相关性一起考虑。本文提出了一种基于语音合成系统的语音韵律学习机制，该机制通过韵律学习器从语音谱中提取语音的韵律信息，并结合音素序列重构语音谱。同时，从预训练的语言模型中引入文本的语义特征，以改善韵律预测结果。此外，本文还提出了一种新的自注意结构--局部注意结构，该结构利用相对位置矩阵来描述序列的相对位置信息，从而不需要对位置进行编码，从而解除了对输入文本长度的限制。对英语和汉语的实验表明，该模型得到了较好的韵律效果。特别是在普通话合成中，我们提出的模型优于基准模型，MOS差距为0.08，合成语音的整体自然度得到了显着改善。
2020-08-13 cs.CL cs.SD eess.AS
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple（苹果公司）
现代神经文本转语音（TTS）合成可以生成与自然语音难以区分的语音。然而，生成的话语的韵律往往代表的平均韵律风格的数据库，而不是有广泛的韵律变化。此外，生成的韵律仅由输入文本定义，这不允许同一句子具有不同的风格。在这项工作中，我们训练一个序列到序列的神经网络的声学语音功能的条件下，学习一个潜在的韵律空间直观和有意义的尺寸。实验表明，一个模型的条件下，在韵律方面的音高，音高范围，电话持续时间，能量和频谱倾斜可以有效地控制每个韵律维度，并产生各种各样的说话风格，同时保持类似的平均意见得分（4.23），我们的Tacotron基线（4.26）。
2020-09-14 cs.CL cs.LG cs.SD
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
GraphPB: Graphical Representations of Prosody Boundary in Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文介绍了一种用于汉语语音合成的韵律边界图形表示方法（GraphPB），旨在通过图形化的方式解析输入序列的语义和句法关系，以提高韵律性能。图嵌入的节点由韵律词构成，边由韵律短语边界（PPH）和语调短语边界（IPH）构成。不同的图神经网络（GNN），如门控图神经网络（GGNN）和图长短期记忆（G-LSTM）被用作图编码器，以利用图形韵律边界信息。提出了一种图-序列模型，该模型由图编码器和注意力解码器组成。本文提出了两种将序列信息嵌入到图-序列-文-语转换模型中的技术。实验结果表明，该方法可以有效地对语音和韵律节奏进行编码。这些GNN模型的平均意见得分（MOS）显示了与最先进的序列到序列模型在韵律方面具有更好的性能的比较结果。这为端到端语音合成中的韵律建模提供了另一种方法。
2020-12-03 cs.CL cs.SD eess.AS
Improving Prosody for Unseen Texts in Speech Synthesis by Utilizing Linguistic Information and Noisy Data
DiDi Chuxing（滴滴出行）
端到端语音合成的最新进展使得生成高度自然的语音成为可能。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将微调的基于BERT的前端与预训练的基于FastSpeech2的声学模型相结合，以改善韵律建模。预训练的BERT在多任务学习框架中的多音字消歧任务、联合中文分词（CWS）和词性（POS）标注任务以及韵律结构预测（PSP）任务上进行微调。FastSpeech 2是在大规模外部数据上进行预训练的，这些数据虽然嘈杂，但更容易获得。实验结果表明，无论是微调后的BERT模型还是预训练后的FastSpeech 2都能提高韵律，尤其是对于结构复杂的句子。
2021-11-15 cs.CL cs.SD eess.AS
DrawSpeech: Expressive Speech Synthesis Using Prosodic Sketches as Control Conditions
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对参考语音难获取、自然语言难以细粒度控制韵律的问题，提出DrawSpeech扩散模型，依据用户绘制的韵律草图恢复音高与能量轮廓并合成语音，实现友好且精确的细粒度韵律控制。
2025-01-08 cs.SD eess.AS
Daft-Exprt: Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
提出多说话人声学模型 Daft-Exprt，通过 FiLM 条件层与对抗解耦实现任意文本上的跨说话人韵律迁移，实验显示其优于强基线并保持高自然度。
2022-04-05 cs.SD eess.AS
ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；The University of Tokyo（东京大学）；Hunan University（湖南大学）
提出基于流匹配的韵律感知TTS模型ProsodyFM，通过短语停顿编码器与终端语调编码器在无显式标签下增强停顿与语调控制，显著提升语音可懂度、泛化能力及细粒度可控性。
2024-12-19 cs.CL cs.SD eess.AS
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
Voice Conversion by Cascading Automatic Speech Recognition and Text-to-Speech Synthesis with Prosody Transfer
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Co., Ltd.（科大讯飞股份有限公司）
随着自动语音识别（ASR）和文本转语音合成（TTS）技术的发展，将ASR和TTS系统级联构成语音转换系统已成为一种直观的方式。本文提出了一种语音转换的ASR-TTS方法，该方法利用科大讯飞的ASR引擎将源语音转换为文本，利用WaveNet声码器的Transformer TTS模型将解码后的文本合成为转换后的语音。对于文语转换模型，我们提出使用韵律码来描述语音中除文本和说话人信息之外的韵律信息。韵律编码器用于提取韵律代码。在转换过程中，源韵律通过用其代码调节Transformer TTS模型来转换为转换后的语音。实验结果表明了该方法的有效性。我们的系统还在2020年语音转换挑战赛的单语言任务中获得了最佳的自然度和相似度。
2020-09-03 cs.SD eess.AS eess.SP
Sequence to Sequence Neural Speech Synthesis with Prosody Modification Capabilities
IBM Research（IBM研究院）
现代序列到序列神经TTS系统提供接近自然的语音质量。这样的系统通常包括将语言/语音特征序列转换为声学特征序列的网络，该网络与神经声码器级联。所生成的语音韵律（即音素持续时间，音高和响度）隐含地存在于声学特征中，与频谱信息混合。虽然语音听起来很自然，但它的韵律实现是随机选择的，不能轻易改变。如果训练数据中没有韵律标记，韵律控制就变得更加困难。近年来，在无监督说话风格学习和生成方面取得了很大进展，但是在训练之后仍然需要人工检查以发现和解释系统学习的说话风格。在这项工作中，我们介绍了一个全自动的方法，使系统知道的韵律，并使连续规模上的语速和表现力的控制。虽然在许多应用中是有用的本身，所提出的韵律控制也可以提高合成语音的整体质量和表现力，如主观听力评估所示。我们还提出了一种新的增强注意力机制，有利于更好的节奏控制灵敏度和更快的注意力收敛。
2019-09-23 cs.SD eess.AS
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务部）
文语转换（TTS）模型通常将语音属性（如内容、说话人和韵律）分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模，以便将主要的语音因素（如语言内容、韵律和音色）与任何剩余因素（如记录条件和背景噪声）分离。本文提出了无监督的TTS模型，可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练，表示瓶颈和话语到帧建模，以学习帧级噪声表示。为了达到同样的目的，我们通过一个完全分层变分自编码器（FVAE）进行细粒度的韵律建模，这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中，合成的细粒度韵律特征通常表示源说话者的平均风格，类似于一对多问题（即，多个韵律变化对应于同一文本）。针对这一问题，提出了一种强度控制的半监督风格提取器，将风格与内容和音色分离，提高了全局风格嵌入的表示性和可解释性，缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现，更好的风格转移可以通过使用源说话人的韵律特征，很容易预测。此外，扬声器转移明智的周期一致性损失，提出了在训练阶段学习看不见的风格音色组合，以协助模型。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
Enriching Source Style Transfer in Recognition-Synthesis based Non-Parallel Voice Conversion
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）
当前的语音转换（VC）方法可以成功地转换音频的音色。由于对源音频的韵律进行有效建模是一项具有挑战性的任务，因此将源风格转换为转换后的语音仍然存在局限性。本研究提出一种基于编译-合成框架的源代码风格转换方法。以往的语音生成任务中，韵律可以显式地用韵律特征建模，也可以隐式地用潜在韵律提取器建模。本文利用两者的优点，以混合方式对韵律进行建模，有效地将显式和隐式方法结合在拟议的韵律模块中。具体地说，韵律特征用于显式韵律建模，而VAE和参考编码器用于隐式韵律建模，分别以Mel谱和瓶颈特征作为输入。此外，引入对抗训练来从VAE输出中去除说话人相关信息，避免在传递风格时泄漏源说话人信息。最后，我们使用一个修改后的自我注意基于编码器提取的瓶颈功能，这也隐含地聚合源语音的韵律方面的分层表示的韵律上下文。实验结果表明，我们的方法是优于基线和竞争系统的风格转移，同时，语音质量和说话人相似性保持良好。
2021-06-26 cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics（信息学院）；School of Electronic Science and Engineering（电子科学与工程学院）
提出Discl-VC框架，通过解耦自监督语音表示中的内容与韵律信息，结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记，实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Stable-TTS: Stable Speaker-Adaptive Text-to-Speech Synthesis via Prosody Prompting
AITRICS；KAIST（韩国科学技术院）
Stable-TTS提出利用高质量先验样本的韵律提示和先验保持损失，在有限且含噪的目标语音样本条件下实现稳定的说话人自适应语音合成。
2024-12-28 cs.AI cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Automatic Prosody Prediction for Chinese Speech Synthesis using BLSTM-RNN and Embedding Features
Northwestern Polytechnical University（西北工业大学）
韵律影响语音的自然度和可懂度。然而，汉语语音合成中从文本中自动预测韵律仍然是一个巨大的挑战，传统的基于条件随机场（CRF）的方法往往严重依赖于特征工程。在本文中，我们提出使用神经网络预测韵律边界标签直接从汉字没有任何特征工程。实验结果表明，堆叠前馈和双向长短期记忆（BLSTM）递归网络层实现优于基于CRF的方法的性能。从原始文本中学习的嵌入特征进一步增强了性能。
2015-11-02 cs.CL cs.SD
Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
本文提出了一种在基于注意力的自回归文语转换系统中，在音素层次上控制韵律的方法。而不是学习潜在的韵律特征的变分框架，因为通常做的，我们直接提取音素级的F0和持续时间的语音数据中的训练集的功能。使用无监督聚类对每个韵律特征进行离散化，以便为每个话语产生韵律标签序列。该序列与音素序列并行使用，以便利用韵律编码器和相应的注意力模块来调节解码器。实验结果表明，该方法在保持高质量语音的同时，允许音素级的F0和时长控制。通过用音符替换F0簇质心，该模型还可以提供对扬声器范围内的音符和八度音的控制。
2021-11-19 cs.CL cs.LG cs.SD
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时，文本到语音（TTS）的最新进展已经提高了接近人类能力的质量和自然度。但是，要实现类似人类的交流，仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题，特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法，它利用语言信息，利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明，该方法提高了韵律和自然的复杂话语，以及在长形式阅读（LFR）。
2020-11-18 cs.CL cs.SD eess.AS
LipSody: Lip-to-Speech Synthesis with Enhanced Prosody Consistency
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学）；Artificial Intelligence Institute, Seoul National University, Republic of Korea（人工智能研究所，首尔国立大学，韩国）
LipSody通过结合说话人身份、语言内容和情感上下文，提升唇到语音合成的语调一致性。
2026-02-02 cs.SD
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK（谷歌英国）；University of West Bohemia（西波西米亚大学）
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均，并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓，期望具有对语音的韵律方面的变化进行建模的方式，因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的，分层结构的条件变分自编码器生成韵律功能（基频，能量和持续时间）适合使用的声码器或生成模型，如WaveNet。在推理时，可以从变化层采样表示句子的韵律的嵌入，以允许韵律变化。为了有效地捕获语言输入（单词、音节和音素）的分层性质，自动编码器的编码器和解码器部分都是分层的，与语言结构一致，其中层以各自的速率动态地计时。我们在我们的实验中表明，我们的动态分层网络优于一个非分层的最先进的基线，此外，跨句子的韵律传输是可能的，通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
CopyCat: Many-to-Many Fine-Grained Prosody Transfer for Neural Text-to-Speech
Amazon Research（亚马逊研究院）
韵律转换（PT）是一种在合成语音时使用源音频的韵律作为参考的技术。细粒度PT旨在以非常细粒度的级别从源音频捕获韵律方面，如节奏，重点，旋律，持续时间和响度，并在合成不同目标说话者的语音时转移它们。目前的细粒度PT方法遭受源扬声器泄漏，其中合成的语音具有源扬声器的语音身份，而不是目标扬声器。为了缓解这个问题，他们在PT的质量上做出了妥协。在本文中，我们提出了CopyCat，一种新颖的，多对多PT系统，是强大的源扬声器泄漏，而不使用并行数据。我们实现这一目标，通过一种新的参考编码器架构能够捕捉时间韵律表示源扬声器泄漏是强大的。我们比较CopyCat对一个国家的最先进的细粒度PT模型，通过各种主观评价，在那里我们显示了相对改善的$47\%$的韵律传输和$14\%$在保留目标扬声器身份的质量，同时仍然保持相同的自然度。
2020-04-30 cs.SD eess.AS
Location, Location: Enhancing the Evaluation of Text-to-Speech Synthesis Using the Rapid Prosody Transcription Paradigm
University of Edinburgh（爱丁堡大学）
文本转语音合成系统通常使用平均意见得分（MOS）测试来评估，其中听众在李克特量表上对合成语音的样本进行评分。MOS测试的一个主要缺点是它们只提供总体质量的一般测量，即，话语的自然性--因此不能告诉我们合成错误发生的确切位置。这可能会使评估的适当性韵律变化的话语不确定。为了解决这个问题，我们提出了一种新的评估方法的基础上快速韵律转录范例。这允许听众实时标记话语中的错误位置，提供合成信号中发生的感知错误的概率表示。我们进行的实验证实，细粒度的评价可以映射到标准MOS测试的系统排名，但错误标记给出了一个更全面的综合韵律评估。特别是，对于标准有声读物测试集样本，我们看到错误标记始终聚集在标点符号指示的主要韵律边界处的单词周围。然而，对于基于问答的刺激，我们控制信息结构，我们看到的差异出现在神经TTS系统产生上下文适当的韵律突出的能力。
2021-07-06 cs.CL cs.SD eess.AS
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动Nineverse人工智能技术（北京）有限公司）；Nineverse Institute of Artificial Intelligence（Nineverse人工智能研究院）；The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京，中国）
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成，提升语音克隆与语调控制性能。
2026-01-04 cs.SD
Information Sieve: Content Leakage Reduction in End-to-End Prosody For Expressive Speech Synthesis
Tianjin Key Laboratory of Cognitive Computing and Application（天津认知计算与应用重点实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Tianjin University-Huiyan Technology Joint AI Lab（天津大学-慧眼科技联合人工智能实验室）
表达型神经文本到语音（TTS）系统结合了一个风格编码器来学习潜在的嵌入作为风格信息。然而，该嵌入过程可能对冗余的文本信息进行编码。这种现象称为内容泄漏。研究人员试图通过添加ASR或其他辅助监督损失函数来解决这个问题。在这项研究中，我们提出了一个无监督的方法称为“信息筛”，以减少在韵律传输的内容泄漏的影响。这种方法的基本原理是，通过良好设计的下采样-上采样滤波器，可以迫使风格编码器关注风格信息而不是包含在参考语音中的文本信息，即，所提取的风格嵌入可以以特定间隔被下采样，然后通过复制被上采样。此外，我们在卷积层中使用实例规范化来帮助系统学习更好的潜在样式空间。客观的指标，如显着较低的字出错率（WER）证明了该模型在减轻内容泄漏的有效性。听力测试表明，该模型保留了其韵律迁移与基线模型，如原来的GST-Tacotron和ASR引导的Tacotron。
2021-08-04 cs.SD eess.AS
Do Prosody Transfer Models Transfer Prosody?
University of Edinburgh（爱丁堡大学）
最近的一些用于文本到语音合成的模型旨在将参考话语的韵律转移到所生成的目标合成语音。这是通过使用参考话语的学习嵌入来完成的，其用于调节语音生成。在训练期间，参考发音与目标发音相同。然而，在合成过程中，这些模型通常用于从不同于正在合成的文本或说话者的参考中转移韵律。为了解决这种不一致，我们建议在训练过程中使用不同的，但韵律相关的话语。我们相信这会鼓励模型学习只传递引用和目标共有的那些特征。如果韵律迁移方法确实能够迁移韵律，那么它们应该能够按照我们提出的方式进行训练。然而，结果表明，在这些条件下训练的模型表现明显不如使用目标话语作为参考训练的模型。为了解释这一点，我们假设韵律迁移模型不学习韵律的可迁移表示，而是一个话语级表示，这是高度依赖于参考说话人和参考文本。
2023-03-07 cs.CL cs.SD eess.AS
Towards Natural and Controllable Cross-Lingual Voice Conversion Based on Neural TTS Model and Phonetic Posteriorgram
Alibaba Group（阿里巴巴集团）
由于不同语言的语音集合和语音韵律的显著不匹配，跨语言语音转换（VC）是一个重要且具有挑战性的问题。在本文中，我们建立在神经文本到语音（TTS）模型，即，FastSpeech和LPCNet神经声码器设计了一个新的跨语言VC框架FastSpeech-VC。我们解决的语音集和语音韵律的不匹配，通过应用语音后序图（PPG），这已被证明是跨越扬声器和语言的边界的桥梁。此外，我们加入了归一化的韵律尺度基频（Log-F0），以进一步补偿韵律失配，并显着提高自然度。我们对英语和普通话语言的实验表明，只有单语种语料库，建议FastSpeech-VC可以实现高质量的转换语音的平均意见得分（MOS）接近专业记录，同时保持良好的说话人相似性。与使用Tacotron 2和Transformer TTS模型的基线相比，FastSpeech-VC可以实现可控的转换语音速率和更快的推理速度。更重要的是，FastSpeech-VC可以很容易地适应训练话语有限的扬声器。
2021-02-03 cs.LG cs.SD eess.AS
Low-Resource Mongolian Speech Synthesis Based on Automatic Prosody Annotation
VXI
虽然基于深度学习的TTS（文本到语音）模型（如VITS）已经显示出出色的结果，但它们通常需要大量高质量的<text，audio>对来进行训练，这是昂贵的。到目前为止，世界上大多数语言仍然缺乏开发TTS系统所需的训练数据。本文针对低资源蒙古语语音合成面临的两个问题提出了两种改进方法：a）鉴于缺乏高质量的<text，audio>数据对，难以对语言特征到声学特征的映射问题进行建模。使用预训练的VITS模型和迁移学习方法进行改进。b）针对标注信息少的问题，提出采用一种自动韵律标注方法对文本和对应语音的韵律信息进行标注，从而提高低资源蒙古语的自然度和可懂度。通过实证研究，本文提出的方法的N-MOS为4.195，I-MOS为4.228。
2023-01-04 cs.SD eess.AS
Combining Masked Language Modeling and Cross-Modal Contrastive Learning for Prosody-Aware TTS
MTUCI（莫斯科电信与信息技术大学）
本文研究了基于扩散模型的语音合成中多阶段预训练对语调建模的影响，通过掩码语言建模与混合音素对比学习相结合，提升了生成质量与感知指标。
2026-10-23 cs.SD eess.AS
Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech
ByteDance（字节跳动）；Tsinghua University（清华大学）
最近的一些研究已经证明了单级神经文本到语音的可行性，它不需要生成梅尔频谱图，而是直接从文本中生成原始波形。单阶段文本到语音通常面临两个问题：a）由于多个语音变化而导致的一对多映射问题，以及b）由于在训练期间缺乏对地面实况声学特征的监督而导致的高频重建不足。为了解决a）问题并生成更有表现力的语音，我们提出了一种基于变分自编码器的音素级韵律建模方法，该方法具有归一化流来建模语音中的底层韵律信息。我们还使用韵律预测器来支持端到端的表达性语音合成。此外，我们提出了双并行自动编码器，以在训练过程中引入对地面实况声学特征的监督，以解决b）问题，使我们的模型能够生成高质量的语音。我们比较的合成质量与国家的最先进的文本到语音系统的内部表达英语数据集。定性和定量的评价表明，我们的方法的无损语音生成的优越性和鲁棒性，同时也表现出很强的韵律建模能力。
2022-07-13 cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
PauseSpeech: Natural Speech Synthesis via Pre-trained Language Model and Pause-based Prosody Modeling
Korea University（高丽大学）
针对现有TTS系统断句自然度不足的问题，提出结合预训练语言模型与基于停顿的韵律建模的PauseSpeech系统，通过断句结构编码器预测停顿序列、基于停顿的词编码器建模词级韵律，在自然度和客观指标上均优于过往模型。
2023-06-13 cs.AI cs.SD eess.AS
Applying Syntax$\unicode{x2013}$Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Graduate School of Arts and Sciences, The University of Tokyo（东京大学综合文化研究科）
端到端的文本到语音合成（TTS）直接从文本或音素的字符串生成语音声音，与传统的TTS相比提高了语音合成的质量。然而，大多数以前的研究都是基于主观的自然性进行评估，并没有客观地检查他们是否可以再现语音现象的音高模式，如降阶，节奏提升，并初步降低，反映了日语的句法结构。这些现象可以用语音制约和句法$\unicode{x2013}$韵律映射假说（SPMH）来解释。虽然心理语言学的一些实验已经证实了SPMH的有效性，但它是否能在TTS中实现仍然是一个关键问题。为了综合涉及句法或语音约束的语言现象，我们提出了一个基于SPMH和韵律良构性约束的语音符号模型。实验结果表明，所提出的方法合成的音高模式类似的语言学实验中报告的现象，初始降低和节奏提升。所提出的模型有效地合成语音现象的测试数据中，没有明确包括在训练数据。
2022-03-29 cs.CL cs.SD eess.AS
Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
在现有的跨说话人风格传递任务中，需要具有多风格录音的源说话人来为目标说话人提供风格。然而，一个演讲者很难表达所有预期的风格。在本文中，一个更一般的任务，这是产生表达语音的任何风格和音色的组合从多说话人语料库中，每个扬声器有一个独特的风格，提出。为了实现这一任务，提出了一种新的方法。该方法是一个基于Tacotron 2的框架，但具有细粒度的基于文本的韵律预测模块和说话人身份控制器。实验表明，该方法可以成功地表达一个说话人的风格与木材的另一个说话人绕过依赖于单个说话人的多风格语料库。此外，韵律预测模块中使用的显式韵律特征可以通过调整韵律特征的值来增加合成语音的多样性。
2021-12-23 cs.SD eess.AS
Hierarchical Representation of Prosody for Statistical Speech Synthesis
Institute of Behavioural Sciences, University of Helsinki（赫尔辛基大学行为科学研究所）；Aalto University（阿尔托大学）；University of Alberta（阿尔伯塔大学）；Institute for Reconstructive Sciences in Medicine (iRSM), Misericordia Hospital（misericordia 医院医学重建科学研究所（iRSM））
重音和边界是语音韵律结构的重要组成部分。它们提供了将语音流分块成语言相关单元的方法，通过为它们提供相对显著性并在连贯的话语结构内划分它们。在韵律学的基础研究和文本到语音合成中，突出和边界都得到了广泛的应用。然而，目前还没有一种表示方法能够以统一的方式对它们进行估计和建模。在这里，我们提出了一个无监督的统一帐户，估计和表示韵律连续性和边界使用的尺度空间分析的基础上连续小波变换。使用波士顿大学广播新闻语料库的方法进行评估和早期的工作进行比较。实验结果表明，该方法与目前最好的有监督标注方法具有可比性。
2015-10-07 cs.CL cs.SD
Counterfactual Activation Editing for Post-hoc Prosody and Mispronunciation Correction in TTS Models
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）；INEEJI
提出反事实激活编辑方法，通过操作预训练TTS模型的内部表示实现事后韵律控制与误音纠正，无需重训即可在推理时优化输出。
2025-06-01 cs.AI cs.SD eess.AS
Rhythm Controllable and Efficient Zero-Shot Voice Conversion via Shortcut Flow Matching
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出R-VC模型，通过Hubert内容令牌、掩码生成式Transformer时长建模及捷径流匹配扩散Transformer，实现节奏可控且仅需两步采样的高效零样本语音转换，在自然度、可懂度和风格迁移上超越现有方法。
2025-06-01 cs.SD eess.AS
CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation
UNSW Sydney（新南威尔士大学悉尼分校）；Dolby Laboratories（杜比实验室）
CookVoice是统一的多模态人声生成框架，分解人声为内容、韵律、风格，支持多任务，参数少、推理高效，可控性强且生成质量接近基线模型。
2026-08-14 cs.LG cs.SD
PoeticTTS -- Controllable Poetry Reading for Literary Studies
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））；Institute of Literary Studies (ILS), University of Stuttgart（斯图加特大学文学研究所（ILS））；German Literature Archive (DLA)（德国文学档案馆（DLA））
由于诗歌语音固有的特定语调模式，诗歌的语音合成具有挑战性。在这项工作中，我们提出了一种方法来合成诗歌与几乎人类一样的自然性，以使文学学者系统地研究文本之间的相互作用，口语实现，和听众的感知诗歌的假设。为了满足这些特殊的要求，文学研究，我们重新合成诗歌克隆韵律值从人类参考背诵，然后利用细粒度的韵律控制来操纵合成语音在一个人的循环设置，以改变背诵w.r.t.具体现象。我们发现，微调我们的TTS模型的诗歌捕捉诗歌的语调模式在很大程度上是有益的韵律克隆和操纵，并验证了我们的方法在客观评价以及在人类研究的成功。
2022-10-18 cs.CL cs.LG cs.SD
CopyCat2: A Single Model for Multi-Speaker TTS and Many-to-Many Fine-Grained Prosody Transfer
Amazon（亚马逊）
在本文中，我们提出了CopyCat2（CC2），一种新的模型能够：a）合成语音与不同的扬声器身份，b）生成语音表达和上下文适当的韵律，和c）传输韵律在细粒度的水平之间的任何一对看到的扬声器。我们通过激活网络的不同部分来完成不同的任务。我们使用一种新颖的两阶段训练方法来训练我们的模型。在第一阶段，该模型从语音中学习说话者独立的词级韵律表示，用于多对多的细粒度韵律传输。在第二阶段，我们学习预测这些韵律表示使用文本中的上下文信息，从而使多扬声器TTS与上下文适当的韵律。我们比较CC2两个强基线，一个在TTS与上下文适当的韵律，和细粒度的韵律转移。CC2通过$22.79\%$减少了我们的基线和复制合成语音之间的自然度差距。在细粒度的韵律迁移评价中，该方法在目标说话人相似度方面相对于$33.15\%$有较大的提高。
2022-06-27 cs.SD eess.AS
