The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approach
作为人机交互领域的一部分，表达性语音合成是一个非常丰富的领域，因为它需要机器学习、信号处理、社会学、心理学等领域的知识。在本章中，我们将主要关注技术方面。从表达性言语的记录到建模，读者将通过一些最突出的系统和方法，对该领域使用的主要范式进行概述。我们解释如何语音可以表示和编码的音频功能。本文介绍了文本到语音合成的主要方法的历史：拼接，参数和统计参数语音合成。最后，我们关注最后一个，最后一个技术建模文本到语音合成作为一个序列到序列的问题。这使得可以使用深度学习模块，如卷积和递归神经网络以及注意力机制。本章的最后一部分旨在整合该理论的不同方面，并对概念进行总结。
2019-10-14 cs.HC cs.LG cs.SD
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出开源多场景普通话TTS数据集MSceneSpeech，涵盖多说话人和多样韵律，并基于提示机制建立基线，实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
Shanghai Jiao Tong University（上海交通大学）
本文提出高表现力文本转语音数据集StoryTTS，包含61小时语音及丰富的文本表现力标注，通过大语言模型批量标注五个维度的文本表现力，实验证明结合该标签能提升TTS模型生成语音的表现力。
2024-04-23 cs.CL cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对现有语音韵律预测器单模态、多样性不足的问题，提出基于去噪扩散概率模型的新型韵律预测器，在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出Spotlight-TTS，通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性，结合风格方向调整优化与TTS模型的整合，显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Computational Narrative Understanding for Expressive Text-to-Speech
Deezer Research（DeepZ 研究院）；Loria（洛林实验室）；IDIAP（日内瓦人工智能实验室）
本文提出LibriQuote数据集，通过增强语音语料库的表达性，提升文本到语音系统的表达力和可懂度，同时公开数据集和评估资源以促进可重复性。
2026-04-21 cs.CL cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi（小米）
基于注意力的seq 2seq文本到语音系统，特别是那些使用自注意力网络（SAN）的系统，已经达到了最先进的性能。但是，具有丰富韵律的表达性语料库仍然具有挑战性，因为1）韵律方面，跨越不同的语义粒度并主要决定声学表达性，难以分类和标记; 2）当前的seq 2seq框架仅从文本编码器中提取韵律信息，这很容易被折叠为表达内容的平均表达。在本文中，我们提出了一个上下文提取器，这是建立在基于SAN的文本编码器，充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层，然后聚合它们来学习一个全面的句子表示，以提高最终生成的语音的表达能力。具体来说，我们研究了两种上下文聚合方法：1）直接聚合，直接连接不同SAN层的输出，2）加权聚合，使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明，该方法能产生更自然、韵律变化更丰富的语音，并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有TTS系统难以实现词/音素级细粒度表达控制的问题，提出基于DiTAR架构的CtrlSpeech框架，结合全局说话人条件与音素对齐韵律信号，实现灵活可控的表达语音合成，兼具零样本性能与更优可控性。
2026-08-11 cs.HC cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester（罗切斯特大学）
本研究针对当前表现力语音合成对发音特征关注不足的问题，提出GTR三维发音框架，录制GTR-Voice数据集，验证了框架有效性及TTS模型的精准可控性，并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
Task Vector in TTS: Toward Emotionally Expressive Dialectal Speech Synthesis
School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Aviation Electric Co., Ltd（上海航空电子有限公司）
本文提出HE-Vector方法，通过构建任务向量和层次整合实现情感表达的方言语音合成，提升合成语音的表达性和可控性。
2025-12-21 cs.LG cs.SD
Learning Expressive Disentangled Speech Representations with Soft Speech Units and Adversarial Style Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出SAVC框架，利用HuBERT-soft软语音单元，通过对抗风格增强消除说话人信息，并借助知识蒸馏建模韵律，实现表达性语音转换，在可懂度和自然度上优于已有方法。
2024-05-01 cs.SD eess.AS
IQDUBBING: Prosody modeling based on discrete self-supervised speech representation for expressive voice conversion
IQIYI Inc（爱奇艺公司）
韵律建模在表达性语音转换中很重要，但仍然具有挑战性。由于韵律很难建模，以及其他因素，例如，在语音韵律建模中，说话人、环境和内容都与韵律有着千丝万缕的联系。在本文中，我们提出了IQDubbing来解决这个问题的表达语音转换。为了对韵律进行建模，我们利用了离散自监督语音表示（DSSR）的最新进展。首先从预先训练好的VQ-Wav 2 Vec模型中提取韵律向量，通过量化有效去除说话人和环境信息，同时嵌入丰富的韵律信息。为了进一步滤除韵律之外的冗余信息，如内容和部分说话人信息，我们提出了两种韵律滤波器来从韵律向量中采样韵律。实验表明，IQDubbing在语音质量方面优于基线和比较系统，同时保持韵律一致性和说话者相似性。
2022-01-02 cs.SD eess.AS
Towards Multi-Scale Style Control for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文介绍了一种用于端到端表达性语音合成的多尺度语音风格建模方法。该方法采用多尺度参考编码器提取目标语音的全局尺度话语级和局部尺度准音素级风格特征，然后将其作为输入音素序列的扩展输入到语音合成模型中。在训练时间期间，多尺度风格模型可以以端到端的方式与语音合成模型联合训练。将该方法应用于风格转换任务，实验结果表明，该方法大大提高了多尺度语音风格模型的可控性和合成语音的表达能力。此外，通过分配不同的参考语音提取的风格在每个尺度上，所提出的方法的灵活性进一步显示。
2021-04-08 cs.CL cs.SD eess.AS
E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS
Harvard University（哈佛大学）；Baidu Inc.（百度公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
E3-System是满足具表现力风格建模、显式音色-风格控制、易用自然语言交互要求的零样本TTS框架，通过EmoData、Style-RAG、Dual-TTS实现，可生成保留目标音色的具表现力言语，实验表现优异。
2026-10-12 cs.SD eess.AS
Towards Expressive Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往表达性语音合成的研究主要集中在当前句子上。相邻句子的语境被忽视，导致同一篇文章的说话风格僵化，缺乏言语变化。在本文中，我们提出了一个层次化的框架，从上下文建模说话风格。本文提出了一种层次化的上下文编码器，该编码器考虑了上下文中的结构关系，包括短语间和句子间的关系，能够挖掘更广泛的上下文信息。此外，为了鼓励该编码器更好地学习风格表示，我们引入了一种新的训练策略与知识蒸馏，这为编码器的训练提供了目标。在普通话演讲数据集上的客观和主观评价表明，该方法可以显着提高合成语音的自然度和表现力。
2022-04-06 cs.CL cs.SD eess.AS
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出基于半监督对比学习的多说话人TTS方法，通过多层级对比学习提取解耦的风格、情感与说话人表征，并结合半监督策略利用多领域数据，整合至改进VITS模型，实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Artificial Intelligence 인 공 지 능 학 과（人工智能人工智慧学系）
针对表现力文本转语音合成高质量语音的挑战，提出SpotlightTTS，通过浊音感知风格提取（聚焦浊音区域并保持连续性）和风格方向调整（优化风格融入），在表现力、语音质量及风格迁移能力上优于基线模型。
2025-11-18 cs.AI cs.SD
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research（亚马逊语音合成研究部）
在表达性语音合成中，广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现，这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示，以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别，并检查其预测文本。我们发现，话语级嵌入有不足的容量和音素级倾向于引入不稳定性时，从文本预测。词级表示在容量和可预测性之间施加平衡。因此，我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%，而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
DurIAN-E 2: Duration Informed Attention Network with Adaptive Variational Autoencoder and Adversarial Learning for Expressive Text-to-Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
本文提出改进的表现力文本到语音合成模型DurIAN-E 2，通过结合基于SwishRNN的Transformer编码器、SAIN层、增强型VAE及对抗训练的BigVGAN生成器，显著提升了合成语音的质量与表现力，性能优于多种最先进方法。
2024-10-17 cs.SD eess.AS
DurIAN-E: Duration Informed Attention Network For Expressive Text-to-Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
本文提出 DurIAN-E 模型，通过堆叠 SwishRNN Transformer 语言编码器、SAIN 层及结合 DDPM 的去噪器，在 MOS 和偏好测试中超越现有方法，实现高表现力与高保真的语音合成。
2023-09-22 cs.SD eess.AS
Word-Level Style Control for Expressive, Non-attentive Speech Synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Samsung Electronics（三星电子）
本文提出了一种表达语音合成架构，用于在单词级别上建模和控制说话风格。它试图学习词级的风格和韵律表示的语音数据，与两个编码器的帮助。第一个模型通过为每个单词找到给定声学特征的风格标记的组合来建模风格，第二个模型输出仅以语音信息为条件的单词级序列，以便将其与风格信息分离。两个编码器输出与音素编码器输出对齐并连接，然后用非注意Tacotron模型解码。一个额外的先验编码器用于自回归地预测风格标记，以便模型能够在没有参考话语的情况下运行。我们发现，由此产生的模型，使两个字的水平和全球控制的风格，以及韵律传输能力。
2021-11-19 cs.CL cs.LG cs.SD
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
DiffCSS: Diverse and Expressive Conversational Speech Synthesis with Diffusion Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Tencent Youtu Lab（腾讯优图实验室）；StepFun（阶跃星辰）
本文提出DiffCSS框架，结合扩散模型与基于LM的TTS主干，通过上下文感知韵律预测器采样多样韵律，生成多样、连贯且富有表现力的对话语音，优于现有系统。
2025-02-27 cs.AI cs.SD eess.AS
Expressive-VC: Highly Expressive Voice Conversion with Attention Fusion of Bottleneck and Perturbation Features
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
高表达语音的语音转换是具有挑战性的。目前的方法与说话人相似性，可理解性和表现力之间的平衡斗争。为了解决这个问题，我们提出了Expressive-VC，这是一种新型的端到端语音转换框架，它利用了神经瓶颈特征（BNF）方法和信息扰动方法的优点。具体来说，我们使用BNF编码器和扰动波编码器来形成内容提取器，以分别学习语言和准语言特征，其中BNF来自鲁棒的预训练ASR模型，并且扰动波在信号扰动后变得与说话者无关。我们进一步融合的语言和准语言功能，通过一个注意力机制，其中说话人相关的韵律特征被用作注意力查询，这是从一个韵律编码器与目标说话人嵌入和归一化的音高和源语音的能量作为输入。最后，解码器消耗的综合功能和说话人相关的韵律特征，以产生转换后的语音。实验结果表明，Expressive-VC算法优于几种最先进的语音合成系统，既能获得源语音的高表现力，又能获得与目标说话人的高相似度，同时保持了较好的可懂度。
2022-11-09 cs.SD eess.AS
Predicting Expressive Speaking Style From Text In End-To-End Speech Synthesis
Google, Inc.（谷歌公司）
全局样式令牌（GST）是最近提出的一种学习高维数据的潜在解纠缠表示的方法。GST可以在Tacotron（一种最先进的端到端文本到语音合成系统）中使用，以揭示说话风格变化的表达因素。在这项工作中，我们介绍了文本预测的全球风格令牌（TP-GST）的架构，将GST组合权重或风格嵌入作为“虚拟”的Tacotron内的说话风格标签。TP-GST学习仅从文本中预测风格渲染，在训练过程中既不需要显式标签，也不需要辅助输入进行推理。我们表明，当在表达性语音数据集上进行训练时，我们的系统生成的音频比两个最先进的基线模型具有更多的音高和能量变化。我们进一步证明，TP-GST可以合成语音与背景噪声去除，并证实这些分析与人类额定的听众偏好有声读物任务的积极结果。最后，我们证明了多说话人TP-GST模型成功地分解了说话人身份和说话风格。我们为每个发现提供了一个音频样本的网站。
2018-08-04 cs.CL cs.LG cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling
College of William & Mary（威廉姆斯与玛丽学院）；Emory University（埃默里大学）；George Mason University（乔治·梅森大学）
本文提出AffectCodec，通过情感引导的神经语音编解码器在保持语义忠实和语调自然的同时，保留情感信息，提升语音重建、情感识别和文本到语音生成的性能。
2026-05-11 cs.SD
Towards End-to-End Prosody Transfer for Expressive Speech Synthesis with Tacotron
Google, Inc.（谷歌公司）
我们提出了一个扩展的Tacotron语音合成架构，学习潜在的嵌入空间的韵律，来自一个参考声学表示包含所需的韵律。我们表明，条件Tacotron在这个学习的嵌入空间的结果在合成的音频，匹配的韵律的参考信号与精细的时间细节，即使当参考和合成扬声器是不同的。此外，我们表明，一个参考韵律嵌入可以用来合成文本，是从参考话语不同。我们定义了几个定量和主观的指标来评估韵律传输，并报告结果与伴随的音频样本从单扬声器和44扬声器Tacotron模型的韵律传输任务。
2018-03-24 cs.CL cs.LG cs.SD
Style Mixture of Experts for Expressive Text-To-Speech Synthesis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）
本文提出 StyleMoE，用 MoE 层替代 TTS 风格编码器并由门控网络分配参考语音子集，使风格专家覆盖多样与未见风格，显著提升现有风格迁移 TTS 的表现力。
2024-10-28 cs.CL cs.LG cs.SD
Daft-Exprt: Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
提出多说话人声学模型 Daft-Exprt，通过 FiLM 条件层与对抗解耦实现任意文本上的跨说话人韵律迁移，实验显示其优于强基线并保持高自然度。
2022-04-05 cs.SD eess.AS
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部）
本文提出了一种表达性语音合成模型，利用令牌级潜在韵律变量，以捕捉和控制话语级属性，如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块，在相应的水平。我们发现，细粒度的潜在空间也捕获粗粒度的信息，这是更明显的潜在空间的维度增加，以捕捉不同的韵律表示。因此，在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中，然后单独训练一个先验网络，该网络给定输入文本，学习话语级表示，以预测在前一步中提取的音素级后验潜在空间，从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
Enhancing Word-Level Semantic Representation via Dependency Structure for Expressive Text-to-Speech Synthesis
Tencent（腾讯）
利用原始文本中丰富的语言信息是表达性文语转换（TTS）的关键。随着大规模预训练文本表示的发展，来自Transformers的双向编码器表示（BERT）已被证明包含语义信息，并最近被用于TTS。然而，原始的或简单的微调BERT嵌入仍然不能提供足够的语义知识，表达TTS模型应该考虑。本文提出了一种基于依存结构和预训练BERT嵌入的词级语义表示增强方法。每个词的BERT嵌入被重新处理，考虑其特定的依赖关系和句子中的相关词，以生成更有效的TTS语义表示。为了更好地利用依赖结构，引入关系门控图网络（RGGN），使语义信息通过依赖结构流动和聚合。实验结果表明，该方法可以进一步提高合成语音的自然度和表现力的中文和英文数据集。
2022-11-11 cs.CL cs.SD eess.AS
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
会话文语转换（TTS）的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而，在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响，这在先前的工作中没有得到很好的研究。因此，我们提出了一种新的表达会话TTS模型，称为FCTalker，学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言，FCTalker包括细粒度和粗粒度编码器，以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模，细粒度对话编码器构建在对话BERT模型之上。实验结果表明，所提出的方法优于所有基线，并产生更多的表达语音，是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
EE-TTS: Emphatic Expressive TTS with Linguistic Information
Tencent AI Lab（腾讯AI实验室）；Zhejiang University（浙江大学）
提出EE-TTS，利用句法和语义的多层次语言信息，通过强调预测器和条件声学模型合成表现力语音，在表现力和自然度上分别提升MOS 0.49和0.67，并展现出跨数据集的强泛化能力。
2024-04-14 cs.CL cs.SD eess.AS
MSStyleTTS: Multi-Scale Style Modeling with Hierarchical Context Information for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Xverse Inc.（Xverse公司）；Skywork AI Pte. Ltd.（Skywork AI私人有限公司）
本文提出MSStyleTTS，通过多尺度风格提取器和预测器结合FastSpeech 2声学模型，利用层次上下文信息预测全局、句子和子词级风格，显著提升了多句文本语音合成的表现力。
2023-07-29 cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Tsinghua University（清华大学）；Microsoft（微软）
针对有声书语音合成表现力受限及风格数据分布不均问题，提出基于VQ-VAE预训练的自监督风格增强方法，通过双路径架构分别建模发音与风格，有效提升合成语音的自然度与表现力。
2023-12-19 cs.AI cs.SD eess.AS
Iterative Self-Learning for Expressive Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）；Huawei（华为）；Wallenberg AI, Autonomous Systems and Software Program（瓦伦堡人工智能、自主系统与软件计划）
针对低资源下高表现力TTS的标签稀缺问题，提出迭代自学习框架，基于Invert-Classify方法迭代优化伪标签，在词级突出性和情感任务上验证，提升了标签贴合度与合成质量，性能接近全监督模型。
2026-08-18 cs.CL cs.SD eess.AS
VoxInstruct: Expressive Human Instruction-to-Speech Generation with Unified Multilingual Codec Language Modelling
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；BNRist, Tsinghua University（清华大学BNRist）；Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室）
提出统一多语言编解码器语言建模框架VoxInstruct，通过引入语音语义token和多种CFG策略，将文本到语音扩展为人类指令到语音任务，实现细粒度控制并增强表现力。
2024-08-28 cs.SD eess.AS
Towards Multi-Scale Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往的表达性语音合成研究主要集中在从当前句子或语境中嵌入单尺度风格的建模上，而忽略了人类语音中说话风格的多尺度特性。为了提高合成语音的自然度和表现力，本文提出了一种多尺度说话风格建模方法来捕捉和预测多尺度说话风格。提出了一种多尺度提取器，用于从地面真实语音中提取三个不同层次的说话风格嵌入，并明确指导基于分层上下文信息的多尺度风格预测器的训练。在普通话有声读物数据集上的客观和主观评价表明，我们提出的方法可以显着提高合成语音的自然度和表现力。
2022-07-05 cs.SD eess.AS
Expressive, Variable, and Controllable Duration Modelling in TTS
Amazon（亚马逊）
随着非注意神经文语转换系统的兴起，时长建模再次成为重要的研究课题。目前的方法主要依赖于先前的统计参数语音合成技术进行持续时间预测，这对语音的表达性和可变性建模很差。在本文中，我们提出了两种替代方法来改善持续时间建模。首先，我们提出了一个持续时间模型的措辞，提高了预测的持续时间，并提供更好的停顿建模。我们表明，持续时间模型的措辞条件下提高了语音的自然度超过我们的基线持续时间模型。其次，我们还提出了一个多扬声器持续时间模型称为Cauliflow，使用规范化的流量来预测持续时间，更好地匹配复杂的目标持续时间分布。Cauliflow在自然性方面与我们提出的其他持续时间模型表现相当，同时为相同的提示和可变的表达水平提供可变的持续时间。最后，我们建议条件Cauliflow的参数，提供了一个直观的控制合成语音中的起搏和暂停的一种新的方式。
2022-06-28 cs.SD eess.AS
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku（哥伦比亚大学、RoleGaku）；Columbia University（哥伦比亚大学）
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现，发现SBV2JE在自然度和可懂度方面表现更优，适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
DrawSpeech: Expressive Speech Synthesis Using Prosodic Sketches as Control Conditions
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对参考语音难获取、自然语言难以细粒度控制韵律的问题，提出DrawSpeech扩散模型，依据用户绘制的韵律草图恢复音高与能量轮廓并合成语音，实现友好且精确的细粒度韵律控制。
2025-01-08 cs.SD eess.AS
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research（谷歌研究院）
最近的工作已经探索了序列到序列的表达性语音合成（支持韵律和风格的控制和转移）的潜在变量模型，但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中，我们提出了嵌入容量（嵌入包含的信息量的数据）作为一个统一的方法来分析语音的潜变量模型的行为，比较现有的启发式（非变分）的方法，变分方法，能够明确限制容量上界的代表性互信息。在我们提出的模型（Capacitron）中，我们表明，通过将条件依赖性添加到变分后验中，使其与真实后验的形式相匹配，相同的模型可用于高精度韵律传输，文本不可知风格传输和生成自然的先验样本。对于多说话人模型，Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后，我们介绍了一种方法，用于在两组潜伏期中分层分解嵌入容量，允许指定一部分潜伏变异性，其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Non-Autoregressive TTS with Explicit Duration Modelling for Low-Resource Highly Expressive Speech
Amazon Text-to-Speech Research（亚马逊语音合成研究）
虽然最近的神经文本到语音（TTS）方法产生高质量的语音，但它们通常需要来自目标说话者的大量录音。在以前的工作中，提出了一种3步方法来生成高质量的TTS，同时大大减少了训练所需的数据量。然而，我们已经观察到使用这种方法时，高度表达的声音所能达到的自然度水平的天花板效应。在本文中，我们提出了一种方法，用于建立高度表达TTS的声音，从目标扬声器的语音数据只有15分钟。与目前最先进的方法相比，我们提出的改进方案在语音自然度和说话人相似度方面分别缩小了23.3%和16.3%的差距。此外，我们匹配的自然度和扬声器的相似性基于Tacotron 2的完整数据（~10小时）模型只使用15分钟的目标说话人数据，而使用30分钟或更长时间，我们的性能明显优于它。提出了以下改进：1）从自回归，将基于注意力的TTS模型转换为用外部持续时间模型代替注意力的非自回归模型，以及2）附加的基于条件生成对抗网络（cGAN）的微调步骤。
2021-06-25 cs.AI cs.LG cs.SD
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务部）
文语转换（TTS）模型通常将语音属性（如内容、说话人和韵律）分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模，以便将主要的语音因素（如语言内容、韵律和音色）与任何剩余因素（如记录条件和背景噪声）分离。本文提出了无监督的TTS模型，可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练，表示瓶颈和话语到帧建模，以学习帧级噪声表示。为了达到同样的目的，我们通过一个完全分层变分自编码器（FVAE）进行细粒度的韵律建模，这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
Low-resource expressive text-to-speech using data augmentation
Amazon（亚马逊）
虽然最近的神经文本转语音（TTS）系统表现得非常好，但它们通常需要来自目标说话者以期望的说话风格阅读的大量录音。在这项工作中，我们提出了一种新颖的三步方法，以避免记录大量目标数据的昂贵操作，以便用短短15分钟的此类记录来构建富有表现力的风格声音。首先，我们通过语音转换来增强数据，方法是利用来自其他说话者的所需说话风格的录音。接下来，我们在可用的录音上使用合成数据来训练TTS模型。最后，我们对该模型进行微调，以进一步提高质量。我们的评估表明，所提出的变化带来了显着的改进，在许多方面的合成语音感知非增强模型。我们证明了所提出的方法2风格（新闻播音员和会话），对各种扬声器，并在单和多扬声器模型，说明了我们的方法的鲁棒性。
2021-06-01 cs.CL cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong（香港中文大学）
提出了一种新的神经网络系统设计，用于表达性文本转语音（TTS）合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入，实现了细粒度建模。采用协作学习和对抗学习策略，有效地分离语音中的内容和风格因素，缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明，我们的系统性能优于其他细粒度的语音风格转移模型，特别是在内容保存方面。通过结合风格预测器，所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
PMVC: Data Augmentation-Based Prosody Modeling for Expressive Voice Conversion
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Huya Inc (Shenzhen) Co., Ltd.（虎牙（深圳）有限公司）
针对无文本转录下表现力语音转换的韵律建模难题，提出基于数据增强的PMVC框架，通过语音增强算法和掩码预测机制解耦语音信息，提升了转换语音的自然度与相似度。
2023-08-21 cs.SD eess.AS
