DC CoMix TTS: An End-to-End Expressive TTS with Discrete Code Collaborated with Mixer
Sogang University（西江大学）
本文提出DC CoMix TTS，通过在参考编码器输入引入离散码并应用修改后的MLP-Mixer，实现轻量化的端到端韵律迁移TTS，有效缓解内容泄露问题并提升说话人无关韵律建模效果。
2023-06-28 cs.CL cs.SD eess.AS
HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS
Northwestern Polytechnical University（西北工业大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对长文本语音合成中高动态韵律建模的难题，提出HiGNN-TTS方法，通过引入虚拟全局节点、上下文注意力及层级监督拓展GNN建模能力，显著提升长文本合成语音的自然度与表现力。
2023-10-07 cs.SD eess.AS
Enhancing Word-Level Semantic Representation via Dependency Structure for Expressive Text-to-Speech Synthesis
Tencent（腾讯）
利用原始文本中丰富的语言信息是表达性文语转换（TTS）的关键。随着大规模预训练文本表示的发展，来自Transformers的双向编码器表示（BERT）已被证明包含语义信息，并最近被用于TTS。然而，原始的或简单的微调BERT嵌入仍然不能提供足够的语义知识，表达TTS模型应该考虑。本文提出了一种基于依存结构和预训练BERT嵌入的词级语义表示增强方法。每个词的BERT嵌入被重新处理，考虑其特定的依赖关系和句子中的相关词，以生成更有效的TTS语义表示。为了更好地利用依赖结构，引入关系门控图网络（RGGN），使语义信息通过依赖结构流动和聚合。实验结果表明，该方法可以进一步提高合成语音的自然度和表现力的中文和英文数据集。
2022-11-11 cs.CL cs.SD eess.AS
NoreSpeech: Knowledge Distillation based Conditional Diffusion Model for Noise-robust Expressive TTS
Tencent AI Lab（腾讯人工智能实验室）
表达型文语转换（TTS）技术可以通过模仿参考音频中的韵律和音色来合成新的说话风格，但面临以下挑战：（1）参考音频中的韵律信息动态性强，难以提取，尤其是当参考音频中含有背景噪声时。(2)文语转换系统应该对看不见的说话风格有很好的泛化能力。本文提出了一种\textbf{no} ise-\textbf{r} obust \textbf{e} expressive TTS模型（NoreSpeech），它可以将带噪参考话语中的说话风格鲁棒地转换为合成语音。具体来说，我们的NoreSpeech包括几个组件：（1）一个新的DiffStyle模块，它利用强大的概率去噪扩散模型，通过知识蒸馏从教师模型中学习与噪声无关的说话风格特征;（2）一个VQ-VAE模块，它将风格特征映射到一个可控的量化潜在空间，以提高风格转移的泛化能力;以及（3）直接但有效的无参数文本样式对齐模块，其使得NoreSpeech能够将样式从长度不匹配的参考话语转移到文本输入。实验结果表明，在噪声环境下，NoreSpeech比以前的表达TTS模型更有效。音频样本和代码可从以下网址获得：\href{http://dongchaoyang.top/NoreSpeech\_demo/}{http://dongchaoyang.top/NoreSpeech\_demo/}
2022-11-04 cs.SD eess.AS
E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS
Harvard University（哈佛大学）；Baidu Inc.（百度公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
E3-System是满足具表现力风格建模、显式音色-风格控制、易用自然语言交互要求的零样本TTS框架，通过EmoData、Style-RAG、Dual-TTS实现，可生成保留目标音色的具表现力言语，实验表现优异。
2026-10-12 cs.SD eess.AS
GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
针对当前TTS架构在声学特征丢失、严格对齐依赖和文本理解灾难性遗忘上的矛盾，提出双分支架构GOAT-TTS，通过模态对齐与模块化微调实现无需转录依赖的实时流式高质量语音合成。
2025-05-28 cs.CL cs.SD eess.AS
QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
近年来的表达性文本到语音（TTS）模型主要关注情感语音的合成，但忽略了语调等细粒度的风格。在本文中，我们提出了QI-TTS，其目的是更好地转移和控制语调，以进一步传递说话人的提问意图，同时转移情感从参考语音。我们提出了一个多风格提取器，提取风格嵌入从两个不同的水平。句子层次代表情感，最后一个音节层次代表语调。在细粒度的语调控制方面，我们采用相对属性来表示音节层次的语调强度，实验验证了QI-TTS在情感语音合成中提高语调表达能力的有效性。
2023-03-14 cs.CL cs.SD eess.AS
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab（腾讯AI实验室）
去噪扩散概率模型（DDPM）是一种表达能力很强的生成模型，已被用于解决各种语音合成问题。然而，由于它们的高采样成本，DDPM难以用于实时语音处理应用。在本文中，我们介绍了DiffGAN-TTS，一种新的基于DDPM的文本转语音（TTS）模型，实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络（GANs），其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明，DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制，以进一步加快推理。一个两阶段的训练计划，提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明，DiffGAN-TTS可以实现高的合成性能，只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
Non-Autoregressive TTS with Explicit Duration Modelling for Low-Resource Highly Expressive Speech
Amazon Text-to-Speech Research（亚马逊语音合成研究）
虽然最近的神经文本到语音（TTS）方法产生高质量的语音，但它们通常需要来自目标说话者的大量录音。在以前的工作中，提出了一种3步方法来生成高质量的TTS，同时大大减少了训练所需的数据量。然而，我们已经观察到使用这种方法时，高度表达的声音所能达到的自然度水平的天花板效应。在本文中，我们提出了一种方法，用于建立高度表达TTS的声音，从目标扬声器的语音数据只有15分钟。与目前最先进的方法相比，我们提出的改进方案在语音自然度和说话人相似度方面分别缩小了23.3%和16.3%的差距。此外，我们匹配的自然度和扬声器的相似性基于Tacotron 2的完整数据（~10小时）模型只使用15分钟的目标说话人数据，而使用30分钟或更长时间，我们的性能明显优于它。提出了以下改进：1）从自回归，将基于注意力的TTS模型转换为用外部持续时间模型代替注意力的非自回归模型，以及2）附加的基于条件生成对抗网络（cGAN）的微调步骤。
2021-06-25 cs.AI cs.LG cs.SD
Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS
Media Analysis, Sony Research India（索尼印度研究所在媒体分析部门）
提出自适应振荡非线性激活函数（OscillaTTS），通过线性旁路保持信号稳定，增强扩散TTS解码器对尖锐韵律变化的建模能力，在LJSpeech和情感语音数据集上客观和主观评估均一致提升。
2026-06-25 cs.AI cs.CL cs.SD
Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis
ByteDance（字节跳动）；Zhejiang University（浙江大学）
本文提出Mega-TTS 2，通过解耦韵律与音色、多参考音色编码及P-LLM增强零样本TTS提示机制，在10秒至5分钟数据设置下持续优于微调，并支持可控风格迁移。
2024-04-10 cs.SD eess.AS
Iterative Self-Learning for Expressive Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）；Huawei（华为）；Wallenberg AI, Autonomous Systems and Software Program（瓦伦堡人工智能、自主系统与软件计划）
针对低资源下高表现力TTS的标签稀缺问题，提出迭代自学习框架，基于Invert-Classify方法迭代优化伪标签，在词级突出性和情感任务上验证，提升了标签贴合度与合成质量，性能接近全监督模型。
2026-08-18 cs.CL cs.SD eess.AS
Expressive TTS Training with Frame and Style Reconstruction Loss
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；Inner Mongolia University（内蒙古大学）；University of Bremen（不来梅大学）
本文提出了一种新的基于Tacotron的文语转换（TTS）系统的训练策略，以提高语音的表达能力。韵律建模中的一个关键挑战是缺乏引用，这使得显式建模变得困难。所提出的技术不需要从训练数据韵律注释。它也不试图显式地对韵律进行建模，而是使用基于Tacotron的TTS框架对输入文本及其韵律风格之间的关联进行编码。我们提出的想法标志着从风格令牌范式的韵律是明确建模的韵律嵌入银行的出发。提出的训练策略采用两个目标函数的组合：1）帧级重构损失，即在合成语音和目标语音的频谱特征之间计算; 2）话语级风格重构损失，即在合成语音和目标语音的深层风格特征之间计算。所提出的风格重建损失被公式化为感知损失，以确保在训练期间考虑话语级语音风格。实验表明，该训练策略取得了显着的性能，并优于国家的最先进的基线在自然和表现力。据我们所知，这是第一项将话语水平感知质量作为损失函数纳入Tacotron训练以提高表现力的研究。
2021-04-12 cs.SD eess.AS
ICE-Talk: an Interface for a Controllable Expressive Talking Machine
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）
ICE-Talk是一个开源的基于Web的GUI，允许使用TTS系统，通过文本字段和可点击的2D图控制参数。它使可控TTS的潜在空间的研究。此外，它被实现为一个模块，可以用作人机交互的一部分。
2020-08-25 cs.CL cs.LG cs.SD
SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS
针对长直播TTS缺乏从句级韵律控制的问题，提出SCIC方法，结合时间指令路由与码本加权，并采用多奖励GDPO后训练，提升说话人相对音高能量控制及段落表现力层次。
2026-10-01 cs.AI cs.SD
Task Vector in TTS: Toward Emotionally Expressive Dialectal Speech Synthesis
School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Aviation Electric Co., Ltd（上海航空电子有限公司）
本文提出HE-Vector方法，通过构建任务向量和层次整合实现情感表达的方言语音合成，提升合成语音的表达性和可控性。
2025-12-21 cs.LG cs.SD
Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Artificial Intelligence 인 공 지 능 학 과（人工智能人工智慧学系）
针对表现力文本转语音合成高质量语音的挑战，提出SpotlightTTS，通过浊音感知风格提取（聚焦浊音区域并保持连续性）和风格方向调整（优化风格融入），在表现力、语音质量及风格迁移能力上优于基线模型。
2025-11-18 cs.AI cs.SD
Interactive TTS: Dynamic Speaking Style Adaptation for Expressive Speech Synthesis
Alibaba ATH Token Foundry（阿里巴巴ATH Token铸造厂）
针对多轮交互中TTS风格自适应难、音色漂移的问题，提出交互式TTS框架，将风格决策建模为可执行指令，结合迭代拒绝采样微调和上下文感知直接偏好优化，在VStyle和SpeechParaling-Bench上超越现有模型。
2026-09-23 cs.SD eess.AS eess.IV
MultiVerse: Efficient and Expressive Zero-Shot Multi-Task Text-to-Speech
SK Telecom（SK电信）；NC Research（NC研究院）；NCSOFT Corp.（NCsoft公司）
MultiVerse通过源-滤波器解耦和自回归与非自回归结合的韵律建模，在极少训练数据下实现零样本多任务TTS和风格迁移，性能媲美甚至超越数据驱动系统。
2024-10-04 cs.AI cs.SD eess.AS
DMP-TTS: Disentangled multi-modal Prompting for Controllable Text-to-Speech with Chained Guidance
University of Science and Technology of China（科学技术大学）
DMP-TTS通过解耦多模态提示和链式引导技术，实现了更强的文本到语音风格可控性，同时保持良好的可懂度和自然度。
2025-12-10 cs.SD
Deterministic Prompting for Speaker-Stable Low-Resource Greek TTS
Institute for Language and Speech Processing, Athena R.C.（雅典娜研究与创新中心语言与语音处理研究所）；Department of Digital Medicine, University of Bern（伯尔尼大学数字医学系）；School of Electrical and Computer Engineering, National Technical University of Athens（雅典国家技术大学电气与计算机工程学院）
提出数据整理与确定性提示及LoRA微调方案，在3.5小时数据上实现低资源希腊语TTS，达到WER 10.7%和接近人类的说话人一致性。
2026-09-10 cs.CL cs.LG cs.SD
Harness TTS: Towards Context-Aware Expressive Speech Synthesis with Harness Layer
Xiaomi Inc.（小米公司）；Nanjing University（南京大学）
研究针对语音助手富有表现力的语音合成中灵活风格控制的需求，提出Harness TTS轻量级控制层，通过封闭集提示 - 工具路由实现风格控制，实验证明其在路由和合成任务中表现出色，为语音助手表达控制提供实用方案。
2026-07-22 cs.SD
Style Mixture of Experts for Expressive Text-To-Speech Synthesis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）
本文提出 StyleMoE，用 MoE 层替代 TTS 风格编码器并由门控网络分配参考语音子集，使风格专家覆盖多样与未见风格，显著提升现有风格迁移 TTS 的表现力。
2024-10-28 cs.CL cs.LG cs.SD
Expressive, Variable, and Controllable Duration Modelling in TTS
Amazon（亚马逊）
随着非注意神经文语转换系统的兴起，时长建模再次成为重要的研究课题。目前的方法主要依赖于先前的统计参数语音合成技术进行持续时间预测，这对语音的表达性和可变性建模很差。在本文中，我们提出了两种替代方法来改善持续时间建模。首先，我们提出了一个持续时间模型的措辞，提高了预测的持续时间，并提供更好的停顿建模。我们表明，持续时间模型的措辞条件下提高了语音的自然度超过我们的基线持续时间模型。其次，我们还提出了一个多扬声器持续时间模型称为Cauliflow，使用规范化的流量来预测持续时间，更好地匹配复杂的目标持续时间分布。Cauliflow在自然性方面与我们提出的其他持续时间模型表现相当，同时为相同的提示和可变的表达水平提供可变的持续时间。最后，我们建议条件Cauliflow的参数，提供了一个直观的控制合成语音中的起搏和暂停的一种新的方式。
2022-06-28 cs.SD eess.AS
DiffCSS: Diverse and Expressive Conversational Speech Synthesis with Diffusion Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Tencent Youtu Lab（腾讯优图实验室）；StepFun（阶跃星辰）
本文提出DiffCSS框架，结合扩散模型与基于LM的TTS主干，通过上下文感知韵律预测器采样多样韵律，生成多样、连贯且富有表现力的对话语音，优于现有系统。
2025-02-27 cs.AI cs.SD eess.AS
MM-TTS: Multi-modal Prompt based Style Transfer for Expressive Text-to-Speech Synthesis
Xiamen University（厦门大学）
针对现有TTS风格迁移灵活性不足的问题，提出多模态可控框架MM-TTS，通过对齐多模态提示编码器、风格自适应卷积和修正流精炼器实现多模态提示风格迁移，并构建MEAD-TTS数据集，实验验证其效果良好。
2024-01-31 cs.SD eess.AS
CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有TTS系统难以实现词/音素级细粒度表达控制的问题，提出基于DiTAR架构的CtrlSpeech框架，结合全局说话人条件与音素对齐韵律信号，实现灵活可控的表达语音合成，兼具零样本性能与更优可控性。
2026-08-11 cs.HC cs.SD eess.AS
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft（微软）
表达性语音合成与有声读物合成一样，对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据，这些数据获取成本高，并且难以准确定义和注释。在本文中，我们提出了一个新的框架，学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比，我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外，通过隐式上下文感知风格表示，合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt
Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）
针对现有TTS风格控制方法多样性和可解释性不足的问题，提出InstructTTS模型，利用自然语言风格提示，结合三阶段句子嵌入训练、离散潜空间扩散建模及互信息最小化，实现了富有表现力且避免信息泄露的语音合成。
2023-06-25 cs.SD eess.AS
From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS
Northwestern Polytechnical University（西北工业大学）
该论文提出一个基于批评驱动迭代细化的智能体框架，用于可控多说话人对话语音合成，通过语句级和场景级批评路由至编辑或重合成，在双语基准上优于直接模型和仅重生成方案。
2026-09-29 cs.CL cs.SD eess.AS
EmergentTTS-Eval: Evaluating TTS Models on Complex Prosodic, Expressiveness, and Linguistic Challenges Using Model-as-a-Judge
Boson AI（Boson人工智能）
本文提出综合TTS基准EmergentTTS-Eval，利用LLM自动生成针对六类复杂场景的1645个测试用例，并采用LALM作为裁判多维度评估语音，实验证明该方法稳健且与人类偏好高度相关。
2025-05-29 cs.LG cs.SD eess.AS
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS，利用球面情感向量控制情感风格与强度，通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
FaceSpeak: Expressive and High-Quality Speech Synthesis from Human Portraits of Different Styles
Tencent AI Lab（腾讯AI实验室）
针对视觉驱动TTS局限于真实人脸的问题，提出FaceSpeak方法，从多种图像风格提取身份和情感特征并减轻无关信息，还构建Expressive Multi-Modal TTS数据集，实现与肖像对齐的高质量语音合成。
2025-04-15 cs.AI cs.SD eess.AS
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester（罗切斯特大学）
本研究针对当前表现力语音合成对发音特征关注不足的问题，提出GTR三维发音框架，录制GTR-Voice数据集，验证了框架有效性及TTS模型的精准可控性，并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beihang University（北京航空航天大学）
提出平均延续对数概率（MCLP）作为评估指标和奖励信号，用于提升大型音频语言模型在角色扮演文本转语音任务中的风格一致性。
2026-05-27 cs.SD
DurIAN-E 2: Duration Informed Attention Network with Adaptive Variational Autoencoder and Adversarial Learning for Expressive Text-to-Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
本文提出改进的表现力文本到语音合成模型DurIAN-E 2，通过结合基于SwishRNN的Transformer编码器、SAIN层、增强型VAE及对抗训练的BigVGAN生成器，显著提升了合成语音的质量与表现力，性能优于多种最先进方法。
2024-10-17 cs.SD eess.AS
Computational Narrative Understanding for Expressive Text-to-Speech
Deezer Research（DeepZ 研究院）；Loria（洛林实验室）；IDIAP（日内瓦人工智能实验室）
本文提出LibriQuote数据集，通过增强语音语料库的表达性，提升文本到语音系统的表达力和可懂度，同时公开数据集和评估资源以促进可重复性。
2026-04-21 cs.CL cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
Neosapience, Inc.（Neosapience公司）
近年来，表达性文本到语音的性能有所改善。然而，合成语音的风格控制通常限于离散的情感类别，并且需要由目标说话者以目标风格记录的训练数据。在许多实际情况下，用户可能没有记录在目标情感中的参考语音，但仍然有兴趣仅通过键入期望情感风格的文本描述来控制语音风格。在本文中，我们提出了一个基于文本的接口的情感风格控制和跨扬声器的风格转移多扬声器TTS。我们提出了一种双模态风格编码器，该编码器使用预先训练好的语言模型来模拟文本描述嵌入和语音风格嵌入之间的语义关系。为了进一步改善不相交的多风格数据集上的跨说话人风格传递，我们提出了新的风格损失。实验结果表明，我们的模型可以生成高质量的表达语音，即使在看不见的风格。
2022-07-13 cs.CL cs.LG cs.SD
Exploring synthetic data for cross-speaker style transfer in style representation based TTS
Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学（UNICAMP））；CPQD
本研究探索利用语音转换（VC）模型生成的合成数据辅助TTS实现跨说话人风格迁移，并结合音色扰动与原型角度损失预训练风格编码器以缓解说话人泄露，有效提升了跨说话人及跨语言场景下的语音自然度、说话人相似度和口音迁移效果。
2024-09-25 cs.SD eess.AS
IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech
针对现有自回归TTS模型时长难精确控制的问题，提出IndexTTS2，支持两种生成模式，实现情感与音色解耦控制，通过三阶段训练和软指令机制提升效果，多项指标优于现有最优零样本TTS模型。
2025-09-03 cs.AI cs.CL cs.SD
Low-resource expressive text-to-speech using data augmentation
Amazon（亚马逊）
虽然最近的神经文本转语音（TTS）系统表现得非常好，但它们通常需要来自目标说话者以期望的说话风格阅读的大量录音。在这项工作中，我们提出了一种新颖的三步方法，以避免记录大量目标数据的昂贵操作，以便用短短15分钟的此类记录来构建富有表现力的风格声音。首先，我们通过语音转换来增强数据，方法是利用来自其他说话者的所需说话风格的录音。接下来，我们在可用的录音上使用合成数据来训练TTS模型。最后，我们对该模型进行微调，以进一步提高质量。我们的评估表明，所提出的变化带来了显着的改进，在许多方面的合成语音感知非增强模型。我们证明了所提出的方法2风格（新闻播音员和会话），对各种扬声器，并在单和多扬声器模型，说明了我们的方法的鲁棒性。
2021-06-01 cs.CL cs.SD eess.AS
Prompting Test-Time Scaling Is A Strong LLM Reasoning Data Augmentation
MBZUAI
提出P-TTS方法，仅用90个精选示例通过测试时提示强度变化生成推理数据，微调Qwen-2.5模型，在数学推理基准上显著提升准确率，实现低成本数据增强。
2025-10-10 cs.AI cs.CL cs.LG
RALL-E: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis
Microsoft（微软公司）；The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对大语言模型驱动的零样本TTS鲁棒性差的问题，提出RALL-E方法，通过思维链提示拆解任务并结合时长引导的自注意力，显著降低词错率与难句错误率。
2024-05-19 cs.AI cs.CL cs.LG
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
会话文语转换（TTS）的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而，在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响，这在先前的工作中没有得到很好的研究。因此，我们提出了一种新的表达会话TTS模型，称为FCTalker，学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言，FCTalker包括细粒度和粗粒度编码器，以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模，细粒度对话编码器构建在对话BERT模型之上。实验结果表明，所提出的方法优于所有基线，并产生更多的表达语音，是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
DiCLET-TTS: Diffusion Model based Cross-lingual Emotion Transfer for Text-to-Speech -- A Study between English and Mandarin
Northwestern Polytechnical University（西北工业大学）；Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出DiCLET-TTS，一种基于扩散模型的跨语言情感迁移方法，通过情感相关语言先验和正交投影解缠模块解决外国口音与情感表现力不足问题，在英语和普通话间实现高效情感迁移。
2023-09-02 cs.SD eess.AS
A2TTS: TTS for Low Resource Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出A2TTS，一种基于扩散模型和说话人编码器的多语言TTS系统，通过交叉注意力时长预测与无分类器引导提升零样本多说话人生成能力，并在IndicSUPERB数据集上验证了七种低资源印度语言的效果。
2025-07-21 cs.AI cs.CL cs.SD
DiaMoE-TTS: A Unified IPA-Based Dialect TTS Framework with Mixture-of-Experts and Parameter-Efficient Zero-Shot Adaptation
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；AI Lab, Giant Network（巨量网络AI实验室）
提出DiaMoE-TTS统一框架，以IPA标准化方言语音表征，结合方言感知MoE、LoRA与条件适配器，实现开放数据驱动下新方言和专业领域的参数高效零样本语音合成。
2025-09-25 cs.CL cs.SD eess.AS
Cross-speaker style transfer for text-to-speech using data augmentation
Amazon Alexa, TTS Research（亚马逊 Alexa TTS 研究部）
我们解决的问题，跨扬声器的风格转移的文本转语音（TTS）使用数据增强通过语音转换。我们假设有一个语料库的中立的非表达性数据从一个目标扬声器和支持会话表达数据从不同的扬声器。我们的目标是建立一个TTS系统，是表达，同时保留目标扬声器的身份。所提出的方法依赖于语音转换，首先从一组支持表达的扬声器生成高质量的数据。然后将语音转换后的数据与来自目标说话人的自然数据合并，并用于训练单说话人多风格TTS系统。我们提供的证据表明，这种方法是有效的，灵活的，可扩展的。使用一个或多个支持扬声器以及可变量的支持数据来评估该方法。我们进一步提供的证据表明，这种方法允许一些可控性的发言风格，当使用多个支持扬声器。最后，我们将我们提出的技术扩展到7种语言的14个扬声器。结果表明，我们的技术不断提高合成样本的风格相似性，同时保留目标扬声器的身份。
2022-02-10 cs.CL cs.LG cs.SD
ComedicSpeech: Text To Speech For Stand-up Comedies in Low-Resource Scenarios
Renmin University of China（中国人民大学）
本文提出ComedicSpeech系统，通过韵律编码器、条件时长预测器和喜剧演员相关特殊标记，在低资源场景下实现单口喜剧的高表现力语音合成。
2023-05-20 cs.AI cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
Facial Expression-Enhanced TTS: Combining Face Representation and Emotion Intensity for Adaptive Speech
Sogang University（西江大学）
本文提出零样本TTS模型FEIM-TTS，结合面部表征与情感强度生成自适应情感语音，提升了视障人群无障碍体验。
2024-09-24 cs.AI cs.SD eess.AS
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出基于半监督对比学习的多说话人TTS方法，通过多层级对比学习提取解耦的风格、情感与说话人表征，并结合半监督策略利用多领域数据，整合至改进VITS模型，实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
