Open-Source Full-Duplex Conversational Datasets for Natural and Interactive Speech Synthesis
Beijing University of Civil Engineering and Architecture（北京建筑大学）
为提升对话式TTS系统合成语音的自然度与交互性，研究团队发布中英双语共15小时的开源双轨全双工自发对话数据集，经微调实验验证其有效性，相关资源全部公开以支持领域研究。
2025-09-04 cs.SD
Pronunciation Dictionary-Free Multilingual Speech Synthesis by Combining Unsupervised and Supervised Phonetic Representations
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
提出了一种结合无监督语音表示（UPR）和有监督语音表示（SPR）的多语种语音合成方法，避免了对目标语言发音词典的依赖。该方法采用预先训练好的wav 2 vec 2.0模型提取不确定性特征，采用连接主义时态分类（CTC）损失建立与语言无关的自动语音识别（LI-ASR）模型，从目标语言的音频数据中提取分段级的自动语音识别。然后，设计了一个声学模型，该模型首先从文本中分别预测UPR和SPR，然后组合预测的UPR和SPR以生成梅尔谱图。六种语言的实验结果表明，所提出的方法优于直接预测的方法，从字符或音素序列和消融模型，仅利用UPR或SPR的梅尔频谱图。
2022-06-02 cs.SD eess.AS
MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation
National Taiwan University（国立台湾大学）；NVIDIA
本文提出MoVE模型，通过混合语音专家捕捉混合表达状态，提升语音到语音翻译中非言语声音的还原能力，实现更高的自然度和情感忠实度。
2026-04-19 cs.AI cs.CL cs.SD
Representation Mixing for TTS Synthesis
MILA（蒙特利尔学习算法研究所）
最近使用深度学习的基于字符和音素的参数化TTS系统在自然语音生成方面表现出了强大的性能。然而，在字符或音素输入之间的选择可能会对实际部署造成严重限制，因为在某些情况下，直接控制发音至关重要。我们展示了一种简单的方法，在一个单一的编码器，命名为表示混合，使字符，音素，或混合表示推理过程中的灵活选择多种类型的语言信息。在公共有声读物语料库上的实验和用户研究表明了该方法的有效性。
2018-11-24 cs.CL cs.LG cs.SD
Combining speakers of multiple languages to improve quality of neural voices
Apple（苹果公司）
在这项工作中，我们探索了多种架构和训练程序，以开发一个多说话人和多语言的神经TTS系统，其目标是a）当目标语言的可用数据有限时提高质量，b）实现跨语言合成。我们报告了一个大型实验的结果，该实验使用了15个不同地区的8种不同语言的30名扬声器。该系统在每个扬声器相同的数据量上进行训练。与单说话者模型相比，当所建议的系统被微调到说话者时，它在大多数情况下产生明显更好的质量，而它仅使用少于用于构建单说话者模型的说话者数据的$40\%$。在跨语言合成中，平均而言，生成的质量在本地单说话者模型的$80\%$内，就平均意见得分而言。
2021-08-17 cs.CL cs.SD eess.AS
Combining Masked Language Modeling and Cross-Modal Contrastive Learning for Prosody-Aware TTS
MTUCI（莫斯科电信与信息技术大学）
本文研究了基于扩散模型的语音合成中多阶段预训练对语调建模的影响，通过掩码语言建模与混合音素对比学习相结合，提升了生成质量与感知指标。
2026-10-23 cs.SD eess.AS
NonverbalTTS: A Public English Corpus of Text-Aligned Nonverbal Vocalizations with Emotion Annotations for Text-to-Speech
VK LabRussia（VK实验室）；YandexRussia（Yandex公司）
本文构建并发布了一个 17 小时、含 10 类非言语发声和 8 类情感标注的公开英语 TTS 数据集 NonverbalTTS，并通过微调开源 TTS 模型验证其性能可与闭源系统 CosyVoice2 相媲美。
2025-07-17 cs.LG cs.SD
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法，引入随机单调对齐机制，以VALL-E 10.3%的参数实现更优性能，为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate（优必选机器人公司）；Novosibirsk State University（新西伯利亚国立大学）
在语音合成和语音增强系统中，梅尔声谱图在声学表示中需要是精确的。然而，生成的频谱图过于平滑，不能产生高质量的合成语音。受图像到图像转换的启发，我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题，以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络，我们可以生成增强的频谱图，以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数（MOS）的3.71和4.01比基线结果的3.29和3.84，而使用声码器Griffin-Lim和WaveNet，分别。
2019-12-03 cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
本文通过结合LLaMA/OPT和VALL-E，探索了三种将大语言模型与语音合成模型集成的方法，发现以LLM作为文本编码器的耦合方法效果最佳，显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Fast and small footprint Hybrid HMM-HiFiGAN based system for speech synthesis in Indian languages
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于隐马尔可夫模型（HMM）的文本到语音（HTS）提供了说话风格的灵活性以及快速训练和合成，同时计算强度较低。HTS即使在低资源情况下也表现良好。主要缺点是与E2 E系统相比，语音质量较差。提出了一种将基于HMM的特征生成和基于神经网络的HiFi-GAN声码器相结合的方法来提高HTS合成质量。HTS是在高分辨率的梅尔频谱图而不是传统的梅尔广义系数（MGC）上训练的，并且与输入文本对应的输出梅尔频谱图用于在印度语言上训练的HiFi-GAN声码器中，以产生与E2 E系统等效的自然度，如DMOS和PC测试所证明的。
2023-02-13 cs.SD eess.AS
Differentiable Time-Varying Linear Prediction in the Context of End-to-End Analysis-by-Synthesis
Queen Mary University of London（伦敦玛丽女王大学）
本文提出将GOLF声码器的高效时不变线性预测推广到时变情形，实现逐样本可微分LP端到端训练，并在语音重建质量和听音测试中优于逐帧方法及可微分WORLD声码器。
2024-10-18 cs.SD eess.AS
EmoMix: Emotion Mixing via Diffusion Models for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
针对情感 TTS 情感类型有限且强度控制不足的问题，本文提出 EmoMix，利用扩散模型与预训练 SER 嵌入，在单次采样中混合不同情感条件噪声，实现可控强度与混合情感语音合成。
2023-06-01 cs.SD eess.AS
Task Vector in TTS: Toward Emotionally Expressive Dialectal Speech Synthesis
School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Aviation Electric Co., Ltd（上海航空电子有限公司）
本文提出HE-Vector方法，通过构建任务向量和层次整合实现情感表达的方言语音合成，提升合成语音的表达性和可控性。
2025-12-21 cs.LG cs.SD
Improving Trajectory Modelling for DNN-based Speech Synthesis by using Stacked Bottleneck Features and Minimum Generation Error Training
University of Edinburgh（爱丁堡大学）
我们提出了两种新的技术--堆叠瓶颈特征和最小生成错误训练标准--来提高基于深度神经网络（DNN）的语音合成的性能。这些技术解决了当前典型的基于DNN的合成框架内的逐帧独立性和忽略静态和动态特征之间的关系的相关问题。堆叠瓶颈特征，这是一个声学通知的语言表示，提供了一种有效的方法，包括在输入更详细的语言背景。最小生成误差训练准则最小化跨话语的总体输出轨迹误差，而不是独立地最小化每帧的误差，并且因此考虑静态和动态特征之间的相互作用。这两种技术可以很容易地结合起来，以进一步提高性能。我们提出了客观和主观的结果，证明了所提出的技术的有效性。主观结果表明，将这两种技术相结合，可以产生比传统DNN或长短期记忆（LSTM）递归神经网络（RNN）系统更自然的合成语音。
2016-04-05 cs.CL cs.NE cs.SD
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST（韩国科学技术院）；NYU（纽约大学）；Doshisha Univ.（同志社大学）；UTokyo（东京大学）；Nantes Université（南特大学）；CMU（卡内基梅隆大学）
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛，结合 Fréchet Audio Distance 与人类感知评估文本转音频模型，揭示模型规模、架构和类别差异，并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
在现有的跨说话人风格传递任务中，需要具有多风格录音的源说话人来为目标说话人提供风格。然而，一个演讲者很难表达所有预期的风格。在本文中，一个更一般的任务，这是产生表达语音的任何风格和音色的组合从多说话人语料库中，每个扬声器有一个独特的风格，提出。为了实现这一任务，提出了一种新的方法。该方法是一个基于Tacotron 2的框架，但具有细粒度的基于文本的韵律预测模块和说话人身份控制器。实验表明，该方法可以成功地表达一个说话人的风格与木材的另一个说话人绕过依赖于单个说话人的多风格语料库。此外，韵律预测模块中使用的显式韵律特征可以通过调整韵律特征的值来增加合成语音的多样性。
2021-12-23 cs.SD eess.AS
Statistical Parametric Speech Synthesis Using Generative Adversarial Networks Under A Multi-task Learning Framework
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
在本文中，我们的目标是提高合成语音的性能在统计参数语音合成（SPSS）的生成对抗网络（GAN）的基础上。特别是，我们提出了一种新的架构结合传统的声学损失函数和GAN的歧视性损失下的多任务学习（MTL）框架。均方误差（MSE）通常用于估计深度神经网络的参数，它只考虑原始音频和合成音频之间的数值差异。为了缓解这个问题，我们引入了GAN作为第二个任务，以确定输入是否是具有特定条件的自然语音。在此MTL框架中，MSE优化提高了GAN的稳定性，同时GAN产生的样本具有更接近自然语音的分布。听力测试表明，多任务结构可以产生更自然的语音，满足人类的感知比传统的方法。
2017-07-11 cs.SD
MetalGAN: Multi-Domain Label-Less Image Synthesis Using cGANs and Meta-Learning
University of Parma（帕尔马大学）
图像合成是当前计算机视觉和深度学习研究领域中最受关注的图像处理课题之一。研究者们致力于解决这一问题，主要集中在图像质量和尺寸、域和姿态变化、网络结构等方面，其中，使用单一结构生成不同域的图像是图像生成的一个重要目标。事实上，一个单一的多域网络将允许更大的灵活性和鲁棒性的图像合成任务比其他方法。本文提出了一种新的结构和训练算法，它能够产生多域输出使用一个单一的网络。数据集的一小部分是有意使用的，并且没有硬编码的标签（或类）。这是通过结合用于图像生成的条件生成对抗网络（cGAN）和用于域切换的元学习算法来实现的，我们称我们的方法为MetalGAN。该方法已被证明是适当的解决多领域的问题，并验证了面部属性转移，使用CelebA数据集。
2020-06-25 cs.CV cs.LG stat.ML
Preference Optimization for Non-Verbal Vocalization Synthesis
Nanyang Technological University（南洋理工大学）；LIGHTSPEED；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
本文针对支持非言语发声的文本转语音系统，研究偏好优化相关设计，提出NV-CER指标，在Emilia-NV等数据集上验证标准DPO设置的有效性，为相关后训练提供实用见解。
2026-08-26 cs.AI cs.LG eess.AS
SynParaSpeech: Automated Synthesis of Paralinguistic Datasets for Speech Generation and Understanding
School of Artificial Intelligence, Beijing University of Posts and Telecommunications, China（北京邮电大学人工智能学院）；Hello Group Inc., China（Hello集团有限公司）；Institute of Automation, Chinese Academy of Sciences, China（中国科学院自动化研究所）
本文提出自动化框架构建含6类、118.75小时精确标注自然会话语音的 SynParaSpeech 数据集，以促进副语言语音合成与事件检测。
2025-09-28 cs.CL eess.AS
HMM-based data augmentation for E2E systems for building conversational speech synthesis systems
本文提出了一种方法来建立一个高质量的文本到语音（TTS）系统的技术领域使用数据增强。端到端（E2E）系统在基于隐马尔可夫模型（HMM）的合成语音上进行训练，并进一步用录音室记录的TTS数据进行微调以改善合成语音的音色。这项工作背后的动机是，由于HMM系统能够准确地模拟音素的持续时间分布，因此通常不存在单词跳过和重复的问题。依赖于上下文的五音建模，以及基于树的聚类和状态绑定，可以处理看不见的上下文和词汇表外的单词。语言模型也被用来进一步减少合成错误。主观评价表明，语音使用所提出的系统是优于基线E2E合成方法的可懂度相结合时，从HMM和E2E框架的补充属性。进一步的分析强调了拟议方法在低资源情景中的功效。
2022-12-22 eess.AS
