A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings
Language Technologies Research Center, IIIT Hyderabad(语言技术研究中心,印度海得拉巴国际信息技术学院)
本研究探索TTS韵律嵌入在非母语语音重音检测中的效用,基于FastSpeech2提取时长、能量、音高嵌入,在两个语料库上实验验证其准确率显著优于启发式特征和Wav2Vec-2.0表示。
2024-12-11 cs.CL eess.AS
Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows
Alexa AI
最近,文本到语音系统的质量几乎与人类语音无法区分。然而,这些系统的韵律通常比自然语音更平坦,产生具有低表达力的样本。在文语转换系统中,说话人身份和韵律的分离是提高自然度和产生更多可变合成的关键。本文提出了一种新的神经文本到语音模型,通过调节Tacotron 2-like架构上的流规范化的扬声器嵌入,并通过用一个新的学习潜在分布来代替参考编码器,负责建模由于韵律的句内变异性,来解决解纠缠问题。通过消除参考编码器依赖性,通常发生在这种系统中的扬声器泄漏问题消失了,在推理时产生更独特的合成。新模型实现了显着更高的韵律方差比基线在一组定量韵律特征,以及更高的扬声器的独特性,而不会降低扬声器的可懂度。最后,我们观察到,归一化的扬声器嵌入使更丰富的扬声器插值,大大提高了新的插值扬声器的独特性。
2021-06-10 cs.CL cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);National Institute of Informatics(日本国立信息学研究所)
端到端的文本到语音(TTS)模型是否过度参数化?这些模型可以被修剪到什么程度,它们的合成能力会发生什么变化?这项工作作为一个起点,探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外,我们还探讨了TTS修剪的几个方面:微调数据量与稀疏性,TTS增强以利用未说出的文本,以及结合知识蒸馏和修剪。我们的研究结果表明,不仅是端到端的TTS模型高度prunable,而且,也许令人惊讶的是,修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性,具有类似的韵律。我们所有的实验都是在公开的模型上进行的,这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型,以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in Text-to-Speech
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
表达型文本转语音(TTS)是近年来的研究热点,主要研究语音中的韵律建模。韵律建模存在几个挑战:1)在先前的韵律建模工作中使用的提取的音高存在不可避免的错误,这损害了韵律建模; 2)韵律的不同属性(例如,音高、时长和能量)相互依赖,共同产生自然韵律; 3)由于韵律的高度可变性和用于TTS训练的高质量数据的有限量,韵律的分布不能完全成形。为了解决这些问题,我们提出了ProsoSpeech,它使用在大规模未配对和低质量文本和语音数据上预训练的量化潜在向量来增强韵律。具体来说,我们首先介绍了一个字级韵律编码器,它量化的低频段的语音和压缩的韵律属性的潜在韵律向量(LPV)。然后,我们介绍了一个LPV预测器,预测LPV给定的词序列。我们在大规模文本和低质量语音数据上预训练LPV预测器,并在高质量TTS数据集上对其进行微调。最后,我们的模型可以生成表达语音的预测LPV的条件。实验结果表明,与基线方法相比,ProsoSpeech可以生成具有更丰富韵律的语音。
2022-02-16 cs.CL cs.SD eess.AS
Daisy-TTS: Simulating Wider Spectrum of Emotions via Prosody Embedding Decomposition
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出基于情感结构模型的情感文本转语音设计 Daisy-TTS,通过韵律编码器学习情感可分离的韵律嵌入,实现了对基本情感、次级情感混合、情感强度及情感极性的模拟,在感知评估中优于基线。
2024-06-27 cs.CL cs.SD eess.AS
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
韵律边界在文本到语音合成(TTS)的自然度和可读性方面起着重要的作用。然而,韵律边界标签的获取依赖于人工标注,这是昂贵的和耗时的。在本文中,我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练,并以三元组格式对TTS数据进行联合微调:{语音,文本,韵律}。自动评测和人工评测的实验结果表明:1)本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2)自动韵律边界标注的质量与人工标注相当; 3)使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
DC CoMix TTS: An End-to-End Expressive TTS with Discrete Code Collaborated with Mixer
Sogang University(西江大学)
本文提出DC CoMix TTS,通过在参考编码器输入引入离散码并应用修改后的MLP-Mixer,实现轻量化的端到端韵律迁移TTS,有效缓解内容泄露问题并提升说话人无关韵律建模效果。
2023-06-28 cs.CL cs.SD eess.AS
Cross-Utterance Conditioned VAE for Non-Autoregressive Text-to-Speech
ShanghaiTech University(上海科技大学);Cambridge University(剑桥大学);Neurowave Ai Limited(Neurowave人工智能有限公司);Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
韵律变化建模对于在端到端的文语转换(TTS)系统中合成自然和富有表现力的语音至关重要。在本文中,一个跨话语条件VAE(CUC-VAE)提出了估计后验概率分布的潜在韵律特征为每个音素的条件声学特征,说话人的信息,并从过去和未来的句子中获得的文本特征。在推理时,而不是VAE使用的标准高斯分布,CUC-VAE允许从特定于话语的先验分布采样条件下的跨话语信息,这使得由TTS系统生成的韵律特征与上下文相关,并且更类似于人类自然产生韵律的方式。CUC-VAE的性能通过自然度,可懂度和定量测量,包括单词出错率和韵律属性的标准差的定性听力测试进行评估。在LJ-Speech和LibriTTS数据上的实验结果表明,该系统提高了语音的自然度和韵律多样性,并具有清晰的边界。
2022-05-09 cs.CL cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时,文本到语音(TTS)的最新进展已经提高了接近人类能力的质量和自然度。但是,要实现类似人类的交流,仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题,特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法,它利用语言信息,利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明,该方法提高了韵律和自然的复杂话语,以及在长形式阅读(LFR)。
2020-11-18 cs.CL cs.SD eess.AS
A Comparative Analysis of Pretrained Language Models for Text-to-Speech
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
本研究首次对比分析15种预训练语言模型在文本到语音的韵律预测和停顿预测任务中的表现,发现模型大小与质量呈对数关系,且实证结果与GLUE分数强相关。
2023-09-04 cs.CL cs.SD eess.AS
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University(哥伦比亚大学)
大规模预训练的语言模型已被证明有助于提高文本到语音(TTS)模型的自然度,使它们能够产生更自然的韵律模式。然而,这些模型通常是单词级或超音素级的,并且与音素联合训练,使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中,我们提出了一个音素级的BERT(PL-BERT)的借口任务,预测相应的字随着定期掩蔽音素预测。主观评价表明,我们的音素级BERT编码器已显着提高了平均意见分数(MOS)的额定自然度的合成语音相比,国家的最先进的(SOTA)的StyleTTS基线外的分布(OOD)的文本。
2023-01-20 cs.CL cs.SD eess.AS
Multilingual Prosody Transfer: Comparing Supervised & Transfer Learning
Indraprastha Institute of Information Technology(因德拉普拉斯信息技术学院)
本研究对比监督微调与迁移学习两种适配预训练单语TTS模型至多语言场景的方法,通过MOS、RA、MCD三项指标验证,发现迁移学习性能更优,可为低资源语言TTS模型构建提供支撑。
2024-06-18 cs.CL cs.SD eess.AS
Applying Syntax$\unicode{x2013}$Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Graduate School of Arts and Sciences, The University of Tokyo(东京大学综合文化研究科)
端到端的文本到语音合成(TTS)直接从文本或音素的字符串生成语音声音,与传统的TTS相比提高了语音合成的质量。然而,大多数以前的研究都是基于主观的自然性进行评估,并没有客观地检查他们是否可以再现语音现象的音高模式,如降阶,节奏提升,并初步降低,反映了日语的句法结构。这些现象可以用语音制约和句法$\unicode{x2013}$韵律映射假说(SPMH)来解释。虽然心理语言学的一些实验已经证实了SPMH的有效性,但它是否能在TTS中实现仍然是一个关键问题。为了综合涉及句法或语音约束的语言现象,我们提出了一个基于SPMH和韵律良构性约束的语音符号模型。实验结果表明,所提出的方法合成的音高模式类似的语言学实验中报告的现象,初始降低和节奏提升。所提出的模型有效地合成语音现象的测试数据中,没有明确包括在训练数据。
2022-03-29 cs.CL cs.SD eess.AS
ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs
University of California, Los Angeles(加州大学洛杉矶分校);Flawless AI;Imperial College London(伦敦帝国学院)
提出ProMode模型,通过部分掩码的声学和文本输入预测F0和能量等韵律特征,在GigaSpeech数据集上训练并在TTS系统中展现出优于基线的韵律预测和感知偏好。
2025-08-12 cs.CL cs.LG cs.SD
Exploiting Syntactic Features in a Parsed Tree to Improve End-to-End TTS
Northwestern Polytechnical University(西北工业大学)
端到端的TTS,它可以预测语音直接从一个给定的序列的字素或音素,已显示出改进的性能比传统的TTS。然而,它的预测能力仍然受到训练数据的声学/语音覆盖率的限制,通常受到训练集大小的约束。为了进一步提高语音合成质量的发音,韵律和感知的自然度,我们建议利用嵌入在一个句法解析树,一个句子的短语/单词间的信息被组织在一个多级树结构的信息。具体而言,两个关键特征:短语结构和相邻词之间的关系进行了研究。在三个测试集上的主观听觉实验结果表明,该方法能有效地提高基线系统合成语音的发音清晰度、韵律感和自然度。
2019-04-09 cs.AI cs.CL cs.LG
Controllable Accented Text-to-Speech Synthesis
Inner Mongolia University(内蒙古大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学)
带口音的文本到语音(TTS)合成寻求生成具有口音(L2)的语音作为标准版本(L1)的变体。重音TTS合成具有挑战性,因为L2在语音渲染和韵律模式方面都不同于L1。此外,对于话语中的重音强度的控制没有简单的解决方案。在这项工作中,我们提出了一个神经TTS架构,使我们能够控制口音和它的强度在推理过程中。这是通过三个新的机制来实现的,1)口音变化适配器,用于利用三个韵律控制因素(即音高、能量和持续时间)来对复杂的口音变化进行建模; 2)口音强度建模策略,用于量化口音强度; 3)一致性约束模块,用于鼓励TTS系统以精细水平呈现期望的口音强度。实验结果表明,该系统在重音渲染和亮度控制方面优于基线模型。据我们所知,这是第一次研究重音TTS合成显式强度控制。
2022-09-22 cs.CL cs.SD eess.AS
BERT, can HE predict contrastive focus? Predicting and controlling prominence in neural TTS using a language model
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(GIPSA实验室);LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);INRIA(法国国家信息与自动化研究所);NAVER LABS Europe(NAVER欧洲实验室)
最近的几项研究已经测试了使用Transformer语言模型表示来推断文本到语音合成(TTS)的韵律特征。虽然这些研究已经探讨了韵律一般,在这项工作中,我们特别是在预测对比焦点的人称代词。这是一项特别具有挑战性的任务,因为它通常需要语义、推理和/或实用知识来正确预测。我们收集语料库的话语包含对比焦点,我们评估的准确性的BERT模型,微调预测量化的声学突出功能,对这些样本。我们还研究了过去的话语如何为这种预测提供相关信息。此外,我们评估的可控性代词突出的TTS模型条件下的声学突出功能。
2022-07-04 cs.CL eess.AS
CrossVoice: Crosslingual Prosody Preserving Cascade-S2ST using Transfer Learning
Indraprastha Institute of Information Technology(因德拉普拉斯塔信息技术学院)
本研究提出新型级联式跨语言语音翻译系统CrossVoice,借助迁移学习保留跨语言韵律,实验证明其在翻译质量、韵律保留及自然度上表现优异,验证了该技术路线的有效性。
2024-06-18 cs.CL cs.SD eess.AS
Exact Prosody Cloning in Zero-Shot Multispeaker Text-to-Speech
University of Stuttgart(斯图加特大学)
使用未转录的参考样本克隆说话人的声音是现代神经文语转换(TTS)方法的重大进展之一。最近还提出了用于模仿转录的参考音频的韵律的方法。在这项工作中,我们把这两个任务一起第一次通过话语级归一化结合话语级说话人嵌入。我们还介绍了一个轻量级的对齐器,用于提取细粒度的韵律特征,可以在几秒钟内对单个样本进行微调。我们表明,它是可能的克隆的声音的扬声器,以及独立的语音参考的韵律没有任何质量下降和高相似性的原始语音和韵律,我们的客观评价和人类的研究表明。我们所有的代码和训练模型都是可用的,还有静态和交互式演示。
2022-10-21 cs.CL cs.SD eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts(美国艺电)
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性(例如参考语音的音高和响度轮廓)并入现代神经文本到语音(TTS)合成器(例如Tacotron 2(TC2))中。更具体地,从参考音频中提取一小组声学特征,然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估,并提出了一种新的韵律迁移的客观评估。听力测试表明,合成的语音被评为高度自然的,韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
Prosody Learning Mechanism for Speech Synthesis System Without Text Length Limit
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
近年来的神经语音合成系统逐渐将重点放在韵律控制上,以提高合成语音的质量,但很少将韵律的可变性以及韵律与语义的相关性一起考虑。本文提出了一种基于语音合成系统的语音韵律学习机制,该机制通过韵律学习器从语音谱中提取语音的韵律信息,并结合音素序列重构语音谱。同时,从预训练的语言模型中引入文本的语义特征,以改善韵律预测结果。此外,本文还提出了一种新的自注意结构--局部注意结构,该结构利用相对位置矩阵来描述序列的相对位置信息,从而不需要对位置进行编码,从而解除了对输入文本长度的限制。对英语和汉语的实验表明,该模型得到了较好的韵律效果。特别是在普通话合成中,我们提出的模型优于基准模型,MOS差距为0.08,合成语音的整体自然度得到了显着改善。
2020-08-13 cs.CL cs.SD eess.AS
Word-wise intonation model for cross-language TTS systems
STC, Ltd(STC有限公司);ITMO University(ITMO大学)
本文提出一种可跨语言推广的逐词语调模型,通过音高简化与动态时间规整聚类消除重音位置变异性,可用于 TTS 韵律建模与语调研究。
2024-09-30 cs.CL cs.SD eess.AS
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University(西北工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而,它仍然是具有挑战性的再现类似的高质量时,一个完整的段落被认为是在文语转换,其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难,我们建议在训练中考虑跨句子,嵌入结构来建模语言和韵律信息。三个子模块,包括语言感知,韵律感知和停顿位置网络,一起训练与修改Tacotron 2。具体来说,学习嵌入在一个段落中的信息和相应的组成句子之间的关系,我们利用语言感知和韵律感知网络。编码器捕获段落中的信息,利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库(4.08小时)上训练,由一位女性汉语普通话者记录,所提出的TTS模型表明,它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息,例如连续句子之间的中断和韵律变化。测试的段落文本,其长度类似于,长于,或远长于典型的段落长度的训练数据,TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Emphasis control for parallel neural TTS
Apple(苹果公司)
最近的并行神经文本到语音(TTS)合成方法能够产生语音高保真度,同时保持高性能。然而,这些系统往往缺乏对输出韵律的控制,从而限制了给定文本的语义信息。本文提出了一种分层并行神经TTS系统的韵律强调控制学习的潜在空间,直接对应于一个重点的变化。比较潜在空间的三个候选特征:1)句子中的词内的音高和持续时间的方差,2)从音高、能量和持续时间计算的基于小波的特征,以及3)上述两种方法的学习组合。在推理时,通过增加给定词的潜在空间的特征值来实现词级韵律强调。实验表明,所有提出的方法都能够实现增加的重点,在整体质量损失不大的感觉。此外,在成对比较测试中,强调的话语比非强调的话语更受欢迎,这表明在现实世界中的应用前景。
2022-03-29 cs.CL eess.AS
A unified front-end framework for English text-to-speech synthesis
Speech, Audio & Music Intelligence (SAMI), ByteDance(字节跳动语音、音频与音乐智能(SAMI))
本文针对英文TTS前端各模块相互依赖被忽略的问题,提出一种统一前端框架,通过捕捉模块间依赖关系,使所有模块均达到SOTA性能。
2024-03-25 cs.AI cs.CL cs.SD
PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS
Google Research(谷歌研究院)
本文介绍了一种新的神经语音合成编码器模型PnG BERT。该模型是从原来的BERT模型,以音素和字素表示的文本作为输入,以及它们之间的词级对齐。它可以以自我监督的方式在大型文本语料库上进行预训练,并在TTS任务中进行微调。实验结果表明,使用预先训练的PnG BERT作为其编码器的神经TTS模型产生更自然的韵律和更准确的发音比基线模型,只使用音素输入,没有预先训练。主观并排的偏好评价表明,评分员之间没有统计学上显着的偏好使用PnG BERT和地面实况录音从专业扬声器合成的语音。
2021-06-07 cs.CL cs.SD eess.AS
M2-CTTS: End-to-End Multi-scale Multi-modal Conversational Text-to-Speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
针对现有对话TTS系统忽略局部细粒度韵律特征、仅依赖文本特征的不足,提出多尺度多模态对话TTS系统M2-CTTS,通过粗细粒度结合的文本与声学上下文模块建模对话,在CMOS测试中实现更优韵律表现与自然度。
2023-05-03 cs.CL cs.SD eess.AS
Improving French Synthetic Speech Quality via SSML Prosody Control
École Polytechnique(巴黎高等理工学院);Hi! PARIS Research Center(Hi!巴黎研究中心);McGill University(麦吉尔大学)
针对商业TTS系统合成法语语音缺乏表现力的问题,提出首个端到端SSML韵律控制流水线,通过两个QLoRA微调的Qwen 2.5-7B模型生成SSML标签,显著提升合成语音自然度与韵律准确性。
2025-08-24 cs.CL cs.SD
ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学);The University of Tokyo(东京大学);Hunan University(湖南大学)
提出基于流匹配的韵律感知TTS模型ProsodyFM,通过短语停顿编码器与终端语调编码器在无显式标签下增强停顿与语调控制,显著提升语音可懂度、泛化能力及细粒度可控性。
2024-12-19 cs.CL cs.SD eess.AS
Prosody Labelled Dataset for Hindi using Semi-Automated Approach
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);DSI, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);Panlingua Language Processing LLP(Panlingua语言处理有限责任合伙公司)
本研究旨在开发一个半自动标注的印地语韵律数据库,用于增强ASR和TTS系统中的语调成分,这也有助于建立语音到语音机器翻译系统。虽然没有一个标准的韵律标签存在于印地语,研究人员在过去的文献中的感知和统计方法,以推断在印地语的韵律模式的行为。基于这些现有的研究,并在很大程度上同意在印地语的语调理论,本研究试图首先开发一个手动标注的印地语语音数据的韵律语料库,然后用于训练预测模型,生成自动韵律标签。总共标注了5 000个陈述句和疑问句(23 500字)。训练后的模型对音高重音、中间短语边界和重音短语边界的准确率分别为73.40%、93.20%和43%。
2021-12-11 cs.CL
A Human-in-the-Loop Approach to Improving Cross-Text Prosody Transfer
The Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心)
针对跨文本韵律迁移中韵律与文本难以分离的问题,提出HitL方法让用户微调显著韵律因素,以较少投入提升目标文本适配性。
2024-06-06 cs.AI cs.CL cs.SD
HaikuS2S: A Cascaded System For Responding In Verse
Carnegie Mellon University(卡内基梅隆大学)
针对现有语音合成难以生成结构化诗歌的问题,提出结合ASR、LLM和TTS微调的级联系统HaikuS2S,以改善俳句的韵律与声调对齐,同时保持情感相似性。
2026-09-22 cs.AI cs.CL cs.SD
TTSDS -- Text-to-Speech Distribution Score
The University of Edinburgh(爱丁堡大学)
针对新型TTS系统评估难题,提出综合韵律、说话人身份和可懂度等因素并测量其与真实语音及噪声数据距离的TTSDS,在35个系统上验证其与人工评估高度相关。
2024-12-02 cs.CL cs.LG cs.SD
Modeling Prosodic Phrasing with Multi-Task Learning in Tacotron-based TTS
Inner Mongolia University(内蒙古大学);National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于Tacotron的端到端语音合成已经显示出卓越的语音质量。然而,合成语音中韵律的呈现仍有待改进,特别是对于长句,韵律短语错误可能会经常发生。在本文中,我们扩展了基于Tacotron的语音合成框架,明确建模的韵律短语休息。我们提出了一个多任务的学习计划Tacotron培训,优化系统预测梅尔频谱和短语休息。据我们所知,这是第一次实现多任务学习的Tacotron为基础的TTS与韵律短语模型。实验表明,我们提出的训练方案一致提高语音质量的汉语和蒙古语系统。
2020-08-11 cs.CL cs.SD eess.AS
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
lab260, Moscow Technical University of Communications and Informatics(莫斯科通信与信息学技术大学)
本文提出Balalaika流水线,结合语义VAD分割、多ASR集成与ROVER共识解码,生成包含重音、标点和IPA音素的俄语音频标注,构建了5100小时多源俄语语料库,验证了在语音去噪和TTS任务中一致的性能提升。
2026-06-24 cs.CL cs.SD eess.AS
More than Words: In-the-Wild Visually-Driven Prosody for Text-to-Speech
Google Research(谷歌研究院);DeepMind(深度思维)
在本文中,我们提出了VDTTS,视觉驱动的文本到语音模型。受配音的启发,VDTTS利用视频帧作为文本旁边的附加输入,并生成与视频信号匹配的语音。我们演示了如何使VDTTS,不像普通的TTS模型,生成的语音,不仅有韵律的变化,如自然的停顿和音高,但也同步到输入视频。在实验中,我们展示了我们的模型在几个具有挑战性的基准测试(包括VoxCeleb 2的“野外”内容)上产生了同步良好的输出,接近地面实况的视频-语音同步质量。补充演示视频,演示视频语音同步,鲁棒性扬声器ID交换,韵律,在项目页面。
2022-03-23 cs.CL cs.CV
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务部)
文语转换(TTS)模型通常将语音属性(如内容、说话人和韵律)分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模,以便将主要的语音因素(如语言内容、韵律和音色)与任何剩余因素(如记录条件和背景噪声)分离。本文提出了无监督的TTS模型,可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练,表示瓶颈和话语到帧建模,以学习帧级噪声表示。为了达到同样的目的,我们通过一个完全分层变分自编码器(FVAE)进行细粒度的韵律建模,这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Apple(苹果公司)
本研究针对语音转文本翻译系统的韵律利用问题,提出评估方法与ContraProST基准,实验发现端到端系统韵律感知能力优于级联系统,且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Multi-Modal Automatic Prosody Annotation with Contrastive Pretraining of SSWP
The Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心);Transsion(传音控股)
本文提出两阶段自动韵律标注方法,通过SSWP对比预训练增强韵律表示,并结合多模态标注器在英语韵律边界上取得SOTA性能,且对数据稀缺具有鲁棒性。
2024-06-11 cs.AI cs.CL cs.SD
Location, Location: Enhancing the Evaluation of Text-to-Speech Synthesis Using the Rapid Prosody Transcription Paradigm
University of Edinburgh(爱丁堡大学)
文本转语音合成系统通常使用平均意见得分(MOS)测试来评估,其中听众在李克特量表上对合成语音的样本进行评分。MOS测试的一个主要缺点是它们只提供总体质量的一般测量,即,话语的自然性--因此不能告诉我们合成错误发生的确切位置。这可能会使评估的适当性韵律变化的话语不确定。为了解决这个问题,我们提出了一种新的评估方法的基础上快速韵律转录范例。这允许听众实时标记话语中的错误位置,提供合成信号中发生的感知错误的概率表示。我们进行的实验证实,细粒度的评价可以映射到标准MOS测试的系统排名,但错误标记给出了一个更全面的综合韵律评估。特别是,对于标准有声读物测试集样本,我们看到错误标记始终聚集在标点符号指示的主要韵律边界处的单词周围。然而,对于基于问答的刺激,我们控制信息结构,我们看到的差异出现在神经TTS系统产生上下文适当的韵律突出的能力。
2021-07-06 cs.CL cs.SD eess.AS
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh(爱丁堡大学)
与人类说话者不同,典型的文本到语音(TTS)系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下,生成模型能够捕获多个再现的分布,从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值,因为它们最小化了均方误差。在韵律学的背景下,取平均值会产生更平淡、更无聊的演讲:一种“平均韵律”。通过设计,可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器(VAE),它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议,通过向先验分布的尾部移动,该模型将过渡到生成更多的特质,不同的渲染。这里集中在语调,我们调查自然和语调变化之间的权衡,并发现,典型的声学模型可以是自然的,或变化,但不能两者兼而有之。然而,从VAE先验的尾部采样产生比传统方法更多样的语调,同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
Low-Resource End-to-end Sanskrit TTS using Tacotron2, WaveGlow and Transfer Learning
Indian Institute of Science(印度科学学院);SDM College of Engineering and Technology(SDM工程技术学院)
端到端的文本到语音(TTS)系统已经为英语和西班牙语等欧洲语言开发,具有最先进的语音质量,韵律和自然度。然而,印度语言端到端TTS的开发在质量方面落后。在这样的任务中涉及的挑战是:1)缺乏高质量的训练数据; 2)在训练和推理期间的低效率; 3)在大词汇量的情况下的缓慢收敛。在本文报告的工作中,我们研究了使用有限的梵语数据微调英语预训练的Tacotron 2模型,以在低资源设置中合成梵语的自然发音语音。我们的实验显示令人鼓舞的结果,实现了3.38的总体MOS从37个评价良好的梵语口语知识。考虑到我们使用的语音数据仅持续2.5小时的事实,这确实是一个非常好的结果。
2022-12-07 cs.CL cs.SD eess.AS
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
在本文中,我们提出了Adapitch,一个多说话人的TTS方法,使自适应的监督模块与未转录的数据。我们设计了两个自监督模块,分别用未转录的数据对文本编码器和梅尔解码器进行训练,以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息,设计了一个有监督的TTS模块,该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分,先用无监督模式对文本编码器和梅尔解码器进行预训练和固定,然后用有监督模式对TTS进行解缠。实验结果表明,自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models
Microsoft Research(微软研究院);Microsoft Azure(微软Azure);University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Zhejiang University(浙江大学);The University of Tokyo(东京大学);Peking University(北京大学)
提出NaturalSpeech 3系统,采用分解向量量化神经编解码器与分解扩散模型,将语音属性解耦至独立子空间并分别生成,在零样本语音合成任务中实现了优于现有系统的质量、相似度与可懂度,达到与人类录音相当的水平。
2024-04-23 cs.AI cs.CL cs.LG
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for Text-to-Speech
Zhejiang University(浙江大学);Bytedance AI Lab(字节跳动人工智能实验室)
本文提出Dict-TTS,一种结合在线词典先验知识的语义感知生成式TTS模型,通过设计的S2PA模块匹配文本与词典语义以获取准确发音,无需标注音素标签,在多语言实验中显著提升了发音准确率与韵律建模。
2023-10-19 cs.CL cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent(腾讯)
本文提出一种基于语言模型的自发语音合成系统,通过系统性分类统一建模自发行为并引入细粒度韵律建模,在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
A2TTS: TTS for Low Resource Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出A2TTS,一种基于扩散模型和说话人编码器的多语言TTS系统,通过交叉注意力时长预测与无分类器引导提升零样本多说话人生成能力,并在IndicSUPERB数据集上验证了七种低资源印度语言的效果。
2025-07-21 cs.AI cs.CL cs.SD
RALL-E: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis
Microsoft(微软公司);The University of Tokyo(东京大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对大语言模型驱动的零样本TTS鲁棒性差的问题,提出RALL-E方法,通过思维链提示拆解任务并结合时长引导的自注意力,显著降低词错率与难句错误率。
2024-05-19 cs.AI cs.CL cs.LG
A unified sequence-to-sequence front-end model for Mandarin text-to-speech synthesis
Bytedance(字节跳动)
在普通话文语转换(TTS)系统中,前端文本处理模块对合成语音的可懂度和自然度有重要影响。构建一个典型的基于流水线的前端,它由多个单独的组件组成,需要大量的工作。在本文中,我们提出了一个统一的序列到序列的前端模型,将原始文本直接转换为语言特征。与基于流水线的前端相比,我们的统一前端在多音字消歧和韵律词预测方面可以达到相当的性能,并且在F1得分中将语调短语预测提高了0.0738。我们还使用Tacotron和WaveRNN实现了统一前端,以构建普通话TTS系统。由此合成的语音得到了与基于流水线的前端(4.37)相当的MOS(4.38),并且接近于人类录音(4.49)。
2019-11-11 cs.CL cs.SD eess.AS
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion
Chinese Academy of Science(中国科学院);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
文语转换(TTS)和语音转换(VC)是两个不同的任务,都是为了根据不同的输入方式生成高质量的说话语音。由于它们的相似性,本文提出了UnifySpeech,首次将TTS和VC纳入统一的框架中。该模型是基于这样的假设,即语音可以被解耦为三个独立的成分:内容信息,说话人信息,韵律信息。TTS和VC都可以看作是从输入中挖掘这三部分信息,完成语音的重构。对于TTS,语音内容信息来自文本,而在VC中,它来自源语音,因此两个任务中除了语音内容提取模块之外,其余所有单元都是共享的。我们采用矢量量化和域约束来弥合TTS和VC的内容域之间的差距。客观和主观评价结果表明,通过将两个任务结合起来,TTS获得了更好的说话人建模能力,而VC获得了令人印象深刻的语音内容解耦能力。
2023-01-10 cs.CL cs.LG cs.SD
BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data
Universidad Politécnica de Madrid(马德里理工大学);Amazon(亚马逊公司)
本文介绍了在100K小时数据上训练的10亿参数TTS模型BASE TTS,其通过自回归Transformer和卷积解码器实现文本转语音,并展示了在文本复杂句上产生自然韵律的涌现能力。
2024-02-15 cs.CL cs.LG eess.AS
XPhoneBERT: A Pre-trained Multilingual Model for Phoneme Representations for Text-to-Speech
VinAI Research(VinAI研究院)
本文提出首个多语言音素表示预训练模型XPhoneBERT,基于BERT架构和RoBERTa方法在近100种语言的3.3亿音素级句子上训练,可显著提升TTS模型的自然度与韵律表现。
2023-05-31 cs.CL cs.SD eess.AS
DiFlow-TTS: Compact and Low-Latency Zero-Shot Text-to-Speech with Discrete Flow Matching
FPT Software AI Center(FPT软件AI中心);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
提出DiFlow-TTS框架,通过离散流匹配和分解离散流去噪器,在零样本TTS中实现高质量与低延迟的平衡。
2026-06-18 cs.CL cs.CV cs.SD