Emotional Prosody Control for Speech Generation
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务公司研究院）
机器生成的语音的特点是其有限的或不自然的情感变化。当前的文本转语音系统生成具有平坦情感、从预定义集合中选择的情感、从训练数据中的韵律序列学习的平均变化或从源风格转移的语音。我们提出了一个文本转语音（TTS）系统，其中用户可以从一个连续的和有意义的情感空间（Aroup-Valence空间）中选择生成的语音的情感。所提出的TTS系统可以从文本中生成任何说话者风格的语音，并具有良好的情感控制。我们表明，该系统在训练过程中看不见的情感上工作，并且可以扩展到以前看不见的扬声器，给出他/她的语音样本。我们的工作将最先进的FastSpeech 2骨干的视野扩展到多扬声器设置，并为其提供令人垂涎的连续（和可解释的）情感控制，而不会在合成语音的质量上出现任何可观察到的退化。
2021-11-07 cs.LG cs.SD eess.AS
Improving Prosody Modelling with Cross-Utterance BERT Embeddings for End-to-end Speech Synthesis
JD AI Research（京东人工智能研究院）
尽管韵律与语篇结构的语言信息相关，但大多数文本到语音（TTS）系统仅考虑每个句子内的韵律，这使得将一段文本转换为自然和表达性语音具有挑战性。在本文中，我们建议使用相邻句子的文本嵌入，以提高韵律生成为一个段落中的每一个话语在一个端到端的方式，而不使用任何显式的韵律特征。更具体地，交叉话语（CU）上下文向量被用于增强Tacotron 2解码器的输入，所述交叉话语（CU）上下文向量由附加CU编码器基于由预训练的BERT模型提取的句子嵌入来产生。研究了两种类型的BERT嵌入，这导致使用不同的CU编码器结构。在普通话有声读物数据集和LJ-Speech英语有声读物数据集上的实验结果表明，CU信息的使用可以提高合成语音的自然度和表现力。主观听力测试显示，大多数参与者更喜欢使用CU编码器生成的语音，而不是使用标准Tacotron 2生成的语音。研究还发现，韵律可以通过改变相邻句子来间接控制。
2020-11-06 cs.LG cs.SD eess.AS
HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
Department of Electrical and Computer Engineering, Johns Hopkins University（电气与计算机工程系，约翰霍普金斯大学）
本文提出HuLA，一种两阶段韵律感知多任务学习框架，通过SSL骨干网络和韵律辅助任务提升防欺骗系统对表现力与情感合成语音的检测鲁棒性，实验证明其在跨域攻击上优于强基线。
2025-09-25 cs.LG cs.SD eess.AS
Unsupervised word-level prosody tagging for controllable speech synthesis
Shanghai Jiao Tong University（上海交通大学）
虽然在最近的研究中已经研究了神经文本到语音（TTS）中的词级韵律建模以用于各种语音合成，但是在没有特定参考的情况下手动控制语音合成仍然具有挑战性。这很大程度上是由于缺乏单词级的韵律标签。在这项工作中，我们提出了一种新的方法，无监督的词级韵律标记两个阶段，其中我们首先分组的单词到不同的类型与决策树根据其语音内容，然后使用GMM聚类的韵律在每种类型的单词分别。这种设计是基于这样的假设，即不同类型的词，如长或短的话，韵律应该标记有不同的标签集。此外，一个TTS系统与派生的词级韵律标签的可控语音合成训练。在LJSpeech上的实验表明，使用词级韵律标签训练的TTS模型不仅比典型的FastSpeech2模型获得了更好的自然度，而且获得了操纵词级韵律的能力。
2022-02-16 cs.AI cs.LG cs.SD
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个统一的系统来实现单次语音转换（VC）的音高，节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性，导致转换语音的自然度下降。此外，缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题，我们设计了一个级联的模块化系统，利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示，韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明，我们的系统优于以前的方法在自然度，可懂度，说话人可转移性，韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
Speech BERT Embedding For Improving Prosody in Neural TTS
Microsoft China（微软中国）
提出了一种语音BERT模型，用于提取语音段中的韵律信息，以改善神经文语转换（TTS）系统中合成语音的韵律特征。作为一个预先训练好的模型，它可以从大量的语音数据中学习韵律属性，这可以利用比目标TTS使用的原始训练数据更多的数据。在建议的BERT中，嵌入是从固定长度的前一段中提取的。然后，提取的嵌入与梅尔频谱图一起用于预测TTS解码器中的后续片段。在Transformer文语转换系统上的实验结果表明，本文提出的BERT方法能够提取细粒度的、段级的韵律，与话语级韵律互补，提高文语转换语音的最终韵律。在单个扬声器TTS上测量的客观失真在生成的语音和原始录音之间减小。主观听力测试也表明，所提出的方法是有利的首选TTS没有BERT韵律嵌入模块，无论是在域内和域外的应用。对于微软专业人员、单个/多个说话者和公共数据库中的LJ说话者，主观偏好类似地用新的BERT韵律嵌入来确认。TTS演示音频样本在https://judy44chen.github.io/TTSSpeechBERT/。
2021-09-14 cs.SD eess.AS
Towards End-to-End Prosody Transfer for Expressive Speech Synthesis with Tacotron
Google, Inc.（谷歌公司）
我们提出了一个扩展的Tacotron语音合成架构，学习潜在的嵌入空间的韵律，来自一个参考声学表示包含所需的韵律。我们表明，条件Tacotron在这个学习的嵌入空间的结果在合成的音频，匹配的韵律的参考信号与精细的时间细节，即使当参考和合成扬声器是不同的。此外，我们表明，一个参考韵律嵌入可以用来合成文本，是从参考话语不同。我们定义了几个定量和主观的指标来评估韵律传输，并报告结果与伴随的音频样本从单扬声器和44扬声器Tacotron模型的韵律传输任务。
2018-03-24 cs.CL cs.LG cs.SD
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University（语言与语音处理中心（CLSP），约翰·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出TTScore，一种基于条件预测离散语音令牌的无参考评估框架，用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
MiSTR: Multi-Modal iEEG-to-Speech Synthesis with Transformer-Based Prosody Prediction and Neural Phase Reconstruction
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Ss. Cyril and Methodius（圣西里尔和美多德大学）
MiSTR利用小波特征提取、Transformer解码器和神经相位声码器，从iEEG信号合成语音，实现最先进的清晰度（Pearson相关0.91）。
2025-08-05 cs.LG cs.SD eess.AS
Counterfactual Activation Editing for Post-hoc Prosody and Mispronunciation Correction in TTS Models
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）；INEEJI
提出反事实激活编辑方法，通过操作预训练TTS模型的内部表示实现事后韵律控制与误音纠正，无需重训即可在推理时优化输出。
2025-06-01 cs.AI cs.SD eess.AS
Global Rhythm Style Transfer Without Text Transcriptions
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
韵律在描述说话人的风格或情感方面起着重要的作用，但大多数非并行语音或情感风格转换算法不转换任何韵律信息。韵律的两个主要组成部分是音高和节奏。从语音中分离韵律信息，特别是节奏分量，是具有挑战性的，因为它涉及打破输入语音和分离的语音表示之间的同步。因此，大多数现有的韵律风格转换算法需要依赖于某种形式的文本转换来识别内容信息，这将其应用限制在高资源语言中。最近，SpeechSplit在无监督韵律风格迁移方面取得了相当大的进展，但无法以无监督的方式提取高级别的全局韵律风格。在本文中，我们提出了AutoPST，它可以从语音中分离出全局韵律风格，而不依赖于任何文本transanterior。AutoPST是一个基于自动编码器的韵律风格转换框架，具有一个由自我表达表征学习指导的彻底的节奏去除模块。在不同的风格转换任务上的实验表明，AutoPST可以有效地转换韵律，正确地反映目标领域的风格。
2021-06-16 cs.LG cs.SD eess.AS
ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in Text-to-Speech
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
表达型文本转语音（TTS）是近年来的研究热点，主要研究语音中的韵律建模。韵律建模存在几个挑战：1）在先前的韵律建模工作中使用的提取的音高存在不可避免的错误，这损害了韵律建模; 2）韵律的不同属性（例如，音高、时长和能量）相互依赖，共同产生自然韵律; 3）由于韵律的高度可变性和用于TTS训练的高质量数据的有限量，韵律的分布不能完全成形。为了解决这些问题，我们提出了ProsoSpeech，它使用在大规模未配对和低质量文本和语音数据上预训练的量化潜在向量来增强韵律。具体来说，我们首先介绍了一个字级韵律编码器，它量化的低频段的语音和压缩的韵律属性的潜在韵律向量（LPV）。然后，我们介绍了一个LPV预测器，预测LPV给定的词序列。我们在大规模文本和低质量语音数据上预训练LPV预测器，并在高质量TTS数据集上对其进行微调。最后，我们的模型可以生成表达语音的预测LPV的条件。实验结果表明，与基线方法相比，ProsoSpeech可以生成具有更丰富韵律的语音。
2022-02-16 cs.CL cs.SD eess.AS
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis
Google Brain（谷歌大脑）
本文在Tacotron 2文语转换模型的基础上，提出了一种层次化、细粒度、可解释的韵律潜变量模型。它实现了韵律的多分辨率建模，通过调节较细的水平表示的粗水平的。此外，它使用具有自回归结构的条件变分自动编码器（VAE）在所有潜在维度上施加分层条件。重建性能的评价表明，新的结构不会降低模型，同时允许更好的可解释性。韵律属性的解释提供了词级和音素级的韵律表征之间的比较。此外，定性和定量的评价被用来证明潜在的维度的解纠缠的改善。
2020-02-06 cs.LG cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对现有语音韵律预测器单模态、多样性不足的问题，提出基于去噪扩散概率模型的新型韵律预测器，在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion
KAIST, South Korea（韩国科学技术院）；Chung-Ang University, South Korea（Chung-Ang 大学）；The Chinese University of Hong Kong, China（香港中文大学）
提出ProsoCodec，通过将韵律建模为条件残差而非分离流，在语音转换中改善韵律保留并减少源音色泄漏。
2026-06-23 cs.SD eess.AS
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Prosody Learning Mechanism for Speech Synthesis System Without Text Length Limit
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来的神经语音合成系统逐渐将重点放在韵律控制上，以提高合成语音的质量，但很少将韵律的可变性以及韵律与语义的相关性一起考虑。本文提出了一种基于语音合成系统的语音韵律学习机制，该机制通过韵律学习器从语音谱中提取语音的韵律信息，并结合音素序列重构语音谱。同时，从预训练的语言模型中引入文本的语义特征，以改善韵律预测结果。此外，本文还提出了一种新的自注意结构--局部注意结构，该结构利用相对位置矩阵来描述序列的相对位置信息，从而不需要对位置进行编码，从而解除了对输入文本长度的限制。对英语和汉语的实验表明，该模型得到了较好的韵律效果。特别是在普通话合成中，我们提出的模型优于基准模型，MOS差距为0.08，合成语音的整体自然度得到了显着改善。
2020-08-13 cs.CL cs.SD eess.AS
DrawSpeech: Expressive Speech Synthesis Using Prosodic Sketches as Control Conditions
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对参考语音难获取、自然语言难以细粒度控制韵律的问题，提出DrawSpeech扩散模型，依据用户绘制的韵律草图恢复音高与能量轮廓并合成语音，实现友好且精确的细粒度韵律控制。
2025-01-08 cs.SD eess.AS
Going Retro: Astonishingly Simple Yet Effective Rule-based Prosody Modelling for Speech Synthesis Simulating Emotion Dimensions
audEERING GmbH（audEERING公司）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
本文提出两个基于SSML的规则模型，通过修改语音合成韵律来模拟情感维度，实验证明简单方法即可有效模拟唤醒度和效价。
2023-07-05 cs.SD eess.AS
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
Voice Conversion by Cascading Automatic Speech Recognition and Text-to-Speech Synthesis with Prosody Transfer
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Co., Ltd.（科大讯飞股份有限公司）
随着自动语音识别（ASR）和文本转语音合成（TTS）技术的发展，将ASR和TTS系统级联构成语音转换系统已成为一种直观的方式。本文提出了一种语音转换的ASR-TTS方法，该方法利用科大讯飞的ASR引擎将源语音转换为文本，利用WaveNet声码器的Transformer TTS模型将解码后的文本合成为转换后的语音。对于文语转换模型，我们提出使用韵律码来描述语音中除文本和说话人信息之外的韵律信息。韵律编码器用于提取韵律代码。在转换过程中，源韵律通过用其代码调节Transformer TTS模型来转换为转换后的语音。实验结果表明了该方法的有效性。我们的系统还在2020年语音转换挑战赛的单语言任务中获得了最佳的自然度和相似度。
2020-09-03 cs.SD eess.AS eess.SP
Dynamic Prosody Prediction in LLM-based TTS for Improving Speaker Similarity
University of Science and Technology of China（中国科学技术大学）；iFLYTEK
针对LLM-based TTS忽略风格特定韵律模式导致说话人相似度不足的问题，提出基于先前预测语音的动态音节韵律预测方法，显著提升韵律学习能力和说话人相似度。
2026-06-16 cs.SD eess.AS
Sequence to Sequence Neural Speech Synthesis with Prosody Modification Capabilities
IBM Research（IBM研究院）
现代序列到序列神经TTS系统提供接近自然的语音质量。这样的系统通常包括将语言/语音特征序列转换为声学特征序列的网络，该网络与神经声码器级联。所生成的语音韵律（即音素持续时间，音高和响度）隐含地存在于声学特征中，与频谱信息混合。虽然语音听起来很自然，但它的韵律实现是随机选择的，不能轻易改变。如果训练数据中没有韵律标记，韵律控制就变得更加困难。近年来，在无监督说话风格学习和生成方面取得了很大进展，但是在训练之后仍然需要人工检查以发现和解释系统学习的说话风格。在这项工作中，我们介绍了一个全自动的方法，使系统知道的韵律，并使连续规模上的语速和表现力的控制。虽然在许多应用中是有用的本身，所提出的韵律控制也可以提高合成语音的整体质量和表现力，如主观听力评估所示。我们还提出了一种新的增强注意力机制，有利于更好的节奏控制灵敏度和更快的注意力收敛。
2019-09-23 cs.SD eess.AS
ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM Watson人工智能实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
针对现有语音语言模型主流训练范式在韵律学习上的不足，提出ProsodyLM，通过引入便于学习韵律的词级韵律tokenization方案，使模型仅通过预训练即可获得多样化的新兴韵律处理能力。
2025-08-07 cs.CL eess.AS
Improving Prosody for Unseen Texts in Speech Synthesis by Utilizing Linguistic Information and Noisy Data
DiDi Chuxing（滴滴出行）
端到端语音合成的最新进展使得生成高度自然的语音成为可能。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将微调的基于BERT的前端与预训练的基于FastSpeech2的声学模型相结合，以改善韵律建模。预训练的BERT在多任务学习框架中的多音字消歧任务、联合中文分词（CWS）和词性（POS）标注任务以及韵律结构预测（PSP）任务上进行微调。FastSpeech 2是在大规模外部数据上进行预训练的，这些数据虽然嘈杂，但更容易获得。实验结果表明，无论是微调后的BERT模型还是预训练后的FastSpeech 2都能提高韵律，尤其是对于结构复杂的句子。
2021-11-15 cs.CL cs.SD eess.AS
FluentEditor: Text-based Speech Editing by Considering Acoustic and Prosody Consistency
Inner Mongolia University（内蒙古大学）；Zhejiang University（浙江大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出FluentEditor语音编辑模型，通过声学一致性和韵律一致性约束提升基于文本的语音编辑的局部与全局流畅性，在VCTK上取得优于先进基线的自然度和流畅性表现。
2023-09-22 cs.AI cs.SD eess.AS
Text-Free Prosody-Aware Generative Spoken Language Modeling
Facebook AI Research（脸书人工智能研究院）
语音预训练主要在分类任务上表现出有效性，而其生成新语音的能力，类似于GPT-2如何生成连贯段落，几乎没有被探索过。生成式口语建模（GSLM）\cite{Lakhotia2021}是解决语音预训练生成方面的唯一先前工作，它用发现的语音单元代替文本进行语言建模，并显示出生成有意义的新句子的能力。不幸的是，尽管消除了文本的需要，GSLM中使用的单位丢弃了大部分的韵律信息。因此，GSLM无法利用韵律来更好地理解，并且不能生成表达性的语音。在这项工作中，我们提出了一个韵律感知的生成口语语言模型（pGSLM）。它由语音的多流Transformer语言模型（MS-TLM）和自适应HiFi-GAN模型组成，MS-TLM表示为发现的单元和韵律特征流，自适应HiFi-GAN模型将MS-TLM输出转换为波形。我们设计了一系列的韵律建模和生成的指标，并重用GSLM的内容建模的指标。实验结果表明，pGSLM可以利用韵律，以改善韵律和内容建模，并产生自然，有意义的，连贯的语音给定的口头提示。音频样本可以在https://speechbot.github.io/pgslm上找到。代码和模型可在https://github.com/pytorch/fairseq/tree/main/examples/textless_nlp/pgslm上获得。
2022-05-10 cs.CL cs.LG cs.SD
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
CopyCat2: A Single Model for Multi-Speaker TTS and Many-to-Many Fine-Grained Prosody Transfer
Amazon（亚马逊）
在本文中，我们提出了CopyCat2（CC2），一种新的模型能够：a）合成语音与不同的扬声器身份，b）生成语音表达和上下文适当的韵律，和c）传输韵律在细粒度的水平之间的任何一对看到的扬声器。我们通过激活网络的不同部分来完成不同的任务。我们使用一种新颖的两阶段训练方法来训练我们的模型。在第一阶段，该模型从语音中学习说话者独立的词级韵律表示，用于多对多的细粒度韵律传输。在第二阶段，我们学习预测这些韵律表示使用文本中的上下文信息，从而使多扬声器TTS与上下文适当的韵律。我们比较CC2两个强基线，一个在TTS与上下文适当的韵律，和细粒度的韵律转移。CC2通过$22.79\%$减少了我们的基线和复制合成语音之间的自然度差距。在细粒度的韵律迁移评价中，该方法在目标说话人相似度方面相对于$33.15\%$有较大的提高。
2022-06-27 cs.SD eess.AS
Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages
Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
本研究利用多语言配音数据开展跨语言韵律细粒度分析，发现特定语言间韵律结构存在内在相关性，为表达性语音到语音翻译系统提供了实证指导。
2026-08-31 cs.CL cs.SD eess.AS
Towards Fine-Grained Prosody Control for Voice Conversion
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
在典型的语音转换系统中，现有技术利用各种声学特征（例如，音调、有声/无声标志、非周期性）来控制所生成波形的韵律。然而，韵律与语调、重音、节奏等诸多因素有关。如何利用声学特征来准确地描述韵律是一个具有挑战性的课题。为了解决这个问题，我们提出韵律嵌入模型韵律。这些嵌入是以无监督的方式从源语音中学习的。我们在专业人士的汉语语料库上进行了实验。实验结果表明，该方法能够实现韵律的细粒度控制。在具有挑战性的情况下（如源语音是一首唱歌），我们提出的方法也可以取得可喜的成果。
2020-05-27 cs.SD eess.AS
Phone-Level Prosody Modelling with GMM-Based MDN for Diverse and Controllable Speech Synthesis
针对音素级韵律建模单峰分布导致语音多样性不足的问题，提出基于GMM的MDN建模方法并扩展至多说话人TTS，还实现参考语音韵律克隆，实验验证其在多样性、自然度及说话人相似度上的优势。
2024-10-29 cs.SD eess.AS
Disentangling Prosody Representations with Unsupervised Speech Reconstruction
Zhejiang Lab（之江实验室）；University of Hamburg（汉堡大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出无监督语音重构模型Prosody2Vec，通过离散语义单元、说话人嵌入和可训练韵律编码器解耦情感韵律，并在EVC与IEMOCAP的SER任务上验证其迁移性和性能提升。
2023-09-26 cs.CL cs.SD eess.AS
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Apple（苹果公司）
本研究针对语音转文本翻译系统的韵律利用问题，提出评估方法与ContraProST基准，实验发现端到端系统韵律感知能力优于级联系统，且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Daft-Exprt: Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
提出多说话人声学模型 Daft-Exprt，通过 FiLM 条件层与对抗解耦实现任意文本上的跨说话人韵律迁移，实验显示其优于强基线并保持高自然度。
2022-04-05 cs.SD eess.AS
GraphPB: Graphical Representations of Prosody Boundary in Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文介绍了一种用于汉语语音合成的韵律边界图形表示方法（GraphPB），旨在通过图形化的方式解析输入序列的语义和句法关系，以提高韵律性能。图嵌入的节点由韵律词构成，边由韵律短语边界（PPH）和语调短语边界（IPH）构成。不同的图神经网络（GNN），如门控图神经网络（GGNN）和图长短期记忆（G-LSTM）被用作图编码器，以利用图形韵律边界信息。提出了一种图-序列模型，该模型由图编码器和注意力解码器组成。本文提出了两种将序列信息嵌入到图-序列-文-语转换模型中的技术。实验结果表明，该方法可以有效地对语音和韵律节奏进行编码。这些GNN模型的平均意见得分（MOS）显示了与最先进的序列到序列模型在韵律方面具有更好的性能的比较结果。这为端到端语音合成中的韵律建模提供了另一种方法。
2020-12-03 cs.CL cs.SD eess.AS
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务部）
文语转换（TTS）模型通常将语音属性（如内容、说话人和韵律）分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模，以便将主要的语音因素（如语言内容、韵律和音色）与任何剩余因素（如记录条件和背景噪声）分离。本文提出了无监督的TTS模型，可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练，表示瓶颈和话语到帧建模，以学习帧级噪声表示。为了达到同样的目的，我们通过一个完全分层变分自编码器（FVAE）进行细粒度的韵律建模，这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
FluentEditor2: Text-based Speech Editing by Modeling Multi-Scale Acoustic and Prosody Consistency
Inner Mongolia University（内蒙古大学）；Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
针对现有基于文本的语音编辑方法中编辑区域与未编辑区域声学、韵律一致性不足的问题，提出FluentEditor2模型，通过分层局部声学平滑约束和对比全局韵律一致性约束实现多尺度一致性建模，在VCTK、LibriTTS数据集上主观客观表现均优于现有方法。
2024-12-08 cs.CL cs.SD eess.AS
CopyCat: Many-to-Many Fine-Grained Prosody Transfer for Neural Text-to-Speech
Amazon Research（亚马逊研究院）
韵律转换（PT）是一种在合成语音时使用源音频的韵律作为参考的技术。细粒度PT旨在以非常细粒度的级别从源音频捕获韵律方面，如节奏，重点，旋律，持续时间和响度，并在合成不同目标说话者的语音时转移它们。目前的细粒度PT方法遭受源扬声器泄漏，其中合成的语音具有源扬声器的语音身份，而不是目标扬声器。为了缓解这个问题，他们在PT的质量上做出了妥协。在本文中，我们提出了CopyCat，一种新颖的，多对多PT系统，是强大的源扬声器泄漏，而不使用并行数据。我们实现这一目标，通过一种新的参考编码器架构能够捕捉时间韵律表示源扬声器泄漏是强大的。我们比较CopyCat对一个国家的最先进的细粒度PT模型，通过各种主观评价，在那里我们显示了相对改善的$47\%$的韵律传输和$14\%$在保留目标扬声器身份的质量，同时仍然保持相同的自然度。
2020-04-30 cs.SD eess.AS
ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs
University of California, Los Angeles（加州大学洛杉矶分校）；Flawless AI；Imperial College London（伦敦帝国学院）
提出ProMode模型，通过部分掩码的声学和文本输入预测F0和能量等韵律特征，在GigaSpeech数据集上训练并在TTS系统中展现出优于基线的韵律预测和感知偏好。
2025-08-12 cs.CL cs.LG cs.SD
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
韵律边界在文本到语音合成（TTS）的自然度和可读性方面起着重要的作用。然而，韵律边界标签的获取依赖于人工标注，这是昂贵的和耗时的。在本文中，我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练，并以三元组格式对TTS数据进行联合微调：{语音，文本，韵律}。自动评测和人工评测的实验结果表明：1）本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2）自动韵律边界标注的质量与人工标注相当; 3）使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
The Power of Prosody and Prosody of Power: An Acoustic Analysis of Finnish Parliamentary Speech
本文基于2008-2020年芬兰议会演讲语料，分析基频等韵律特征与议员执政/在野地位及选举任期的关系，发现议员在任期开始或在野时基频更高，并讨论了录音条件对特征稳健性的方法论影响。
2023-05-25 eess.AS
What Makes Synthetic Speech Sound Sarcastic? A Prosody-Controlled Perception Study
University of Groningen（格罗宁根大学）
通过可控神经TTS系统操纵语速、音高变化和响度，发现响度主要驱动人类对讽刺的感知，而模型更依赖语速，揭示了韵律线索权重差异。
2026-06-23 cs.SD eess.AS
Prosody-controllable spontaneous TTS with neural HMMs
KTH Royal Institute of Technology（KTH皇家理工学院）
本文在基于神经 HMM 的 TTS 系统中加入话语级韵律控制，利用小规模不规则自发语音数据实现稳定单调对齐，并验证其控制准确、音质不降且可合成两类吱嘎声。
2023-06-01 cs.HC cs.LG cs.SD
ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；The University of Tokyo（东京大学）；Hunan University（湖南大学）
提出基于流匹配的韵律感知TTS模型ProsodyFM，通过短语停顿编码器与终端语调编码器在无显式标签下增强停顿与语调控制，显著提升语音可懂度、泛化能力及细粒度可控性。
2024-12-19 cs.CL cs.SD eess.AS
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK（谷歌英国）；University of West Bohemia（西波西米亚大学）
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均，并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓，期望具有对语音的韵律方面的变化进行建模的方式，因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的，分层结构的条件变分自编码器生成韵律功能（基频，能量和持续时间）适合使用的声码器或生成模型，如WaveNet。在推理时，可以从变化层采样表示句子的韵律的嵌入，以允许韵律变化。为了有效地捕获语言输入（单词、音节和音素）的分层性质，自动编码器的编码器和解码器部分都是分层的，与语言结构一致，其中层以各自的速率动态地计时。我们在我们的实验中表明，我们的动态分层网络优于一个非分层的最先进的基线，此外，跨句子的韵律传输是可能的，通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
Learning De-identified Representations of Prosody from Raw Audio
Novoic
我们提出了一种使用对比自监督信号从原始音频学习去识别韵律表示的方法。鉴于以前的工作依赖于瓶颈条件模型，我们引入了一组归纳偏见，利用韵律的自然结构，以尽量减少音色信息和解耦韵律从扬声器表示。尽管对输入进行了积极的下采样并且无法访问语言信息，但我们的模型在DAMMP上执行了最先进的语音表示，DAMMP是我们为口语语言理解引入的新基准。我们使用最小描述长度探测表明，我们的表示有选择地学习了非音色韵律的子成分，并且产品量化器自然地解开它们而不使用瓶颈。我们推导出一个信息理论的定义，语音可识别性，并使用它来证明我们的韵律表示比其他语音表示识别。
2021-07-17 cs.CL cs.LG cs.SD
PMVC: Data Augmentation-Based Prosody Modeling for Expressive Voice Conversion
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Huya Inc (Shenzhen) Co., Ltd.（虎牙（深圳）有限公司）
针对无文本转录下表现力语音转换的韵律建模难题，提出基于数据增强的PMVC框架，通过语音增强算法和掩码预测机制解耦语音信息，提升了转换语音的自然度与相似度。
2023-08-21 cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Prosody Analysis of Audiobooks
Department of Computer Science Stony Brook University（计算机科学系 斯托尼布鲁克大学）；Department of Computer Science Earlham College（计算机科学系 埃尔哈姆学院）
本研究利用93对书籍-有声书数据集，提出基于语言建模的改进模型预测韵律属性，其预测的音高和音量比先进商业TTS系统更接近人类朗读，并通过人类评估证实了韵律增强有声书的偏好度。
2025-01-08 cs.LG cs.SD eess.AS
Speech prosody and remote experiments: a technical report
University of Ghent（根特大学）；University of Konstanz（康斯坦茨大学）
该文致力于研究两个问题.首先，我们回顾了在实地工作不可行（例如，由于流行病）的情况下收集韵律数据的不同记录选项。在此基础上，我们同步使用不同的软硬件来模拟远程阅读任务实验。为了评估所采用的方法，我们提取了记录的噪声水平和频率操纵。随后，我们研究了不同录音对语言变量的影响，如音高曲线和音高值。我们还包括对实验实用性的讨论。在权衡了这些因素之后，我们决定将在线平台Zencastr作为最经济实用的声学数据采集平台。第二，我们希望就语音韵律研究者可以采用的最佳远程方法展开辩论。
2021-06-21 cs.SD eess.AS
