基于SSWP对比预训练的多模态自动韵律标注
Multi-Modal Automatic Prosody Annotation with Contrastive Pretraining of SSWP
AI总结：
本文提出两阶段自动韵律标注方法，通过SSWP对比预训练增强韵律表示，并结合多模态标注器在英语韵律边界上取得SOTA性能，且对数据稀缺具有鲁棒性。
摘要：
在富有表现力和可控性的文本到语音（TTS）中，显式韵律特征能显著提升合成语音的自然度和可控性。然而，人工韵律标注劳动密集且不一致。为解决这一问题，本文创新性地提出了一种两阶段自动标注流程。在第一阶段，我们利用语音-静音与词-标点（SSWP）对的对比预训练来增强潜在表示中的韵律信息。在第二阶段，我们构建了一个多模态韵律标注器，包含预训练编码器、文本-语音融合方案和序列分类器。在英语韵律边界上的实验表明，我们的方法达到了最先进（SOTA）性能，韵律词边界和韵律短语边界的F1分数分别为0.72和0.93，同时对数据稀缺表现出显著的鲁棒性。
英文摘要：
In expressive and controllable Text-to-Speech (TTS), explicit prosodic features significantly improve the naturalness and controllability of synthesised speech. However, manual prosody annotation is labor-intensive and inconsistent. To address this issue, a two-stage automatic annotation pipeline is novelly proposed in this paper. In the first stage, we use contrastive pretraining of Speech-Silence and Word-Punctuation (SSWP) pairs to enhance prosodic information in latent representations. In the second stage, we build a multi-modal prosody annotator, comprising pretrained encoders, a text-speech fusing scheme, and a sequence classifier. Experiments on English prosodic boundaries demonstrate that our method achieves state-of-the-art (SOTA) performance with 0.72 and 0.93 f1 score for Prosodic Word and Prosodic Phrase boundary respectively, while bearing remarkable robustness to data scarcity.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
