利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
AI总结：
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音，并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
摘要：
本文探索了如何利用最先进的语音预训练模型（PTM）data2vec、文本生成技术 GPT-4 和语音合成技术 Azure TTS 来提升语音情感识别（SER）。首先，我们研究了不同语音自监督预训练模型的表征能力，发现 data2vec 在 SER 任务上具有良好的表征能力。其次，我们采用强大的大型语言模型（LLM）GPT-4 和情感文本转语音（TTS）模型 Azure TTS，生成情感一致的文本和语音。我们精心设计了文本提示和数据集构建流程，以获得高质量的合成情感语音数据。第三，我们研究了利用合成语音促进 SER 任务的不同数据增强方式，包括随机混合、对抗训练、迁移学习和课程学习。在 IEMOCAP 数据集上的实验和消融研究表明，与其他数据增强方法以及使用其他合成数据的数据增强相比，我们的方法是有效的。
英文摘要：
In this paper, we explored how to boost speech emotion recognition (SER) with the state-of-the-art speech pre-trained model (PTM), data2vec, text generation technique, GPT-4, and speech synthesis technique, Azure TTS. First, we investigated the representation ability of different speech self-supervised pre-trained models, and we found that data2vec has a good representation ability on the SER task. Second, we employed a powerful large language model (LLM), GPT-4, and emotional text-to-speech (TTS) model, Azure TTS, to generate emotionally congruent text and speech. We carefully designed the text prompt and dataset construction, to obtain the synthetic emotional speech data with high quality. Third, we studied different ways of data augmentation to promote the SER task with synthetic speech, including random mixing, adversarial training, transfer learning, and curriculum learning. Experiments and ablation studies on the IEMOCAP dataset demonstrate the effectiveness of our method, compared with other data augmentation methods, and data augmentation with other synthetic data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
