JELLY：利用大语言模型联合进行情感识别与上下文推理以实现对话语音合成
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
AI总结：
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
摘要：
近来，人们对对话语音合成（CSS）的需求不断增长，该技术通过考虑对话上下文来生成更自然的语音。为解决这一问题，我们提出 JELLY，这是一种新颖的 CSS 框架，通过使用多个部分 LoRA 模块微调大语言模型（LLM），整合情感识别和上下文推理，以在对话中生成恰当的语音。我们提出一种情感感知 Q-former 编码器，使 LLM 能够感知语音中的情感。该编码器利用情感语音数据集进行训练，以将语音情感与文本对齐。随后，整个模型使用对话语音数据进行微调，以推断情感上下文，从而在对话中生成情感恰当的语音。实验结果表明，JELLY 在情感上下文建模方面表现出色，合成的语音能够自然地与对话保持一致，同时缓解了情感对话语音数据集稀缺的问题。
英文摘要：
Recently, there has been a growing demand for conversational speech synthesis (CSS) that generates more natural speech by considering the conversational context. To address this, we introduce JELLY, a novel CSS framework that integrates emotion recognition and context reasoning for generating appropriate speech in conversation by fine-tuning a large language model (LLM) with multiple partial LoRA modules. We propose an Emotion-aware Q-former encoder, which enables the LLM to perceive emotions in speech. The encoder is trained to align speech emotions with text, utilizing datasets of emotional speech. The entire model is then fine-tuned with conversational speech data to infer emotional context for generating emotionally appropriate speech in conversation. Our experimental results demonstrate that JELLY excels in emotional context modeling, synthesizing speech that naturally aligns with conversation, while mitigating the scarcity of emotional conversational speech datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
