Llama-VITS：利用语义感知增强TTS合成
Llama-VITS: Enhancing TTS Synthesis with Semantic Awareness
AI总结：
Llama-VITS通过结合Llama2语义嵌入与VITS模型，在保持自然度的同时显著提升TTS的情感表现力，验证了LLM在语音合成中的价值。
摘要：
近年来，自然语言处理（NLP）的进步使得大规模语言模型（LLM）在生成高质量文本方面表现出色。值得注意的是，在文本到语音（TTS）系统中，集成BERT用于语义标记生成，凸显了语义内容在生成连贯语音输出中的重要性。尽管如此，LLM在增强TTS合成方面的具体效用仍然相当有限。本研究提出了一种创新方法Llama-VITS，通过利用LLM丰富文本的语义内容来增强TTS合成。Llama-VITS将Llama2的语义嵌入与VITS模型（一种领先的端到端TTS框架）相结合。通过利用Llama2进行主要语音合成过程，我们的实验表明，在LJSpeech数据集（一个包含中性、清晰语音的大型集合）上，Llama-VITS在自然度上与原始VITS（ORI-VITS）和集成BERT的VITS（BERT-VITS）相当。此外，我们的方法在EmoV_DB_bea_sem数据集（从EmoV_DB数据集中精选的情感一致语音）上显著增强了情感表现力，突显了其生成情感语音的潜力。
英文摘要：
Recent advancements in Natural Language Processing (NLP) have seen Large-scale Language Models (LLMs) excel at producing high-quality text for various purposes. Notably, in Text-To-Speech (TTS) systems, the integration of BERT for semantic token generation has underscored the importance of semantic content in producing coherent speech outputs. Despite this, the specific utility of LLMs in enhancing TTS synthesis remains considerably limited. This research introduces an innovative approach, Llama-VITS, which enhances TTS synthesis by enriching the semantic content of text using LLM. Llama-VITS integrates semantic embeddings from Llama2 with the VITS model, a leading end-to-end TTS framework. By leveraging Llama2 for the primary speech synthesis process, our experiments demonstrate that Llama-VITS matches the naturalness of the original VITS (ORI-VITS) and those incorporate BERT (BERT-VITS), on the LJSpeech dataset, a substantial collection of neutral, clear speech. Moreover, our method significantly enhances emotive expressiveness on the EmoV_DB_bea_sem dataset, a curated selection of emotionally consistent speech from the EmoV_DB dataset, highlighting its potential to generate emotive speech.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
