arXiv 2501.008052025-01-01eess.AScs.CLcs.SD

SLIDE：融合语音语言模型与 LLM 用于自发性口语对话生成

SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation

Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Guangdong Provincial Public Security Department（广东省公安厅）；Shanghai Jiao Tong University（上海交通大学）

Haitian Lu, Gaofeng Cheng, Liuping Luo, Leying Zhang, Yanmin Qian, Pengyuan Zhang

备注：: Accepted by ICASSP 2025

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 SLIDE 框架，通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化，在 Fisher 数据集上实现语义连贯的自然口语对话生成。

摘要：

近年来，基于语音单元的“无文本”语音语言模型（SLM）在生成自然语音（包括非言语发声）方面取得了巨大进展。然而，生成的语音样本往往缺乏语义连贯性。本文提出了 SLM 与 LLM 集成用于自发性口语对话生成（SLIDE）。具体来说，我们首先利用 LLM 生成口语对话的文本内容。接着，我们将文本对话转换为音素序列，并使用基于双塔 Transformer 的时长预测器来预测每个音素的时长。最后，以口语化音素序列为条件的 SLM 用于将文本对话发声化。在 Fisher 数据集上的实验结果表明，我们的系统能够在保持高语义连贯性的同时生成自然的口语对话。

英文摘要：

Recently, ``textless" speech language models (SLMs) based on speech units have made huge progress in generating naturalistic speech, including non-verbal vocalizations. However, the generated speech samples often lack semantic coherence. In this paper, we propose SLM and LLM Integration for spontaneous spoken Dialogue gEneration (SLIDE). Specifically, we first utilize an LLM to generate the textual content of spoken dialogue. Next, we convert the textual dialogues into phoneme sequences and use a two-tower transformer-based duration predictor to predict the duration of each phoneme. Finally, an SLM conditioned on the spoken phoneme sequences is used to vocalize the textual dialogue. Experimental results on the Fisher dataset demonstrate that our system can generate naturalistic spoken dialogue while maintaining high semantic coherence.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。