arXiv 2403.124082024-03-19cs.CLcs.SDeess.AS

MSLM-S2ST：一种保留说话人风格的无文本语音到语音翻译的多任务语音语言模型

MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation

Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）

Yifan Peng, Ilia Kulikov, Yilin Yang, Sravya Popuri, Hui Lu, Changhan Wang, Hongyu Gong

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。

摘要：

语音到语音翻译（S2ST）领域近年来涌现出越来越多的研究兴趣和进展，该任务旨在将一种语言的语音翻译成另一种语言。本文提出了多任务语音语言模型（MSLM），这是一种在多任务设置下训练的仅解码器语音语言模型。在不依赖文本训练数据的情况下，我们的模型能够支持保留说话人风格的多语言S2ST。

英文摘要：

There have been emerging research interest and advances in speech-to-speech translation (S2ST), translating utterances from one language to another. This work proposes Multitask Speech Language Model (MSLM), which is a decoder-only speech language model trained in a multitask setting. Without reliance on text training data, our model is able to support multilingual S2ST with speaker style preserved.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。