arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.00826cs.CLcs.SDeess.AS
收藏

NAIST 用于 IWSLT 2024 的同声语音翻译系统

NAIST Simultaneous Speech Translation System for IWSLT 2024

Nara Institute of Science and Technology(奈良先端科学技术大学院大学)

Yuka Ko, Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Tomoya Yanagita, Kosuke Doi, Mana Makinae, Haotian Tan, Makoto Sakai, Sakriani Sakti, Katsuhito Sudoh, Satoshi Nakamura

AI总结:

本文提出 NAIST 在 IWSLT 2024 同声传译赛道上的系统,通过结合 HuBERT 和 mBART 构建多语言端到端语音翻译模型,并采用级联增量式 TTS 模块实现语音到语音翻译,其中升级后的 TTS 模块有效提升了整体系统性能。

摘要:

本文描述了 NAIST 提交至 IWSLT 2024 评估活动同声传译赛道的系统:英语到{德语、日语、中文}的语音到文本翻译,以及英语到日语的语音到语音翻译。我们开发了一个多语言端到端语音到文本翻译模型,该模型结合了两个预训练语言模型 HuBERT 和 mBART。我们使用两种解码策略训练该模型:局部一致性(Local Agreement,LA)和 AlignAtt。提交的模型采用 LA 策略,因为在之前的模型中 LA 策略优于 AlignAtt 策略。我们的语音到语音翻译方法采用级联结构,由上述语音到文本模型和一个增量式文本到语音(TTS)模块组成,该模块集成了音素估计模型、并行声学模型和并行 WaveGAN 声码器。我们通过在估计模型中应用带有 AlignAtt 策略的 Transformer 架构来改进增量式 TTS。结果表明,升级后的 TTS 模块有助于提升系统性能。

英文摘要:

This paper describes NAIST's submission to the simultaneous track of the IWSLT 2024 Evaluation Campaign: English-to-{German, Japanese, Chinese} speech-to-text translation and English-to-Japanese speech-to-speech translation. We develop a multilingual end-to-end speech-to-text translation model combining two pre-trained language models, HuBERT and mBART. We trained this model with two decoding policies, Local Agreement (LA) and AlignAtt. The submitted models employ the LA policy because it outperformed the AlignAtt policy in previous models. Our speech-to-speech translation method is a cascade of the above speech-to-text model and an incremental text-to-speech (TTS) module that incorporates a phoneme estimation model, a parallel acoustic model, and a parallel WaveGAN vocoder. We improved our incremental TTS by applying the Transformer architecture with the AlignAtt policy for the estimation model. The results show that our upgraded TTS module contributed to improving the system performance.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑