arXiv 2401.061832024-01-11eess.AScs.AIcs.CLcs.LG

使用 Bark、mBART 和微调 XLSR Wav2Vec2 的端到端印地语到英语语音转换

End to end Hindi to English speech conversion using Bark, mBART and a finetuned XLSR Wav2Vec2

MES College of Engineering, Pune, India（浦那MES工程学院）；Florida State University, USA（佛罗里达州立大学）；Technische Hochschule Ingolstad, Germany（英戈尔施塔特应用技术大学）

Aniket Tathe, Anand Kamble, Suyash Kumbharkar, Atharva Bhandare, Anirban C. Mitra

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出一个端到端印地语到英语语音转换框架，集成 XLSR Wav2Vec2、mBART 和 TTS 组件，实现从印地语语音到合成英语音频的无缝跨语言转换。

摘要：

语音长期以来一直是有效沟通与连接的障碍，在我们日益互联的世界中持续构成挑战。本文针对这一长期障碍提出了一种变革性解决方案：一个面向印地语到英语翻译的端到端语音转换框架，最终合成英语音频。该框架集成了前沿技术，包括用于自动语音识别（ASR）的 XLSR Wav2Vec2、用于神经机器翻译（NMT）的 mBART，以及文本到语音（TTS）合成组件，为跨语言交流提供了统一且无缝的方法。我们深入探讨了每个组件的细节，阐明其各自贡献，并探索了实现从印地语语音流畅过渡到合成英语音频的协同效应。

英文摘要：

Speech has long been a barrier to effective communication and connection, persisting as a challenge in our increasingly interconnected world. This research paper introduces a transformative solution to this persistent obstacle an end-to-end speech conversion framework tailored for Hindi-to-English translation, culminating in the synthesis of English audio. By integrating cutting-edge technologies such as XLSR Wav2Vec2 for automatic speech recognition (ASR), mBART for neural machine translation (NMT), and a Text-to-Speech (TTS) synthesis component, this framework offers a unified and seamless approach to cross-lingual communication. We delve into the intricate details of each component, elucidating their individual contributions and exploring the synergies that enable a fluid transition from spoken Hindi to synthesized English audio.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。