一种用于联合语音识别与语音合成的非自回归模型
A Non-autoregressive Model for Joint STT and TTS
AI总结：
提出一种完全非自回归的多模态联合模型，同时处理语音识别和语音合成，支持未配对数据训练，并通过迭代细化策略提升性能，在STT上优于专用基线，在TTS上与专用基线相当。
摘要：
在本文中，我们朝着以完全非自回归的方式联合建模自动语音识别（STT）和语音合成（TTS）迈出了一步。我们开发了一种新颖的多模态框架，能够处理语音和文本模态作为输入，既可以单独输入，也可以同时输入。由于模型的多模态特性，它还可以使用未配对的语音或文本数据进行训练。我们进一步提出了一种迭代细化策略，以改进我们模型的STT和TTS性能，使得输出端的部分假设可以反馈到模型的输入端，从而迭代地改进STT和TTS的预测。我们表明，我们的联合模型能够有效地执行STT和TTS任务，在所有任务中优于STT专用基线，并在广泛的评估指标上与TTS专用基线表现相当。
英文摘要：
In this paper, we take a step towards jointly modeling automatic speech recognition (STT) and speech synthesis (TTS) in a fully non-autoregressive way. We develop a novel multimodal framework capable of handling the speech and text modalities as input either individually or together. The proposed model can also be trained with unpaired speech or text data owing to its multimodal nature. We further propose an iterative refinement strategy to improve the STT and TTS performance of our model such that the partial hypothesis at the output can be fed back to the input of our model, thus iteratively improving both STT and TTS predictions. We show that our joint model can effectively perform both STT and TTS tasks, outperforming the STT-specific baseline in all tasks and performing competitively with the TTS-specific baseline across a wide range of evaluation metrics.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
