面向自动语音翻译的改进跨语言迁移学习
Improved Cross-Lingual Transfer Learning For Automatic Speech Translation
AI总结：
本文提出用语义知识蒸馏训练的 SAMU-XLS-R 初始化语音翻译模型编码器，以改进多语言语音到文本翻译的跨语言迁移，在 CoVoST-2 和 Europarl 上显著提升 BLEU 分数，尤其在零样本低资源语言上效果突出。
摘要：
多语言语音到文本翻译的研究是当前的热门课题。拥有一个支持多种翻译任务的单一模型是非常可取的。本工作的目标是通过语义知识蒸馏改进多语言语音到文本翻译中的跨语言迁移学习。我们表明，通过使用 SAMU-XLS-R 初始化编码器-解码器序列到序列翻译模型的编码器，其中 SAMU-XLS-R 是一个使用多模态（语音-文本）语义知识蒸馏训练的多语言语音 Transformer 编码器，我们实现了比基线 XLS-R 显著更好的跨语言任务知识迁移，XLS-R 是一个通过自监督学习训练的多语言语音 Transformer 编码器。我们在两个流行的数据集 CoVoST-2 和 Europarl 上证明了我们方法的有效性。在 CoVoST-2 基准的 21 个翻译任务上，我们相比基线平均提高了 12.8 个 BLEU 点。在零样本翻译场景中，我们在未见过的中等和低资源语言上分别获得了 18.8 和 11.9 个平均 BLEU 点的平均增益。我们在 Europarl 语音翻译基准上也观察到了类似的结果。
英文摘要：
Research in multilingual speech-to-text translation is topical. Having a single model that supports multiple translation tasks is desirable. The goal of this work it to improve cross-lingual transfer learning in multilingual speech-to-text translation via semantic knowledge distillation. We show that by initializing the encoder of the encoder-decoder sequence-to-sequence translation model with SAMU-XLS-R, a multilingual speech transformer encoder trained using multi-modal (speech-text) semantic knowledge distillation, we achieve significantly better cross-lingual task knowledge transfer than the baseline XLS-R, a multilingual speech transformer encoder trained via self-supervised learning. We demonstrate the effectiveness of our approach on two popular datasets, namely, CoVoST-2 and Europarl. On the 21 translation tasks of the CoVoST-2 benchmark, we achieve an average improvement of 12.8 BLEU points over the baselines. In the zero-shot translation scenario, we achieve an average gain of 18.8 and 11.9 average BLEU points on unseen medium and low-resource languages. We make similar observations on Europarl speech translation benchmark.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
