用于流式多语言自动语音识别的专家混合 Conformer
Mixture-of-Expert Conformer for Streaming Multilingual ASR
AI总结：
本文提出一种融合专家混合层的流式多语言 Conformer，在推理时仅激活固定数量参数，在 12 种语言上相比基线平均相对降低 11.9% 的词错误率，且无需语言信息即可达到与适配器模型相当的性能。
摘要：
具有大容量的端到端模型显著提升了多语言自动语音识别性能，但其计算成本给端侧应用带来了挑战。我们提出了一种流式真正多语言 Conformer，其中融合了专家混合（MoE）层，该层在训练和推理过程中仅激活部分参数。MoE 层由一个 softmax 门控组成，在前向传播中从众多专家中选择最佳的两个专家。所提出的 MoE 层通过随着专家数量增加而激活固定数量的参数，实现了高效推理。我们在 12 种语言上对所提模型进行了评估，相比基线模型，平均词错误率（WER）相对降低了 11.9%。与使用真实语言信息的适配器模型相比，我们的 MoE 模型在没有任何语言信息的情况下，取得了相似的 WER 并激活了相似数量的参数。我们进一步展示了通过多语言浅层融合可获得约 3% 的相对 WER 改进。
英文摘要：
End-to-end models with large capacity have significantly improved multilingual automatic speech recognition, but their computation cost poses challenges for on-device applications. We propose a streaming truly multilingual Conformer incorporating mixture-of-expert (MoE) layers that learn to only activate a subset of parameters in training and inference. The MoE layer consists of a softmax gate which chooses the best two experts among many in forward propagation. The proposed MoE layer offers efficient inference by activating a fixed number of parameters as the number of experts increases. We evaluate the proposed model on a set of 12 languages, and achieve an average 11.9% relative improvement in WER over the baseline. Compared to an adapter model using ground truth information, our MoE model achieves similar WER and activates similar number of parameters but without any language information. We further show around 3% relative WER improvement by multilingual shallow fusion.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
