用于多语言音视频抗噪语音识别的mWhisper-Flamingo
mWhisper-Flamingo for Multilingual Audio-Visual Noise-Robust Speech Recognition
AI总结：
本文提出mWhisper-Flamingo，通过融合预训练音频模型Whisper和视频模型AV-HuBERT，并引入解码器模态丢弃机制，在9种语言的MuAViC数据集上实现了多语言抗噪音视频语音识别的最先进性能。
摘要：
音视频语音识别（AVSR）将基于唇语的视频与音频相结合，能够在噪声环境中提升性能，但大多数方法仅在英语数据上训练。一个限制是缺乏大规模多语言视频数据，这使得从头训练模型变得困难。在本工作中，我们提出了用于多语言AVSR的mWhisper-Flamingo，它结合了预训练音频模型（Whisper）和视频模型（AV-HuBERT）的优势。为了实现更好的多模态集成并提升噪声条件下的多语言性能，我们引入了解码器模态丢弃机制，使模型既在成对的音视频输入上训练，也在单独的音频/视频输入上训练。mWhisper-Flamingo在MuAViC（一个包含9种语言的AVSR数据集）上取得了最先进的词错误率（WER）。在噪声条件下，音视频mWhisper-Flamingo在所有语言上均一致优于仅音频的Whisper。
英文摘要：
Audio-Visual Speech Recognition (AVSR) combines lip-based video with audio and can improve performance in noise, but most methods are trained only on English data. One limitation is the lack of large-scale multilingual video data, which makes it hard to train models from scratch. In this work, we propose mWhisper-Flamingo for multilingual AVSR which combines the strengths of a pre-trained audio model (Whisper) and video model (AV-HuBERT). To enable better multi-modal integration and improve the noisy multilingual performance, we introduce decoder modality dropout where the model is trained both on paired audio-visual inputs and separate audio/visual inputs. mWhisper-Flamingo achieves state-of-the-art WER on MuAViC, an AVSR dataset of 9 languages. Audio-visual mWhisper-Flamingo consistently outperforms audio-only Whisper on all languages in noisy conditions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
