LipGER：面向鲁棒自动语音识别的视觉条件生成式纠错
LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition
AI总结：
本文提出 LipGER 框架，通过让大语言模型在唇部运动视觉条件下对 ASR 的 N-best 假设进行生成式纠错，在 4 个数据集上将词错误率降低 1.1%–49.2%，并发布大规模数据集 LipHyp。
摘要：
视觉线索（如唇部运动）已被证明能够提升自动语音识别（ASR）系统在噪声环境中的性能。我们提出 LipGER（唇动辅助的生成式纠错），这是一种利用视觉线索实现噪声鲁棒 ASR 的新框架。我们没有学习音频与视觉模态之间的跨模态相关性，而是让大语言模型（LLM）学习视觉条件（生成式）ASR 纠错任务。具体来说，我们指示 LLM 从使用 ASR 束搜索生成的 N-best 假设中预测转录文本，并进一步以唇部运动为条件。该方法解决了传统视听语音识别（AVSR）学习中的关键挑战，例如缺乏大规模配对数据集以及难以适应新领域。我们在 4 个数据集上进行了多种设置的实验，结果表明 LipGER 将词错误率改善了 1.1%–49.2%。我们还发布了 LipHyp，这是一个大规模数据集，包含假设-转录对，并额外配备了唇部运动线索，以促进该领域的进一步研究。
英文摘要：
Visual cues, like lip motion, have been shown to improve the performance of Automatic Speech Recognition (ASR) systems in noisy environments. We propose LipGER (Lip Motion aided Generative Error Correction), a novel framework for leveraging visual cues for noise-robust ASR. Instead of learning the cross-modal correlation between the audio and visual modalities, we make an LLM learn the task of visually-conditioned (generative) ASR error correction. Specifically, we instruct an LLM to predict the transcription from the N-best hypotheses generated using ASR beam-search. This is further conditioned on lip motions. This approach addresses key challenges in traditional AVSR learning, such as the lack of large-scale paired datasets and difficulties in adapting to new domains. We experiment on 4 datasets in various settings and show that LipGER improves the Word Error Rate in the range of 1.1%-49.2%. We also release LipHyp, a large-scale dataset with hypothesis-transcription pairs that is additionally equipped with lip motion cues to promote further research in this space
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
