增强基于CTC的视觉语音识别
Enhancing CTC-Based Visual Speech Recognition
AI总结：
本研究针对视觉语音识别任务，在基于预训练ASR模型的知识蒸馏框架基础上，通过稳定化视频预处理与蒸馏特征归一化两项改进，推出高效增强模型LiteVSR2，在不增加训练数据和算力的前提下刷新了CTC类VSR模型在LRS2、LRS3基准上的性能，同时验证了方法的可扩展性。
摘要：
本文提出LiteVSR2，它是我们此前推出的高效视觉语音识别（VSR）方法的增强版本。我们基于从预训练自动语音识别（ASR）模型构建的知识蒸馏框架，引入两项关键改进：稳定化视频预处理技术，以及蒸馏过程中的特征归一化。这些改进在LRS2和LRS3基准上带来了显著的性能提升，使LiteVSR2在未增加训练数据量或所用计算资源的情况下，成为当前性能最佳的基于CTC的VSR模型。此外，我们通过考察不同模型复杂度和训练数据量下的性能指标，探索了该方法的可扩展性。LiteVSR2在保持前代模型效率的同时大幅提升了准确率，从而展现了VSR技术实现资源高效进阶的潜力。
英文摘要：
This paper presents LiteVSR2, an enhanced version of our previously introduced efficient approach to Visual Speech Recognition (VSR). Building upon our knowledge distillation framework from a pre-trained Automatic Speech Recognition (ASR) model, we introduce two key improvements: a stabilized video preprocessing technique and feature normalization in the distillation process. These improvements yield substantial performance gains on the LRS2 and LRS3 benchmarks, positioning LiteVSR2 as the current best CTC-based VSR model without increasing the volume of training data or computational resources utilized. Furthermore, we explore the scalability of our approach by examining performance metrics across varying model complexities and training data volumes. LiteVSR2 maintains the efficiency of its predecessor while significantly enhancing accuracy, thereby demonstrating the potential for resource-efficient advancements in VSR technology.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
