基于MLM数据增强的ASR与NLU流水线系统：面向STOP低资源挑战
The Pipeline System of ASR and NLU with MLM-based Data Augmentation toward STOP Low-resource Challenge
AI总结：
该系统采用ASR与NLU流水线，通过微调Whisper和BART，结合MLM数据增强与检索增强，在STOP低资源挑战中取得提醒/天气领域平均EM 69.15，获第一名。
摘要：
本文描述了我们在口语理解大挑战赛（ICASSP信号处理大挑战赛2023的一部分）中低资源领域自适应赛道（赛道3）的系统。在该赛道中，我们采用了ASR和NLU的流水线方法。对于ASR，我们针对每个领域通过上采样微调Whisper。对于NLU，我们在所有赛道3数据上微调BART，然后在低资源领域数据上微调。我们应用了基于掩码语言模型（MLM）的数据增强，其中部分输入令牌和相应的目标标签使用MLM替换。我们还应用了基于检索的方法，模型输入通过相似训练样本进行增强。最终，我们在提醒/天气领域取得了精确匹配（EM）准确率63.3/75.0（平均：69.15），并在挑战赛中获得了第一名。
英文摘要：
This paper describes our system for the low-resource domain adaptation track (Track 3) in Spoken Language Understanding Grand Challenge, which is a part of ICASSP Signal Processing Grand Challenge 2023. In the track, we adopt a pipeline approach of ASR and NLU. For ASR, we fine-tune Whisper for each domain with upsampling. For NLU, we fine-tune BART on all the Track3 data and then on low-resource domain data. We apply masked LM (MLM) -based data augmentation, where some of input tokens and corresponding target labels are replaced using MLM. We also apply a retrieval-based approach, where model input is augmented with similar training samples. As a result, we achieved exact match (EM) accuracy 63.3/75.0 (average: 69.15) for reminder/weather domain, and won the 1st place at the challenge.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
