从语音到文本语料库：评估基于ASR的低资源Fongbe和豪萨语数据采集
From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa
AI总结：
研究利用ASR管道为低资源非洲语言Fongbe（声调语言）和豪萨语（非声调语言）扩展文本语料，通过微调MMS-300M和Whisper-Small模型，在Fongbe上实现9.48%的词错误率（相对降低78%），并评估转录质量，发现豪萨语接近可用而Fongbe需后处理。
摘要：
低资源非洲语言缺乏语言模型训练所需的文本语料。我们研究ASR管道能否为两种类型上不同的西非语言——Fongbe（声调、富含变音符号）和豪萨语（非声调）——扩展文本资源。我们在精心整理的12.3小时Fongbe数据集上微调MMS-300M，在ALFFA基准上达到9.48%的词错误率——相比先前44.04%的基线相对降低78%——同时保留了该语言关键的声调变音符号。对于豪萨语，我们应用了一个已有的微调Whisper-Small模型。我们编录了1,553个YouTube视频（236小时），并处理了其中424个视频（45.49小时）的子集，这些视频经过选择以平衡领域多样性与可用计算资源，产生了6,770个转录片段。对每种语言随机抽取50个片段进行人工评估，豪萨语的平均质量得分为57.4/100，Fongbe为36.5/100，表明虽然豪萨语转录接近语料库构建的可接受质量，但Fongbe转录需要后处理或改进模型才能用于生产。我们根据平台条款和伦理指南发布了整理的数据集、微调模型、转录语料库和完整的视频目录。
英文摘要：
Low-resource African languages lack text corpora needed for language model training. We investigate whether ASR pipelines can extend text resources for two typologically distinct West African languages: Fongbe (tonal, diacritic-rich) and Hausa (non-tonal). We fine-tune MMS-300M on a curated 12.3-hour Fongbe dataset, achieving 9.48% WER on the ALFFA benchmark - a 78% relative reduction from the prior 44.04% baseline - while preserving tonal diacritics critical to the language. For Hausa, we apply an existing fine-tuned Whisper-Small model. We catalog 1,553 YouTube videos (236 hours) and process a subset of 424 videos (45.49 hours) selected to balance domain diversity with available computational resources, producing 6,770 transcribed segments. Human evaluation on 50 randomly sampled segments per language shows mean quality scores of 57.4/100 for Hausa and 36.5/100 for Fongbe, indicating that while Hausa transcriptions approach acceptable quality for corpus construction, Fongbe transcriptions require post-processing or improved models for production use. We release the curated dataset, fine-tuned model, transcribed corpus, and full video catalog following platform terms and ethical guidelines.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
