arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.20201cs.CLcs.SDeess.AS
收藏

AfriHuBERT:面向非洲语言的自监督语音表示模型

AfriHuBERT: A self-supervised speech representation model for African languages

Saarland Informatics CampusGermany(萨尔兰信息学校区德国);National Institute of InformaticsJapan(日本信息机构)

Jesujoba O. Alabi, Xuechen Liu, Dietrich Klakow, Junichi Yamagishi

AI总结:

本文提出 AfriHuBERT,通过在 10K+ 小时语音数据上持续预训练,将 mHuBERT-147 覆盖的非洲语言从 16 种扩展至 1,226 种,在 SLID 和 ASR 任务上取得显著提升,并展现出强大的跨语料库泛化与极低资源场景竞争力。

摘要:

在本研究中,我们提出了 AfriHuBERT,它是 mHuBERT-147 的扩展。mHuBERT-147 是一个在 147 种语言上预训练的紧凑型自监督学习 (SSL) 模型。虽然 mHuBERT-147 涵盖了 16 种非洲语言,但我们通过对来自不同来源的 10K+ 小时语音数据进行持续预训练,将其扩展到 1,226 种,惠及超过 6 亿非洲人口。我们使用 FLEURS 基准在两项关键语音任务:口语语言识别 (SLID) 和自动语音识别 (ASR) 上对 AfriHuBERT 进行了评估。结果显示,与 mHuBERT-147 相比,SLID 的 F1 分数提高了 +3.6%,ASR 的平均词错率 (WER) 降低了 -2.1%,并且展现出与 MMS 和 XEUS 等更大 SSL 模型相媲美的竞争力。进一步分析表明,基于 AfriHuBERT 训练的 ASR 模型表现出更好的跨语料库泛化能力,并在极低资源 ASR 场景中具有竞争力。

英文摘要:

In this work, we present AfriHuBERT, an extension of mHuBERT-147, a compact self-supervised learning (SSL) model pretrained on 147 languages. While mHuBERT-147 covered 16 African languages, we expand this to 1,226 through continued pretraining on 10K+ hours of speech data from diverse sources, benefiting an African population of over 600M. We evaluate AfriHuBERT on two key speech tasks, Spoken Language Identification (SLID) and Automatic Speech Recognition (ASR), using the FLEURS benchmark. Our results show a +3.6% F1 score improvement for SLID and a -2.1% average Word Error Rate (WER) reduction for ASR over mHuBERT-147, and demonstrates competitiveness with larger SSL models such as MMS and XEUS. Further analysis shows that ASR models trained on AfriHuBERT exhibit improved cross-corpus generalization and are competitive in extremely low-resource ASR scenarios.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑