MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Turning Speech Language Models into Multilingual Listeners
针对语音语言模型多语言能力不足的问题,提出大规模合成数据集MULTISPEECHQA和基准MULTISPEECH-BENCH,通过微调Qwen 2.5-Omni提升性能,证明合成数据是廉价有效的解决方案。
2026-09-29 cs.CL
Multilingual End-to-End Speech Translation
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);Center for Language and Speech Processing, Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
在本文中,我们提出了一个简单而有效的多语种端到端语音翻译(ST)的框架,在该框架中,源语言的语音话语直接翻译到所需的目标语言与通用序列到序列架构。虽然多语言模型已被证明是有用的自动语音识别(ASR)和机器翻译(MT),这是第一次他们被应用到端到端ST问题。我们展示了多语言端到端ST在两种情况下的有效性:一对多和多对多的翻译与公开可用的数据。我们的实验证实,多语种的端到端ST模型显着优于双语的两种情况下。多语言训练的泛化也在迁移学习场景中评估到非常低资源的语言对。我们所有的代码和数据库都是公开的,以鼓励在这个新兴的多语言ST主题的进一步研究。
2019-10-31 cs.CL eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google(谷歌)
本文提出了Virtuoso,一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成(TTS)模型。现有的多语言TTS通常支持数十种语言,这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro,一个用于自动语音识别(ASR)的语音-文本联合预训练框架,扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型,设计了不同的训练方案来处理监督(成对的TTS和ASR数据)和非监督(未转录的语音和未说出的文本)数据集。实验评估表明,1)在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性,2)它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Triple X: A LLM-Based Multilingual Speech Recognition System for the INTERSPEECH2025 MLC-SLM Challenge
本文提出Triple X系统,通过创新的编码器-适配器-LLM架构优化多语言对话场景的语音识别准确率,采用多阶段训练策略提升多语言识别性能,实验结果显示在开发和测试集上取得竞争力的词错误率表现。
2026-03-12 cs.CL eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展,像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别(ASR)的性能方面取得了成功。然而,与监督学习类似,多语言预训练也可能受到语言干扰,并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术,包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务,包括16种语言。我们的实验结果表明,与标准XLSR模型相比,相对增益为14.3%,与没有预训练的多语言模型相比,相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音,音韵,语言家族,地理位置和正字法维度的相似性的相对重要性。在这种情况下,实验证明了两个额外的预训练目标的有效性,鼓励语言独立的编码器表示:一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan(美团)
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法,分别提升语言可配置与语言无关场景下的识别性能,并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation
Facebook AI(脸书人工智能研究院)
我们介绍VoxPopuli,一个大规模的多语种语料库,提供10万小时的未标记的语音数据在23种语言。它是迄今为止无监督表示学习和半监督学习最大的开放数据。VoxPopuli还包含1.8K小时的16种语言的转录演讲,以及他们对齐的口头翻译成其他5种语言,总计5.1K小时。我们提供语音识别基线,并验证VoxPopuli未标记数据在具有挑战性的域外设置下的半监督学习中的多功能性。我们将在开放许可下在https://github.com/facebookresearch/voxpopuli上发布语料库。
2021-07-27 cs.CL eess.AS
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg(人工智能与数据科学中心,乌尔姆大学);Language Technology Lab, University of Cambridge(语言技术实验室,剑桥大学);Mila, McGill University and Canada CIFAR AI Chair(Mila,麦吉尔大学及加拿大CIFAR人工智能主席)
提出多语言口语理解基准Fleurs-SLU,包含102种语言692小时主题分类和92种语言944小时听力问答,评估发现级联系统与闭源语音LLM表现优异,且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance(字节跳动)
本文提出利用IPA多语言模型生成帧级伪标签,以音素信息指导方式引导HuBERT预训练,在低资源ASR任务中持续优于标准HuBERT,节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
False positive bias in AI-powered speech-based cognitive screening for multilingual English speakers in the UK
本研究发现,尽管AI模型整体表现良好,但对英国少数族裔背景的多语使用者存在偏见,且可能错误判断特定口音群体的认知状况。
2026-09-14 cs.AI cs.CL
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre(Liveperson研究中心)
多语言自动语音识别(ASR)系统主要受益于低资源语言,但相对于其单语言对应物,在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络,以将来自不同声学模型的分布转换为直接可比较的形式。分析发现,重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示,一种语言与较少的重叠,可以更适合跨语言迁移,因此更有益的多语种设置。最后,利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比,实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple(塔尔库大学苹果)
本文提出在双语自监督语音模型中引入有限视觉grounding,以缩小多语言与单语模型间的性能差距,在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research(谷歌研究院)
在非洲使用的2,000多种语言中,几乎没有一种具有广泛使用的自动语音识别系统,所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术,这可能会提供途径,非洲语言的大词汇语音识别:多语言建模和自监督学习。我们收集了可用的开放源数据,收集了15种语言的数据,并使用这些技术训练了实验模型。我们的研究结果表明,汇集多语言端到端模型中可用的少量数据,并对无监督数据进行预训练,可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research(谷歌研究院)
我们介绍了CVSS,一个大规模的多语言到英语的语音到语音翻译(S2 ST)语料库,涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译(ST)语料库,通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音:1)CVSS-C:所有翻译语音都是单个高质量的规范语音; 2)CVSS-T:翻译语音是从相应的源语音转移的语音。此外,CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上,我们分别建立了多语种直接S2 ST模型和级联S2 ST模型,验证了语料库的有效性。为了构建强大的级联S2 ST基线,我们在CoVoST 2上训练了一个ST模型,它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此,直接S2 ST模型的性能在从头开始训练时接近强级联基线,并且在从匹配ST模型初始化时,ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google(谷歌)
我们提出了两个端到端的模型:音频到字节(A2 B)和字节到音频(B2 A),多语种语音识别和合成。先前的工作主要使用字符,子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言,特别是在多语言处理的情况下。在这项工作中,我们通过一个Unicode字节序列,具体地说,每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax,并在多语言模型中共享表示。我们表明,字节优于字形字符在各种各样的语言单语端到端语音识别。此外,我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中,我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后,我们提出了一个端到端的多语言语音合成模型,使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India(微软研究院印度)
尽管自动语音识别(ASR)系统在某些语言上取得了与人类相似的性能,但由于缺乏大型语音数据集来训练这些模型,世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案,因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究,然而,自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路,这可以为提高低资源语言的性能铺平道路。在本文中,我们调查的艺术状态,在多语言ASR模型,建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践,讨论了开放性问题,并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
A Study of Multilingual End-to-End Speech Recognition for Kazakh, Russian, and English
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University(纳扎尔巴耶夫大学智能系统与人工智能研究所(ISSAI))
我们研究训练一个单一的端到端(E2E)自动语音识别(ASR)模型,用于哈萨克斯坦使用的三种语言:哈萨克语,俄语和英语。我们首先描述了基于Transformer网络的多语言E2E ASR的开发,然后对上述语言进行了广泛的评估。我们还比较了两种变体的输出字素集建设:组合和独立。此外,我们评估的LMs和数据增强技术的多语言E2E ASR的识别性能的影响。此外,我们提出了几个数据集的训练和评估目的。实验结果表明,多语言模型实现了类似的性能与单语言基线具有相似的参数数量。我们最好的单语和多语言模型在组合测试集上的平均单词错误率分别为20.9%和20.5%。为了确保我们的实验和结果的可重复性,我们分享了我们的训练配方、数据集和预训练模型。
2021-08-03 cs.CL eess.AS
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science(东北公益文科大学);Kitami Institute of Technology(北见工业大学);Yokohama National University(横滨国立大学)
近年来,通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果,特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务,例如语音转录,但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性,重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说,我们(i)研究利用类似语言的数据进行微调的可行性;(ii)验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明,持续的预训练是最有效的方法,以适应一个新的语言wav 2 vec 2.0模型,并导致出错率显着降低。此外,我们发现,如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征,多语言微调使用额外的数据,从该语言可以有积极的影响语音识别性能时,有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation(英特尔公司);SIL International(SIL国际)
由于资源限制,在边缘设备上运行自动语音识别(ASR)并非易事,特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一,每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的,我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia(西波希米亚大学)
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能,发现单语模型在多数情况下优于多语言模型,并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)研究进展迅速,但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面:识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而,一个实用的多语言识别器预计将兼容这两个方向。在这项工作中,提出了一种新的语言感知编码器(LAE)架构来处理这两种情况下,通过解开特定于语言的信息,并在编码过程中生成帧级的语言感知表示。在LAE中,主要编码由共享块实现,而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息,提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明,所提出的LAE能够在帧级区分不同的语言,并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集,建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的,而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据,这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕,我们表明,相同的模型架构可以成功地应用于这两种语言。此外,我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后,我们表明,这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
研究多语言ASR模型面临的多语言诅咒问题,提出MoLGE模型,基于S3Ms为相似语言簇分配专家模块并集成LoRA策略,研究语言分组策略影响,实验表明该模型以最少参数提升性能,为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Multi-task Recurrent Model for True Multilingual Speech Recognition
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
多语种语音识别的研究仍然是一个具有吸引力和挑战性的课题。最近的研究集中在多任务范式下的共享结构,特别是特征共享结构的学习。这种方法被发现有效地提高了每种语言的性能。但是,这种方法仅在部署的系统仅支持一种语言时才有用。在允许多种语言的真正多语言场景中,由于解码空间中语言之间的竞争,性能将显著降低。本文提出了一种多任务递归模型,该模型包括一个多语言语音识别(ASR)组件和一个语言识别(LR)组件,ASR组件通过LR组件获得语言信息,从而实现语言感知的识别。我们测试了一个英汉双语识别任务的方法。实验结果表明,所提出的多任务递归模型可以提高多语种识别系统的性能。
2016-09-27 cs.CL cs.LG cs.NE
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan(美团)
本文提出MSR-86K,一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库,并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
Hierarchical Softmax for End-to-End Low-resource Multilingual Speech Recognition
Kyoto University(京都大学);Xinjiang University(新疆大学);The University of Tokyo(东京大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构)
针对低资源语音识别训练数据不足的问题,提出基于邻近语言相似语言单元词频分布相近假设的多语言分层Softmax方法,通过Huffman树解码实现跨语言知识共享,有效提升了低资源语音识别的准确率与效率。
2023-04-30 cs.CL eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译(MultiST)任务的系统。我们为MultiST模型使用统一的Transformer架构,以便来自不同模态的数据(即,语音和文本)和不同的任务(即,语音识别、机器翻译和语音翻译)可以用来增强模型的能力。具体地,语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后,这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能,包括多任务学习,任务级课程学习,数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果,并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft(微软)
提出LAMASSU模型,基于神经转换器实现流式语言无关的多语言语音识别与翻译,通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Multilingual Speech Recognition using Knowledge Transfer across Learning Processes
Microsoft(微软)
多语言端到端(E2E)模型在自动语音识别(ASR)领域中的语言覆盖范围的扩展方面显示出巨大的潜力。在本文中,我们的目标是从两个方面提高多语言ASR的性能,1)研究喂养一个单一的热向量识别语言的影响,2)制定任务与元学习目标结合自监督学习(SSL)。我们将每种语言与不同的任务流形相关联,并试图通过跨学习过程本身传输知识来提高性能,而不是通过最终模型参数传输。我们采用这种策略的数据集,包括6种语言的域内ASR任务,通过最小化目标相关的预期梯度路径长度。实验结果表明,最好的预训练策略导致整体WER相对减少3.55%。当使用语言ID时,LEAP和SSL的组合产生3.51%的总体WER相对减少。
2021-10-15 cs.CL eess.AS
Common Voice: A Massively-Multilingual Speech Corpus
Mozilla(慕智公司);Indiana University(印第安纳大学);Artie, Inc.(Artie公司)
通用语音语料库是用于语音技术研究和开发的多语种转录语音集合。通用语音是为自动语音识别目的而设计的,但在其他领域也很有用(例如语言识别)。为了实现规模和可持续性,“共同之声”项目采用众包方式进行数据汇集和数据验证。最新版本包括29种语言,截至2019年11月,共有38种语言收集数据。迄今已有5万多人参加,收集了2 500小时的音频。据我们所知,这是公共领域中最大的语音识别音频语料库,无论是在小时数还是语言数方面。作为Common Voice的一个示例用例,我们使用Mozilla的DeepSpeech Speech-to-Text工具包进行了语音识别实验。通过从源英语模型应用迁移学习,我们发现12种目标语言(德语、法语、意大利语、土耳其语、加泰罗尼亚语、斯洛文尼亚语、威尔士语、爱尔兰语、布列塔尼语、鞑靼语、楚瓦什语和卡拜尔语)的平均字符出错率改善为5.99 +/- 5.48。对于这些语言中的大多数,这些都是有史以来首次发布的端到端自动语音识别结果。
2020-03-05 cs.CL cs.LG
Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University(麦吉尔大学);Mila(米拉人工智能研究院);Facebook AI Research(脸书人工智能研究院);Apple(苹果公司)
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中,我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方,即使在低资源语言中也能很好地工作:训练一个有监督的多语言模型,用目标语言的半监督学习对其进行微调,为该语言生成伪标签,并使用所有语言的伪标签训练最终模型,无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明,我们的配方可以产生一个对许多语言都具有更好性能的模型,并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Code Switched and Code Mixed Speech Recognition for Indic languages
ThoughtWorks(思特沃克);EkStep Foundation(EkStep基金会)
训练多语言自动语音识别(ASR)系统是具有挑战性的,因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果,为印度语言训练多语言系统更加困难。我们比较了端到端的多语种语音识别系统的性能,单语模型的语言识别(LID)的条件下的性能。来自多语言模型的解码信息用于语言识别,然后与单语言模型相结合,以获得50%的跨语言WER改进。我们还提出了一个类似的技术来解决代码切换的问题,并实现了21.77和28.27的WER超过印地语英语和孟加拉语英语分别。我们的工作讨论了如何Transformer为基础的ASR,特别是wav2vec 2.0可以应用于开发多语言ASR和代码切换ASR的印度语言。
2022-06-13 cs.CL eess.AS
Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition
Salesforce Research(赛富时研究院);The Hong Kong University of Science and Technology(香港科技大学)
现实世界的多语言语音识别的一个关键挑战是长尾分布问题,其中一些资源丰富的语言(如英语)具有丰富的训练数据,但长尾低资源语言具有不同数量的有限训练数据。为了克服长尾问题,在本文中,我们提出了适应和调整(A2),一个基于transformer的多任务学习框架的端到端的多语种语音识别。A2框架通过三种技术克服了长尾问题:(1)利用预训练的多语言语言模型(mBERT)来提高低资源语言的性能;(2)提出了由语言特定和语言不可知自适应组成的双适配器,并具有最少的附加参数;以及(3)通过在训练期间在损失中强加类别先验或在推理期间调整softmax输出的logit来克服类别不平衡。在CommonVoice语料库上的大量实验表明,A2方法的性能明显优于传统方法。
2020-12-03 cs.AI cs.CL cs.LG
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
低资源自动语音识别(ASR)是一项有用但棘手的任务,因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练,然后再转移到资源较少的目标语言上,从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络,并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法:(1)跨语言学习,将源语言的激活函数替换为目标语言的激活函数;(2)多语言学习,联合训练每种语言的连接主义时间分类(CTC)损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明,我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外,将跨语言学习和多语言学习结合起来,可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练,从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性,共享网络可能难以同时针对所有各种语言进行优化。在本文中,我们提出了一种新的多语言架构,目标是在神经网络的核心操作:线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量,为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量,以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的,在两个多语种设置与$7$和$27$语言,减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano(范诺)
针对多语种ASR的可配置需求,提出带语音摘要向量的csvMASR模型,结合适配器与辅助分类损失,在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong(香港中文大学)
本研究解决的问题,从未转录的音频档案,而不需要逐字语音转录的自动语音识别(ASR)技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义,包括那些涉及低资源语言,以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法,其中包括无监督的声学建模和解码,其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型,给定的音频档案由伪转录表示,可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模,使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明,该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
WorldSpeech: A Multilingual Speech Corpus from Around the World
ETH Zurich(苏黎世联邦理工学院)
本文提出WorldSpeech,一个包含76种语言6.5万小时对齐语音数据的多语言语料库,通过微调现有ASR模型,使11种语言的词错误率平均降低63.5%。
2026-05-09 cs.AI cs.CL cs.LG
Analysis of Multilingual Sequence-to-Sequence speech recognition systems
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软);Amazon(亚马逊);Google(谷歌);Facebook(脸书);MERL/Mitsubishi Electric(三菱电机研究实验室/三菱电机)
本文研究了传统隐马尔可夫模型(HMM)系统中开发的各种多语言方法在序列到序列(seq 2seq)自动语音识别(ASR)中的应用。在由Babel数据组成的集合上,我们首先展示了具有堆叠瓶颈(SBN)特征的多语言训练的有效性。然后,我们探讨了基于CTC-注意力网络的多语言seq 2seq模型的各种架构和训练策略,包括输出层、CTC和/或注意力分量再训练的组合。我们还研究了当目标语言不包含在原始多语言训练数据中时,在资源非常少的情况下语言迁移学习的有效性。有趣的是,我们发现多语言特征优于多语言模型,这一发现表明我们可以通过这些多语言特征技术有效地将HMM系统与seq 2seq系统的优势结合起来。
2018-11-07 cs.CL cs.LG eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室、AI研究院)
本文提出 DQ-Whisper 框架,通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper,在几乎不损失性能的前提下将模型缩小最多 5.18 倍,有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders
Meta AI
提出对比层到层蒸馏(CoLLD)方法,利用掩码预测和对比学习压缩多语言预训练语音编码器,在多语言语音翻译和识别基准上优于先前方法,缩小了小型与大型模型的差距。
2023-12-27 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
多语言语音识别与监督学习取得了很大的成绩,反映在最近的研究。随着音频和文本数据预训练方法的发展,必须从无监督的多语言模型中转移知识以促进识别,特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性:wav2vec 2.0用于音频,MBART50用于文本,以及自适应权重技术,以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说,我们注意到比纯粹的监督学习提高了44%,更重要的是,每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性,通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.(阿尔马威公司)
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点,提出说话人分离与语言识别级联系统,相比传统方法显著降低语言分离错误和词错误率,且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
A Unified Speech LLM for Diarization and Speech Recognition in Multilingual Conversations
Institute of Science Tokyo(东京科学研究所)
本文提出一种统一语音大语言模型,以端到端方式联合执行多语言对话中的说话人分离与语音识别,通过重构训练数据格式和推理流程,在 MLC-SLM Challenge 任务 II 上较基线实现 54.87% 的相对改进。
2025-06-26 cs.AI cs.CL cs.SD
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University(四川大学);Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)(中国民用航空局西南空中交通管理局);Wisesoft Co., Ltd.(四川川大智胜软件股份有限公司)
自动语音识别(ASR)技术在近几年得到了迅速的发展,促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础,尤其是对于垂直行业,如空中交通管制(ATC)。有一些语音语料库用于公共或付费的常见应用。然而,对于ATC来说,由于安全问题,很难从真实系统中收集原始语音。更重要的是,对于像ASR这样的监督学习任务,注释转录是一项更加繁重的工作,这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库(ATC Speech),包括带口音的汉语和英语,以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外,我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知,这是第一个工作,旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法,通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.(Freshworks公司)
基于转换器的模型最近在序列到序列的应用中变得非常流行,例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器,两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器(PHN-DEC)的音素识别任务和一个字素解码器(GRP-DEC)预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别,字形识别和语言识别任务的网络。我们的实验表明,我们可以获得一个显着减少WER的基线方法。我们还表明,我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
训练自动语音识别(ASR)系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言,如英语,有一个长尾的语言,确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近,基于连接主义时间分类(CTC)训练的递归神经网络(RNN)的ASR系统获得了大量的研究兴趣。在这项工作中,我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集,基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量(LFV)的添加。作为对比实验,我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法,我们可以减少这些单语言和多语言设置之间的差距,使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University(卡内基梅隆大学)
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起,并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而,这种方法未能利用训练集中语料库之间的相关性和相似性。例如,目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中,我们提出了一个简单但有用的抽样策略,利用这种相关性。我们首先计算语料库级嵌入,并估计每个语料库之间的相似性。接下来,我们首先从每个语料库中均匀采样来训练多语言模型,然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后,模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外,我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University(卡内基梅隆大学)
本文针对ML-SUPERB 2.0多语言语音任务,提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略,使LID准确率相对提升14%、ASR CER相对降低30%,并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS