Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple（塔尔库大学苹果）
本文提出在双语自监督语音模型中引入有限视觉grounding，以缩小多语言与单语模型间的性能差距，在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
A Study of Multilingual End-to-End Speech Recognition for Kazakh, Russian, and English
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们研究训练一个单一的端到端（E2E）自动语音识别（ASR）模型，用于哈萨克斯坦使用的三种语言：哈萨克语，俄语和英语。我们首先描述了基于Transformer网络的多语言E2E ASR的开发，然后对上述语言进行了广泛的评估。我们还比较了两种变体的输出字素集建设：组合和独立。此外，我们评估的LMs和数据增强技术的多语言E2E ASR的识别性能的影响。此外，我们提出了几个数据集的训练和评估目的。实验结果表明，多语言模型实现了类似的性能与单语言基线具有相似的参数数量。我们最好的单语和多语言模型在组合测试集上的平均单词错误率分别为20.9%和20.5%。为了确保我们的实验和结果的可重复性，我们分享了我们的训练配方、数据集和预训练模型。
2021-08-03 cs.CL eess.AS
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India（微软研究院印度）
尽管自动语音识别（ASR）系统在某些语言上取得了与人类相似的性能，但由于缺乏大型语音数据集来训练这些模型，世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案，因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究，然而，自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路，这可以为提高低资源语言的性能铺平道路。在本文中，我们调查的艺术状态，在多语言ASR模型，建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践，讨论了开放性问题，并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google（谷歌）
我们提出了两个端到端的模型：音频到字节（A2 B）和字节到音频（B2 A），多语种语音识别和合成。先前的工作主要使用字符，子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言，特别是在多语言处理的情况下。在这项工作中，我们通过一个Unicode字节序列，具体地说，每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax，并在多语言模型中共享表示。我们表明，字节优于字形字符在各种各样的语言单语端到端语音识别。此外，我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中，我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后，我们提出了一个端到端的多语言语音合成模型，使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University（麦吉尔大学）；Mila（米拉人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；Apple（苹果公司）
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中，我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方，即使在低资源语言中也能很好地工作：训练一个有监督的多语言模型，用目标语言的半监督学习对其进行微调，为该语言生成伪标签，并使用所有语言的伪标签训练最终模型，无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明，我们的配方可以产生一个对许多语言都具有更好性能的模型，并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练，从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性，共享网络可能难以同时针对所有各种语言进行优化。在本文中，我们提出了一种新的多语言架构，目标是在神经网络的核心操作：线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量，为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量，以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的，在两个多语种设置与$7$和$27$语言，减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano（范诺）
针对多语种ASR的可配置需求，提出带语音摘要向量的csvMASR模型，结合适配器与辅助分类损失，在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Analysis of Multilingual Sequence-to-Sequence speech recognition systems
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）；Amazon（亚马逊）；Google（谷歌）；Facebook（脸书）；MERL/Mitsubishi Electric（三菱电机研究实验室/三菱电机）
本文研究了传统隐马尔可夫模型（HMM）系统中开发的各种多语言方法在序列到序列（seq 2seq）自动语音识别（ASR）中的应用。在由Babel数据组成的集合上，我们首先展示了具有堆叠瓶颈（SBN）特征的多语言训练的有效性。然后，我们探讨了基于CTC-注意力网络的多语言seq 2seq模型的各种架构和训练策略，包括输出层、CTC和/或注意力分量再训练的组合。我们还研究了当目标语言不包含在原始多语言训练数据中时，在资源非常少的情况下语言迁移学习的有效性。有趣的是，我们发现多语言特征优于多语言模型，这一发现表明我们可以通过这些多语言特征技术有效地将HMM系统与seq 2seq系统的优势结合起来。
2018-11-07 cs.CL cs.LG eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders
Meta AI
提出对比层到层蒸馏（CoLLD）方法，利用掩码预测和对比学习压缩多语言预训练语音编码器，在多语言语音翻译和识别基准上优于先前方法，缩小了小型与大型模型的差距。
2023-12-27 cs.CL cs.SD eess.AS
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University（庞培法布拉大学）；Pontifical Catholic University of Peru（秘鲁天主教大学）
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术，以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集，我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言，预计到2022年底，秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频，使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量，我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
多语言语音识别与监督学习取得了很大的成绩，反映在最近的研究。随着音频和文本数据预训练方法的发展，必须从无监督的多语言模型中转移知识以促进识别，特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性：wav2vec 2.0用于音频，MBART50用于文本，以及自适应权重技术，以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说，我们注意到比纯粹的监督学习提高了44%，更重要的是，每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性，通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法，通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
The Multilingual TEDx Corpus for Speech Recognition and Translation
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland（马里兰大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了多语言TEDx语料库，建立支持跨许多非英语源语言的语音识别（ASR）和语音翻译（ST）研究。该语料库收集了8种源语言的TEDx演讲录音。我们将文字稿分割成句子，并将它们与源语言音频和目标语言翻译对齐。该语料库与开源代码一起发布，以便在新的谈话和语言可用时进行扩展。我们的语料库创建方法可以应用到更多的语言比以前的工作，并创建多路并行评估集。我们提供多种ASR和ST设置的基线，包括多语言模型，以提高低资源语言对的翻译性能。
2021-06-15 cs.CL
A Unified Speech LLM for Diarization and Speech Recognition in Multilingual Conversations
Institute of Science Tokyo（东京科学研究所）
本文提出一种统一语音大语言模型，以端到端方式联合执行多语言对话中的说话人分离与语音识别，通过重构训练数据格式和推理流程，在 MLC-SLM Challenge 任务 II 上较基线实现 54.87% 的相对改进。
2025-06-26 cs.AI cs.CL cs.SD
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音，音韵，语言家族，地理位置和正字法维度的相似性的相对重要性。在这种情况下，实验证明了两个额外的预训练目标的有效性，鼓励语言独立的编码器表示：一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University（斯坦福大学）
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题，提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型，使绝对词错率最多降低 20%，是数据有限时的更优方案。
2023-11-25 cs.CL
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group（微软语音组）
本文提出流式多语言语音模型SM2，以Transformer Transducer为骨干，利用机器翻译生成的弱监督数据训练，在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量，并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex（数据分析与科学研究所，埃塞克斯大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）
本文提出一种基于对比学习的多语言语音识别框架，通过语境对齐提升识别性能，支持多种语言和口音，实现语音与上下文的高效交互。
2026-08-19 cs.CL
OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）
针对语音领域神经缩放定律研究不足的问题，本研究提出OWLS多语言语音模型套件（0.25B至18B参数），基于150种语言36万小时数据推导缩放定律，发现缩放可提升低资源语言性能并推动涌现能力研究。
2025-02-14 cs.AI cs.CL cs.LG
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
提出多语言口语理解基准Fleurs-SLU，包含102种语言692小时主题分类和92种语言944小时听力问答，评估发现级联系统与闭源语音LLM表现优异，且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
False positive bias in AI-powered speech-based cognitive screening for multilingual English speakers in the UK
本研究发现，尽管AI模型整体表现良好，但对英国少数族裔背景的多语使用者存在偏见，且可能错误判断特定口音群体的认知状况。
2026-09-14 cs.AI cs.CL
Multi-task Recurrent Model for True Multilingual Speech Recognition
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
多语种语音识别的研究仍然是一个具有吸引力和挑战性的课题。最近的研究集中在多任务范式下的共享结构，特别是特征共享结构的学习。这种方法被发现有效地提高了每种语言的性能。但是，这种方法仅在部署的系统仅支持一种语言时才有用。在允许多种语言的真正多语言场景中，由于解码空间中语言之间的竞争，性能将显著降低。本文提出了一种多任务递归模型，该模型包括一个多语言语音识别（ASR）组件和一个语言识别（LR）组件，ASR组件通过LR组件获得语言信息，从而实现语言感知的识别。我们测试了一个英汉双语识别任务的方法。实验结果表明，所提出的多任务递归模型可以提高多语种识别系统的性能。
2016-09-27 cs.CL cs.LG cs.NE
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia（西波希米亚大学）
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能，发现单语模型在多数情况下优于多语言模型，并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）研究进展迅速，但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面：识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而，一个实用的多语言识别器预计将兼容这两个方向。在这项工作中，提出了一种新的语言感知编码器（LAE）架构来处理这两种情况下，通过解开特定于语言的信息，并在编码过程中生成帧级的语言感知表示。在LAE中，主要编码由共享块实现，而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息，提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明，所提出的LAE能够在帧级区分不同的语言，并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集，建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University（延世大学电子与电气工程系）
研究多语言ASR模型面临的多语言诅咒问题，提出MoLGE模型，基于S3Ms为相似语言簇分配专家模块并集成LoRA策略，研究语言分组策略影响，实验表明该模型以最少参数提升性能，为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition
Salesforce Research（赛富时研究院）；The Hong Kong University of Science and Technology（香港科技大学）
现实世界的多语言语音识别的一个关键挑战是长尾分布问题，其中一些资源丰富的语言（如英语）具有丰富的训练数据，但长尾低资源语言具有不同数量的有限训练数据。为了克服长尾问题，在本文中，我们提出了适应和调整（A2），一个基于transformer的多任务学习框架的端到端的多语种语音识别。A2框架通过三种技术克服了长尾问题：（1）利用预训练的多语言语言模型（mBERT）来提高低资源语言的性能;（2）提出了由语言特定和语言不可知自适应组成的双适配器，并具有最少的附加参数;以及（3）通过在训练期间在损失中强加类别先验或在推理期间调整softmax输出的logit来克服类别不平衡。在CommonVoice语料库上的大量实验表明，A2方法的性能明显优于传统方法。
2020-12-03 cs.AI cs.CL cs.LG
WorldSpeech: A Multilingual Speech Corpus from Around the World
ETH Zurich（苏黎世联邦理工学院）
本文提出WorldSpeech，一个包含76种语言6.5万小时对齐语音数据的多语言语料库，通过微调现有ASR模型，使11种语言的词错误率平均降低63.5%。
2026-05-09 cs.AI cs.CL cs.LG
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
MahaTTS: A Unified Framework for Multilingual Text-to-Speech Synthesis
针对现有TTS模型多语言覆盖不足的问题，本文提出多语言多说话人TTS系统MahaTTS-v2，基于20000小时印度语言数据训练，结合Wav2Vec2.0和语言模型等技术，提升印度语言合成效果。
2025-08-05 cs.CL eess.AS
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（国立科技大学）；College of Computing and Data Science（计算与数据科学学院）
本文提出将双向上下文融入语音大语言模型，通过字符级上下文掩码训练和两阶段上下文感知解码，在1500小时多语言对话语料上取得18%的相对改进，优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种零样本多语言TTS方法，通过纯文本掩码语言模型预训练结合冻结语言感知嵌入层的监督微调，使低资源语言无需成对音频数据即可实现高可懂度语音合成，未见语言的字符错误率低于12%。
2023-05-27 cs.CL eess.AS
MLS: A Large-Scale Multilingual Dataset for Speech Research
Facebook AI Research（脸书人工智能研究院）
本文介绍了多语言LibriSpeech（MLS）数据集，这是一个适合语音研究的大型多语言语料库。该数据集来自LibriVox的有声读物，由8种语言组成，包括大约44.5K小时的英语和大约6K小时的其他语言。此外，我们还为数据集中的所有语言提供语言模型（LM）和基线自动语音识别（ASR）模型。我们相信这样一个大的转录数据集将为ASR和文本到语音（TTS）研究开辟新的途径。该数据集将在http://www.openslr.org上免费提供给任何人。
2020-12-19 cs.CL cs.SD eess.AS
