M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin（得克萨斯大学奥斯汀分校）；National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本研究利用仅基于英语的大规模预训练模型（CLIP和HuBERT）实现多语种图像-语音检索，大幅超越现有最优性能，并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Classification of Spontaneous and Scripted Speech for Multilingual Audio
Spotify Ltd（Spotify公司）；Queen Mary University of London（伦敦玛丽女王大学）
本文构建多语言音频中脚本化与即兴语音分类器，系统比较传统特征与音频变换器，后者在11种语言组及非播客领域均达最优性能。
2024-12-16 cs.CL cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
本研究提出多语言多模态检索模型CLASP，结合音频频谱图与预训练自监督语音模型、多语言句子编码器，在自建15类语音文本数据集上训练，在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
Africa-Centric Self-Supervised Pre-Training for Multilingual Speech Representation in a Sub-Saharan Context
Orange Innovation France（法国奥兰治创新中心）
首个完全基于非洲语音训练的自监督多语言模型，使用60000小时21种语言数据，基于HuBERT架构在ASR任务上媲美大模型，LID任务准确率超基线22%以上。
2024-04-22 cs.CL cs.LG cs.SD
Title Redacted
Yonsei University（延世大学）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
ELARSpeech是含675种代表性不足语言的30202小时多语种语音数据集，可支持ASR、TTS扩展至这类语言，还公开了数据集、模型及构建流程，为相关研究提供资源与测试平台。
2026-10-21 cs.CL
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种零样本多语言TTS方法，通过纯文本掩码语言模型预训练结合冻结语言感知嵌入层的监督微调，使低资源语言无需成对音频数据即可实现高可懂度语音合成，未见语言的字符错误率低于12%。
2023-05-27 cs.CL eess.AS
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；Facebook AI（脸书人工智能）；Naver Labs Europe（Naver欧洲实验室）
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数，并在层之间注入轻量级模块，从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时，本文提出了多语言语音翻译（ST）适配器的全面分析。从不同的预训练模型开始（在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART（mBART）），我们表明适配器可用于：（a）以参数方面的低额外成本将ST有效地专门化为特定语言对，以及（b）从自动语音识别（ASR）任务和mBART预训练模型转换为多语言ST任务。实验表明，适配器调整提供了与完全微调相竞争的结果，同时参数效率更高。
2021-07-12 cs.CL
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy（印度Trichy国家理工学院）；Indian Institute of Technology, Madras（印度Madras理工学院）
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现，发现聚类大小控制可懂度，显式说话人条件防止身份崩溃，语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
我们介绍了一种多语言语音合成的方法，它使用上下文参数生成的元学习概念，并使用更多的语言和更少的训练数据比以前的方法产生自然的多语言语音。我们的模型基于Tacotron 2，具有完全卷积的输入文本编码器，其权重由单独的参数生成器网络预测。为了增强语音克隆，该模型使用了一个带有梯度反转层的对抗性说话者分类器，该梯度反转层可以从编码器中删除特定于说话者的信息。我们安排了两个实验，使用不同水平的跨语言参数共享将我们的模型与基线进行比较，以评估：（1）在少量数据上训练时的稳定性和性能，（2）发音准确性和代码切换合成的语音质量。在训练中，我们使用了CSS10数据集和基于五种语言的通用语音录音的新的小数据集。我们的模型被证明可以有效地跨语言共享信息，并且根据主观评估测试，它产生比基线更自然和准确的码切换语音。
2020-08-03 cs.CL cs.LG eess.AS
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Speech Wikimedia: A 77 Language Multilingual Speech Dataset
NVIDIA（英伟达）；Talon Voice；Long Now Foundation（恒今基金会）；MLCommons
该论文介绍了 Speech Wikimedia 数据集，一个从 Wikimedia Commons 提取的包含77种语言、1780小时转录语音的公开数据集，可用于训练语音识别、语音翻译和机器翻译模型。
2023-08-30 cs.AI cs.LG
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India（微软研究院印度）
尽管自动语音识别（ASR）系统在某些语言上取得了与人类相似的性能，但由于缺乏大型语音数据集来训练这些模型，世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案，因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究，然而，自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路，这可以为提高低资源语言的性能铺平道路。在本文中，我们调查的艺术状态，在多语言ASR模型，建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践，讨论了开放性问题，并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker（ReadSpeaker公司）
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而，这些模型通常需要大量的训练数据，这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求，但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此，在本文中，我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模，并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度，表明多语言模型可以产生与单语多说话者模型相当的自然度，并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University（首尔国立大学）；Graduate School of Linguistics（语言学研究生院）
针对构音障碍评估的单语言局限，提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法，以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University（麦吉尔大学）；Mila（米拉人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；Apple（苹果公司）
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中，我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方，即使在低资源语言中也能很好地工作：训练一个有监督的多语言模型，用目标语言的半监督学习对其进行微调，为该语言生成伪标签，并使用所有语言的伪标签训练最终模型，无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明，我们的配方可以产生一个对许多语言都具有更好性能的模型，并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
The Second MLC-SLM Challenge: Multilingual Conversational Speech Diarization, Recognition, and Understanding
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；Nanyang Technological University（南洋理工大学）；Huawei Technologies（华为技术有限公司）；Nexdata Technology Inc.（Nexdata科技公司）
该挑战赛通过两个任务（说话人分离与识别、语音理解）及真实数据集，吸引91支团队参与，旨在推动多语言对话语音语言模型的发展，并提炼实用见解以支持未来研究。
2026-09-24 cs.SD eess.AS
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练，从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性，共享网络可能难以同时针对所有各种语言进行优化。在本文中，我们提出了一种新的多语言架构，目标是在神经网络的核心操作：线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量，为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量，以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的，在两个多语种设置与$7$和$27$语言，减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano（范诺）
针对多语种ASR的可配置需求，提出带语音摘要向量的csvMASR模型，结合适配器与辅助分类损失，在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
Joint Training And Decoding for Multilingual End-to-End Simultaneous Speech Translation
Xiaomi AI Lab（小米AI实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对一对多多语言端到端同声语音翻译，提出统一解码器及异步训练策略以促进跨语言迁移，并构建多路对齐数据集验证有效性。
2025-03-14 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google（谷歌）
我们提出了两个端到端的模型：音频到字节（A2 B）和字节到音频（B2 A），多语种语音识别和合成。先前的工作主要使用字符，子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言，特别是在多语言处理的情况下。在这项工作中，我们通过一个Unicode字节序列，具体地说，每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax，并在多语言模型中共享表示。我们表明，字节优于字形字符在各种各样的语言单语端到端语音识别。此外，我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中，我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后，我们提出了一个端到端的多语言语音合成模型，使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders
Meta AI
提出对比层到层蒸馏（CoLLD）方法，利用掩码预测和对比学习压缩多语言预训练语音编码器，在多语言语音翻译和识别基准上优于先前方法，缩小了小型与大型模型的差距。
2023-12-27 cs.CL cs.SD eess.AS
Multilingual Source Tracing of Speech Deepfakes: A First Benchmark
School of Computing（计算学院）；Department of Linguistics and Translation（语言学与翻译系）
本文提出首个多语言语音深度伪造溯源基准，比较DSP与SSL方法，评估跨语言泛化，揭示训练与推理语言不同时的识别挑战。
2025-08-06 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
多语言语音识别与监督学习取得了很大的成绩，反映在最近的研究。随着音频和文本数据预训练方法的发展，必须从无监督的多语言模型中转移知识以促进识别，特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性：wav2vec 2.0用于音频，MBART50用于文本，以及自适应权重技术，以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说，我们注意到比纯粹的监督学习提高了44%，更重要的是，每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性，通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
Multilingual Stutter Event Detection for English, German, and Mandarin Speech
Rosenheim Technical University of Applied Sciences, Germany（德国罗森海姆应用技术大学）
本文提出一个基于多语种数据的多标签口吃检测系统，通过利用三种语言和四个语料库的标注数据，实现跨语言的鲁棒检测，实验表明多语言训练在某些情况下优于传统方法。
2026-03-27 cs.CL cs.SD eess.AS
