Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker（ReadSpeaker公司）
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而，这些模型通常需要大量的训练数据，这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求，但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此，在本文中，我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模，并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度，表明多语言模型可以产生与单语多说话者模型相当的自然度，并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
在以往的工作中，只有参数权重的ASR模型的优化下固定的拓扑结构。然而，成功的模型架构的设计一直依赖于人类的经验和直觉。此外，许多与模型架构相关的超参数需要手动调整。因此，在本文中，我们提出了一个ASR的方法，有效的梯度为基础的架构搜索，DARTS-ASR。为了研究DARTS-ASR的通用性，我们不仅将我们的方法应用于许多语言来执行单语ASR，而且还应用于多语言ASR设置。在以前的工作之后，我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明，我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%，在单语和多语种ASR设置。此外，我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Developing multilingual speech synthesis system for Ojibwe, Mi'kmaq, and Maliseet
University of British Columbia（不列颠哥伦比亚大学）；SayITFirst；CultureFoundry
本文为三种北美原住民语言开发轻量级流匹配多语言TTS系统，证明多语言训练在低资源场景下优于单语言模型，并指出无注意力架构兼具竞争力与内存效率，同时呼吁建立以社区为中心的人类评估协议。
2025-02-04 cs.AI cs.CL cs.LG
Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University（麦吉尔大学）；Mila（米拉人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；Apple（苹果公司）
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中，我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方，即使在低资源语言中也能很好地工作：训练一个有监督的多语言模型，用目标语言的半监督学习对其进行微调，为该语言生成伪标签，并使用所有语言的伪标签训练最终模型，无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明，我们的配方可以产生一个对许多语言都具有更好性能的模型，并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
多语言语音识别与监督学习取得了很大的成绩，反映在最近的研究。随着音频和文本数据预训练方法的发展，必须从无监督的多语言模型中转移知识以促进识别，特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性：wav2vec 2.0用于音频，MBART50用于文本，以及自适应权重技术，以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说，我们注意到比纯粹的监督学习提高了44%，更重要的是，每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性，通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法，通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
Multilingual End-to-End Speech Recognition with A Single Transformer on Low-Resource Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型将声学、发音和语言模型集成到单个神经网络中，这使得它们非常适合于多语言自动语音识别（ASR）。在本文中，我们关注的是在低资源语言的多语种语音识别的一个单一的Transformer，序列到序列的注意力为基础的模型。在不使用任何语音词典的情况下，采用子词作为多语建模单元。首先，我们表明，一个单一的多语言ASR Transformer执行低资源的语言，尽管一些语言混乱。然后，我们研究在训练过程中已知语言信息的条件下，通过在原始子词序列的开头或结尾插入语言符号来将语言信息纳入模型。在CALLHOME数据集上的实验表明，与带残差学习的SHL-MLSTM相比，带语言符号的多语言ASR Transformer性能更好，平均字错误率（WER）降低了10.5%.我们继续表明，假设在训练和测试过程中已知语言信息，通过将语言符号作为句子开始标记，与具有剩余学习的SHL-MLSTM相比，可以观察到大约12.4%的平均WER减少。
2018-06-14 cs.CL cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University（卡内基梅隆大学）
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起，并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而，这种方法未能利用训练集中语料库之间的相关性和相似性。例如，目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中，我们提出了一个简单但有用的抽样策略，利用这种相关性。我们首先计算语料库级嵌入，并估计每个语料库之间的相似性。接下来，我们首先从每个语料库中均匀采样来训练多语言模型，然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后，模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外，我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Multilingual Speech Evaluation: Case Studies on English, Malay and Tamil
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
语音评价是计算机辅助语言学习（CALL）的重要组成部分。虽然英语的语音评估已经很流行，但低资源语言的自动语音评分仍然具有挑战性。这一领域的工作主要集中在单语特定设计和源于英语等资源丰富的语言的手工制作功能上。这种方法通常很难推广到其他语言，特别是如果我们还想考虑超音段特性，如节奏。在这项工作中，我们研究了三种不同的语言，具有不同的节奏模式：英语（重音定时），马来语（音节定时），泰米尔语（莫拉定时）。我们利用音乐处理和向量表示学习的启发强大的特征表示。经验验证显示，在预测语音，节奏和语调表现时，所有三种语言的一致收益。
2021-07-08 cs.CL cs.SD eess.AS
Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition
University of Vigo（维戈大学）；DFKI GmbH（德国人工智能研究中心）
本文提出在持续多语言学习中应用加权交叉熵和数据增强，将低资源语言集成到预训练Whisper多语言ASR模型中，使低资源语言WER降低6.69%，且不损害高资源语言性能。
2024-09-25 cs.CL cs.SD eess.AS
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe（NAVER欧洲实验室）；Télécom Paris（巴黎电信学院）
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能，同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
Language-Universal Adapter Learning with Knowledge Distillation for End-to-End Multilingual Speech Recognition
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个语言通用的适配器学习框架的基础上，预先训练的模型，端到端的多语言自动语音识别（ASR）。对于声学建模，wav2vec 2.0预训练模型通过插入特定语言和通用语言适配器进行微调。然后使用在线知识蒸馏来使语言通用适配器能够学习语言特定的和通用的特征。利用语言标识符（LID）也减少了语言信息的混乱。使用LID，我们对多头注意力输出进行位置方面的修改。在推理过程中，特定于语言的适配器被移除，而语言通用适配器保持激活。该方法提高了识别精度，并解决了常见的多语种自动语音识别系统中适配器参数数量随语种数量线性增加的问题。在BABEL数据集上的实验证实了该框架的有效性。与传统的多语言模型相比，实现了3.3%的绝对出错率降低。该代码可从以下网址获得：https://github.com/shen9712/UniversalAdapterLearning。
2023-02-28 cs.CL cs.SD eess.AS
FLEURS-R: A Restored Multilingual Speech Corpus for Generation Tasks
Google DeepMind（谷歌DeepMind）
本文提出语音修复后的多语言并行语料库FLEURS-R，基于FLEURS用Miipher模型提升102种语言语音的质量与保真度，可推动低资源语言语音生成研究，且已公开发布。
2024-08-12 cs.AI cs.CL cs.SD
Learning Robust and Multilingual Speech Representations
DeepMind（深度思维）；University of Oxford（牛津大学）
无监督语音表示学习在发现与语音结构相关的表示并提高下游语音识别性能方面取得了显著的成功。然而，大多数研究都集中在评估的代表，他们的能力，以提高性能的语音识别系统阅读英语（如华尔街日报和LibriSpeech）。这种评估方法忽略了两个重要的desiderata语音表示应该有：鲁棒性域转移和可转移到其他语言。在本文中，我们学习表示从多达8000小时的不同和嘈杂的语音数据和评估的表示，通过查看其鲁棒性域的变化和他们的能力，以提高识别性能，在许多语言。我们发现，我们的表示赋予显着的鲁棒性优势，从而产生的识别系统：我们看到显着的改进，在域外传输相对于基线功能集和功能同样提供了改进，在25个语音不同的语言，包括音调语言和低资源语言。
2020-01-29 cs.CL cs.LG eess.AS
Multi-Teacher Language-Aware Knowledge Distillation for Multilingual Speech Emotion Recognition
Department of lnformation and Communications Engineering（信息与通信工程系）
本文提出一种多教师语言感知知识蒸馏方法，用于提升英语、芬兰语和法语的语音情感识别性能，通过蒸馏多个教师模型的知识，实现多语言情感识别的高召回率。
2025-06-10 cs.CL cs.SD eess.AS
Multilingual Approach to Joint Speech and Accent Recognition with DNN-HMM Framework
Xinjiang University（新疆大学）；Nanyang Technological University（南洋理工大学）
人类可以识别语音，同时也可以识别语音的特殊口音。然而，目前最先进的ASR系统很少能做到这一点。在本文中，我们提出了一种多语言的方法来识别英语语音，以及相关的口音，说话人传达使用DNN-HMM框架。具体来说，我们假设不同的英语口音是不同的语言。然后，我们将它们合并在一起并训练多语言ASR系统。在解码过程中，我们进行了两个实验。一种是基于单语语音识别的解码方法，在音素级嵌入口音信息，实现基于单词的口音识别;另一种是基于多语言语音识别的解码方法，实现基于近似发音的口音识别。对一个8口音英语语音识别的实验结果表明，这两种方法都可以产生接近于传统的ASR系统，完全忽略口音，以及所需的AR准确性。此外，我们对所提出的方法进行了广泛的分析，如迁移学习无域数据开发，跨口音识别混淆，以及重音词的特点。
2021-05-08 cs.SD eess.AS
Language-Routing Mixture of Experts for Multilingual and Code-Switching Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
本文提出LR-MoE，利用逐帧语言路由和共享LID预路由器引导语言专家学习，在相当计算效率下提升多语言及语码转换ASR性能。
2023-07-14 cs.SD eess.AS
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University（西江大学）
多语种语音数据往往存在长尾语言分布，导致性能下降。然而，多语言文本数据更容易获得，从而产生更有用的通用语言模型。因此，我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型（蒸馏-L2 S），对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性，将其应用到多语种自动语音识别（ASR）的任务。我们提取了基于transformer的跨语言语言模型（InfoXLM），同时为每种语言微调了大规模多语言ASR模型（XLSR-wav 2 vec 2.0）。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性，这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology（万隆理工学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对印尼语-英语语码转换问题，通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入，实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University（延世大学电子与电气工程系）
研究多语言ASR模型面临的多语言诅咒问题，提出MoLGE模型，基于S3Ms为相似语言簇分配专家模块并集成LoRA策略，研究语言分组策略影响，实验表明该模型以最少参数提升性能，为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft（微软）
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的，这是由于（1）低资源语言的数据稀缺，（2）训练和刷新100多个单语模型的昂贵计算成本，以及（3）考虑到稀疏流量，托管效率低下。在这项研究中，我们提出了一种新的方法来组多个低资源的地区在一起，并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外，对于低资源，但高流量的地区，部署单语模型是可行的，我们表明，微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
Enhancing multilingual speech recognition in air traffic control by sentence-level language identification
Sichuan University（四川大学）
针对空中交通管制多语种对话下ASR精度不足的问题，提出结合句子级语言识别的两阶段多语种ASR框架，引入FiLM和SLIL模块，在ATCSpeech数据集上实现7.50%的字符错误率相对提升。
2023-04-29 cs.SD eess.AS
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
MLS: A Large-Scale Multilingual Dataset for Speech Research
Facebook AI Research（脸书人工智能研究院）
本文介绍了多语言LibriSpeech（MLS）数据集，这是一个适合语音研究的大型多语言语料库。该数据集来自LibriVox的有声读物，由8种语言组成，包括大约44.5K小时的英语和大约6K小时的其他语言。此外，我们还为数据集中的所有语言提供语言模型（LM）和基线自动语音识别（ASR）模型。我们相信这样一个大的转录数据集将为ASR和文本到语音（TTS）研究开辟新的途径。该数据集将在http://www.openslr.org上免费提供给任何人。
2020-12-19 cs.CL cs.SD eess.AS
Africa-Centric Self-Supervised Pre-Training for Multilingual Speech Representation in a Sub-Saharan Context
Orange Innovation France（法国奥兰治创新中心）
首个完全基于非洲语音训练的自监督多语言模型，使用60000小时21种语言数据，基于HuBERT架构在ASR任务上媲美大模型，LID任务准确率超基线22%以上。
2024-04-22 cs.CL cs.LG cs.SD
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
University of Trento（特伦托大学）；NAVER LABS Europe（NAVER欧洲实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文构建涵盖12种语言的多模态多任务数据集 Speech-MASSIVE，支持 SLU 基线评测及语音转写、语言识别、语音翻译等任务。
2024-08-07 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
SpeechTaxi: On Multilingual Semantic Speech Classification
Center For Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）
本文构建覆盖28种语言、时长80小时的SpeechTaxi数据集，系统比较端到端与级联语义语音分类，并提出罗马化文本级联方法以解决低资源语言ASR支持不足问题。
2024-09-10 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India（微软研究院印度）
尽管自动语音识别（ASR）系统在某些语言上取得了与人类相似的性能，但由于缺乏大型语音数据集来训练这些模型，世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案，因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究，然而，自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路，这可以为提高低资源语言的性能铺平道路。在本文中，我们调查的艺术状态，在多语言ASR模型，建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践，讨论了开放性问题，并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
Zambezi Voice: A Multilingual Speech Corpus for Zambian Languages
University of Zambia（赞比亚大学）；George Mason University（乔治梅森大学）
本研究推出首个面向赞比亚语言的开源多语言语音语料库Zambezi Voice，含160小时未标注与超80小时标注语音数据，通过微调Wav2Vec2.0构建语音识别基线模型，数据集已公开发布。
2023-06-13 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University（亚当·密茨凯维奇大学）
CAMEO是一个多语言情感语音数据集，旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University（首尔国立大学）；Graduate School of Linguistics（语言学研究生院）
针对构音障碍评估的单语言局限，提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法，以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
Applying Phonological Features in Multilingual Text-To-Speech
Centre for Language Studies, Radboud University（拉德堡德大学语言研究中心）；Faculty of Linguistics, Philology and Phonetics, University of Oxford（牛津大学语言学、语文学与语音学学院）；Shengrurenxin Ltd.（盛如人心有限公司）
本研究探讨语音特徴是否可以应用在文语转换系统中，以产生英文和中文的本族语和非本族语语音。我们提出了一个映射的ARPABET/SAMPA-SC，然后到语音特征。我们测试了这种映射是否可以导致成功地生成两种语言中的母语，非母语和代码转换语音。我们运行了两个实验，一个是小数据集，另一个是大数据集。结果表明，语音特征可以作为一个可行的输入系统，但需要进一步的研究，以提高模型的性能。TTS模型生成的重音输出也有助于理解人类第二语言习得过程。
2021-10-10 cs.CL cs.LG cs.SD
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Meta AI；Rembrand（伦勃朗）
本文提出ML-SUPERB，一个覆盖143种语言的多语言语音基准，评估SSL模型在语音识别和语言识别上的性能，发现SSL特征显著优于FBANK，且多语言模型并非总优于单语言模型。
2025-02-24 cs.CL cs.SD eess.AS
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin（得克萨斯大学奥斯汀分校）；National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本研究利用仅基于英语的大规模预训练模型（CLIP和HuBERT）实现多语种图像-语音检索，大幅超越现有最优性能，并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
