Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University（麦吉尔大学）；Mila（米拉人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；Apple（苹果公司）
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中，我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方，即使在低资源语言中也能很好地工作：训练一个有监督的多语言模型，用目标语言的半监督学习对其进行微调，为该语言生成伪标签，并使用所有语言的伪标签训练最终模型，无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明，我们的配方可以产生一个对许多语言都具有更好性能的模型，并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google（谷歌）
我们提出了两个端到端的模型：音频到字节（A2 B）和字节到音频（B2 A），多语种语音识别和合成。先前的工作主要使用字符，子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言，特别是在多语言处理的情况下。在这项工作中，我们通过一个Unicode字节序列，具体地说，每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax，并在多语言模型中共享表示。我们表明，字节优于字形字符在各种各样的语言单语端到端语音识别。此外，我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中，我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后，我们提出了一个端到端的多语言语音合成模型，使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
多语言语音识别与监督学习取得了很大的成绩，反映在最近的研究。随着音频和文本数据预训练方法的发展，必须从无监督的多语言模型中转移知识以促进识别，特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性：wav2vec 2.0用于音频，MBART50用于文本，以及自适应权重技术，以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说，我们注意到比纯粹的监督学习提高了44%，更重要的是，每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性，通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法，通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
Multilingual End-to-End Speech Recognition with A Single Transformer on Low-Resource Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型将声学、发音和语言模型集成到单个神经网络中，这使得它们非常适合于多语言自动语音识别（ASR）。在本文中，我们关注的是在低资源语言的多语种语音识别的一个单一的Transformer，序列到序列的注意力为基础的模型。在不使用任何语音词典的情况下，采用子词作为多语建模单元。首先，我们表明，一个单一的多语言ASR Transformer执行低资源的语言，尽管一些语言混乱。然后，我们研究在训练过程中已知语言信息的条件下，通过在原始子词序列的开头或结尾插入语言符号来将语言信息纳入模型。在CALLHOME数据集上的实验表明，与带残差学习的SHL-MLSTM相比，带语言符号的多语言ASR Transformer性能更好，平均字错误率（WER）降低了10.5%.我们继续表明，假设在训练和测试过程中已知语言信息，通过将语言符号作为句子开始标记，与具有剩余学习的SHL-MLSTM相比，可以观察到大约12.4%的平均WER减少。
2018-06-14 cs.CL cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University（卡内基梅隆大学）
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起，并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而，这种方法未能利用训练集中语料库之间的相关性和相似性。例如，目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中，我们提出了一个简单但有用的抽样策略，利用这种相关性。我们首先计算语料库级嵌入，并估计每个语料库之间的相似性。接下来，我们首先从每个语料库中均匀采样来训练多语言模型，然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后，模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外，我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Multilingual Speech Evaluation: Case Studies on English, Malay and Tamil
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
语音评价是计算机辅助语言学习（CALL）的重要组成部分。虽然英语的语音评估已经很流行，但低资源语言的自动语音评分仍然具有挑战性。这一领域的工作主要集中在单语特定设计和源于英语等资源丰富的语言的手工制作功能上。这种方法通常很难推广到其他语言，特别是如果我们还想考虑超音段特性，如节奏。在这项工作中，我们研究了三种不同的语言，具有不同的节奏模式：英语（重音定时），马来语（音节定时），泰米尔语（莫拉定时）。我们利用音乐处理和向量表示学习的启发强大的特征表示。经验验证显示，在预测语音，节奏和语调表现时，所有三种语言的一致收益。
2021-07-08 cs.CL cs.SD eess.AS
Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition
University of Vigo（维戈大学）；DFKI GmbH（德国人工智能研究中心）
本文提出在持续多语言学习中应用加权交叉熵和数据增强，将低资源语言集成到预训练Whisper多语言ASR模型中，使低资源语言WER降低6.69%，且不损害高资源语言性能。
2024-09-25 cs.CL cs.SD eess.AS
Multilingual Bottleneck Features for Improving ASR Performance of Code-Switched Speech in Under-Resourced Languages
Stellenbosch University（斯泰伦博斯大学）
在这项工作中，我们探讨的好处，使用多语言瓶颈功能（MBNF）在声学建模的自动语音识别的代码切换（CS）语音在非洲语言。在为这种资源严重不足的语音类型开发语音识别系统时，感兴趣语言的注释语料库的不可用性一直是主要挑战。因此，值得研究的潜力，使用语音语料库可用于其他资源更好的语言，以提高语音识别性能。为了实现这一目标，我们训练的mBNF提取器使用九个南部班图语言的一部分，免费提供的多语言NCHLT语料库。我们将这些mBNF附加到现有的MFCC、音高特征和i向量上，以训练声学模型，用于目标代码切换语言的自动语音识别（ASR）。我们的研究结果表明，包含的mBNF功能导致明显的性能改善基线训练没有mBNF代码切换英语-isiZulu，英语-isiXhosa，英语-Sesperium和英语-Setperium语音。
2020-10-31 cs.CL cs.LG cs.SD
FLEURS-R: A Restored Multilingual Speech Corpus for Generation Tasks
Google DeepMind（谷歌DeepMind）
本文提出语音修复后的多语言并行语料库FLEURS-R，基于FLEURS用Miipher模型提升102种语言语音的质量与保真度，可推动低资源语言语音生成研究，且已公开发布。
2024-08-12 cs.AI cs.CL cs.SD
Multilingual Approach to Joint Speech and Accent Recognition with DNN-HMM Framework
Xinjiang University（新疆大学）；Nanyang Technological University（南洋理工大学）
人类可以识别语音，同时也可以识别语音的特殊口音。然而，目前最先进的ASR系统很少能做到这一点。在本文中，我们提出了一种多语言的方法来识别英语语音，以及相关的口音，说话人传达使用DNN-HMM框架。具体来说，我们假设不同的英语口音是不同的语言。然后，我们将它们合并在一起并训练多语言ASR系统。在解码过程中，我们进行了两个实验。一种是基于单语语音识别的解码方法，在音素级嵌入口音信息，实现基于单词的口音识别;另一种是基于多语言语音识别的解码方法，实现基于近似发音的口音识别。对一个8口音英语语音识别的实验结果表明，这两种方法都可以产生接近于传统的ASR系统，完全忽略口音，以及所需的AR准确性。此外，我们对所提出的方法进行了广泛的分析，如迁移学习无域数据开发，跨口音识别混淆，以及重音词的特点。
2021-05-08 cs.SD eess.AS
Language-Routing Mixture of Experts for Multilingual and Code-Switching Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
本文提出LR-MoE，利用逐帧语言路由和共享LID预路由器引导语言专家学习，在相当计算效率下提升多语言及语码转换ASR性能。
2023-07-14 cs.SD eess.AS
Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft China（微软中国）
为了将神经语音合成扩展到各种真实世界的语言，我们提出了一个多语言的端到端框架，该框架将字节输入映射到频谱图，从而允许任意输入脚本。除了在40多种语言上的强大结果外，该框架还展示了在极端低资源甚至只有40秒转录记录的Few-Shot场景下适应新语言的能力，而不需要词典，额外语料库，辅助模型或语言专业知识等每种语言资源，从而确保可扩展性。虽然它保留了令人满意的可理解性和自然匹配丰富的资源模型。详尽的比较和消融研究，以揭示低资源语言的框架的潜力。此外，我们提出了一种新的方法来提取特定语言的子网络的多语言模型，以更好地理解其机制。
2021-07-09 cs.CL cs.LG cs.SD
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University（西江大学）
多语种语音数据往往存在长尾语言分布，导致性能下降。然而，多语言文本数据更容易获得，从而产生更有用的通用语言模型。因此，我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型（蒸馏-L2 S），对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性，将其应用到多语种自动语音识别（ASR）的任务。我们提取了基于transformer的跨语言语言模型（InfoXLM），同时为每种语言微调了大规模多语言ASR模型（XLSR-wav 2 vec 2.0）。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性，这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology（万隆理工学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对印尼语-英语语码转换问题，通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入，实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
Developing multilingual speech synthesis system for Ojibwe, Mi'kmaq, and Maliseet
University of British Columbia（不列颠哥伦比亚大学）；SayITFirst；CultureFoundry
本文为三种北美原住民语言开发轻量级流匹配多语言TTS系统，证明多语言训练在低资源场景下优于单语言模型，并指出无注意力架构兼具竞争力与内存效率，同时呼吁建立以社区为中心的人类评估协议。
2025-02-04 cs.AI cs.CL cs.LG
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University（延世大学电子与电气工程系）
研究多语言ASR模型面临的多语言诅咒问题，提出MoLGE模型，基于S3Ms为相似语言簇分配专家模块并集成LoRA策略，研究语言分组策略影响，实验表明该模型以最少参数提升性能，为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Enhancing multilingual speech recognition in air traffic control by sentence-level language identification
Sichuan University（四川大学）
针对空中交通管制多语种对话下ASR精度不足的问题，提出结合句子级语言识别的两阶段多语种ASR框架，引入FiLM和SLIL模块，在ATCSpeech数据集上实现7.50%的字符错误率相对提升。
2023-04-29 cs.SD eess.AS
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft（微软）
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的，这是由于（1）低资源语言的数据稀缺，（2）训练和刷新100多个单语模型的昂贵计算成本，以及（3）考虑到稀疏流量，托管效率低下。在这项研究中，我们提出了一种新的方法来组多个低资源的地区在一起，并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外，对于低资源，但高流量的地区，部署单语模型是可行的，我们表明，微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本研究针对多语言大语言模型适配低资源语言的问题，通过LoRA PEFT微调多语言Gemma模型在马拉地语上的应用，发现微调后生成能力提升但推理能力下降，评估指标与人工评估结果存在差异，强调需改进评估方法和创建原生数据集。
2024-11-27 cs.CL cs.LG
Adapting Multilingual Embedding Models to Historical Luxembourgish
University of Zurich（苏黎世大学）
针对历史卢森堡语跨语言语义搜索，本文构建平行语料与Historical LB Bitext Mining评估集，并通过对比学习或知识蒸馏适配多语言嵌入模型，显著提升准确率。
2025-03-13 cs.CL
Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出通过适配器将ConceptNet图知识整合进多语言大语言模型，以提升八种低资源语言在情感分析和命名实体识别上的性能，并比较了多种掩码微调目标的有效性。
2024-12-18 cs.AI cs.CL
xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation
University of Bari Aldo Moro（巴里大学阿尔多莫罗分校）
本文提出通过自知识蒸馏将英文训练的大型视觉-语言模型适配为多语言、多模态嵌入模型，并构建基准评估其有效性。
2025-03-16 cs.CL cs.IR
Examining and Adapting Time for Multilingual Classification via Mixture of Temporal Experts
University of Memphis（孟菲斯大学）
针对现有分类模型忽视多语言场景时间变化的问题，提出时间专家混合模型（MoTE），通过适配时间趋势增强分类器泛化能力，实验验证其在多语言时间数据变化下的有效性并提供分析见解。
2025-02-12 cs.CL
MuLan: Adapting Multilingual Diffusion Models for Hundreds of Languages with Negligible Cost
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
MuLan 提出一个轻量级多语言适配器，通过冻结文本编码器和扩散模型，以极低成本实现超过 110 种语言的高质量图像生成，并兼容多种社区工具。
2025-06-05 cs.AI cs.CL
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
MLS: A Large-Scale Multilingual Dataset for Speech Research
Facebook AI Research（脸书人工智能研究院）
本文介绍了多语言LibriSpeech（MLS）数据集，这是一个适合语音研究的大型多语言语料库。该数据集来自LibriVox的有声读物，由8种语言组成，包括大约44.5K小时的英语和大约6K小时的其他语言。此外，我们还为数据集中的所有语言提供语言模型（LM）和基线自动语音识别（ASR）模型。我们相信这样一个大的转录数据集将为ASR和文本到语音（TTS）研究开辟新的途径。该数据集将在http://www.openslr.org上免费提供给任何人。
2020-12-19 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
University of Trento（特伦托大学）；NAVER LABS Europe（NAVER欧洲实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文构建涵盖12种语言的多模态多任务数据集 Speech-MASSIVE，支持 SLU 基线评测及语音转写、语言识别、语音翻译等任务。
2024-08-07 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
SpeechTaxi: On Multilingual Semantic Speech Classification
Center For Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）
本文构建覆盖28种语言、时长80小时的SpeechTaxi数据集，系统比较端到端与级联语义语音分类，并提出罗马化文本级联方法以解决低资源语言ASR支持不足问题。
2024-09-10 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India（微软研究院印度）
尽管自动语音识别（ASR）系统在某些语言上取得了与人类相似的性能，但由于缺乏大型语音数据集来训练这些模型，世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案，因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究，然而，自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路，这可以为提高低资源语言的性能铺平道路。在本文中，我们调查的艺术状态，在多语言ASR模型，建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践，讨论了开放性问题，并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
Zambezi Voice: A Multilingual Speech Corpus for Zambian Languages
University of Zambia（赞比亚大学）；George Mason University（乔治梅森大学）
本研究推出首个面向赞比亚语言的开源多语言语音语料库Zambezi Voice，含160小时未标注与超80小时标注语音数据，通过微调Wav2Vec2.0构建语音识别基线模型，数据集已公开发布。
2023-06-13 cs.CL cs.SD eess.AS
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University（亚当·密茨凯维奇大学）
CAMEO是一个多语言情感语音数据集，旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University（首尔国立大学）；Graduate School of Linguistics（语言学研究生院）
针对构音障碍评估的单语言局限，提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法，以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Meta AI；Rembrand（伦勃朗）
本文提出ML-SUPERB，一个覆盖143种语言的多语言语音基准，评估SSL模型在语音识别和语言识别上的性能，发现SSL特征显著优于FBANK，且多语言模型并非总优于单语言模型。
2025-02-24 cs.CL cs.SD eess.AS
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin（得克萨斯大学奥斯汀分校）；National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本研究利用仅基于英语的大规模预训练模型（CLIP和HuBERT）实现多语种图像-语音检索，大幅超越现有最优性能，并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
The Second MLC-SLM Challenge: Multilingual Conversational Speech Diarization, Recognition, and Understanding
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；Nanyang Technological University（南洋理工大学）；Huawei Technologies（华为技术有限公司）；Nexdata Technology Inc.（Nexdata科技公司）
该挑战赛通过两个任务（说话人分离与识别、语音理解）及真实数据集，吸引91支团队参与，旨在推动多语言对话语音语言模型的发展，并提炼实用见解以支持未来研究。
2026-09-24 cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练，从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性，共享网络可能难以同时针对所有各种语言进行优化。在本文中，我们提出了一种新的多语言架构，目标是在神经网络的核心操作：线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量，为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量，以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的，在两个多语种设置与$7$和$27$语言，减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
