MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对现有SA-ASR方法适应性与效率受限的问题,提出MSA-ASR方法,基于冻结多语种ASR模型与弱标签训练的说话人模块实现说话人归因,仅用单语种数据训练仍在多语种场景取得媲美强基线的效果。
2025-01-15 cs.CL cs.SD eess.AS
Massively Multilingual ASR on 70 Languages: Tokenization, Architecture, and Generalization Capabilities
Meta AI
端到端多语言ASR变得越来越有吸引力,原因有几个,例如简化培训和部署过程,以及从高资源语言到低资源语言的积极性能转移。然而,增加语言数量、总小时数和唯一令牌的数量并不是一项简单的任务。本文探讨了70种语言的大规模多语言ASR模型。我们考察了两种体系结构:(1)共享嵌入和输出和(2)多嵌入和输出模型。在共享模型实验中,我们展示了不同语言之间标记化策略的重要性。之后,我们使用我们的最佳标记化策略来训练多个嵌入和输出模型,以进一步改善我们的结果。与单语模型相比,我们的多语言ASR实现了13.9%-15.6%的平均WER相对改善。我们表明,我们的多语言ASR推广以及看不见的数据集和域,实现9.5%和7.5%的WER多语言Libripeech(MLS)与zero-shot和微调,分别。
2022-11-10 cs.CL cs.SD eess.AS
DuDe: Dual-Decoder Multilingual ASR for Indian Languages using Common Label Set
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在像印度这样的多语言国家,多语言自动语音识别(ASR)系统有很大的应用范围。多语言ASR系统表现出许多优点,如可扩展性,可维护性,并提高了单语言ASR系统的性能。然而,为印度语言构建多语言系统是具有挑战性的,因为不同的语言使用不同的脚本进行写作。另一方面,印度语言有很多共同的声音。公共标签集(CLS)利用了这一思想,并将具有相似声音的各种语言的字素映射到公共标签。由于印度语言大多是语音的,因此构建一个解析器来将本地脚本转换为CLS是很容易的。在本文中,我们探索了各种方法来构建多语言ASR模型。我们还提出了一种新的架构,称为编码器-解码器-解码器,用于构建使用CLS和本地脚本标签的多语言系统。我们还分析了基于CLS的多语言系统与机器音译相结合的有效性。
2022-10-30 cs.CL cs.LG cs.SD
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University(台湾大学);NVIDIA(英伟达)
在以往的工作中,只有参数权重的ASR模型的优化下固定的拓扑结构。然而,成功的模型架构的设计一直依赖于人类的经验和直觉。此外,许多与模型架构相关的超参数需要手动调整。因此,在本文中,我们提出了一个ASR的方法,有效的梯度为基础的架构搜索,DARTS-ASR。为了研究DARTS-ASR的通用性,我们不仅将我们的方法应用于许多语言来执行单语ASR,而且还应用于多语言ASR设置。在以前的工作之后,我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明,我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%,在单语和多语种ASR设置。此外,我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation(英特尔公司);SIL International(SIL国际)
由于资源限制,在边缘设备上运行自动语音识别(ASR)并非易事,特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一,每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的,我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
UML: A Universal Monolingual Output Layer for Multilingual ASR
Google(谷歌)
词段模型(WPM)是最先进的端到端自动语音识别(ASR)系统中常用的子词单元。对于多语言ASR,由于不同语言的书面脚本存在差异,多语言WPM带来了输出层过大和扩展到更多语言的挑战。在这项工作中,我们提出了一个通用的单语输出层(UML)来解决这些问题。UML将每个输出节点与多个WPM重新关联,而不是一个输出节点只用于一个WPM,每个WPM用于一种语言,并导致跨语言共享的更小的单语输出层。因此,UML能够根据输入语音的语言切换每个输出节点的解释。11种语言的语音搜索任务的实验结果表明,使用UML的高质量和高效率的多语言流ASR的可行性。
2023-02-22 cs.CL cs.SD eess.AS
LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
本文提出 LoRA-Whisper,通过将 LoRA 矩阵融入 Whisper 缓解多语言干扰并支持语言扩展,在八种语言的真实任务中分别取得 18.5% 和 23.0% 的相对增益。
2024-06-07 cs.AI cs.CL eess.AS
Massively Multilingual ASR: 50 Languages, 1 Model, 1 Billion Parameters
Facebook AI Research(脸书人工智能研究院)
我们研究了为多种语言训练单个声学模型,目的是提高低资源语言的自动语音识别(ASR)性能,并全面简化支持多种语言的ASR系统的部署。我们对51种语言进行了广泛的基准测试,不同语言的训练数据量不同(从100小时到1100小时)。我们比较了三种多语言训练的变体,从一个不知道输入语言的单一联合模型,到使用这些信息,再到多个头部(每个语言集群一个)。我们表明,在几种语言上对ASR模型进行多语言训练可以提高识别性能,特别是在低资源语言上。与单语基线相比,联合模型,语言输入联合模型和多头模型的平均WER相对降低分别为20.9%,23%和28.8%。据我们所知,这是第一个大规模研究多语言ASR的工作,其中包括50多种语言和超过16,000小时的音频。
2020-07-08 cs.CL cs.SD eess.AS
Canary-1B-v2 & Parakeet-TDT-0.6B-v3: Efficient and High-Performance Models for Multilingual ASR and AST
NVIDIA Santa Clara, CA 95051, USA(NVIDIA圣克拉拉分校)
本报告提出 Canary-1B-v2 和 Parakeet-TDT-0.6B-v3,分别用于多语言 ASR/AST 和 ASR,前者性能优于 Whisper-large-v3 且快 10 倍,后者仅用 6 亿参数实现 25 种语言识别。
2025-09-25 cs.CL eess.AS
Multilingual Graphemic Hybrid ASR with Massive Data Augmentation
Facebook AI(脸书人工智能实验室)
为了为低资源语言开发高性能的ASR,解决资源缺乏的方法是利用来自多种语言的数据,并通过创建声学变体来增强训练数据。在这项工作中,我们提出了一个单一的基于grapheme-based ASR模型学习7地理上接近的语言,使用标准的混合BLSTM-HMM声学模型与无格MMI目标。我们通过对每个语言特定的字素集进行联合来构建单个ASR字素集,我们发现这种多语言字素混合ASR模型可以对所有7种语言进行独立的识别,并且大大优于每个单语言ASR模型。其次,我们评估了语言中多种数据增强方法的有效性,以及它们与多语言建模的互补性。总体而言,我们表明,所提出的多语言字形混合ASR与各种数据增强不仅可以识别任何训练集内的语言,而且还提供了大的ASR性能改进。
2020-04-08 cs.CL cs.LG cs.SD
MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond
Center for Augmented Intelligence, Fondazione Bruno Kessler(增强智能中心,布鲁诺·凯斯勒基金会);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
MEUSLI是首个多语言投影器家族,连接Whisper编码器与开源多语言大语言模型,实现28种欧洲语言的开源端到端自动语音识别。它扩展了单语言管道,能借助持续学习技术扩展到其他语言,还可用于语音翻译和主题识别等任务。
2026-07-27 cs.AI cs.CL eess.AS
Exploring SSL Discrete Tokens for Multilingual ASR
System Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理学系)
本研究针对离散令牌在多语言ASR场景的应用空白,对比多种主流SSL模型的离散令牌跨语言域的性能与效率,验证其可取得与Fbank特征相当甚至更优的ASR效果。
2024-09-13 cs.CL cs.SD eess.AS
Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking
Carnegie Mellon University(卡内基梅隆大学);Meta FAIR
本文提出一种利用语言模型和文本语言识别等外部特征的简单N-best重排序方法,有效提升了真实环境下多语言ASR的准确率并降低了词错误率。
2024-09-27 cs.CL cs.SD eess.AS
Romanization Encoding For Multilingual ASR
NVIDIA Corporation(英伟达公司)
提出罗马化编码结合平衡拼接分词器与Roman2Char模块,在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model
Center for Robust Speech Systems (CRSS), University of Texas at Dallas, USA(稳健语音系统中心(CRSS),德克萨斯大学达拉斯分校);Meta AI, USA(Meta AI)
本文提出自适应掩码剪枝方法,用于高效压缩多语言ASR模型,动态调整子网络以生成稀疏单语或双语模型,优于现有方法并减少语言特定剪枝需求。
2024-01-11 cs.AI cs.CL cs.LG
Advocating Character Error Rate for Multilingual ASR Evaluation
IIIT Kottayam(科塔亚姆印度信息技术学院);University of Auckland(奥克兰大学);College of Engineering Trivandrum(特里凡得琅工程学院);University of Kerala(喀拉拉大学)
本文指出词错误率(WER)在多语言ASR评估中的局限性,通过三种语言的人工评估证明字符错误率(CER)与人类判断更相关,并倡导将CER作为多语言ASR评估的主要或补充指标。
2024-10-18 cs.CL cs.SD eess.AS
Enhancing Multilingual LLM-based ASR with Mixture of Experts and Dynamic Downsampling
University of Science and Technology of China(中国科学技术大学)
提出基于投影器的LLM-ASR框架,通过混合专家架构提升跨语言适应性,并利用连续整合-触发机制实现动态下采样和模态对齐,实验表明该方法显著超越强基线模型。
2026-06-09 cs.CL cs.SD eess.AS
LAMA-UT: Language Agnostic Multilingual ASR through Orthography Unification and Language-Specific Transliteration
提出LAMA-UT,一种无需语言特定模块的多语言ASR流水线,通过正字法统一和音译转换,以极少训练数据达到与Whisper和MMS相当的性能,错误率相对降低45%。
2025-10-23 cs.CL cs.SD eess.AS
How Phonotactics Affect Multilingual and Zero-shot ASR Performance
Delft University of Technology(代尔夫特理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
结合多种语言的录音来训练单个自动语音识别(ASR)模型的想法带来了通用语音表示出现的希望。最近,Transformer编码器-解码器模型已经被证明可以在训练期间呈现的语言的IPA转换中很好地利用多语言数据。然而,它学习的表征在zero-shot迁移到看不见的语言中并不成功。由于该模型缺乏声学模型(AM)和语言模型(LM)的显式因子分解,因此不清楚发音差异或音位结构不匹配在多大程度上影响了性能。为了更深入地了解限制zero-shot ASR传输的因素,我们将编码器-解码器替换为由单独的AM和LM组成的混合ASR系统。然后,我们进行了广泛的评估单语,多语言,和跨语言(zero-shot)的声学和语言模型上的一组13个语音不同的语言。我们发现,从建模跨语言音位结构的增益是有限的,并施加一个太强的模型可能会伤害的zero-shot转移。此外,我们发现,一个多语种的LM损害了多语种的ASR系统的性能,和LM训练中只保留目标语言的音位结构数据是可取的。
2021-02-10 cs.CL cs.SD eess.AS
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题,提出LS-MOPD方法,通过语言专业化教师与多语言学生的在线策略蒸馏,在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
Code Switched and Code Mixed Speech Recognition for Indic languages
ThoughtWorks(思特沃克);EkStep Foundation(EkStep基金会)
训练多语言自动语音识别(ASR)系统是具有挑战性的,因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果,为印度语言训练多语言系统更加困难。我们比较了端到端的多语种语音识别系统的性能,单语模型的语言识别(LID)的条件下的性能。来自多语言模型的解码信息用于语言识别,然后与单语言模型相结合,以获得50%的跨语言WER改进。我们还提出了一个类似的技术来解决代码切换的问题,并实现了21.77和28.27的WER超过印地语英语和孟加拉语英语分别。我们的工作讨论了如何Transformer为基础的ASR,特别是wav2vec 2.0可以应用于开发多语言ASR和代码切换ASR的印度语言。
2022-06-13 cs.CL eess.AS
Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR
Interactive Systems Lab, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院交互系统实验室);InterACT, Carnegie Mellon University (CMU)(卡内基梅隆大学InterACT实验室)
针对多语言ASR系统中代码切换的挑战,提出贝叶斯因子化适应方法,在不降低单语性能的前提下,通过少量合成数据将切换相关知识高效集成到预训练模型中,使代码切换词转录错误降低32.87%,整体WER改善5.31%。
2026-06-23 cs.CL eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan(美团)
本文提出MSR-86K,一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库,并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
A Study of Multilingual End-to-End Speech Recognition for Kazakh, Russian, and English
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University(纳扎尔巴耶夫大学智能系统与人工智能研究所(ISSAI))
我们研究训练一个单一的端到端(E2E)自动语音识别(ASR)模型,用于哈萨克斯坦使用的三种语言:哈萨克语,俄语和英语。我们首先描述了基于Transformer网络的多语言E2E ASR的开发,然后对上述语言进行了广泛的评估。我们还比较了两种变体的输出字素集建设:组合和独立。此外,我们评估的LMs和数据增强技术的多语言E2E ASR的识别性能的影响。此外,我们提出了几个数据集的训练和评估目的。实验结果表明,多语言模型实现了类似的性能与单语言基线具有相似的参数数量。我们最好的单语和多语言模型在组合测试集上的平均单词错误率分别为20.9%和20.5%。为了确保我们的实验和结果的可重复性,我们分享了我们的训练配方、数据集和预训练模型。
2021-08-03 cs.CL eess.AS
Scaling Up Deliberation for Multilingual ASR
Google LLC(谷歌有限责任公司)
多语言端到端自动语音识别模型由于其训练和部署的简单性而具有吸引力。与单语模型相比,最近对此类模型进行大规模训练的工作显示出了有希望的结果。然而,这项工作通常集中在单通道设置中的多语言模型本身。在这项工作中,我们调查的第二遍审议多语种语音识别。我们提议的审议是多语种的,即,文本编码器对来自多种语言的假设文本进行编码,解码器处理多语言文本和音频。我们研究了可伸缩的审议文本编码器和解码器,并比较了可伸缩的审议解码器和第一遍级联编码器。我们发现,审议提高了平均WER 9种语言的4%,相对于单通道模型。通过将审议的大小增加到1B参数,平均WER改善增加到9%,某些语言的WER改善高达14%。我们的审议rescorer是基于Transformer层,可以在rescoring并行化。
2022-10-11 cs.CL cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google(谷歌)
设备端到端(E2E)模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别(ASR)方面也显示出了有希望的结果。在本文中,我们扩展了我们以前的容量解决方案,流媒体应用程序,并提出了一个流媒体多语言E2E ASR系统,完全运行在设备上,具有可比的质量和延迟个别单语模型。为了实现这一目标,我们提出了一个编码器端指针模型和一个结束的话语(EOU)联合层,以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式,使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题,我们进行了设备上的分析,并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改,我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano(范诺)
针对多语种ASR的可配置需求,提出带语音摘要向量的csvMASR模型,结合适配器与辅助分类损失,在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
MLMA: Towards Multilingual ASR With Mamba-based Architectures
Center for Augmented Intelligence, Fondazione Bruno Kessler, Trento, Italy(增强智能中心,布鲁诺·克塞勒基金会,意大利特伦托)
本文提出MLMA,利用Mamba状态空间模型进行多语言ASR,通过隐式语言感知和共享表示,在标准基准上达到与Transformer相当的竞争力,展现其可扩展高效潜力。
2025-10-23 cs.CL cs.SD
Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR
Knovel Engineeing Lab(Knovel工程实验室)
本文提出Polyglot-Lion,通过平衡微调Qwen3-ASR模型,在新加坡四种语言上实现高效多语言语音识别,模型在12个基准测试中达到14.85的平均错误率,成本仅为128GPU基线的1/200。
2026-03-17 cs.CL
Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);SalesForce
低资源的自动语音识别(ASR)是具有挑战性的,因为低资源的目标语言数据不能很好地训练ASR模型。为了解决这个问题,元学习将每个源语言的ASR公式化为许多小的ASR任务,并对来自不同源语言的所有任务进行元学习,以快速适应看不见的目标语言。然而,不同源语言由于数据规模和语音系统的差异,其任务量和难度差异很大,导致任务量和任务难度不平衡,从而导致多语言元学习ASR(MML-ASR)的失败。在这项工作中,我们通过开发一种新的对抗性Meta采样(AMS)方法来改善MML-ASR来解决这个问题。当在MML-ASR中对任务进行抽样时,AMS自适应地确定每个源语言的任务抽样概率。具体而言,对于每种源语言,如果查询损失较大,则意味着其任务在数量和难度方面没有很好地采样以训练ASR模型,因此应该更频繁地采样以进行额外的学习。受此启发,我们将所有源语言域的历史任务查询损失馈送到网络中,以学习一种任务采样策略,从而对抗性地增加MML-ASR的当前查询损失。因此,学习任务抽样策略可以掌握每种语言的学习情况,从而预测每种语言的良好任务抽样概率,以实现更有效的学习。最后,在两个多语言数据集上的实验结果表明,AMS在MML-ASR上的应用效果显著,并证明了AMS对其他低资源语音任务和迁移学习ASR方法的适用性。
2021-04-12 cs.CL cs.SD eess.AS
Multilingual Speech Recognition using Knowledge Transfer across Learning Processes
Microsoft(微软)
多语言端到端(E2E)模型在自动语音识别(ASR)领域中的语言覆盖范围的扩展方面显示出巨大的潜力。在本文中,我们的目标是从两个方面提高多语言ASR的性能,1)研究喂养一个单一的热向量识别语言的影响,2)制定任务与元学习目标结合自监督学习(SSL)。我们将每种语言与不同的任务流形相关联,并试图通过跨学习过程本身传输知识来提高性能,而不是通过最终模型参数传输。我们采用这种策略的数据集,包括6种语言的域内ASR任务,通过最小化目标相关的预期梯度路径长度。实验结果表明,最好的预训练策略导致整体WER相对减少3.55%。当使用语言ID时,LEAP和SSL的组合产生3.51%的总体WER相对减少。
2021-10-15 cs.CL eess.AS
Building High-accuracy Multilingual ASR with Gated Language Experts and Curriculum Training
Microsoft(微软公司)
本文提出门控语言专家与课程训练方法,在不依赖推理阶段LID输入的情况下增强多语言Transformer Transducer,在双语任务中相对词错误率降低12.5%,并可扩展至多语言模型。
2023-07-07 cs.CL eess.AS
Improving Massively Multilingual ASR With Auxiliary CTC Objectives
Carnegie Mellon University(卡内基梅隆大学)
多语言自动语音识别(ASR)模型已经将语音技术的可用性扩展到多种语言。然而,考虑到这些模型必须处理多少种语言,理解它们在不同语言之间不平衡的性能的关键是检查模型是否真的知道它应该转录哪种语言。在本文中,我们介绍了我们的工作,提高性能的FLEURS,102语言的开放ASR基准,通过调节整个模型的语言身份(LID)。我们调查技术的灵感来自最近的联结主义时间分类(CTC)的研究,以帮助该模型处理大量的语言,条件的LID预测的辅助任务。我们的实验结果表明,我们的技术的有效性超过标准的CTC/基于注意力的混合模型。此外,我们使用具有Conformer架构的自监督模型的最先进系统比FLEURS先前工作的结果提高了相对28.4%的CER。可在https://github.com/espnet/espnet/tree/master/egs2/fleurs/asr1上获得经过训练的模型和可再现的配方。
2023-02-27 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India(微软研究院印度)
尽管自动语音识别(ASR)系统在某些语言上取得了与人类相似的性能,但由于缺乏大型语音数据集来训练这些模型,世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案,因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究,然而,自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路,这可以为提高低资源语言的性能铺平道路。在本文中,我们调查的艺术状态,在多语言ASR模型,建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践,讨论了开放性问题,并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对多语言低资源语音识别中微调导致灾难性遗忘及跨任务干扰问题,提出统一梯度投影(UGP)方法,通过语言平衡重放的参考梯度约束参数更新,结合梯度级与数据级重放,有效减轻遗忘,实现有效适应。
2026-07-14 cs.CL cs.SD eess.AS
Multilingual Adaptation of RNN Based ASR Systems
Institute for Anthropomatics and Robotics(人类工程学与机器人学研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在这项工作中,我们专注于基于递归神经网络(RNN)的多语言系统,使用连接主义时间分类(CTC)损失函数进行训练。使用一套多语种的声学单元会带来困难。为了解决这个问题,我们提出了语言特征向量(LFVs)训练语言自适应多语言系统。与说话人自适应不同,语言自适应不仅需要应用于特征层,还需要应用于网络的更深层。因此,在这项工作中,我们扩展了我们以前的方法,引入了一种新的技术,我们称之为“调制”。基于这种方法,我们使用LFVs调制RNN的隐藏层。我们评估了这种方法在充分和低资源条件下,以及字形和电话为基础的系统。通过使用调制,可以在不同条件下实现较低的错误率。
2018-02-27 cs.AI cs.CL eess.AS
Dual-Pipeline with Low-Rank Adaptation for New Language Integration in Multilingual ASR
ByteDance(字节跳动)
针对多语言 ASR 集成新语言时数据受限问题,提出 LoRA 双流水线与解码器选择机制,在扩展 Whisper 至 FLEURS 19 种新语言的同时保护原有语言性能。
2024-06-12 cs.CL eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University(四川大学);Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)(中国民用航空局西南空中交通管理局);Wisesoft Co., Ltd.(四川川大智胜软件股份有限公司)
自动语音识别(ASR)技术在近几年得到了迅速的发展,促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础,尤其是对于垂直行业,如空中交通管制(ATC)。有一些语音语料库用于公共或付费的常见应用。然而,对于ATC来说,由于安全问题,很难从真实系统中收集原始语音。更重要的是,对于像ASR这样的监督学习任务,注释转录是一项更加繁重的工作,这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库(ATC Speech),包括带口音的汉语和英语,以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外,我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知,这是第一个工作,旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
本文提出一种结合微调Whisper和mHuBERT编码器与LLM的ASR框架,通过交叉注意力机制提升多语言对话ASR性能,实验表明其在性能上接近端到端模型,但仍有提升空间。
2026-02-02 cs.CL cs.SD eess.AS
CL-MASR: A Continual Learning Benchmark for Multilingual ASR
Concordia University(康考迪亚大学);Télécom Paris(巴黎电信);Université Laval(拉瓦尔大学)
本文提出首个面向多语言ASR的持续学习基准CL-MASR,在大规模预训练模型上集成多种持续学习方法与评估指标,以解决学习新语言时的灾难性遗忘问题。
2023-10-25 cs.AI cs.CL
Transsion's Speaker-Attributed Multilingual ASR System for the MLC-SLM 2026 Challenge
Shenzhen Transsion Holdings Co., Ltd(深圳传音控股股份有限公司)
本文提出由说话人日志、多语言ASR和融合模块组成的级联框架,解决多语言对话语音的说话人属性转录问题,在MLC-SLM 2026挑战赛任务1中取得15.41%的tcpMER并排名第二。
2026-09-21 cs.CL
Towards One Model to Rule All: Multilingual Strategy for Dialectal Code-Switching Arabic ASR
Qatar Computing Research Institute(卡塔尔计算研究所);KanarI AI
随着全球化的到来,对多语种自动语音识别(ASR)、处理口语内容的语言和方言变化的需求日益增加。最近的研究表明,它的功效超过单语系统。在这项研究中,我们设计了一个大型的多语言端到端的ASR使用自我注意基于构象架构。我们使用阿拉伯语(Ar),英语(En)和法语(Fr)训练系统。我们评估了系统的性能处理:(i)单语(Ar,En和Fr);(ii)多方言(现代标准阿拉伯语,以及方言的变化,如埃及和摩洛哥);(iii)代码切换-跨语言(Ar-En/Fr)和方言(MSA-埃及方言)测试用例,并与当前最先进的系统进行比较。此外,我们研究了不同的嵌入/字符表示的影响,包括字符与词片;共享与不同的输入符号每种语言。我们的研究结果证明了这样一个模型的优势,表现优于最先进的单语方言阿拉伯语和代码转换阿拉伯语ASR。
2021-07-05 cs.CL cs.HC cs.SD
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex(数据分析与科学研究所,埃塞克斯大学);School of Computer Science and Electronic Engineering, University of Essex(计算机科学与电子工程学院,埃塞克斯大学)
本文提出一种基于对比学习的多语言语音识别框架,通过语境对齐提升识别性能,支持多种语言和口音,实现语音与上下文的高效交互。
2026-08-19 cs.CL
NTU Speechlab LLM-Based Multilingual ASR System for Interspeech MLC-SLM Challenge 2025
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);MiroMind, Singapore(MiroMind公司);Shanghai Jiao Tong University, China(上海交通大学);Peking University, China(北京大学)
本文介绍 NTU Speechlab 在 Interspeech 2025 MLC-SLM 挑战赛任务 I 中获得第 5 名的多语言 ASR 系统,通过语言特定提示和模型平均技术将平均混合错误率从 20.2% 降至 10.6%。
2025-07-04 cs.CL eess.AS
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)研究进展迅速,但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面:识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而,一个实用的多语言识别器预计将兼容这两个方向。在这项工作中,提出了一种新的语言感知编码器(LAE)架构来处理这两种情况下,通过解开特定于语言的信息,并在编码过程中生成帧级的语言感知表示。在LAE中,主要编码由共享块实现,而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息,提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明,所提出的LAE能够在帧级区分不同的语言,并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集,建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC(谷歌有限责任公司)
语言识别对于自动语音识别(ASR)中的许多下游任务至关重要,并且有利于作为附加任务集成到多语言端到端ASR中。在本文中,我们建议修改的级联编码器为基础的递归神经网络传感器(RNN-T)模型的结构,通过整合每帧语言标识符(LID)预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR,并使用具有较长右上下文的第二遍解码来实现较低的字错误率(WER)。通过利用右上下文中的这种差异和统计池的流式实现,所提出的方法可以实现精确的流式LID预测,而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明,该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
Efficient Adaptation of Multilingual Models for Japanese ASR
Georgia Institute of Technology(佐治亚理工学院)
本研究通过LoRA和端到端微调Whisper-Tiny多语言模型,利用日语数据集将CER从32.7降至14.7,超越Whisper-Base,证明微调多语言模型可在保持灵活性的同时提升特定语言性能。
2024-12-14 cs.AI cs.CL cs.SD
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Whale: Large-Scale multilingual ASR model with w2v-BERT and E-Branchformer with large speech data
Sony Group Corporation(索尼集团公司)
Whale通过融合w2v-BERT、E-Branchformer编码器-解码器及联合CTC-注意力解码,并利用大规模多语种语音数据训练,在Librispeech和CSJ等基准上取得优于Whisper large-v3与OWSM v3.1的识别性能。
2025-06-02 cs.CL eess.AS
Optimizing Byte-level Representation for End-to-end ASR
Apple(苹果公司)
本文提出利用自编码器与向量量化优化字节级表示,以提升端到端多语言ASR的准确率,并在英中听写任务中比UTF-8相对降低5%错误率。
2024-09-04 cs.CL eess.AS
End-to-End Open Vocabulary Keyword Search With Multilingual Neural Representations
Boğaziçi University(博阿齐奇大学);Brno University of Technology(布尔诺理工大学)
本文提出端到端无ASR开放词汇关键词搜索模型,采用双RNN编码器与点积匹配,并通过多语言预训练提升性能,在长查询和未见查询上优于传统ASR系统。
2023-08-15 cs.CL cs.SD eess.AS
MultiMed: Multilingual Medical Speech Recognition via Attention Encoder Decoder
University of Toronto(多伦多大学);University Health Network(大学健康网络);Knovel Engineering Lab(Knovel工程实验室);FPT University(佛邦大学);Florida Institute of Technology(佛罗里达技术学院);KU Leuven(鲁文大学);VNU University of Engineering and Technology(越南工程与技术大学);Johns Hopkins University(约翰霍普金斯大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本研究推出首个覆盖5种语言的多语种医疗ASR数据集MultiMed及配套端到端模型,开展多维度对比研究并提出工业场景优化的训练方案,所有资源均已开源。
2025-05-15 cs.CL cs.SD eess.AS
What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations
Digital University Kerala(喀拉拉邦数字大学);Swathanthra Malayalam Computing(斯瓦坦特拉马拉雅拉姆计算机构);University of Kerala(喀拉拉邦大学)
本文揭示多语言ASR评估中文本归一化对印度语系脚本的缺陷,导致性能指标虚高,并提出利用本土语言学知识改进归一化流程。
2024-11-09 cs.AI cs.CL cs.HC
Phoneme-guided TTS augmentation for ASR: A unified pipeline and multilingual evaluation
Shanghai Qi Zhi Institute(上海期智研究院);Megatronix (Beijing) Technology Co., Ltd.(美格创芯(北京)科技有限公司)
该研究提出基于音素的TTS到ASR增强统一流水线及PFGS方法,经多语言ASR实验验证,PFGS可显著降低词错误率,明确了合成规模等关键控制变量。
2026-09-18 cs.CL