Enhancing multilingual speech recognition in air traffic control by sentence-level language identification
Sichuan University(四川大学)
针对空中交通管制多语种对话下ASR精度不足的问题,提出结合句子级语言识别的两阶段多语种ASR框架,引入FiLM和SLIL模块,在ATCSpeech数据集上实现7.50%的字符错误率相对提升。
2023-04-29 cs.SD eess.AS
Romanization Encoding For Multilingual ASR
NVIDIA Corporation(英伟达公司)
提出罗马化编码结合平衡拼接分词器与Roman2Char模块,在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model
Center for Robust Speech Systems (CRSS), University of Texas at Dallas, USA(稳健语音系统中心(CRSS),德克萨斯大学达拉斯分校);Meta AI, USA(Meta AI)
本文提出自适应掩码剪枝方法,用于高效压缩多语言ASR模型,动态调整子网络以生成稀疏单语或双语模型,优于现有方法并减少语言特定剪枝需求。
2024-01-11 cs.AI cs.CL cs.LG
LAMA-UT: Language Agnostic Multilingual ASR through Orthography Unification and Language-Specific Transliteration
提出LAMA-UT,一种无需语言特定模块的多语言ASR流水线,通过正字法统一和音译转换,以极少训练数据达到与Whisper和MMS相当的性能,错误率相对降低45%。
2025-10-23 cs.CL cs.SD eess.AS
MLMA: Towards Multilingual ASR With Mamba-based Architectures
Center for Augmented Intelligence, Fondazione Bruno Kessler, Trento, Italy(增强智能中心,布鲁诺·克塞勒基金会,意大利特伦托)
本文提出MLMA,利用Mamba状态空间模型进行多语言ASR,通过隐式语言感知和共享表示,在标准基准上达到与Transformer相当的竞争力,展现其可扩展高效潜力。
2025-10-23 cs.CL cs.SD
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University(西江大学)
多语种语音数据往往存在长尾语言分布,导致性能下降。然而,多语言文本数据更容易获得,从而产生更有用的通用语言模型。因此,我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型(蒸馏-L2 S),对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性,将其应用到多语种自动语音识别(ASR)的任务。我们提取了基于transformer的跨语言语言模型(InfoXLM),同时为每种语言微调了大规模多语言ASR模型(XLSR-wav 2 vec 2.0)。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性,这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);SalesForce
低资源的自动语音识别(ASR)是具有挑战性的,因为低资源的目标语言数据不能很好地训练ASR模型。为了解决这个问题,元学习将每个源语言的ASR公式化为许多小的ASR任务,并对来自不同源语言的所有任务进行元学习,以快速适应看不见的目标语言。然而,不同源语言由于数据规模和语音系统的差异,其任务量和难度差异很大,导致任务量和任务难度不平衡,从而导致多语言元学习ASR(MML-ASR)的失败。在这项工作中,我们通过开发一种新的对抗性Meta采样(AMS)方法来改善MML-ASR来解决这个问题。当在MML-ASR中对任务进行抽样时,AMS自适应地确定每个源语言的任务抽样概率。具体而言,对于每种源语言,如果查询损失较大,则意味着其任务在数量和难度方面没有很好地采样以训练ASR模型,因此应该更频繁地采样以进行额外的学习。受此启发,我们将所有源语言域的历史任务查询损失馈送到网络中,以学习一种任务采样策略,从而对抗性地增加MML-ASR的当前查询损失。因此,学习任务抽样策略可以掌握每种语言的学习情况,从而预测每种语言的良好任务抽样概率,以实现更有效的学习。最后,在两个多语言数据集上的实验结果表明,AMS在MML-ASR上的应用效果显著,并证明了AMS对其他低资源语音任务和迁移学习ASR方法的适用性。
2021-04-12 cs.CL cs.SD eess.AS
A Language-Agnostic Hierarchical LoRA-MoE Architecture for CTC-based Multilingual ASR
本文提出基于CTC架构的轻量多语言ASR系统,通过分层LoRA-MoE框架实现语言无关解码,实验表明在资源受限场景下提升解码效率。
2026-03-16 cs.CL cs.SD eess.AS
Improving Massively Multilingual ASR With Auxiliary CTC Objectives
Carnegie Mellon University(卡内基梅隆大学)
多语言自动语音识别(ASR)模型已经将语音技术的可用性扩展到多种语言。然而,考虑到这些模型必须处理多少种语言,理解它们在不同语言之间不平衡的性能的关键是检查模型是否真的知道它应该转录哪种语言。在本文中,我们介绍了我们的工作,提高性能的FLEURS,102语言的开放ASR基准,通过调节整个模型的语言身份(LID)。我们调查技术的灵感来自最近的联结主义时间分类(CTC)的研究,以帮助该模型处理大量的语言,条件的LID预测的辅助任务。我们的实验结果表明,我们的技术的有效性超过标准的CTC/基于注意力的混合模型。此外,我们使用具有Conformer架构的自监督模型的最先进系统比FLEURS先前工作的结果提高了相对28.4%的CER。可在https://github.com/espnet/espnet/tree/master/egs2/fleurs/asr1上获得经过训练的模型和可再现的配方。
2023-02-27 cs.CL cs.SD eess.AS
Language-Aware Prompt Tuning for Parameter-Efficient Seamless Language Expansion in Multilingual ASR
School of Computer Science(计算机科学学院);College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
本文提出全软提示调优和语言感知提示调优,集成到Whisper中,在FLEURS上语言扩展任务分别提升5.0%和16.0%,实现低开销的多语言ASR扩展。
2025-06-16 cs.AI cs.CL cs.SD
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
低资源自动语音识别(ASR)是一项有用但棘手的任务,因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练,然后再转移到资源较少的目标语言上,从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络,并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法:(1)跨语言学习,将源语言的激活函数替换为目标语言的激活函数;(2)多语言学习,联合训练每种语言的连接主义时间分类(CTC)损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明,我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外,将跨语言学习和多语言学习结合起来,可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Adapting the adapters for code-switching in multilingual ASR
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究所);Erisha Labs(埃里沙实验室)
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型,显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能,CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft(微软)
提出LAMASSU模型,基于神经转换器实现流式语言无关的多语言语音识别与翻译,通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Towards Rehearsal-Free Multilingual ASR: A LoRA-based Case Study on Whisper
Northwestern Polytechnical University(西北工业大学);Alibaba Group(阿里巴巴集团)
本研究针对多语言ASR模型适配新语言时的灾难性遗忘问题,提出利用原始LoRA参数进行近似正交梯度下降,并引入可学习秩系数,在中文Whisper模型上对维吾尔语和藏语取得了更优结果。
2024-08-20 cs.CL cs.SD eess.AS
Scaling End-to-End Models for Large-Scale Multilingual ASR
Google(谷歌)
跨多种语言构建ASR模型是一个具有挑战性的多任务学习问题,因为数据差异很大,而且严重不平衡。现有的工作已经显示出从高资源语言到低资源语言的积极转移。然而,由于异构多语言数据的干扰和每种语言容量的减少,通常会观察到高资源语言的退化。我们对15种语言的任务进行了容量研究,每种语言的数据量从7.6K到53.5K小时不等。我们采用GShard [1]来有效地扩展到10 B参数。从经验上讲,我们发现(1)扩展模型参数的数量是解决容量瓶颈的有效方法-我们的500 M-param模型已经优于单语基线,并将其扩展到1B和10 B带来了进一步的质量提升;(2)更大的模型不仅更有效地利用数据,而且在训练成本方面也更有效,以TPU天为单位衡量-1B-param模型在34%的训练时间内达到了与500 M-param模型相同的精度;(3)给定固定的容量预算,增加深度比增加宽度效果更好,并且大的编码器比大的解码器效果更好;(4)通过持续的训练,它们可以适应新的语言和领域。
2021-09-11 cs.CL cs.SD eess.AS
MUST: A Multilingual Student-Teacher Learning approach for low-resource speech recognition
University of Sheffield(谢菲尔德大学)
本文提出MUST多语言学生-教师学习方法,通过后验概率映射克服知识蒸馏中字符集不一致的限制,利用教师集成训练低资源语音识别模型,使相对字符错误率最多降低9.5%。
2023-10-29 cs.CL cs.SD eess.AS
Language-Routing Mixture of Experts for Multilingual and Code-Switching Speech Recognition
NetEase Yidun AI Lab(网易易盾人工智能实验室)
本文提出LR-MoE,利用逐帧语言路由和共享LID预路由器引导语言专家学习,在相当计算效率下提升多语言及语码转换ASR性能。
2023-07-14 cs.SD eess.AS
SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets
AI Singapore(新加坡人工智能研究院)
该研究推出SEA-HELM Audio多语言评估框架,对比五种语言下ASR-LLM流水线语音与文本输入的性能,发现语音输入存在显著退化,凸显仅文本基准的局限,为多语言语音智能体评估提供工具。
2026-10-19 cs.CL cs.SD
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
Theta One AI;Seoul National University(首尔国立大学);Georgia Institute of Technology(佐治亚理工学院);Williams College(威廉姆斯学院);ROKAF Reserve Forces(韩国预备役部队)
HiKE提出一个分层评估框架,用于评估韩英混合语语音识别模型的性能,通过高质量数据和细致标注提升模型对混合语言处理能力的评估。
2026-01-13 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法,通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
The University of Melbourne(墨尔本大学)
DAMA通过深度感知适应框架,针对不同层的适应需求优化参数,实现低资源语言高效多语言语音识别。
2026-02-01 cs.CL cs.SD eess.AS
Language-Universal Adapter Learning with Knowledge Distillation for End-to-End Multilingual Speech Recognition
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一个语言通用的适配器学习框架的基础上,预先训练的模型,端到端的多语言自动语音识别(ASR)。对于声学建模,wav2vec 2.0预训练模型通过插入特定语言和通用语言适配器进行微调。然后使用在线知识蒸馏来使语言通用适配器能够学习语言特定的和通用的特征。利用语言标识符(LID)也减少了语言信息的混乱。使用LID,我们对多头注意力输出进行位置方面的修改。在推理过程中,特定于语言的适配器被移除,而语言通用适配器保持激活。该方法提高了识别精度,并解决了常见的多语种自动语音识别系统中适配器参数数量随语种数量线性增加的问题。在BABEL数据集上的实验证实了该框架的有效性。与传统的多语言模型相比,实现了3.3%的绝对出错率降低。该代码可从以下网址获得:https://github.com/shen9712/UniversalAdapterLearning。
2023-02-28 cs.CL cs.SD eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);Kanari AI;University of Helwan(赫勒万大学)
自动语音识别(ASR)中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明,单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器(WFST)框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下,我们的研究结果表明,WFST解码方法更适合于间隔语码转换数据集。此外,Transformer系统在句内语码转换任务中表现更好。通过这项研究,我们发布了一个人工生成的开发和测试集,以及生态代码切换测试集,以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
研究多语言ASR模型面临的多语言诅咒问题,提出MoLGE模型,基于S3Ms为相似语言簇分配专家模块并集成LoRA策略,研究语言分组策略影响,实验表明该模型以最少参数提升性能,为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Selective Invocation for Multilingual ASR: A Cost-effective Approach Adapting to Speech Recognition Difficulty
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
提出SIMA,一种基于口语大语言模型的选择性调用方法,根据语音难度决定直接转录或调用SOTA模型,词错误率降低18.7%,调用成本减半,在三个数据集上验证了可扩展性和经济高效性。
2025-05-22 cs.SD eess.AS
MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对现有SA-ASR方法适应性与效率受限的问题,提出MSA-ASR方法,基于冻结多语种ASR模型与弱标签训练的说话人模块实现说话人归因,仅用单语种数据训练仍在多语种场景取得媲美强基线的效果。
2025-01-15 cs.CL cs.SD eess.AS
Massively Multilingual ASR on 70 Languages: Tokenization, Architecture, and Generalization Capabilities
Meta AI
端到端多语言ASR变得越来越有吸引力,原因有几个,例如简化培训和部署过程,以及从高资源语言到低资源语言的积极性能转移。然而,增加语言数量、总小时数和唯一令牌的数量并不是一项简单的任务。本文探讨了70种语言的大规模多语言ASR模型。我们考察了两种体系结构:(1)共享嵌入和输出和(2)多嵌入和输出模型。在共享模型实验中,我们展示了不同语言之间标记化策略的重要性。之后,我们使用我们的最佳标记化策略来训练多个嵌入和输出模型,以进一步改善我们的结果。与单语模型相比,我们的多语言ASR实现了13.9%-15.6%的平均WER相对改善。我们表明,我们的多语言ASR推广以及看不见的数据集和域,实现9.5%和7.5%的WER多语言Libripeech(MLS)与zero-shot和微调,分别。
2022-11-10 cs.CL cs.SD eess.AS
Massively Multilingual ASR: 50 Languages, 1 Model, 1 Billion Parameters
Facebook AI Research(脸书人工智能研究院)
我们研究了为多种语言训练单个声学模型,目的是提高低资源语言的自动语音识别(ASR)性能,并全面简化支持多种语言的ASR系统的部署。我们对51种语言进行了广泛的基准测试,不同语言的训练数据量不同(从100小时到1100小时)。我们比较了三种多语言训练的变体,从一个不知道输入语言的单一联合模型,到使用这些信息,再到多个头部(每个语言集群一个)。我们表明,在几种语言上对ASR模型进行多语言训练可以提高识别性能,特别是在低资源语言上。与单语基线相比,联合模型,语言输入联合模型和多头模型的平均WER相对降低分别为20.9%,23%和28.8%。据我们所知,这是第一个大规模研究多语言ASR的工作,其中包括50多种语言和超过16,000小时的音频。
2020-07-08 cs.CL cs.SD eess.AS
Dual Script E2E framework for Multilingual and Code-Switching ASR
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
印度是多种语言的发源地,针对不同语言的自动语音识别(ASR)系统的培训具有挑战性。随着时间的推移,每种语言都从其他语言(如英语)中吸收单词,导致代码混合。大多数印度语言也有自己独特的脚本,这对训练多语言和代码转换ASR系统构成了重大限制。在文本到语音合成结果的启发下,在这项工作中,我们使用内部基于规则的音素级公共标签集(CLS)表示训练印度语言的多语言和代码切换ASR。我们提出了两个端到端(E2E)ASR系统。在第一个系统中,E2E模型是在CLS表示上训练的,我们使用了一个新的数据驱动的后端来恢复本地语言脚本。在第二个系统中,我们提出了一个修改的E2E模型,其中CLS表示和母语字符同时用于训练。我们展示了2021年印度ASR挑战赛的多语言和代码转换任务的结果。在挑战开发数据上,我们的最佳结果分别在多语言和代码转换任务的基线系统上实现了6%和5%的单词错误率改善(约)。
2021-06-02 cs.LG cs.SD eess.AS
Multilingual Graphemic Hybrid ASR with Massive Data Augmentation
Facebook AI(脸书人工智能实验室)
为了为低资源语言开发高性能的ASR,解决资源缺乏的方法是利用来自多种语言的数据,并通过创建声学变体来增强训练数据。在这项工作中,我们提出了一个单一的基于grapheme-based ASR模型学习7地理上接近的语言,使用标准的混合BLSTM-HMM声学模型与无格MMI目标。我们通过对每个语言特定的字素集进行联合来构建单个ASR字素集,我们发现这种多语言字素混合ASR模型可以对所有7种语言进行独立的识别,并且大大优于每个单语言ASR模型。其次,我们评估了语言中多种数据增强方法的有效性,以及它们与多语言建模的互补性。总体而言,我们表明,所提出的多语言字形混合ASR与各种数据增强不仅可以识别任何训练集内的语言,而且还提供了大的ASR性能改进。
2020-04-08 cs.CL cs.LG cs.SD
Exploring SSL Discrete Tokens for Multilingual ASR
System Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理学系)
本研究针对离散令牌在多语言ASR场景的应用空白,对比多种主流SSL模型的离散令牌跨语言域的性能与效率,验证其可取得与Fbank特征相当甚至更优的ASR效果。
2024-09-13 cs.CL cs.SD eess.AS
Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking
Carnegie Mellon University(卡内基梅隆大学);Meta FAIR
本文提出一种利用语言模型和文本语言识别等外部特征的简单N-best重排序方法,有效提升了真实环境下多语言ASR的准确率并降低了词错误率。
2024-09-27 cs.CL cs.SD eess.AS
EFFUSE: Efficient Self-Supervised Feature Fusion for E2E ASR in Low Resource and Multilingual Scenarios
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
针对多SSL模型融合计算成本高的问题,提出EFFUSE方法,用单一SSL模型预测模拟多模型特征,在ML-SUPERB上以更少参数实现更优的多语言语音识别性能。
2024-06-05 cs.SD eess.AS
Advocating Character Error Rate for Multilingual ASR Evaluation
IIIT Kottayam(科塔亚姆印度信息技术学院);University of Auckland(奥克兰大学);College of Engineering Trivandrum(特里凡得琅工程学院);University of Kerala(喀拉拉大学)
本文指出词错误率(WER)在多语言ASR评估中的局限性,通过三种语言的人工评估证明字符错误率(CER)与人类判断更相关,并倡导将CER作为多语言ASR评估的主要或补充指标。
2024-10-18 cs.CL cs.SD eess.AS
Enhancing Multilingual LLM-based ASR with Mixture of Experts and Dynamic Downsampling
University of Science and Technology of China(中国科学技术大学)
提出基于投影器的LLM-ASR框架,通过混合专家架构提升跨语言适应性,并利用连续整合-触发机制实现动态下采样和模态对齐,实验表明该方法显著超越强基线模型。
2026-06-09 cs.CL cs.SD eess.AS
How Phonotactics Affect Multilingual and Zero-shot ASR Performance
Delft University of Technology(代尔夫特理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
结合多种语言的录音来训练单个自动语音识别(ASR)模型的想法带来了通用语音表示出现的希望。最近,Transformer编码器-解码器模型已经被证明可以在训练期间呈现的语言的IPA转换中很好地利用多语言数据。然而,它学习的表征在zero-shot迁移到看不见的语言中并不成功。由于该模型缺乏声学模型(AM)和语言模型(LM)的显式因子分解,因此不清楚发音差异或音位结构不匹配在多大程度上影响了性能。为了更深入地了解限制zero-shot ASR传输的因素,我们将编码器-解码器替换为由单独的AM和LM组成的混合ASR系统。然后,我们进行了广泛的评估单语,多语言,和跨语言(zero-shot)的声学和语言模型上的一组13个语音不同的语言。我们发现,从建模跨语言音位结构的增益是有限的,并施加一个太强的模型可能会伤害的zero-shot转移。此外,我们发现,一个多语种的LM损害了多语种的ASR系统的性能,和LM训练中只保留目标语言的音位结构数据是可取的。
2021-02-10 cs.CL cs.SD eess.AS
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题,提出LS-MOPD方法,通过语言专业化教师与多语言学生的在线策略蒸馏,在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan(美团)
本文提出MSR-86K,一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库,并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
Learning ASR pathways: A sparse multilingual ASR model
Meta
针对多语言 ASR 中语言无关剪枝损害特定语言性能的问题,提出可学习并激活语言特定子网络的稀疏 ASR pathways,在4种语言的流式 RNN-T 上优于稠密、语言无关剪枝及单语言稀疏模型。
2023-09-28 cs.CL eess.AS
Scaling Up Deliberation for Multilingual ASR
Google LLC(谷歌有限责任公司)
多语言端到端自动语音识别模型由于其训练和部署的简单性而具有吸引力。与单语模型相比,最近对此类模型进行大规模训练的工作显示出了有希望的结果。然而,这项工作通常集中在单通道设置中的多语言模型本身。在这项工作中,我们调查的第二遍审议多语种语音识别。我们提议的审议是多语种的,即,文本编码器对来自多种语言的假设文本进行编码,解码器处理多语言文本和音频。我们研究了可伸缩的审议文本编码器和解码器,并比较了可伸缩的审议解码器和第一遍级联编码器。我们发现,审议提高了平均WER 9种语言的4%,相对于单通道模型。通过将审议的大小增加到1B参数,平均WER改善增加到9%,某些语言的WER改善高达14%。我们的审议rescorer是基于Transformer层,可以在rescoring并行化。
2022-10-11 cs.CL cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google(谷歌)
设备端到端(E2E)模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别(ASR)方面也显示出了有希望的结果。在本文中,我们扩展了我们以前的容量解决方案,流媒体应用程序,并提出了一个流媒体多语言E2E ASR系统,完全运行在设备上,具有可比的质量和延迟个别单语模型。为了实现这一目标,我们提出了一个编码器端指针模型和一个结束的话语(EOU)联合层,以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式,使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题,我们进行了设备上的分析,并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改,我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano(范诺)
针对多语种ASR的可配置需求,提出带语音摘要向量的csvMASR模型,结合适配器与辅助分类损失,在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India(微软研究院印度)
尽管自动语音识别(ASR)系统在某些语言上取得了与人类相似的性能,但由于缺乏大型语音数据集来训练这些模型,世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案,因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究,然而,自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路,这可以为提高低资源语言的性能铺平道路。在本文中,我们调查的艺术状态,在多语言ASR模型,建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践,讨论了开放性问题,并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对多语言低资源语音识别中微调导致灾难性遗忘及跨任务干扰问题,提出统一梯度投影(UGP)方法,通过语言平衡重放的参考梯度约束参数更新,结合梯度级与数据级重放,有效减轻遗忘,实现有效适应。
2026-07-14 cs.CL cs.SD eess.AS
Master-ASR: Achieving Multilingual Scalability and Low-Resource Adaptation in ASR with Modular Learning
Georgia Institute of Technology(佐治亚理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
提出Master-ASR框架,通过模块化学习策略学习并自适应组装可泛化子模块,在减少开销的同时实现多语言可扩展性与低资源适应,显著优于SOTA方法。
2023-06-23 cs.CL eess.AS
Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs
University of Tokyo(东京大学)
通过模型合并和领域泛化方法,研究从有限语言对中学到的代码切换能力能否泛化到未见语言对,实验表明双语CS-ASR模型对未见语言对有一定泛化能力但有限。
2026-06-19 cs.CL eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University(四川大学);Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)(中国民用航空局西南空中交通管理局);Wisesoft Co., Ltd.(四川川大智胜软件股份有限公司)
自动语音识别(ASR)技术在近几年得到了迅速的发展,促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础,尤其是对于垂直行业,如空中交通管制(ATC)。有一些语音语料库用于公共或付费的常见应用。然而,对于ATC来说,由于安全问题,很难从真实系统中收集原始语音。更重要的是,对于像ASR这样的监督学习任务,注释转录是一项更加繁重的工作,这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库(ATC Speech),包括带口音的汉语和英语,以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外,我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知,这是第一个工作,旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
本文提出一种结合微调Whisper和mHuBERT编码器与LLM的ASR框架,通过交叉注意力机制提升多语言对话ASR性能,实验表明其在性能上接近端到端模型,但仍有提升空间。
2026-02-02 cs.CL cs.SD eess.AS
Semi-supervised Development of ASR Systems for Multilingual Code-switched Speech in Under-resourced Languages
Stellenbosch University(斯泰伦博斯大学);National University of Singapore(新加坡国立大学)
本文报道了半监督开发的声学和语言模型资源不足,代码转换语音在五种南非语言。考虑两种方法。第一个构造四个独立的双语自动语音识别器(ASR)对应于四个不同的语言对之间的扬声器切换频繁。第二个系统使用一个单一的、统一的、五种语言的ASR系统,代表所有的语言(英语、祖鲁语、科萨语、塞萨语和西语)。我们评估了这两种方法在用于将额外数据添加到极其稀疏的训练集时的有效性。结果表明,分批半监督训练比非分批方法产生更好的结果。此外,虽然单独的双语系统实现了更好的识别性能比统一的系统,他们受益于伪标签产生的五种语言的系统比那些产生的双语系统。
2020-03-06 cs.LG cs.SD eess.AS
Towards One Model to Rule All: Multilingual Strategy for Dialectal Code-Switching Arabic ASR
Qatar Computing Research Institute(卡塔尔计算研究所);KanarI AI
随着全球化的到来,对多语种自动语音识别(ASR)、处理口语内容的语言和方言变化的需求日益增加。最近的研究表明,它的功效超过单语系统。在这项研究中,我们设计了一个大型的多语言端到端的ASR使用自我注意基于构象架构。我们使用阿拉伯语(Ar),英语(En)和法语(Fr)训练系统。我们评估了系统的性能处理:(i)单语(Ar,En和Fr);(ii)多方言(现代标准阿拉伯语,以及方言的变化,如埃及和摩洛哥);(iii)代码切换-跨语言(Ar-En/Fr)和方言(MSA-埃及方言)测试用例,并与当前最先进的系统进行比较。此外,我们研究了不同的嵌入/字符表示的影响,包括字符与词片;共享与不同的输入符号每种语言。我们的研究结果证明了这样一个模型的优势,表现优于最先进的单语方言阿拉伯语和代码转换阿拉伯语ASR。
2021-07-05 cs.CL cs.HC cs.SD
Script Collapse in Multilingual ASR: Defining and Measuring Script Fidelity Rate
本文定义并测量脚本保真率(SFR),揭示了语音识别模型在错误书写系统中产生的系统性失败模式,发现18种语言模型存在脚本崩溃,MMS-1B和SeamlessM4T-v2在多种语言上保持高保真度。
2026-04-09 cs.SD eess.AS
XLS-R Deep Learning Model for Multilingual ASR on Low- Resource Languages: Indonesian, Javanese, and Sundanese
Bina Nusantara University(建国大学)
本文利用XLS-R 300m模型并结合5-gram KenLM语言模型,针对印度尼西亚语、爪哇语和巽他语等低资源语言提升多语种ASR性能,显著降低了词错误率。
2024-01-12 cs.CL cs.LG cs.SD
LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
本文提出 LoRA-Whisper,通过将 LoRA 矩阵融入 Whisper 缓解多语言干扰并支持语言扩展,在八种语言的真实任务中分别取得 18.5% 和 23.0% 的相对增益。
2024-06-07 cs.AI cs.CL eess.AS
Multilingual and code-switching ASR challenges for low resource Indian languages
Microsoft Corporation India(微软印度公司)
近来,人们对多语言自动语音识别(ASR)越来越感兴趣,其中语音识别系统通过利用多种语言中的少量标记语料库来迎合多种低资源语言。随着多语言在当今世界的普及,人们对语码转换的研究也越来越感兴趣。在语码转换中,多种语言在一个句子内或句子之间自由地互换。低资源多语言和语码转换ASR的成功通常取决于语言在声学、语言特征以及可用数据量方面的多样性,以及在构建ASR系统时如何仔细考虑这些因素。在这一挑战中,我们希望通过两个不同的子任务来构建多语言和代码转换ASR系统,这些子任务涉及总共七种印度语言,即印地语、马拉地语、奥迪亚语、泰米尔语、泰卢固语、古吉拉特语和孟加拉语。为此,我们提供了总计约600小时的转录语音数据,包括训练和测试集,在这些语言中,包括两个代码转换语言对,印地语-英语和孟加拉语-英语。我们还提供了一个基线配方的任务与WER为30.73%和32.45%的测试集的多语言和代码切换子任务,分别。
2021-04-01 cs.CL eess.AS