Multi-Graph Decoding for Code-Switching ASR
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）
在FAME！项目，一个代码转换（CS）自动语音识别（ASR）系统的弗里斯兰语-荷兰语的语音开发，可以准确地转录本地广播公司的双语档案与CS语音。该档案包含单语弗里斯兰语和荷兰语语音片段以及弗里斯兰语-荷兰语CS语音的录音，因此单语片段的识别性能对于准确的翻译也至关重要。在这项工作中，我们提出了一个多图解码和rescoring策略，使用双语和单语图与一个统一的声学模型CS ASR。建议的解码方案给出了自由设计和采用替代搜索空间为每个（单语或双语）识别任务，并使单语资源的高资源的混合语言在低资源的CS场景的有效利用。在我们的场景中，荷兰语是高资源语言，弗里斯兰语是低资源语言。因此，我们使用额外的单语荷兰语文本资源，以改善荷兰语语言模型（LM）和比较荷兰段使用较大的荷兰LM的单和多图CS ASR系统的性能。ASR结果表明，该方法优于基线单图CS ASR系统，提供更好的性能单语荷兰段没有任何准确性损失单语弗里斯兰语和代码混合段。
2019-06-28 cs.CL cs.SD eess.AS
Constrained Output Embeddings for End-to-End Code-Switching Speech Recognition with Only Monolingual Data
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
缺乏语码转换训练数据是开发端到端语码转换自动语音识别（ASR）模型的主要问题之一。在这项工作中，我们提出了一种方法来训练一个改进的端到端的代码切换ASR只使用单语数据。我们的方法鼓励单语语言的输出标记嵌入的分布是相似的，因此，促进ASR模型，以方便语言之间的代码切换。具体来说，我们建议使用基于詹森-香农发散和余弦距离的约束。前者将强制单语语言的输出嵌入具有相似的分布，而后者只是使两个分布的质心彼此接近。实验结果表明，该方法具有很高的有效性，产生高达4.5%的绝对混合出错率的改善汉语-英语码转换ASR任务。
2019-07-31 cs.CL
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Kanari AI；University of Helwan（赫勒万大学）
自动语音识别（ASR）中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明，单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器（WFST）框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下，我们的研究结果表明，WFST解码方法更适合于间隔语码转换数据集。此外，Transformer系统在句内语码转换任务中表现更好。通过这项研究，我们发布了一个人工生成的开发和测试集，以及生态代码切换测试集，以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Kyoto University（京都大学）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而，大多数现有的方法要求两个单语ASR模型（MAMs）的结构应该是相同的，并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中，我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段：语音感知阶段和语言融合阶段。在SA阶段，声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言，我们进一步扩展了MAMs的语言感知训练策略。在LF阶段，BELM融合两个语言特定的预测，以获得最终的预测。此外，我们提出了一个文本模拟策略，以简化BELM的训练过程，减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后，测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google（谷歌）
我们提出了两个端到端的模型：音频到字节（A2 B）和字节到音频（B2 A），多语种语音识别和合成。先前的工作主要使用字符，子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言，特别是在多语言处理的情况下。在这项工作中，我们通过一个Unicode字节序列，具体地说，每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax，并在多语言模型中共享表示。我们表明，字节优于字形字符在各种各样的语言单语端到端语音识别。此外，我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中，我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后，我们提出了一个端到端的多语言语音合成模型，使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）研究进展迅速，但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面：识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而，一个实用的多语言识别器预计将兼容这两个方向。在这项工作中，提出了一种新的语言感知编码器（LAE）架构来处理这两种情况下，通过解开特定于语言的信息，并在编码过程中生成帧级的语言感知表示。在LAE中，主要编码由共享块实现，而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息，提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明，所提出的LAE能够在帧级区分不同的语言，并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集，建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术有限公司）
该研究针对财报电话会议ASR场景，发现任务互补性使持续学习正则化适得其反，需正则化时mini-KFAC EWC比对角EWC性能更优。
2026-10-12 cs.CL cs.LG eess.AS
Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple（塔尔库大学苹果）
本文提出在双语自监督语音模型中引入有限视觉grounding，以缩小多语言与单语模型间的性能差距，在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University（卡内基梅隆大学）
持续学习，也被称为终身学习，旨在不断地从新的数据中学习，因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应，在本文中，我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下，额外的训练数据为同一个任务变得越来越可用随着时间的推移，我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆（GEM）的方法。此外，我们表明，通过在线持续学习和选择性采样策略，我们可以保持类似于从头开始重新训练模型的准确性，同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习（SSL）功能。
2022-07-11 cs.AI cs.LG cs.SD
UML: A Universal Monolingual Output Layer for Multilingual ASR
Google（谷歌）
词段模型（WPM）是最先进的端到端自动语音识别（ASR）系统中常用的子词单元。对于多语言ASR，由于不同语言的书面脚本存在差异，多语言WPM带来了输出层过大和扩展到更多语言的挑战。在这项工作中，我们提出了一个通用的单语输出层（UML）来解决这些问题。UML将每个输出节点与多个WPM重新关联，而不是一个输出节点只用于一个WPM，每个WPM用于一种语言，并导致跨语言共享的更小的单语输出层。因此，UML能够根据输入语音的语言切换每个输出节点的解释。11种语言的语音搜索任务的实验结果表明，使用UML的高质量和高效率的多语言流ASR的可行性。
2023-02-22 cs.CL cs.SD eess.AS
Continual Learning in Machine Speech Chain Using Gradient Episodic Memory
JAIST（日本先进科学技术学院）；HA3CI Laboratory（HA3CI实验室）
针对ASR系统持续学习的灾难性遗忘问题，提出融合机器语音链框架与梯度情景记忆的方法，通过文本转语音组件支持重放机制，在LJ Speech数据集上优于传统方法，实现高效持续学习。
2024-11-27 cs.AI cs.CL eess.AS
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen（圣加仑大学）
从头开始训练多说话者文本到语音（TTS）模型在计算上是昂贵的，并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器，对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中，我们从持续学习的角度来看待TTS建模，其目标是在不忘记先前发言者的情况下添加新的发言者。因此，我们首先提出了一个实验设置，并表明，串行微调新的扬声器可能会导致忘记较早的扬声器。然后，我们利用两个著名的技术持续学习，即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响，在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后，我们提出了一个简单的扩展来体验重播，以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Towards Language-Universal End-to-End Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI & Research（微软人工智能与研究）
用多种语言构建语音识别器通常涉及为每种语言复制单语训练配方，或者利用多任务学习方法，其中不同语言的模型具有单独的输出标签，但共享一些内部参数。在这项工作中，我们利用端到端语音识别的最新进展，创建一个单一的多语种语音识别系统，能够识别任何看到的语言训练。为此，我们建议使用所有语言共享的通用字符集。我们还在网络中创建了一个特定于语言的门控机制，可以以特定于语言的方式调节网络的内部表示。我们评估了我们提出的方法在三种语言的Microsoft Cortana任务，并表明我们的系统优于单独的单语系统和多任务学习方法构建的系统。我们还表明，该模型可用于初始化单语语音识别器，并可用于创建一个双语模型中使用的代码切换的情况下。
2017-11-06 cs.CL
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab（红丸实验室）
跨语言语音转换（VC）是指在源语和目标语使用不同语言的情况下，合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的，甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中，我们专注于知识转移从单语言ASR跨语言VC，以解决内容不匹配的问题。为了实现这一点，我们首先训练源语言的单语声学模型，使用它来提取VC数据集中所有语音的语音特征，然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识，为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验，结果表明，我们的说话者相关转换模型优于zero-shot基线，在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比，我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
Reducing language context confusion for end-to-end code-switching automatic speech recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
语码转换是指在交际过程中出现的替代语言。训练用于代码切换的端到端（E2 E）自动语音识别（ASR）系统尤其具有挑战性，因为代码切换训练数据总是不足以对抗由于存在多于一种语言而增加的多语言上下文混淆。本文基于等价约束理论，提出了一种与语言相关的注意力机制，以减少E2 E语码转换ASR模型中的多语言语境混淆。语言学理论要求任何出现在语码转换句中的单语片段必须出现在单语句子中。该理论在单语数据和语码转换数据之间架起了一座桥梁。我们利用这一语言学理论来设计语码转换E2 E ASR模型。该模型有效地从丰富的单语数据中转移语言知识，以提高代码转换ASR模型的性能。我们在ASRU 2019普通话-英语码转换挑战数据集上评估了我们的模型。与基线模型相比，我们提出的模型实现了17.12%的相对误差减少。
2022-06-29 cs.CL cs.SD eess.AS
Balanced End-to-End Monolingual pre-training for Low-Resourced Indic Languages Code-Switching Speech Recognition
Kanari AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
语码转换ASR的成功设计往往取决于转换后语码资源的可用性。这种依赖性损害了ASR在孟加拉语和印地语等低资源语言中的发展。在本文中，我们利用迁移学习的方法来设计端到端（E2 E）CS ASR系统的两个低资源的语言对使用不同的单语语音数据和一小部分嘈杂的CS数据。我们训练CS-ASR，遵循两个步骤：（i）使用基于卷积增强的Transformer（Conformer）的声学模型和n-gram语言模型构建一个健壮的双语ASR系统，以及（ii）用有限的噪声CS数据微调整个E2 E ASR。我们在MUCS 2021挑战赛上测试了我们的方法，并在CS赛道上获得了第三名。然后，我们使用在低资源印度语言的多语言和代码转换ASR挑战（MUCS 2021）中为印度语-英语和孟加拉语-英语对发布的嘈杂CS数据测试了所提出的方法，并在CS轨道中获得了第三名。与从抓取YouTube和学习音译对中受益的领先的两个系统不同，我们提出的迁移学习方法专注于只使用有限的CS数据，而不进行数据清理或数据重新分割。我们的方法在印地语-英语和孟加拉语-英语中分别实现了14.1%和27.1%的单词出错率（WER）相对增益。我们提供了详细的指导方针的步骤，以微调自我注意力为基础的模型有限的数据ASR。此外，我们发布了本文中使用的代码和配方。
2022-02-15 cs.CL cs.SD eess.AS
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们通过提出与语言无关的多任务训练方法来解决语言理论的数据稀缺和局限性。首先，我们介绍了一种基于元学习的方法，Meta迁移学习，其中信息是明智地从高资源的单语语音数据提取到代码转换域。Meta迁移学习通过学习以多任务学习方式学习来使模型快速地从多个单语任务适应代码切换任务。其次，我们提出了一种新的多语言元嵌入方法，通过获取在其他语言中学到的有用知识，学习密切相关的语言的共性和利用词汇组合来有效地表示代码转换数据。与上下文化的预训练多语言模型相比，该方法更有效。第三，我们引入多任务学习来整合句法信息作为迁移学习策略到语言模型，并学习在哪里进行代码切换。为了进一步缓解上述问题，我们提出了一个数据增强方法，使用指针生成，一个神经网络使用复制机制，教模型的代码切换点从单语平行句子。我们理清了对语言学理论的需求，该模型通过关注输入单词并对齐平行单词来捕获代码转换点，而不需要任何单词对齐或选区解析器。更重要的是，该模型可以有效地用于语法不同的语言，它优于基于语言学理论的模型。
2021-04-13 cs.CL cs.LG eess.AS
BuzzASR: A Swarm of 100+ Monolingual Speech Recognition Models
UC San Diego（加州大学圣迭戈分校）；EleutherAI
BuzzASR通过大规模单语微调Whisper模型，覆盖102种语言，在多数语言上降低字符错误率，并提升分词压缩率，优于Whisper-large-v3。
2026-10-06 cs.CL
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象，指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题，如CS语言对中的语言之间的属性不匹配，切换点的不可预测性，以及数据稀缺问题。我们通过合并非语言符号，通过使用分层softmax集成语言识别，通过对子字单元建模，通过人为降低说话速率，并通过使用速度扰动技术和多个单语数据集来增强数据，以提高系统在CS语音和单语基准上的最终性能，从而使系统更适用在现实生活中。最后，我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明，所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%，并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab（交互系统实验室）
针对语音识别模型持续学习中的灾难性遗忘问题，提出分解与集中化两阶段方法，通过低秩适配器累积知识，实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
Towards End-to-end Automatic Code-Switching Speech Recognition
HKUST（香港科技大学）
混合语言中的语音识别由于缺乏数据和重叠的音素集（例如，在诸如英语中的“one”和中文中的“wàn”的单词中）而难以适应端到端框架。本文提出了一种基于CTC的端到端自动语音识别模型，用于语码转换。该模型通过在单语数据集上进行联合训练，并与混合语言语料库进行微调来训练。在解码过程中，我们应用束搜索并结合CTC预测和语言模型得分。该方法在利用单语语料库和检测语言转换方面是有效的，它将CER提高了5%。
2018-10-30 cs.CL
Double Mixture: Towards Continual Event Detection from Speech
Southeast University（东南大学）；Monash University（莫纳什大学）
本文提出语音持续事件检测任务及两个基准数据集，并通过融合语音专长与记忆机制的 Double Mixture 方法，降低遗忘率并提升跨序列泛化能力。
2024-10-28 cs.CL cs.MM cs.SD
Exploration of Language Dependency for Japanese Self-Supervised Speech Representation Models
NTT Corporation（日本电报电话公司）
本文通过日语ASR任务实证比较跨语言与单语自监督模型，探究所需日语数据量，并展示多项任务上的最先进性能，为日语SSL研究提供指导。
2023-05-09 cs.CL cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Code Switched and Code Mixed Speech Recognition for Indic languages
ThoughtWorks（思特沃克）；EkStep Foundation（EkStep基金会）
训练多语言自动语音识别（ASR）系统是具有挑战性的，因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果，为印度语言训练多语言系统更加困难。我们比较了端到端的多语种语音识别系统的性能，单语模型的语言识别（LID）的条件下的性能。来自多语言模型的解码信息用于语言识别，然后与单语言模型相结合，以获得50%的跨语言WER改进。我们还提出了一个类似的技术来解决代码切换的问题，并实现了21.77和28.27的WER超过印地语英语和孟加拉语英语分别。我们的工作讨论了如何Transformer为基础的ASR，特别是wav2vec 2.0可以应用于开发多语言ASR和代码切换ASR的印度语言。
2022-06-13 cs.CL eess.AS
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne（墨尔本大学）；UNSW Sydney（新南威尔士大学悉尼分校）
针对太平洋土著语言数据稀缺和灾难性遗忘问题，研究语音基础模型的适应策略，发现LoRA在顺序学习中会灾难性遗忘，需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
在以往的工作中，只有参数权重的ASR模型的优化下固定的拓扑结构。然而，成功的模型架构的设计一直依赖于人类的经验和直觉。此外，许多与模型架构相关的超参数需要手动调整。因此，在本文中，我们提出了一个ASR的方法，有效的梯度为基础的架构搜索，DARTS-ASR。为了研究DARTS-ASR的通用性，我们不仅将我们的方法应用于许多语言来执行单语ASR，而且还应用于多语言ASR设置。在以前的工作之后，我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明，我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%，在单语和多语种ASR设置。此外，我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
MoDiCoL: A Modular Diagnostic Continual Learning Dataset for Robust Speech Recognition
Knowledge Technology, Department of Informatics, University of Hamburg, Germany（德国汉堡大学信息学系知识技术研究所）
提出MoDiCoL数据集，通过模块化设计分离语言内容、说话人特征和声学环境，并设计持续学习课程来模拟真实分布变化，评估三种持续学习策略下的鲁棒性获取、迁移和遗忘。
2026-06-15 cs.AI cs.CL cs.SD
AfriSwitch: A Benchmark for In-the-Wild African Code-Switched Speech Recognition
Intron Health
该研究针对非洲语码转换语音识别缺失基准的问题，构建AfriSwitch基准测试集，测试发现现有多语言ASR系统性能远逊于单语言表现，且非洲定向训练是提升性能的关键。
2026-08-28 cs.CL
Dual Language Models for Code Switched Speech Recognition
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在这项工作中，我们提出了一个简单而优雅的方法来语言建模双语代码切换文本。由于语码转换是两种或两种以上不同语言的混合，因此可以通过使用单语语言模型的结构来改进标准双语语言模型。我们提出了一种新的技术，称为双语言模型，它涉及到建立两个互补的单语语言模型，并结合使用概率模型之间的切换。我们使用一个普通话-英语会话语料库来评估我们的方法的有效性。我们证明了我们的模型的鲁棒性表现出显着的改善，在标准的双语语言模型的困惑措施，而不使用任何外部信息。类似的持续改进也反映在自动语音识别出错率上。
2018-08-03 cs.CL
Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对语码转换语音数据稀缺问题，提出拼接不同源语言音频及标签的数据增强方法，提升了E2E模型在CS语音和单语测试上的性能，未见句间语言切换WER降低5.03%。
2023-07-03 cs.CL cs.SD eess.AS
Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer
NVIDIA（英伟达）
本文提出基于拼接分词器的统一模型，通过从单语数据构建语码转换ASR数据集并同时输出语言ID，在英语-印地语和英语-西班牙语上取得最先进ASR结果，并在FLEURS数据集上实现98%以上的口语语言识别准确率。
2023-09-16 cs.CL cs.SD eess.AS
Continual learning using lattice-free MMI for speech recognition
Behavox（Behavox公司）
连续学习（CL）或域扩展，最近成为自动语音识别（ASR）声学建模的热门话题，因为实际系统必须频繁更新，以便在初始训练期间未观察到的语音类型上稳健地工作。虽然顺序自适应允许将系统调整到新的域，但由于灾难性的遗忘，它可能导致旧域的性能下降。在这项工作中，我们探索基于正则化的CL神经网络声学模型训练的无格最大互信息（LF-MMI）标准。我们通过在不同的公共数据集（包括几种口音和说话风格）上逐步适应声学模型来模拟域扩展。我们研究了两种著名的CL技术，弹性权重合并（EWC）和无遗忘学习（LWF），其目的是通过保留模型权重或网络输出来减少遗忘。我们还引入了序列级LWF正则化，它利用LF-MMI分母图的后验来进一步减少遗忘。实验结果表明，所提出的序列级LWF可以提高最好的平均字错误率在所有领域的9.4%，相对于使用常规LWF。
2021-10-13 cs.CL eess.AS
A Study of Multilingual End-to-End Speech Recognition for Kazakh, Russian, and English
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们研究训练一个单一的端到端（E2E）自动语音识别（ASR）模型，用于哈萨克斯坦使用的三种语言：哈萨克语，俄语和英语。我们首先描述了基于Transformer网络的多语言E2E ASR的开发，然后对上述语言进行了广泛的评估。我们还比较了两种变体的输出字素集建设：组合和独立。此外，我们评估的LMs和数据增强技术的多语言E2E ASR的识别性能的影响。此外，我们提出了几个数据集的训练和评估目的。实验结果表明，多语言模型实现了类似的性能与单语言基线具有相似的参数数量。我们最好的单语和多语言模型在组合测试集上的平均单词错误率分别为20.9%和20.5%。为了确保我们的实验和结果的可重复性，我们分享了我们的训练配方、数据集和预训练模型。
2021-08-03 cs.CL eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
话语内语码转换（CS）在口语内容中的普遍性要求语音识别（ASR）系统处理混合语言。设计CS-ASR系统有许多挑战，主要是由于数据稀缺，语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音，以及单语数据。在这项工作中，我们提出了一个零样本学习CS-ASR的方法，通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束（EC），同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明，65.5%的相对减少语言模型困惑，7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明，超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
End-to-End Code Switching Language Models for Automatic Speech Recognition
BITS Pilani, K K Birla Goa Campus（BITS Pilani K K Birla 果阿校区）；BITS Pilani, Hyderabad Campus（BITS Pilani 海得拉巴校区）
在本文中，我们特别研究了语码转换文本，这是世界各地双语社区中最常见的现象之一。由于在自动语音识别（ASR）模块中提取代码转换文本的差异，从而从代码转换文本中提取单语文本，我们提出了一种使用深度双向语言模型（LM），如BERT和其他机器翻译模型提取单语文本的方法，并探讨了从ASR模型中提取代码转换文本的不同方法。我们还通过比较Perplexity和WER等其他不同指标的结果与没有任何外部信息的标准双语文本输出来解释模型的鲁棒性。
2020-06-16 cs.CL cs.SD eess.AS
A multilingual training strategy for low resource Text to Speech
ENSIAS, Mohammed V University in Rabat（拉巴特穆罕默德五世大学ENSIAS学院）；International University of Rabat（拉巴特国际大学）；University of Leeds（利兹大学）；Sorbonne Université（索邦大学）
本文研究利用社交媒体数据和跨语言迁移学习训练低资源语言TTS模型，发现多语言预训练在语音可懂度和自然度上优于单语预训练。
2024-09-02 cs.CL cs.LG cs.SD
Continual self-training with bootstrapped remixing for speech enhancement
Meta Reality Labs Research（Meta现实实验室）
我们提出了RemixIT，一种简单而新颖的语音增强自监督训练方法。所提出的方法是基于一个连续的自我训练计划，克服了以前的研究，包括假设的域内噪声分布和获得干净的目标信号的限制。具体而言，分离教师模型在域外数据集上进行预训练，并用于推断一批域内混合物的估计目标信号。接下来，我们通过使用置换估计的清洁和噪声信号生成人工混合物来引导混合过程。最后，学生模型使用排列的估计源作为目标进行训练，同时我们使用最新的学生模型定期更新教师的权重。我们的实验表明，在多个语音增强任务下，RemixIT的性能优于以前几种最先进的自监督方法。此外，RemixIT为语音增强任务的半监督和无监督领域自适应提供了一种无缝的替代方案，同时足够通用，可以应用于任何分离任务并与任何分离模型配对。
2022-01-30 cs.LG cs.SD eess.AS
SpeechLLM Meets Federated Learning for End-to-End ASR: English and Italian Case Studies
研究将联邦学习应用于基于语音语言模型的端到端语音识别，设计通信高效的联邦优化策略，通过英语和意大利语单语ASR任务评估其有效性与稳定性，进行消融研究分析语音编码器架构影响，为多语言场景部署联邦SpeechLLM奠定基础。
2026-07-29 cs.CL
SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech
Mila - Quebec AI Institute（魁北克AI研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出SpeechJBB数据集，通过代码切换有害音频和伪词插入方法，揭示大型音频语言模型在多语言和口语设置下的安全漏洞。
2026-09-01 cs.CL cs.SD eess.AS
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg（汉堡大学）
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题，利用SVC-de数据集，通过层级特定微调和Experience Replay持续学习，在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
Acoustic and Textual Data Augmentation for Improved ASR of Code-Switching Speech
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们描述了几种技术，以改善声学和语言模型的自动语音识别（ASR）系统上的代码切换（CS）的语音。我们的重点是确认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，是一种资源不足的语言。在以前的工作中，我们已经提出了几个自动转录策略CS语音，以增加可用的训练语音数据量。在这项工作中，我们将探讨如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们训练国家的最先进的AM，这是无效的，由于缺乏训练数据，对显着增加量的CS语音和单语荷兰语语音。此外，我们改进的语言模型（LM），通过创建代码转换文本，这是在实践中几乎不存在的，通过（1）生成文本使用经常性的LM训练的训练CS语音数据的转录，（2）添加自动转录的CS语音数据的转录和（3）翻译荷兰语文本提取的大型荷兰语语音语料库的转录。我们报告称，由于声学和文本训练数据的增加，CS ASR性能显着提高。
2018-07-28 cs.CL
Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
尽管最近在端到端（E2 E）ASR系统的代码切换方面取得了重大进展，但对音频文本配对数据的饥饿限制了模型性能的进一步提高。本文提出了一个解耦的Transformer模型，利用单语配对数据和非配对文本数据来缓解语码转换数据不足的问题。该模型被解耦为两个部分：音频到音素（A2 P）网络和音素到文本（P2 T）网络。A2 P网络可以使用大规模单语配对数据来学习声学模式场景。同时，它在训练过程中实时生成单个音频数据的多个音素序列候选。然后使用生成的语音-文本配对数据来训练P2 T网络。该网络可以使用大量外部未配对文本数据进行预训练。解耦的Transformer模型通过使用单语数据和不成对的文本数据，在一定程度上降低了E2 E模型对语码转换成对训练数据的高度依赖性。最后通过注意力融合对两个网络进行联合优化。我们在公开的汉英语码转换数据集上对所提出的方法进行了评估。与我们的Transformer基线相比，该方法实现了18.14%的相对混合出错率降低。
2020-10-28 cs.CL cs.SD eess.AS
NIRANTAR: Continual Learning with New Languages and Domains on Real-world Speech Data
AI4Bharat, Indian Institute of Technology Madras（AI4Bharat，印度理工学院马德拉斯）
Nirantar是一个基于印度22种语言和208个地区真实语音数据的多语言多领域ASR持续学习评估框架，覆盖LIL、DIL和LIDIL场景，并通过3250小时语音基准测试表明现有持续学习方法缺乏一致鲁棒性。
2025-07-01 cs.CL
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia（西波希米亚大学）
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能，发现单语模型在多数情况下优于多语言模型，并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
False positive bias in AI-powered speech-based cognitive screening for multilingual English speakers in the UK
本研究发现，尽管AI模型整体表现良好，但对英国少数族裔背景的多语使用者存在偏见，且可能错误判断特定口音群体的认知状况。
2026-09-14 cs.AI cs.CL
From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages
本研究评估Mamba模型在南非七种语言上的ASR性能，发现其与Conformer精度相当但计算更高效，并探索多语训练及语言嵌入的影响。
2026-07-03 cs.CL
Back Translation for Speech-to-text Translation Without Transcripts
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出BT4ST算法，利用目标端单语数据通过自监督离散单元和级联模型合成伪ST数据，无需转录本，在MuST-C数据集上平均提升2.3 BLEU，尤其适用于低资源场景。
2023-05-15 cs.CL cs.SD eess.AS
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
RemixIT: Continual self-training of speech enhancement models via bootstrapped remixing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Reality Labs Research（Meta现实实验室）；Meta AI Research（Meta人工智能研究院）
我们提出了RemixIT，一种简单而有效的自监督方法，用于训练语音增强，而不需要单个孤立的域内语音，也不需要噪声波形。我们的方法克服了以前的方法，使他们依赖于干净的域内目标信号的局限性，因此，敏感的训练和测试样本之间的任何域失配。RemixIT是基于一个连续的自训练方案，其中一个预先训练的教师模型的域外数据推断估计的伪目标信号的域混合。然后，通过置换估计的清洁和噪声信号，并将它们重新混合在一起，我们产生一组新的自举混合物和相应的伪目标，用于训练学生网络。反之亦然，教师使用最新学生模型的更新参数定期改进其估计。在多个语音增强数据集和任务上的实验结果不仅表明了该方法优于现有方法，而且还表明RemixIT可以与任何分离模型相结合，并适用于任何半监督和无监督的领域自适应任务。我们的分析，结合经验证据，揭示了我们的自我训练计划的内部运作，其中学生模型在观察严重退化的伪目标的同时，不断获得更好的性能。
2022-08-03 cs.LG cs.SD eess.AS
