Code-Switching Text Generation and Injection in Mandarin-English ASR
Microsoft（微软）
语码转换是指在同一话语中混合使用两种或两种以上语言的一种表达方式。由于缺乏数据，具有针对这种语音的端到端（E2 E）建模的自动语音识别（ASR）可能是具有挑战性的任务。在本研究中，我们研究了文本生成和注入，以提高行业常用流模型Transformer-Transducer（T-T）在普通话-英语码切换语音识别中的性能。本文首先提出了一种生成语码转换文本数据的策略，然后研究了将生成的文本通过TTS（Text-to-Speech）转换显式地注入到T-T模型中，或者通过绑定语音和文本的潜在空间隐式地注入到T-T模型中。在使用包含1，800小时真实中英文代码转换语音的数据集训练的T-T模型上的实验结果表明，我们注入生成的代码转换文本的方法显着提高了T-T模型的性能，即，在3个评价集上，平均降低了16%的基于令牌的错误率（TER）;在评价集上，由于评价集与训练集数据的同质性更高，所以将语音和文本潜在空间捆绑的方法优于TTS转换方法。
2023-03-20 cs.CL cs.SD eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Kanari AI；University of Helwan（赫勒万大学）
自动语音识别（ASR）中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明，单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器（WFST）框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下，我们的研究结果表明，WFST解码方法更适合于间隔语码转换数据集。此外，Transformer系统在句内语码转换任务中表现更好。通过这项研究，我们发布了一个人工生成的开发和测试集，以及生态代码切换测试集，以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
Learning not to Discriminate: Task Agnostic Learning for Improving Monolingual and Code-switched Speech Recognition
Microsoft Research India（微软印度研究院）；Microsoft Corporation（微软公司）
由于各种原因，包括缺乏代码转换训练数据，识别代码转换语音对于自动语音识别（ASR）是具有挑战性的。最近，我们发现，单语ASR系统微调的代码切换数据恶化的单语语音识别，这是不可取的，因为部署在多语言场景中的ASR系统应识别单语和代码切换语音具有高精度的性能。我们的实验表明，这种性能损失可以通过使用某些策略进行微调和正则化来减轻，从而改善单语和代码切换ASR。在这项工作中，我们提出了进一步的改进，我们以前的工作，通过使用领域对抗学习训练任务不可知模型。我们评估了一个对抗性神经网络的分类精度，并表明它可以学习与任务无关的共享层参数。我们训练端到端ASR系统，从使用单语和代码交换数据以及对抗性会话的池化模型开始。我们提出的技术导致减少字错误率（WER）在单语和代码切换测试集在三种语言对。
2020-06-09 cs.CL cs.SD eess.AS
UniCoM: A Universal Code-Switching Speech Generator
Dept. of Electrical & Electronic Engineering, Yonsei University（电子与电气工程系，延世大学）
本文提出通用语码混合器UniCoM及SWORDS算法，通过词性感知的翻译替换生成自然语码转换语音，并构建CS-FLEURS数据集，在ASR和S2TT任务上表现与现有数据集相当。
2025-08-21 cs.CL cs.SD eess.AS
Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）；University of Edinburgh（爱丁堡大学）
本文针对端到端自动语音识别（ASR）中的语码转换问题进行了系统性文献综述，手动标注相关论文并总结了语言、数据集、指标、模型选择及性能，揭示了当前研究的挑战、机遇与空白。
2025-07-10 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出CS-Dialogue数据集，包含200位说话人104小时自发中英文语码转换对话及完整转录，并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition
Xinjiang University（新疆大学）；South China University of Technology（华南理工大学）；ByteDance（字节跳动）；Nanyang Technological University（南洋理工大学）
基于内部语言模型估计（ILME）的语言模型（LM）融合在域内和跨域语音识别任务中均显示出比传统的浅融合显著改善的识别结果。在本文中，我们尝试将我们的ILME方法应用到跨域码切换语音识别（CSSR）的工作。具体来说，我们的好奇心来自几个方面。首先，我们很好奇基于ILME的LM融合对于域内和跨域CSSR任务的有效性。我们验证了这一点，或没有合并两个代码转换域。更重要的是，我们训练一个端到端（E2E）的语音识别模型通过合并两个单语数据集，并观察所提出的ILME为基础的LM融合CSSR的效果。在东南亚和中国大陆CS数据集SEAME上的实验结果验证了该方法的有效性。
2022-07-09 cs.CL cs.SD eess.AS
Reducing language context confusion for end-to-end code-switching automatic speech recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
语码转换是指在交际过程中出现的替代语言。训练用于代码切换的端到端（E2 E）自动语音识别（ASR）系统尤其具有挑战性，因为代码切换训练数据总是不足以对抗由于存在多于一种语言而增加的多语言上下文混淆。本文基于等价约束理论，提出了一种与语言相关的注意力机制，以减少E2 E语码转换ASR模型中的多语言语境混淆。语言学理论要求任何出现在语码转换句中的单语片段必须出现在单语句子中。该理论在单语数据和语码转换数据之间架起了一座桥梁。我们利用这一语言学理论来设计语码转换E2 E ASR模型。该模型有效地从丰富的单语数据中转移语言知识，以提高代码转换ASR模型的性能。我们在ASRU 2019普通话-英语码转换挑战数据集上评估了我们的模型。与基线模型相比，我们提出的模型实现了17.12%的相对误差减少。
2022-06-29 cs.CL cs.SD eess.AS
Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer
NVIDIA（英伟达）
本文提出基于拼接分词器的统一模型，通过从单语数据构建语码转换ASR数据集并同时输出语言ID，在英语-印地语和英语-西班牙语上取得最先进ASR结果，并在FLEURS数据集上实现98%以上的口语语言识别准确率。
2023-09-16 cs.CL cs.SD eess.AS
Investigating Target Set Reduction for End-to-End Speech Recognition of Hindi-English Code-Switching Data
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
在自动语音识别领域，端到端（E2 E）系统正在快速取代传统系统。由于目标标签是直接从语音数据中学习的，因此E2 E系统需要更大的语料库来进行有效的训练。在语码转换任务的背景下，E2 E系统面临两个挑战：（i）由于涉及多种语言，目标集的扩展，以及（ii）缺乏足够大的特定领域语料库的可用性。为了应对这些挑战，我们提出了一种方法，用于减少目标标签的数量，以在有限的数据上对E2 E系统进行可靠的训练。所提出的方法的有效性已被证明在两个突出的架构，即基于CTC和基于注意力的E2 E网络。实验验证是在最近创建的印地语-英语语码转换语料库上进行的。为了对比的目的，还报告了基于全目标集的E2 E系统和混合DNN-HMM系统的结果。
2019-07-15 cs.CL cs.SD eess.AS
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University（安徽大学）
语码转换是指在句子或语篇中转换语言的现象。然而，有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料，探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径，提出了一种数据驱动的方法来制作种子词典，用于训练字形到音素模型，预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题，我们有一个内在的辅助启示，即利用形素-音素模型，学习材料充足的词中好的发音规则，帮助材料稀缺的词。实验结果表明，采用数据驱动的方法，通过加入外语词的发音，可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%，最后结合不同的选择方法和内部辅助策略，得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象，指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题，如CS语言对中的语言之间的属性不匹配，切换点的不可预测性，以及数据稀缺问题。我们通过合并非语言符号，通过使用分层softmax集成语言识别，通过对子字单元建模，通过人为降低说话速率，并通过使用速度扰动技术和多个单语数据集来增强数据，以提高系统在CS语音和单语基准上的最终性能，从而使系统更适用在现实生活中。最后，我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明，所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%，并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
近年来，语码转换语音识别引起了人们越来越多的关注，但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别（ASR）通过直接从声学输入预测字素或字符，大大简化了ASR系统的构建。与此同时，它也不需要专家的语言知识，这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换（CS）语音识别系统，并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上，我们的系统实现了34.24%的混合出错率（MER）。
2018-11-01 cs.CL eess.AS
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University（國立臺灣師範大學）
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题，本文提出将语言识别信息引入ASR编码器中间层，生成隐含语言区分性的声学特征以降低语言切换混淆，提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
话语内语码转换（CS）在口语内容中的普遍性要求语音识别（ASR）系统处理混合语言。设计CS-ASR系统有许多挑战，主要是由于数据稀缺，语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音，以及单语数据。在这项工作中，我们提出了一个零样本学习CS-ASR的方法，通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束（EC），同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明，65.5%的相对减少语言模型困惑，7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明，超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
Theta One AI；Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）；Williams College（威廉姆斯学院）；ROKAF Reserve Forces（韩国预备役部队）
HiKE提出一个分层评估框架，用于评估韩英混合语语音识别模型的性能，通过高质量数据和细致标注提升模型对混合语言处理能力的评估。
2026-01-13 cs.CL cs.SD eess.AS
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation（日本电报电话公司）
尽管深度学习技术的最新进展改善了自动语音识别（ASR），但当语音与其他人的声音重叠时，仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而，基于深度神经网络的语音增强会产生“处理伪像”，这是增强的副作用，会降低ASR性能。例如，众所周知，针对非语音噪声（非重叠语音）的单通道降噪通常不会改善ASR。同样地，当用分离/提取方法处理重叠语音时，处理伪像在某些条件下也可能对ASR有害，尽管通常认为分离/提取改善了ASR。为了回答这个问题，我们总是必须从混合物中分离/提取语音吗？“，我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能，并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现，我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明，这样一个简单的切换机制可以提高识别性能时，处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
Hindi-English Code-Switching Speech Corpus
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
语码转换是指在一个句子或语篇中使用两种语言的现象。它是多语言社区中的一种全球现象，并已成为一个独立的研究领域。随着对语码转换自动语音识别（ASR）系统需求的增加，开发语码转换语音语料库已成为迫切需要。然而，对于训练这样的系统，非常有限的代码交换资源是可用的。在这项工作中，我们提出了我们的第一个努力，在印度的背景下建立一个代码转换ASR系统。为此，我们建立了一个印地语-英语语码转换语音数据库。该数据库不仅包含了具有语码转换特性的语音话语，而且涵盖了会话和说话人的发音、口音、年龄、性别等变化。该数据库可以应用于多种语音信号处理应用，如语码转换ASR、语言识别、语言建模、语音合成等。本文主要对收集到的语码转换语音语料进行统计分析。稍后，将为创建的数据库报告ASR任务的性能结果。
2018-09-24 cs.CL
Data Augmentation for End-to-end Code-switching Speech Recognition
针对语码转换语音识别训练数据不足的问题，提出音频拼接、基于单词翻译/插入生成文本的TTS三种数据增强方法，可结合SpecAugment，在200小时汉英数据集上WER相对无增强系统降24.0%，较仅用SpecAugment仍有13.0%增益。
2024-11-03 cs.CL eess.AS
Summary on the ISCSLP 2022 Chinese-English Code-Switching ASR Challenge
TAL Education Group（好未来教育集团）；Magic Data；Tsinghua University（清华大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
语码转换自动语音识别由于多种语言之间的语码转换现象以及日常生活中语码转换现象的频繁发生而成为自动语音识别最具挑战性和最有价值的应用场景之一。ISCSLP 2022中英语码转换自动语音识别（CSASR）挑战赛旨在推动语码转换自动语音识别的发展。ISCSLP 2022 CSASR挑战赛为参赛者提供了两个训练集，TAL_CSASR语料库和MagicData-RAMC语料库，一个开发集和一个测试集，用于CSASR模型训练和评估。除了挑战，我们也提供了基准系统性能供参考。结果，超过40支团队参加了此次挑战，获胜团队在测试集上实现了16.70%的混合出错率（MER）性能，与基线系统相比，已经实现了9.8%的MER绝对提升。在本文中，我们将描述数据集，相关的基线系统和要求，并总结CSASR挑战的结果和提交的系统中使用的主要技术和技巧。
2022-10-13 cs.CL cs.SD eess.AS
Learning to Enhance or Not: Neural Network-Based Switching of Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation（日本电报电话公司）
基于深度神经网络（DNN）的语音增强（SE）前端和自动语音识别（ASR）后端的组合是实现重叠语音识别的广泛使用的方法。但是，SE前端会生成可能降低ASR性能的处理工件。我们以前发现，这种性能下降，甚至可以发生在完全重叠的条件下，这取决于信号干扰比（SIR）和信噪比（SNR）。为了减轻这种退化，我们引入了一种基于规则的方法来在增强信号和观测信号之间切换ASR输入，这显示了有希望的结果。然而，该规则的最优性并不清楚，因为它是按经验设计的，并且仅基于SIR和SNR值。在这项工作中，我们提出了一种基于DNN的切换方法，直接估计ASR是否会在增强或观察到的信号上表现更好。我们还介绍了软开关，计算增强和观察到的信号的加权和ASR输入，开关模型的输出后验给出的权重。建议学习为基础的切换表现出的性能与基于规则的Oracle交换。软开关进一步提高了ASR性能，与传统方法相比，实现了高达23%的相对字符错误率降低。
2022-01-11 cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
End-to-End Code Switching Language Models for Automatic Speech Recognition
BITS Pilani, K K Birla Goa Campus（BITS Pilani K K Birla 果阿校区）；BITS Pilani, Hyderabad Campus（BITS Pilani 海得拉巴校区）
在本文中，我们特别研究了语码转换文本，这是世界各地双语社区中最常见的现象之一。由于在自动语音识别（ASR）模块中提取代码转换文本的差异，从而从代码转换文本中提取单语文本，我们提出了一种使用深度双向语言模型（LM），如BERT和其他机器翻译模型提取单语文本的方法，并探讨了从ASR模型中提取代码转换文本的不同方法。我们还通过比较Perplexity和WER等其他不同指标的结果与没有任何外部信息的标准双语文本输出来解释模型的鲁棒性。
2020-06-16 cs.CL cs.SD eess.AS
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Kyoto University（京都大学）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而，大多数现有的方法要求两个单语ASR模型（MAMs）的结构应该是相同的，并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中，我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段：语音感知阶段和语言融合阶段。在SA阶段，声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言，我们进一步扩展了MAMs的语言感知训练策略。在LF阶段，BELM融合两个语言特定的预测，以获得最终的预测。此外，我们提出了一个文本模拟策略，以简化BELM的训练过程，减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后，测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响，通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
本文提出权重分离方法与门控低秩适应（GLoRA），在低规格设备上实现个性化语码转换自动语音识别，实验证明其优于传统模型且优于常规LoRA。
2024-04-24 cs.AI cs.CL eess.AS
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
尽管最近在端到端（E2 E）ASR系统的代码切换方面取得了重大进展，但对音频文本配对数据的饥饿限制了模型性能的进一步提高。本文提出了一个解耦的Transformer模型，利用单语配对数据和非配对文本数据来缓解语码转换数据不足的问题。该模型被解耦为两个部分：音频到音素（A2 P）网络和音素到文本（P2 T）网络。A2 P网络可以使用大规模单语配对数据来学习声学模式场景。同时，它在训练过程中实时生成单个音频数据的多个音素序列候选。然后使用生成的语音-文本配对数据来训练P2 T网络。该网络可以使用大量外部未配对文本数据进行预训练。解耦的Transformer模型通过使用单语数据和不成对的文本数据，在一定程度上降低了E2 E模型对语码转换成对训练数据的高度依赖性。最后通过注意力融合对两个网络进行联合优化。我们在公开的汉英语码转换数据集上对所提出的方法进行了评估。与我们的Transformer基线相比，该方法实现了18.14%的相对混合出错率降低。
2020-10-28 cs.CL cs.SD eess.AS
Enhancing Code-Switching Speech Recognition with LID-Based Collaborative Mixture of Experts Model
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
针对语码转换语音识别中的跨语言建模难题，提出Collaborative-MoE，利用LID路由、组间协作与无监督门控提升性能并保持MoE高效推理。
2024-09-05 cs.CL cs.SD eess.AS
CAFE A Novel Code switching Dataset for Algerian Dialect French and English
University of Bouira（布维拉大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Qatar Computing and Research Institute (HBKU)（卡塔尔计算与研究所（HBKU））
本文发布首个阿尔及利亚方言-法语-英语语码转换数据集CAFE，并通过优化数据处理与解码技术提升Whisper模型的ASR性能。
2024-11-20 cs.CL cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
Adapting the adapters for code-switching in multilingual ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）；Erisha Labs（埃里沙实验室）
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型，显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能，CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Multi-Graph Decoding for Code-Switching ASR
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）
在FAME！项目，一个代码转换（CS）自动语音识别（ASR）系统的弗里斯兰语-荷兰语的语音开发，可以准确地转录本地广播公司的双语档案与CS语音。该档案包含单语弗里斯兰语和荷兰语语音片段以及弗里斯兰语-荷兰语CS语音的录音，因此单语片段的识别性能对于准确的翻译也至关重要。在这项工作中，我们提出了一个多图解码和rescoring策略，使用双语和单语图与一个统一的声学模型CS ASR。建议的解码方案给出了自由设计和采用替代搜索空间为每个（单语或双语）识别任务，并使单语资源的高资源的混合语言在低资源的CS场景的有效利用。在我们的场景中，荷兰语是高资源语言，弗里斯兰语是低资源语言。因此，我们使用额外的单语荷兰语文本资源，以改善荷兰语语言模型（LM）和比较荷兰段使用较大的荷兰LM的单和多图CS ASR系统的性能。ASR结果表明，该方法优于基线单图CS ASR系统，提供更好的性能单语荷兰段没有任何准确性损失单语弗里斯兰语和代码混合段。
2019-06-28 cs.CL cs.SD eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico（INESC-ID与理工学院）
本文提出AC-Mix方法，通过源域与目标域样本插值的对比混合进行自监督域自适应，在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Data Efficient Direct Speech-to-Text Translation with Modality Agnostic Meta-Learning
Samsung Research（三星研究院）
端到端语音翻译（ST）模型具有几个优点，例如较低的延迟、较小的模型大小以及比组合自动语音识别（ASR）和文本机器翻译（MT）模型的常规流水线更少的错误复合。然而，收集大量的并行数据的ST任务是更困难的ASR和MT任务相比。以往的研究提出了使用迁移学习的方法来克服上述困难。这些方法受益于弱监督的训练数据，例如ASR语音到转录本或MT文本到文本翻译对。然而，这些模型中的参数独立于每个任务进行更新，这可能导致次优解决方案。在这项工作中，我们采用Meta学习算法训练一个模态无关的多任务模型，将知识从源任务=ASR+MT转移到目标任务=ST，其中ST任务严重缺乏数据。在元学习阶段，模型的参数暴露于大量的语音转录（例如，英语ASR）和文本翻译（例如，英语-德语MT）。在此阶段，参数以理解语音、文本表示、它们之间的关系的方式更新，并作为目标ST任务的良好初始化点。我们评估建议的元学习方法ST任务的英语-德语（En-De）和英语-法语（En-Fr）的语言对多语言语音翻译语料库（Must-C）。我们的方法优于以前的迁移学习方法，并通过分别获得9.18和11.76的BLEU点改进，为En-De和En-Fr ST任务设置了新的最先进的结果。
2020-04-28 cs.CL cs.LG cs.SD
Language-specific Characteristic Assistance for Code-switching Speech Recognition
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Kyoto University（京都大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
双编码器结构成功地利用了两个语言特定的编码器（LSE）的代码切换语音识别。由于LSE由两个预先训练的语言特定模型（LSM）初始化，因此双编码器结构可以利用足够的单语数据并捕获各个语言属性。然而，大多数现有的方法对LSE没有语言限制，并且未充分利用LSM的语言特定知识。在本文中，我们提出了一种语言特定的特征辅助（LSCA）的方法，以减轻上述问题。具体来说，在训练过程中，我们引入两个特定于语言的损失作为语言约束，并为它们生成相应的特定于语言的目标。在解码过程中，我们考虑到最小二乘模型的解码能力，通过结合两个最小二乘模型的输出概率和混合模型，以获得最终的预测。实验表明，LSCA的训练和解码方法都能提高模型的性能。此外，最好的结果可以获得高达15.4%的相对错误减少的代码转换测试集，通过结合LSCA的训练和解码方法。此外，该系统可以处理代码切换语音识别任务，没有额外的共享参数，甚至重新训练的基础上，两个预先训练的LSM使用我们的方法。
2022-07-12 cs.CL eess.AS
On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中，我们研究了端到端（E2 E）的方法，以普通话-英语码转换语音识别（CSSR）的任务。我们首先检查使用数据增强和字节对编码（BPE）子字单元的有效性。更重要的是，我们提出了一个多任务的学习配方，语言识别任务是明确学习除了E2 E语音识别任务。此外，我们引入了一个有效的词汇扩展方法的语言建模，以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
Meta Learning for End-to-End Low-Resource Speech Recognition
National Taiwan University（台湾大学）
在本文中，我们提出了应用Meta学习方法的低资源自动语音识别（ASR）。我们将不同语言的ASR制定为不同的任务，并通过最近提出的模型无关的Meta学习算法（MAML）从许多预训练语言中学习初始化参数，以实现对未知目标语言的快速适应。我们使用六种语言作为预训练任务和四种语言作为目标任务来评估所提出的方法。初步结果表明，所提出的方法，MetaASR，显着优于国家的最先进的多任务预训练方法对所有目标语言与不同组合的预训练语言。此外，由于MAML的模型无关性，本文还开辟了新的研究方向，将Meta学习应用到更多的语音相关的应用。
2019-10-26 cs.CL cs.SD eess.AS
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题，提出在多种相似几何结构上训练以实现几何无关泛化，并采用非线性约束最小方差准则改进波束形成，已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
Transformer-Transducers for Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们生活在一个60%的人口可以流利地说两种或两种以上语言的世界。这些社区的成员在进行对话时经常在语言之间切换。随着自动语音识别（ASR）系统被部署到现实世界中，需要能够在话语内或跨话语处理多种语言的实用系统。在本文中，我们提出了一个端到端的ASR系统使用的变压器换能器模型架构的代码切换语音识别。我们提出了三个修改香草模型，以处理各个方面的代码转换。首先，我们引入了两个辅助损失函数来处理低资源情况下的语码转换。其次，我们提出了一种新的基于掩码的训练策略，语言ID信息，以改善标签编码器的训练，内部的代码切换。最后，我们提出了一个多标签/多音频编码器结构，利用巨大的单语语音语料库对代码切换。我们证明了我们所提出的方法的有效性SEAME数据集，一个公共的普通话-英语码转换语料库，实现了混合出错率的18.5%和26.3%的test_man和test_sge集分别。
2021-02-15 cs.CL eess.AS
Acoustic and Textual Data Augmentation for Improved ASR of Code-Switching Speech
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们描述了几种技术，以改善声学和语言模型的自动语音识别（ASR）系统上的代码切换（CS）的语音。我们的重点是确认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，是一种资源不足的语言。在以前的工作中，我们已经提出了几个自动转录策略CS语音，以增加可用的训练语音数据量。在这项工作中，我们将探讨如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们训练国家的最先进的AM，这是无效的，由于缺乏训练数据，对显着增加量的CS语音和单语荷兰语语音。此外，我们改进的语言模型（LM），通过创建代码转换文本，这是在实践中几乎不存在的，通过（1）生成文本使用经常性的LM训练的训练CS语音数据的转录，（2）添加自动转录的CS语音数据的转录和（3）翻译荷兰语文本提取的大型荷兰语语音语料库的转录。我们报告称，由于声学和文本训练数据的增加，CS ASR性能显着提高。
2018-07-28 cs.CL
Balanced End-to-End Monolingual pre-training for Low-Resourced Indic Languages Code-Switching Speech Recognition
Kanari AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
语码转换ASR的成功设计往往取决于转换后语码资源的可用性。这种依赖性损害了ASR在孟加拉语和印地语等低资源语言中的发展。在本文中，我们利用迁移学习的方法来设计端到端（E2 E）CS ASR系统的两个低资源的语言对使用不同的单语语音数据和一小部分嘈杂的CS数据。我们训练CS-ASR，遵循两个步骤：（i）使用基于卷积增强的Transformer（Conformer）的声学模型和n-gram语言模型构建一个健壮的双语ASR系统，以及（ii）用有限的噪声CS数据微调整个E2 E ASR。我们在MUCS 2021挑战赛上测试了我们的方法，并在CS赛道上获得了第三名。然后，我们使用在低资源印度语言的多语言和代码转换ASR挑战（MUCS 2021）中为印度语-英语和孟加拉语-英语对发布的嘈杂CS数据测试了所提出的方法，并在CS轨道中获得了第三名。与从抓取YouTube和学习音译对中受益的领先的两个系统不同，我们提出的迁移学习方法专注于只使用有限的CS数据，而不进行数据清理或数据重新分割。我们的方法在印地语-英语和孟加拉语-英语中分别实现了14.1%和27.1%的单词出错率（WER）相对增益。我们提供了详细的指导方针的步骤，以微调自我注意力为基础的模型有限的数据ASR。此外，我们发布了本文中使用的代码和配方。
2022-02-15 cs.CL cs.SD eess.AS
Towards End-to-end Automatic Code-Switching Speech Recognition
HKUST（香港科技大学）
混合语言中的语音识别由于缺乏数据和重叠的音素集（例如，在诸如英语中的“one”和中文中的“wàn”的单词中）而难以适应端到端框架。本文提出了一种基于CTC的端到端自动语音识别模型，用于语码转换。该模型通过在单语数据集上进行联合训练，并与混合语言语料库进行微调来训练。在解码过程中，我们应用束搜索并结合CTC预测和语言模型得分。该方法在利用单语语料库和检测语言转换方面是有效的，它将CER提高了5%。
2018-10-30 cs.CL
VietPrism: A large-scale Vietnamese speech and deepfake corpus with diverse dialects and code-switching
Independent Researcher（独立研究者）；Indiana University, Bloomington, USA（印第安纳大学布鲁明顿分校）
VietPrism是首个大规模越南语多领域语料库，整合了转录、说话人身份、五种方言及自然语码转换，并包含受控生成的伪造语音，用于评估多语言深度伪造检测器的脆弱性。
2026-09-25 cs.CL cs.SD
Learning Fast Adaptation on Cross-Accented Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）
当地方言影响人们对同一种语言的单词发出不同的发音。口音的多变性和复杂性给训练一个鲁棒的、与口音无关的自动语音识别（ASR）系统带来了很大的挑战。在本文中，我们引入了一个跨口音的英语语音识别任务作为衡量的模型，以适应看不见的口音使用现有的CommonVoice语料库的能力的基准。我们还提出了一种口音不可知的方法，扩展了模型不可知的元学习（MAML）算法，用于快速适应看不见的口音。在混合区域和跨区域设置中，我们的方法在zero-shot、Few-Shot和all-shot中的单词错误率方面显著优于联合训练。
2020-03-04 cs.SD eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Meta-Transfer Learning for Code-Switched Speech Recognition
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
当今世界，越来越多的人由于多语言而说混合语言。然而，建立一个语音识别系统的代码切换仍然是困难的，由于有限的资源和费用和大量的工作需要收集混合语言的数据。因此，我们提出了一种新的学习方法，Meta迁移学习，迁移学习的代码切换语音识别系统在低资源设置明智地提取信息，从高资源的单语数据集。我们的模型学习识别各种语言，并通过对代码切换数据进行优化来传输它们，以便更好地识别混合语言语音。基于实验结果，我们的模型在语音识别和语言建模任务上优于现有的基线，并且收敛速度更快。
2020-04-29 cs.CL cs.SD eess.AS
Boosting Code-Switching ASR with Mixture of Experts Enhanced Speech-Conditioned LLM
Kuaishou Technology（快手科技）
针对语码转换自动语音识别难题，提出带MoE连接器的语音条件LLM及IDIT机制与两阶段训练策略，性能显著优于现有最优模型。
2024-10-31 cs.AI cs.SD eess.AS
Constrained Output Embeddings for End-to-End Code-Switching Speech Recognition with Only Monolingual Data
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
缺乏语码转换训练数据是开发端到端语码转换自动语音识别（ASR）模型的主要问题之一。在这项工作中，我们提出了一种方法来训练一个改进的端到端的代码切换ASR只使用单语数据。我们的方法鼓励单语语言的输出标记嵌入的分布是相似的，因此，促进ASR模型，以方便语言之间的代码切换。具体来说，我们建议使用基于詹森-香农发散和余弦距离的约束。前者将强制单语语言的输出嵌入具有相似的分布，而后者只是使两个分布的质心彼此接近。实验结果表明，该方法具有很高的有效性，产生高达4.5%的绝对混合出错率的改善汉语-英语码转换ASR任务。
2019-07-31 cs.CL
MLP-ASR: Sequence-length agnostic all-MLP architectures for speech recognition
LINE corporation（LINE公司）
我们提出了多层感知器（MLP）为基础的架构，适用于可变长度的输入。最近提出的用于图像分类的基于MLP的架构只能用于固定的预定义大小的输入。然而，许多类型的数据在长度上是自然可变的，例如，声学信号。我们提出了三种方法来扩展基于MLP的架构，用于任意长度的序列。第一个使用在傅立叶域中应用的循环卷积，第二个应用去卷积，最后一个依赖于移位运算。我们使用Librisepeech和Tedlium 2语料库在自动语音识别任务上评估了所提出的架构。最好的基于MLP的架构将WER提高了1.0 /0.9%，在Librispeech dev-clean/dev-other，test-clean/test-other集上提高了0.9 / 0.5%，在Tedlium 2 dev/test集上提高了0.8 / 1.1%，使用了86.4%的基于自我注意力的架构的大小。
2022-02-17 cs.LG cs.SD eess.AS
Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition
VinUniversity（文大学）；University of Technology Sydney（技术悉尼大学）；Monash University（莫纳什大学）
提出POI感知对比训练框架，通过大语言模型生成近误负样本并过滤，结合POI加权交叉熵与多负例对比损失微调Whisper-small，在语码转换语音识别任务上降低超过2%的错误率。
2026-06-23 cs.CL eess.AS
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam（丹江大学 - 信息与通信技术大学）
本文提出TSPC模型，通过双阶段音素架构提升越南-英语语切换语音识别性能，实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对低资源的英汉语码转换语言识别问题，提出堆叠式残差 CNN+GRU 模型和以 ASR 为辅助任务的多任务预训练方法，并结合银标准数据与上采样增强，在真实儿童语音语料上取得 0.781 的平衡准确率，比基线提升 55.3%。
2023-05-31 cs.CL eess.AS
