Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology（万隆理工学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对印尼语-英语语码转换问题，通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入，实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
Theta One AI；Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）；Williams College（威廉姆斯学院）；ROKAF Reserve Forces（韩国预备役部队）
HiKE提出一个分层评估框架，用于评估韩英混合语语音识别模型的性能，通过高质量数据和细致标注提升模型对混合语言处理能力的评估。
2026-01-13 cs.CL cs.SD eess.AS
Language-Routing Mixture of Experts for Multilingual and Code-Switching Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
本文提出LR-MoE，利用逐帧语言路由和共享LID预路由器引导语言专家学习，在相当计算效率下提升多语言及语码转换ASR性能。
2023-07-14 cs.SD eess.AS
CAMEL: Cross-Attention Enhanced Mixture-of-Experts and Language Bias for Code-Switching Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies（华为技术有限公司）
提出 CAMEL，通过交叉注意力融合 MoE 的语言特定表示，并以源注意力注入 LD 解码器语言信息，在多个中英语码转换 ASR 数据集上达到 SOTA。
2025-01-09 cs.SD eess.AS
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Kyoto University（京都大学）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而，大多数现有的方法要求两个单语ASR模型（MAMs）的结构应该是相同的，并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中，我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段：语音感知阶段和语言融合阶段。在SA阶段，声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言，我们进一步扩展了MAMs的语言感知训练策略。在LF阶段，BELM融合两个语言特定的预测，以获得最终的预测。此外，我们提出了一个文本模拟策略，以简化BELM的训练过程，减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后，测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Attention-Guided Adaptation for Code-Switching Speech Recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）；Industrial Technology Research Institute（工业技术研究院）
本文提出注意力引导适配方法，通过筛选并引导表达语言身份的注意力头，以仅增加5.6%参数的高效方式提升Whisper在汉英语码转换语音识别上的表现，混合错误率降至14.2%。
2024-01-12 cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Reducing Language confusion for Code-switching Speech Recognition with Token-level Language Diarization
Bytedance AI Lab（字节跳动人工智能实验室）；Nanyang Technological University（南洋理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
语码转换（CS）是指在语音信号中语言发生转换并导致自动语音识别（ASR）语言混淆的现象。本文旨在从两个方面解决语言混淆问题，以提高CS-ASR：合并和解开语言信息。我们将语言信息的CS-ASR模型动态偏置模型与令牌级的语言后验是一个序列到序列的辅助语言日记模块的输出。相比之下，解纠缠过程通过对抗训练减少语言之间的差异，从而使两种语言规范化。我们在SEAME数据集上进行了实验。与基线模型相比，LD和语言后验偏差的联合优化都实现了性能的改善。所提出的方法的比较表明，结合语言信息是更有效的，比解开减少CS语音中的语言混乱。
2022-10-26 cs.SD eess.AS
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别（ASR）需要同时处理两种或两种以上的语言。在这项研究中，我们提出了一个基于transformer的架构，具有两个对称的语言特定的编码器来捕获各个语言属性，从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练，旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器（MED）架构。在SEAME语料库上的实验结果表明，在以汉语和英语为矩阵语言的CS评价集上，该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
Enhancing Code-Switching Speech Recognition with LID-Based Collaborative Mixture of Experts Model
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
针对语码转换语音识别中的跨语言建模难题，提出Collaborative-MoE，利用LID路由、组间协作与无监督门控提升性能并保持MoE高效推理。
2024-09-05 cs.CL cs.SD eess.AS
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自监督语音表征中口音与语言混淆问题，提出基于几何投影的L1偏差去除方法，仅用母语语音估计偏差方向，在五个MMS-LID模型上显著提升L2口音语音识别，且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
Adapting the adapters for code-switching in multilingual ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）；Erisha Labs（埃里沙实验室）
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型，显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能，CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Enhancing Code-switching Speech Recognition with Interactive Language Biases
Nanyang Technological University（南洋理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of New South Wales（新南威尔士大学）
本文提出交互式语言偏置方法，将帧级与 token 级语言后验融入混合 CTC/attention ASR 模型，并验证其在语码转换识别中的增益及交互作用。
2023-09-29 cs.SD eess.AS
Adapting Language Balance in Code-Switching Speech
Interactive Systems Lab, Karlsruhe Institut of Technology (KIT), Germany（互动系统实验室，卡尔斯鲁厄理工学院（KIT），德国）；InterACT, Carnegie Mellon University (CMU), USA（InterACT，卡内基梅隆大学（CMU），美国）
针对大模型在语码转换语音任务中表现不佳的问题，提出利用嵌入语言与主语言的差异突出转换点并强化学习的可微方法，缓解生成时的上下文偏差，提升模型鲁棒性，在阿拉伯语、中英双语场景中验证了转换位置预测更准、替换错误降低的效果。
2025-10-21 cs.CL cs.LG cs.SD
RoDia: A New Dataset for Romanian Dialect Identification from Speech
University of Bucharest（布加勒斯特大学）；National University of Science and Technology Politehnica Bucharest（布加勒斯特理工国立科技大学）
本文介绍了首个罗马尼亚方言语音识别数据集RoDia，包含2小时标注数据，并提供基线模型，最佳模型宏平均F1达59.83%，表明该任务具挑战性。
2024-03-20 cs.CL cs.SD eess.AS
Exploring Lexicon-Free Modeling Units for End-to-End Korean and Korean-English Code-Switching Speech Recognition
VUNO Inc.（VUNO公司）
随着基于字符的端到端自动语音识别（ASR）模型的发展，声学建模单元的选择变得重要。由于韩语是一种相当语音化的语言，并且具有独特的书写系统和自己的韩语字母表，因此值得研究用于端到端韩语ASR任务的建模单元。在这项工作中，我们介绍了无词典的建模单位在韩国，并探讨他们使用的混合CTC/基于注意的编码器-解码器模型。研究了五种无词汇单位：基于音节的韩语字符（与英语字符进行代码转换任务），韩语Jamo字符（与英语字符），基于音节的字符上的子词（与英语中的子词），Jamo字符上的子词（与英语中的子词），最后是字节单位，这是跨语言的通用单位。分别对朝鲜语和韩英语码转换ASR任务进行了零朝鲜语（51.6小时）和医疗记录（2530小时）的实验。基于韩语音节（和英语中的子词）的子词的序列到序列学习对于没有词典和额外的语言模型集成的任务都表现最好。
2019-10-25 cs.SD eess.AS
Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs
Institute for Infocomm Research (I2R), A STAR, Singapore（信息通信研究所（I2R），A STAR，新加坡）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
针对音频大语言模型在英中码转换语音转录中的系统失败，提出使用直接偏好优化（DPO）对齐模型，通过构建偏好对（保留混合语言内容 vs 模仿失败模式）训练模型，实现词错误率降低最高89.6%（分布内）和20.0%（分布外）。
2026-10-02 cs.CL cs.SD
BA-MoE: Boundary-Aware Mixture-of-Experts Adapter for Code-Switching Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies（华为技术有限公司）
针对语码转换语音识别中跨语言发音相似导致的建模与边界估计问题，提出BA-MoE方法，通过分层适配器、自适应损失与边界预测器，在ASRU 2019中英数据集上较基线降低16.55%混合错误率。
2023-10-08 cs.SD eess.AS
Generative error correction for code-switching speech recognition using large language models
Nanyang Technological University（南洋理工大学）；Georgia Institute of Technology（佐治亚理工学院）；Norwegian University of Science and Technology（挪威科技大学）
本文提出利用大语言模型和低秩适配器学习从假设到转录的映射，通过生成式错误纠正方法显著提升了语码转换语音识别的准确性和数据效率。
2023-10-17 cs.AI cs.CL cs.SD
Adapting Whisper for Parameter-efficient Code-Switching Speech Recognition via Soft Prompt Tuning
School of Computer Science（计算机科学学院）；College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
本文提出基于软提示调优的参数高效方法，增强Whisper在低资源语码转换语音识别中的表现，通过深度提示调优和SPT4ASR组合，在SEAME和ASRU2019上实现错误率降低，且不损害原有语言性能。
2025-06-16 cs.AI cs.CL cs.SD
Language-specific Acoustic Boundary Learning for Mandarin-English Code-switching Speech Recognition
Bytedance Research（字节跳动研究院）
针对汉英语码转换中相似发音难以区分的问题，提出基于 LSWE 的语言特定声学边界学习方法，并结合 NAR 解码器与 LCD 模块，在 SEAME 和内部会议数据集上取得最优或显著 MER 改善。
2023-06-08 cs.SD
An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
本文提出结合新型解耦损失与 MoE 架构的声学编码器方法，在仅用语码转换语料、参数减半的条件下提升语码转换 ASR 性能。
2024-02-27 cs.AI cs.CL cs.SD
BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech
National Taiwan University（台湾大学）
研究针对现成语音合成系统不适配台湾普通话的问题，提出从底层解决文本问题的方法，包括训练PangolinTokenizer分词器、Barbet语言模型，构建蓝鹊语音合成系统，显著降低了字符错误率和词错误率，获多数盲听投票青睐。
2026-07-08 cs.CL cs.SD
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation
Shanghai Jiao Tong University（上海交通大学）
针对端到端ASR在语码转换、命名实体识别场景的不足，以及传统数据增强生成语音质量差的问题，提出基于文本语音编辑的增强方法，效果优于现有方案。
2023-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
Code-Switching Text Generation and Injection in Mandarin-English ASR
Microsoft（微软）
语码转换是指在同一话语中混合使用两种或两种以上语言的一种表达方式。由于缺乏数据，具有针对这种语音的端到端（E2 E）建模的自动语音识别（ASR）可能是具有挑战性的任务。在本研究中，我们研究了文本生成和注入，以提高行业常用流模型Transformer-Transducer（T-T）在普通话-英语码切换语音识别中的性能。本文首先提出了一种生成语码转换文本数据的策略，然后研究了将生成的文本通过TTS（Text-to-Speech）转换显式地注入到T-T模型中，或者通过绑定语音和文本的潜在空间隐式地注入到T-T模型中。在使用包含1，800小时真实中英文代码转换语音的数据集训练的T-T模型上的实验结果表明，我们注入生成的代码转换文本的方法显着提高了T-T模型的性能，即，在3个评价集上，平均降低了16%的基于令牌的错误率（TER）;在评价集上，由于评价集与训练集数据的同质性更高，所以将语音和文本潜在空间捆绑的方法优于TTS转换方法。
2023-03-20 cs.CL cs.SD eess.AS
Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）；University of Edinburgh（爱丁堡大学）
本文针对端到端自动语音识别（ASR）中的语码转换问题进行了系统性文献综述，手动标注相关论文并总结了语言、数据集、指标、模型选择及性能，揭示了当前研究的挑战、机遇与空白。
2025-07-10 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出CS-Dialogue数据集，包含200位说话人104小时自发中英文语码转换对话及完整转录，并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；University of Toronto（多伦多大学）
提出零资源语码转换语音基准，通过离散单元语言建模评估自监督编码器，发现多语种预训练（如XLSR）优于单语种，但仍有提升空间。
2024-03-18 cs.CL cs.SD eess.AS
Reducing language context confusion for end-to-end code-switching automatic speech recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
语码转换是指在交际过程中出现的替代语言。训练用于代码切换的端到端（E2 E）自动语音识别（ASR）系统尤其具有挑战性，因为代码切换训练数据总是不足以对抗由于存在多于一种语言而增加的多语言上下文混淆。本文基于等价约束理论，提出了一种与语言相关的注意力机制，以减少E2 E语码转换ASR模型中的多语言语境混淆。语言学理论要求任何出现在语码转换句中的单语片段必须出现在单语句子中。该理论在单语数据和语码转换数据之间架起了一座桥梁。我们利用这一语言学理论来设计语码转换E2 E ASR模型。该模型有效地从丰富的单语数据中转移语言知识，以提高代码转换ASR模型的性能。我们在ASRU 2019普通话-英语码转换挑战数据集上评估了我们的模型。与基线模型相比，我们提出的模型实现了17.12%的相对误差减少。
2022-06-29 cs.CL cs.SD eess.AS
Investigating Target Set Reduction for End-to-End Speech Recognition of Hindi-English Code-Switching Data
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
在自动语音识别领域，端到端（E2 E）系统正在快速取代传统系统。由于目标标签是直接从语音数据中学习的，因此E2 E系统需要更大的语料库来进行有效的训练。在语码转换任务的背景下，E2 E系统面临两个挑战：（i）由于涉及多种语言，目标集的扩展，以及（ii）缺乏足够大的特定领域语料库的可用性。为了应对这些挑战，我们提出了一种方法，用于减少目标标签的数量，以在有限的数据上对E2 E系统进行可靠的训练。所提出的方法的有效性已被证明在两个突出的架构，即基于CTC和基于注意力的E2 E网络。实验验证是在最近创建的印地语-英语语码转换语料库上进行的。为了对比的目的，还报告了基于全目标集的E2 E系统和混合DNN-HMM系统的结果。
2019-07-15 cs.CL cs.SD eess.AS
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University（安徽大学）
语码转换是指在句子或语篇中转换语言的现象。然而，有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料，探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径，提出了一种数据驱动的方法来制作种子词典，用于训练字形到音素模型，预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题，我们有一个内在的辅助启示，即利用形素-音素模型，学习材料充足的词中好的发音规则，帮助材料稀缺的词。实验结果表明，采用数据驱动的方法，通过加入外语词的发音，可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%，最后结合不同的选择方法和内部辅助策略，得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象，指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题，如CS语言对中的语言之间的属性不匹配，切换点的不可预测性，以及数据稀缺问题。我们通过合并非语言符号，通过使用分层softmax集成语言识别，通过对子字单元建模，通过人为降低说话速率，并通过使用速度扰动技术和多个单语数据集来增强数据，以提高系统在CS语音和单语基准上的最终性能，从而使系统更适用在现实生活中。最后，我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明，所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%，并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对语码转换语音数据稀缺问题，提出拼接不同源语言音频及标签的数据增强方法，提升了E2E模型在CS语音和单语测试上的性能，未见句间语言切换WER降低5.03%。
2023-07-03 cs.CL cs.SD eess.AS
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
近年来，语码转换语音识别引起了人们越来越多的关注，但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别（ASR）通过直接从声学输入预测字素或字符，大大简化了ASR系统的构建。与此同时，它也不需要专家的语言知识，这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换（CS）语音识别系统，并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上，我们的系统实现了34.24%的混合出错率（MER）。
2018-11-01 cs.CL eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
话语内语码转换（CS）在口语内容中的普遍性要求语音识别（ASR）系统处理混合语言。设计CS-ASR系统有许多挑战，主要是由于数据稀缺，语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音，以及单语数据。在这项工作中，我们提出了一个零样本学习CS-ASR的方法，通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束（EC），同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明，65.5%的相对减少语言模型困惑，7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明，超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Hindi-English Code-Switching Speech Corpus
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
语码转换是指在一个句子或语篇中使用两种语言的现象。它是多语言社区中的一种全球现象，并已成为一个独立的研究领域。随着对语码转换自动语音识别（ASR）系统需求的增加，开发语码转换语音语料库已成为迫切需要。然而，对于训练这样的系统，非常有限的代码交换资源是可用的。在这项工作中，我们提出了我们的第一个努力，在印度的背景下建立一个代码转换ASR系统。为此，我们建立了一个印地语-英语语码转换语音数据库。该数据库不仅包含了具有语码转换特性的语音话语，而且涵盖了会话和说话人的发音、口音、年龄、性别等变化。该数据库可以应用于多种语音信号处理应用，如语码转换ASR、语言识别、语言建模、语音合成等。本文主要对收集到的语码转换语音语料进行统计分析。稍后，将为创建的数据库报告ASR任务的性能结果。
2018-09-24 cs.CL
Data Augmentation for End-to-end Code-switching Speech Recognition
针对语码转换语音识别训练数据不足的问题，提出音频拼接、基于单词翻译/插入生成文本的TTS三种数据增强方法，可结合SpecAugment，在200小时汉英数据集上WER相对无增强系统降24.0%，较仅用SpecAugment仍有13.0%增益。
2024-11-03 cs.CL eess.AS
Summary on the ISCSLP 2022 Chinese-English Code-Switching ASR Challenge
TAL Education Group（好未来教育集团）；Magic Data；Tsinghua University（清华大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
语码转换自动语音识别由于多种语言之间的语码转换现象以及日常生活中语码转换现象的频繁发生而成为自动语音识别最具挑战性和最有价值的应用场景之一。ISCSLP 2022中英语码转换自动语音识别（CSASR）挑战赛旨在推动语码转换自动语音识别的发展。ISCSLP 2022 CSASR挑战赛为参赛者提供了两个训练集，TAL_CSASR语料库和MagicData-RAMC语料库，一个开发集和一个测试集，用于CSASR模型训练和评估。除了挑战，我们也提供了基准系统性能供参考。结果，超过40支团队参加了此次挑战，获胜团队在测试集上实现了16.70%的混合出错率（MER）性能，与基线系统相比，已经实现了9.8%的MER绝对提升。在本文中，我们将描述数据集，相关的基线系统和要求，并总结CSASR挑战的结果和提交的系统中使用的主要技术和技巧。
2022-10-13 cs.CL cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
End-to-End Code Switching Language Models for Automatic Speech Recognition
BITS Pilani, K K Birla Goa Campus（BITS Pilani K K Birla 果阿校区）；BITS Pilani, Hyderabad Campus（BITS Pilani 海得拉巴校区）
在本文中，我们特别研究了语码转换文本，这是世界各地双语社区中最常见的现象之一。由于在自动语音识别（ASR）模块中提取代码转换文本的差异，从而从代码转换文本中提取单语文本，我们提出了一种使用深度双向语言模型（LM），如BERT和其他机器翻译模型提取单语文本的方法，并探讨了从ASR模型中提取代码转换文本的不同方法。我们还通过比较Perplexity和WER等其他不同指标的结果与没有任何外部信息的标准双语文本输出来解释模型的鲁棒性。
2020-06-16 cs.CL cs.SD eess.AS
Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
本文提出权重分离方法与门控低秩适应（GLoRA），在低规格设备上实现个性化语码转换自动语音识别，实验证明其优于传统模型且优于常规LoRA。
2024-04-24 cs.AI cs.CL eess.AS
Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
尽管最近在端到端（E2 E）ASR系统的代码切换方面取得了重大进展，但对音频文本配对数据的饥饿限制了模型性能的进一步提高。本文提出了一个解耦的Transformer模型，利用单语配对数据和非配对文本数据来缓解语码转换数据不足的问题。该模型被解耦为两个部分：音频到音素（A2 P）网络和音素到文本（P2 T）网络。A2 P网络可以使用大规模单语配对数据来学习声学模式场景。同时，它在训练过程中实时生成单个音频数据的多个音素序列候选。然后使用生成的语音-文本配对数据来训练P2 T网络。该网络可以使用大量外部未配对文本数据进行预训练。解耦的Transformer模型通过使用单语数据和不成对的文本数据，在一定程度上降低了E2 E模型对语码转换成对训练数据的高度依赖性。最后通过注意力融合对两个网络进行联合优化。我们在公开的汉英语码转换数据集上对所提出的方法进行了评估。与我们的Transformer基线相比，该方法实现了18.14%的相对混合出错率降低。
2020-10-28 cs.CL cs.SD eess.AS
Code-switching patterns can be an effective route to improve performance of downstream NLP applications: A case study of humour, sarcasm and hate speech detection
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
在本文中，我们将展示如何利用代码转换模式来改善各种下游NLP应用程序。特别是，我们编码不同的切换功能，以提高幽默，讽刺和仇恨的语音检测任务。我们相信，这种简单的语言观察也可能有助于改进其他类似的NLP应用程序。
2020-05-05 cs.CL
CAFE A Novel Code switching Dataset for Algerian Dialect French and English
University of Bouira（布维拉大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Qatar Computing and Research Institute (HBKU)（卡塔尔计算与研究所（HBKU））
本文发布首个阿尔及利亚方言-法语-英语语码转换数据集CAFE，并通过优化数据处理与解码技术提升Whisper模型的ASR性能。
2024-11-20 cs.CL cs.SD eess.AS
Multi-Graph Decoding for Code-Switching ASR
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）
在FAME！项目，一个代码转换（CS）自动语音识别（ASR）系统的弗里斯兰语-荷兰语的语音开发，可以准确地转录本地广播公司的双语档案与CS语音。该档案包含单语弗里斯兰语和荷兰语语音片段以及弗里斯兰语-荷兰语CS语音的录音，因此单语片段的识别性能对于准确的翻译也至关重要。在这项工作中，我们提出了一个多图解码和rescoring策略，使用双语和单语图与一个统一的声学模型CS ASR。建议的解码方案给出了自由设计和采用替代搜索空间为每个（单语或双语）识别任务，并使单语资源的高资源的混合语言在低资源的CS场景的有效利用。在我们的场景中，荷兰语是高资源语言，弗里斯兰语是低资源语言。因此，我们使用额外的单语荷兰语文本资源，以改善荷兰语语言模型（LM）和比较荷兰段使用较大的荷兰LM的单和多图CS ASR系统的性能。ASR结果表明，该方法优于基线单图CS ASR系统，提供更好的性能单语荷兰段没有任何准确性损失单语弗里斯兰语和代码混合段。
2019-06-28 cs.CL cs.SD eess.AS
Language-specific Characteristic Assistance for Code-switching Speech Recognition
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Kyoto University（京都大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
双编码器结构成功地利用了两个语言特定的编码器（LSE）的代码切换语音识别。由于LSE由两个预先训练的语言特定模型（LSM）初始化，因此双编码器结构可以利用足够的单语数据并捕获各个语言属性。然而，大多数现有的方法对LSE没有语言限制，并且未充分利用LSM的语言特定知识。在本文中，我们提出了一种语言特定的特征辅助（LSCA）的方法，以减轻上述问题。具体来说，在训练过程中，我们引入两个特定于语言的损失作为语言约束，并为它们生成相应的特定于语言的目标。在解码过程中，我们考虑到最小二乘模型的解码能力，通过结合两个最小二乘模型的输出概率和混合模型，以获得最终的预测。实验表明，LSCA的训练和解码方法都能提高模型的性能。此外，最好的结果可以获得高达15.4%的相对错误减少的代码转换测试集，通过结合LSCA的训练和解码方法。此外，该系统可以处理代码切换语音识别任务，没有额外的共享参数，甚至重新训练的基础上，两个预先训练的LSM使用我们的方法。
2022-07-12 cs.CL eess.AS
On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中，我们研究了端到端（E2 E）的方法，以普通话-英语码转换语音识别（CSSR）的任务。我们首先检查使用数据增强和字节对编码（BPE）子字单元的有效性。更重要的是，我们提出了一个多任务的学习配方，语言识别任务是明确学习除了E2 E语音识别任务。此外，我们引入了一个有效的词汇扩展方法的语言建模，以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
