The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院);Datatang (Beijing) Technology Co., LTD(数据堂(北京)科技有限公司)
语码转换(CS)是一种常见的现象,CS语音识别具有挑战性。但是,CS语音数据很少,相关研究中也没有通用的测试平台。本文介绍了ASRU 2019年普通话-英语码转换语音识别挑战赛的设计和主要成果,该挑战赛旨在提高普通话-英语码转换情况下的ASR性能。500小时的普通话语音数据和240小时的普通话-英语会话数据被发布给参与者。为了改进传统DNN-HMM ASR系统中的AM和LM部分,以及探索E2 E模型的性能,设置了三个轨道。然后,本文概述了三个轨道的结果和系统性能。结果表明,传统的自动语音识别系统主要得益于语音词库、CS文本生成和数据扩充。而在E2 E领域,研究结果强调了使用语言识别、建立合理的建模单元集和规范增强的重要性。讨论了模型训练和方法比较中的其他细节。
2020-07-12 cs.CL cs.SD eess.AS
Exploring Lexicon-Free Modeling Units for End-to-End Korean and Korean-English Code-Switching Speech Recognition
VUNO Inc.(VUNO公司)
随着基于字符的端到端自动语音识别(ASR)模型的发展,声学建模单元的选择变得重要。由于韩语是一种相当语音化的语言,并且具有独特的书写系统和自己的韩语字母表,因此值得研究用于端到端韩语ASR任务的建模单元。在这项工作中,我们介绍了无词典的建模单位在韩国,并探讨他们使用的混合CTC/基于注意的编码器-解码器模型。研究了五种无词汇单位:基于音节的韩语字符(与英语字符进行代码转换任务),韩语Jamo字符(与英语字符),基于音节的字符上的子词(与英语中的子词),Jamo字符上的子词(与英语中的子词),最后是字节单位,这是跨语言的通用单位。分别对朝鲜语和韩英语码转换ASR任务进行了零朝鲜语(51.6小时)和医疗记录(2530小时)的实验。基于韩语音节(和英语中的子词)的子词的序列到序列学习对于没有词典和额外的语言模型集成的任务都表现最好。
2019-10-25 cs.SD eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);Kanari AI;University of Helwan(赫勒万大学)
自动语音识别(ASR)中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明,单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器(WFST)框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下,我们的研究结果表明,WFST解码方法更适合于间隔语码转换数据集。此外,Transformer系统在句内语码转换任务中表现更好。通过这项研究,我们发布了一个人工生成的开发和测试集,以及生态代码切换测试集,以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
UniCoM: A Universal Code-Switching Speech Generator
Dept. of Electrical & Electronic Engineering, Yonsei University(电子与电气工程系,延世大学)
本文提出通用语码混合器UniCoM及SWORDS算法,通过词性感知的翻译替换生成自然语码转换语音,并构建CS-FLEURS数据集,在ASR和S2TT任务上表现与现有数据集相当。
2025-08-21 cs.CL cs.SD eess.AS
Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition
Xinjiang University(新疆大学);South China University of Technology(华南理工大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
基于内部语言模型估计(ILME)的语言模型(LM)融合在域内和跨域语音识别任务中均显示出比传统的浅融合显著改善的识别结果。在本文中,我们尝试将我们的ILME方法应用到跨域码切换语音识别(CSSR)的工作。具体来说,我们的好奇心来自几个方面。首先,我们很好奇基于ILME的LM融合对于域内和跨域CSSR任务的有效性。我们验证了这一点,或没有合并两个代码转换域。更重要的是,我们训练一个端到端(E2E)的语音识别模型通过合并两个单语数据集,并观察所提出的ILME为基础的LM融合CSSR的效果。在东南亚和中国大陆CS数据集SEAME上的实验结果验证了该方法的有效性。
2022-07-09 cs.CL cs.SD eess.AS
Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer
NVIDIA(英伟达)
本文提出基于拼接分词器的统一模型,通过从单语数据构建语码转换ASR数据集并同时输出语言ID,在英语-印地语和英语-西班牙语上取得最先进ASR结果,并在FLEURS数据集上实现98%以上的口语语言识别准确率。
2023-09-16 cs.CL cs.SD eess.AS
BA-MoE: Boundary-Aware Mixture-of-Experts Adapter for Code-Switching Speech Recognition
Northwestern Polytechnical University(西北工业大学);Huawei Technologies(华为技术有限公司)
针对语码转换语音识别中跨语言发音相似导致的建模与边界估计问题,提出BA-MoE方法,通过分层适配器、自适应损失与边界预测器,在ASRU 2019中英数据集上较基线降低16.55%混合错误率。
2023-10-08 cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology(万隆理工学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本研究针对印尼语-英语语码转换问题,通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入,实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University(國立臺灣師範大學)
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题,本文提出将语言识别信息引入ASR编码器中间层,生成隐含语言区分性的声学特征以降低语言切换混淆,提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
Theta One AI;Seoul National University(首尔国立大学);Georgia Institute of Technology(佐治亚理工学院);Williams College(威廉姆斯学院);ROKAF Reserve Forces(韩国预备役部队)
HiKE提出一个分层评估框架,用于评估韩英混合语语音识别模型的性能,通过高质量数据和细致标注提升模型对混合语言处理能力的评估。
2026-01-13 cs.CL cs.SD eess.AS
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Kyoto University(京都大学);Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而,大多数现有的方法要求两个单语ASR模型(MAMs)的结构应该是相同的,并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中,我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段:语音感知阶段和语言融合阶段。在SA阶段,声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言,我们进一步扩展了MAMs的语言感知训练策略。在LF阶段,BELM融合两个语言特定的预测,以获得最终的预测。此外,我们提出了一个文本模拟策略,以简化BELM的训练过程,减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后,测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
近年来,语言身份信息已被用来提高端到端的代码切换(CS)语音识别的性能。然而,以前的工作使用一个额外的语言识别(LID)模型作为辅助模块,这导致系统复杂。在这项工作中,我们提出了一个改进的递归神经网络转换器(RNN-T)模型与语言偏见,以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息,并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比,所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
Language-specific Acoustic Boundary Learning for Mandarin-English Code-switching Speech Recognition
Bytedance Research(字节跳动研究院)
针对汉英语码转换中相似发音难以区分的问题,提出基于 LSWE 的语言特定声学边界学习方法,并结合 NAR 解码器与 LCD 模块,在 SEAME 和内部会议数据集上取得最优或显著 MER 改善。
2023-06-08 cs.SD
Adapting Language Balance in Code-Switching Speech
Interactive Systems Lab, Karlsruhe Institut of Technology (KIT), Germany(互动系统实验室,卡尔斯鲁厄理工学院(KIT),德国);InterACT, Carnegie Mellon University (CMU), USA(InterACT,卡内基梅隆大学(CMU),美国)
针对大模型在语码转换语音任务中表现不佳的问题,提出利用嵌入语言与主语言的差异突出转换点并强化学习的可微方法,缓解生成时的上下文偏差,提升模型鲁棒性,在阿拉伯语、中英双语场景中验证了转换位置预测更准、替换错误降低的效果。
2025-10-21 cs.CL cs.LG cs.SD
Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
The University of Melbourne(墨尔本大学)
DAMA通过深度感知适应框架,针对不同层的适应需求优化参数,实现低资源语言高效多语言语音识别。
2026-02-01 cs.CL cs.SD eess.AS
Enhancing Code-Switching Speech Recognition with LID-Based Collaborative Mixture of Experts Model
School of Informatics, Xiamen University(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与工程学院);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
针对语码转换语音识别中的跨语言建模难题,提出Collaborative-MoE,利用LID路由、组间协作与无监督门控提升性能并保持MoE高效推理。
2024-09-05 cs.CL cs.SD eess.AS
Adapting the adapters for code-switching in multilingual ASR
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究所);Erisha Labs(埃里沙实验室)
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型,显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能,CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs
Institute for Infocomm Research (I2R), A STAR, Singapore(信息通信研究所(I2R),A STAR,新加坡);Nanyang Technological University, Singapore(南洋理工大学,新加坡)
针对音频大语言模型在英中码转换语音转录中的系统失败,提出使用直接偏好优化(DPO)对齐模型,通过构建偏好对(保留混合语言内容 vs 模仿失败模式)训练模型,实现词错误率降低最高89.6%(分布内)和20.0%(分布外)。
2026-10-02 cs.CL cs.SD
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation(日本电报电话公司)
尽管深度学习技术的最新进展改善了自动语音识别(ASR),但当语音与其他人的声音重叠时,仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而,基于深度神经网络的语音增强会产生“处理伪像”,这是增强的副作用,会降低ASR性能。例如,众所周知,针对非语音噪声(非重叠语音)的单通道降噪通常不会改善ASR。同样地,当用分离/提取方法处理重叠语音时,处理伪像在某些条件下也可能对ASR有害,尽管通常认为分离/提取改善了ASR。为了回答这个问题,我们总是必须从混合物中分离/提取语音吗?“,我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能,并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现,我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明,这样一个简单的切换机制可以提高识别性能时,处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University(厦门大学)
本文提出DS-Codec,一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器,通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
Learning to Enhance or Not: Neural Network-Based Switching of Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation(日本电报电话公司)
基于深度神经网络(DNN)的语音增强(SE)前端和自动语音识别(ASR)后端的组合是实现重叠语音识别的广泛使用的方法。但是,SE前端会生成可能降低ASR性能的处理工件。我们以前发现,这种性能下降,甚至可以发生在完全重叠的条件下,这取决于信号干扰比(SIR)和信噪比(SNR)。为了减轻这种退化,我们引入了一种基于规则的方法来在增强信号和观测信号之间切换ASR输入,这显示了有希望的结果。然而,该规则的最优性并不清楚,因为它是按经验设计的,并且仅基于SIR和SNR值。在这项工作中,我们提出了一种基于DNN的切换方法,直接估计ASR是否会在增强或观察到的信号上表现更好。我们还介绍了软开关,计算增强和观察到的信号的加权和ASR输入,开关模型的输出后验给出的权重。建议学习为基础的切换表现出的性能与基于规则的Oracle交换。软开关进一步提高了ASR性能,与传统方法相比,实现了高达23%的相对字符错误率降低。
2022-01-11 cs.SD eess.AS
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了a)一个语言无关的端到端语音翻译模型(LAST),和b)一个数据增强策略,以提高代码切换(CS)的性能。随着全球化的发展,在流利的演讲中,多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化,因为我们必须识别首先说的是哪种语言,然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中,我们消除了需要,通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST,我们将语音解码为一种目标语言,而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性,同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group(好未来教育集团)
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库,它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景,包含约587小时16 kHz的语音样本。据我们所知,TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别(ASR)数据集。在本文中,我们将详细介绍录音过程,包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库,我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验,建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率(MER)性能。实验结果表明,音频记录和传输的质量是有希望的,基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题,将其作为从语音增强到歌声分离的域适应,研究全量微调和LoRA参数高效微调策略,实验表明两种策略均有效提升歌声分离性能,LoRA微调还能保留语音增强能力,证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
Linear networks based speaker adaptation for speech synthesis
Alibaba Inc.(阿里巴巴公司)
说话人自适应方法的目标是在有限的资源下为目标说话人生成质量较好的合成语音。近年来,随着基于深度神经网络的统计参数语音合成(SPSS)方法在SPSS TTS后端建模中占据主导地位,基于SPSS框架的神经网络下的说话人自适应也成为一项重要任务。在本文中,线性网络(LN)被插入到多个神经网络层和微调与输出层的最佳扬声器自适应性能。当自适应数据非常小时,采用低秩加对角(LRPD)分解LN,使适应语音更稳定。说话人自适应实验在一定的自适应话语数范围内进行。此外,还研究了从1)女性到女性,2)男性到女性和3)女性到男性的说话人顺应。客观测量和主观测试表明,LN与LRPD分解表现最稳定时,适应数据是非常有限的,我们最好的说话人自适应(SA)模型只有200个自适应话语达到相当的质量与说话人相关(SD)模型训练1000话语,在自然度和目标说话人的相似性。
2018-03-05 cs.SD eess.AS
Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation
Shanghai Jiao Tong University(上海交通大学)
针对端到端ASR在语码转换、命名实体识别场景的不足,以及传统数据增强生成语音质量差的问题,提出基于文本语音编辑的增强方法,效果优于现有方案。
2023-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学);Qatar Computing Research Institute(卡塔尔计算研究所);Microsoft Research India(微软印度研究院)
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中,我们专注于鲁棒性和公平的评价指标的问题。为此,我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示(正字法,语音,语义),直接性(内在与外在),粒度(例如单词,字符)和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译,然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Chinese Academy of Sciences(中国科学院);China National Research Council Canada(中国国家研究委员会加拿大);Institute of Software(软件研究所)
本文提出一种基于MoE的零样本说话人自适应框架,通过即时预测路由参数动态组合适配器专家,在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Code-Switching Text Generation and Injection in Mandarin-English ASR
Microsoft(微软)
语码转换是指在同一话语中混合使用两种或两种以上语言的一种表达方式。由于缺乏数据,具有针对这种语音的端到端(E2 E)建模的自动语音识别(ASR)可能是具有挑战性的任务。在本研究中,我们研究了文本生成和注入,以提高行业常用流模型Transformer-Transducer(T-T)在普通话-英语码切换语音识别中的性能。本文首先提出了一种生成语码转换文本数据的策略,然后研究了将生成的文本通过TTS(Text-to-Speech)转换显式地注入到T-T模型中,或者通过绑定语音和文本的潜在空间隐式地注入到T-T模型中。在使用包含1,800小时真实中英文代码转换语音的数据集训练的T-T模型上的实验结果表明,我们注入生成的代码转换文本的方法显着提高了T-T模型的性能,即,在3个评价集上,平均降低了16%的基于令牌的错误率(TER);在评价集上,由于评价集与训练集数据的同质性更高,所以将语音和文本潜在空间捆绑的方法优于TTS转换方法。
2023-03-20 cs.CL cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google(谷歌)
本文介绍了第7届CHiME挑战赛的UDASE任务,旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应,以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
First Steps Towards Voice Anonymization for Code-Switching Speech
本文首次研究语码转换语音的匿名化,构建两个语料库并适配多语言匿名化模型,实验表明只有该多语言系统能兼顾隐私与效用。
2025-07-02 eess.AS
Attention-based scaling adaptation for target speech extraction
Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
目标语音的提取是近年来受到广泛关注的问题。在这项工作中,我们专注于研究不同的混合和目标说话人之间的动态相互作用,利用区分目标说话人的线索。我们提出了一种特殊的注意机制,无需在缩放适应层中引入任何额外的参数,以更好地使网络适应提取目标语音。此外,通过引入混合嵌入矩阵池方法,我们提出的基于注意力的缩放自适应(ASA)可以更有效地利用目标说话人的线索。在空间化混响WSJ 0 2-mix数据集上的实验结果表明,该方法能有效地提高目标语音的提取性能。此外,我们发现,在相同的网络配置下,ASA在单通道条件下可以实现竞争力的性能增益,从两个通道的麦克风间相位差(IPD)功能的混合实现。
2021-10-19 cs.SD eess.AS
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University(上海交通大学)
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的,但它们需要关于目标口音的先验知识,并且不能处理看不见的口音。此外,简单地连接重音嵌入并不能很好地利用重音知识,其改进有限。在这项工作中,我们的目标是解决这些问题,注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音,并帮助ASR模型识别口音语音。对于给定的语音,自适应结构提取相应的口音信息,并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础,以实现更好的重音适应。实验结果表明,在AESRC 2020口音数据集和Librispeech数据集上,与基线相比,该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
LAE-ST-MoE: Boosted Language-Aware Encoder Using Speech Translation Auxiliary Task for E2E Code-switching ASR
NetEase Yidun AI Lab(网易易盾人工智能实验室);Zhejiang University(浙江大学)
针对语码转换ASR中语言感知编码器忽略跨语言上下文的问题,提出融入语音翻译任务、带任务型混合专家模块的LAE-ST-MoE框架,在ASRU 2019中英数据集上实现9.26%混合错误率降低,还可执行语码转换语音翻译任务。
2023-10-07 cs.SD eess.AS
Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学);University of Edinburgh(爱丁堡大学)
本文针对端到端自动语音识别(ASR)中的语码转换问题进行了系统性文献综述,手动标注相关论文并总结了语言、数据集、指标、模型选择及性能,揭示了当前研究的挑战、机遇与空白。
2025-07-10 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
近年来,通过文本到语音(TTS)应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务,很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案,但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡,导致语音相似性问题。我们提出了目标领域自适应语音合成网络(TDASS)来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干,引入了一个自利分类器来减少非目标影响。此外,在分类器中增加了一个特殊的梯度反转层,对目标和非目标进行不同的操作。在汉语语音库上的实验表明,该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University(南开大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出CS-Dialogue数据集,包含200位说话人104小时自发中英文语码转换对话及完整转录,并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft China(微软中国)
机器语音链将端到端(E2 E)自动语音识别(ASR)和文本到语音(TTS)集成到一个循环中进行联合训练,已被证明可以有效地利用大量未配对数据进行数据增强。在本文中,我们探索语音链中的TTS->ASR管道,对神经TTS和E2 E ASR模型进行领域自适应,仅使用来自目标域的文本数据。我们进行了实验,通过适应从有声读物域(LibriSpeech)到呈现域(TED-LIUM),有一个相对的词出错率(WER)减少10%的E2 E ASR模型上的TED-LIUM测试集,和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外,我们通过以无监督的方式使用目标说话者的一些话语,对E2 E ASR应用Few-Shot说话者自适应,从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务);University of Toronto(多伦多大学)
提出零资源语码转换语音基准,通过离散单元语言建模评估自监督编码器,发现多语种预训练(如XLSR)优于单语种,但仍有提升空间。
2024-03-18 cs.CL cs.SD eess.AS
Reducing language context confusion for end-to-end code-switching automatic speech recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
语码转换是指在交际过程中出现的替代语言。训练用于代码切换的端到端(E2 E)自动语音识别(ASR)系统尤其具有挑战性,因为代码切换训练数据总是不足以对抗由于存在多于一种语言而增加的多语言上下文混淆。本文基于等价约束理论,提出了一种与语言相关的注意力机制,以减少E2 E语码转换ASR模型中的多语言语境混淆。语言学理论要求任何出现在语码转换句中的单语片段必须出现在单语句子中。该理论在单语数据和语码转换数据之间架起了一座桥梁。我们利用这一语言学理论来设计语码转换E2 E ASR模型。该模型有效地从丰富的单语数据中转移语言知识,以提高代码转换ASR模型的性能。我们在ASRU 2019普通话-英语码转换挑战数据集上评估了我们的模型。与基线模型相比,我们提出的模型实现了17.12%的相对误差减少。
2022-06-29 cs.CL cs.SD eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico(INESC-ID与理工学院)
本文提出AC-Mix方法,通过源域与目标域样本插值的对比混合进行自监督域自适应,在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Investigating Target Set Reduction for End-to-End Speech Recognition of Hindi-English Code-Switching Data
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
在自动语音识别领域,端到端(E2 E)系统正在快速取代传统系统。由于目标标签是直接从语音数据中学习的,因此E2 E系统需要更大的语料库来进行有效的训练。在语码转换任务的背景下,E2 E系统面临两个挑战:(i)由于涉及多种语言,目标集的扩展,以及(ii)缺乏足够大的特定领域语料库的可用性。为了应对这些挑战,我们提出了一种方法,用于减少目标标签的数量,以在有限的数据上对E2 E系统进行可靠的训练。所提出的方法的有效性已被证明在两个突出的架构,即基于CTC和基于注意力的E2 E网络。实验验证是在最近创建的印地语-英语语码转换语料库上进行的。为了对比的目的,还报告了基于全目标集的E2 E系统和混合DNN-HMM系统的结果。
2019-07-15 cs.CL cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh(爱丁堡大学);JPMorgan Chase(摩根大通);Microsoft Corporation(微软公司);University of New South Wales(新南威尔士大学);Apple(苹果公司)
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述,考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统,重点是说话人自适应,域自适应,和口音自适应。概述的特点自适应算法的基础上嵌入,模型参数自适应,或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法,根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University(安徽大学)
语码转换是指在句子或语篇中转换语言的现象。然而,有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料,探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径,提出了一种数据驱动的方法来制作种子词典,用于训练字形到音素模型,预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题,我们有一个内在的辅助启示,即利用形素-音素模型,学习材料充足的词中好的发音规则,帮助材料稀缺的词。实验结果表明,采用数据驱动的方法,通过加入外语词的发音,可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%,最后结合不同的选择方法和内部辅助策略,得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
Learning Fast Adaptation on Cross-Accented Speech Recognition
The Hong Kong University of Science and Technology(香港科技大学)
当地方言影响人们对同一种语言的单词发出不同的发音。口音的多变性和复杂性给训练一个鲁棒的、与口音无关的自动语音识别(ASR)系统带来了很大的挑战。在本文中,我们引入了一个跨口音的英语语音识别任务作为衡量的模型,以适应看不见的口音使用现有的CommonVoice语料库的能力的基准。我们还提出了一种口音不可知的方法,扩展了模型不可知的元学习(MAML)算法,用于快速适应看不见的口音。在混合区域和跨区域设置中,我们的方法在zero-shot、Few-Shot和all-shot中的单词错误率方面显著优于联合训练。
2020-03-04 cs.SD eess.AS
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象,指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题,如CS语言对中的语言之间的属性不匹配,切换点的不可预测性,以及数据稀缺问题。我们通过合并非语言符号,通过使用分层softmax集成语言识别,通过对子字单元建模,通过人为降低说话速率,并通过使用速度扰动技术和多个单语数据集来增强数据,以提高系统在CS语音和单语基准上的最终性能,从而使系统更适用在现实生活中。最后,我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明,所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%,并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学);Institute of Software, Chinese Academy of Sciences, China(中国科学院软件研究所);National Research Council Canada, Canada(加拿大国家研究理事会)
提出一种基于跨语句音频-文本提示的说话人自适应方法,实现零样本实时适应未见说话人,在老年人语音数据集上显著降低词错误率/字符错误率,并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Remixed2Remixed: Domain adaptation for speech enhancement by Noise2Noise learning with Remixing
CyberAgent, Inc.(CyberAgent公司)
本文提出Remixed2Remixed方法,利用Noise2Noise学习与双重重混合实现语音增强的域自适应,在CHiME-7任务上超越基线并缓解教师模型性能模糊。
2023-12-28 cs.SD eess.AS
Contextual Audio-Visual Switching For Speech Enhancement in Real-World Environments
University of Stirling(斯特灵大学)
人类语音处理本质上是多模态的,其中视觉线索(嘴唇运动)有助于更好地理解噪声中的语音。唇读驱动的语音增强在低信噪比(SNR)下显著优于基准的仅音频方法。然而,在高SNR或低水平的背景噪声,视觉线索变得相当不那么有效的语音增强。因此,需要一种更优化的、上下文感知的视听(AV)系统,该系统上下文地利用视觉和噪声音频特征两者,并且有效地考虑不同的噪声条件。在本文中,我们介绍了一种新的上下文AV切换组件,上下文利用AV线索相对于不同的操作条件来估计干净的音频,而不需要任何SNR估计。切换模块分别在低、高和中等SNR水平下在仅视觉(仅V)、仅音频(仅A)和两个AV提示之间切换。通过集成卷积神经网络和长短期记忆网络来开发上下文AV切换组件。为了测试,估计干净的音频功能,利用开发的新的增强的视觉导出的维纳滤波器的干净的音频功率谱估计。使用基准Grid和ChiME 3语料库在真实场景下对上下文AV语音增强方法进行了评估。对于客观测试,使用语音质量的感知评估来评估恢复语音的质量。对于主观测试,使用标准的平均意见得分方法。关键的分析和比较研究表明,所提出的上下文AV方法,在低和高信噪比的A-只有,V-只有,谱减法,和对数最小均方误差为基础的语音增强方法的优异性能,揭示了它的能力,以解决在任何现实世界的噪声条件下的频谱时间变化。
2018-08-28 cs.CV cs.SD eess.AS
Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对语码转换语音数据稀缺问题,提出拼接不同源语言音频及标签的数据增强方法,提升了E2E模型在CS语音和单语测试上的性能,未见句间语言切换WER降低5.03%。
2023-07-03 cs.CL cs.SD eess.AS
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
近年来,语码转换语音识别引起了人们越来越多的关注,但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别(ASR)通过直接从声学输入预测字素或字符,大大简化了ASR系统的构建。与此同时,它也不需要专家的语言知识,这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换(CS)语音识别系统,并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上,我们的系统实现了34.24%的混合出错率(MER)。
2018-11-01 cs.CL eess.AS