Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
建模单元的选择对于自动语音识别（ASR）任务至关重要。在普通话场景中，汉字代表意义，但与发音没有直接关系。因此，只考虑汉字的书写作为建模单元是不够的，以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法，该方法集成了汉语多层次信息。具体地，编码器块将音节视为建模单元，而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换，我们设计了一个辅助任务，该任务将交叉熵（CE）损失应用于中间解码器层。在推理过程中，输入的特征序列由编码器模块转换为音节序列，然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明，该方法取得了令人满意的结果，CER分别为4.1%/4.6%和4.6%/5.2%，使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
Decoupling recognition and transcription in Mandarin ASR
Baidu Research USA（百度美国研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近关于自动语音识别（ASR）的许多文献都采用端到端的方法。不像英语的书写系统与声音密切相关，汉字（汉字）代表的是意义，而不是声音。我们建议将音频->汉字分解为两个子任务：（1）音频->拼音和（2）拼音->汉字，其中拼音是标准汉语的音标系统。以这种方式分解音频->汉字任务在Aishell-1语料库上实现了3.9%的CER（字符出错率），这是迄今为止在该数据集上报告的最好结果。
2021-08-02 cs.CL cs.SD eess.AS
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Learning from Real Stuttering: Synthetic Mandarin Stuttering Speech for Data Augmentation in Speech Recognition
TMCC, College of Computer Science, Nankai University, Tianjin, China（天津南开大学计算机科学与技术学院TMCC）
提出基于离散语音令牌的框架DisSpeech，通过显式口吃事件标签控制不同不流畅模式，结合非自回归掩码生成Transformer和韵律感知声学重建，在少于50小时数据下实现高质量可控口吃语音合成，有效提升ASR性能。
2026-10-14 cs.SD eess.AS
Code-Switching Text Generation and Injection in Mandarin-English ASR
Microsoft（微软）
语码转换是指在同一话语中混合使用两种或两种以上语言的一种表达方式。由于缺乏数据，具有针对这种语音的端到端（E2 E）建模的自动语音识别（ASR）可能是具有挑战性的任务。在本研究中，我们研究了文本生成和注入，以提高行业常用流模型Transformer-Transducer（T-T）在普通话-英语码切换语音识别中的性能。本文首先提出了一种生成语码转换文本数据的策略，然后研究了将生成的文本通过TTS（Text-to-Speech）转换显式地注入到T-T模型中，或者通过绑定语音和文本的潜在空间隐式地注入到T-T模型中。在使用包含1，800小时真实中英文代码转换语音的数据集训练的T-T模型上的实验结果表明，我们注入生成的代码转换文本的方法显着提高了T-T模型的性能，即，在3个评价集上，平均降低了16%的基于令牌的错误率（TER）;在评价集上，由于评价集与训练集数据的同质性更高，所以将语音和文本潜在空间捆绑的方法优于TTS转换方法。
2023-03-20 cs.CL cs.SD eess.AS
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)（京东数字科技控股有限公司（京东数字科技））
在端到端语音识别中，建模单元和模型结构是递归神经网络转换器（RNN-T）的两个关键因素。为了提高RNN-T在汉语语音识别中的性能，提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外，我们提出了一种新的混合带宽训练方法，以获得一个通用的模型，能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12，000小时的普通话语音进行的。实验结果表明，普通话Transformer转换器采用带声调的音节，取得了最好的性能。该模型的平均相对字错误率（WER）降低了14.4%和44.1%，分别与使用音节首/尾与声调和汉字的模型相比。此外，它优于基于音节首/尾与声调的模型，平均13.5%的相对字符错误率（CER）减少。
2020-04-26 cs.CL cs.LG cs.SD
Extending Recurrent Neural Aligner for Streaming End-to-End Speech Recognition in Mandarin
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）中已显示出优越性。与此同时，流识别的能力已经成为端到端模型的日益增长的需求。遵循这些趋势，一种称为Recurrent Neural Aligner（RNA）的编码器-解码器递归神经网络被新提出，并在两个英语ASR任务上显示出其竞争力。然而，目前还不清楚RNA是否可以进一步改进并应用于其他口语。在这项工作中，我们探索了RNA在普通话中的适用性，并提出了四个有效的扩展：在编码器中，我们重新设计了时间下采样，并引入了一个强大的卷积结构。在解码器中，我们利用正则化器来平滑输出分布，并与语言模型进行联合训练。在两个普通话电话语音识别（MTS）数据集上，我们的扩展RNA获得了良好的性能。特别是，它达到了27.7%的字符出错率（CER），这是优于目前的最先进的结果流行的香港科技大学的任务。
2019-02-26 cs.CL cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University（国立清华大学）；Shuang-Ho Hospital（双和医院）；Taipei Medical University（台北医学大学）；Taipei Medical University Hospital（台北医学大学附设医院）
针对痴呆症诊断复杂耗时的问题，本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统，在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
A meta learning scheme for fast accent domain expansion in Mandarin speech recognition
Tencent PCG（腾讯平台与内容事业群）
针对普通话口音语音识别性能不佳的问题，提出结合元学习与参数冻结的口音域快速扩展方法，在不降低普通话ASR性能的同时显著提升口音识别效果与训练效率。
2023-07-23 cs.CL cs.HC cs.SD
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出CS-Dialogue数据集，包含200位说话人104小时自发中英文语码转换对话及完整转录，并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Impact of Frame Rates on Speech Tokenizer: A Case Study on Mandarin and English
Peking University（北京大学）；StepFun；Nanyang Technological University（南洋理工大学）；UNSW（新南威尔士大学）；University of Surrey（萨里大学）；Johns Hopkins University（约翰霍普金斯大学）
本研究针对帧率对语音分词的影响研究不足的问题，以普通话和英语为例，通过不同帧率编码语音并在语音识别任务中评估语义分词，发现帧率影响因语言而异，为语音分词器帧率优化提供了参考。
2025-06-13 cs.AI cs.CL cs.SD
AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd（北京希尔贝壳科技有限公司）
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库，适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程，包括音频采集设备和环境。介绍了相关资源的准备，包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明，音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Pronunciation Modeling of Foreign Words for Mandarin ASR by Considering the Effect of Language Transfer
Institute for Infocomm Research（资讯通信研究院）
自动语音识别面临的挑战之一是外来词识别。语言迁移效应是指说话人对一个外语词的发音受到母语知识的影响。本文主要研究自动语音识别中语言迁移的语音效应。提出了一套词汇规则来将英语单词转换为汉语语音表示。通过这种方式，可以通过包括英语单词来扩充普通话词典。因此，普通话ASR系统变得能够识别英语单词，而无需重新训练或重新估计声学模型参数。使用该规则生成的词汇，在不影响纯汉语语音识别准确性的前提下，提高了汉英混合语音的ASR性能。建议的词汇规则是广义的，他们可以直接应用到看不见的英语单词。
2022-10-07 cs.CL eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）；Research Center, Huawei Technologies（华为技术有限公司 研究中心）
针对情境化普通话 ASR 面临的语音-文本数据不足问题，提出利用纯文本和码本查找的文本增强方法，以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象，指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题，如CS语言对中的语言之间的属性不匹配，切换点的不可预测性，以及数据稀缺问题。我们通过合并非语言符号，通过使用分层softmax集成语言识别，通过对子字单元建模，通过人为降低说话速率，并通过使用速度扰动技术和多个单语数据集来增强数据，以提高系统在CS语音和单语基准上的最终性能，从而使系统更适用在现实生活中。最后，我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明，所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%，并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
Improving Mandarin Speech Recogntion with Block-augmented Transformer
Mininglamp Technology（明略科技）
最近，卷积增强的Transformer（Conformer）在自动语音识别（ASR）中表现出了良好的效果，超过了之前最好的Transformer Transducer。在本工作中，我们认为编码器和解码器中每个块的输出信息不是完全包容的，换句话说，它们的输出信息可能是互补的。我们研究了如何利用每个块的互补信息的参数有效的方式，预计这可能会导致更强大的性能。因此，我们提出了块增强的Transformer的语音识别，命名为Blockformer。我们实现了两种块集成方法：基本块输出加权和（Base-WSBO）和块输出加权和（SE-WSBO）的挤压和激励模块。在AISHELL-1上的实验表明，Blockformer模型的性能明显优于现有的Conformer模型，在不使用语言模型的情况下，该模型的CER为4.29%，在使用外部语言模型的情况下，该模型的CER为4.05%.
2022-12-01 cs.CL cs.SD eess.AS
Findings of the 2024 Mandarin Stuttering Event Detection and Automatic Speech Recognition Challenge
Northwestern Polytechnical University（西北工业大学）；StammerTalk；AIShell Inc（AIShell公司）；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Wuhan University（武汉大学）
本文介绍2024年普通话口吃事件检测与ASR挑战赛的数据集、三条赛道及顶尖系统表现，验证专用模型与增强策略的价值。
2024-09-09 cs.SD eess.AS
Investigation of Deep Neural Network Acoustic Modelling Approaches for Low Resource Accented Mandarin Speech Recognition
Key Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院人机智能协同系统重点实验室）；Cambridge University Engineering Dept（剑桥大学工程系）；The Chinese University of Hong Kong（香港中文大学）
针对低资源多口音普通话识别，本文比较多种DNN声学建模方案，并提出显式利用口音信息的改进MLAN tandem HMM系统，使字错误率相对基线绝对降低0.8%至1.5%。
2024-06-14 cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
WenetSpeech: A 10000+ Hours Multi-domain Mandarin Corpus for Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Mobvoi Inc.（出门问问公司）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
在本文中，我们提出了WenetSpeech，一个多领域的普通话语料库，包括10000+小时的高质量标记的语音，2400+小时的弱标记的语音，约10000小时的未标记的语音，总22400+小时。我们从YouTube和播客中收集数据，其中涵盖了各种说话风格，场景，领域，主题和嘈杂条件。介绍了一种基于光学字符识别（OCR）的方法，用于在YouTube数据的相应视频字幕上生成音频/文本分割候选项，而高质量的ASR转录系统用于生成Podcast数据的音频/文本对候选项。然后，我们提出了一种新的端到端的标签错误检测方法，以进一步验证和过滤的候选人。我们还提供了三个手动标记的高质量测试集以及WenetSpeech用于评估- Dev用于训练中的交叉验证目的，Test_Net，从互联网上收集用于匹配测试，Test\_Meeting，从真实会议中记录，用于更具挑战性的不匹配测试。为三个流行的语音识别工具包，即Kaldi，ESPnet和WeNet提供了用WenetSpeech训练的基线系统，并且还提供了三个测试集上的识别结果作为基准。据我们所知，WenetSpeech是目前最大的开源汉语语音语料库，它有利于生产级语音识别的研究。
2022-02-23 cs.CL cs.SD
Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管端到端（E2 E）自动语音识别（ASR）的快速发展，但是已经表明，将外部语言模型（LM）并入解码中可以进一步提高E2 E ASR系统的识别性能。为了与E2 E ASR系统中采用的建模单元保持一致，字符、BPE）LM通常用于与当前的E2 E ASR系统协作。然而，使用子字级LM将忽略字级信息，这可能限制E2 E ASR中外部LM的强度。虽然已经提出了几种方法来将词级外部LM合并到E2 E ASR中，但是这些方法主要是针对具有清晰词边界的语言（例如英语）而设计的，并且不能直接应用于像普通话这样的语言，其中每个字符序列可以具有多个对应的词序列。为此，我们提出了一种新的解码算法，其中构建一个字级格上的飞行考虑所有可能的字序列的每个部分假设。然后，通过将生成的格与外部词N-gram LM相交来获得假设的LM得分。该方法在基于注意力的编码器-解码器（AED）和神经传感器（NT）框架上进行了研究。实验表明，我们的方法始终优于子字级LM，包括N-gram LM和神经网络LM。我们在Aishell-1（CER 4.18%）和Aishell-2（CER 5.06%）数据集上都获得了最先进的结果，并在21 K小时的普通话数据集上将CER相对减少了14.8%。
2022-01-06 cs.CL cs.SD eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
FireRedASR: Open-Source Industrial-Grade Mandarin Speech Recognition Models from Encoder-Decoder to LLM Integration
Xiaohongshu Inc（小红书公司）
FireRedASR是开源工业级中文语音识别模型系列，包含LLM集成版（8.3B参数，CER 3.05%）和AED版（1.1B参数，CER 3.18%），均超越SOTA，支持方言、英语和歌词识别。
2025-01-24 cs.SD eess.AS
ChildMandarin: A Comprehensive Mandarin Speech Dataset for Young Children Aged 3-5
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对3-5岁幼儿普通话语音研究资源匮乏问题，本文发布含41.25小时、397名说话人的开源ChildMandarin数据集，验证其可有效支持ASR与说话人验证任务。
2025-03-19 cs.SD eess.AS
Cantonese Automatic Speech Recognition Using Transfer Learning from Mandarin
Columbia University（哥伦比亚大学）；Recognition Technologies Inc.（识别技术公司）
我们提出了一个系统，开发一个基本的自动语音识别器（ASR）的粤语，一个低资源的语言，通过迁移学习的普通话，一个高资源的语言。我们采用一个基于普通话训练的时延神经网络，并对粤语进行了几层的权重转移。我们对传输的层数、它们的学习率和预训练i向量进行了实验。主要发现是，这种方法可以用更少的数据获得更快的训练时间。我们发现，对于每一个时期，对数概率是较小的迁移学习模型相比，粤语的唯一模型。迁移学习模型在CER方面略有改善。
2019-11-21 cs.CL
On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中，我们研究了端到端（E2 E）的方法，以普通话-英语码转换语音识别（CSSR）的任务。我们首先检查使用数据增强和字节对编码（BPE）子字单元的有效性。更重要的是，我们提出了一个多任务的学习配方，语言识别任务是明确学习除了E2 E语音识别任务。此外，我们引入了一个有效的词汇扩展方法的语言建模，以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
Pyramid Multi-branch Fusion DCNN with Multi-Head Self-Attention for Mandarin Speech Recognition
作为自动语音识别的主要分支之一，基于注意力的模型极大地提高了模型的特征表示能力。特别地，在注意力方面采用了多头机制，希望在不同的注意力子空间中学习更多方面的语音特征。对于复杂语言的语音识别来说，一方面，头部尺寸较小会导致可学习方面明显不足。另一方面，我们需要降低每个子空间的维数，以保持整体特征空间的大小不变，当我们增加头部的数量，这将显着削弱表示每个子空间的特征的能力。因此，本文探讨如何使用一个小的注意力子空间来表示完整的语音特征，同时确保许多头部。在这项工作中，我们提出了一种新的神经网络架构，即金字塔多分支融合DCNN与多头自注意。该结构受扩展卷积神经网络（DCNN）的启发，它使用DCNN的多个分支来提取不同感受野下输入语音的特征。为了减少参数的数量，每两个分支合并一次，直到所有分支合并为一个。因此，它的形状就像一个旋转90度的金字塔。我们证明，在Aishell-1，一个广泛使用的普通话语音数据集，我们的模型实现了字符错误率（CER）的6.45%的测试集。
2023-03-23 cs.SD eess.AS
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
Spike-Triggered Contextual Biasing for End-to-End Mandarin Speech Recognition
Northwestern Polytechnical University（西北工业大学）；WeNet Open Source Community（WeNet开源社区）
针对深度上下文偏置方法偏置程度难控的问题，提出支持显式隐式偏置的尖峰触发深度偏置方法，搭配采样增强与短语过滤改进，在WenetSpeech数据集上CER相对降32.0%，上下文短语降68.6%。
2023-10-07 cs.SD eess.AS
AMNet: An Acoustic Model Network for Enhanced Mandarin Speech Synthesis
Xinjiang University（新疆大学）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术研究中心）
本文提出AMNet声学模型网络，基于FastSpeech 2架构，结合短语结构解析器和局部卷积模块，解耦声调与音素，提升普通话语音合成的局部上下文建模能力及声调准确性，实验中MOS更高、MCD更低、F0拟合更好。
2025-04-12 cs.AI cs.SD eess.AS
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
UMA-Split: unimodal aggregation for both English and Mandarin non-autoregressive speech recognition
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖先进研究学院技术研究所）
针对UMA在英语等语言中因token粒度不匹配导致性能下降的问题，提出UMA-Split，通过分割模块使每个聚合帧映射到多个token，提升非自回归语音识别的跨语言性能。
2026-06-18 cs.CL
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
Baidu Research – Silicon Valley AI Lab（百度研究院——硅谷人工智能实验室）
我们展示了一种端到端的深度学习方法可以用来识别英语或汉语普通话-两种截然不同的语言。因为它用神经网络取代了整个手工设计组件的管道，端到端学习使我们能够处理各种各样的语音，包括嘈杂的环境、口音和不同的语言。我们的方法的关键是我们的HPC技术的应用，导致在我们以前的系统的7倍加速。由于这种效率，以前需要数周的实验现在只需几天即可完成。这使我们能够更快地识别卓越的架构和算法。因此，在某些情况下，我们的系统在标准数据集上进行基准测试时，与人类工作者的转录具有竞争力。最后，使用一种称为数据中心GPU批调度的技术，我们证明了我们的系统可以在在线环境中廉价部署，在大规模服务用户时提供低延迟。
2015-12-08 cs.CL
Attention-Based End-to-End Speech Recognition on Voice Search
Northwestern Polytechnical University（西北工业大学）；Xiaomi Inc.（小米公司）
最近，人们对端到端语音识别越来越感兴趣，端到端语音识别直接将语音转录为文本，而无需任何预定义的对齐。在本文中，我们探讨了使用基于注意的编码器-解码器模型的汉语语音识别的语音搜索任务。由于汉语的正字法、大词汇量和注意力模型的条件依赖性，以往的研究表明，将基于注意力的编码-解码器应用于汉语语音识别是相当困难的。在本文中，我们使用字符嵌入来处理大词汇量。有几个技巧用于有效的模型训练，包括L2正则化，高斯权重噪声和跳帧。我们比较了两种注意力机制，并在注意力模型中使用注意力平滑来覆盖长上下文。总的来说，这些技巧使我们最终在MiTV语音搜索数据集上实现了3.58%的字符出错率（CER）和7.43%的句子出错率（SER）。结合三元组语言模型，CER和SER分别达到2.81%和5.77%。
2018-02-13 cs.CL cs.SD
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
EffectiveASR: A Single-Step Non-Autoregressive Mandarin Speech Recognition Architecture with High Accuracy and Inference Speed
Ping An Technology（平安科技）；Georgia Institute of Technology（佐治亚理工学院）
本文提出单步非自回归普通话 ASR 架构 EffectiveASR，通过 IMV 对齐生成与预测实现端到端训练，在 AISHELL-1 上准确率超过 AR Conformer 且推理加速约 30 倍。
2025-01-09 cs.SD eess.AS
Study of Semi-supervised Approaches to Improving English-Mandarin Code-Switching Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
在本文中，我们提出了我们的整体努力，以提高性能的代码切换语音识别系统使用半监督训练方法，从词汇学习声学建模，东南亚普通话-英语（SEAME）的数据。我们首先研究半监督词典学习方法，以适应规范的词典，这是为了减轻严重的口音发音问题内的代码切换会话的本地区域。因此，学习的词典产生改进的性能。此外，我们尝试使用半监督训练来处理人类转录器和ASR系统之间高度不匹配的转录。具体来说，我们进行半监督训练，假设那些转录不好的数据是无监督数据。我们发现半监督声学建模可以导致改进的结果。最后，为了弥补传统n-gram语言模型由于数据稀疏性问题而带来的局限性，我们使用神经网络语言模型进行格重评分，得到了显著的WER降低。
2018-06-16 cs.CL
End-to-End Mandarin Tone Classification with Short Term Context Information
Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
在本文中，我们提出了一个端到端的普通话声调分类方法，从连续的语音话语利用频谱图和短期的上下文信息作为输入。声谱图和上下文段特征都被用来训练声调分类器。我们首先使用由ASR模型产生的力对齐结果将声谱图帧划分为音节段。然后，我们提取短期段特征，以捕获跨多个音节的上下文信息。将声谱图和短期上下文段特征馈送到端到端模型中可以显着提高性能。在一个大规模的开源汉语语音数据集上进行实验，以评估所提出的方法。在AISHELL3数据库上的实验结果表明，该方法将分类准确率从79.5%提高到92.6%。
2021-12-17 cs.LG cs.SD eess.AS
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
AISHELL-2: Transforming Mandarin ASR Research Into Industrial Scale
AISHELL foundation（AISHELL基金会）；Beijing Shell Shell Technology Co. Ltd.（北京贝壳科技有限公司）
AISHELL-1是迄今为止可用于普通话语音识别研究的最大的开源语音语料库。它是与一个基线系统一起发布的，该系统包含针对Mandarin ASR的坚实的训练和测试管道。在AISHELL-2中，发布了来自iOS的1000小时干净的朗读数据，可免费用于学术用途。在AISHELL-2语料库的基础上，开发并发布了一个改进的配方，包含了工业应用的关键组件，如中文分词，灵活的词汇扩展和音素集转换等。流水线支持各种最先进的技术，如时延神经网络和Lattic-Free MMI目标函数。此外，我们还从其他渠道（Android和Mic）发布开发和测试数据。对于研究社区，我们希望AISHELL-2语料库可以成为迁移学习和鲁棒ASR等主题的坚实资源。对于工业，我们希望AISHELL-2配方可以为构建有意义的工业系统和产品提供有益的参考。
2018-09-13 cs.CL
Automatic Spelling Correction with Transformer for CTC-based End-to-End Speech Recognition
Alibaba Group（阿里巴巴集团）
基于连接主义时间分类（CTC）的端到端语音识别系统通常需要通过基于WFST的解码来结合外部语言模型，以获得有希望的结果。这对于普通话语音识别来说是非常必要的，因为普通话有一个特殊的现象，即同音异义词，它会导致大量的替换错误。语言模型引入的语言信息将有助于区分这些替代错误。在这项工作中，我们提出了一个基于Transformer的拼写校正模型，自动纠正错误，特别是基于CTC的普通话语音识别系统的替代错误。具体来说，我们研究使用CTC为基础的系统作为输入和地面实况translation作为输出的识别结果，训练一个Transformer与编码器-解码器架构，这是非常类似的机器翻译。在20，000小时的普通话语音识别任务中的结果表明，所提出的拼写校正模型可以达到3.41%的CER，这导致与基线CTC为基础的系统解码与语言模型和不使用的分别提高了22.9%和53.2%。
2019-03-27 cs.NE cs.SD eess.AS
A Self-Refining Framework for Enhancing ASR Using TTS-Synthesized Data
MediaTek Research（联发科研究实验室）；National Taiwan University（国立台湾大学）；Nvidia（英伟达）
本研究提出一种仅用无标注数据的ASR自优化框架，通过ASR生成伪标签训练TTS、再用合成语音反哺ASR的闭环机制，适配出的Twister模型相比Whisper错误率最高降50%，为低资源场景ASR优化提供新路径。
2025-06-16 cs.AI cs.CL cs.SD
HearInContext: A Benchmark for Implicit Context in Speech Recognition
AI Center, OPPO（OPPO AI中心）
HearInContext基准通过同音词测试隐式上下文，微调Qwen3-ASR-1.7B显著提升目标词召回率且不损害通用性能。
2026-09-22 cs.CL cs.SD
A New Transformer-Based Approach for Audio-Based Kinship Verification and a New Uncontrolled Mandarin Kinship Speech Dataset
Imperial College London（帝国理工学院）；TUM University Hospital（慕尼黑工业大学附属医院）
本文提出基于Transformer的音频亲属关系验证新架构CONVTRAP-TN，并构建非受控普通话数据集ARKIN，通过基线实验证明现有方法跨数据集不鲁棒。
2026-09-22 cs.AI cs.LG cs.SD
THCHS-30 : A Free Chinese Speech Corpus
Tsinghua University（清华大学）；Research Institute of Information Technology（信息技术研究院）；Center for Speech and Language Technology（语音与语言技术中心）
语音数据是语音识别研究的关键。有相当多的语音数据库，可以购买的价格是合理的大多数研究机构。然而，对于刚刚开始研究活动或刚刚对该方向产生初步兴趣的年轻人来说，数据成本仍然是一个恼人的障碍。我们支持语音识别领域的“免费数据”运动：研究机构（特别是由公共基金支持的研究机构）免费公布其数据，以便新的研究人员能够获得足够的数据来启动他们的职业生涯。本文正是顺应这一趋势，发布了一个自由汉语语音数据库THCHS-30，可用于构建全边缘汉语语音识别系统。我们报告的基线系统建立与此数据库，包括在高噪声条件下的性能。
2015-12-10 cs.CL cs.SD
Automatic recognition of suprasegmentals in speech
Baidu Research USA（百度研究院（美国））；Linguistic Data Consortium, University of Pennsylvania（宾夕法尼亚大学语言数据联盟）
本研究报告了我们的努力，以提高自动识别的超音段微调wav2vec 2.0与CTC，一种方法，已成功地在自动语音识别。我们证明，该方法可以提高国家的最先进的自动识别音节，音调和音高口音。利用音段信息，以声调韵母或声调音节为识别单位，可以显著提高普通话声调识别率。语言模型在声调音节被用作识别单元时是有帮助的，但在声调是识别单元时没有帮助。最后，通过在wav2vec 2.0中结合这两个任务，普通话声调识别可以受益于英语音素识别。
2021-08-04 cs.CL
Speech-Driven End-to-End Language Discrimination towards Chinese Dialects
Jiangxi normal university（江西师范大学）；Soochow university（苏州大学）
针对相似语言和方言鉴别难题，提出基于MFCC特征和HMM-DNN端到端模型的语音驱动方法，结合注意力机制和CNN融合词嵌入与MFCC特征，在基准语料上优于现有方法。
2026-06-18 cs.CL
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
OC16-CE80: A Chinese-English Mixlingual Database and A Speech Recognition Baseline
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；SpeechOcean（海天瑞声）
OC 16-CE 80中英混合语言语音数据库是O-COCOSDA 2016上发布的中英混合语言语音识别（MixASR-CHEN）挑战赛的主要训练、开发和测试资源。该数据库由1,400多人80小时的语音信号组成，这些语音信号是汉语的，但每个语音信号都包含一个或几个英语单词。基于该数据库和另外两个免费数据源（THCHS 30和CMU词典），采用深度神经网络-隐马尔可夫模型（DNN-HMM）混合系统构建了语音识别（ASR）基线。然后，我们根据MixASR-CHEN评估规则报告了基线结果，并证明OC 16-CE 80是混合语言研究的合理数据源。
2016-09-27 cs.CL
Exponential Moving Average Model in Parallel Speech Recognition Training
Alibaba Shenma Search（阿里巴巴神马搜索）
针对当前神经网络模型学习中多GPU集群大规模并行训练的问题，提出了一种将指数移动平均法应用于神经网络模型大规模并行训练的新方法。在训练过程中，指数移动平均模型在模型同步后不广播给分布式工作者更新其局部模型，并作为训练系统的最终模型实现，这是一种无干扰策略。利用所提出的方法成功训练了全连接前馈神经网络（DNN）和深度单向长短期记忆（LSTM）递归神经网络（RNN），并对神马语音搜索数据进行了大词汇量连续语音识别实验。普通话语音识别的字符出错率（CER）比最先进的并行训练方法进一步下降。
2017-03-03 cs.CL
