On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中，我们研究了端到端（E2 E）的方法，以普通话-英语码转换语音识别（CSSR）的任务。我们首先检查使用数据增强和字节对编码（BPE）子字单元的有效性。更重要的是，我们提出了一个多任务的学习配方，语言识别任务是明确学习除了E2 E语音识别任务。此外，我们引入了一个有效的词汇扩展方法的语言建模，以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
建模单元的选择对于自动语音识别（ASR）任务至关重要。在普通话场景中，汉字代表意义，但与发音没有直接关系。因此，只考虑汉字的书写作为建模单元是不够的，以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法，该方法集成了汉语多层次信息。具体地，编码器块将音节视为建模单元，而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换，我们设计了一个辅助任务，该任务将交叉熵（CE）损失应用于中间解码器层。在推理过程中，输入的特征序列由编码器模块转换为音节序列，然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明，该方法取得了令人满意的结果，CER分别为4.1%/4.6%和4.6%/5.2%，使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR
针对汉英混合语音识别训练数据不足的问题，提出迭代伪标签方法，通过多阶段训练与迭代优化利用无标注数据，在SEAME数据集上显著降低混合错误率。
2026-07-07 cs.CL
WenetSpeech-Yue: A Large-scale Cantonese Speech Corpus with Multi-dimensional Annotation
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；WeNet Open Source Community（WeNet开源社区）；Hong Kong University of Science and Technology（香港理工大学）
针对粤语标注语音资源匮乏的问题，研究团队提出多维度标注语料构建流水线WenetSpeech-Pipe，发布大规模粤语语料库WenetSpeech-Yue及基准测试集WSYue-eval，训练的模型在粤语ASR和TTS任务上达到与SOTA系统相当的水平。
2025-09-05 cs.SD
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
WenetSpeech-Wu: Datasets, Benchmarks, and Models for a Unified Chinese Wu Dialect Speech Processing Ecosystem
Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；WeNet Open Source Community（WeNet开源社区）；Moonstep AI；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；YK Pao School（YK Pao学校）
本文提出首个吴语语音处理数据集、基准和模型，涵盖语音识别、翻译、情感识别等任务，推动吴语语音处理生态系统发展。
2026-01-16 cs.SD eess.AS
CB-Conformer: Contextual biasing Conformer for biased word recognition
XVerse Inc.（X Verse公司）
本文提出 CB-Conformer，通过轻量上下文偏置模块和依据召回率、精确率调节权重的自适应语言模型提升偏置词识别，并发布基于 WenetSpeech 的开源普通话数据集。
2023-04-25 cs.CL cs.SD eess.AS
3M: Multi-loss, Multi-path and Multi-level Neural Networks for speech recognition
Tencent AI Lab（腾讯人工智能实验室）
目前，基于Conformer的CTC/AED模型已成为ASR的主流架构。在本文中，我们以前的工作的基础上，我们确定和集成的方法，以实现进一步的改善ASR任务，我们表示为多损耗，多路径和多层次，概括为“3 M”模型。具体地，多损耗是指联合CTC/AED损耗，多路径表示专家混合（MoE）架构，其可以有效地增加模型容量而不显著增加计算成本。多层次意味着我们在深度模型的多个层次上引入辅助损失来帮助训练。我们在公共WenetSpeech数据集上对所提出的方法进行了评估，实验结果表明，与Wenet工具包训练的基线模型相比，所提出的方法提供了12.2%-17.6%的相对CER改进。在我们的15万小时语料的大规模数据集上，3 M模型也表现出了明显的优越性。代码可在https://github.com/tencent-ailab/3m-asr上公开获取。
2022-04-14 cs.CL cs.SD eess.AS
Towards End-to-end Automatic Code-Switching Speech Recognition
HKUST（香港科技大学）
混合语言中的语音识别由于缺乏数据和重叠的音素集（例如，在诸如英语中的“one”和中文中的“wàn”的单词中）而难以适应端到端框架。本文提出了一种基于CTC的端到端自动语音识别模型，用于语码转换。该模型通过在单语数据集上进行联合训练，并与混合语言语料库进行微调来训练。在解码过程中，我们应用束搜索并结合CTC预测和语言模型得分。该方法在利用单语语料库和检测语言转换方面是有效的，它将CER提高了5%。
2018-10-30 cs.CL
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
EMALG: An Enhanced Mandarin Lombard Grid Corpus with Meaningful Sentences
Wuhan University（武汉大学）；Guangdong OPPO Mobile Telecommunications Corp.（广东欧珀移动通信有限公司）
本研究提出包含有意义句子的增强版汉语Lombard网格语料库EMALG，通过改进录音设置和引入34名说话者，发现有意义句子能更有效增强汉语Lombard效应且女性表现更显著，并验证了英汉Lombard效应比较的一致性。
2024-01-09 cs.SD eess.AS
BASPRO: a balanced script producer for speech corpus collection based on the genetic algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Columbia University（哥伦比亚大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
语音处理模型的性能在很大程度上受到用于训练和评估的语音语料库的影响。在这项研究中，我们提出了平衡脚本PROducer（BASPRO）系统，它可以自动构建一个语音平衡和丰富的中文句子集，用于收集汉语普通话语音数据。首先，我们使用预先训练好的自然语言处理系统，从一个大型中文新闻文本语料库中提取十个字符的候选句子。然后，我们应用了一种基于遗传算法的方法来选择20个语音平衡的句子集，每个句子集包含20个句子，从候选句子。使用BASPRO，我们获得了一个名为TMNews的录音脚本，其中包含400个十字句。TMNews涵盖了现实世界中使用的84%的音节。此外，音节分布与真实世界的音节分布具有0.96余弦相似度。我们使用两个文本到语音系统将脚本转换为语音语料库。使用设计的语音语料库，我们测试的性能语音增强（SE）和自动语音识别（ASR），这是最重要的回归和分类为基础的语音处理任务，分别。实验结果表明，在设计的语音语料库上训练的SE和ASR模型的性能优于在随机合成的语音语料库上训练的模型。
2022-12-11 cs.AI cs.CL cs.LG
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对低资源的英汉语码转换语言识别问题，提出堆叠式残差 CNN+GRU 模型和以 ASR 为辅助任务的多任务预训练方法，并结合银标准数据与上采样增强，在真实儿童语音语料上取得 0.781 的平衡准确率，比基线提升 55.3%。
2023-05-31 cs.CL eess.AS
AISHELL-3: A Multi-speaker Mandarin TTS Corpus and the Baselines
AISHELL
AISHELL-3是一个大规模、高保真的多人汉语语音语料库，可用于训练多人文语转换系统。该语料库包含了大约85小时的情感中立录音，由218名母语为中国普通话的人说。语料库中明确标注和提供了他们的辅助属性，如性别、年龄组和本地口音。因此，随录音提供中文及拼音水平的文字记录。我们提出了一个基线系统，使用AISHELL-3多扬声器Madarin语音合成。多说话人语音合成系统是Tacotron-2的扩展，其中说话人验证模型和关于语音相似性的相应损失被并入作为反馈约束。我们的目标是使用所提出的语料库，建立一个强大的合成模型，能够实现zero-shot语音克隆。在这个数据集上训练的系统也很好地概括了在训练过程中从未见过的说话者。客观评价结果表明，我们提出的多说话人合成系统实现了高的语音相似度，无论是说话人嵌入相似度和等出错率测量。数据集、基线系统代码和生成的样本可在线获取。
2021-04-22 cs.SD eess.AS
Dual Language Models for Code Switched Speech Recognition
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在这项工作中，我们提出了一个简单而优雅的方法来语言建模双语代码切换文本。由于语码转换是两种或两种以上不同语言的混合，因此可以通过使用单语语言模型的结构来改进标准双语语言模型。我们提出了一种新的技术，称为双语言模型，它涉及到建立两个互补的单语语言模型，并结合使用概率模型之间的切换。我们使用一个普通话-英语会话语料库来评估我们的方法的有效性。我们证明了我们的模型的鲁棒性表现出显着的改善，在标准的双语语言模型的困惑措施，而不使用任何外部信息。类似的持续改进也反映在自动语音识别出错率上。
2018-08-03 cs.CL
A corpus-based investigation of pitch contours of monosyllabic words in conversational Taiwan Mandarin
Eberhard Karls Universität Tübingen（蒂宾根大学）；Radboud University（拉德堡德大学）
本研究基于台湾普通话自然口语语料库，利用广义加性模型和随机森林分析单音节词音高曲线，揭示声调语境和词义共同决定声调实现，其中T2和T3在语境控制后呈现为低平调，轻声自身呈现为低调。
2024-10-19 cs.CL cs.SD eess.AS
Synchronising speech segments with musical beats in Mandarin and English singing
Radboud University（拉德堡德大学）；University of Michigan（密歇根大学）
用语音数据训练的模型生成合成歌声具有许多优点，这是由于模型的灵活性和可控性。然而，由于语音训练数据中缺少关于片段和节拍之间的时间关系的信息，所以合成的歌唱有时听起来可能不合拍。因此，语音片段和音乐节拍之间的时间关系的信息的可用性是至关重要的。本研究以P-中心理论和响度层次理论为基础，对歌唱数据中的音段节拍同步现象进行了研究。一个普通话语料库和一个英语语料库的专业歌唱数据进行人工标注和分析。结果表明，音乐节拍的存在更依赖于段的持续时间比响亮。然而，响度等级和P中心理论与节拍的位置高度相关。普通话和英语表现出跨语言的差异，尽管表现出共同的模式。
2021-06-18 cs.CL cs.SD eess.AS
TG-ASR: Translation-Guided Learning with Parallel Gated Cross Attention for Low-Resource Automatic Speech Recognition
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（台湾联合链接有限公司）
TG-ASR通过并行门控交叉注意力机制，利用多语言翻译嵌入提升低资源环境下台语语音识别性能，实现14.77%的字符错误率降低。
2026-02-25 cs.AI cs.CL cs.SD
The USTC-Ximalaya system for the ICASSP 2022 multi-channel multi-party meeting transcription (M2MeT) challenge
USTC（中国科学技术大学）；Ximalaya（喜马拉雅）
我们对目标说话人语音活动检测（TS-VAD）提出了两项改进，TS-VAD是我们提出的扬声器日志系统中的核心组件，已提交给2022年多通道多方会议转录（M2MeT）挑战。这些技术旨在处理现实世界会议场景中具有高说话人重叠率和严重混响和噪声条件下的多说话人对话。首先，对于训练TS-VAD模型中的数据准备和增强，使用包含真实会议和模拟室内对话的语音数据。其次，在改进基于TS-VAD的解码后获得的结果中，我们执行一系列后处理步骤以改进降低日志化错误率（DER）所需的VAD结果。测试ALIMEETING语料库，最新发布的普通话会议数据集在M2MeT中使用，我们证明，我们提出的系统可以降低DER高达66.55/60.59%，相对于经典的基于聚类的日志的Eval/Test集。
2022-02-10 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with Adaptive Computation Steps
Toshiba (China) R&D Center（东芝（中国）研发中心）
本文提出了自适应计算步长（ACS）算法，它使端到端的语音识别模型能够动态地决定处理多少帧来预测语言输出。应用ACS算法的模型遵循编码器-解码器框架，而与基于注意力的模型不同，它使用相邻帧之间的相关性在编码器侧独立地产生对齐。因此，一旦接收到足够的声学信息，就可以进行预测，这使得模型适用于在线情况。此外，对编码器-解码器框架的解码阶段进行了小的改变，这允许预测利用双向上下文。在汉语语音语料库AIShell-1上对ACS算法进行了验证，在线测试中，ACS算法的CER为31.2%，而基于注意力的模型的CER为32.4%。为了充分展示ACS算法的优势，我们进行了离线实验，其中我们的ACS模型达到了18.7%的CER，优于基于注意力的同行的CER为22.0%。
2018-09-26 cs.CL cs.SD eess.AS
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
近年来，语码转换语音识别引起了人们越来越多的关注，但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别（ASR）通过直接从声学输入预测字素或字符，大大简化了ASR系统的构建。与此同时，它也不需要专家的语言知识，这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换（CS）语音识别系统，并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上，我们的系统实现了34.24%的混合出错率（MER）。
2018-11-01 cs.CL eess.AS
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University（台湾大学）
声学模式的无监督发现技术正变得越来越有吸引力，因为大量的语音数据变得可用，但手动注释仍然很难获得。在本文中，我们提出了一种方法，无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式（类子词和类词）、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式，模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤，其次是三个级联阶段的声学，语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中，模型训练和解码产生更新的标签，词典和障碍可以进一步更新。通过这种方式，在每次迭代中分别优化模型参数和解码标签，并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验，对所提出的方法进行了测试，其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明，该系统不仅产生合理的性能本身，但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
Transformer-based End-to-End Speech Recognition with Local Dense Synthesizer Attention
Northwestern Polytechnical University（西北工业大学）
最近，一些研究报告说，点产品自我注意（SA）可能不是必不可少的国家的最先进的Transformer模型。受这样一个事实，即密集合成器的注意力（DSA），其中免除点积和成对的相互作用，取得了竞争力的结果，在许多语言处理任务，在本文中，我们首先提出了一个基于DSA的语音识别，作为替代SA。为了降低计算复杂性和提高性能，我们进一步提出了局部DSA（LDSA），将DSA的注意力范围限制在当前中心帧周围的局部范围内，用于语音识别。最后，我们结合LDSA和SA，同时提取局部和全局信息。在Ai-shell 1 Mandarine语音识别语料库上的实验结果表明，LDSA-Transformer的字符出错率（CER）为6.49%，略优于SA-Transformer。同时，LDSA-Transformer比SATransformer需要更少的计算。所提出的组合方法不仅实现了6.18%的CER，这显着优于SA-变压器，但也有大致相同的参数数量和计算复杂性，后者。多头LDSA的实现可在https://github.com/mlxu995/multihead-LDSA上获得。
2021-07-24 cs.CL cs.SD eess.AS
An Online Attention-based Model for Speech Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
基于注意力的端到端模型，如听、注意和拼写（LAS），简化了传统自动语音识别（ASR）系统的整个流水线，并且在语音识别领域中变得流行。在以前的工作中，研究人员已经证明，这种架构可以获得与最先进的ASR系统相当的结果，特别是在使用双向编码器和全局软注意（GSA）机制时。然而，双向编码器和GSA是实现实时语音识别的两大障碍。在这项工作中，我们的目标是通过消除上述两个障碍流LAS基线。在编码器端，我们使用延迟控制（LC）的双向结构，以减少前向计算的延迟。同时，提出了一种自适应单调块式注意（AMoChA）机制，以取代GSA的注意力权重分布的计算。此外，我们提出了两种方法，以减轻巨大的性能下降时，结合LC和AMoChA。最后，我们成功地获得了一个在线LAS模型，LC-AMoChA，它只有3.5%的相对性能降低到LAS基线在我们的内部汉语语料库。
2019-04-25 cs.CL cs.LG cs.SD
CLiFT-ASR: A Cross-Lingual Fine-Tuning Framework for Low-Resource Taiwanese Hokkien Speech Recognition
National Taiwan Normal University（国立台湾师范大学）；EZAI
针对低资源台语语音识别中汉字与罗马字标注难以兼顾的问题，提出基于普通话 HuBERT 的两阶段跨语言微调框架 CLiFT-ASR，在 TAT-MOE 上实现 CER 相对降低 24.88%。
2025-11-10 cs.CL cs.SD
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Kyoto University（京都大学）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而，大多数现有的方法要求两个单语ASR模型（MAMs）的结构应该是相同的，并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中，我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段：语音感知阶段和语言融合阶段。在SA阶段，声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言，我们进一步扩展了MAMs的语言感知训练策略。在LF阶段，BELM融合两个语言特定的预测，以获得最终的预测。此外，我们提出了一个文本模拟策略，以简化BELM的训练过程，减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后，测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Syntactic and Semantic Features For Code-Switching Factored Language Models
本文介绍了我们的最新研究的不同功能的因素化语言模型的码切换语音和它们的影响，自动语音识别（ASR）的性能。我们专注于语法和语义特征，可以从代码转换文本数据中提取，并将它们集成到因子化的语言模型。不同的可能因素，如词，词性标记，布朗词集群，开放类词和集群的开放类词嵌入进行了探讨。实验结果表明，Brown词簇、词性标记和开放类词在降低汉英语码转换语料库SEAME上的因子化语言模型的困惑度方面效果最好。在ASR实验中，包含Brown词聚类和词性标记的模型以及还包括开放类词嵌入聚类的模型产生最佳的混合出错率结果。总之，最好的语言模型可以显著降低SEAME评估集的困惑度，相对减少高达10.8%，混合出错率相对减少高达3.4%。
2017-10-04 cs.CL
Multilingual Stutter Event Detection for English, German, and Mandarin Speech
Rosenheim Technical University of Applied Sciences, Germany（德国罗森海姆应用技术大学）
本文提出一个基于多语种数据的多标签口吃检测系统，通过利用三种语言和四个语料库的标注数据，实现跨语言的鲁棒检测，实验表明多语言训练在某些情况下优于传统方法。
2026-03-27 cs.CL cs.SD eess.AS
Transformer-Transducers for Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们生活在一个60%的人口可以流利地说两种或两种以上语言的世界。这些社区的成员在进行对话时经常在语言之间切换。随着自动语音识别（ASR）系统被部署到现实世界中，需要能够在话语内或跨话语处理多种语言的实用系统。在本文中，我们提出了一个端到端的ASR系统使用的变压器换能器模型架构的代码切换语音识别。我们提出了三个修改香草模型，以处理各个方面的代码转换。首先，我们引入了两个辅助损失函数来处理低资源情况下的语码转换。其次，我们提出了一种新的基于掩码的训练策略，语言ID信息，以改善标签编码器的训练，内部的代码切换。最后，我们提出了一个多标签/多音频编码器结构，利用巨大的单语语音语料库对代码切换。我们证明了我们所提出的方法的有效性SEAME数据集，一个公共的普通话-英语码转换语料库，实现了混合出错率的18.5%和26.3%的test_man和test_sge集分别。
2021-02-15 cs.CL eess.AS
Improving Code-Switching ASR with Code-Mixing Guided Synthetic Speech
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Google DeepMind（谷歌DeepMind）
针对语码转换语音识别中高质量文本-语音对稀缺的问题，提出语码混合引导的偏好学习框架，通过语码混合指数优化合成语音的转换保真度，在SEAME语料库上微调Whisper Large，将混合错误率从12.1%/17.8%降至8.9%/14.2%。
2026-06-19 cs.AI cs.SD
Raw Waveform Encoder with Multi-Scale Globally Attentive Locally Recurrent Networks for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
端到端语音识别通常使用手工设计的声学特征作为输入，并且将特征提取模块从其联合优化中排除。为了提取可学习和自适应的特征并减少信息丢失，我们提出了一种新的编码器，该编码器采用全局注意局部递归（GALR）网络，并直接将原始波形作为输入。我们观察到改进的ASR性能和鲁棒性，通过在不同的窗口长度上应用GALR来将细粒度的时间信息聚合成多尺度的声学特征。实验在基准数据集AISHELL-2和两个5,000小时和21,000小时的大规模汉语语音语料库上进行。凭借更快的速度和可比的模型大小，我们提出的多尺度GALR波形编码器实现了一致的字符出错率降低（CERR）从7.9%到28.1%相对于强基线，包括构象和TDNN构象。特别是，我们的方法比传统的手工特征表现出显着的鲁棒性，并且在音乐混合的真实世界语音测试集上的表现优于基于MFCC的TDNN-Conformer模型的15.2%CERR。
2021-06-08 cs.AI cs.SD eess.AS
Reinforcement Learning Based Speech Enhancement for Robust Speech Recognition
National Chiao Tung University（国立交通大学）；Joint Research Center for AI Technology and All Vista Healthcare, MOST（科技部人工智能技术与全视角医疗联合研究中心）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
传统的基于深度神经网络（DNN）的语音增强（SE）方法旨在最小化增强语音和干净参考之间的均方误差（MSE）。MSE优化模型可能不会直接提高自动语音识别（ASR）系统的性能。如果目标是最小化识别误差，则应使用识别结果来设计优化SE模型的目标函数。然而，ASR系统的结构，它包括多个单元，如声学和语言模型，通常是复杂的和不可区分的。在这项研究中，我们提出了采用强化学习算法来优化SE模型的基础上的识别结果。我们在汉语广播新闻语料库（MATBN）上对所提出的搜索引擎系统进行了评估。实验结果表明，该方法可以有效地改善ASR结果，在信噪比为0 dB和5 dB的情况下，其误码率分别降低了12.40%和19.23%。
2018-11-10 cs.SD eess.AS
Transformer-based end-to-end speech recognition with residual Gaussian-based self-attention
自注意（SA）是一种根据向量序列的两两相似性对向量序列进行编码的方法，由于其较强的上下文建模能力而被广泛应用于语音识别中。然而，当应用于长序列数据时，其精度降低。这是由于其加权平均算子可能导致注意力分布的分散，从而导致忽略相邻信号之间的关系。为了解决这个问题，在本文中，我们引入相对位置意识自我注意（RPSA）。它既保持了自注意的全局-范围依赖建模能力，又提高了局部性建模能力。由于原始RPSA的局部窗口长度是固定的，并且对不同的测试数据敏感，本文提出了一种窗口长度可学习的自适应测试数据的高斯自注意算法（Gaussian-based self-attention，GSA）。我们进一步推广GSA到一个新的残差高斯自注意（resGSA）的性能改善。我们分别将RPSA、GSA和resGSA应用到基于transformer的语音识别中。在AISHELL-1汉语语音识别语料库上的实验结果表明了所提方法的有效性。例如，resGSA-Transformer在测试集上实现了5.86%的字符出错率（CER），这比SA-Transformer的错误率相对低7.8%。虽然所提出的resGSA-Transformer的性能仅略优于RPSA-Transformer，但它不必手动调整窗口长度。
2021-10-08 cs.CL cs.LG cs.SD
M2MeT: The ICASSP 2022 Multi-Channel Multi-Party Meeting Transcription Challenge
Alibaba Group（阿里巴巴集团）；Beijing Shell Shell Technology Co., Ltd.（北京壳壳科技有限公司）
语音处理的最新发展，如语音识别、说话人日记等，激发了语音技术的大量应用。会议场景是最有价值的场景之一，同时也是部署语音技术最具挑战性的场景。具体来说，两个典型的任务，说话人日记和多说话人自动语音识别最近引起了人们的广泛关注。然而，缺乏大型公共会议数据一直是该领域发展的主要障碍。因此，我们提供了AliMeeting语料库，该语料库由120小时的普通话会议记录数据组成，包括8通道麦克风阵列收集的远场数据以及耳机麦克风收集的近场数据。每个会议环节由2-4位发言人组成，不同的发言人重叠比例，在不同大小的房间录制。与数据集一起，我们推出了ICASSP 2022多通道多方会议转录挑战赛（M2MeT），其中包括两个轨道，即扬声器日志化和多扬声器ASR，旨在为会议丰富的转录提供一个通用的测试平台，并促进该领域的可重复研究。本文详细介绍了AliMeeting的数据集、挑战规则、评估方法和基线系统。
2022-02-25 cs.SD eess.AS
Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
语音增强和识别方法的联合训练框架在鲁棒的端到端自动语音识别（ASR）中取得了很好的性能。然而，这些方法仅利用增强的特征作为语音识别组件的输入，这受到语音失真问题的影响。为了解决这个问题，本文提出了一种门控递归融合（GRF）方法与联合训练框架的鲁棒端到端ASR。GRF算法用于动态地组合噪声和增强特征。因此，GRF不仅可以从增强的特征中去除噪声信号，而且还可以从噪声特征中学习原始精细结构，从而可以减轻语音失真。该方法由语音增强、GRF和语音识别三部分组成。首先，采用基于掩码的语音增强网络对输入语音进行增强。其次，应用GRF来解决语音失真问题。第三，为了提高ASR的性能，采用了最先进的语音Transformer算法作为语音识别部分。最后，联合训练框架被用来优化这三个组件，同时。我们的实验是在一个名为AISHELL-1的开源汉语语音语料库上进行的。实验结果表明，与传统的联合增强和仅利用增强特征的Transformer方法相比，该方法的相对字符出错率（CER）降低了10.04%.特别是在低信噪比（0 dB）时，该方法可以获得更好的性能，CER降低了12.67%，表明了该方法的潜力。
2020-11-09 cs.CL cs.SD eess.AS
Opencpop: A High-Quality Open Source Chinese Popular Song Corpus for Singing Voice Synthesis
Tongji University（同济大学）；Shanghai Institute of Visual Arts（上海视觉艺术学院）；Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
本文介绍了OpenPop，一个公开的高质量的普通话歌唱语料库设计的歌唱声音合成（SVS）。语料库由100首流行的普通话歌曲组成，由一位女性专业歌手演唱。音频文件以44，100 Hz的采样率以录音室质量录制，并提供相应的歌词和乐谱。所有的歌唱录音都有音素边界和音节（音符）边界的语音注释。为了证明已发布数据的可靠性并为未来的研究提供基线，我们构建了基于深度神经网络的SVS模型，并使用客观指标和主观平均意见评分（MOS）指标对其进行了评估。实验结果表明，在我们的数据库上训练的最好的SVS模型达到3.70 MOS，表明提供的语料库的可靠性。OpenPop发布到开源社区WeNet，语料库以及合成演示可以在项目主页上找到。
2022-01-20 cs.DB cs.SD eess.AS
A Pilot Study on Mandarin Chinese Cued Speech
Gipsa-lab, University Grenoble Alpes（格勒诺布尔阿尔卑斯大学Gipsa-lab）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）；Grenoble Institute of Technology（格勒诺布尔理工学院）
提示言语（CS）是为聋人开发的一种通信系统，它利用手势提示在语音水平上补充言语阅读。目前，据估计，CS已经适应了60多种语言;然而，没有官方的CS系统可用于普通话。本文提出了一种新颖、高效的汉语压缩编码系统，该系统满足手部编码与嘴唇运动互补的主要标准。我们建议当元音[i，u，y]后面跟着其他普通话韵母时，将其编码为辅音，这将普通话韵母的数量从36减少到16。我们建立了一个连贯的相似性汉语普通话和法语元音的其余16个元音，这使我们能够利用法国CS系统。此外，通过对一个新的语料库的嘴唇视位分布的调查，16个普通话元音的最佳分配不同的手的位置。高斯分类器用于评估不同分配的元音组的平均可分性，其对于三个说话人分别给出92.08%、92.33%和92.73%。辅音的设计主要是根据它们与法语CS系统的相似性，以及对普通话特殊辅音的一些考虑。在我们的系统中，普通话的音调是用头部运动编码的。
2020-01-03 cs.SD eess.AS
A Transcription Prompt-based Efficient Audio Large Language Model for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent YouTu Lab（腾讯优图实验室）
针对噪声环境下音频大语言模型语音识别存在幻觉、重复导致错误的问题，提出基于转录提示、引入ASR专家作为转录分词器及混合AR-NAR解码的Audio-LLM，在WenetSpeech语料上显著降低CER且彻底解决解码重复问题。
2024-08-18 cs.SD eess.AS
Language-specific Acoustic Boundary Learning for Mandarin-English Code-switching Speech Recognition
Bytedance Research（字节跳动研究院）
针对汉英语码转换中相似发音难以区分的问题，提出基于 LSWE 的语言特定声学边界学习方法，并结合 NAR 解码器与 LCD 模块，在 SEAME 和内部会议数据集上取得最优或显著 MER 改善。
2023-06-08 cs.SD
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group（阿里巴巴集团）
最近的国家的最先进的神经文本到语音（TTS）合成模型，显着提高了可懂度和自然度的生成语音的文本。然而，建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是，它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性，在两种语言。在本文中，我们探讨了使用普通话语音录音从普通话扬声器，英语语音录音从另一个英语扬声器，以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音，它们表现出良好的自然度和说话人相似度。然后，使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上，本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明，这三个系统都可以产生（近）母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
Evaluating Self-supervised Speech Models on a Taiwanese Hokkien Corpus
Carnegie Mellon University（卡内基梅隆大学）；Scripps College（斯克里普斯学院）；University of Maryland（马里兰大学）；Swarthmore College（斯沃斯莫尔学院）；National Taiwan Normal University（国立台湾师范大学）；China Medical University, Taiwan（中国医药大学（台湾））；National Taiwan University（国立台湾大学）
本文构建 1.5 小时台湾闽南语数据集并纳入 ML-SUPERB 隐藏集，评估多种 SSL 语音表示，证明模型规模不决定性能且语言对齐至关重要。
2023-12-06 cs.CL cs.SD eess.AS
Construction and Evaluation of Mandarin Multimodal Emotional Speech Database
Taiyuan University of Technology（太原理工大学）；Suzhou University（苏州大学）；Newcastle University（纽卡斯尔大学）
本文构建了一个包含发音运动学、声学、声门和面部微表情的普通话多模态情感语音数据库，并通过SVM、CNN和DNN模型验证了其高质量和情感区分度，为多模态情感语音分析提供了重要数据来源。
2024-01-14 cs.AI cs.SD eess.AS
OpenEnded: An Open-Response Speech Corpus for Speaking Proficiency Assessment with Human Annotations and ALM Supervision
Columbia University（哥伦比亚大学）
针对自动口语评估数据稀缺问题，构建开放式英语口语语料库OpenEnded，提供语句级多维评分，并验证ALM伪标注及VoxPA基线模型的有效性。
2026-09-15 cs.SD eess.AS
Tone Recognition Using Lifters and CTC
Fluent.ai Inc.（Fluent.ai公司）
在本文中，我们提出了一种新的方法来识别声调语言的连续语音中的声调。该方法的工作原理是将语音信号转换为倒谱图，使用卷积神经网络提取倒谱特征序列，并使用连接时间分类（CTC）网络预测潜在的音调序列。该方法的性能进行了评估，一个免费提供的汉语普通话语音语料库，AISHELL-1，并表现出优于现有的技术在文献中的音调错误率（TER）。
2018-07-06 cs.SD eess.AS
AVE Speech: A Comprehensive Multi-Modal Dataset for Speech Recognition Integrating Audio, Visual, and Electromyographic Signals
Defense Innovation Institute, Academy of Military Sciences, Beijing, China（国防科技研究院，军事科学院，北京，中国）；Tianjin Artificial Intelligence Innovation Center, Tianjin, China（天津人工智能创新中心，天津，中国）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国）；Tianjin University, Tianjin, China（天津大学，天津，中国）
本文提出AVE Speech多模态普通话语音识别数据集，融合音频、唇部视频和六通道肌电信号，覆盖100人、100句、超55小时/模态，并验证其在跨受试者和高噪声场景下显著提升识别性能。
2025-07-05 cs.HC cs.MM cs.SD
Benchmarking Open-Source Speech Emotion Recognition in Naturalistic Mandarin Spine Clinic Consultations: A Pilot Validation Study
The LKS Faculty of Medicine, The University of Hong Kong（香港大学李嘉诚医学院）；The University of Hong Kong-Shenzhen Hospital（香港大学深圳医院）
本研究在自然场景中文脊柱门诊语音中基准测试三个开源SER模型，发现多数类准确率误导，模型对少数情感检测效果差，表明临床部署需领域适应和更强验证。
2026-09-23 cs.CY cs.SD
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别（ASR）需要同时处理两种或两种以上的语言。在这项研究中，我们提出了一个基于transformer的架构，具有两个对称的语言特定的编码器来捕获各个语言属性，从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练，旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器（MED）架构。在SEAME语料库上的实验结果表明，在以汉语和英语为矩阵语言的CS评价集上，该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
WildElder: A Chinese Elderly Speech Dataset from the Wild with Fine-Grained Manual Annotations
College of Computer Science, Nankai University, China（南开大学计算机科学学院）
针对老年语音自动处理挑战及现有中文数据集局限，提出WildElder，从在线视频收集普通话老年语音语料库并细粒度标注，结合野外数据真实性与专家策划，可有力研究自动语音识别等，是有潜力的新基准。
2026-07-21 cs.SD eess.AS
