Romanization Encoding For Multilingual ASR
NVIDIA Corporation（英伟达公司）
提出罗马化编码结合平衡拼接分词器与Roman2Char模块，在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
Word-Free Spoken Language Understanding for Mandarin-Chinese
Carnegie Mellon University（卡内基梅隆大学）
语音对话系统，如Siri和Alexa，为人们的日常生活提供了极大的便利。然而，当前口语语言理解（SLU）流水线很大程度上依赖于自动语音识别（ASR）模块，其需要大量语言特定的训练数据。在本文中，我们提出了一个基于变压器的SLU系统，直接在手机上工作。这种基于声学的SLU系统仅由两个模块组成，并且不需要ASR模块的存在。第一块是通用的电话识别系统，第二块是用于电话的基于transformer的语言模型。我们验证了该系统的有效性在普通话的意图分类数据集。
2021-07-01 cs.CL cs.SD eess.AS
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出CS-Dialogue数据集，包含200位说话人104小时自发中英文语码转换对话及完整转录，并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）；Research Center, Huawei Technologies（华为技术有限公司 研究中心）
针对情境化普通话 ASR 面临的语音-文本数据不足问题，提出利用纯文本和码本查找的文本增强方法，以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
A meta learning scheme for fast accent domain expansion in Mandarin speech recognition
Tencent PCG（腾讯平台与内容事业群）
针对普通话口音语音识别性能不佳的问题，提出结合元学习与参数冻结的口音域快速扩展方法，在不降低普通话ASR性能的同时显著提升口音识别效果与训练效率。
2023-07-23 cs.CL cs.HC cs.SD
AISHELL-2: Transforming Mandarin ASR Research Into Industrial Scale
AISHELL foundation（AISHELL基金会）；Beijing Shell Shell Technology Co. Ltd.（北京贝壳科技有限公司）
AISHELL-1是迄今为止可用于普通话语音识别研究的最大的开源语音语料库。它是与一个基线系统一起发布的，该系统包含针对Mandarin ASR的坚实的训练和测试管道。在AISHELL-2中，发布了来自iOS的1000小时干净的朗读数据，可免费用于学术用途。在AISHELL-2语料库的基础上，开发并发布了一个改进的配方，包含了工业应用的关键组件，如中文分词，灵活的词汇扩展和音素集转换等。流水线支持各种最先进的技术，如时延神经网络和Lattic-Free MMI目标函数。此外，我们还从其他渠道（Android和Mic）发布开发和测试数据。对于研究社区，我们希望AISHELL-2语料库可以成为迁移学习和鲁棒ASR等主题的坚实资源。对于工业，我们希望AISHELL-2配方可以为构建有意义的工业系统和产品提供有益的参考。
2018-09-13 cs.CL
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
建模单元的选择对于自动语音识别（ASR）任务至关重要。传统的ASR系统通常选择上下文相关的状态（CD-状态）或上下文相关的音素（CD-音素）作为其建模单元。然而，它受到了基于序列到序列注意力模型的挑战，该模型将声学，发音和语言模型集成到单个神经网络中。在英语ASR任务中，先前的尝试已经表明，通过基于序列到序列注意力的模型，字素的建模单元可以优于音素的建模单元。在本文中，我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位，包括上下文无关的音素（CI音素），音节，单词，子词和字符。在HKUST数据集上的实验表明，无词典建模单元在字符错误率（CER）方面优于词典相关建模单元。在五个建模单元中，基于字符的模型表现最好，并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER，而无需手工设计的词典和额外的语言模型集成，这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
Context-Aware ASR for Mandarin Technical Lectures
National Taiwan University（国立台湾大学）；ASUS
研究汉语技术讲座中上下文对英文术语识别的作用，构建基准并定义以术语为中心的指标，提出两阶段无参考解码方法，提升术语召回率并降低字符错误率。
2026-07-07 cs.SD
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd（北京希尔贝壳科技有限公司）
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库，适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程，包括音频采集设备和环境。介绍了相关资源的准备，包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明，音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Breaking the Transcription Bottleneck: Fine-tuning ASR Models for Extremely Low-Resource Fieldwork Languages
本文通过微调MMS和XLS-R模型，在五种低资源语言上验证了ASR在田野调查中的可行性，发现数据极少时MMS更优，超一小时时两者性能相当，为语言记录提供实用转录方案。
2025-06-20 cs.CL cs.SD eess.AS
Extending Recurrent Neural Aligner for Streaming End-to-End Speech Recognition in Mandarin
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）中已显示出优越性。与此同时，流识别的能力已经成为端到端模型的日益增长的需求。遵循这些趋势，一种称为Recurrent Neural Aligner（RNA）的编码器-解码器递归神经网络被新提出，并在两个英语ASR任务上显示出其竞争力。然而，目前还不清楚RNA是否可以进一步改进并应用于其他口语。在这项工作中，我们探索了RNA在普通话中的适用性，并提出了四个有效的扩展：在编码器中，我们重新设计了时间下采样，并引入了一个强大的卷积结构。在解码器中，我们利用正则化器来平滑输出分布，并与语言模型进行联合训练。在两个普通话电话语音识别（MTS）数据集上，我们的扩展RNA获得了良好的性能。特别是，它达到了27.7%的字符出错率（CER），这是优于目前的最先进的结果流行的香港科技大学的任务。
2019-02-26 cs.CL cs.SD eess.AS
A Self-Refining Framework for Enhancing ASR Using TTS-Synthesized Data
MediaTek Research（联发科研究实验室）；National Taiwan University（国立台湾大学）；Nvidia（英伟达）
本研究提出一种仅用无标注数据的ASR自优化框架，通过ASR生成伪标签训练TTS、再用合成语音反哺ASR的闭环机制，适配出的Twister模型相比Whisper错误率最高降50%，为低资源场景ASR优化提供新路径。
2025-06-16 cs.AI cs.CL cs.SD
Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR
针对汉英混合语音识别训练数据不足的问题，提出迭代伪标签方法，通过多阶段训练与迭代优化利用无标注数据，在SEAME数据集上显著降低混合错误率。
2026-07-07 cs.CL
The Sound of Healthcare: Improving Medical Transcription ASR Accuracy with Large Language Models
Google Cloud（谷歌云）
本研究利用大型语言模型优化PriMock57数据集上的医疗ASR转录，通过零样本和思维链提示技术显著提升了词错误率、医学概念准确率、说话人分离及语义连贯性，达到该领域最先进性能。
2024-02-12 cs.CL cs.SD eess.AS
Oh, Jeez! or Uh-huh? A Listener-aware Backchannel Predictor on ASR Transcriptions
本文研究对话中的反向信道建模，提出一种结合词汇、声学线索及听者嵌入的预测器，在Switchboard数据集上验证了声学线索优于词汇线索，且两者结合听者嵌入在手动和自动转录上均效果最佳。
2023-04-10 cs.CL cs.SD eess.AS
RED-ACE: Robust Error Detection for ASR using Confidence Embeddings
Google Research（谷歌研究院）
ASR错误检测（AED）模型旨在对自动语音识别（ASR）系统的输出进行后处理，以检测转录错误。现代方法通常使用基于文本的输入，仅由ASR转录假设组成，忽略来自ASR模型的其他信号。相反，我们建议利用ASR系统的字级置信度分数，以提高AED的性能。具体来说，我们将ASR置信度嵌入（ACE）层添加到AED模型的编码器中，使我们能够将置信度分数和转录文本联合编码为上下文表示。我们的实验显示了AED的ASR置信度分数的好处，它们对文本信号的互补效果，以及ACE组合这些信号的有效性和鲁棒性。为了促进进一步的研究，我们发布了一个新的AED数据集，该数据集由LibriSpeech语料库上带有注释的转录错误的ASR输出组成。
2022-10-26 cs.CL cs.SD eess.AS
Syllable-Based Sequence-to-Sequence Speech Recognition with the Transformer in Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型最近在自动语音识别（ASR）任务上显示出非常有前途的结果，其将声学、发音和语言模型集成到单个神经网络中。在这些模型中，Transformer是一种新的基于序列到序列注意力的模型，完全依赖于自我注意力，而不使用RNN或卷积，在神经机器翻译（NMT）任务上实现了新的单模型最先进的BLEU。由于Transformer的出色性能，我们将其扩展到语音，并将其作为基于序列到序列注意力模型的基本架构，用于汉语普通话ASR任务。在此基础上，我们利用Transformer对基于音节的模型和基于上下文无关音素的模型进行了比较。此外，提出了一种基于Transformer的贪婪级联解码器，用于将CI音素序列和音节序列映射为单词序列。在HKUST数据集上的实验表明，基于音节的Transformer模型比基于CI音素的模型性能更好，并且实现了\emph{$28.77\%$}的字符错误率（CER），这与基于CTC-注意的联合编码器-解码器网络的最新CER $28.0\%$具有竞争力。
2018-06-04 cs.CL cs.SD eess.AS
Alzheimer Disease Classification through ASR-based Transcriptions: Exploring the Impact of Punctuation and Pauses
Radboud University（拉德堡德大学）
本研究使用Whisper ASR模型获取转录文本，结合FastText词嵌入和循环神经网络进行阿尔茨海默病分类，发现停顿编码能持续提升分类性能，而标点符号仅带来微小改善。
2023-06-06 cs.CL cs.SD eess.AS
ChildMandarin: A Comprehensive Mandarin Speech Dataset for Young Children Aged 3-5
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对3-5岁幼儿普通话语音研究资源匮乏问题，本文发布含41.25小时、397名说话人的开源ChildMandarin数据集，验证其可有效支持ASR与说话人验证任务。
2025-03-19 cs.SD eess.AS
Mind the Gap: Entity-Preserved Context-Aware ASR Structured Transcriptions
Independent Researcher（独立研究者）
针对 ASR 在命名实体和数值数据上的转录缺陷，提出通过添加重叠上下文窗口扩展语义上下文的训练方法，在 Spoken Wikipedia 数据集上有效提升了 NER 和实体格式化等任务的性能。
2025-06-28 cs.CL cs.SD eess.AS
Pitch-Aware RNN-T for Mandarin Chinese Mispronunciation Detection and Diagnosis
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
本文提出一种音高感知的无状态 RNN-T 模型用于汉语普通话发音错误检测与诊断，通过音高融合模块结合 HuBERT 特征，仅用母语者数据训练即在非母语场景下显著优于基线。
2024-06-07 cs.CL cs.SD eess.AS
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi（内罗毕大学）；Maseno University（马塞诺大学）；Africa Nazarene University（非洲拿撒勒大学）
构建自动语音识别（ASR）系统是一项具有挑战性的任务，特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是，包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要，特别是对听力受损的人来说，他们可以从母语的成绩单中受益。然而，转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展，其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音，并为使用CMU Sphinx语音识别工具箱（一个开源语音识别工具箱）创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型，其WER和SER分别为18.87%和49.5%，比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
Large-Scale Pre-Training of End-to-End Multi-Talker ASR for Meeting Transcription with Single Distant Microphone
Microsoft Corp.（微软公司）
用单个远距离麦克风（SDM）转录包含重叠语音的会议一直是自动语音识别（ASR）最具挑战性的问题之一。虽然已经提出了各种各样的方法，所有以前的单声道重叠语音识别问题的研究是基于模拟数据或小规模的实际数据。在本文中，我们广泛研究了一种两步方法，首先使用大规模模拟数据预训练基于序列化输出训练（SOT）的多说话者ASR，然后使用少量真实会议数据微调模型。实验是通过利用我们内部的7.5万（K）小时的单说话者录音来模拟总共90万小时的多说话者音频片段进行监督预训练。通过对AMI-SDM 70小时的训练数据进行微调，我们的SOT ASR模型在自动计算每个测试段中的扬声器的同时，对AMI-SDM评估集实现了21.2%的单词错误率（WER）。该结果不仅显著优于先前的具有oracle话语边界信息的36.4%的最新WER，而且优于通过应用于波束成形音频的类似微调的单说话者ASR模型的结果。
2021-04-12 cs.CL cs.SD eess.AS
End-to-End Rich Transcription-Style Automatic Speech Recognition with Semi-Supervised Learning
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
我们提出了一种半监督学习方法，用于从小规模富转录风格和大规模普通转录风格数据集构建端到端富转录风格自动语音识别（RT-ASR）系统。在自发言语任务中，经常会出现各种言语现象，如填充语、断词、笑声和咳嗽等。虽然普通的过渡语并不赋予这些现象特殊的意识，但丰富的过渡语明确地将它们转换为特殊的现象标记和文本标记。在以往的研究中，文本标记和现象标记是以端到端的方式同时估计的。然而，很难构建准确的RT-ASR系统，因为大规模丰富的转录风格数据集通常不可用。为了解决这个问题，我们的训练方法同时使用有限的丰富转录风格数据集和普通转录风格数据集。我们的半监督学习的关键过程是将普通的转录风格数据集转换为伪富转录风格数据集。为此，我们引入风格令牌控制现象令牌生成或不转换为基于自回归建模。我们使用这种建模来生成伪丰富的转录风格的数据集，并从伪和原始数据集构建RT-ASR系统。我们对自发ASR任务的实验表明了该方法的有效性。
2021-07-07 cs.CL cs.LG cs.SD
Self-Attention Aligner: A Latency-Control End-to-End Model for ASR Using Self-Attention Network and Chunk-Hopping
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自注意网络是一种基于注意力的前馈神经网络，最近显示出在各种NLP任务中取代递归神经网络（RNN）的潜力。然而，目前尚不清楚自注意力网络是否可以在自动语音识别（ASR）中作为RNN的良好替代方案，ASR处理较长的语音序列并且可能具有在线识别要求。在本文中，我们提出了一个无RNN的端到端模型：自注意力对齐器（SAA），它将自注意力网络应用于简化的递归神经对齐器（RNA）框架。我们还提出了一个组块跳跃机制，这使得SAA模型的编码分割帧块一个接一个，以支持在线识别。在两个普通话ASR数据集上的实验表明，用自注意网络代替RNN，相对字符出错率（CER）降低了8.4%-10.2%。此外，组块跳跃机制允许SAA具有仅2.5%的相对CER降级和320 ms的延迟。在与自注意网络语言模型联合训练后，我们的SAA模型在多个数据集上获得了进一步的出错率降低。特别是，它在普通话ASR基准（HKUST）上实现了24.12%的CER，超过了最好的端到端模型超过2%的绝对CER。
2019-02-18 cs.CL cs.SD eess.AS
Beyond Transcription: Mechanistic Interpretability in ASR
本文将logit lens、线性探测和激活修补等可解释性方法系统应用于ASR，揭示重复幻觉的编解码交互及声学表征中的深层语义偏差，为提升ASR透明度和鲁棒性提供新方向。
2025-08-21 cs.CL cs.LG cs.SD
A Comparative Study of LLM-based ASR and Whisper in Low Resource and Code Switching Scenario
本文比较基于 LLM 的 ASR 系统与 Whisper 在低资源及中英语码转换场景下的表现，发现前者在低资源 ASR 中相对提升 12.8%，后者更擅长语码转换识别。
2024-12-04 cs.AI cs.CL cs.SD
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题，提出LS-MOPD方法，通过语言专业化教师与多语言学生的在线策略蒸馏，在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
Influence of ASR and Language Model on Alzheimer's Disease Detection
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
阿尔茨海默病是痴呆症最常见的形式。语音自动检测可以帮助在早期阶段识别症状，以便采取预防措施。这项研究是对ADReSSo挑战赛的贡献，我们分析了SotA ASR系统从图片中转录参与者的口头描述的使用。我们分析了使用人体transmits的性能损失（使用2020年ADReSS挑战赛的transmits测量）。此外，我们还研究了语言模型的影响--它倾向于纠正非标准的单词序列--缺乏语言模型来解码ASR中的假设。本文旨在研究患者的语言偏差，并仅根据患者的声学信息获得更有意义的译文。该系统结合了声学-韵律和语音质量的基础上-和词汇特征的基础上第一次出现的最常见的话。报告的结果显示了使用自动誊本与语言模型或不使用的效果。最好的全自动系统达到了高达76.06%的准确度（没有语言模型），比采用使用通用语言模型解码的单词音译的系统高出3%以上。
2021-09-20 cs.CL cs.SD eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Spike-Triggered Contextual Biasing for End-to-End Mandarin Speech Recognition
Northwestern Polytechnical University（西北工业大学）；WeNet Open Source Community（WeNet开源社区）
针对深度上下文偏置方法偏置程度难控的问题，提出支持显式隐式偏置的尖峰触发深度偏置方法，搭配采样增强与短语过滤改进，在WenetSpeech数据集上CER相对降32.0%，上下文短语降68.6%。
2023-10-07 cs.SD eess.AS
Findings of the 2024 Mandarin Stuttering Event Detection and Automatic Speech Recognition Challenge
Northwestern Polytechnical University（西北工业大学）；StammerTalk；AIShell Inc（AIShell公司）；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Wuhan University（武汉大学）
本文介绍2024年普通话口吃事件检测与ASR挑战赛的数据集、三条赛道及顶尖系统表现，验证专用模型与增强策略的价值。
2024-09-09 cs.SD eess.AS
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen（西波西米亚大学）
提出一种轻量级基于目标说话人的流式ASR扩展方法，结合SI与SC模型及紧凑重叠检测器，在计算量仅增44%下将重叠语音WER从68.0%降至35.78%，实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft（微软）
本文提出了一种新的优化框架，自动语音识别（ASR）的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型，以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分，其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明，使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance，同时保持接近交叉熵训练的ASR模型的单词错误率。此外，它表明，训练的ASR模型与所提出的框架，提高了语音摘要的质量，由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
建模单元的选择对于自动语音识别（ASR）任务至关重要。在普通话场景中，汉字代表意义，但与发音没有直接关系。因此，只考虑汉字的书写作为建模单元是不够的，以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法，该方法集成了汉语多层次信息。具体地，编码器块将音节视为建模单元，而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换，我们设计了一个辅助任务，该任务将交叉熵（CE）损失应用于中间解码器层。在推理过程中，输入的特征序列由编码器模块转换为音节序列，然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明，该方法取得了令人满意的结果，CER分别为4.1%/4.6%和4.6%/5.2%，使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
Investigating End-to-End ASR Architectures for Long Form Audio Transcription
NVIDIA（英伟达）
本文评估了三类端到端ASR架构在长格式音频上的表现，发现带局部注意力和全局token的自注意力模型准确率最高，且CTC解码器比RNNT更鲁棒高效。
2023-09-20 cs.SD eess.AS
Exploring End-to-End Multi-channel ASR with Bias Information for Meeting Transcription
Microsoft Corp.（微软公司）
多通道前端与自动语音识别（ASR）的联合优化已经引起了广泛的关注。虽然已经报道了各种任务的有希望的结果，但过去对其会议转录应用的研究仅限于小规模实验。目前还不清楚这种联合框架是否有利于更实际的设置，其中可以利用大量的单通道训练数据来构建强大的ASR后端。在这项工作中，我们提出了我们的调查联合建模的掩模为基础的波束形成器和基于注意编码器解码器的ASR在设置中，我们有75k小时的单通道数据和相对少量的真实多通道数据的模型训练。我们探索有效的训练程序，包括模拟和真实的多通道训练数据的比较。为了引导识别对目标说话人和处理重叠的语音，我们还探讨了各种组合的偏见信息，如波达方向和扬声器配置文件。我们提出了一种有效的位置偏差集成方法称为深度级联的波束形成器网络。在我们对各种会议记录的评估中，我们表明所提出的框架实现了大幅降低字错误率。
2020-11-25 cs.SD eess.AS
WenetSpeech: A 10000+ Hours Multi-domain Mandarin Corpus for Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Mobvoi Inc.（出门问问公司）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
在本文中，我们提出了WenetSpeech，一个多领域的普通话语料库，包括10000+小时的高质量标记的语音，2400+小时的弱标记的语音，约10000小时的未标记的语音，总22400+小时。我们从YouTube和播客中收集数据，其中涵盖了各种说话风格，场景，领域，主题和嘈杂条件。介绍了一种基于光学字符识别（OCR）的方法，用于在YouTube数据的相应视频字幕上生成音频/文本分割候选项，而高质量的ASR转录系统用于生成Podcast数据的音频/文本对候选项。然后，我们提出了一种新的端到端的标签错误检测方法，以进一步验证和过滤的候选人。我们还提供了三个手动标记的高质量测试集以及WenetSpeech用于评估- Dev用于训练中的交叉验证目的，Test_Net，从互联网上收集用于匹配测试，Test\_Meeting，从真实会议中记录，用于更具挑战性的不匹配测试。为三个流行的语音识别工具包，即Kaldi，ESPnet和WeNet提供了用WenetSpeech训练的基线系统，并且还提供了三个测试集上的识别结果作为基准。据我们所知，WenetSpeech是目前最大的开源汉语语音语料库，它有利于生产级语音识别的研究。
2022-02-23 cs.CL cs.SD
The Multicultural Medical Assistant: Can LLMs Improve Medical ASR Errors Across Borders?
Google Cloud（谷歌云）；Intron Health（英创健康）
本研究调查了尼日利亚、英国和美国医疗转录中ASR错误的普遍性与影响，通过评估带口音英语的原始及LLM修正转录，揭示了LLM在解决口音和医学术语挑战方面的潜力、局限及跨地区准确性差异。
2025-01-25 cs.CL cs.SD eess.AS
Investigating Transcription Normalization in the Faetar ASR Benchmark
Department of Linguistics（语言学系）；Department of Computer Science（计算机科学系）；Department of French（法语系）
针对低资源Faetar ASR基准，研究转录不一致的影响，发现其并非主要挑战；双词语言建模无额外益处，但有限词典解码有益，任务仍极具难度。
2025-08-20 cs.CL
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
Joint Beamforming and Speaker-Attributed ASR for Real Distant-Microphone Meeting Transcription
iFLYTEK Co., Ltd.（iFLYTEK公司）
本文提出联合波束成形与说话人属性ASR的方法，在真实AMI语料库上通过微调SA-ASR与神经波束成形器，将词错误率相对降低8%和9%。
2025-07-08 cs.CL
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA（Kensho Technologies USA）；NVIDIA CorporationUSA（NVIDIA Corporation USA）
本文介绍SPGISpeech 2.0，一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集，通过微调提升流行语音识别模型的说话人标记ASR性能，并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec
The Johns Hopkins University（约翰斯·霍普金斯大学）；Gettysburg College（葛底斯堡学院）；Secretaría de Educación Pública, Estado de Guerrero, Mexico（墨西哥格雷罗州公共教育秘书处）
由于缺乏有效的人类转录员而造成的“转录瓶颈”是濒危语言（EL）文献的主要挑战之一。自动语音识别（ASR）已经被建议作为克服这种瓶颈的工具。根据这一建议，我们研究了端到端ASR的EL文档的有效性，与隐马尔可夫模型ASR系统不同，它避开了语言资源，而是更依赖于大数据设置。我们开源了一个Yoloxóchitl Mixtec EL语料库。首先，我们回顾了我们构建端到端ASR系统的方法，这种方法可以被ASR社区复制。然后，我们提出了一个新手转录校正任务，并演示了如何ASR系统和新手转录可以共同努力，以提高EL文档。我们相信这种组合的方法将减轻转录瓶颈和转录短缺，阻碍EL文件。
2021-03-05 cs.SD eess.AS
Human Transcription Quality Improvement
Amazon（亚马逊）
针对众包语音转录质量低的问题，提出置信度再处理与自动纠错两阶段方法，构建并发布 LibriCrowd，显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
Bilingual End-to-End ASR with Byte-Level Subwords
Apple（苹果公司）
在本文中，我们研究了端到端神经网络的输出表示如何影响多语言自动语音识别（ASR）。我们研究了不同的表示，包括字符级，字节级，字节对编码（BPE），和字节级字节对编码（BBPE）表示，并分析其优点和缺点。我们专注于开发一个单一的端到端的模型，以支持基于话语的双语ASR，其中扬声器不交替两种语言在一个单一的话语，但可能会改变跨话语的语言。我们在英语和汉语听写任务上进行了实验，我们发现，BBPE与惩罚方案可以提高基于话语的双语ASR性能2%至5%，即使输出数量较少，参数较少。最后，我们的分析表明，进一步提高多语言ASR的方向。
2022-05-01 cs.CL cs.SD eess.AS
LAMA-UT: Language Agnostic Multilingual ASR through Orthography Unification and Language-Specific Transliteration
提出LAMA-UT，一种无需语言特定模块的多语言ASR流水线，通过正字法统一和音译转换，以极少训练数据达到与Whisper和MMS相当的性能，错误率相对降低45%。
2025-10-23 cs.CL cs.SD eess.AS
The second multi-channel multi-party meeting transcription challenge (M2MeT) 2.0): A benchmark for speaker-attributed ASR
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Singapore Institute of Technology（新加坡理工学院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
ASRU2023举办的M2MeT 2.0挑战赛聚焦SA-ASR任务，设固定与开放训练两个子赛道，发布10小时新测试集，本文概述相关数据、设置、结果与系统分析，形成该领域现状基准。
2023-10-05 cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Simulating realistic speech overlaps improves multi-talker ASR
Microsoft（微软）
研究了多说话人自动语音识别（ASR），以生成包含多个说话人重叠语音的自然会话的译文。由于难以获得具有高质量人类transmittance的真实会话数据，因此通过随机混合多个话语来对多说话者语音进行朴素模拟通常用于模型训练。在这项工作中，我们提出了一种改进的技术来模拟多说话者重叠语音与现实的语音重叠，其中语音重叠的任意模式表示的离散令牌的序列。通过这种表示，可以基于统计语言模型（例如N-gram）从真实对话中学习语音重叠模式，然后可以使用该模型来生成用于训练的多说话者语音。在我们的实验中，使用所提出的方法训练的多说话者ASR模型在多个数据集上显示出一致的单词错误率改善。
2022-11-17 cs.CL cs.SD eess.AS
