What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；SPRING Lab, IIT Madras（印度理工学院马德拉斯分校SPRING实验室）
针对非典型语音ASR评估中混淆的两种有效转录参考（逐字和意图），本文使用11个ASR模型在口吃语音上基准测试，揭示性能差异并强调根据用例选择合适参考的重要性。
2026-07-01 cs.CL cs.HC
Leveraging LLM for Stuttering Speech: A Unified Architecture Bridging Recognition and Event Detection
Beijing Fosafer Information Technology Co., Ltd.（北京福赛弗信息技术有限公司）；China Institute of Forensic Science, Ministry of Public Security（中国公安部 forensic 科学研究院）；The Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
本文提出一种 LLM 驱动的 ASR-SED 多任务学习框架，通过动态交互机制联合优化口吃语音识别与事件检测，在 AS-70 数据集上将 ASR CER 降至 5.45% 并提升 SED F1 至 73.63%。
2025-05-28 cs.SD eess.AS
Benchmarking Japanese Speech Recognition on ASR-LLM Setups with Multi-Pass Augmented Generative Error Correction
Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所（NAIST））；National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））；NVIDIA Research（英伟达研究院）；Kyoto University（京都大学）
本研究提出首个日语ASR生成错误校正（GER）基准，并引入多遍增强GER（MPA GER）方法，通过整合多系统假设与多LLM修正提升日语语音识别质量与泛化能力。
2024-10-11 cs.CL cs.SD eess.AS
Audio-attention discriminative language model for ASR rescoring
Amazon（亚马逊公司）
用于自动语音识别（ASR）的端到端方法受益于在单个神经网络中直接对给定输入音频流的单词序列的概率进行建模。然而，与传统的ASR系统相比，这些模型通常需要更多的数据来实现可比的结果。众所周知的模型自适应技术，考虑域和风格的适应，不容易适用于端到端的系统。另一方面，传统的基于HMM的系统已经针对各种生产环境和用例进行了优化。在这项工作中，我们建议将端到端方法的好处与传统系统相结合，使用基于注意力的判别语言模型，该模型可以学习对第一遍ASR系统的输出进行重新评分。我们表明，学习重新评分的潜在ASR输出列表是比学习生成的假设简单得多。即使训练数据量是用于训练第一遍系统的数据的一小部分，所提出的模型也能使单词错误率提高8%。
2020-02-18 cs.CL cs.LG cs.SD
Integrating Pretrained ASR and LM to Perform Sequence Generation for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
针对预训练ASR与LM整合入SLU时的词汇不匹配、LM无法直接复用问题，提出三遍端到端SLU系统，结合ASR、LM与审议子网络完成序列生成，在两个基准数据集上性能优于现有模型。
2023-07-20 cs.CL cs.SD eess.AS
Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition
Apple（苹果公司）；Brno University of Technology（布尔诺理工大学）
针对端到端语音识别集成大语言模型时的高计算成本与词表不匹配问题，本文提出延迟融合方法，通过延迟应用LLM分数减少推理调用与打分假设数，支持重分词，实验证实其在解码速度和准确率上均优于浅融合与N-best重打分。
2025-01-16 cs.CL cs.SD eess.AS
ASTER: Automatic Speech Recognition System Accessibility Testing for Stutterers
Nanyang Technological University（南洋理工大学）；University of New South Wales（新南威尔士大学）；Meta AI；University of Southern California（南加州大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The University of Tokyo（东京大学）；University of Alberta（阿尔伯塔大学）
针对ASR系统对口吃者可访问性不足的问题，提出ASTER技术，通过注入五种口吃类型生成多样化测试用例，并采用多目标优化提升质量，有效暴露系统失败，显著提高错误率，且生成音频逼真。
2023-08-30 cs.AI cs.SD cs.SE
Scaling Up Deliberation for Multilingual ASR
Google LLC（谷歌有限责任公司）
多语言端到端自动语音识别模型由于其训练和部署的简单性而具有吸引力。与单语模型相比，最近对此类模型进行大规模训练的工作显示出了有希望的结果。然而，这项工作通常集中在单通道设置中的多语言模型本身。在这项工作中，我们调查的第二遍审议多语种语音识别。我们提议的审议是多语种的，即，文本编码器对来自多种语言的假设文本进行编码，解码器处理多语言文本和音频。我们研究了可伸缩的审议文本编码器和解码器，并比较了可伸缩的审议解码器和第一遍级联编码器。我们发现，审议提高了平均WER 9种语言的4%，相对于单通道模型。通过将审议的大小增加到1B参数，平均WER改善增加到9%，某些语言的WER改善高达14%。我们的审议rescorer是基于Transformer层，可以在rescoring并行化。
2022-10-11 cs.CL cs.SD eess.AS
StutterZero and StutterFormer: End-to-End Speech Conversion for Stuttering Transcription and Correction
Millburn High School（米尔伯恩高中）
本文提出 StutterZero 和 StutterFormer 两种端到端波形到波形模型，直接将口吃语音转换为流利语音并联合预测转写，在 WER 和 BERTScore 上显著优于 Whisper-Medium。
2025-11-05 cs.AI cs.CL eess.AS
Two-Pass End-to-End ASR Model Compression
Samsung Research（三星研究院）
智能设备上的语音识别由于内存占用小而具有挑战性。因此，小尺寸ASR模型是期望的。随着流行的基于换能器的模型的使用，在小型设备上实际部署流式语音识别模型已经成为可能[1]。最近，结合RNN-T和LAS模块的双通道模型[2]在流式设备上语音识别方面表现出了出色的性能。在这项工作中，我们提出了一个简单而有效的方法来减少内存受限设备的两遍模型的大小。我们采用了一个流行的知识蒸馏方法，分三个阶段使用师生培训技术。在第一阶段，我们使用训练好的RNN-T模型作为教师模型，并进行知识蒸馏来训练学生RNN-T模型。第二阶段使用共享编码器，并使用训练的RNN-T+LAS教师模型为学生模型训练LAS重新评分器。最后，我们使用共享的RNN-T编码器、RNN-T解码器和LAS重新分级器对学生模型进行深度微调。我们在标准LibriSpeech数据集上的实验结果表明，与两遍教师模型相比，我们的系统可以实现55%的高压缩率，而不会显著降低WER。
2022-01-08 cs.SD eess.AS
Scalable Multi Corpora Neural Language Models for ASR
Amazon Alexa（亚马逊Alexa）
神经语言模型（NLM）在自动语音识别（ASR）和其他任务中的表现已经大大优于传统的n-gram语言模型。然而，对于要在实际的大规模ASR系统中使用的NLM，存在需要解决的许多挑战。在本文中，我们提出了一些挑战的解决方案，包括从异质语料库中训练NLM，限制延迟影响和处理二次通过重新评分器中的个性化偏差。总的来说，我们表明，我们可以实现6.2%的相对WER减少使用神经LM在第二遍n-最好的重新评分框架，延迟增加最小。
2019-07-02 cs.CL cs.LG
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook（脸书）
自动语音识别（ASR）的端到端建模（E2E）将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程，但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中，我们专注于上下文语音识别，这是特别具有挑战性的E2E模型，因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能，在复杂的上下文信息的存在下，我们建议使用基于类的语言模型（CLM），可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员，并尽量减少搜索错误，我们提出了一个令牌传递解码器，有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR，并实现相对62%的字出错率（WER）减少上下文的ASR，而不损害一般ASR的性能。我们表明，该方法在不修改跨任务的解码超参数的情况下表现良好，使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Lattention: Lattice-attention in ASR rescoring
Amazon Alexa AI（亚马逊Alexa人工智能部门）
格形成从自动语音识别系统生成的多个假设的紧凑表示，并且与使用一个最佳假设相比，已经显示出提高了下游任务（如口语语言理解和语音翻译）的性能。在这项工作中，我们期待的有效性格线索重新评分n-最好的名单在第二遍。我们用递归网络对格进行编码，并训练一个注意编码器-解码器模型来进行n-最佳重评分。关注网格的重新评分模型在第一遍上实现了4-5%的相对字错误率出错率降低，并且关注网格和声学特征两者实现了6-8%的相对字错误率降低。我们发现，rescoring模型与注意格优于模型与注意n-最好的假设。我们还研究了不同的方式，将格的权重在格编码器，并证明其重要性的n-最好的rescoring。
2021-11-19 cs.CL cs.SD eess.AS
E2E Segmentation in a Two-Pass Cascaded Encoder ASR Model
Google Research（谷歌研究院）
我们探索将具有两遍级联编码器ASR的神经分段器统一到单个模型中。一个关键的挑战是允许分段器（与解码器同步实时运行）完成第二遍（比实时运行晚900 ms），而不会在推理过程中引入用户感知的延迟或删除错误。我们提出了一种设计，其中神经分段器与因果第一遍解码器集成，以实时发出段结束（EOS）信号。然后，EOS信号用于完成非因果第二遍。我们实验了不同的方法来完成第二遍，并发现一种新的虚拟帧注入策略允许同时高质量的第二遍结果和低完成延迟。在一个现实世界的长格式字幕任务（YouTube），我们实现了2.4%的相对WER和140毫秒EOS延迟增益超过基线VAD为基础的分割器具有相同的级联编码器。
2023-03-05 cs.CL
End-to-end Named Entity Recognition from English Speech
MIDAS, IIIT-Delhi（德里英迪拉·甘地信息技术学院MIDAS实验室）；National Institute of Informatics（国立信息学研究所）
文本中的命名实体识别（NER）是一个被广泛研究的问题，通常从文本中提取语义信息。到目前为止，主要是在两步流水线过程中研究从语音的NER，该过程包括首先应用自动语音识别（ASR）系统上的音频样本，然后通过预测的成绩单到NER标注。在这种情况下，错误不会从一个步骤传播到另一个步骤，因为这两个任务都没有以端到端（E2E）的方式进行优化。最近的研究证实，综合办法（例如，E2E ASR）优于顺序的（例如，基于音素的ASR）。在本文中，我们介绍了第一个公开可用的NER标注数据集的英语语音，并提出了一个E2E的方法，它联合优化的ASR和NER标签组件。实验结果表明，所提出的E2E方法优于经典的两步方法。我们还讨论了如何从语音NER可以用来处理的词汇（OOV）的话在ASR系统。
2020-05-22 cs.CL cs.LG cs.SD
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Context-Aware ASR for Mandarin Technical Lectures
National Taiwan University（国立台湾大学）；ASUS
研究汉语技术讲座中上下文对英文术语识别的作用，构建基准并定义以术语为中心的指标，提出两阶段无参考解码方法，提升术语召回率并降低字符错误率。
2026-07-07 cs.SD
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
针对低资源语言两遍跨语言 ASR，本文通过发音特征合并音素并引入全局音素噪声生成器，优化音素识别与音素到字素翻译，在 CommonVoice 12.0 上显著降低 WER。
2023-12-06 cs.CL cs.SD eess.AS
Training-Free Contextual ASR via SpeechLLM-Based Error-Aware Selective Retrieval
Hitachi, Ltd., Research & Development Group（株式会社日立制作所研发集团）；Hitachi Advanced Systems Corporation（日立先进系统株式会社）
提出无训练上下文ASR框架，利用SpeechLLM定位错误跨度并选择性检索术语，减少词典查询并提升多领域识别性能。
2026-09-28 cs.SD eess.AS
Cascaded encoders for unifying streaming and non-streaming ASR
Google LLC（谷歌公司）
到目前为止，端到端（E2 E）自动语音识别（ASR）模型在几个基准测试中表现出了竞争力。这些模型被构造为在流模式或非流模式下操作。这项工作提出了级联编码器，用于建立一个单一的E2 E ASR模型，可以同时在这两种模式下工作。该模型由流和非流编码器。输入特征首先由流编码器处理;非流编码器仅对流编码器的输出进行操作。然后，单个解码器学习使用流式或非流式编码器的输出进行解码。实验结果表明，该模型在流媒体模式下的误字率与独立流媒体模型相近，在非流媒体模式下的误字率相对提高了10% - 27%。我们的研究结果还表明，所提出的方法优于现有的E2 E两遍模型，特别是在长形式的语音。
2020-10-27 cs.CL cs.SD eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
RescoreBERT: Discriminative Speech Recognition Rescoring with BERT
Amazon Alexa（亚马逊Alexa）
第二遍重评分是自动语音识别（ASR）系统中的重要组成部分，其用于通过实现格重评分或$n$ -最佳重排序来改善来自第一遍解码器的输出。虽然使用掩蔽语言模型（MLM）目标进行预训练在各种自然语言理解（NLU）任务中取得了巨大成功，但它并没有作为ASR的重新评分模型获得关注。具体而言，尚未探索在诸如最小WER（MWER）的判别性目标上训练双向模型（如BERT）。在这里，我们展示了如何训练具有MWER损失的基于BERT的重新评分模型，以将区分损失的改进纳入ASR的深度双向预训练模型的微调中。具体来说，我们提出了一种融合策略，将MLM融入到判别训练过程中，以有效地从预训练模型中提取知识。我们进一步提出了一种替代的歧视性损失。这种方法，我们称之为RescoreBERT，相对于LibriSpeech干净/其他测试集，在没有歧视性目标的BERT基线上，将WER降低了6.6%/3.4%。我们还在来自会话代理的内部数据集上评估了我们的方法，发现它在LSTM重新评分模型上减少了延迟和WER（相对减少了3%到8%）。
2022-02-18 cs.CL cs.LG cs.SD
Multi-task Language Modeling for Improving Speech Recognition of Rare Words
Amazon Alexa（亚马逊 Alexa）
端到端自动语音识别（ASR）系统由于其相对的架构简单性和有竞争力的性能而越来越受欢迎。然而，即使这些系统的平均准确度可能很高，但对稀有内容词的性能通常落后于混合ASR系统。为了解决这个问题，通常利用语言建模来应用第二遍重新评分。在本文中，我们提出了一个多任务学习的二次通过系统，利用语义目标（如意图和槽预测），以提高语音识别性能。我们发现，我们的重新评分模型训练这些额外的任务优于基线重新评分模型，训练只有语言建模任务，由1.4%的一般测试和2.6%的稀有词测试集的词错误率相对（WERR）。我们最好的多任务LM ASR系统与RNN Transducer仅ASR基线相比，在稀有词识别方面显示出4.6%的WERR减少。
2021-09-11 cs.AI cs.CL cs.LG
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University（国立台湾师范大学）
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性，这一ASR共享任务变得更具挑战性。在封闭式评估的环境下，所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题，我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统，同时利用各种数据增强策略的协同作用，包括话语和单词级别的速度扰动和语谱图增强，以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分，该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好，排在第二位，字错误率（WER）为17.59%，而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Leveraging Cross-Utterance Context For ASR Decoding
University of Sheffield（谢菲尔德大学）
本文研究在 ASR 解码中引入长上下文 transformer LM，通过束搜索利用跨话语信息，并在 AMI 与 Tedlium-1 上验证其相对 n-best 重打分和单话语解码的词错率改进。
2023-06-29 cs.CL cs.SD eess.AS
Unifying Global and Near-Context Biasing in a Single Trie Pass
Idiap Research Institute（Idiap研究 institute）；University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）；Brno University of Technology（布拉格技术大学）；Uniphore（Uniphore公司）
针对端到端ASR模型在稀有词、命名实体识别及领域适配的难题，提出结合命名实体偏置列表与词级n-gram语言模型的方法，集成至transducer系统中，在多语言数据集上实现实体识别与整体词错率的显著优化。
2025-07-02 cs.CL cs.SD eess.AS
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Google LLC（谷歌公司）
本文设计了一种优化的 Conformer，通过纯卷积块替换、架构缩减和 RNNAttention-Performer 等技术，在 TPU 上实现快速推理，延迟降低 6.8 倍，并通过级联编码器设置完全恢复识别准确率，适用于端上和云端 ASR。
2023-03-31 cs.CL cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
UniEnc-CASSNAT: An Encoder-only Non-autoregressive ASR for Speech SSL Models
UCLA（加州大学洛杉矶分校）
提出UniEnc-CASSNAT，一种仅含编码器的非自回归ASR模型，通过两次前向传递结合CTC与CASS-NAT优势，高效集成语音基础模型，在多个数据集上取得SOTA结果且参数更少。
2024-02-14 cs.CL cs.SD eess.AS
Deliberation Model for On-Device Spoken Language Understanding
Meta
我们提出了一种新的审议为基础的方法，端到端（E2 E）的口语语言理解（SLU），其中流自动语音识别（ASR）模型产生的第一遍假设和第二遍自然语言理解（NLU）组件生成的语义分析条件ASR的文本和音频嵌入。通过制定E2 E SLU作为一个广义的解码器，我们的系统能够支持复杂的组成语义结构。此外，ASR和NLU之间的参数共享使系统特别适合资源受限（设备上）环境;我们提出的方法在TOPv 2数据集（STOP）的口语版本上始终优于强管道NLU基线0.60%至0.65%。我们证明了文本和音频特征的融合，加上系统重写首过假设的能力，使我们的方法对ASR错误更加鲁棒。最后，我们表明，我们的方法可以显着减少从自然语音到合成语音训练时的退化，但需要更多的工作，使文本到语音（TTS）的一个可行的解决方案，扩大E2 E SLU。
2022-09-07 cs.CL eess.AS
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
CASA-ASR: Context-Aware Speaker-Attributed ASR
University of Science and Technology of China（中国科学技术大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出上下文感知的CASA-ASR模型，通过引入上下文文本编码器和上下文相关评分器增强端到端SA-ASR的上下文建模能力，并采用两阶段解码策略，在AliMeeting语料库上使说话人相关字符错误率相对降低11.76%。
2023-05-21 cs.SD eess.AS
On Comparison of Encoders for Attention based End to End Speech Recognition in Standalone and Rescoring Mode
Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）
流式自动语音识别（ASR）模型更受欢迎，适合于基于语音的应用。然而，非流模型提供更好的性能，因为它们查看整个音频上下文。为了在语音搜索等流媒体应用中利用非流媒体模型的优势，它通常用于第二遍重新评分模式。使用非流模型对使用流模型生成的候选假设进行重新评分。在这项工作中，我们在独立和重新评分模式下评估了Flipkart语音搜索任务上基于非流注意力的端到端ASR模型。这些模型基于Listen-Attend-Spell（LAS）编码器-解码器架构。我们使用基于LSTM、Transformer和Conformer的不同编码器变体进行实验。我们比较了这些模型的延迟要求及其性能。总体而言，我们表明，Transformer模型提供了可接受的WER与最低的延迟要求。我们报告了约16%的相对WER改进，第二遍LAS重新评分，延迟开销低于5 ms。我们还强调了CNN前端与Transformer架构的重要性，以实现可比的字出错率（WER）。此外，我们观察到，在第二遍重新评分模式下，所有编码器都提供了类似的好处，而在独立文本生成模式下，性能差异非常突出。
2022-06-26 cs.CL cs.LG cs.SD
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC（谷歌有限责任公司）
语言识别对于自动语音识别（ASR）中的许多下游任务至关重要，并且有利于作为附加任务集成到多语言端到端ASR中。在本文中，我们建议修改的级联编码器为基础的递归神经网络传感器（RNN-T）模型的结构，通过整合每帧语言标识符（LID）预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR，并使用具有较长右上下文的第二遍解码来实现较低的字错误率（WER）。通过利用右上下文中的这种差异和统计池的流式实现，所提出的方法可以实现精确的流式LID预测，而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明，该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
On the Effectiveness of Neural Text Generation based Data Augmentation for Recognition of Morphologically Rich Speech
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
近年来，先进的神经网络模型已经渗透到自动语音识别（ASR）中，然而在语言建模中，许多系统仍然部分或全部依赖于传统的Back-off N-gram语言模型（BNLM）。其原因是训练和使用神经语言模型的高成本和复杂性，主要是通过添加第二次解码（重新评分）来实现。在我们最近的工作中，我们通过将知识从递归神经网络语言模型（RNNLM）转移到具有基于文本生成的数据增强的单通道BNLM，显着提高了会话语音转录系统的在线性能。在本文中，我们分析了可转移知识的数量，并证明了神经增强LM（RNN-BNLM）可以通过丢弃第二次解码并使系统具有实时能力来帮助捕获RNNLM的近50%的知识。我们还系统地比较了词和子词LM，并表明基于子词的神经文本增强在资源不足的情况下特别有益。此外，我们还表明，在第一遍使用RNN-BNLM，然后是神经第二遍，离线ASR结果甚至可以显着改善。
2020-06-09 cs.CL cs.SD eess.AS
Personalized Predictive ASR for Latency Reduction in Voice Assistants
Amazon Alexa（亚马逊Alexa）
本文提出预测式 ASR，通过从部分语音预测完整语音并预取响应来降低语音助手延迟，引入两种个性化方法并评估了预测成功与失败间的延迟与成本权衡。
2023-05-23 cs.CL eess.AS
Multi-pass Training and Cross-information Fusion for Low-resource End-to-end Accented Speech Recognition
Shanghai Normal University（上海师范大学）；Shanghai Engineering Research Center of Intelligent Education and Bigdata（上海智能教育与大数据工程研究中心）
针对低资源口音语音识别，提出Aformer架构，采用多遍训练和三种跨信息融合方法，在口音英语和普通话任务上相比Conformer基线相对错误率降低10.2%至24.5%。
2023-06-20 cs.CL cs.SD eess.AS
Information-Weighted Neural Cache Language Models for ASR
KU Leuven（鲁汶大学）
神经缓存语言模型（LM）扩展了常规缓存语言模型的思想，使缓存概率依赖于当前上下文与缓存中单词上下文之间的相似性。我们做了一个广泛的比较“常规”缓存模型与神经缓存模型，无论是在困惑和WER重新评分后的第一遍ASR结果。此外，我们提出了两个扩展的神经缓存模型，利用的内容值/信息权重的字：首先，结合缓存概率和LM概率与信息加权插值，其次，选择性地只添加内容的话到缓存。相对于WikiText-2数据集上的基线LSTM LM，我们获得了29.9%/32.1%（验证/测试集）的困惑度相对改善，优于之前在神经缓存LM上的工作。此外，我们观察到显着WER减少相对于基线模型的WSJ ASR任务。
2018-09-24 cs.CL cs.LG
Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Shanghai Lingguang Zhaxian Technology（上海灵光乍现科技）
本文提出Speaker-Reasoner，一种端到端的语音大语言模型，通过迭代分析音频结构和自主预测时间边界，提升了多说话人对话的转录和理解能力，尤其在处理重叠语音和复杂轮次转换方面表现优异。
2026-04-03 cs.CL cs.SD eess.AS
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）；Meta AI；Rembrand（伦勃朗）
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR，通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示，无需人工转录数据，在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）
多解码器（MD）端到端语音翻译模型通过搜索更好的中间自动语音识别（ASR）解码器状态作为隐藏中间体（HI）来展示高翻译质量。它是一个两遍解码模型，将整个任务分解为ASR和机器翻译子任务。然而，解码速度对于现实世界的应用来说不够快，因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD，一个快速MD模型，产生HI的非自回归（NAR）解码的基础上连接主义时间分类（CTC）的输出，然后由ASR解码器。我们研究了两种类型的NAR HI：（1）使用自回归Transformer ASR解码器的并行HI和（2）使用Mask-CTC的掩码HI，该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配，我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明，Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍，翻译质量相当。采用Conformer编码器和中间CTC损失，在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
A Comparative Analysis on ASR System Combination for Attention, CTC, Factored Hybrid, and Transducer Models
本文比较了注意力、CTC、分解混合和转换器等ASR架构的模型组合方法，提出一种基于序列级分数对数线性组合的两遍重打分方法，确保跨架构系统组合的一致比较，并在Librispeech 960h任务上验证了有效性。
2025-08-13 cs.SD
Improved low-resource Somali speech recognition by semi-supervised acoustic and language model training
Stellenbosch University（斯泰伦博斯大学）
我们提出了改进的自动语音识别（ASR）索马里，目前资源极其不足的语言。这是联合国（UN）继续努力使用基于ASR的关键字识别系统来支持非洲农村地区的人道主义救济计划的一部分。仅使用1.57小时的注释语音数据作为种子语料库，我们通过将半监督训练应用于17.55小时的未转录语音来增加训练数据的池。我们利用因式分解的时间延迟神经网络（TDNN-F）的声学建模，因为这些最近被证明是有效的资源稀缺的情况下。执行三个半监督训练通道，其中来自每个通道的解码输出用于后续通道中的声学模型训练。从表现最好的一遍中自动转换用于语言模型增强。为了保证自动翻译的质量，采用了解码器置信度作为阈值。从半监督方法获得的声学和语言模型在WER和困惑度方面与基线相比显示出显著的改善。对自动生成的transmittance进行验证，语言模型的复杂度提高了6.55%.在半监督训练中使用17.55小时的索马里声学数据显示相对于基线的7.74%的改进。
2019-07-06 cs.CL cs.LG eess.AS
Conversation-oriented ASR with multi-look-ahead CBS architecture
Waseda University（早稻田大学）；Line corporation（Line公司）
在谈话中，人类能够在讲话的任何时候推断出说话者的意图，以便迅速准备接下来的行动。这种能力也是会话系统实现有节奏和自然会话的关键。为此，用于实时转录语音的自动语音识别（ASR）必须无延迟地实现高精度。在流式ASR中，通过关注超前帧来确保高精度，这导致延迟增量。为了解决这个权衡问题，我们提出了一个多延迟流ASR，以实现高精度与零前瞻。所提出的系统包含两个并行操作的编码器，其中主编码器利用前瞻帧生成准确的输出，辅助编码器识别主编码器的前瞻部分而不进行前瞻。所提出的系统是基于上下文块流（CBS）架构，它利用块处理，并具有高亲和力的多延迟架构。还研究了用于构建系统的各种方法，包括将网络转换为不同的编码器;以及在一个编码通道中生成两个编码器的输出。
2022-11-02 cs.SD eess.AS
Listen, Look and Deliberate: Visual context-aware speech recognition using pre-trained text-video representations
Microsoft（微软）
在这项研究中，我们试图解决的问题，利用视觉信号，以提高自动语音识别（ASR），也被称为视觉上下文感知ASR（VC-ASR）。我们探索新的VC-ASR方法，以利用由自监督预训练的文本视频嵌入模型提取的视频和文本表示。首先，我们提出了一个多流注意力架构，以利用来自音频和视频模态的信号。这种架构由两种模态的单独编码器和一个单独的解码器组成。我们表明，这种架构是优于融合方式在信号水平。此外，我们还探讨利用视觉信息的第二次通过模型，这也被称为“审议模型”。审议模型接受音频表示和文本假设的第一次通过ASR，并将它们与视觉流相结合，以提高视觉上下文感知识别。所提出的审议方案可以在任何经过良好训练的ASR之上工作，并且还使我们能够利用预先训练的文本模型来将假设与视觉特征结合起来。我们在HOW2数据集上的实验表明，多流和审议架构在VC-ASR任务中非常有效。我们评估两种情况下提出的模型;干净的音频流和失真的音频，我们掩盖了一些特定的话在音频。审议模型优于多流模型，并实现了6%和8.7%的相对WER改善的清洁和掩蔽的数据，分别相比，一个只有音频的模型。该模型也提高了59%的相对回收的掩蔽词。
2020-11-08 cs.SD eess.AS eess.IV
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
提出了一种基于跨模态变换的神经校正模型，该模型对自动语音识别（ASR）系统的输出进行改进，以排除ASR错误。一般来说，神经校正模型由编码器-解码器网络组成，可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而，传统的方法不能考虑这两个不同的模态输入之间的关系，因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息，我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系，以完善ASR假设。我们还引入了一种浅层融合技术，有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明，我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
Joint ASR and Speaker Role Tagging with Serialized Output Training
Viterbi School of Engineering University of Southern California Los Angeles, USA（维特比工程学院 华盛顿大学南加州分校 洛杉矶 USA）
针对现有ASR系统无法识别说话人角色的问题，提出为Whisper添加角色专属token并结合SOT微调的方法，实现单次解码生成角色感知转写，多方WER降低超10%。
2025-06-12 cs.SD eess.AS
Reinforcement Learning for Data-Efficient Code-Switched ASR
Spotify Canada（加拿大声田公司）
研究针对代码混合语音识别中音频语言模型解码问题，提出基于强化学习的方法，结合错误率奖励、脚本保真度奖励及两阶段过程，用少量数据训练达全量数据微调效果，且增益可零样本转移。
2026-07-07 cs.CL cs.SD
Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；ReplayWell（ReplayWell公司）
空中交通管理，特别是空中交通管制（ATC）主要依赖于空中交通管制员（ATCos）和飞行员之间的语音通信。在大多数情况下，这些语音通信遵循可以在自动语音识别（ASR）技术中利用的定义良好的语法。用于称呼飞机的呼号是所有ATCo-飞行员通信的重要组成部分。我们提出了一个两步的方法，在半监督训练过程中添加上下文知识，以降低ASR系统在识别包含呼号的话语部分时的出错率。最初，我们表示在WFST的上下文知识（即空中监视数据）的ATCo飞行员通信。然后，在半监督学习（SSL）期间，通过第二遍解码（即，格重新评分）添加上下文知识。结果表明，“看不见的域”（例如，来自机场的数据不存在于监督训练数据）进一步协助上下文SSL相比，独立的SSL。对于这项任务，我们引入呼号字出错率（CA-WER）作为评估指标，它只评估语音呼号在话语中的ASR性能。我们获得了32.1%的CA-WER相对改善应用SSL与额外的17.5%的CA-WER改善通过添加上下文知识在SSL期间从LiveATC收集的具有挑战性的基于ATC的测试集。
2021-08-27 cs.CL cs.CV cs.LG
Time-Contrastive Learning Based Deep Bottleneck Features for Text-Dependent Speaker Verification
VIT-AP University（VIT-AP大学）；Aalborg University（奥尔堡大学）；Massachusetts Institute of Technology（麻省理工学院）
为了提高文本相关说话人确认（TD-SV）的性能，从训练用于区分说话人、口令短语和三音子状态的深度神经网络（DNN）中提取瓶颈（BN）特征已经有了很多研究。然而，已经取得了一定的成功。最近的一项研究[1]提出了时间对比学习（TCL）的概念，以探索脑信号的非平稳性，用于脑状态的分类。语音信号具有类似的非平稳特性，TCL还具有不需要标记数据的优点。因此，我们提出了一种基于TCL的BN特征提取方法。该方法将训练数据集中的每个语音发音均匀地划分为预定义数量的多帧段。话语中的每个片段对应于一个类，并且类标签在话语之间共享。然后，DNN被训练来区分类别中的所有语音帧，以利用语音的时间结构。此外，我们提出了一个基于段的无监督聚类算法重新分配类标签的段。TD-SV实验在RedDots挑战数据库上进行。TCL-DNN使用从TD-SV评估集中排除的固定密码短语的语音数据进行训练，因此学习的特征可以被认为是与短语无关的。我们比较了建议TCL瓶颈（BN）功能的性能与短时倒谱特征和BN特征提取的DNN区分扬声器，密码短语，扬声器+密码短语，以及单声道的标签和边界产生的三个不同的自动语音识别（ASR）系统。实验结果表明，TCL-BN的性能优于倒谱特征和说话人+口令鉴别BN特征，与ASR派生BN特征的性能相当。而且，……
2019-05-11 cs.CL cs.LG cs.SD
VIBEVOICE-ASR Technical Report
该报告介绍了一种基于VibeVoice的通用语音理解框架，解决长音频中上下文碎片化和多说话人复杂性问题，支持单次处理60分钟音频，整合语音识别、说话人识别和时间戳生成，支持50种语言及代码切换。
2026-03-14 cs.AI cs.SD eess.AS
