Exploring the robustness of features and enhancement on speech recognition systems in highly-reverberant real environments
Universidad de Chile（智利大学）；Universidad Austral de Chile（智利南方大学）；University of Edinburgh（爱丁堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文使用HRRE数据库评估了基于DNN-HMM的语音识别系统在高混响真实环境中的鲁棒性。讨论和评估了局部归一化滤波器组（LNFB）和Mel滤波器组（MelFB）特征与非负矩阵分解（NMF）、缓变分量抑制和下降沿（SSF）以及加权预测误差（WPE）增强方法相结合的性能。考虑了两种训练条件：干净和混响（混响）。在混响训练中，使用WPE和LNFB提供的WER分别比SSF和NMF平均低3%和20%。WPE和MelFB提供的WER分别比SSF和NMF平均低11%和24%。使用干净的训练，这代表了测试和训练条件之间的显著不匹配，LNFB功能明显优于MelFB功能。结果表明，不同类型的训练，参数化和增强技术可能会更好地工作的扬声器麦克风距离和混响时间的特定组合。这表明，用不同的增强和参数化方法训练的系统之间可能存在一定程度的互补性。
2018-03-23 cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
UCorrect: An Unsupervised Framework for Automatic Speech Recognition Error Correction
Huawei（华为）
本文提出无监督ASR纠错框架UCorrect，通过检测-生成-选择机制不依赖配对数据即可显著降低词错误率，并具有低延迟和跨模型通用性。
2024-01-11 cs.CL cs.SD eess.AS
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg（汉堡大学）
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题，利用SVC-de数据集，通过层级特定微调和Experience Replay持续学习，在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
On the Choice of Modeling Unit for Sequence-to-Sequence Speech Recognition
RWTH Aachen University（亚琛工业大学）；Google（谷歌）
在传统的语音识别中，对于诸如英语的非语音语言，基于音素的模型优于基于字素的模型。两者之间的性能差距通常随着训练数据量的增加而减小。在这项工作中，我们研究了基于注意力的编码器-解码器模型的建模单元的选择的影响。我们在LibriSpeech 100小时，460小时和960小时任务上进行实验，使用各种目标单位（音素，字素和词段）;在所有任务中，我们发现字素或词段模型始终优于基于音素的模型，即使它们在没有词典或外部语言模型的情况下进行评估。我们还研究了模型的互补性：我们发现，我们可以提高WERs由9%的相对由rescoring N-最好的列表从一个强大的词片为基础的基线与音素或字素模型。然而，对音素系统生成的N最佳列表重新评分提供了有限的改进。进一步的分析表明，基于词段的模型产生更多样化的N-最佳假设，从而降低甲骨文WER，比音素模型。
2019-07-23 cs.CL
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science（计算机科学学院）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学学院）
本研究通过探测ASR系统，分析其对第二语言英语中罕见语音变异的处理，发现音素级误识别导致高词错误率，并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
ASAPP-ASR: Multistream CNN and Self-Attentive SRU for SOTA Speech Recognition
ASAPP Inc.（ASAPP公司）
在本文中，我们提出了国家的最先进的（SOTA）的性能LibriSpeech语料库与两种新的神经网络架构，多流CNN的声学建模和自我关注的简单递归单元（SRU）的语言建模。在混合ASR框架中，多流CNN声学模型在多个并行流水线中处理语音帧的输入，其中每个流具有用于分集的唯一扩张率。使用SpecAugment数据增强方法进行训练，它在测试-clean上实现了4%的相对字错误率（WER）改善，在测试-其他上实现了14%的改善。我们使用24层自关注SRU语言模型通过N-best重新评分进一步提高了性能，在test-clean上实现了1.75%的WER，在test-other上实现了4.46%的WER。
2020-05-21 cs.CL cs.SD eess.AS
Mai Ho'omāuna i ka 'Ai: Language Models Improve Automatic Speech Recognition in Hawaiian
The MITRE Corporation（米特里公司）；University of Hawai‘i at Hilo（夏威夷大学希洛分校）；University of Oxford（牛津大学）
针对夏威夷语低资源ASR难题，本文用约150万词文本训练外部语言模型并重打分Whisper，在人工测试集上显著降低WER，证明充分利用可用数据可改进代表性不足语言的语音识别。
2024-04-03 cs.CL cs.LG cs.SD
A novel pyramidal-FSMN architecture with lattice-free MMI for speech recognition
Cloudwalk Technology（云从科技）
深度前馈顺序记忆网络（DFSMN）在语音识别任务中表现出了优越的性能。在此基础上，我们提出了一种新的网络架构，它引入金字塔存储结构来表示不同层次的各种上下文信息。此外，在前面添加了res-CNN层，以提取更复杂的特征。实验结果表明，该方法结合无格最大互信息（LF-MMI）和交叉熵（CE）联合训练准则，在Librispeech和LDC 97 S62（Switchboard 300 hours）语料库上分别取得了3.62%和10.89%的词出错率（WER）。此外，递归神经网络语言模型（RNNLM）的重新评分，并获得了2.97%的WER的Librispeech。
2018-10-31 cs.SD eess.AS
Large scale weakly and semi-supervised learning for low-resource video ASR
Facebook AI（Facebook人工智能实验室）
为了克服建立高质量语音识别系统的标记成本，已经研究了许多半监督和弱监督方法。在低资源条件下转录社交媒体视频的挑战性任务中，我们一方面对两种自标记方法进行了大规模的系统比较，另一方面使用上下文元数据进行了弱监督预训练。我们调查蒸馏方法在帧级和序列级的混合，编码器仅CTC为基础的，编码器-解码器语音识别系统的荷兰语和罗马尼亚语，分别使用27,000和58,000小时的未标记的音频。尽管所有方法都将各自的基线WER提高了8%以上，但与最强的数据增强监督基线相比，编码器-解码器模型的序列级蒸馏提供了20%的最大相对WER降低。
2020-08-07 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
An improved hybrid CTC-Attention model for speech recognition
CloudWalk（云从科技）
最近，端到端的语音识别与连接主义的时间分类（CTC）和注意编码器-解码器组成的混合模型取得了最先进的结果。在本文中，我们提出了一种新的CTC解码器结构的基础上，我们进行了实验，并探讨解码性能和编码器的深度之间的关系。我们还应用注意力平滑机制来获取更多的上下文信息，以子字为基础的解码。总的来说，这些策略使我们能够在LibriSpeech语料库的测试干净子集上实现4.43%的单词出错率（WER），而没有LM和3.34%的RNN-LM，这是迄今为止在该数据集上报告的端到端ASR系统的最佳WER。
2018-11-01 cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Residual Energy-Based Models for End-to-End Speech Recognition
Google（谷歌）
具有自回归解码器的端到端模型在自动语音识别（ASR）方面显示出令人印象深刻的结果。这些模型将序列级概率公式化为给定其历史的所有单个令牌的条件概率的乘积。然而，由于暴露偏差等因素，局部归一化模型的性能可能是次优的。因此，模型分布不同于底层数据分布。在本文中，基于剩余能量的模型（R-EBM）被提出来补充自回归ASR模型，以缩小这两个分布之间的差距。同时，R-EBM也可以被看作是话语级的置信度估计器，这可能有利于许多下游任务。在100小时的LibriSpeech数据集上的实验表明，R-EBM可以降低8.2%/6.7%的单词错误率，同时在测试干净/测试其他集上提高12.6%/28.4%的精确度-召回率置信度曲线下的面积。此外，在使用自监督学习（wav 2 vec 2.0）的最先进模型上，R-EBM仍然显着提高了WER和置信度估计性能。
2021-06-23 cs.CL cs.LG cs.SD
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Tree-constrained Pointer Generator for End-to-end Contextual Speech Recognition
Cambridge University（剑桥大学）
背景知识对于真实世界的自动语音识别（ASR）应用是重要的。在本文中，提出了一种新的树约束指针生成器（TCPGen）组件，将这样的知识作为一个列表的偏置单词到基于注意力的编码器-解码器和换能器端到端ASR模型中的神经符号的方式。TCPGen将偏置词构造成有效的前缀树作为其符号输入，并在树和最终ASR输出分布之间创建神经捷径，以便于在解码期间识别偏置词。在Librispeech语料库上对系统进行了训练和评估，其中在话语，章节或书籍的尺度上提取了偏见词，以模拟不同的应用场景。实验结果表明，TCPGen一贯改善字出错率（WER）相比，基线，特别是，取得了显着的WER减少偏见的话。TCPGen非常高效：它可以处理5，000个偏置词和干扰项，并且只会增加少量的内存使用和计算开销。
2021-09-17 cs.CL cs.SD
Reducing the Gap Between Pretrained Speech Enhancement and Recognition Models Using a Real Speech-Trained Bridging Module
Tianjin University（天津大学）；DiDi Chuxing（滴滴出行）；Kyoto University（京都大学）；Huiyan Technology (Tianjin) Co., Ltd（慧研科技（天津）有限公司）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对预训练语音增强与 ASR 模型间因模拟训练数据不匹配导致的性能损失，提出用 DNSMOS 和多任务 WER 向量在真实带噪语音上训练 OA 桥接模块，在 CHiME-4 上显著降低 WER。
2025-01-05 cs.SD eess.AS
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI（亚马逊人工智能）；University of Washington（华盛顿大学）
自注意在自然语言处理中的成功，导致最近的应用在端到端的编码器-解码器架构的语音识别。另外，连接主义时间分类（CTC）已经成熟为一个无干扰，非自回归的方法，序列转导，无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC，一个深度的，完全自我注意的CTC网络，并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快，性能优于现有的CTC模型和大多数编码器-解码器模型，在WSJ eval 92上1天内的字符错误率（CER）为4.7%，在LibriSpeech test-clean上1周内为2.8%，具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话，评估位置和下采样方法，并探讨标签字母（字符，音素，子字）如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
SQ-Whisper: Speaker-Querying based Whisper Model for Target-Speaker ASR
针对语音基础模型难以处理多说话人重叠语音的问题，提出SQ-Whisper模型，通过可训练说话人查询引导模型提取目标说话人特征，在多个数据集上实现词错误率显著下降并刷新最优性能。
2024-12-07 cs.SD eess.AS
Bridging the gap between streaming and non-streaming ASR systems bydistilling ensembles of CTC and RNN-T models
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）系统广泛用于需要实时将语音转录为文本的日常应用中。它们的最小延迟使它们适合这些任务。与它们的非流模型不同，流模型被限制为因果关系，没有未来的上下文，并遭受更高的字出错率（WER）。为了改进流模型，最近的一项研究[1]提出了在无监督的话语上提取非流教师模型，然后使用教师的预测训练流学生。然而，教师和学生之间的绩效差距仍然很大。在本文中，我们的目标是通过使用一组多样化的非流教师模型并使用识别器输出投票错误减少（ROVER）将它们结合起来来缩小这一差距。特别是，我们表明，尽管比RNN-T模型弱，但CTC模型是出色的教师。此外，通过将RNN-T和CTC模型融合在一起，我们构建了最强大的教师。由此产生的学生模型大大改善了以前工作的流模型[1]：西班牙语的WER下降了41%，葡萄牙语下降了27%，法语下降了13%。
2021-04-25 cs.CL cs.SD eess.AS
Towards dialect-inclusive recognition in a low-resource language: are balanced corpora the answer?
Trinity College Dublin（都柏林圣三一大学）
针对爱尔兰语三大方言，本文通过训练12个ASR系统并增减方言材料，检验平衡语料库是否能实现公平的跨方言识别。
2023-07-14 cs.CL cs.SD eess.AS
Personalized Fine-Tuning with Controllable Synthetic Speech from LLM-Generated Transcripts for Dysarthric Speech Recognition
Technische Hochschule Nürnberg（纽伦堡技术大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡 Friedrich-Alexander 大学）
本研究针对构音障碍语音识别任务，结合参数高效微调、潜在音频表示与合成构音障碍语音数据实现个性化微调，有效降低词错误率，为语音无障碍识别提供优化方案。
2025-05-19 cs.SD eess.AS
Can Whisper perform speech-based in-context learning?
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于语音的上下文学习方法（SICL），通过少量标注样本在测试时适应 Whisper 模型，无需梯度下降即可显著降低词错误率，并结合 k 近邻示例选择进一步提升效率。
2024-03-20 cs.CL cs.SD eess.AS
Guided Source Separation Meets a Strong ASR Backend: Hitachi/Paderborn University Joint Investigation for Dinner Party ASR
Hitachi（日立公司）；Paderborn University（帕德博恩大学）
在本文中，我们提出了日立和帕德博恩大学的共同努力，自动语音识别（ASR）在晚宴的情况下。用于通过多个麦克风阵列获得的晚宴录音的ASR系统的主要挑战是（1）严重的语音重叠，（2）严重的噪声和混响，（3）非常自然的对话内容，以及可能的（4）不足的训练数据。作为晚宴场景的示例，我们选择了CHiME-5语音识别挑战期间呈现的数据，其中基线ASR具有73.3%的单词出错率（WER），并且即使是CHiME-5挑战中表现最好的系统也具有46.1%的WER。我们广泛地研究了基于引导声源分离的语音增强技术和已经提出的强ASR后端的组合，并发现这些技术的紧密组合提供了实质性的准确性改进。我们最终的系统在开发和评估数据中分别实现了39.94%和41.64%的WER，这两个都是数据集的最佳发布结果。我们还研究了CHiME-5语料库中官方小数据的额外训练数据，以评估该ASR任务的内在难度。
2019-06-26 cs.CL cs.SD eess.AS
High Order Recurrent Neural Networks for Acoustic Modelling
消失的长期梯度是训练标准循环神经网络（RNN）的一个主要问题，这可以通过具有存储单元的长短期记忆（LSTM）模型来缓解。然而，与存储单元相关的额外参数意味着LSTM层的参数是具有相同隐藏向量大小的RNN的四倍。本文使用高阶RNN（HORNN）解决消失梯度问题，该高阶RNN具有来自多个先前时间步的额外连接。使用英国英语多体裁广播（MGB 3）数据的语音识别实验表明，所提出的校正线性单元和sigmoid激活函数的HORNN架构比相应的RNN降低了4.2%和6.3%的单词出错率（WER），并给出了与（投影）LSTM相似的WER，同时仅使用20%-50%的递归层参数和计算。
2018-02-22 cs.AI cs.CL eess.AS
Articulatory information and Multiview Features for Large Vocabulary Continuous Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际）；Apple Inc.（苹果公司）
本文探讨了在卷积深度神经网络（CNN）架构中使用多视图特征及其判别变换来进行连续大词汇量语音识别任务。在特征空间最大似然线性回归（fMLLR）变换之后使用梅尔滤波器组能量和感知激励的强制阻尼振荡器系数（DOC）特征，其被组合并作为多视图特征馈送到单个CNN声学模型。使用多视图特征表示证明显着减少字出错率（WERs）相比，单独的功能本身的使用。此外，当发音信息被用作融合的深度神经网络（DNN）和CNN声学模型的额外输入时，发现NIST 2000对话电话语音测试集的总机子集和呼叫中心子集（包含部分非本地口音语音）的WER进一步降低，在两种情况下，相对于基线，出错率降低了12%。这项工作表明，与发音信息相关联的多视图特征可以提高自发和非母语语音的语音识别鲁棒性。
2018-02-16 cs.CL cs.SD eess.AS
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC（谷歌有限责任公司）
语言识别对于自动语音识别（ASR）中的许多下游任务至关重要，并且有利于作为附加任务集成到多语言端到端ASR中。在本文中，我们建议修改的级联编码器为基础的递归神经网络传感器（RNN-T）模型的结构，通过整合每帧语言标识符（LID）预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR，并使用具有较长右上下文的第二遍解码来实现较低的字错误率（WER）。通过利用右上下文中的这种差异和统计池的流式实现，所提出的方法可以实现精确的流式LID预测，而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明，该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
AMPS: ASR with Multimodal Paraphrase Supervision
Indian Institute of Technology Bombay（印度孟买理工学院）
针对多语言对话式语音给ASR带来的挑战，本研究提出AMPS技术，通过复述监督增强多语言多模态ASR系统，结合SeamlessM4T模型实现WER最高5%的相对降低，并完成详细评估。
2025-04-16 cs.AI cs.CL cs.LG
Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）
近年来，自监督学习已成为提高自动语音识别（ASR）性能的一种有效方法。在这种框架下，神经网络通常使用大量未标记数据进行预训练，然后使用有限的标记数据进行微调。然而，神经网络通常采用双向Transformer等非流结构来实现竞争性结果，不能用于流场景。本文主要研究在自监督学习框架下提高流式Transformer的性能。具体而言，我们提出了一种新的两阶段训练方法在微调，它结合了知识提取和自我训练。该方法在Librispeech噪声测试集上实现了16.3%的相对字错误率（WER）降低。最后，通过仅使用Librispeech的100 h干净子集作为标记数据，其余（860 h）作为未标记数据，我们的基于流式Transformer的模型在Librispeech干净/嘈杂测试集上获得了具有竞争力的WERs 3.5/8.7。
2021-09-15 cs.SD eess.AS
Gumbel-BEARD: Automatic Layer Selection for Self-Supervised Adaptation of Whisper in Low-Resource Domains
University of California, Los Angeles, USA（加州大学洛杉矶分校）
提出Gumbel-BEARD框架，通过可训练的Gumbel-Softmax选择器自动选择Whisper编码器层，结合BEST-RQ自监督目标实现低资源领域自适应，在儿童语音和方言数据集上取得最先进词错误率。
2026-06-11 cs.CL cs.SD eess.AS
Improving child speech recognition with augmented child-like speech
Delft University of Technology（代尔夫特理工大学）
针对儿童语音数据稀缺问题，本文提出儿童到儿童语音转换增强方法，发现跨语言VC可显著降低ASR词错误率，并确定不同训练方式下的最佳增强倍数。
2024-06-12 cs.CL cs.SD eess.AS
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Effective Sentence Scoring Method using Bidirectional Language Model for Speech Recognition
Seoul National University（首尔国立大学）
在自动语音识别中，许多研究表明使用语言模型（LM）可以提高性能。最近的研究已经尝试使用双向LM（biLM）而不是传统的单向LM（uniLM）来对从声学模型解码的$N$最佳列表进行重新评分。尽管他们的理论上的好处，biLM没有给出显着的改善相比，uniLM在他们的实验。这是因为他们的biLM没有考虑两个方向之间的相互作用。在本文中，我们提出了一种新的句子评分方法，考虑过去和未来的话之间的相互作用的biLM。LibriSpeech语料库上的实验结果表明，biLM与建议的句子评分优于uniLM的$N$ -最好的列表重新评分，在所有实验条件下一致和显着。通过词位置对WERs的分析表明，biLM比uniLM更鲁棒，特别是当识别的句子很短或错误识别的词位于句子的开头时。
2019-05-16 cs.CL cs.SD eess.AS
Improving RNN Transducer Modeling for End-to-End Speech Recognition
Microsoft（微软）
在过去的几年里，自动语音识别研究的一个新兴趋势是端到端（E2 E）系统的研究。联结主义时间分类（CTC）、注意编码解码器（AED）和RNN转换器（RNN-T）是最流行的三种方法。在这三种方法中，RNN-T具有在线流媒体的优势，这是AED的挑战，它不具有CTC的帧独立性假设。本文从两个方面对RNN-T训练进行了改进。首先，我们优化了RNN-T的训练算法，以减少内存消耗，从而可以有更大的训练小批量，以提高训练速度。其次，我们提出了更好的模型结构，以便我们获得具有非常好的精度但占用空间小的RNN-T模型。经过3万小时匿名和转录的Microsoft生产数据的训练，最好的RNN-T模型具有更小的模型大小（216 MB），与基线RNN-T模型相比，相对单词出错率（WER）降低了11.8%。这个最佳RNN-T模型通过实现高达15.0%的相对WER减少而显著优于具有类似大小的设备混合模型，并且获得与大小为5120 MB的服务器混合模型类似的WER。
2019-09-26 cs.CL eess.AS
Uncovering the Visual Contribution in Audio-Visual Speech Recognition
Sigmedia Group, School of Engineering Trinity College Dublin（Sigmedia集团，工程学院，三一学院都柏林）
本文从人类语音感知视角评估AVSR系统，发现低WER不保证高SNR增益，揭示当前方法未充分利用视觉信息，建议未来研究同时报告有效SNR增益和WER。
2025-01-17 cs.SD eess.AS
Augmenting conformers with structured state-space sequence models for online speech recognition
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Google LLC.（谷歌有限责任公司）
针对在线语音识别中左侧上下文受限的问题，提出将结构化状态空间序列模型（S4）与卷积结合以增强Conformer编码器，最佳设计为小型S4与局部卷积堆叠，在Librispeech上取得4.01%/8.53%的WER，优于调优卷积的Conformer。
2023-12-27 cs.CL cs.SD eess.AS
How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；German Aerospace Center (DLR)（德国航空航天中心）；Beijing Institute of Technology（北京理工大学）
最近关于自监督预训练的工作集中在利用大规模未标记的语音数据来构建鲁棒的端到端（E2E）声学模型（AM），该模型可以稍后在下游任务上进行微调，自动语音识别。然而，很少有作品调查的影响时，数据属性之间的预训练和微调阶段，称为域转移显着不同的性能。我们通过分析Wav2Vec 2.0和XLS-R模型在下游ASR上的鲁棒性来针对这种情况，这些模型用于完全看不见的领域，空中交通管制（ATC）通信。我们基准这两个模型上的几个开源和具有挑战性的ATC数据库的信噪比在5和20 dB之间。与基于混合的ASR基线相比，通过仅用较小比例的标记数据微调E2E声学模型，获得了20%至40%的相对字错误率（WER）降低。我们分析了一个ATC数据集所携带的低资源场景和性别偏见的WER。
2022-10-17 cs.CL cs.LG eess.AS
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
本研究比较了人类听者和三种商用ASR系统对严重构音障碍说话者荷兰语连续语音的识别性能，发现微调后的个性化DSR模型优于人类，但词错误率仍高。
2026-06-29 cs.CL
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而，高字错误率（WER）仍然阻止这些系统在实际应用中使用。另一方面，多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中，我们提出了一种新的神经序列到序列（seq 2seq）的架构，MIMO-Speech，它扩展了原来的seq 2seq处理多通道输入和多通道输出，使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架，仅通过ASR标准进行优化。它包括：1）单耳掩蔽网络，2）多源神经波束形成器，和3）多输出语音识别模型。通过这种处理，输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略，充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明，与单通道系统相比，该模型可以实现60%以上的WER降低，并具有高质量的增强信号（SI-SDR = 23.1 dB）。
2019-10-16 cs.CL cs.SD eess.AS
End-to-End Target Speaker Speech Recognition Using Context-Aware Attention Mechanisms for Challenging Enrollment Scenario
Part Artificial Intelligence Research Center（Part人工智能研究中心）；Aalto University（阿尔托大学）
本文提出一种具备双重注意力机制的鲁棒流式 TS-RNNT 模型，有效解决了嘈杂和重叠注册音频场景下的目标说话人语音识别问题，在5dB SIR下WER保持16.44%，显著优于传统方法。
2025-01-26 cs.SD eess.AS
Stream attention-based multi-array end-to-end speech recognition
The Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
采用多麦克风阵列的自动语音识别在远场鲁棒性方面取得了很大的成功。在此任务中，利用每个阵列共享和提供的所有信息至关重要。基于端到端（E2 E）自动语音识别系统中联合的连接主义时间分类（CTC）/注意力机制的研究进展，提出了一种基于流注意力的多数组框架.麦克风阵列，作为信息流，由单独的编码器激活，并在CTC和注意力网络的指令下解码。在注意力方面，采用了层次结构。在常规注意力网络之上，引入流注意力来引导解码器朝向信息量最大的编码器。实验已经进行了AMI和DIRHA多阵列语料库使用的编码器-解码器架构。与最好的单数组结果相比，该框架在两个数据集上分别实现了3.7%和9.7%的相对字出错率（WERs）降低，这也优于传统策略。
2019-02-18 cs.CL cs.SD eess.AS
Speech Emotion Recognition with ASR Transcripts: A Comprehensive Study on Word Error Rate and Fusion Techniques
University of Edinburgh（爱丁堡大学）；Centre for Speech Technology Research（言语技术研究中心）
本研究针对现有语音情感识别依赖人工转录文本的问题，在多语料库上测试不同词错误率的ASR转录文本及多种融合技术的SER性能，并提出整合纠错与模态门控融合的抗错框架，提升了真实场景下的SER效果。
2025-03-23 cs.CL cs.MM cs.SD
Elevating Robust Multi-Talker ASR by Decoupling Speaker Separation and Speech Recognition
The Ohio State University（俄亥俄州立大学）；Center for Cognitive and Brain Sciences, The Ohio State University（俄亥俄州立大学认知与脑科学中心）
针对多说话人场景下ASR前端分离引入伪影导致性能下降的问题，提出分离前端与ASR后端训练解耦、后端仅用干净语音训练的方法，在多个基准数据集上取得了最优词错误率，为鲁棒多说话人ASR提供了有效方案。
2025-03-23 cs.SD eess.AS
A Neural Acoustic Echo Canceller Optimized Using An Automatic Speech Recognizer And Large Scale Synthetic Data
Google Inc.（谷歌公司）
我们考虑识别对正在生成已知声音波形的设备说出的语音话语的问题;例如，识别向正在生成对先前用户输入的响应的数字助理发出的查询。以前的工作已经提出了建立声学回声消除（AEC）模型，优化语音增强指标使用神经网络以及信号处理的方法。由于我们的目标是识别输入语音，我们考虑增强，提高字错误率（WERS）时，预测的语音信号被传递到一个自动语音识别（ASR）模型。首先，我们用一个产生对预训练的ASR模型有用的输出的项来增强损失函数，并表明这种增强的损失函数改进了WER指标。其次，我们证明了用大型合成数据集来增强真实世界示例的训练数据集可以提高性能。至关重要的是，在训练过程中将SpecAugment风格的掩码应用于参考通道有助于模型从合成域适应到真实域。在实验评估中，我们发现所提出的方法提高了性能，平均而言，57%以上的信号处理基线和45%以上的神经AEC模型没有提出的变化。
2021-06-01 cs.SD eess.AS
Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；University of Eastern Finland（东芬兰大学）；Brigham and Women's Hospital, Harvard Medical School（哈佛医学院布莱根妇女医院）；Indian Institute of Information Technology Dharwad (IIIT Dharwad)（达尔瓦德印度信息技术学院（IIIT达尔瓦德））
本研究提出NA-FOMAML微调Whisper以提升唇腭裂语音识别公平性，在两个数据集上验证了全编码器微调策略的效果，发现重度语音仍需针对性优化。
2026-08-04 cs.SD eess.AS eess.SP
EESEN: End-to-End Speech Recognition using Deep RNN Models and WFST-based Decoding
Language Technologies Institute, School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院语言技术研究所）
由于深度神经网络（DNN）的应用，自动语音识别（ASR）的性能得到了极大的提高。尽管取得了这些进展，但建立新的ASR系统仍然是一项具有挑战性的任务，需要各种资源、多个培训阶段和大量专业知识。本文介绍了我们的Eesen框架，它大大简化了现有的管道，以建立最先进的ASR系统。Eesen中的声学建模涉及学习单个递归神经网络（RNN），预测上下文无关的目标（音素或字符）。为了消除对预先生成的帧标签的需要，我们采用连接主义时间分类（CTC）的目标函数来推断语音和标签序列之间的对齐。Eesen的一个显着特点是一个广义的解码方法的基础上加权有限状态转换器（WFSTs），这使得有效地将词典和语言模型到CTC解码。实验表明，与标准的混合DNN系统相比，Eesen实现了相当的字出错率（WER），同时大大加快了解码速度。
2015-10-18 cs.CL cs.LG
Speaker Adaptation for Quantised End-to-End ASR Models
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出P4Q策略，通过结合NF4量化和LoRA说话人自适应，在模型缩小7倍且仅增加1%参数的情况下，使量化Whisper和Conformer ASR模型的WER分别相对降低15.1%和23.3%。
2024-08-07 cs.SD eess.AS
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)（印度科学学院）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
在这项研究中，不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应，从每个听众，而他们认识到一个发言：1。句子难度评分，2。演讲者难度等级，和3。话语的转录。从这些译文中计算出单词错误率（WER），并将其作为衡量识别句子与原始句子之间相似性的一个指标，根据单词在句子中出现的频率将所选句子分为三组：易、中、难。我们观察到，句子，扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别（ASR）在以下三种声学模型（AM）和语言模型（LM）组合下的性能：ASR 1）使用来自印度裔说话者的录音训练AM，并在TIMIT文本上构建LM，ASR 2）使用来自美国本土说话者的录音训练AM，并在来自LIBRI语音语料库的文本上构建LM，和ASR 3）AM使用来自美国本土说话者的录音，LM建立在LIBRI语音和TIMIT文本上。我们观察到，HSR的性能类似于ASR1，而ASR3实现了最佳性能。发言者出生明智的分析表明，发言者的一些出生是更难以识别的印度听众相比，其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术有限公司）
该研究针对财报电话会议ASR场景，发现任务互补性使持续学习正则化适得其反，需正则化时mini-KFAC EWC比对角EWC性能更优。
2026-10-12 cs.CL cs.LG eess.AS
Gated Recurrent Context: Softmax-free Attention for Online Encoder-Decoder Speech Recognition
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）
最近，基于注意力的编码器-解码器（AED）模型在自动语音识别（ASR）中显示出最先进的性能。由于具有全局注意力的原始AED模型不能够进行在线推理，因此已经开发了各种在线注意力方案来减少ASR延迟以获得更好的用户体验。然而，传统的基于softmax的在线注意力方法的一个共同限制是，它们引入了与注意力窗口长度相关的额外超参数，需要多次模型训练试验来调整超参数。为了解决这个问题，我们提出了一种新的softmax-free注意力方法及其改进的在线注意力公式，该方法在训练阶段不需要任何额外的超参数。通过大量的ASR实验，我们证明了所提出的在线注意力技术的延迟和性能之间的权衡可以通过仅仅在测试阶段调整阈值来控制。此外，所提出的方法表现出竞争力的性能，传统的全球和在线的注意力方面的字错误率（WERs）。
2021-01-14 cs.SD eess.AS
Effective and Efficient Mixed Precision Quantization of Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
本研究提出一种将混合精度学习与参数量化整合至单阶段的语音基础模型混合精度量化新方法，在LibriSpeech数据集上验证了其在提升压缩比、缩短压缩时间的同时可维持甚至降低词错误率。
2025-01-11 cs.AI cs.SD eess.AS
Neural Kalman Filtering for Speech Enhancement
基于统计信号处理的语音增强方法采用专家知识来设计统计模型和线性滤波器，这是对基于深度神经网络（DNN）的数据驱动方法的补充。本文利用统计信号处理中的专家知识进行网络设计和优化，将传统的卡尔曼滤波（KF）扩展到监督学习方案，提出了神经卡尔曼滤波（NKF）用于语音增强。两个中间干净的语音估计，首先分别从递归神经网络（RNN）和线性维纳滤波（WF），然后线性组合的学习NKF增益产生的NKF输出。有监督的联合训练应用于NKF，以学习在WF所做的瞬时线性估计和RNN所做的长期非线性估计之间自动权衡。NKF方法可以被视为使用来自WF的专家知识来正则化RNN估计，以提高其对训练中看不到的噪声条件的泛化能力。在不同噪声条件下的实验表明，该方法在客观评价指标和自动语音识别（ASR）的误词率（WERs）方面均优于基线方法。
2021-04-16 cs.SD eess.AS
Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition
Orange Labs（Orange 实验室）
最近提出的Conformer架构已经在自动语音识别中显示出最先进的性能，其通过将卷积与注意力相结合来对局部和全局依赖性进行建模。在本文中，我们研究了如何降低Conformer架构的复杂性与有限的计算预算，导致一个更有效的架构设计，我们称之为高效的Conformer。我们引入渐进下采样的构象编码器，并提出了一种新的注意机制命名为分组注意，使我们能够减少注意的复杂性从$O(n^{2}d)$到$O(n^{2}d / g)$的序列长度$n$，隐藏维度$d$和组大小参数$g$。我们还实验了使用跨步多头自我注意作为一个全局下采样操作。我们的实验是在具有CTC和RNN换能器损失的LibriSpeech数据集上进行的。我们表明，在相同的计算预算下，与Conformer相比，所提出的架构可以实现更好的性能，并且训练和解码速度更快。我们的13 M参数CTC模型在不使用语言模型的情况下实现了3.6%/9.0%的竞争性WER，在使用外部n-gram语言模型的情况下实现了2.7%/6.7%的竞争性WER，同时在推理方面比我们的CTC Conformer基线快29%，在训练方面快36%。
2021-09-08 cs.AI cs.CL cs.SD
